，驼马粮草被抢劫一空。奏报到京，雍正帝很是不快。他翻出岳钟琪关于新疆战况和作战方案的奏折披阅，越看越恼，提起朱笔批谕：“岳钟琪所奏，朕详加披阅，竟无一可采。岳钟琪以轻言长驱直入说，又为贼夷盗驼马，既耻且愤。”并下旨将纪成斌斩首示军，张元佐降职留用。

当北路清军与噶尔丹策零激战于和通呼尔哈诺尔的时候，岳钟琪施以“围魏救赵”之计，率西路主力迅速越穆垒过阿察，兵抵额尔穆克河，分三路向乌鲁木齐城下进攻，目的是分散噶尔丹策零主力，减轻北路清军的重压。沿途将士用命，奋勇作战，攻取敌寨多处，歼敌甚众。当大军攻进乌鲁木齐时，守城叛军闻风逃遁，西路清军占领新疆首府。雍正帝下谕表扬岳钟琪“此次领兵袭击贼众，进退迟速，俱合时宜。”

雍正十年（1732年）十月，噶尔丹策零七千人马偷袭哈密。岳钟琪遣总兵曹让等将士在二堡击敌，又派副将军石云倬等将官赶赴南山口、梯子泉一带设伏，断敌退路。准噶尔部七千人马攻打哈密时专事焚烧粮草，抢夺驼马辎重，虽被曹让部击退，但也造成重大损失。

派往断敌退路的石云倬竟迟一日发兵，当该部到达指定位置时，准噶尔军已离开设伏地点，准噶尔军休息时的点火灰烬还有余热。但石云倬没有挥师追击，致使叛军劫持大量物资安然撤退。雍正帝降旨，治石云倬、曹让斩首示军。严责岳钟琪“攻敌不速，用人不当”

岳钟琪接连受雍正帝的严责，显然已经失宠。军机大臣、内阁大学士鄂尔泰乘机奏本，极力弹劾岳钟琪。雍正批准了鄂尔泰的弹劾，下谕“交部议决”结果削去了岳钟琪三等公爵和太子太保封衔，降为三等侯，仍护大将军印。

时隔不久，雍正帝又下旨诏岳钟琪离疆返京“商办军务”，由副将军张广泗护宁远大将军印。十月，岳钟琪怀着忐忑不安的心情，一路风尘赶到京城，张广泗弹劾他的奏折也随之到了雍正帝的龙案。在张广泗和鄂尔泰合力弹劾下，当月雍正就下诏将岳钟琪“交兵部拘禁候议”岳钟琪被捕入狱以后，在等候兵部的判决，一直等了整整两年，

雍正十二年（1734年）十月兵部的判决才下来，判决居然是“斩决”雍正帝接到兵部议奏折子，左右权衡，最后，念及其当年进西藏、平青海之功，改“斩决”为“斩监侯”，并处罚银七十万两。

乾隆二年（1737年），岳钟琪和傅尔丹同被释放，贬为庶人，回成都。岳钟琪在成都郊外百花潭浣花溪畔结庐居住。他取名“姜园”

平日里，他一身布衣木履，粗茶淡饭；清晨早起，在爱闲亭中打几路拳脚，舞几套刀剑，然后牵着他心爱的战马，沿着浣花溪畔溜达；茶余饭后，喂一喂鸡鸭家禽，或者走出姜园，漫步于乡间田埂，或聚集老农于树下闲话桑麻。晚来掌灯，他这才伏于几案，或挥毫吟写田园诗；或秉烛夜读《楞严佛经》。

岳钟琪对佛家教义也渐渐青睐，常常入寺拜佛听法。一天岳钟琪回到金堂县老家，在城南十五里的龙尾寺拜佛，盘桓晚了，便留宿寺中，于是写下了《夜宿龙尾寺》。

乾隆十三年（1748年）三月，由于大金川叛乱而清廷出兵多时未果，乾隆帝想到岳钟琪，决意重召，先授予他总兵之衔，后改授四川提督，赐孔雀花翎，其时岳钟琪已届六十二岁，久违官场十年有多了。