在张浚和秦桧的劝说下，赵构决定不把淮西军拨给岳飞，但毕竟都承诺过岳飞了，君无戏言，为了顾全自己的面子，赵构下了封手诏暗示岳飞淮西军的归属暂时搁置。
名将都是军事战略家，岳飞也不例外，在赵构下手诏之前岳飞曾经上疏过一封北伐战略，奏疏中详细阐述了宋齐金三国局势，并从两淮、襄阳和川陕三个战场进行了分析，假设了多种情况，建立了好几个模型，对北伐的规划有理有据非常科学。
收到赵构手诏后，岳飞还以为是赵构对北伐没有信心，急忙先去找老领导张浚，张浚原本是岳飞最大的支持者，但联想到淮西军归入岳飞麾下后可能会尾大不掉，又不想给岳飞泼冷水，支支吾吾说的含糊不清。岳飞见张浚说不上来，便又亲自进宫向赵构汇报他的战略构想，希望赵构能回心转意，把淮西军交给自己，支持北伐。
岳飞苦口婆心的分析，赵构却心不在焉，末了问岳飞，需要多久能够克复中原？
岳飞严肃回答道，三年。
赵构问非所答答非所问开始瞎扯，说自己之所以能够在建康府坐镇，全都是依靠淮西军在江北驻防，你岳飞如果北伐成功也就罢了，万一北伐不成功，淮西军也没了，建康和临安的安全谁来保障？
赵构这个提法是完全的睁眼瞎，绍兴年间随着南宋各个防区稳定下来，对伪齐的形势不是一般的好。
川陕方面伪齐要同时面对陕南吴阶部宋军和西夏两方军事压力，淮东战场韩世忠驻守固若金汤伪齐根本无力进攻，淮西战场刚刚打完一场保卫战士气高涨，而岳飞所在的襄阳战场是其中战果最丰盛的，齐军完全无力抵抗，当时岳飞已经打到陕西商州和河南虢州了，长安洛阳近在咫尺。只要南宋大后方支持到位，完全可以再接再厉拿下长安洛阳进而再拿下开封，只要这三座古都拿下，那么中原汉地其他地区只是时间问题。
形势再好也架不住赵构不同意，失望的岳飞上疏一封，说自己与领导张浚不合，无力领导军队，主动交出兵权由部将张宪暂代，自己上庐山为母亲继续守孝去了。
得知岳飞又撂挑子了，赵构很不满：这摆明就是对自己有意见。淮西军军心不稳，韩世忠部防守淮东军事压力很大根本无法顾及淮西，如果缺了岳飞这个压舱石，万一淮西出了什么问题谁来救火？赵构给岳飞下了一道手札，什么跟这个不和跟那个不和的，赶紧回来上班。
岳飞再次上疏请辞，这次不说跟张浚不和了，称母亲丧期未满，还要给母亲守孝。
上疏到了朝廷，又被赵构下手札催他回来。
手札类似于一种皇帝的信件，与正式的诏书不同，不具备法律强制效力。赵构此时其实算是忍让的，没有采用强硬手段让岳飞下山只是反复下手札开导。但岳飞还是不下山，第三次上疏要留在庐山。
三次被岳飞拒绝，赵构也算是忍耐到了极限，第三次给岳飞下的手札里说了，速速下山共商军务大事，不得再推诿，并且派了岳飞的下属李若虚前去劝导。
李若虚不是普通官员，而是南宋的烈属，是北宋爱国英雄李若水的哥哥。当年李若水为国赴死，连完颜宗翰都钦佩，其英雄事迹被广为传颂，后来哥哥李若虚南归，辗转来到岳飞部下任参议官。李若虚上到庐山上见到岳飞，告诉他如果再不下山，朝廷就要把他和其他岳飞几位部将军法处置。
岳飞虽然怒气未消，但还是顾大局识大体的，不能让英雄的哥哥因为自己跟朝廷这些事儿受牵连，于是绍兴七年七月，岳飞回到军中。
赵构在内心深处一直担心武将做大威胁朝廷，为此不惜故意限制岳飞部宋军的规模，在他的默许和在张浚的主持下，淮西军由刘光世的原部下王德和郦琼两人共同统率，然而讽刺的是，张浚苦心安排的管理体系根本就不好使，很快淮西军就哗变了。