果然，三军聚齐，张俊派出踏白军前往濠州观察情况，此时，正是金军攻破城池，踏白军只好在外围打探，大约申酉时，金军带着掠夺来的财物撤出濠州。踏白军赶紧回黄连镇向张俊禀报：濠州城已于前一日被金军攻陷，金军在一番掳掠后，带着财物退出濠州。
好大喜功的杨沂中听说金军已退，立即向张俊请令，率先入城，占据濠州。张俊知道这个老部下的心事，无非是想不费吹灰之力占据濠州，往自己脸上贴金，所以，他也乐不得做个顺水人情，同意杨沂中率军抢占濠州。
不料，金军退出濠州是假，夜里再度回到濠州，躲在瓮城之外，杨沂中一入城就被围在瓮城之中，得报的张俊连忙派王德出兵救援杨沂中，结果杨沂中和王德只身逃回，所带的大部分人马被歼灭。
韩世忠奉高宗之命，从楚州率部赶到濠州时，败局已无可挽回，准备撤回楚州。金兀术得知，企图阻断韩世忠的归路，不得已，韩世忠且战且退，在损失部分人马后，退回楚州。
庐州、濠州相继失守，消息传到临安，高宗赵构战战兢兢，给岳飞发来第十一道御札，曰：“韩世忠奏，已提亲兵自濠往寿春府，卿可约与相见，从长措置。虏人若未全退，或已退复来接战，即当乘其既败，痛与剿戮，使知惩畏；若已退不复来，即寿春、顺昌皆可平荡静尽，免其后来之害。以卿体国之意，必协心共济，不致二三也。遣此亲札，谅宜深悉。付飞。御押。”
有此御札，岳飞再度派遣张宪为先锋，从舒州出发前往庐州，并将“岳”字旗置于前，金军望风披靡，张宪很快到达濠州东南的定远县，准备与韩世忠合兵，金兀术听说岳飞亲自领军救援濠州，只得渡过淮水北上，岳飞没费多少力气就收复了濠州。
濠州原本是行营中护军张俊的防区，自己龟缩在黄连镇不敢进兵，一面给高宗上御札曰：“贼虏势众，请求援军；一面按兵不动，看着金兀术夺取濠州而不救。没想到，岳飞从舒州出兵，攻无不克，战无不胜，这让死要脸，活受罪的张俊，一时难以下台阶，在心中结下第三道梁子。
那位看官可能问了：岳飞何时与张俊结下梁子？各位看官莫要性急，请听老倌慢慢对你言来。第一道梁子就是岳飞枪挑小梁王时，张俊作为副主考，因收受小梁王的贿赂，差点儿被徽宗治罪，好在当时张邦昌以当朝宰相的名义一人承担，张俊才得以全身而退，自此，张俊在心里恨死岳飞，这是岳飞与张俊结的第一道梁子。
第二道梁子却很稀奇。绍兴六年，岳飞领兵剿灭洞庭杨幺，取得大胜，不仅收服了洞庭的全部人马，而且将杨幺的车轮战舰全部收缴。此时，岳飞的实力大增，为了搞好与诸将的关系，送给韩世忠和张俊楼船一艘，兵器无数，韩世忠得到非常高兴，增进了与岳飞的关系。
而张俊恰恰相反，他认为这是岳飞在他面前炫耀武功，是对自己的一种侮辱，反而记恨在心里，视岳飞为眼中钉，肉中刺。有史为证：“杨么平，飞献俊、世忠楼船各一，兵械毕备，世忠大悦，俊反忌之。”
往往误会就是这样接二连三。“拓皋之战”胜利时，岳飞的先头部队到达庐州，张俊以“军中无粮饷供给”来吓唬岳飞，没想到，张俊、杨沂中濠州之败后，岳飞自筹粮饷，救援濠州，并在自己的威名之下，轻而易举夺回濠州，使张俊、杨沂中很没面子。
此时，朝廷褒奖“拓皋之战”和“濠州之战”的有功之臣，高宗赐札对岳飞进行褒谕，曰：“转饷艰阻，卿不复顾。”张俊得知，以为岳飞给高宗上御札，提及“前途乏粮，不可行师”的恫吓之言，更使张俊对岳飞恨到了骨髓里。
绍兴十一年三月底，金兀术在无力攻灭南宋的情况下，一边磨刀霍霍，一边重启议和的伎俩。他亲自写信给秦桧：“必杀岳飞，而后和可成”。使用威逼利诱的手段，迫使秦桧从中斡旋，秦桧一党不断向高宗上书，以“国力脆弱，无力再战”为由，敦促赵构答应议和。
高宗赵构考虑到母后还在金人手中，若不与金人议和，难以接回母后，见朝上议和声再起，借坡下驴。朝散之后，赵构将完颜吾都补带给他的折扇交给秦桧，默许秦桧等人的和议之举。
秦桧得到赵构的默许后，乘机打压手握重兵的将领，尤其是坚决主张抗金的岳飞、韩世忠二人。秦桧回到家中，愁眉苦脸，惦着金兀术的书信，胆怯万分，要想杀死一个手握重兵的二品大员，谈何容易？
就在秦桧无计可施的时候，夫人王氏来到书房，看到秦桧满脸愁云，谓曰：“相爷何故如此？”秦桧顺手将金兀术的书信递到王氏手中，王氏看后，微微一笑道：“相爷，这有何难？”秦桧愕然道：“这有何难！要知道，本朝至今，未曾杀过一名士大夫，何况，岳飞乃朝廷二品大员乎！”
王氏道：“未曾杀过不代表不能杀。若是岳飞功高震主，又有谋反的证据，为何杀不得？相爷请想：子能（张邦昌，字子能）如何？既然四狼主点名杀岳飞，我们就满足他，否则，金兀术一旦翻脸，让一车婆前来指证，相爷还有如今的高位吗？再说了，杀岳飞并非你我之意，请相爷再好好想想：好端端的柔福帝姬为何被弃斩于市？难道这不是‘天’意吗？现如今，相爷只不过顺应‘天’意而已！”这番对话，就是“东窗事发”这句成语的来历。王氏的一番话，让秦桧茅塞顿开，自此，秦桧费尽心机，收罗党羽，罗织罪名，构陷岳飞。
又一日，秦桧召集王次翁、万俟卨、罗汝辑密商，如何处置诸将之事？罗汝辑道：“相爷，太祖建业成，杯酒释兵权，文强而武弱。相爷署理枢密院，当以论功行赏，使韩世忠、张俊、岳飞回枢密院任用，固收兵柄耳！”
秦桧道：“飞列校而起，恐遭俊与世忠嫉，何如？”秦桧的意思是岳飞从一个兵士提拔起来的，资历不如韩世忠、张俊，如果一同任用，恐怕他俩人不服。王次翁赶忙言道：“俊与世忠为枢密使，岳飞副之，想来，俊与世忠无嫉也！”
秦桧想想也是，韩世忠、张俊同为枢密使，而岳飞为枢密副使，两人心中也能平衡。虽然岳飞副之，仍然是朝廷一品大员，毕竟岳飞年岁轻，资历尚浅。就这样，秦桧以丞相和枢密院的名义，召三大将回临安。
三月底，接到诏令后，韩世忠、张俊回到临安，唯独岳飞还没有到，那是因为岳飞还在视察防务，当心金人趁大宋论功行赏之机，偷袭淮西。秦桧见岳飞还没有回朝，再度措辞严厉地敦促岳飞回行在，岳飞只得从庐州回到临安。
四月初，岳飞回到临安，被授枢密副使，参知政事上，至此，张俊、韩世忠、岳飞等三大将被调离军队，到临安枢密院供职。见到秦桧后，岳飞道：“军中不可一日无主帅，相爷何以措置？”
秦桧道：“圣上和议既决，金人乃诚，将军何虑也？”岳飞言道：“前议尤耳，却闻马蹄声声，何诚之有？”秦桧只好揶揄道：“此一时非彼一时也！”岳飞无言。
秦桧见岳飞不在说话，对岳飞言道：“豫废，敌人去淮，不须进发，将军受世忠怂恿，不服诏命，圣心不悦，欲治罪，将军指世忠为谋可矣！”秦桧调转话题，意思是说：金人废掉刘豫以后，皇上给你们发御札说“敌人去淮，不须进发”，而你们违抗圣命，继续进发，抢占地盘，皇上很不高兴，想要治你们的罪，但是，只要你指证“继续进发”是韩世忠的主意，你就没事了。