岳飞并不同意秦桧的这种说法，道：“宋不取，虏人复来，宋之师行宋之地，何谓进发？此势也，而非谋也！”岳飞的意思：金人退却，大宋不占领，金人势必来占领，这些地方本来就是大宋的土地，大宋的军队行走在大宋土地上，何来进攻？这是大势所趋，并非是哪个人的主意。听了岳飞的话，秦桧无语，知道岳飞真的和自己不是一路人，构陷岳飞的决心暗暗下定。
张俊则是一个见风使舵的人，他见秦桧署理枢密院，也是自己的顶头上司。眼下，秦桧是皇上身边的红人，呼风唤雨，权倾朝野，回朝后，他很快就搅进秦桧一党，成为迫害岳飞的主要帮凶，名污青史，遗臭万年。
五月，朝廷派张俊和岳飞到楚州巡视韩世忠的军队，张俊早就风闻韩世忠处处与秦桧作对，秦桧要拿韩世忠开刀，张俊趁机挑唆岳飞，一同分解韩世忠的军队。
这一日，张俊、岳飞到了下榻之处，对岳飞道：“世忠忤桧，桧欲治罪，吾欲与尔分之，势大而无患也。”岳飞当即回绝道：“诸公当戮力以图恢复，岂可为退保计？”听了岳飞的话，张俊暗暗咬牙，脸色铁青。
此时，接待张俊、岳飞的是韩世忠军中总领胡纺，听了张俊与岳飞的对话，对二人言道：“二枢密若分世忠军，恐至生事。”闲暇之余，岳飞密见韩世忠，告诉他秦桧欲陷害韩世忠的事，韩世忠非常感动，自此，主动交出兵权，买房子置地，不在理会朝政，保全了自己。
张俊回到朝中，对岳飞更加恨之入骨，编造谎言，让秦桧党羽万俟卨、罗汝楫弹劾岳飞，书曰：“今春金人攻淮西，飞略至舒、蕲而不进，比与俊按兵淮上，又欲弃山阳而不守。”诬蔑岳飞救援淮西“逗留不进”、主张“弃守山阳（楚州）”，要求免除岳飞枢密副使之职。果然，高宗在接到罗汝辑、万俟卨的弹劾后，八月九日，罢免了岳飞的枢密副使，充“万寿观使”的闲职，岳飞自请回到江州庐山旧居赋闲。
岳飞再度结庐而居，为娘亲守孝，只有次子岳雷时常给他送些吃食。这一日，岳飞正在清理杂草，只见一道身影飘到他的身旁，岳飞定睛一看，此身影非是别人，正是爱恨纠缠的思阳妹子。岳飞错愕道：“原来是思阳妹子，飞有礼了！”
思阳打了个稽首道：“阿弥陀佛！这里只有慧愫女尼，哪来的思阳妹子！岳施主请了！”见思阳一身女尼的打扮，岳飞觉得自己称她为思阳妹子，确实有些唐突，只好期期艾艾道：“飞曾答应王真人，待军中事了，前往峨嵋山，给思阳姑娘一个交待！”
“岳施主想如何交待？”思阳追问道。岳飞沉思良久道：“请求姑娘还俗，只要姑娘不弃，飞给她一个名分。若是姑娘不肯还俗，飞就在峨嵋山下剃度，陪伴青灯古佛。”
“难道这就是岳施主的交待吗？贫尼问岳施主：不管思阳愿不愿意还俗，那么，陷空岛上的白菱姑娘如何处置？如果思阳姑娘不肯还俗，岳施主就此陪伴青灯古佛，那么，江州的银儿姑娘又怎么办？难道岳施主就是想点一盏灯，灭另一盏灯吗？”思阳诘问道。
“这……飞只是肉体凡胎，哪能事事兼顾？飞只能了却一桩是一桩。”岳飞囧困道。
“呵呵！岳施主与其说‘了却一桩是一桩’，不如说是为了兑现王真人的承诺，了却心中的负担而已，怕落下个不守信诺的名声，守信一道，对岳施主来说，恐怕胜过性命。贫尼在这里告诉岳施主，莫要把王真人的信诺放在心上，王真人那里自有贫尼去说，还望岳施主还白菱姑娘一个名分，毕竟，他身旁还有你的骨血，莫要让愁苦之人继续愁苦下去。”思阳悲情道。
“这……这……妹子当如何？”岳飞急忙追问道。“妹子还是妹子，谁让当初干娘已经认下思阳这个闺女，只是这个妹子已然出家，就不在是妹子了，无需岳施主有什么交待；不过，岳施主目前还要对军中之事有所交待，贫尼从淮西至此，岳施主离开军中之后，以牛皋、董先等人的脾气，如何能受得了没有岳施主的日子，张宪又是小辈，很难说服他们，久了，恐生事端，知道的，说是将卒们意气用事，不知道的，当说受岳施主怂恿，请岳施主早做打算。”思阳提醒道。
经思阳点醒，岳飞心中一激灵，是啊！以牛皋、董先的狗脾气，不闹出乱子才怪。岳飞赶忙言道：“飞不在军中任职，不便插手军中之事，这如何是好？”思阳言道：“这有何难？你写份安抚信，贫尼帮你送往军中，贫尼是跳出红尘之人，又与众人熟识，朝廷当不会疑。”
“就这么办！”说完，岳飞找来纸笔，一气呵成，给张宪写了一份信，大意是：闻军中情绪骚动，比（指张宪）传喻诸将，不可懈怠防务，虏人覆灭之心不死，诸将终有用武之地，尔等莫因偏激而惹祸端。阅后焚之。
思阳带着岳飞的安抚信，星夜兼程赶到淮西，见到张宪、岳云，并告诉二人，岳飞被罢免枢密副使之职，不便过问军中之事，安抚信只能口头传达诸将，不可明示，阅后焚毁。虽然这封信是思阳亲手送去，但还是给张宪的副手王俊留下口实，王俊借此投靠张俊，说岳飞写信给张宪、岳云，怂恿众将闹事，还兵权与岳飞，否则，让他们起兵谋反。
秦桧得到张俊的密报，以枢密院的名义，召张宪、岳云到临安，同时，又以朝廷的名义急速诏岳飞回朝。岳飞还在路上，秦桧以谋逆罪将张宪、岳云二人，下入大狱，严刑拷问二人，让其承认谋反，并让二人交出岳飞写的书信。
张宪、岳云都是铁骨铮铮的汉子，不仅不肯承认有谋逆之事，而且矢口否认有书信的事。秦桧毫无办法，立即指使王次翁、张俊、罗汝辑、万俟卨等人，一定要从二人身上挖出有用的证据，拘捕张宪、岳云的初衷是醉翁之意不在酒，意在岳飞。
待岳飞刚刚回到临安，即被投入大理寺狱中，大理寺卿何铸质问岳飞煽动诸将谋逆之事，岳飞哈哈大笑道：“皇天后土，可表此心！”笑完，撕开衣服，露出后背，只见脊背之上“尽忠报国”四个大字赫然在目。何铸虽然有些羞愧，但仍然言道：“虽刺字不能掩谋逆之事，余（指岳飞）与宪有谋逆书信来往否？”
“有书信往来，而非谋逆之信，宪与云皆飞之子婿，书信往来皆人之常情，与谋逆何干？”岳飞掷地有声道。何铸虽为秦桧一党，暗地里非常佩服岳飞的为人，在岳飞坦诚告诉他有书信来往后，更觉得这是人之常情，的确与谋逆无干，何铸带着几多愧疚向秦桧据实相告，说岳飞与张宪、岳云案无关，岳飞是无辜的。
秦桧很是生气，免去何铸的大理寺卿，改由万俟卨为大理寺正卿，继续审理岳飞谋逆一案。万俟卨对张宪、岳云二人使尽各种酷刑，始终没审出一句有用的话来。
秦桧再召余党密商，鬼主意比较多的王次翁对万俟卨言道：“闻万俟（姓万俟名卨）正卿令妹乃岳飞之义弟王贵的夫人，若得王贵相助，其证可凿也！”听了王次翁的话，秦桧把目光投向万俟卨。
见秦桧看着自己，万俟卨心里这个骂哟！不得好死的酸儒王次翁，你出什么主意不好，偏偏拿我妹妹妹夫当刀使，出门就被马车撞死！虽然万俟卨心里这样骂，但嘴上还是对秦桧言道：“相爷，王侍郎说得对，若是王贵肯指证岳飞，岳飞则百口莫辩。”