岳飞哀叹道：“是啊！为兄壮志难酬，不得平生所愿也！已经写好乞罢军职的奏折，不想再过问军中事务了。”说完就要伸手点香，白菱赶忙喊道：“霖儿，赶紧过来拜见爹爹！”“哎！”岳霖答应一声，走到岳飞正面，堆金山，倒玉柱一般给岳飞叩头，口中喊道：“霖儿见过爹爹，愿爹爹身体安康，福寿延年！”说完，一连叩了三个响头。

岳飞再看岳霖，嗨！身材虽然有些瘦弱，脸型却像从自己脸上扒下来一样，身子骨长得结结实实，眉清目朗，两耳垂轮，既有自己一样的敦实，又有白菱一样的清秀。岳飞一把拉起岳霖，道：“霖儿！我的好霖儿！爹爹让你和娘吃苦了！”说完，岳飞将岳霖揽入怀中。岳霖也非常乖巧，任由爹爹抱住自己，脸贴着脸，抚摸自己的后脑勺，一种从未有过的温暖传遍全身。

一旁的白菱眼泪如断了线的珍珠一样，劈哩叭啦往下掉，但脸上始终洋溢着幸福的微笑。接着，她对岳霖道：“霖儿别再缠着爹爹了，爹爹还没有给奶奶上香呢！”“嗯！”岳霖答道。

这时，岳飞才想起自己还没有给娘亲上香叩头，遂松开岳霖，取过三支丹香，用媒子点着后，对着娘亲的坟头恭恭敬敬地拜了三拜，口中不住地念叨：“娘啊！飞儿回来看您来了！飞儿不孝，没能为您守孝三年，确因前线战事吃紧，不得不奉诏离开！这次飞儿回来守制，打算一直守候在您身边。”

祷告一毕，岳飞将手中的丹香插在香炉里，退后三步，撩衣跪倒，以头伏地，规规矩矩给娘亲叩了三个响头。

白菱过来将岳飞扶起，对霖儿道：“霖儿，你去山前玩耍一会儿，娘跟爹爹说会儿话。”岳霖乖巧地离开，白菱让岳飞到茅舍中歇息一会儿，边走边问道：“岳哥哥缘何写了乞罢军职的折子？难道朝廷又有变故？”

见白菱问起，岳飞一边走，一边哀叹道：“唉！当今圣上，圣意不坚，狐疑不定，飞恐难伸展大志耶！”接着，岳飞把高宗如何诏见自己，皇上如何将刘光世军交给自己节制，张浚、秦桧如何阻挠，张浚如何讥讽自己等等，告诉白菱。

白菱听后，劝讲道：“岳哥哥文韬武略不逊淮阴侯，可大志难展，甚为可惜，菱妹为岳哥哥深表惋惜。佞臣作祟，岳哥哥还是应该多作隐忍，不要性情过于刚烈，这样有伤君臣之谊。若得圣上御札，还是以江山社稷为重。”

岳飞知道白菱的话不无道理，可心头的这口气就是出不来，气咻咻地说道：“这次无论如何也要为娘亲守制期满！”白菱说道：“既然岳哥哥在娘亲坟前守制，菱妹就留下来伺候岳哥哥！”

“不可！在娘亲坟前守制，怎可有女眷陪伴？菱妹与霖儿早早下山，回归太湖，等娘亲守制届满，岳哥哥定当将菱妹与霖儿接回！”岳飞言道。白菱无奈，只好领霖儿下山，回归岘空岛。当岳飞二次下得庐山后，金人再度撕毁绍兴和议，岳飞奉命领兵四伐中原，直至十二道金牌召回，也没有实现接回岳霖母子的誓言，岳霖也因此躲过一劫，没有遭到朝廷的充军发配，这是后话暂且不表。

高宗赵构得知岳飞在没有御批的情况下，自行乞罢军职，非常震惊和气愤。要说第一次岳母去世，为了给娘亲守制，邓琮三诏而不起，高宗赵构虽然震惊，但不气愤，因为，毕竟身为人子，以尽人伦，此为孝子之道，可以理解。而此次仅仅因为没有将刘光世行营左护军划拨给他，他就撂挑子，这明摆着是伸手要兵权，桀骜不驯，这样的臣子将来如何驾驭？再加上秦桧火上浇油，廷报说：“岳飞乞罢，部将称病，不理军务；部曲汹汹，生异语。”高宗赵构对张浚所说“功盖天下，威略震主”的话不疑有他。

尽管宋高宗很气愤，但是，他还是派张宗元到鄂州军中做宣抚判官，并带去诏令命李若虚、王贵前往庐山请岳飞回到军中，还敦促鄂州将士联名写信让李若虚带给岳飞。李若虚与王贵到了庐山，一连苦劝岳飞六日，岳飞方才与李若虚回到鄂州，一场君臣不快暂且烟消云散，绍兴七年十月，岳飞二度见到高宗赵构后，嫌隙进一步加深。

按下岳飞回归鄂州暂且不说，且说张浚奏请高宗，将刘光世部将王德任命为左护军都统制，郦琼为副都统制，吕祉以兵部尚书、都督府参知军事随军节制。

论军中资历，郦琼早于王德从入军中，早年随老帅宗泽征战，战功也多于王德。但是，王德善于溜须拍马，见风使舵，尤其对上司刘光世和老官长张浚，更是竭尽阿谀奉承之能事，深得张浚喜爱，故而，张浚偏向王德，保荐王德为都统制，郦琼对此不服。

绍兴七年三月，张浚命王德率八千人回驻健康，吕祉、郦琼领四万余人驻守淮西。郦琼心中忿忿不平，杀死吕祉，裹挟、鼓噪四万多兵马、百姓六七万人投靠伪齐，后世称之为：淮西军变。

张浚因用人不当，终于招致淮西军变，张浚因此引咎辞相。岳飞得到兵变的消息，立即上疏表示愿率军进屯淮甸，拱卫建康行在。赵构只让岳飞到江州驻扎，若因情势需要，随时候听。

郦琼投靠伪齐后，刘豫大喜过望，亲自将郦琼迎进自己的内庭，并授郦琼为靖难军节度使，知拱州。并就南宋之势相问，郦琼答曰：“江南军势怯弱，皆败亡之余，又无良帅，何以御我?颇闻张浚当国用事，志大才疏，刚愎自用；秦桧风头正劲，不过老儒也，兢兢自守，不足为惧。”刘豫欣喜。

调防江州后，岳飞抛开心中的不快，整顿军马，了解军情。这一日，岳飞在军中翻阅最新战报，一行文字吸引了他的注意，曰：“金将粘罕、挞懒喜欢刘豫，金将兀术讨厌刘豫。”岳飞心有所动，何不利用这二人嫌隙，破坏他们的关系，削弱金人力量。

功夫不负有心人，几天后，岳云的踏白军抓获一名金人的细作，送到岳飞这里来。岳飞略加思考后，心中暗道：何不借细作的嘴巴用一用呢！想到这，他让岳云将细作押了进来，见了细作，岳飞屏退左右，告诉岳云百步之内不得有人。

岳飞突然对细作怪罪道：“你不是探马张斌吗？前几天，我派你到齐王刘豫那里去，约刘豫和我一起把四太子金兀术诱骗来杀死，你却一去不回。”