正当宋朝军民精神振奋，迎接即将到来的胜利时，突然从临安传出了一个惊人的消息。原来赵构既怕岳家军打败，又怕岳家军全胜。打败了，南宋小朝廷难保，他自己可能沦为阶下囚；全胜则又担心岳飞功勋太大，有震主之威，难以驾驭。尤其令他担心的是，如岳飞完全恢复失地，金将钦宗送回，自己就要将皇位让与钦宗。这是他的一块大心病。秦桧更怕岳飞打胜，因为他是为金朝主子效劳，以主和起家的。岳飞得胜之日，便是他性命难保之时。他摸透了赵构的心理，指使一名官员上书赵构说：“现今兵弱将少，民困国乏，岳飞如果深入敌境，岂不危险！希望陛下命令岳飞暂且班师，待将来兵强将众，粮食充足，再兴师北伐，当可一举而定，这才是万全之计。”赵构本来心怀鬼胎，一见奏书，正中下怀，立即下令各路大军停止进击，一律撤回原来的驻地。
岳飞接到朝廷的命令，一面让将士整装待发，一面在七月十八日上奏力争。他在奏章中说：“金贼屡次败衄，锐气丧尽，内外震骇，打算弃掉辎重，迅速渡河。况且现今豪杰闻风响应，将士奋不顾身，天时人事，谁强谁弱，已一目了然。大功即将告成，时机不可轻失。”他坚决要求乘胜北进，扩大战果。但是，岳飞的这一奏章还没有送到临安，赵构已在一天之内用金字牌（朱漆的木牌，长一尺多，上面刻着金字，是用来传递皇帝发下的特急件的一种标志，按规定不分昼夜，鸣铃走递，一天行四百到五百里）发出十二道诏书，催促岳飞班师，理由是“孤军不可久留”。
岳飞书法一道道诏书使岳飞悲愤不已。岳飞泪流满面，悲伤地说：“十年的努力，一日付之东流！收复的各州，一朝全部丢弃。社稷江山，难以中兴；乾坤世界，无由再复！”诸将也痛哭流涕。就这样，岳飞被迫下令撤军。在撤军前，为防备兀朮闻讯派兵偷袭，故意放出风声，说明天将要渡河。金兀朮害怕汴京城内百姓作岳家军的内应，连夜弃城，北逃一百多里。
岳家军班师的消息不胫而走，百姓们纷纷赶来挽留。他们挡住岳飞的坐骑，痛哭失声地诉说：“我们顶香盆、运粮草，迎接王师，金贼知道得一清二楚。现今相公一走，我们就没法活命了。”岳飞勒住马头，流着泪，拿出赵构的诏书，让百姓们观看，说：“朝廷有诏书，我不能不走呵！”他只好再三安慰百姓，劝他们南撤到襄、汉一带。为此，他命令留兵几天，掩护百姓撤退。
岳飞率军从郾城班师。
金兀朮听说岳家军已经撤走，不禁额手称庆，紧接着便派兵重新夺占了中原地区的许多州县。
欲加之罪何患无辞
金兀朮曾秘密写信给秦桧说：“你一天到晚请求讲和，而岳飞却正想进攻河北，还杀死我女婿，此仇非报不可。必须杀了岳飞，才可以讲和。”他向秦桧明确提出以害死岳飞为议和的条件。
绍兴八年，岳飞多次要求增添兵力，赵构加以拒绝，说“宁可缩小防区，也不能添兵”。要防止“尾大不掉”。岳飞曾当面建议赵构早建皇储，赵构更大为不满，说：“武将不应干预朝政。”岳飞重创金军主力，声威大震，这在赵构看来是武将挟震主之威，更难于容忍。加上岳飞始终不渝地反对苟安投降，坚持抗战，以“直捣黄龙”为目标，这就更难为赵构所容忍。
绍兴十一年正月，金兀朮再次征兵十多万，侵犯淮西，赵构命令韩世忠、张俊等大将合兵淮西。二月初，金军已占领庐州。岳飞二月九日接到前往江州应援的诏令，稍作准备，十一日便领兵上道。三月四日，金兀朮采用郦琼的计策，发兵急攻濠州，八天后破城。张俊会合杨沂中、刘锜所部，回兵救援，为金兵所败。接着，韩世忠在濠州附近也被金军打败。十三日，岳飞率部赶到濠州定远县（安徽定远）。这时，张俊、杨沂中、韩世忠等部宋军已经败退，而金兀朮听说岳家军开到，立即引兵退回淮北。
赵构和秦桧经过密议，以酬赏柘皋之捷的名义，把韩世忠、张俊、岳飞召到临安。赵构任命韩世忠、张俊为枢密使，岳飞为副使。几天后，宣布撤消三大将的宣抚司机构，将所辖人马直属皇帝“御前”。
赵构和秦桧一举剥夺了三大将的兵权，这是他们蓄谋已久的阴谋的第一步。紧接着是解散三大将的军队，防止他们的部属因怀念旧帅而违抗朝廷命令。同时，利用三大将的矛盾，逐个翦除。五月，赵构命令张俊和岳飞出使淮东，检阅韩世忠的兵马，筹措战守之策。实际上，赵构和秦桧布置给张、岳的任务是拆散韩家军、罗织韩世忠的“罪状”。临行前，秦桧向岳飞透露赵构的真实意图，要他到韩家军驻地去搜罗韩世忠的“罪状”。秦桧还假示关怀，要岳飞防备韩家军叛变。生性耿直的岳飞立即回答秦桧说：“韩世忠已经升任枢府，楚州的军队就是朝廷的军队。相公（指秦桧）命我带兵自卫，有什么用处呢？至于叫我去收罗同列的阴私，只会使相公失望。”
岳飞和张俊到楚州后，张俊一伙按照秦桧的预谋，诬告韩世忠的心腹将领耿著，说：“耿著企图动摇军心，图谋叛逆，而且还要韩世忠萤掌兵权。”岳飞事先已经知道秦桧的阴谋，对韩世忠的遭遇极为感叹，他说：“我和韩世忠一起为朝廷做事，岂能使他无辜获罪！否则，我就对不起他了。”于是立即写信急报韩世忠。韩世忠得报，紧急求见赵构，哭诉了一场。赵构假装不知道这件事，让秦桧审理耿著一案，因而耿著得以免死，以刺配流放了事。
岳飞在韩世忠的问题上秉公尽义，因此更得罪了秦桧，也得罪了赵构。七月间，岳飞从楚州回到临安。十六日，秦桧唆使右谏议大夫万俟楔首先发难，上书指责岳飞“爵高禄厚，志满意得，日渐颓惰”。具体“罪状”有二：一是柘皋之战，违反诏旨，不及时发兵，很久才到蕲、舒；二是扬言楚州不可守，沮丧士气，动摇民心。万俟楔请求罢免岳飞的枢密副使。赵构亲自出场配合，首肯万俟楔的话，说：“岳飞公然声称楚州不可守，修城有什么用，这是因为将士久戍楚州而感到厌烦，想弃城而到别处去，岳飞的用意是附和下级以钓声誉，所以说出这种话来，叫朕去依靠谁！”
秦桧乘机推波助澜，说：“岳飞的话说到这个地步，而朝廷内外有的人还不知道。”接着，御史中丞何铸、殿中侍御史罗汝楫也交章弹劾岳飞，大意跟万俟楔所说相同，请求赵构“速赐处分”。岳飞立即连上三奏，要求辞职。八月九日，赵构罢免岳飞枢密副使之职，改任万寿观使的闲职。
岳飞居闲后，既无兵，又无权，但是，赵构和秦桧对岳飞的迫害并不到此止步。他们觉得岳飞虽已罢官，但他的爱将王贵和张宪仍分别担任岳家军的都统制和副都统制；同时，英勇善战的岳家军依旧存在。这些都使他们不能放心。因此，他们又施展一系列阴谋诡计，以达到杀害岳飞和解散岳家军的目的。
还在六月间，赵构和秦桧就已派林大声为湖、广总领官，不仅总管岳家军粮饷，还有权统率各军。林大声到鄂州后，想方设法收集岳飞的材料，网罗败类，企图使岳飞的部将们互相攻击，然后牵连岳飞父子。岳飞手下有一个叫王俊的前军副统制，屡次因奸贪而受到张宪的处罚，对张宪怀恨在心。林大声觅到王俊，如获至宝，便向王俊暗示了秦桧的意图。王俊受宠若惊，觉得这是难得的升官发财的好机会，还可乘机报复张宪。
林大声和王俊经过精心策划，由王俊出面诬告，说张宪曾对王俊谈及，为岳飞罢官，准备裹胁大军由鄂州移屯襄阳，逼迫朝廷释放岳飞，并把兵权交还给岳飞。如朝廷派兵来剿，则请番兵帮助。王俊的状词破绽很多，最明显的是张宪和王俊原来关系并不融洽，王俊又是尽人皆知、专事告密的无耻之徒，张宪决不会跟他推心置腹地商议这种大事。
张宪原准备去临安朝见赵构。等张宪经过镇江时，王俊的诬告状已送到了张俊手中。张俊立即在镇江将张宪拘押起来。根据宋朝的法制，枢密院无权审讯犯人，但张俊求功心切，不等将张宪解往临安，就在行府私设刑堂。张俊使用种种毒刑，把张宪打得体无完肤，企图逼迫张宪承认收到过岳飞的亲笔信，信上命令张宪设法使朝廷将兵权归还岳飞。并把王俊叫来当堂对证，但张宪宁死不屈，不肯诬认。张俊见动刑和对证都不能使张宪屈服，便假造供词，上奏说：张宪已供认“在收到岳飞文字后谋反”。
按照事先的策划，不论指使王俊诬告，或者胁迫王贵，拷打张宪，无非是为了顺藤摸瓜，以牵连岳飞父子。十月十三日，赵构传下“圣旨”，命令在刑部大理寺设立制勘院，以审理此案，然后“闻奏”。于是岳飞和岳云都被逮捕，押送到大理寺狱中。与此同时，朝廷还出榜公布，说张宪一案“其谋牵连岳飞，遂逮捕归案，设诏狱审问”。此案由赵构亲自审理，可见关系重大。
岳飞被投入牢狱后，由御史中丞何铸、大理卿周三畏共同审讯。何铸原来附和秦桧，曾参与弹劾岳飞。审讯时，何铸传岳飞到庭，要岳飞交待“谋反”的罪行。岳飞撕开衣服，袒露背部，叫何铸看他背上刺着的“精忠报国”四个大字。这几个字深深透入肌肤，是他老母姚氏早年亲手刺上的，何铸不禁深受感动。在继续审讯时，何铸逐步发现王俊的状词、张俊的奏章等都是无实据的诬陷之词，说明岳飞蒙受了不白之冤，他把这一看法禀告秦桧。秦桧听罢，大为不满，便向何铸透露，这次逮捕和审讯岳飞不是他秦桧的主意，而是“圣上的意思”。何铸不听，仍然据理力争，说：“我何铸岂止是为了一个岳飞！强敌未灭，无故杀一名大将，会失去士卒的信心，不是社稷长久之计！”秦桧无言以对，愤愤而去。
何铸为岳飞鸣冤，审讯工作自然毫无进展。赵构和秦桧就用别的名义，将何铸调离御史台，不久后又将他贬官。十一月二十一日，改由万俟楔、罗汝楫、周三畏等人重新审理岳飞这一案子。
万俟楔以前任湖北提点刑狱时，岳飞宣抚荆湖，曾对万俟楔很不客气，万俟楔一直耿耿于怀。这次，万俟楔主动要求负责审讯岳飞，显然不怀好意。岳飞和张宪第一次受审，被带到堂上，蓬头赤脚，浑身血染，戴着沉重的枷锁镣铐。万俟楔等人向岳飞大声呵斥道：“国家哪里亏待你们，你们二人却要谋反？”岳飞理直气壮地说：“对天起誓！我绝对不辜负国家。你们既然主持国法，就不该损陷忠臣。否则，我到冥府也要与你们对质到底！”万俟楔又追问岳飞说：“你既然不想谋反，你记不记得游天竺寺时，在壁上题有‘寒门富贵在何时’一句，这是什么用意？”罗汝楫等陪审官员一齐随声附和说：“你既然写这些东西，岂不表明想造反吗？”岳飞看到这些审讯官员无一不是秦桧的党羽，跟他们讲道理还有什么用处呢？不禁长叹一声说：“我现在才知道已落入国贼秦桧手里，使我为国尽忠之心都白费了！”说罢，闭上眼睛，再也不说一句话，任凭狱卒去拷打。
在以后的许多次审讯中，岳飞屡经酷刑的折磨，但始终以坚强的意志、非凡的毅力，忍受肉体上的极大痛苦，拒绝回答万俟楔们提出的任何问题，拒绝承认王俊、张俊等人捏造的“罪状”。为了表示抗议，岳飞开始绝食。连续好几天，岳飞一口粥也不吃。最终病倒了。
秦桧、万俟楔还继续派他们的党羽搜检岳飞的文书档案，又派党羽分头到各地去罗织别的“罪证”。他们说，在当年淮西战役中，岳飞故意藐视同朝大将，而且想残害友军。又说，岳飞有一次召集诸将开会，他忽然扬言：“国家今天的景况不得了啊，官家（指赵构）又不修德！”这是“指斥乘舆”，即攻击皇帝。他们还说，几年前，岳飞第一次作节度使时，曾经高兴地向别人夸耀说：“我三十二岁建节，自古少有。”而在这个年纪做节度使的，只有开国皇帝宋太祖。这是与太祖皇帝相提并论，显然怀有不测的野心。此外还编造说：岳飞罢兵权后，曾经命幕僚孙革写信给张宪，叫张宪“采取措施，另行筹画”，又指使张宪谎报金兀朮大军侵犯襄、汉一带，以便占据襄阳作乱。万俟楔等人还捏造了岳云的一些罪名，说他写信给张宪，要张宪想法把岳飞弄回军中来，并说这封信已经焚毁。
在这样的“罪状明白”以后，万俟楔决定立即结案定罪。按照宋律，应该召集此案审讯官和刑部、大理寺官员一起集议。大理寺丞李若朴、何彦由提出，岳飞的罪依法只可判处两年徒刑，不应判死刑。万俟楔等人置之不理，仍然决定岳飞、岳云、张宪三人犯下了“死罪”，应该判处岳飞斩刑、张宪绞刑、岳云徒刑，并将所定罪名奏报朝廷，请赵构最后“裁断”。
岳飞正当秦桧、万俟楔等人迫害岳飞的时候，朝廷内外许多主持正义的官员展开了营救岳飞的活动。一个宗室首领力辩岳飞无罪，他说：“中原未宁，祸及忠义，这是忘记二圣，不想恢复中原了。臣愿意以全家百口，担保岳飞没有罪。”福建布衣范澄之上书指出，全国百姓不知道岳飞因犯何罪而被逮系诏狱，但又怕指责为造谣惑众，所以都不敢说话。宰辅大臣献媚虏人，急于求和。陛下正下定决心恢复祖宗大业，岂可叫将帅们互相屠杀！希望陛下特予赦宥，释放岳飞。抗金名将韩世忠不顾个人的安危，亲自责问秦桧，秦桧含糊其词地回答说：“岳飞子岳云写给张宪书虽然不清楚，但是这件事莫须有（也许有）……”韩世忠听了，义愤填膺，说道：“相公，‘莫须有’三字，何以服天下？”从此，“莫须有”成为冤狱的代名词，后代还称冤狱为“三字狱”。在赵构和秦桧一伙操纵下，爱国的官员和士大夫的营救活动都成为徒劳。
岳飞被捕入狱后，赵构、秦桧一伙加紧向金朝投降。十月，赵构派吏部侍郎魏良臣等出使金朝，在兀朮面前再三叩头，哀求甚切，兀朮才准议和。十一月，宋、金和谈成功，金朝规定宋朝投降的条款为：划定两国的国界，东从淮水、西到陕西大散关以北的土地全部归金朝所有，宋在京西割唐、邓二州，陕西割商、秦二州之半给金；仍向金称臣，每年奉送金朝银子二十五万两和绢帛二十五万匹。
赵构和秦桧一伙屈膝投降后，又按照金朝统治者的意旨，决定对岳飞下毒手，置岳飞于死地。
绍兴十一年冬，岳飞经过许多天绝食，身体已经极度衰弱。赵构审批尚书省转呈的刑部大理寺奏状，当即下旨：“岳飞特赐死。张宪、岳云并依军法施行，命杨沂中监斩，仍多差将兵防护。”刑部大理寺原来议定不杀岳云，但赵构和秦桧一伙连岳云也不肯放过。
当天，大理寺执法官遵旨进入狱中，作最后的处决。他们再次提审岳飞，逼他在供状上画押。岳飞知道已经到了生命的最后时刻，他仍然坚持自己抗金爱国无罪，决不乞求开恩赦免。不过，他觉得如果老天有眼，一定会证明自己一生光明磊落，无辜被害，于是他镇定自若地取过笔来，在供状上写了八个大字：“天日昭昭，天日昭昭！”狱吏拿来毒药，放入酒中，岳飞一饮而尽。张宪、岳云同时也被押赴刑场。三位民族英雄就这样没有战死在抗敌的疆场上，却惨死在妥协投降派的毒刑下。这时，岳飞仅39岁，岳云22岁。
