李纲被罢相，宗泽忧愤而死，军民寒心，将士意冷，恢复中原的希望完全被葬送。宗泽死后，代以杜充，杜充酷而无谋，悉反宗泽所为，“数日间将士去者十五”。在这种情势下，金人南侵更加有恃无恐，“金人闻宗泽死，决计用兵’。建炎二年十月，宋高宗跑到扬州。十二月，以黄潜善、汪伯彦为左右相，朝廷大权完全被奸臣所掌握。此时形势危如累卵，朝不保夕，但宋高宗却得意地说：“潜善做左相，伯彦做右相，朕何患国事不济！”这黄潜善、汪伯彦除了妒功害能、媚上固宠之外，实无一能，他们于御敌大计毫无谋划，只知专权自恣。且高高在上，情况不明，所报皆道听途说之辞。他们毫不负责地将城池要地委之于地方官，至于战守之事则概不过问。他们堵塞言路，封锁消息，言事者不纳其说，请兵者不以上闻。
金兵连破州县，日益向南逼进，淮北累有警报，而黄潜善等却说这是寇贼李成余党，“无足虑者”。“北京破，议者以敌骑且来，而朝堂宴然不为备”，张浚率同列谒黄潜善等，“潜善、伯彦笑且不信”。建炎三年正月，金兵入淮阳，取徐州，破泗州。二月，下楚州（今江苏淮安），陷天长，直逼扬州。当时高宗遣内侍邝询往天长军视事，邝询得知金兵已至，慌忙奔还，告知高宗。高宗得报，大惊失色，急忙披甲乘马，出门而逃，只有五六骑相随。“过市，市人指之曰‘官家去也！”俄有宫人自大内一涌而出，城中大乱，高宗与行人并辔而驰。时黄潜善与汪伯彦方共食，“或有问边耗者，犹以不足畏告之。堂史大呼道：“驾行矣！”黄潜善、汪伯彦一听，惊得魂飞魄散，相视仓皇，然后，“戎服鞭马南骛”，拼命奔逃。当时军民争门而死者，不可胜数，“人无不怨愤”。“时军民怨黄潜善刻骨”，司农卿黄锷至江上，军士听说其人姓黄，以为是黄潜善，“争数其罪，挥刃而前”，黄锷正要辩明自己不是黄潜善，“而首已断矣”。少卿史徽、丞范浩继至，亦死。给事中黄哲方徒步奔走，一骑士挽弓射之，中四箭而死。左谏议大夫李处逛为乱兵所杀，太府少卿朱端友、监察御史张灏，皆不知存亡。军民们恨透了误国害民的腐败官僚。第三天，金游骑至瓜洲，民未渡者尚有十余万，奔进坠江而死者近半。
宋高宗由瓜洲过江后，昼夜兼程，于第十一天，即2月13日驻跸杭州。就是逃跑的路上，黄潜善、汪伯彦也仍然没有忘记售其奸，他们与高宗计议，下诏尊礼已经死去的万人唾骂的张邦昌，对张邦昌的儿子、兄长“悉令录用”，以向金人讨好。而对于李纲则欲进一步置于死地。高宗到杭州后，赦死罪以下，放还士大夫被窜斥者，但依黄潜善之言，却要“罪纲以谢金”，只有李纲不得赦免。
黄潜善等“猥持国柄，嫉害忠良。李纲既逐，张悫、宗泽、许景衡辈相继贬死，宪谏一言，随陷其罪，中外为之切齿”。早在过江南逃前，就有一些正直的官吏弹劾他们的卖国售宠之罪，但或被罢官，或遭斥逐，谁也奈何不得。宋室南渡，士民死伤无数，国库金帑尽为敌有，从此偷安东南一隅，恢复无望，人们对黄潜善，汪伯彦更加痛恨，上自御史谏官，下至布衣内侍，“皆劾奏之”。其中御史中丞张澈疏劾黄、汪大罪二十，集中揭露了他们的罪恶。其大略谓；“潜善等初无措置，但固留陛下，致万乘蒙尘，其罪一。禁止士大夫搬家，立法过严，议者咸云：‘天子六宫过江静处，我辈岂不是人，使一旦委敌！’归怨人主，其罪二。臼真、楚、通、泰以南州郡，皆碎于溃兵，其罪三。祖宗神主、神御不先渡江，一旦车驾起，则仅一两府舁致，倾摇暴露，行路酸鼻，其罪四。建炎初年，河南止破三郡，自潜善等柄任以来，直至淮上，所存无几，其罪五。士大夫既不预知渡江之期，一旦流离，多被屠杀，其罪六。行在军兵，津渡不时’，仓卒溃散，流毒东南，其罪七。左帑金帛甚多，不令装载，尽为敌有，其罪八。自澶、濮至扬州，咸被杀掠，生灵涂炭，其罪九。谢克家、李擢，俱受伪命而反进用，其罪十。潜善于王黼为相时，致位侍从，故今日侍从、卿监多王黼之客，伯彦则引用梁子美亲党，牢不可破，罪十一。职事官言时病者，皆付御史台抄节申尚书省，壅塞言路，罪十二。用朝廷名爵以胁士大夫，罪十三。行在京师各置百司，设官重复，耗蠹国用，如以巡幸而置御营使司，则枢密院为虚设，置提举财用，则户部为备员，罪十四。许景衡建渡江之议，挤之至死，罪十五。身为御营使，多占兵卫，不避嫌疑，罪十六。敌人相跑，斥候全无，止据道涂之言为真，致引狼狈，罪十七。敌骑已近，尚敢挽留车驾，罪十八。卢益自散官中引为八座，遂进枢副；伯彦之客为起居郎，有罪补外，遂除集英修撰；二人朋比，专务欺君，罪十九。国家殆辱，不知引罪，罪二十。”
渡江伊始，局势不稳，人心未定，高宗看到人们群起反对黄潜善、汪伯彦，感到不对其有所处置，不足以安定人心，因而在张澈上疏之后被迫罢黄潜善为观文殿大学士，知江宁府，落职居衡州。朝臣认为处置太轻，不久，责授镇东军节度副使，英州安置。高宗对黄潜善的偏袒庇护，引起很多大臣的不满，右司谏袁植上疏请求将黄潜善“斩之都市，以崇国体”，高宗不许，并罢袁植官。最后仅将黄潜善降为江州团练副使，秘书少监。建炎三年六月，黄潜善死于梅州，竟得善终。
提起宋代奸臣，人们首先会想到秦桧，而易于忽略黄潜善。秦桧投降卖国，谋害民族英雄岳飞父子，其罪固不容诛，理该遭到万世唾骂；黄潜善媚敌主和，排抑李纲、宗泽等忠义报国之士，亦实令人发指。秦桧叛卖于宋室既渡之后，黄潜善行奸于南宋偏安临安之前，断送了匡复中原的最有希望的时机，其误国之罪，实不在秦桧之下。
§§第四章 投机专营的能手：王黼
