宿州收复后，张浚认为盛夏炎热，人马疲惫，急命李显忠等撤军。这时，驻军淮阳（今江苏邳县西）的金国副元帅纥石烈志宁，听说宿州失守，亲自率军反攻宿州，被李显忠击退。纥石烈志宁向驻军南京（今河南开封）的元帅仆散忠义求援，仆散忠义遣大将孛撤率领骑兵、步兵10万人反攻宿州。金军兵临城下，声势极为浩大。李显忠亲自率军与金军战于城南，大战数十回合，孛撤败走。第二天，敌人增兵，李显忠命邵宏渊合为夹击，邵宏渊按兵不动，对众人说：“现在正值盛夏酷暑，在荫凉处摇扇纳凉都还炎热难受，在烈日下披甲苦战又怎么受得了？”李显忠率领所部人马独力奋战，与敌人大战百余回合，杀敌5千多人。部分将士见大敌当前，主帅竟然不和，人心动摇斗志消沉，纷纷各自逃走，李显忠只好移军进城。金军乘机攻城，李显忠拼死力战，杀敌2千多人，死尸堆平了养马墙，敌人退却。李显忠长叹说：“如果诸军互为犄角，从城外掩杀过来，则可全歼敌军，活提敌帅。”邵宏渊说：“金军又增兵20万，如我们不撤退，恐怕会发生意想不到的变故。”李显忠知道邵宏渊无心固守，自己孤军难支。遂于夜间撤出宿州。金军追到符离，宋军大败，军资器材丧失殆尽，骑兵步兵被杀死4万多人，落水淹死的不可胜数。当时张浚驻军盱眙（今江苏盱眙），李显忠去见张浚，交印待罪。张浚遂南还扬州（今江苏扬州），上书请罪。
淮北所收复的城镇纷纷放弃。
宿州撤退之初，朝中妥协派的士大夫们便大举围攻张浚。孝宗写信给张浚说：“我把边防大事，全都委托给你，你不要怕他人议论而心怀犹豫。北伐大计，是我和你共同做出的决定，我也必须与你一起了结。”张浚接信后，严密部署防务，整饬两淮守备。以魏胜守海州（今江苏连云港），陈敏守泗州、戚方守濠州、郭振守六合（今江苏六合）。孝宗每次派遣使者到张浚督府，都要令其询问张浚吃多少饭，探视肥瘦情况。真可谓关怀备至。符离兵败，孝宗开始动摇。符离失利在军事上并不算什么严重的挫折，何况胜败乃兵家常事，然而它在政治上的意义却非同小可。因为南宋朝廷自从与金国作战以来，就有一种恶劣的政治风气，即始终有抗战与妥协之争。这两派互相诋斥，从未同舟共济达到高度统一的思想意识。如果和议失败，抗战派则群起攻击妥协派；如果战事失利，妥协派则群起攻击抗战派。所以符离一败，以汤思退为首的妥协派乃群起攻击张浚，竭力主张恢复议和。孝宗原本全力支持张浚，但在妥协派的围攻之下，不得不贬斥张浚为江淮东西路宣抚使，把李显忠贬官安置在筠州（今江西高安）。南宋的第一次北伐就这样以失败而宣告结束，南宋朝廷在没有具备足够的实力击败金国和朝野上下没有形成高度统一的思想意识的条件下，单凭一腔的热情，发动了一次不合时宜的北伐，这样的结局是不可避免的。
1163年（隆兴元年）七月，孝宗任命汤思退为尚书右仆射、同平章事兼枢密使，重议讲和之事。汤思退是秦桧一党，急于求和。八月，派卢仲贤前往金国议和。当时金国扬言索要海州、泗州、唐州、邓州等地及岁币。孝宗当面诫卢仲贤，不能答应金国割地的要求。汤思退等人却私下交代他答应金国的要求。十一月，卢仲贤从宿州还，带回了仆散忠义给南宋三省枢密院的信，信中提出四项要求：一、宋向金称侄皇帝；二、割海、泗、唐、邓四州给金国；三、岁币银绢的数量与绍兴和约相同；四、归还金朝叛臣和南归流人。孝宗认为金国条件太苛刻，坚决不答应。汤思退又奏请派王之望出使。张浚、虞允文、胡铨、陈康伯等连续上书反对讲和。朝廷上下抗战派与妥协派又展开了一场激烈的论战。张浚上书说：“秦桧主和，造成完颜亮南侵之祸，对秦桧的罪行，朝廷没有进行处治，致使他的党羽又出来作乱。现在内外议论还未定，就派出使臣议和，将来谁还为皇上效力？”汤思退争辩道：“这都因为利害与自己无关，不惜大言误国以博取好名声。国家大事，岂同儿戏？”孝宗在抗战派的反对下，只好命王之望在边境待命，另派胡肪等去告诉金国不能割让四州之地，如坚持要求割地，就停止议和。孝宗感到此事难以决定，便召集朝中大臣商议，结果14人中，竟有一半人主张议和。孝宗深思熟虑，权衡利害关系，终于接受了汤思退的意见，继续与金国议和。为了调和汤思退与张浚的矛盾，并用两人为宰相。不久，命张浚视师江淮，作为可战可和之计。
1164年（隆兴二年）三月，张浚视师江淮，加强战备，招纳来自山东、淮北的抗金义军12 000多人，编入建康、镇江两军。又招收淮南、江西的壮士万多人组成万弩营，由陈敏统领，加强泗州的守备。在军事要地都修筑城堡，水势险要的地方，积水为塘，据险而守。增加江淮的战舰和武器装备。当时金国驻重兵于河南，欲以武力胁迫议和，但一听到张浚回到江淮整军备战，急忙撤退。于是淮北前来投奔张浚的人昼夜不绝，山东的英雄豪杰也都愿听从他的指挥。张浚还约契丹人作为援助，金军更加惧怕。
金军撤退后，汤思退唯恐议和不成，奏请孝宗禀报高宗，然后再做决定。孝宗大怒说：“今天的形势已不是秦桧那时了，你的言论居然比秦桧还不如！”汤思退不肯罢休，阴谋打击陷害张浚。他命令心腹王之望密报淮南的宋军在大败之后，兵少粮缺，战舰及其他装备都不完备，实际上已不堪再战。又指使右正言尹穑上书攻击张浚拥兵跋扈，浪费国家财物，抗拒朝廷命令。同时户部侍郎钱端礼也上书说：“两淮名为备守，守未必备，名为治兵，兵未必精。”孝宗不得已罢免张浚，出判福州（今福建福州），调往后方。1164年（隆兴二年）四月，张浚奉命上任，在路途中听到朝廷决定议和，继续上书反对。有人劝他不要再谈国事，他反驳说：“我久居重任，现在虽然被排挤出朝廷，但仍盼望皇上感悟。所见之事，又怎能不说？”八月，忧愤得病，死于余干（今江西饶州）。张浚写下遗嘱说：“我曾身为宰相，但却不能恢复中原，为祖宗报仇雪恨。死后，不应该葬在我们家祖先的墓旁，把我葬在衡山下已经足够了。”张浚一身正直，忧国忧民，终生反对议和，力主北伐恢复中原，他的这种锐气和爱国精神的确值得称赞。当时的人评价他说：“张浚是一位贤良之士，长于知君子，而短于知小人。德有余而才不足。”他凭着一腔热血，率领武备废弛已久的宋军劳师远征，其结果就可想而知了。
张浚罢相后，汤思退急欲促成议和，奏请派遣魏杞去金国议和。下令撤去边防守备军队，遣散万弩营，停止修造战舰，拆除张浚修筑的水陆防御工事，撤退海、泗、唐、邓四州的守军，作好割地求和的准备。兵部侍郎胡铨听说朝廷曲意求和，非常愤慨，上书反对说：“我担心再次求和不行，一定要称臣，称臣不行，一定要请降，请降不行，一定要纳土，纳土不行，一定要亡国，亡国不行，一定要像晋帝青衣行酒而后快，今日举朝之士皆妇人。”汤思退害怕抗战派继续反对，会使孝宗再次动摇，将反对撤兵割地求和的抗战派20余人逮捕入狱，并派孙造通知金军出兵胁迫议和。
仆散忠义接到消息后，立即发兵南侵。十月，仆散忠义与纥石烈志宁分兵从清河口渡过淮河，入侵楚州（今江苏淮安）。十一月，进攻淮阳，宋军面对突然袭击，毫无戒备，魏胜率军奋勇抗敌，从早至晚，未决胜负。金军援兵到来，魏胜顽强抵抗，箭矢用完，只得退至土坡之后，形势万分危急。魏胜便对士兵说：“我当战死此地，你们能逃脱的，赶快向皇上报告。”于是令步兵在前，骑兵断后，率军撤退。到淮阴东18里的地方中箭坠马而死，都统制刘宝弃城逃跑，楚州陷落。金军入侵濠州、滁州（今安徽滁县），都统制王彦弃昭关（今属安徽）逃走，濠、滁两州失陷。金军乘势又攻占了商州（今陕西商县），并扬言索要商、秦两州之地，淮南大震。金军再次入侵的消息传到朝廷，抗战派群情激奋，指责汤思退以议和误国，并不能阻挡金军的南侵。太学生王观等72人联名上书说：“汤思退、王之望、尹穑奸邪误国，勾结敌人，里通外国，请把三人斩首以谢天下。”孝宗为了平息主战派的情绪，将汤思退、王之望、尹穑罢免，汤思退流放永州（今湖南零陵）。起用陈康伯为尚书右仆射，准备抵抗。同时，鉴于形势危急，事关利害，不得不再派王抃向金国求和，答应割让海、泗、唐、邓、商、秦六州之地。汤思退被贬永州，途经信州（今江西上饶西北），忧悸而死。抗战派与妥协派的两个重要人物，在同一年中，同遭贬逐而死，由此可见当时政治矛盾的复杂。
金军再次南侵，本意在于促成议和，南宋既已做出了让步，也就不再坚持原议了。十二月，原停留在镇江的使臣魏杞渡过淮河，到金国议和。1165年（乾道元年）三月，魏杞签订和约，从金国回来，完成和议。史称“隆兴和议”，也称“乾道和议”。和约主要内容如下：（1）南宋不再向金国称臣，而改称侄皇帝。
（2）“发贡”改称“发币”，每年减少银绢10万，仍交银20万两，绢20万匹。
（3）宋、金来往文书改诏表为国书。
（4）疆界与绍兴和议时相同。南宋割让新收复的海、泗、唐、邓、商、秦六州。
这次议和比绍兴和议大有改变，宋、金改称叔侄之国，岁币减少了10万，取得了对等国的地位。这是当时宋金双方军事实力尚处在均衡状态，任何一方都难以侥幸取胜的必然结果。
和议之后，孝宗虽然不敢轻言出师，但仍时刻不忘恢复。1169年（乾道五年），孝宗亲披甲胄，指挥了一次大规模的军事检阅。用陈俊卿、虞允文为尚书左、右仆射，在淮南实行屯田，作抗战的准备。1170年（乾道六年）五月，孝宗派范成大出使金国，要求改订受书礼节，并以索取徽、钦二帝陵寝地为名，要求金国归还洛阳（今河南洛阳）、巩县（今河南巩县，北宋皇陵所在地）。张浚的儿子张栻不以为然，说：“宋朝这些年来多水旱之灾，人民日益贫困，国家兵力弱小，财力匮乏，我担心的是我们并没有足够的力量打败金国。”他还上书说：“现在应该下罪己诏，修德立政，用贤养民，选将练兵，攘外安内，进战退守，通为一事。”孝宗听了，深感有理。九月，范成大从金国回来，所提要求都被金国拒绝。孝宗遂深信张栻等人的话，采取了老成持重的态度，先谋求安内，再图攘外。
孝宗即位之初，锐意恢复，符离失败，最终免不了屈辱求和，但与宋高宗一味委屈求和有所不同。绍兴议和，秦桧对抗战派以无情的打击，独断专权达十五年之久。而隆兴议和，孝宗对抗战、妥协两派采取了互相抑制的调和办法，但在他的内心深处仍有一种积极北进的主张，只是因为国力不够强盛而屈志不伸。和议之后，孝宗立志整军经武，作收复失地的打算。但时势已经发生了变化，此时的金国皇帝金世宗也是位贤君，有“小尧舜”之称。为了与民休息，他与南宋议和息兵，专治内政。同时也知道孝宗有恢复中原之志，因此他时刻不忘广蓄严备，使南宋无隙可乘。由于宋金两国皇帝各自小心谨慎，保境安民，遂造成了一个相对的和平局面。宋、金两朝在此后30年中没有重大的战事，在这段时间里，南北的社会都保持了一种和平的气氛。这不失为宋、金对峙时期的一段黄金时代。
