曾国藩大彻大悟后的巨大改变，使他的朋友都有所感觉，胡林翼就说他“无复刚方之气”。出山之前，他对清廷上下的官场习气很是反感，“与官场落落不合，几至到处荆榛”。而再次出山之后“改弦易辙，稍觉相安”。其中原因人多不知，只在他的至亲密友中私下告知他自己学问思想方面的变迁，行为处世方面的变化，曾国藩个人对自己的“大彻大悟”既是痛苦的，又是满得意的。苦在被迫放弃了自己前半生的信仰与行为；得意在毕竟发现了做人处世的“真正”秘诀——“大柔非柔，至刚无刚”。
曾国藩家居的一年多时间里，战争形势发生了巨大变化。他离开江西时，太平军与湘军正在相持苦战，九江、吉安、瑞州等城尚在太平军手中。但是，由于太平军的内讧，石达开先是离开湖北战场，后又于咸丰七年五月(1857年5月)底分裂革命队伍，率太平军精锐出走，湖北、江西的兵力大部分跟随石达开而去。湘军乘机攻陷九江、瑞州、抚州、湖口、临江，湖北方面的武昌等城也再度为湘军攻陷。湘军控制了两湖、江西的绝大部分地区，开始向安徽方面进攻。
由于湘军作战有功，其将领们一个个升官晋爵，今非昔比。到咸丰八年(1858年)，胡林翼加太子少保，杨载福官拜提督，李续宾也官至巡抚，赏穿黄马褂。其他将领，也都得到相应的官衔。然而，在籍守制的湘军统帅曾国藩仍然是原来的侍郎官衔。这两年他虽信奉老庄，但相比之下也太悬殊了，心里不免激愤不平。他给曾国荃写信说：“愿吾弟兢兢业业，日慎一日，到底不懈，则不特为兄补救前非，亦可为吾父增光泉壤。”还说，湘军官员都“大有长进，几于一日千里，独余素有微抱，此次殊乏长进”。他亲手创建的湘军，在镇压太平天国的战争中立下殊勋，将领们升官扬名，他自己却在关键时离开了战场，自然也就失去了立功扬名，光宗耀祖的大好机会，如果战争马上结束，自己也就太吃亏了。
想到这里，曾国藩后悔非要回家守制。他曾想给咸丰帝上书，要求马上返回战场，但碍着面子，毕竟拿不起写折的笔。
但是，湘军在曾国藩家居的一二年内，虽然顺利地取得了不小的胜利，实则是由于太平军上层领导的内讧提供的大好机会。而湘军毕竟是曾国藩亲手创建，湘军将领都是曾国藩亲手培植，曾国藩是湘军统帅。他虽然家居一二年，湘军将领与他仍然联系密切，仍起到遥制作用。在作战中，别的人很难统一指挥，他的作用绝无人可以代替。因此，由曾国藩保奏而升任湖北巡抚的胡林翼，时刻想着让曾国藩出山。
咸丰八年(1858年)，石达开率20万大军出走，由江西的饶州、广信转入浙江，攻占了浙江的常山、江山等地，对衢州发起攻击。胡林翼于咸丰八年三月二十九日(1858年5月12日)上奏，请求起复曾国藩带湘军进援浙江；湖南巡抚骆秉章也于五月二十五日(7月5日)上奏。咸丰帝看到形势又紧张起来，遂于五月二十一日(7月1日)即在骆秉章出奏之前发布了起复曾国藩，令其率兵援浙的命令。
曾国藩六月三日(7月13日)接旨，再不提任何条件，于六月初七日(7月17日)便离开荷叶塘，赶赴战场，再度出山率领湘军作战。
二次出山之后的曾国藩变得更加迅猛，很快，曾国藩又在长沙一带招募了一支一万五千多人的人马。然后，曾国藩赶到武昌，与湖广总督官文、湖北巡抚胡林翼等会商追击石达开事宜。又率部队顺流而下，进入江西境内，图谋从赣南绕道进入浙江，全力追击石达开部。
重新出山之后，一个新的曾国藩出现了。当年那个稍显刚愎而呆板的曾国藩不见了，现在的曾国藩，是阅尽千帆，始终能保持坚韧之心的曾国藩，是一个既有原则性，又具灵活性的政治家。当曾国藩重新落座时，就像一个棋手大睡三天，重新端坐在旧日的棋局前。如果说原来的曾国藩是一只刺猬的话，那么，重新出山的曾国藩就更像是一只狐狸，或者说，他变得同时具有刺猬和狐狸的品质——既坚韧有力，又狡猾无比。曾国藩一改往日稳重迟缓的风格，落子飞快，一方面他仍能顽强地将对手拖入泥淖，另一方面，他又能跳将出来，谋划着在适当的时机，竭尽全力丢出自己的胜负手。值得一提的是，在内心的窗口豁然打开之后，那种相关联的幽默感也在曾国藩身上充分体现了。原先紧张而阴鸷的曾国藩开始气定神闲、举重若轻了，他频繁地跟部下谈笑风生，经常说一些笑话，把部属们逗得前仰后合，而他却一直端坐着，捻着胡须，悠然地看着他们，就像看着一群淘气的孩子。曾国藩很少开那种凝重无比的会议，他经常是利用吃饭时间，把将领召集过来，让厨师烧几个好菜，然后，又上一壶好茶，轻轻松松地，就把很多问题解决了。当曾国藩以一种轻松而幽默的方式来对待眼前一切时，他突然发现，战局就如同游戏一样，已变得一目了然。
当然，此刻的曾国藩在骨子里仍是一如既往的忧郁。一个新的问题摆在他面前——在离开这支部队十五个月之后，曾国藩突然发现，这支湘军的变化是那么大，几乎已不是当年的那支湘军了。湘军的军纪变得更糟糕，当年自己为这支部队所制订的很多规章和约束，早就被他们置之脑后。每当湘军夺取一个城镇，随之而来的，即使不是滥杀，也总是在掠夺。枯燥的战争夺走了士兵们最后的一点人性，当年那些老实巴交的庄稼人，此刻已变为名副其实的职业刽子手。这样的变化不仅仅是指那些普通的土兵，甚至，那些饱读诗书的湘军将领，也变得焦躁而冷酷。他们不仅仅对士兵疏于教诲，有的，还睁一只眼闭一只眼对于士兵的荼毒给予支持。而且，士兵的成分也变得越来越复杂，原先曾国藩倡导到偏僻山区招兵买马的初衷，早已被他们颠覆，为了省心省力，那些将领们只是在城区附近随意招兵买马。这样，湘军的组成人员鱼龙混杂，社会上那些无法自食其力的地痞流氓小混混，全都充斥到湘军当中。这些，都让曾国藩很无奈。曾国藩刚回湘军遇到的一件事就是：曾国荃的一支部队在江西吉安附近打了胜仗之后，随意屠杀和掠夺，当地的百姓叫苦连天。消息传到曾国藩这里，曾国藩大为光火，一气之下，将这支两千多人的部队全部解散回老家。曾国藩才不要这样的部队呢，如此失去人性的部队，又有什么益处呢？曾国藩感到困惑的一件事就是，如果很长时间陷入战争泥淖的话，那些麻木不仁的士兵们会不会因此丧失人性？
曾国藩出山之时，清军正取得战场上的节节胜利。在此之前，湘军李续宾部攻克九江，太平军林启容部一万五千人战死。九江的争夺，是长江沿岸的关键，经历这一场胜利后，湘军大受鼓舞，上上下下普遍轻敌。1858年11月，正当曾国藩全力追击石达开部的时候，噩耗传来，刚刚在九江取得大捷的湘军李续宾部六千多人，被太平天国李秀成、陈玉成联手在庐州三河镇全歼，李续宾和他的亲家，也即曾国藩的弟弟曾国华战死。
曾国藩五雷轰顶。李续宾是曾国藩非常欣赏的儒将，一直对自己忠心耿耿；曾国华是曾国藩的三弟，虽然自小起过继给叔父，但一直跟曾国藩、曾国潢、曾国荃、曾国葆在一起长大。在曾家，曾国藩排行老二，上有一姐，下有三妹四弟，因最小的妹妹早夭，实际上曾家兄弟姐妹共有八人。曾国藩兄弟五人感情是很深的，二弟曾国潢字澄侯，在族中兄弟中排行居四，称为老四；三弟曾国华字温甫，小时候过继给了曾麟书的三弟曾骥云，在族中大排行居六，称老六；四弟曾国荃字沅甫，在族中大排行居九，称老九；五弟曾国葆字季洪，后改名曾贞幹，字事恒，称季弟。这几个弟弟分别小曾国藩九岁、十一岁、十三岁、十七岁。“长兄为父”，曾国藩在他们面前，的确有这样的感觉。曾国华读书不太用功，科举不顺，但对于兄长，却一直很敬重。当年曾国藩在江西被围困时，正是曾国华奉父亲曾麟书之命，孤身一人到湖北胡林翼处搬了五千救兵，冒着大雨，连续攻下咸宁、蒲圻、崇阳、通城四县，之后又攻克新昌、上高等地，直达瑞州城外，帮助曾国藩缓解了危机。其时正是盛夏，一路行军打仗，曾国华透支了心力和体力，到了瑞州之后，一病不起。稍好之后，曾国华赶到南昌，兄弟相见，悲喜交加。在曾国藩看来，曾国华性情粗躁，缺乏心机，很容易犯错让对手抓住破绽，不太适合打仗，所以曾国藩多次劝阻他回老家。这一回，果真验证了曾国藩的判断。
让曾国藩感到更伤心的是，探子向他报告说：三河战斗结束后，尸横遍野，堆积如山，一开始，连曾国华的尸体都找不到。很多天后，才在如山般的尸体中，找到一具无头尸，只是从衣甲打扮上看，估计是曾国华。谁也不知道那些太平军是如何处置曾国华首级的。曾国藩伤心欲绝，这么多年与太平军的战斗中，曾国藩得到了很多，但他失去的，要比得到的远远多得多。曾国藩整整流了一天一夜的眼泪，悲恸之中，曾国藩提笔写下了一首《哀词》，最后几句是：
骨不可收，魂不可招。峥嵘废垒，雪渍风飘。
生也何雄，死也何苦。我实负弟，茹恨终古！
曾国藩还为曾国华的葬礼题写了一副挽联：
归去来兮，夜月楼台花萼影；
行不得也，楚天风雨鹧鸪声。
鹧鸪声中，曾国藩在大帐中为曾国华招幡还魂。夜幕降临之后，曾国藩圆睁着一双猩红的眼睛，在黑暗中苦苦地酝酿复仇计划。
1861年，曾国藩满五十岁，从1854年出山作战开始，屈指一数，与太平军的战争已经到了第七年。这么多年的戎马生涯，曾国藩发现，自己改变得太多了。有时候，曾国藩照镜子，就像看见陌生人一样。这个人已不是一个气宇轩昂的读书人了，他开始变得衰老，变得臃肿，变得皮肤松弛，牙齿松动，行动迟缓。这些，只是外部的变化。在内部，有一些东西已然冷若冰霜，变得更加冷酷和坚韧了。当然，有一种惊人的洞察力出现了——曾国藩往往一瞥之中，就能断定事情的来龙去脉和前因后果。这是一种惊人的能力，也是一种特别的智慧。曾国藩已变成这样一个人——他可以拥有足够的耐心和坚韧，去等待别人的失误，等待别人力衰势竭，而一旦对手稍稍有点走神，或者一时控制不住，露出一些破绽，曾国藩便会像潜伏的眼镜蛇一样，一跃而起，死死地咬住对方的死穴。
现在，曾国藩全身心地投入到这场战争中去了。这个一直不好色、不赌博、不酗酒、不喜欢挥霍、不爱户外运动，只喜欢读书和下棋的传统书生，将自己的全部心力都用于军事的筹划和搏击之中。战争就是智力和暴力的对垒，曾国藩就像一头重新出山的狼一样，一方面变得更加凶猛，另外一方面变得更加阴险狡猾。他疯狂地撕咬着别人，同时进行的，还有自己与自己的战争。
战争一如既往地惨烈。这样的惨烈，在更多的时候，对人心也是越来越大的考验。曾国藩致书曾国荃说：既已带兵，自以杀贼为志，何必以多杀人为悔？在某种程度上，可以说，曾国藩已放弃了原来的带兵理想。现在，他只想赢得这场战争的胜利，不惜代价，也不惜妥协。战局转入中盘之后，像罗泽南和李续宾那样的儒将兼“道德完人”已陆续丧生，营一级的将领中，读书人已越来越少了，曾国藩不得不开始放弃他一开始只起用读书人为将的初衷，开始大规模地启用那些文盲和半文盲的猛将。他太需要胜利了，至于军纪以及战争过程中的屠杀和掠夺，曾国藩已顾不得了。新提拔上来的大部分将领只能勉强认识几个字，但他们打仗勇敢不怕死，能攻城拔寨。曾国藩起用鲍超和朱洪章就是一个信号——鲍超曾是湖南黑社会组织“哥老会”的头目，他大字不识，只会写自己的名字，但他打起仗来剽悍无比；朱洪章也是如此，几乎没读什么书，行伍出身，是一个杀人不眨眼的家伙。
到了1859年之后，湘军与太平军进入了全面交锋阶段。1859年冬，江南大营的清军对金陵的包围趋紧，进攻猛烈，金陵险象环生。太平天国忠王李秀成像一个救火队员一样，风驰电掣地从浦口赶回金陵。这个烧炭工出身、身经百战的将领向洪秀全建议集中兵力全力歼灭江南大营，以消除金陵的心腹之患。商议的结果，是照搬了当年“围魏救赵”的方式——李秀成先虚张声势全力进攻杭州，浙江巡抚罗遵殿文人出身，不擅布兵，下令兵士死守。各路救援的清军畏葸避战，进展缓慢，到达杭州附近后，见太平军势大，慌称道路不通，远遁躲避。李秀成一举攻下了杭州，浙江巡抚罗遵殿战死。听闻杭州被攻占，咸丰忧愤至极，下诏催促江南大营的和春、张国梁派兵去救。在这种情况下，江南大营慌了神，连忙调集主力赶赴浙江。李秀成知晓江南大营兵马调动的消息后，立即从杭州杀了一个“回马枪”，与陈玉成联手，兵分五路，直扑金陵城下。具体安排是：陈玉成自全椒南下渡江，经江宁镇杀向板桥；李秀成从溧阳、句容直杀向淳化镇、紫金山；李世贤自常州、金坊杀向金陵北门；杨辅清自高淳杀往秣陵关、雨花台；刘官芳自溧阳趋往高桥门。
1860年5月5日，李秀成、陈玉成的十万兵马突然出现在清军江南大营前，只有数万人的江南大营溃不成军，太平军一上午就歼灭清军一万余人。江南大营统帅和春、张国梁等败逃江苏丹阳。李秀成紧追不舍，指挥太平军全力攻克丹阳，击毙江南大营帮办张国梁。两江总督何桂清逃往上海；和春继续败逃到苏州城郊之后，又惊又怕，自缢身亡。李秀成一直追到上海城下。6月2日，李秀成又会合李世贤军攻占苏州，清江苏巡抚徐有壬战死。这一次太平军大获全胜，不仅顺利地解除了金陵之围，而且使东南局势发生了根本变化，清军经营了很多年的局面一下子逆转。
