湖北的太平军都基本被扫清，曾国藩重新把目光转向了九江，在哪儿跌倒就在哪儿爬起来，自己曾经在这边惨败，现在要加倍地讨回来。曾国藩让自己的弟弟曾国荃继续在江西消灭太平军残余部队，自己和曾国华北上，准备攻打九江。
此时湖北的各路大军都云集在九江上游，湖北巡抚胡林翼率领刚打下武昌的精锐部队前来会合，另外胡林翼攻克武昌后，又在长沙招募了三千人，让湘军将领鲍超带领，也跟着过来会合，因为鲍超字春霆，所以这支队伍叫霆军。湘军悍将李续宾率领八千人过来会合，这支队伍是湘军最早的陆军精锐，先是塔齐布和罗泽南带领，他们两个死后，由李续宾带领，战斗力非常强。湖广总督官文也派都兴阿和多隆阿率领骑兵东进九江。湘军的水军将领杨载福率领四百艘战船从武昌浩浩荡荡赶来。彭玉麟的水军也有六百艘战船，从江西赶来，不过湖口还在太平军手里，所以只能屯在鄱阳湖里边。这些部队加起来，一共有好几万人马，曾国藩没想到自己困守南昌一年多，湘军居然又这么壮大了，非常高兴。
九江是江西的重镇，也是湖北、安徽、江西的咽喉要道，有了九江城，向上游可以攻湖北，向下游可以攻安徽、江西，所以太平军也极其重视这个地方，不但继续往九江增兵，而且在九江对岸的小池口也布置重兵，这些太平军既可以在九江危急的时候救援九江，也可以在九江安全的时候攻湖北、安徽。让小池口的太平军留在这里，会对清军造成很大的威胁，清军攻九江城的时候，这些人随时会冲出来，防不胜防。
胡林翼准备先把这里的太平军解决掉，他想出来一个办法。小池口北边是黄梅县，和小池口仅仅相隔几十里。胡林翼让黄梅县的知县单瀚元把城里的清军全部都撤到城外，又让都兴阿率领骑兵也埋伏到城外，静等太平军落入圈套。太平军知道黄梅空虚后，果然率领三路大军杀向黄梅县城，不费吹灰之力就拿下了黄梅，但是等太平军发现城里没有一个清兵的时候已经晚了，都兴阿的骑兵和单瀚元的伏兵一下涌出，太平军大败，弃城而走，又逃回到小池口。
经过这一战，小池口的太平军躲在营垒里，不敢再出来了。胡林翼让李续宾、多隆阿、鲍超、王国才合力攻打小池口。多隆阿率领骑兵首先攻小池口，小池口的太平军几千人出来拒敌，但是太平军的步兵在多隆阿的骑兵面前根本不堪一击，一战即败。多隆阿又和鲍超配合，绕道山南突袭小池口，太平军大乱，被杀死三千多人。四鼓时分，月光照如白昼，清军再次攻击，并且在小池口纵火，一直杀到天亮，太平军再次损失五千士兵，余下的人退往南岸。
平定江北后，清军开始进军九江城，一直攻到九江城下。湘军遇到了他们的老对手林启荣，林启荣这个人守城很有一套，镇守九江几年，从来没被攻破过，上次湘军攻九江，就吃尽了苦头。这次湘军再次大举攻九江，又没讨到好处。由于都兴阿和多隆阿的骑兵在攻城的时候起不到作用，所以攻城的任务还是落到了湘军头上。湘军从咸丰七年春天开始攻击九江，一直攻到秋天都没攻下来。不过这次湘军聪明了很多，他们很早就在九江城下挖了三十里的战壕，将九江围住，这样既可以攻九江，又可以阻挡安庆过来的援军。这个方法本来是太平军首创的，以前太平军和清军作战都是先挖战壕固守，让清军先进攻，固守的损失总是比进攻要小，等清军攻累了，然后突然杀出，杀对手个措手不及。后来这个方法被湘军学去了，活学活用，屡试不爽，湘军后来的大将都非常善于围城，防线固若金汤，很难突破，其中曾国藩的弟弟曾国荃最为出名，号称“曾铁桶”。
湘军攻了大半年后，几个将领商量了下，觉得一直这样攻根本不是办法，九江城池坚固，很难攻破，而且城外的梅家洲和湖口都还有大量太平军，经常会时不时地过来骚扰，这样里外受敌，非常被动，上次就是因为这个缘故，被石达开在湖口痛打一顿，伤亡惨重。李续宾建议先把梅家洲和湖口打下来，胡林翼等人赞同。但是不能直接和太平军硬碰硬，太平军的将士打仗都非常顽强，直接硬攻肯定会像上次一样吃亏。李续宾想了个办法，他让自己的弟弟李续宜带了一部分人去攻梅家洲，而自己也率军出动，扬言要去打宿松，其实暗地里李续宾率领部队偷偷地绕道湖口后边的山上。
湘军长江的水师是由杨载福统领的，鄱阳湖的水师是由彭玉麟统领的，因为从湖口过不去，所以两个水师被分在两个地方，这次李续宾定下计策，带人偷偷绕到湖口背后的山上埋伏，彭玉麟通知杨载福，约定好时间，长江的水师和鄱阳湖的水师一起攻打湖口。湖口的守军用大炮猛轰湘军水师，打中湘军十几艘船，彭玉麟知道成败在此一举，命令加快划船急攻湖口。埋伏在湖口后山的李续宾见机率领步兵攀援而下，突袭太平军。太平军万万没有料到湘军居然会从天而降，纷纷溃败，湘军攻下湖口，长江上的水师和鄱阳湖的水师隔绝三年后再次会合，水军士兵欢声雷动。梅家洲的太平军知道湖口丢失，难以抵挡，也退走了。
湘军的水师会合后，在杨载福的带领下开始顺江而下，扫荡太平军下游的据点。下游一带以小孤山最为出名，太平军有在小孤山上边筑城，这里的太平军经常会逆水而上去支援九江。杨载福率领水师强攻小孤山。在扫平小孤山上所有的据点之后，杨载福的水师继续顺着长江东进，越过太平军的重镇安庆，一直攻到芜湖，转战几百里，将下游救援的太平军水军全部击溃。
湘军攻下湖口后，切断了安庆过来的援军，九江完全孤立。湘军加紧攻城，城中太平军粮草断绝，仍然顽强抵抗。湘军数次炸开城墙，都被太平军杀回，重新堵上，太平军死伤无数，而湘军的伤亡也非常大。咸丰八年（1858）四月，九江城再次被炸开一个一百多丈的缺口，湘军涌入，城内一万七千多太平军全部战死，守将林启荣被抓住后凌迟处死。
