李光弼与郭子仪在常山站稳脚跟后，便上言玄宗，请求率兵北击范阳，以捣毁叛军巢穴。这时，叛军西部受阻于潼关，南部受阻于睢阳，北路又几乎断绝。在安禄山一筹莫展的时候，唐玄宗却错误地决定让镇守潼关的哥舒翰出关作战，致使哥舒翰十几万大军一战而溃，潼关失守。接着玄宗逃往成都，西京长安也沦陷了。整个形势急转直下，李光弼与郭子仪不得不撤兵西守井陉，以阻止叛军西进河东。
不久，太子李亨在灵武即位，是为唐肃宗。肃宗组成了新朝廷，又调集诸路军马，重新部署兵力，以收复失地。李光弼奉命率军会师灵武。接着，肃宗任命李光弼为户部尚书，兼太原尹、北京（唐称太原为北京）留守、同中书门下平章事，率景城、河间郡兵五千人开赴太原。
在李光弼开赴太原前，原节度使王承业军政荒乱，玄宗命侍御史崔众代其职务。崔众为人骄横，轻侮兵将，李光弼就任时又不肯即时交出兵权，光弼将崔众拘禁待斩。这时恰好使者奉敕来拜崔众为御史中丞，李光弼执法如山，不理会敕令，并斩钉截铁地对使者说：“今只斩侍御史；若宣制命，即斩中丞；若拜宰相，亦斩宰相。”使者畏惧不敢宣制。翌日，将崔众斩首示众，“威震三军”。
至德二载（757）正月，叛军已攻占了绕阳、赵郡、常山数郡，河北全境落入叛军之手，这时叛将史思明从博陵，蔡希德从太行，高秀岩自大同，牛廷玠自范阳，四路军马计十几万人，同时向太原进发，来势凶猛。史思明对诸将说：“光弼之兵寡弱，可屈指而取太原，鼓行而西，图河陇、朔方，无后顾矣！”企图在攻克太原后，长驱直入，以攻占唐西北重地。光弼先经河北苦战，后赴灵武时精兵皆已留下，如今手下只有团练兵等乌合之众尚不满万人，众寡悬殊。一听说叛军十几万鼓行而来，部将们莫不大惊失色，纷纷建议军民一起动手加固城防。李光弼则不以为然，他说：“太原城周四十里，贼垂至而兴役，是未见敌先自困也。”于是亲自率士兵与百姓在外城掘壕以自固，并做土坯数十万块，将士们都不知有何用。当叛军兵临太原城下后，猛烈攻城于外，光弼则令士卒用土坯增垒于内，坏辄补之。李光弼又制作抛石车，从城上飞射巨石，一发则击毙叛军二十多人。叛军一时伤亡很大，被迫退后距城几十步远。史思明率十几万大军围攻太原，满以为能马到成功，不料一个多月也未能攻克。他开始改变战术，选骁骑组成游兵，并约定说，我攻其城北，你们则奔城南，我攻城东你们则奔城西，利用一切空隙攻城。但史思明这一声东击西的战术未能奏效，因为李光弼军令严整，虽不见叛军来攻城，警戒巡逻未曾松懈。叛军在城下大声辱骂，以激官军出城作战，李光弼则选用善挖地道者从城内向外挖地道。叛军只顾仰着脸辱骂，忽然被唐军拖入地道，然后押到城上斩首示众。从此，叛军行走时，提心吊胆，往往低头看地，唯恐被拖入地道中去。叛军又用云梯攻城，还修筑土山，光弼则挖地道，一靠近城，云梯与土山则陷入地道中，梯毁人亡。
恼羞成怒的史思明命叛军拼死攻城，李光弼诈降，派人与史思明约定某日出降，却暗中把地道挖到叛军营内，营房底下几乎挖空，先用木头支撑着。至约定投降这一天，先派裨将数千人出城，装作投降的样子，叛军将士拭目相看，不设防备。忽然轰隆一声，营中地陷，死伤千余人，叛军惊乱喊叫，乱成一团。李光弼乘机鼓噪而出，斩首与俘虏万余人。
当史思明围攻太原处于进退维谷之际，叛军发生了内讧，安庆绪杀死了安禄山，自立为皇帝，下令史思明归守范阳，留下蔡希德仍围攻太原。这时，叛军上下离心，李光弼及时抓住这一战机，率敢死士出击，大破叛军，斩首七万余级，蔡希德夺路逃命，军资器械，全都抛弃不管了。自此，遂解除了叛军对太原的包围。
李光弼的唐军不满万人，却以一当十，同十余万叛军巧妙周旋了五十多天，歼灭了七万多人。在此期间，他在城东南隅设一幕帐，早晚即在帐里处理军务，从未回府，与将士同甘共苦。他有时路过府门，也不回顾。解围三天后，军务处理完毕，才回府第。李光弼以少胜多，转弱为强，成功地坚守太原，不仅守住了河东的这座军事、政治要地，而且打破了叛军进犯西北的军事计划，有效地保护了唐肃宗在西北的大本营，并从容组织力量平定安史之乱。
