1937年7月7日中国抗日战争爆发后，日军不断向中国各大城市和地区发起进攻。至1940年夏秋，德、意、日法西斯气焰嚣张，妥协投降的空气笼罩在国民党统治区。为挽救抗战的不利局势，打击国民党顽固派的投降活动，粉碎日军的“囚笼政策”，八路军总部发起了震惊中外的百团大战。
当时，由于朱德总司令已返回延安，指挥华北抗战的重担便落在彭德怀副总司令和左权副参谋长、罗瑞卿主任肩上。日军参战的是华北方面军，司令官为多田骏中将，参谋长为笠原幸雄少将。
7月，在王家峪召开的总部预备会上，左权按照彭副总司令的意图提出了作战方案，之后又带着总部的初步设想，由武乡王家峪沿清漳河到129师师部和刘伯承、邓小平等人商量。传达完作战方案后，左权说，“彭总设想，这次破袭战的主要目标放在正太路上，而平汉、同蒲、白晋、平缓、北宁各线都要配合行动”，除129师和晋察冀军区部队外，120师和豫、绥、热的八路军、决死队都将参加作战。刘伯承、邓小平听罢，表示赞同。他们认为，这个战役非常重要，只有切断日军的交通动脉，华北敌后的局面才能改观，也只有狠狠痛击日军，国民党顽固派的投降阴谋才能有所收敛。次日，左权又到晋察冀军区、120师，与聂荣臻司令、贺龙师长、关向应政委一起，进行了周密的研究部署。为了这场战斗，左权用了将近一个月的时间，苦心筹划，周密部署。在这些日子里，作为副参谋长的他几乎每天都要工作十五六个小时以上，有时甚至彻夜不眠。
1940年7月22日，由朱德、彭德怀、左权署名，八路军总部发出了上报中央军委、下达晋察冀军区、120师、129师的《战役预备命令》。8月20日晚，全线发起攻击。此次战役有105个团参加，左权据此称其为百团大战。
阴气入墙壁，秋虫皆夜鸣。除了秋虫合唱的“静夜曲”，四周一片寂静。而在百团大战最高指挥所，五万分之一的地图覆盖了左权住处娘娘庙的两道“庙墙”。他全部精神都沉浸于这一伟大战役的计划中。右权夫人刘志兰回忆说：“给我印象最深的是百团大战之役，你全部精神浸沉于这一伟大战役的计划中，你部署队伍、研究敌情和花很大的精力研究怎样更有效地破击敌人重要交通线上的铁桥、隧道、车站，写电报，看地图。”正所谓运筹于帷幄之内，决胜于千里之外。北平敌军发言人也不得不公开承认：“此次华军出动之情形，实有精密之组织。”
经过20多天的奋战，八路军共歼日伪军7000余人，攻克日军据点91座，破坏铁路300余公里，公路700多公里，并缴获大批军用物资，正太铁路被毁坏2/3，基本实现了预期的作战目的，使华北之敌各交通线陷于瘫痪，第一阶段作战胜利结束。9月2日，左权就手头的电报材料作了《论“百团大战”的伟大胜利》的广播讲话，总结了第一阶段的战果，并指出：“这次敌寇在交通线上所受的打击，将不仅仅是交通上的损失，而是敌寇在华北整个战争中极重大的损失。”
基于第一阶段的胜利，左权认为，第一阶段的成果是扩大下一阶段胜利的大好时机，缩小敌占区，扩大我占区将成为第二阶段的战斗目标。9月16日，八路军总部发出了《百团大战第二阶段作战命令》，提出的任务是：“继续破坏敌寇交通”，“克服深入我基本根据地内之某些据点”。从9月22日开始，至10月上旬结束，八路军进行了百团大战的第二阶段，主要实施了榆（社）辽（县）和涞（源）灵（丘）等战役，共作战620余次，攻克敌据点123座，毙伤俘日伪军7000余人，粉碎了敌人的“扫荡”。敌华北方面军的作战记录记载说：“此次袭击，完全出乎我军意料之外，损失甚大，需要长时期和巨款方能恢复。”
日军华北方面军遭到八路军连续两个阶段的沉重打击，深感对其威胁严重，惊呼“对华北应有再认识”。为了稳定局势，防止形势进一步恶化，日军调集数万兵力，对太行、平西、晋西北、晋察冀、冀中等抗日根据地进行“铁壁合围”、“辗转剔抉”、“捕捉奔袭”的分区报复扫荡。左权协助彭德怀指挥八路军分四路把敌36师团同崎大队500余人团团包围在关家垴和柳树垴一带。经反复多次短兵肉搏，终将敌大部歼灭。
在关家垴战斗中，左权的临时指挥所就位于距离关家垴两里地的一个山坳里。左权请彭德怀转移到安全地带，自己在这里一连住了几天。他每天要在这间简陋的草棚里，处理华北各根据地来的电报和文件，指挥参谋人员部署整个华北战局。那时的前线离草棚很近，不仅能听到各方战斗的枪声，有时子弹就在草棚的上空呼啸飞过。一次敌机从头上呼啸而过，炸弹爆破，将指挥所的古庙后墙震塌，强大的气浪还把庙顶掀掉一角。可左权镇定沉着，就像没有听见一样，他叼着烟卷，守在画满红蓝箭头的地图前。当警卫员建议将指挥所后撤时，左权扫视了一下刚被炸弹揭开的古庙“天窗”，俯身抓起一件衣服包住电话机说：“对，转移。可是，不是往后，而是应该往前。”
关家垴战斗进展十分顺利。在彭副总司令和左权副参谋长的指挥下，我八路军集中358旅、568旅、新10旅以及决死队一纵队、总部特务团等部，将敌人全部围困在关家垴上，歼灭日寇片山旅团冈崎大队以下8000人。历时3个月的百团大战，至此胜利结束。
百团大战历时3个半月，我全体指战员充分发挥了英勇顽强、艰苦奋斗的革命精神。期间，华北八路军共进行了大小战斗1800多次，毙、伤、俘获日寇和伪军4万多人，拔除日伪据点2993个，破坏铁路474公里、公路1500余公里，车站、桥梁、隧道260余处，缴获各种火炮53门、长短枪5600余支、轻重机枪200余挺，以及其他大批军用物资。
百团大战是中国抗战史上一次空前规模的进攻战斗，给全国军民以极大鼓舞。八路军朱德总司令在《扩张百团大战的伟大胜利》中指出：“在目前的形势之下，百团大战虽然是胜利的游击战争的战役进攻，但它带有全国性的伟大的战略意义。”毛主席也曾给予嘉奖，称赞：“百团大战实在振奋人心。”
作为重要指挥员之一的左权将军无疑在此次伟大的胜利中起到了巨大的作用，李达回忆说：“我亲眼看到左权副参谋长，时常废寝忘食，运筹帷幄；冒着枪林弹雨，在硝烟弥漫的战场上，指挥部队勇猛杀敌。为了胜利，历尽千辛万苦，使我永生难忘。”
