“七七事变”后，红军改编为国民革命军第八路军。左权任副总参谋长。1938年2月，日军4万人分三路进攻临汾，与八路军总部遭遇。在左权指挥下，他们坚持战斗，一直到后续部队赶到，击退了日军多次冲锋，这就争取到了3昼夜的时间，使数十个村庄的群众安全转移，使国民党在临汾、洪洞的军政机关顺利撤退，并使八路军在临汾的军需物资大部分转运出去。两个月后，日军3万余人对山西晋东南地区发动9路围攻。左权根据日军兵力分散的弱点，按照总部的部署，在内线，以游击战牵制、骚扰袭击敌军，将主力部队调到外线，寻找战机歼敌。4月15日终于光复了武乡县城，16日又在武乡县的长乐村布下口袋阵，全歼日伪军3000余人，此即“长乐战役”。随后，他率军在张店再歼敌1000余人，收复辽县、黎城等18座县城，解放人口百余万人，彻底粉碎了日军的九路围攻，奠定了晋冀鲁豫根据地的基础。
1939年底到1940年初，蒋介石发动了第一次反共高潮。国民党第97军军长朱怀冰与冀察战区鹿钟麟、石友三部纠集在一起，在日军的配合下，猛扑太行抗日根据地。3月上旬，身兼八路军第二纵队司令的左权，指挥部队在平汉路东西两侧发起自卫反击战，经4天4夜激战，击溃了石友三进犯军的进攻，全歼朱怀冰等部10个团，保住了太行抗日根据地。
1940年8月20日至12月5日，八路军发动了著名的百团大战。这次战役的总指挥所设在武乡县王家峪村。左权协助彭德怀全力投入作战指挥，将战役的整个部署安排得井井有条，真是运筹于帷幄之中，决胜于千里之外。连北平日军的报纸也说，“此次华军出动之情形，实有精密之组织”。左权不仅谋划整个战役的组织、参谋工作，而且还亲临第一线指挥作战。在百团大战的第三阶段，他协助彭德怀出色地指挥了关家垴战役。在最紧急关头，他命令说：“指挥所的同志全部向前推进，犹豫等于死亡！”左权的魄力和勇气极大地鼓舞了指挥部的士气，结果全歼日军第36师团冈崎大队500余人。
左权有着严谨求实的工作作风，每在成就一件大事之前，都特别注重调查研究，掌握第一手材料。为兴建黄崖洞（在辽县、黎城交界处）兵工厂，他实地勘测地形，亲手规划工厂布局及保护工厂的军事设施的配置，经过一年的建设，一座年产足可装备16个团的兵工厂建立起来了。这在一定程度上改善了八路军装备匮乏的现状。刘伯承曾说：“左权同志曾艰苦经营太行山制造兵器的设施起了相当的作用。”黄崖洞兵工厂的建立，很快就成了日军的重点进攻目标。1941年11月，日军第36师团及独立混成旅团各一部7000余人向黄崖洞进攻，负责保卫黄崖洞的是八路军总部特务团，左权要求该团在保卫战中“一定要抓住一个‘稳’字，坚持不骄不躁，不惶不恐，以守为攻，以静制动的原则”。他还就应当注意的战术原则和其它有关注意事宜作了具体的布置。11日凌晨战斗打响。日军来势极猛，并施放了毒气。守军按照左权副总参谋长的指示顽强坚守阵地，并利用机会组织反击，打退了日军的多次进攻。日军接连失手后改变了策略，企图利用赤峪山东侧的悬崖，居高临下侧击守军阵地。左权及时指示特务团“待机行动，以变应变”，重新配置了防御力量，继续给进攻的日军以重大杀伤，大量消耗了其有生力量，顿挫了敌军的锐气。19日，黄崖洞保卫战进入尾声。八路军在三十亩、曹庄一带设下伏兵，当退却的日军进入伏击圈后，立即被密集的弹雨打得阵脚大乱，伤亡惨重，向黎城方向溃逃。21日乘胜追击的八路军收复了黎城，胜利地结束了黄崖洞保卫战，此仗日伪军损失2000余人，敌我伤亡之比为6：1.中央军委认为，这次保卫战是“最成功的一次，不仅我受到损失少，同时给了敌人数倍杀伤，应作为1941年以来反‘扫荡’的模范战斗”。
左权多次指挥战斗取得胜利，体现了他高超的军事素养和军事理论功底，他素以学习刻苦，精于钻研，而博得了人们对他的尊敬。他阅读了许多政治理论、军事理论的书籍，对八路军的军队建设、军事理论建设作出了突出的贡献。他与刘伯承合译的《苏联工农红军的步兵战斗条令》，于1942年被十八集团军总司令部列为步兵战术教育的基本教材，并要求“今后本军关于现代步兵战术的研究，均应以此为蓝本”。左权对战术问题特别是游击战术的研究颇有创新，“为中国著名的游击战术创始人之一”，其军事著述的突出特点是理论联系实际，结合中国国情的特殊性阐述了以马克思主义理论为指导的具有中国革命战争特色的军事思想原理。在八路军军队的建设中，他对司令部工作、后勤工作、部队训练、军队政治工作、军民关系等，都有独到的建树和巨大的成就。左权善于思考、勤于笔耕，撰写和翻译了诸多颇具影响的军事著作。仅在华北敌后5年间即译著共20余万字。周恩来说左权是“一个有理论修养，同时有实践经验的军事家”。
