武汉国民政府发表声明，罢免蒋介石的总指挥，但蒋根本不理这一套，毅然把南京作为与之抗衡的首都。结果，武汉政府中的国民党左翼很快就动摇了。分裂已经开始，尤其是在共产党的南昌起义以后，武汉政府把共产党人从他们的权力范围内赶出去。国民党的右翼获得了胜利，蒋介石成为政治领导人。他开始了又一次北伐，1928年7月8日，他进入北京。在一片夺得政权的喜悦庆典中，蒋介石向孙中山的亡灵报告说，他统一中国的梦想得以实现。
经过17年的无政府状态和无休止的混战，和平与一定程度上的稳定又恢复了。蒋介石政府在南京从其接受政府管理的第一天起，就面临着一系列严峻的问题。
江西苏维埃和长征（1928～1936）
在与国民党的联合悲惨、壮烈地结束后，共产党于1927年4月转入地下。党分成了两个联盟体：上海党的领导把北伐军中的左翼将士组织成“红军”，并借助于他们的帮助，在南部许多大城市举行起义。起义一次接一次的以失败而告终，而且每次失败后都有共产党领导人被砍头。党被鲜血染红。在1927到1937年间，估计有一百万中国共产党党员和它的追随者们丧生。毛这位主张把重点放到农民运动上的共产党人，早在1927年3月就给中央领导写了一份有关湖南农民运动的报告。43他在这份报告中证明说，中国革命只有以占人口80%的农民为基础，才有可能取得胜利；农民有4亿，而工人只有300万。可是，党的领导人却以毛的策略与马列主义理论不一致，而驳回了他的建议。并且强调说，农民的本质属于小市民、保守，他们只对自己那一小片土地感兴趣；他们缺乏无产阶级的本质。农民只能作为联盟的对象，而不能承担社会主义革命的主要任务。
毛不理会莫斯科和上海党的领导人所确定的路线，与几个共产党领导人一起依然走着自己的路，继续发动农民。1927年8月，毛按照党的指示在湖南的省府长沙领导了一次起义。带着500名起义幸存者，他们转移到位于湖南和江西省交界处的井岗山，在那里，与两个秘密农民组织一起共同建立了一个“革命根据地”。此后，南昌起义的幸存者也辗转投奔到他这里来，其中包括后来中共的著名将军朱德、陈毅和林彪。1928年7月，广州起义（1927年12月11～13日）的幸存者也先后投奔毛的根据地，其中还有后来的著名将军彭德怀。
很快，井岗山作为根据地就显得太小了，另外它也经常受到政府军的侵扰。于是毛把根据地迁往江西省的南部，把瑞金作为江西苏维埃共和国的临时中央政府驻地，并于1930年8月在现有军队的基础上，组建了“红军”。也像苏联军队一样，红军实施双层领导：朱德任总司令，毛泽东任政治委员。到1932年，江西苏维埃共和国发展到5万平方公里的面积、450万人口。红军当时达到2.5万人，而且背后有大量的民兵作后盾。
蒋介石对江西根据地发动了多次大规模的进攻，每次毛泽东和朱德都是以重创政府军而击退了进攻。他们把政府军引入山林深处，而游击队就在那里消灭他们。毛后来有关游击战所写的文章，属于20世纪最重要的军事论述，并且对后来世界上的游击战产生了很大的影响。游击战术之所以获胜的重要原因之一就是，人民支持红军的部队，而他们“在人民群众之中就像鱼儿在水中”。人民群众支持游击队，不仅不出卖他们，而且还向他们通报敌军的动态。政府军的一位高级将领抱怨说：“我们盲人瞎马的打仗，可是共产党的军队却对我们的情况了如指掌。”农民的信任是毛通过红军长期、持续不懈的守纪和帮助群众的行为，以及合时宜的土地改革赢得的。他的土地改革就是解放贫雇农、改善农民生存状况，而不是通过极端行为把富农和地主搞成十恶不赦的敌人，也避免采取影响农业生产的作法。
1933年初，在上海的局势发展到实在待不下去的情况下，党的中央领导们也辗转投奔毛的瑞金根据地，但是他们同时采取行动，解除了非正统的毛泽东的权力。同年10月，蒋介石对江西苏维埃发动了第五次大围剿。他动用了70万兵力，而且根据德国军事顾问的建议，政府军这次采取了堡垒主义的新战术。他们包围了江西苏维埃区，并且修建工事，一步一步地往前推进，一点一点地缩小包围圈，同时对占领区实施纵横交错的防御策略，这就使红军陷入了无望的境地。故此，红军决定冲出包围圈。1934年10月15日，8.5万名士兵、1.5万名家属以及35名高级干部的夫人开始了长征。绝大部分的妇女和儿童，其中包括毛泽东的两个孩子，以及伤病员只得留下。红军冲出政府军的封锁线，向西撤退，随后杀向中国南部，然后回身向北，以便奔向远在北部的共产党的根据地延安。
