广州市面接连的散播传单，反对北伐，并攻击我个人为新军阀。最后季山嘉更是明目张胆，破坏本党的北伐计划。”蒋介石断定，这并不是季山嘉个人的意思，而是“莫斯科俄共的整个策略”。此前，季山嘉在给莫斯科的信中坦言，他同鲍罗廷在关于中国共产党人在军队中的作用问题上“发生了原则性的意见分歧”。根据他对中国军队情况的研究，认为从军队中清除共产党员的问题，“不仅是完全荒谬的，而且实际上极为有害的”。季山嘉还断定，从军队中召回共产党员，“百分之九十有碍于我们在军队中的工作，百分之百有利于国民党右派的工作”。他责怪鲍罗廷的工作方法过于僵化，“其危害越来越大”。季山嘉认为，鲍罗廷虽然在广州做出了巨大贡献，但“更多的他做不了”。他告诉莫斯科，如果有谁来取代鲍罗廷，那他是“最满意不过的了”。于是，他请求莫斯科向广州派遣一名新的强有力的工作人员，而且“必须是优秀的党员”。
蒋介石同季山嘉的之间紧张关系在蒋介石拘留王懋功后达到了顶点，以致蒋介石提出了辞职的请求。然而，使蒋介石感到不安的是，对他的辞职，汪精卫“既不批准，亦不挽留”，一直拖了半个多月。蒋介石似乎按捺不住了，于2月27日拜访了汪精卫，明确表示“：如不准我辞职，就应令季山嘉回俄。”蒋介石感到不满和恼火的是，他在3月8日同汪精卫的谈话本来是秘密进行的，但季山嘉很快就知道了。
直到3月14日，汪精卫仍然没有批准蒋介石辞职，反而“间接地暗示”蒋介石“离粤”。此时，蒋介石预感到，“如我不离粤，不测的事件就要发生。辞职而未准，如果自动离粤，又陷入弃职潜逃的罪名”。难道蒋介石真的陷入了进退两难的困境吗？恰好就在这时，中山舰奉命驶抵黄埔，蒋介石乘机发动了一场针对俄国顾问和中国共产党的“半暴动”。
苏联人没有料到的是，“蒋介石采取的行动会在某种程度上牵涉到历来不干预国民党内部事务的顾问们”，所以，当他们得知蒋介石“反对俄国顾问及共产党之举动”时，犹如“晴天霹雳”。
实际上，国民党第二次代表大会召开之后，莫斯科对广州的政局作出了完全乐观的估计。共产国际执行委员会第六次扩大会议通过的《中国问题决议案》明确指出，东方民族解放的革命运动有着巨大的进步，而且有些地方的发展，甚至比所期待的还要迅速，并且把广州国民政府看作是“东方革命民主政府的第一个榜样”。共产国际认为，国民党的基本核心就是同中国的工人、农民、知识分子和城市小资产阶级民主派等各阶层利益共同性基础上，来反对外国帝国主义和封建军阀制度，为争取革命独立和统一的革命民主政权而斗争的“一个革命联盟”。这就是说，广州国民政府“已经与工人、农民及城市民主派的最广大的群众联系起来，并且依靠他们，击败了帝国主义者所支持的反革命匪帮”。因此，广州政府就成为“中国人民为独立而斗争的先锋队，同时成为国内将来的革命民主建设的榜样”。共产国际还相信，国民党第二次代表大会对右派的斥责以及对国民党同共产党联盟必要性的确立，巩固了“国民党和广州政府活动的革命方向”。季诺维也夫甚至预计，中国共产党今后在同国民党的紧密合作中将取得更大的胜利。在这种乐观的情绪下，当苏联人得知中山舰事件的消息时，难免会“为之一惊”。
（三）汪精卫出走
3月20日凌晨6时，陈公博还在睡觉，听到外面发生的情况后，打电话到西华二巷汪精卫家中，可是，他无论军用电话还是普通电话，都打不通。陈公博心想，可能是出事了。他赶紧洗完脸，穿上军装，让司机直接将车子开到汪公馆。当行驶到东山马路铁路的旁边时，陈公博发现，戒严的军队全是第一军的，还看见陈继承团长带着士兵在那里警戒。在陈公博看来，这些士兵都是第一军的，心想不会发生什么政变。因为，当时第一军都叫党军，在广州无论朝野都认为最靠得住的军队莫过于第一军，哪里会有党军叛变党的道理呢？
他来到汪公馆门口，倒看不出有什么异样。陈公博知道，汪精卫在19日就已经请假不到国府来办公了。因为他最后见汪精卫是在18日夜，那天，汪精卫以国民党军事委员会主席的身份，在广东省政府洋花厅宴请各国民革命军各军政治部主任。参加宴会的有第一军政治部主任周恩来，第二军政治部主任李富春，第三军政治部主任朱克靖，第五军政治部主任李朗如，第六军政治部主任林伯渠，第四军政治部主任人选还未任命，所以没有人参加。陈公博是军队政治训练部主任，自然以一个半主人的身份作陪。席间，汪精卫对陈公博说：“今天不知为什么，我在黄埔军校演讲时，有些头晕，现在还是混混沌沌的，大概老毛病又要复发了。”陈公博安慰说：“汪先生太辛苦了，应该休息一下。”汪精卫讲了一段故事。说有一次监狱里一名囚犯患了病，狱医来看过之后说：“最好你找个地方疗养一下。”话说得好听，可是，一名囚犯怎么可以自由地搬到别处疗养？“我现在十足就是那个囚犯。”汪精卫的这个譬喻，引起哄堂大笑。19日下午，陈公博在国民政府没有见到汪精卫，就向秘书长陈树人打听，才知道汪精卫因病请假。他觉得有点奇怪，就问陈树人“：昨夜汪先生还不愿请假，怎么今天倒不来了？”陈树人笑着回答：“大概汪先生的病让汪夫人发觉了，汪夫人一发觉，哪肯让汪先生来办公。”
陈公博来到汪精卫的住处，汪精卫不在卧室，却睡在楼上房间一张帆布床上，脸色苍白，显然病得不轻。汪夫人见陈公博来，问有什么要事没有？
“外面戒严了，汪先生知道吗？俄国顾问的公馆也被包围了，这是怎么一回事？”陈公博急促地问道。
“我完全不知道，刚才有人来报告，我还在怀疑呢。”汪精卫漫不经心地回答。
“刚才我打电话到这里，电话不通。”陈公博问起其中的原因。“因为我生病了，夫人怕电话嘈闹，故意把听筒搁起来了。”汪精卫解释说。正说着，谭延闿、朱培德进来了。据他们报告，蒋介石正在找他们，委托他们将一封信转呈给汪先生。这是蒋介石写的亲笔信，大意是说共产党图谋暴乱，所以不得不紧急处置，请求汪主席原谅。谭延闿报告说，蒋介石已经占据了东门外造币厂旧址作司令部，海军局局长兼中山舰舰长李之龙被扣押，至于第一军的党代表无论是否共产党，均已于昨日下午全部免职，被看管起来了。
“我是国府主席，又是军事委员会主席，介石这种举动，事前一点也不通知我，这不是造反吗？”汪精卫一边说一边坐了起来，因过于激动，又是一阵头晕，再次倒在床上。
“我看介石是有点神经病，这种人在我们看来，平常就有神经病，我看我们还得再去一趟，问问他想什么、要什么。”
在场的几个人一时间摸不清事实真相。他们弄不懂，蒋介石当时究竟有什么企图。如果说，他反对汪精卫吗？汪、蒋之间的交情特别深厚，这是人人都知道的事情。
汪精卫也要去造币厂，可是又是一阵头晕倒在床上。后来，谭延闿、朱培德两人去造币厂打探消息。
22日上午，国民党中央政治委员会召开会议。因为汪精卫生病不能起床的缘故，会议就在他家中。开会的时候，汪精卫依旧躺在床上，与会者围坐在四周。蒋介石也参加了会议，他平时不大说话，那天的话就更少了，似乎有点倔强，也似乎有点惭愧。会议讨论的事项很简单，第一是通过限制共产党活动的办法；第二请俄国召回军事总顾问季山嘉。据说，这位顾问先生有点跋扈，经常同蒋介石的意见相左。
经过这次会议，很多人都认为3月20事件可以告一段落。谁知，23日那天，陈公博去找汪精卫，才知道他已几天不见客了。过了几天，听说汪精卫已不在西华二巷居住了。自此之后，陈公博也就不知道汪精卫的消息了。有人说，汪精卫他已经离开广州，有人说他还在西关养病。
3月25日，汪精卫表示“不再负政治责任”，然后就隐匿起来了。后来，人们才知道，汪精卫与胡汉民同坐一条船离开了广州。汪精卫的出走，倒使蒋介石感到了压力。为了争取主动，蒋介石也向国民政府军事委员会递交了“自请处分”的呈文，随后也离开了广州。
汪精卫的出走实际上是同蒋介石冲突的结果，也是中山舰事件最重大的结果。中山舰事件是蒋介石发动的反共政变，而汪精卫当时同情共产党。中山舰事件发生之初，汪精卫绝对不知道内情。蒋介石曾在汪精卫面前表示过裁制共产党之意，汪精卫以为不可。可是，3月20日，中山舰事件发生了。这件事对汪精卫的打击特别深。因为汪精卫自以为是国府主席，兼军委会主席，为政府最高负责人，蒋介石采取这么大的动作，事前并末得汪精卫的同意，这使他感到很难堪。当时的反共气氛非常浓厚，汪精卫无法挽回，不得不出走。
（四）高语罕被免职
1926年5月，蒋介石就中山舰事件向各军党代表发表演说，他声称，在3月20日事件发生之前，有一派人想诬陷他，制造出一种空气来，说蒋校长是不革命的。蒋介石认为，这是一两个人的阴谋。在讲到所谓阴谋时，蒋介石举了几个事实。其中之一就是，在黄埔学校，政治主任教官高语罕每次演讲，有形无形之间诋毁本校不革命的言论是公开的，大家知道，不必我说了。总之，他的用心是先暗示一班同志对我失去了信任，并且还有彰明较著地说我们团体里有一个段祺瑞，要打倒北方段祺瑞，就先要打倒这里的段祺瑞。各位同志想一想，这些话是指哪一个？如果我们有段祺瑞那样的军阀行为，只要各位指出一点来，不用等各位来打倒，而我必定会自杀给你们看的。倘若他是一位真正的同志，发现我有军阀行为，就应该首先规劝我，得到我不听他的规劝的时候，他再拿出事实宣布我的罪状也不晚。他若是没有别的用意，何必胡说这些诋毁中伤的话。高语罕的言论引起蒋介石的不满和猜疑。中山舰事件发生后，高语罕首当其冲受到排挤。他是留学德国的共产党员，从德国回来的时候，适逢国民党第二次全国代表大会召开，高语罕作为留欧支部的代表参加了大会，并当选为国民党二届中央监察委员。当时，邓演达任黄埔军校教育长，高语罕与邓演达在德国就认识，交谊颇深，因为这层关系，高语罕进入黄埔军校任入伍生部党代表，地位极为重要。蒋介石给了高语罕很高的待遇。但是，高语罕为人爽直，出言不慎，常有触犯他人之处，结果，中山舰事件发生后，高语罕首先被免职，离开广东去了上海。
5月25日，上海《申报》登载了蒋介石的演说。当天，高语罕在上海给蒋介石写了一封信，开头写到：3月20日的事变，我竟以毫无关系的人，不得不离开那可爱的广州，可爱的黄埔。考虑到蒋介石的演说有一段涉及到他本人，他不能不作出解答。所以，高语罕决定给蒋介石写信。在信中，高语罕摘录了蒋介石演说中的几句话：“并且还有彰明较著地说我们团体里有一个段祺瑞，要打倒北方段祺瑞，就先要打倒这里的段祺瑞。”于是，高语罕专门就“彰明较著”作了说明。他解释说，这几句话事出有因，但事实完全不对。3月底，广州各界召开“反段示威运动大会”，国民党中央执行委员会让高语罕去演讲。他的演讲大意是：“先打倒段祺瑞是不够的，因为段祺瑞不过是中国的旧社会旧思想的产物，所以我们应当把中国数千年来的宗法社会封建制度英雄思想打破才行：就是说要打破我们思想上的段祺瑞。”高语罕认为，这个主张，直到现在都没有改变，将来也不会改变。谁知，高语罕用普通话讲过之后，广东的一位同志用粤语翻译给群众听，却把“我们思想上的段祺瑞”这句话中“思想上”三个字漏掉了。由于不懂粤语，所以也就没有发现其中的错误。后来，报纸上也就这么发表了。高语罕发现有误，就给报社写了一封信让他们更正。他告诉蒋介石，如果他有心要说“打倒这里的段祺瑞”，又何必更正呢！如果他把蒋介石比作段祺瑞，也不必更正。蒋介石没有看到那封更正信，因而产生了误会。高语罕在信中表示，他不仅没有诋毁蒋介石的言论，反而到处公开地发表拥护蒋介石的言论。3月20日事件发生的前两天，高语罕在黄埔军校军官团发表演讲，证明蒋介石的人格是官兵们的模范。3月20日事件发生的当天，他在入伍生部第一团训话，又反复地把蒋介石为国民党奋斗的历史详细地说了一遍。高语罕在信中还写到：他从娘胎里生下来的时候就是这么一副骨头！性子憨直，心直口快。一个革命党人，如果自己不能接受别人的批评，不能公开承认自己的过失，甚至文过饰非，那就是自绝他的政治生命。
