战役的第二阶段，总攻上海市，拟从5月24日开始。
22日，我军得知守军拟从海上撤走，其第54军已从真如地区撤走。苏州河以南市区，仅有交警部队守备。
粟裕当即命令各部同时实施攻击，迅速全歼上海市守军，并决定提前于对日夜发起总攻。
参加总攻市区的部队有4个军：
第27军24日占领虹桥镇，进至苏州河以南的市区边缘。
第20军24日拂晓，占领浦东市区。
第23军24日进至槽河径、龙华地区。
第26军24日在占领沈家桥等地后，向绿杨桥、塘桥攻击前进。
5月24日，第三野战军司令部进一步查明，汤恩伯等指挥官已乘舰出海，在吴淞口外指挥撤退。
粟裕当即命令各部立即发起追击，楔入守军纵深，截歼溃军。
汤恩伯唯一的补救措施就是，将他的第75军从高桥回调，以增强吴湘的防御，掩护大部队登舰撤逃。
这时汤思伯已经感到前景不妙了。
连他自己也不相信，他那个比"斯大林格勒还坚固"的上海钢铁工事，竟是如此的不堪一击。
当5月24日，蒋介石电令汤恩伯撤离上海的时候，他跑得比谁都快。最后，躲在海上的军舰里指挥部队作战。
25日，29军及33军的99师，向吴淞、宝山猛插猛打，26日占宝山城，同时攻抵吴淞，与兄弟部队会合。
26日拂晓，25军占领吴淞要塞。
28日11时，28军亦攻抵吴淞，与兄弟部队会师。
与此同时，东路第30军、31军会攻高桥。于15日夜，占领镇中心的桥头堡。尔后向北、向东继续攻击前进。
26日上午，30军占领三岔港、吴淞口东岸，封锁江面；中午12时，第31军全歼江心州之敌。浦东地区完全被占领。
至此，解放军钳击吴湘的攻势已经完成，汤恩伯没来得及逃跑的难兄难弟们，呆在上海城里，出路只有两条：挨打，或者投降。
围歼市区守军的各路大军进展均比较顺利，没有遇到更大的抵抗。因为这时群龙无首，国民党军处于极度混乱之中。
如果说打仗也有运气的话，那么在众多同样资历的将军中，聂凤智是运气最好的一位。
打孟良崮，是他率领9纵从山下打到山上，把红旗插到山顶；
打济南，是他的9纵第一个突进城内，把助攻变成主攻；
打淮海，是他指挥的9纵攻克碾庄，为淮海大战立了头功；
渡江战役，是他率27军，首先突破长江天险，享有"渡江第一船"之美称。
现在解放大上海，又是这个聂凤智的部队，最先攻进了市区。
5月24日晚，聂凤智在指挥部里，听到市区内枪战激烈，于是他拿起电话，接通了79师指挥所，找到了师长肖镜海。
"军队，进去了！"肖镜海师长高兴得嗓音都变了，"我们正顺着南京路、林森路向市中心追击。马路上的电灯还给我们照着亮呢！"
各师先后来电话，报告进入市区情况。27军指挥所的作战地图上，多支粗壮的红色箭头，飞快插向市区中心。
25日上午8时，仅仅经过10多个小时，苏州河以南地区全部获得解放。但是，谁也没有料到，一条窄窄的苏州河，却把部队的攻势挡住了。
这时，聂凤智带着军部的几个军政人员，来到前线的一个团指挥所，仔细观察了一个多小时。
苏州河宽约30米，横穿上海市区。守军凭借北岸高大楼房和工厂、仓库等建筑物，居高临下，交织成稠密的火力网，封锁住整个河面和南岸的一条宽阔马路。
攻击部队一波一波往上冲，又一批一批倒下来。在他们中，有创造"济南第一团"荣誉的干部、战士，有最先突破长江天堑的"长江第一船"战斗骨干。
火炮部队已做好了准备。此时聂凤智跑到前沿指挥所，却下命令停止炮击。
这时有个左臂负了伤的爆破组长，鲜红的血浸透了白绷带。他一见到聂凤智，就说："军长，下命令吧！三包炸药，管保把对面那座楼炸飞！"
"不行！"聂军长决然说。
"为什么？"
"你们都知道，为了把一个繁华的大上海完好地交还给上海人民，总前委和三野早就下过禁令：市区内的战斗，只准用轻武器，一律禁止使用火炮和炸药。"
聂凤智决定改变战术：在苏州河面佯攻，将一部分主力在天黑后从侧面涉河过去，抄敌人的后路。
据有关资料记载，后来我军攻下苏州河时，原中央军委副主席迟浩田上将是立了大功的。当时他是指导员，紧要关头就和一名战士跳下水，从河边的下水道钻进去，爬进了大楼内敌军指挥部。他双手提枪，走过去时，敌人望着这位已成泥人的解放军，都吓得哆嗦起来，没来得及反抗就被解决了。
京沪杭警备司令刘昌义的及时起义，是解放上海的一件大事。
刘昌义的戎马生涯几经沉浮，其人生道路非常曲折。
刘昌义从17岁开始投身军队，曾进西北军洛阳军官学校受训，以后追随冯玉祥，参加反蒋战争，并随冯玉祥的失败而沉沦。
抗日战争开始后，刘昌义组织了抗日义勇军，以后改编为第一战区豫北游击队。汪精卫公开投日后，曾委派他的第二厅厅长王翼之和日寇头目岗村派人去点验，刘昌义率部反戈，歼日伪军600余人，并把敌伪头目押去重庆处理，曾受到国民党当局的重视。部队改编为暂编第15军，刘昌义晋升为中将军长。
1944年春，在中原战场上，汤恩伯的50万大军不战而溃，而刘昌义的暂编第15军却在中牟--许昌的防线上作了挤死抵抗。鏖战半个月，付出了两个师的代价。
由于对日作战有功，刘昌义受到老蒋的接见，并授予一枚勋章。
但是，刘昌义作为一名抗日英雄，在老蒋那里，随着抗战的胜利，他的使命便结束了。因为他不是黄埔生，不是嫡系。
1945年1月，蒋介石给刘昌义来个明升暗降，撤掉他的军长职务，挂了两个副司令的空衔。旧部属随后被整编遣散。
刘昌义一时心灰意冷。这时，中国民革在香港成立，领导人是李济深、蔡廷指。经人介绍，刘昌义于1948年底加入民革。
4月大军渡江以后，刘昌义随部队由常州迁至上海崇明岛。因为刘昌义没有实际兵权，就以养病为由，不愿呆在崇明岛，而住上海的新亚饭店。
正当汤恩伯等高级将领忙于保卫大上海的时候，这位中将副司令却是比较清闲的一个。
因此，他总是找机会去看看汤恩伯，到淞沪防卫司令石觉等人家中玩玩牌，和他们保持着密切的联系。
这时候，却没有人把他放在眼里。蒋介石在复兴岛连续三次召开团以上干部会，就没有叫他。
有一次，在石觉家中，刘昌义碰到蒋纬国，这位蒋二公子说："副座，我从当连长时起，就同你认识了，你是西北军名将，抗日功臣。现在，我父亲有困难，你要为作战多出力啊。"
这让刘昌义很感动，说明党国还用得着自己。但是自己没有兵权啊。
5月16日，国民党第51军在浦东白龙港被解放军歼灭，军长王秉镇被俘。消息传来，刘昌义心里为之一动。他赶到上海浦石路汤恩伯家里，对汤说："51军没有军长了，部队很乱，应当有一个人去招呼。"
