粟裕、谭震林将军指挥下的华野各路人马，最早行动的部队，在11月1日就开始由驻地向南开拔。他们从鲁中解放区分路向鲁南行进。时值初冬，天高气爽，数十万华野大军，兵分13路纵队，从赣榆、临沂、滕县、单县等地先后出动，真是人马如龙，浩浩荡荡，声威震天。
但见步兵、骑兵、炮兵、工兵、辎重队、担架队，日夜不停向南开去。一路上，各种车辆、马蹄、人脚掀起一片尘土，滚滚冲天。
大军向南经过各地村镇，山东解放区男女老少，一个个欢天喜地，到处扎起彩松门，欢迎大军南征。彩门上高悬大红匾，写着：“欢迎华野大军南下杀敌！”松门两旁还写着：“解放徐州！活捉刘峙！”“打到南京去！活捉蒋介石！”
大军沿途经过各村庄集镇，到处都有向导在等候，一招呼就来。沿途各村庄还安排茶水站、粮食站，保证随时供应。各村庄的老乡们，很早就把屋里打扫得干干净净，腾出地方准备部队休息。村长们还在各家门上用粉笔写着：“一间”、“两间”、“三间”……等字样，好让部队一进村子，就能安排好住宿。总之，大军南下所到之处，到处欢迎接待，家家户户如同办喜事，说不尽的热闹，道不完的欢喜。
曾经遭受国民党蒋军烧杀、抢劫、奸淫，忍受过种种苦难的山东解放区人民，这时男男女女都兴奋地看着自己威武雄壮的军队，日夜不停地拖着无数的大炮，向南开去，五天五夜还没过完。他们欢喜得跳起来，说：“这一下子，我们翻身报仇的日子到了。”
这会儿，当刘伯承把黄维兵团尽量引向豫西腹地，陈毅、邓小平率领中原主力越过黄泛区，向徐西隆隆逼进的时候，粟裕正指挥四十余万华东野战军，以排山倒海之势直出山东，扑向淮海。中央军委的战略部署是：以华野第三纵队、两广纵队，配合中野主力，由陈、邓统一指挥，对徐州形成包围态势；以华野山东兵团第七、十、十三纵队攻取台儿庄，进击运河线，切断陇海铁路；集中华野第十一纵队等10个纵队的主力，再加上特种兵纵队和江淮军区两个旅，由北而南，以迅雷不及掩耳之势，将黄伯韬兵团割歼于新安镇地区。
在人民军队以南昌起义为起源的艰难曲折的进军史上，这一页是多么激动人心啊！半个山东，人在追赶，车在飞奔。西起单县，东至赣榆，七百余里宽的鲁南大地在轰轰烈烈的行军脚步声中颤抖。钢盔在晨光里锃锃闪亮，崭新的武器——机枪、步枪、冲锋枪压在战士的新棉袄上。数十路纵队，蜿蜿蜒蜒，纠葛交错。路口的调整哨头戴防空伪装，威武地挥动着红绿指挥旗；一辆辆吉普车亮着尾灯，拉成一行流动的音符；滚滚开来的卡车拖着榴弹炮，掀起了遮天蔽日的烟尘；嗒嗒的骡马洋洋得意地拉着榴弹炮，走马灯似的重复同一个形象……似乎没有人声，只有车队、马队以及打着绑腿的脚杆儿匆匆地流动着，覆盖了整个鲁南大地。
9月24日打下济南，华野部队又一次用国民党军装备打扮了自己，如镀了一层铬，更加光彩照人。
南下部队的军威因声势浩大的民工队伍而显得更加雄壮。按照“一兵二夫”的后勤保障原则，百万支前民工紧贴着部队，车水马龙，席卷南下。
在部署这次行动时，总前委特把中野一、三、四、九纵队司令员找到自己驻地，在作战室里开会。邓小平说：“切断徐蚌线，占领宿县，可以北拒徐州，堵住徐州之敌南逃的后路；可以南阻蚌埠，斩断南线敌人北援之交通；制止孙元良兵团东援，夹住津浦路就要切断它！”邓小平点燃了一支香烟，然后又以斩钉截铁的口气说：“为了这个目的，在淮海战场上只要歼灭了敌人南线主力，中野就是打光了，全国各路解放军还可以取得全国胜利，这个代价是值得的！”
陈毅司令员没有再说什么，他跟邓小平一起，把杨勇、陈锡联、陈赓、秦基伟几位将领送出了作战室。邓小平跟他们一一握手。陈毅有感于此，大声朗诵了明世宗嘉靖帝《送毛伯温》的名篇：“大将南征胆气豪，腰横秋水雁翎刀。”他摸摸要走的将军们腰间的枪柄，继续朗诵：“风吹鼍鼓山河动，电闪旌旗日月高。天上麒麟原有种，穴中蝼蚁岂能逃。太平待诏归来日，朕与先生解战袍。”
