张謇与孙云锦一道到江宁的时候，经孙云锦举荐，张謇认识了当时淮军四大将之一的吴长庆。吴长庆觉得张謇确非凡才，当他得知张謇离开发审局后，亲往惜阴书院拜访张謇，同时盛情邀请张謇到他的军营中小住。这让张謇感动不已。
吴长庆为人仗义疏财，礼贤下士，他的幕府中学者、名人可以说不可胜数，颇得当时清议的好评。张謇受到他的礼遇，心中又涌起了投身于他，做一番大事业的雄心。
他在诗文中表达自己的愿望：“骏骨从来能得马，好收骐骥共殊勋。”
他希望吴长庆能够成为朝廷振兴的有为之臣，也盼望自己能在追随吴长庆的过程中，青云直上，“朝鱼而暮龙，功名蜕侯伯”。
在吴长庆的一再邀请下，张謇大约于1877年6月至7月之间投入了庆军，做起了吴长庆的幕僚。吴长庆对张謇入幕非常高兴，他每月给张謇俸银20两，让他参与军中要务，起草重要函牍，又在府宅后为他构筑茅庐五间，让他能静心读书和办理公务。入幕的生活闲适而安定，他除了担任军旅日常文书之外，更多的时间仍然深研古文，在庆军中，他还结识了一干文人，彼此之间常诗酒唱和。由于他才华出众，还得到了两江总督沈葆桢、学使夏同善等人的赏识。
1879年，张謇的生母金太夫人去世，临终时遗言张謇：“科举是出人头地的归宿，为了光耀门楣，一定要追求它，但你性刚语直，最好不要当官。”慈母的遗言，张謇深深地记在了心里。
张謇这时的学问也是日精月深，他已经由经入史，深读《史记》《汉书》，逐渐领会司马迁、班固通经治史的要义，但是他两度乡试却名落孙山。
1880年冬，吴长庆调补广东水师提督，未赴任。时法国与越南交战，沿海戒严，清廷命吴长庆督办山东海防，兼帮办山东全省军务，吴长庆率军到了登州，张謇随军前往。吴长庆到山东后，经常与张謇等人筹划海防，但是和战大计都操于中央，山东的海防计划常沦为空谈，吴长庆名为守边，实是赋闲。
张謇眼看国势渐颓，每日虽与同事漫步海滩，表面上显得清闲，心中却充满着苦闷：
锦衣使节空都护，
墨经临边有上卿；
坐使积薪仍厝火，
牺牲玉帛任寻盟。
他对权臣误国的痛恨之情字字可见，这时候他开始更认真地阅读《老子》《庄子》等黄老无为之学，寻求解脱。
1881年5月，庆军中来了一个新人，袁世凯。他是吴长庆故友之子。
张謇奉命督促袁世凯读书，发现他学无根基，基础太差，教他写一篇八股文，竟然不能成篇，文句之差，张謇竟不能下手修改，袁世凯也觉得学习十分头痛。学习虽然不成，但袁世凯却表现出了较强的办事能力，凡是交他办理一件事情，他都能办得井井有条，不出差错，有时候，张謇和他谈起国家大事，发现他对清王朝面临的危机有着清醒、深刻的见解，同时大有天下兴亡、匹夫有责的英雄气概，张謇这才知道袁世凯的投军并不只是为了混一碗饭吃，而是怀着宏图大志来的，于是与幕友朱铭盘商议，把他向吴长庆推荐。吴长庆于是委了袁世凯一个实差。
1881年，时为中国藩国的朝鲜爆发叛乱，朝鲜政权内部分裂为两派，一派与野心勃勃的日本暗通款曲，清廷对朝鲜的控制岌岌可危，遂派两广总督张树声前往对付局面，他接到朝鲜事态的情报后立即派海军提督丁汝昌邀请吴长庆到天津，会商对日办法，张謇随行。共同商议了对日办法。
8月16日，吴长庆亲率六营大军乘兵轮出发，张謇随吴长庆同舰赴朝鲜。
吴长庆命张謇“理画前敌军事”，这对他这一介书生来说，是一项陌生的任务，他于是要求派袁世凯为佐理，这一年，张謇29岁，而袁世凯只有23岁。可以说是由两个少壮派处置前敌军务的。
部队于8月22日到了朝鲜，吴长庆命某营官率队先行，但是此人推说士兵刚下船还不适应，请求缓行，吴长庆大怒，下令把此人交军法处看管，改令袁世凯代理该营官带，并给予令箭，有不服从的，即行正法，袁世凯奉命后，立即部署，两小时内就绪，待命出发。
次日黎明，袁世凯率兵登陆，吴长庆与张謇率全队殿后，行程25千米，袁世凯飞骑来迎，报告前锋已在前面5千米扎营，请大军在此住宿，一切安排就绪，吴长庆见袁世凯指挥若定，年轻老练，大喜过望，对张謇说：“慰亭真不错，不负张先生的识拔，我应向张生道谢。”袁世凯听到是张謇密保的他，向吴长庆请安后，向张謇请安说：“谢老师的提拔。”张謇感到不安，连忙说：“这是大帅对你的特识，希望你不要辜负了大帅，多替国家出力。”袁世凯连连称是。
在袁世凯与张謇的合力之下，朝鲜局势很快就回到了正轨，日本对朝鲜的图谋暂时受到重创。
吴长庆到天津述职，张謇也与吴长庆一道回国。
朝鲜内乱的暂时解决，挫败了日本企图吞并朝鲜、进攻中国的计划，但是列强吞并朝鲜的野心并没有破灭。朝鲜之行，使张謇清醒地看到了保护朝鲜的重要性。
张謇作为吴长庆的幕僚，参与了庆军重要事务的决策，他以自己的学识先后撰写了《壬午东征事略》《乘时规复流虬策》《朝鲜善后六策》等政论文章，其中尤以《朝鲜善后六策》治论最为深刻。在这篇文章中，张謇检讨了朝鲜问题的来龙去脉，提出了根本解决朝鲜半岛危机的多种策略计划，文章指出，彻底解决朝鲜问题有以下几种选择：一是按照汉朝的方式，建置玄菟、乐浪郡；二是按照后周的方式，设置监国；三是驻扎重兵于各海口，改革内政，除旧布新；四是让其自行改革，为其训练新军，增强其防卫能力；五是与东三省联为一气，互相声援；六是分路出兵、规复琉球，打击日本的侵略气焰，使其不敢对朝鲜轻举妄动。
张謇在极短的时间内拟就了《朝鲜善后六策》，他希望张树声在代理北洋大臣、直隶总督期间，能够选择几个方案，让政府批准执行，定为中国对朝鲜永不变更的政策。
谁知这篇由张謇起草、吴长庆代奏的呈文，因为交通不便，旅途耽搁，送到天津的时候，张树声还没有来得及反应，李鸿章已经假满回任，张树声只好把善后六策交李鸿章。李鸿章看了这篇呈文，认为是多事，就把它扔在一旁。
张謇以为此事就此告一段落，谁知张树声的儿子张华奎当时在天津休假，他在父亲的军营中看到了这篇文章，就把它抄录下来，带到了北京，很快京城都知道了这篇文章，有几位重要官员到总理衙门和军机处询问他们对善后六策的看法，而两个部门没有接到李鸿章的上奏，根本不知道有这篇文章，一时间京城舆论大哗。
南派清议首领潘祖荫、翁同龢立即支持这篇文章，并由侍郎宝廷把文章抄录上达皇帝和太后。慈禧太后没有采纳这篇文章的观点。
这事让李鸿章非常难堪，从此冷落、疏远吴长庆。张謇看到吴长庆已经是艰难度日，自己在庆军中前景黯淡，遂决定逐步归退。1883年秋，他把自己的哥哥引入庆军，自己提前告假回乡。
1884年，李鸿章把吴长庆调防奉天，把他的部队一分为二，庆军终于被李鸿章瓦解。5月，吴长庆一病不起，吴长庆这时非常想念张謇，他去函催请张謇，张謇接信后从上海乘船到金州，发现吴长庆已经病入膏肓。7月13日，吴长庆去世。他手下的幕府宾客这时都向粮台索取金银，不达目的，就恶声相向。
吴长庆对张謇可以说有知遇之恩，他的去世使张謇对世道人心颇感失望。他后来写道：“观人于不得意时，于不得意而忽得意时，于得意而忽不得意时，经此三度，不失其常，庶可为士。”
