1891年张之洞在湖北筹建铁厂。虽然盛宣怀曾在湖北办过煤铁厂，对在湖北办铁厂一直很有兴趣，但因张之洞主张官办，而盛宣怀则主张官督商办，在办厂的方法上意见不一，所以盛宣怀未参与铁厂的筹办。到了1896年，张之洞官办铁厂亏损很大，难以为计，才想到请盛宣怀出面，改为商办。盛宣怀一直比较重视钢铁的生产，他早就等待着这一天，所以当清政府决定交盛宣怀接办时，1896年他就成为当时号称东亚第一的包括采煤采铁和冶炼的汉阳铁厂的主人。
盛宣怀接办铁厂后，首先看到了铁厂不景气的原因是煤炭短缺，所以不断派人到江西、湖南等地寻觅可炼焦的煤矿。另外一个是市场销售的问题。汉阳铁厂的主要产品是铁路用钢轨，而当时中国造铁路主要买外国造的钢轨，盛宣怀认识到如果不把钢轨市场争夺过来，汉阳铁厂的产品销路就会成问题，铁厂的发展前景也就不可乐观。
甲午战争之后，列强对在中国修筑铁路竞争激烈。清政府中的一些有识之士，也认识到了修建铁路的重要，但由于资金和人才的困难，修建铁路并非易事。所以在清朝政府中几经酝酿讨论后，才决定首先修筑卢汉铁路（从北京卢沟桥到湖北汉口）。
由谁来负责修建这条铁路呢？张之洞认为盛宣怀是最合适的人选，因为他既能作官，又通商务和洋务，在招商局和电报局的工作已证明了他在这方面的才干。盛宣怀刚接办汉阳铁厂，正发愁产品的销路，如果他能负责修筑铁路，就可以产销结合起来，一举两得，所以他也积极活动铁路总公司督办的人选。在双方都迫切要求的情况下，清政府于1896年正式任命盛宣怀为新成立的铁路总公司的督办。
盛宣怀成为铁路总公司的督办后，即请示张之洞等人，以上海为商业总汇为名，将总公司设在上海，另在天津和汉口设两个分局，并在1897年正式开张办公了。
铁路总公司开办后，立即遇到了与外商的激烈竞争。修建铁路需要巨资，资金从哪里来？当时华商的资金都有限，用招募华商入股的办法是筹不到足够资金的。外资的力量雄厚，都愿意投资，但这又涉及到铁路公司以后控制在谁手里的问题。盛宣怀考虑再三，觉得既然必须依赖外资，用借款的方法要比入股为好。因为借款虽然条件苛刻，但公司的大权还是掌握在自己手里，如果入股，洋人的股份多了，公司的控制权就可能落入洋人之手。所以从维护铁路主权入手，他选择了借款修路的办法。
但是外商并不甘心自己失去对修筑中国铁路的控制权。就在盛宣怀正在研究如何筹集资金修路的时候，竟然有广东籍道员许应锵等四个人，先后向盛宣怀表示，他们都已集股金数千万元，表示愿意负责承办修筑卢汉铁路。这四个人都是没有什么名望的人，盛宣怀很怀疑他们有什么办法，一下子能集到那么多资金？他怀疑有外商在幕后支持和操纵，派人经过调查之后，果然证实其中三人背后的支持者为洋商，另一个人为漫天胡说，并无资金。
盛宣怀在筹办修筑卢汉路时，买办商人容闳（音Hóng）向清政府提出，由他负责修一条由天津至江苏镇江的铁路。容闳的后台是洋人，他提出的条件对清政府也很有诱感力，就是愿意为修此路而报效清政府百万巨款，以解救清政府的财政危机。容闳的建议，对盛宣怀当然是一大威胁。因为在当时商品流通量不大的情况下，如果同时修建两条南北的铁路干线，卢汉路的效益肯定会大受影响，所以盛宣怀取得张之洞等人的支持后，坚决反对。但是容闳的建议却得到李鸿章的支持。因为修筑卢汉路是张之洞的主张，而李鸿章从军事角度考虑，一直倾向于修津镇线。所以张之洞、盛宣怀等反对修筑津镇线，虽然使其修筑延缓了几年，但因为得到了李鸿章的支持，而清朝政府又贪图百万元的报效，所以最后还是容闳得胜了。
西方列强一直把侵占中国铁路的修筑和经营权，作为控制中国的一把利刃，而清政府迫于西方的压力，又一再出让主权，这就使盛宣怀想通过铁路总公司控制中国铁路的企图，一再受挫，节节败退。后来盛宣怀不得不退而采取只保“中权于路”，即抓住卢汉路不放，然后再向南北东西延伸的方针。
沙俄于1891年开始筹建西伯利亚铁路后，进展很快，想假道吉林和黑龙江，直达海参崴。沙俄铁路伸入东北后，下一步就可能乘机入关，威胁到盛宣怀的主要干线，因而引起了盛宣怀的不安。为了抵制俄国，他建议采用主动进击的姿态，先将关内的铁路延伸至关外，以占领有利的地势，抵制俄国修路。德国占领山东半岛后，他感到修路的形势更加危急，因而主张加快铁路建设，卢汉与粤汉南北同时动工，以尽快把贯通南北的铁路控制在自己手中。清政府也很快批准了他修筑粤汉路的要求，这使他得到卢汉路的修筑权后，又将卢汉路向南延伸，从而取得了横贯南北的铁路大动脉的控制权，即现在的京广线。
盛宣怀虽然一直想把铁路主要干线的修筑权控制在中国人手中，但是由于列强对中国的进一步瓜分，中国半殖民化的加强，再加上他本身的脆弱，这一目的是很难实现的。首先修筑铁路的大笔款项，就得向外国人借。他虽然尽量把借款国错开，避免形成一国的控制，如卢汉路的借款甚至找了比利时这样的小国，但总摆不脱外国财团的控制。而且德国占据了山东半岛后，很快取得了胶济、胶沂的筑路权，并在向津镇线延伸；沙俄在东北取得了中东路的修筑权，并向旅大和关内延伸；法国在广西、云南也在修筑铁路。这些都使盛宣怀想控制中国主要铁路修筑权的愿望落了空。
其实，清政府和盛宣怀都是将修筑铁路当成一块肥肉对待的，因为修筑铁路要巨款，这里边当然自有好处。当清朝政府见盛宣怀的铁路总公司，向外商借了一笔笔的巨款，而清政府想借巨款解决财政危机，却一再遭到外商的刁难时，清政府与盛宣怀之间的矛盾就突出了。清政府为了把铁路的修筑权收归政府，就于1905年在北京设立了铁路总局，派买办唐绍仪为督办，并同时撤销上海铁路总公司，盛宣怀被迫将铁路事宜全部移交给唐绍仪办理。盛宣怀亲自筹办起来的铁路总公司，10年之后终于完成了自己的使命。当然，具体管铁路的人，这时虽然唐绍仪代替了盛宣怀，但是铁路总局的一班人马，仍然是盛宣怀培养和提拔起来的，而且盛宣怀这时又升为专管铁路和邮电事务的邮传部右侍郎，所以铁路的实权实际上仍掌握在盛宣怀手中。
