在吴佩孚处于险境之际，段祺瑞以第三师老师长身份送了一封信绐吴佩孚，劝他“速离去，否则被擒耳”。当时有人劝吴佩孚避往租界，以引起外国干涉。段祺瑞说：“你是中国最优秀的军人，为什么要惹出同际问题呢？我看你先休息几天吧！”吴佩孚听了连连说道：“是，老帅，我遵命。”随后由塘沽乘船逃走。段祺瑞的部下幸灾乐祸地说：“老头儿眼看吴小鬼掉在井里头了，小辫提一提，指给他一条明路。”
直系大败后，段祺瑞出山的时机又到了。11月10日，冯玉祥、张作霖、段祺瑞在天津段公馆召开了着名的天津会议，决定推举段祺瑞为中华民国总执政，该职集总统、总理职务于一身。
1924年11月22日，段祺瑞在卫队的保护下抵达北京，24日，他在铁狮子胡同陆军部宣誓就任中华民国临时总执政。这样，段祺瑞在任国务总理三上三下之后，又一次成为北京政府的最高领导者，这也是他一生中最显赫的职位！
执政府建立后，张作霖、冯玉祥准备继续南下，扫清直系势力。但段祺瑞坚决反对，他看得很清楚，张、冯二人想借扫清直系势力之名，抢夺地盘，扩大自己的势力，于是说：“穷寇莫追，不如就此罢兵。”张、冯就也就无可奈何，收起了南下的打算。
张作霖提出召开“六巨头”会议来进行权力的再分配。所谓“六巨头”指孙中山、段祺瑞、张作霖、冯玉祥、卢永祥、唐继尧。段祺瑞则主张召开一次全国性的善后会议，参加人员只限于：有大功劳于国家者；讨伐贿选及制止内乱的各军领袖：各省区及蒙、藏、青海军民长官；有特殊之学识、资望、经验者，由执政聘请或委派。
这时，孙中山应冯玉祥、段祺瑞之邀已转道日本抵达天津。孙中山主张召开国民大会解决中国问题，认为善后会议只是一个代表军阀官僚利益的会议。
1925年1月30日，在孙中山的主持下，国民党正式做出了不参加善后会议的决定。1月31日，孙中山带病入京。在京期间，孙中山与李大钊等积极联络，发起召开了国民会议促进会全国代表大会，共同抵制善后会议。不幸的是，3月12日，孙中山溘然长逝。
噩耗传来，举国悲痛，北京政府也明令举行国葬。段祺瑞手下也多次劝段祺瑞出殡之日务必亲往哀悼，以缓解国民党方面的感情，段祺瑞表示要亲自到场进行主祭。谁知临到那一天，段祺瑞却以脚肿为由改变了主意，只是派代表前往。当时北京一家报纸曾讽刺说：“难道偌大的北京城，就找不到一双合适的靴子吗？”实际情况是这样的：安福系在段祺瑞面前撒谎说天安门前有可疑人物，欲对段祺瑞不利，段祺瑞于是临时改变了主意。
这时的段祺瑞如同坐在火山口上，中国人民反帝反封建反军阀的运动已进入高潮，这座火山随时随刻都可能爆发。
1926年初，冯玉祥和张作霖之间失和，又发生战争。3月初，张宗昌部在海军的配合下，从大沽口登陆，进逼天津。国民军鹿钟麟、孙岳亲赴前线督战，好不容易夺回失地。为了防止敌军从海上卷土重来，国民军封锁了大沽口，严禁任何船只出入，日本驱逐舰却公然向炮台守军开炮，国民军被迫还击，双方都有伤亡。事件发生后，签订《辛丑条约》的八国公使居然联合向北京政府发出最后通牒。
帝国主义的武装干涉和最后通牒再次激怒了中国人民。自3月13日起，北京又爆发了大规模的学潮。
3月18日下午，北京大学、高等师范学堂等十几所高等、中专学校学生，以及一部分工人群众，共约两千余人，在天安门前举行抗议集会。会后沿着东长安街、东单牌楼、米市大街、东四牌楼，然后进入铁狮子胡同门口，在执政府门前广场列队请愿，市民也赶来支持学生们的爱国行动。
执政府的卫队如临大敌，全副武装的士兵一层一层地围住大门。学生代表要求见执政段祺瑞，卫兵回答段祺瑞生病了，不在这里。学生代表又要求国务总理贾德耀接见，也被拒绝。正当群情激奋之际，执政府门楼的窗户里突然响起了几声清脆的枪声，示威群众还没弄清怎么回事，只见前排执木棍的士兵忽然向两边闪开，后排持枪士兵蜂拥而上，顿时枪声大作。
这次大惨案造成了46人死亡，150余人受伤。虽然到底是谁下令开枪至今仍不为所知，或许永远是个谜，但执政府的罪责难逃，段祺瑞的罪责难逃！这一天，1926年3月18日，被鲁迅称为“民国以来最黑暗的一天”。
“三？一八惨案”发生了，执政府已经丧尽民心，段祺瑞却不愿下台。3月下旬，冯玉祥因几面受敌，准备下令国民军放弃京津，向西北退却。鹿钟麟从北京撤退前，曾计划武装劫持段祺瑞。但段祺瑞门生故旧满天下，鹿钟麟的行动还没开始，消息就走漏了出去。4月9日，段祺瑞接到曾毓隽的条子，上面写着：“今夜鹿钟麟恐有举动，要发生事变。”
接着，段祺瑞的侄子段宏纲也从鹿钟麟手下的一位师长那里得到消息。大家都感到事情不妙，劝段祺瑞离家躲避。段祺瑞大发雷霆：“鹿钟麟他敢！他敢这样胡闹吗！我不走，来就同他打！”
晚上10时许，段宏纲打电话给国务总理贾德耀，发现电话线已被切断。事情紧迫，段祺瑞于是离家去东四八条胡同他的副官崔子良家中躲避。
国民军撤出北京后，局势更加混乱。段祺瑞已经无能为力，于4月20通电下野，回到天津。
段祺瑞下野后，住在日租界须磨街魏宗翰的公馆。段祺瑞生性不爱财，因而不敛财，没有什么家底，连合肥老家也无房产和地产，北京的公馆还是当年袁世凯赠送给他的。
段祺瑞家规很严，夫人和姨太太都不准干预公事。有一位姨太太想替一个老妈子的亲戚谋个差使，段祺瑞立即气歪了鼻子，厉声喝道：“好啊！你们要卖官怎么着？”合肥老家的人来京谋差使，他也不过招待他们住一段日子，四处玩，再给一些钱打发他们回去，胞弟段祺甫来京求大哥给找个官做，段祺瑞说：“你哪适合做官呢？给你一些钱，你还是回去做份买卖吧。”
为了节省开支，段祺瑞一改从不管家的习惯，亲自过目每日的账目。公馆规模也缩小了，厨房里只剩八九个人，当差打杂的加上看门的，不过十来个人，原来太太小姐们每人屋里三四个老妈子也压缩到一两个。
原配夫人过世后，段祺瑞娶了袁世凯的养女张氏为继妻，此外，他还有五位姨太太。大姨太病死于1914年，三姨太、四姨太先后被遣回家。
1930年2月，冯玉祥和阎锡山联合反蒋，日本人认为有机可乘，密谋策动“北洋派大同盟”，拥戴段祺瑞和吴佩孚为领袖，试图在华北制造混乱。在特务头子土肥原贤二的安排下，段祺瑞与溥仪在天津有过一次秘密会晤，但两人都很不愉快。事后有人问及，段祺瑞生气地说：“鄙人不才，忝为国家元首，这小子到今天还摆皇帝的臭架子，真是岂有此理！”
“九？一八”之后，日本扶持废帝溥仪在东北建立了伪满洲国，又企图利用段祺瑞的威望和影响，建立华北伪政权，这一动向引起了蒋介石的不安。自北伐以后，蒋介石就极力笼络段祺瑞。蒋介石还安排与段宏纲会晤，亲切地对段宏纲说：“我亦是保定陆军学堂学生，段先生是我的老师。我因公务繁忙，不能前往天津看望先生。”事后，蒋介石还派人送了两万元生活费给段祺瑞，以后又陆续送过几次。
1933年1月19日，交通银行董事长钱永铭受蒋介石之托，持蒋氏亲笔信去见段祺瑞。蒋介石在信中恳请段祺瑞“南下颐养”，以便随时请教。这时传来日本要劫持段祺瑞的消息，段祺瑞于是决定接受蒋介石的邀请南下，他对钱永铭说：“我已老，不中用了，如介石认为我南下于国事有益，我可以随时就道。”
1月21日凌晨，段祺瑞在吴光新、魏宗瀚、段宏纲的陪同下悄悄离开了天津。蒋介石对段祺瑞的到来十分重视，通令南京少将以上的军人过江到浦口车站迎接，他本人也亲往下关码头恭候。段祺瑞到达时，全副戎装的蒋介石立即迎上前敬礼，然后搀扶他下船。当晚，蒋介石设宴招待段祺瑞，南京的军政要员也都出席作陪。
1936年11月1日，段祺瑞因胃病又一次发作，出血不止，于次日晚在上海的医院去世，时年72岁。11月5日举行大殓，林森、居正、于右任、吴忠信、张治中均亲临吊唁。12月7日，移灵北京，暂厝西山卧佛寺后殿。1963年，移葬于香山附近万安公墓。
