在段公馆中的号簿上，也不断出现外国人的名字。但其中似乎没有美国人，英国人也很少，绝大多数都是日本人。这些日本人往往三五成群，有时一个人拿片子，而后面跟着一大堆。日本的外交官，什么小幡、重光的，都常来走走。而来得最频繁和段祺瑞关系最密切的一个日本人，叫做城口。城口不像一般日本人那么矮小，长得相当魁梧，而且说得一口流利的北京话，如果你不注意，很难看出他是日本人来。他总是一个人来见段，也不带翻译。见段之后，总和段个人密谈，也没有别的人在座。段祺瑞掌握政权的时代，曾向日本大量借款，购买日本军火，在军队里还聘用了若干日本教官，所以大家都说段祺瑞亲日。不过老段也有他的一套想法。他常说：“咱们对日本，也就是利用一时。这些借款，谁打算还他呀！到时候，瞪眼完了。”这是老段的如意算盘，而日本人那边，当然又有他的打算。这个城口大概就是奉他政府的使命，专做段祺瑞的工作的。他来北京，传达日本政府的意旨，同时了解段这方面的情况。段和日本政府的勾结，据我所知都是通过这个城口来联系的。他和段的关系，始终不断。到段死后，他在南门仓的公馆由日本驻军收购，给了40万块钱，由段遗族分配。这桩交易便是由城口经手的。
1916年6月，袁世凯死后，黎元洪继任大总统，段祺瑞当了国务总理。可是不久段跟黎闹翻了，他的脾气上来，干脆把纱帽一撂，搬到天津住起来了。公馆里上上下下大部分都跟着段祺瑞到天津，住在意租界二马路，府学胡同的公馆里只留下少数的人照料。段到天津以后，照样是下棋、打牌，可也免不了有人来找他，商量国家大事。究竟商量些什么，当然我们一点也不清楚。有一次隐隐约约听说，张勋进京，准备把中华民国的招牌取消，请前清的小皇帝重登宝座。就在那两天，我们看见段祺瑞面色阴沉，眉头紧皱。本来他就板着一张脸，轻易不见笑容，这一来，更显得阴森森的。我们都躲他远远的，怕他找着你发一顿脾气。
1917年6月里的一天晚上，梁启超突然来找他。两个人在里面秘密商量了好半天，就听说总理跟梁总长要出门。当天半夜，段和梁启超带着少数随从就离开了公馆，第二天才回来。我们虽然不知道他葫芦里卖的什么药，可是从他脸上望去，阴沉的面容，似乎有点开朗，眉头也松开了一点，不那么面孔铁紧了。
第二天我们就听说，段、梁二人乘坐专车到了马厂，见着第八师师长李长泰，和他一商量，就算决定了，要反对清室复辟，于是就发出一份通电，听说电文还是梁启超起的稿。当时段虽然不当总理了，可是各省的督军、师长，不是他的门生，就是他的旧部，所以这通电报发出以后，立刻得到全国的响应。于是段又折腾起来了，不到两个星期，就把张勋撵走了。事成以后，我听说段曾邀梁启超共事，梁没有就，说：“我只能给总理当个书记，写个稿子，别的事恐怕我担当不下来。”
张勋被撵走以后，段祺瑞又重回北京。这时黎元洪已经被张勋逼走了，当然不能再回来当总统。不知怎么，总统就落到冯国璋的头上。自从反对复辟以后，我们公馆里面对老段当然另是一番看法。有的就说：“还是老头儿有办法，上次一个电报，就叫清室让了位，把袁世凯捧上了大总统的宝座；这一回又是一个电报，撵走了张勋，取消了复辟，把冯国璋捧上了大总统的宝座。”这时社会上面当然也有许多人对段歌功颂德，说他是“再造共和”。
我进段公馆的时候，冯国璋还在南京当江苏督军，每回进京，都短不了到段公馆里来。我听说他和老段早年换过帖，老段见面就称呼他做三哥，两个人挺有个近乎劲儿。就拿公馆里的汽车说吧，连车子带司机都是这位老盟兄送的。在袁世凯准备当皇上的时候，老段曾和冯有电报往还，两个人采取了一致的行动，反对帝制。这次冯当了总统，段还当总理，都是北洋老人，又是盟兄盟弟，还能不密切合作吗？没想到，段的脾气个性，什么事都得他说了算。听说两个人都各有一套，捏不到一块儿去，冯国璋终于被段祺瑞逼走了。
冯国璋之后是徐世昌继任总统，段祺瑞仍是刚愎自用，到1920年终于发生了直皖战争。战争失败，大势已去，可是老段还住在公馆里不动。人们劝他避避风头，他坚决不听，他表示，听凭他们处理吧。当时公馆里面，上上下下，当然人心惶惶，但看老段沉住了气，我们想他一定心中有底，也就等着瞧吧。果然，战事结束以后，徐树铮、曾毓隽、李思浩、段芝贵等人，都被列为祸首，悬赏通缉，而对于老段却毫无伤损。不过，这一来，老段在北京是待不下去了，于是全家第二次搬到天津。这一回住的是日本租界寿街。
段祺瑞全家搬到天津以后，算是下野了，不能像在北京的时候一样，日常开支由陆军部之类的政府机关负担，如家里吃的粮食由陆军部领，棋手的费用由陆军部开支，现在都做不到了。生活方面，不得不稍加紧缩。公馆里的男女佣人，都裁去了一些。棋手也减少了几位，可是每天仍有人来陪他下棋。
他一天的生活，也没有很大的变化。除了上午已经没有衙门可上，早饭以后就看看书或会会客，午饭后休息起来仍旧是下棋、作诗，晚饭之后，还是打牌消遣。只是自从来到天津之后，老段开始吃斋念佛起来。他原来就一向是单开伙食，不和家里人一同进餐的，现在他开始吃素，家里面仍旧吃荤，请客时也用荤席，他自己专备两三样素菜。他平时最爱吃南方的豆豉，吃素之后，更成了每餐不可缺少的肴馔了。他吃素，可是吃鸡蛋。他专养了几只母鸡，没有公鸡，这样下的鸡蛋，据说是素的，可以吃。他在家里辟了一间佛堂，清晨起来，焚香诵经，成为他照例的功课，后来一直坚持下去，始终没有改变。
段祺瑞虽然吃斋念佛，但并没有做到四大皆空，看破红尘。他的学生、旧部每来公馆看他，常说现在国内遍地烽火，人民涂炭，长此以往，国将不国了。今后要收拾这盘残棋，使老百姓能过个太平日子，还非老师东山再起不可！他每逢听到这类恭维话，虽然嘴里不说什么，但那冷若冰霜的面孔上，也不禁多少露出一些笑容，可见这些话是打进他的心坎里去了。
这时每天来访的客人，在号簿上面仍旧不断出现日本人很绕嘴难记的名字，前面说过的城口，更是经常在公馆里出现。城口常来天津，一到天津，便住在段祺瑞的内弟吴光新家里。
1924年的秋天，直奉之间爆发了第二次战争，吴佩孚败退天津，没和段祺瑞见面，可是听说来过一封信。有人说：“吴小鬼到了十分的劲儿了，无路可走了，要求老头儿给援助一下。”后来又听说，段曾回了吴一封信，叫他离开天津，奔山东去。公馆里面有人说：“老头儿眼看吴小鬼掉在井里头了，小辫提一提，指给他一条明路。”有人就说：“上次直皖战争，老头儿失败了。吴佩孚通缉别人，没伤损老头儿一根毫毛，所以这时候老头儿也不能不关照他一下。”吴佩孚的粮食、弹药都在火车上，临走时不能带走，就在火车上贴了一个条子，“移交段督办”。
吴佩孚走后，北京政府实际上成了没有政府的局面。张作霖、冯玉祥先后都到天津来了，和段祺瑞见了几次面，开了几次会。听说，曾经打电报请广东的孙中山到北京来主持一切，不过，不知怎么，没等孙中山来到，就把段祺瑞捧了出来，当了北京政府的“临时执政”。正应了那些人所说的话，“东山再起”了。一时公馆里面喜气洋洋，大家纷纷收拾，准备跟随段祺瑞重回北京。
北京东直门内南门仓有块空地，叫做“空府”，大概在早年曾经是什么王侯的府邸，后来荒废下来，成了一片空地。当段祺瑞在京时便计划在那里修建一所公馆。那块地皮很大，需要的砖瓦很多，老段便自己开窑烧砖。有个叫魏延平的，懂得建筑工程，便委托他画图监工，在那里建了一所规模相当宏伟的大公馆。这所公馆前后有四个大院子，还有若干跨院。在东部有个不大不小的花园，里面有座小楼。后边还有座大花园，一进门有堆假山。通向花园有道小河，可以栽种荷花。这所宅子盖成后，段祺瑞还没有搬进去，就发生了战事，失败后，段即下野，到天津租界里做寓公去了。这次重回北京，虽然将执政府设在铁狮子胡同陆军部的旧址(今中国人民大学校舍)，但他的住宅便使用南门仓这所建成而没有住过的新公馆。他的住处在公馆的北部，东半边是马号，还住有卫队。那座小楼便成为他个人诵经的静室。他虽然又重新出山做了执政，却仍旧吃斋念佛，把静坐念经作为他的一项日课，每天一定坚持决不放松。住宅南部还有一处房子，便送给张夫人过继的兄弟张绪堂了。
修建南门仓公馆这笔款是哪里来的呢？原来是他的门生旧部大伙凑集起来的。听说是营长以上，每人一百二百多少不等，一总凑了40万块钱，才买下了这块地皮，盖成了这座公馆。
我随段祺瑞回到北京以后，仍旧在号房里工作，可是却给了我一个“执政府承启”的名义。这表示我已经不是他私人雇用的仆从，而是政府正式委用的人员，不必再偷偷摸摸地用“王杜计”名义，三人合领一份兵饷了。
段祺瑞这次重回北京，他一天的生活，仍然和过去一样，不过在早晨起床后增加了一项日课，到小楼上念经，然后用早饭，早饭后上执政府。中午回来午饭，午饭后，照例休息片刻，仍旧是下棋，或作诗。晚饭以后，仍旧是以打牌消遣。不过在他上执政府或从执政府回来的时候，事前就和地面上有联络，净了街。在他沿途经过的这一段马路上，军警布得满满的，三五步就是一个岗，断绝交通，要等他汽车走过以后，才将岗警撤去，恢复交通。这点威风，是他过去所没有的。
我在他公馆里这些年，很少见他出门拜客。这一次回京，当了执政，却听说他居然去拜过几回客。当然这个客人来历不小，不是寻常之辈了。细一打听，才知道是去拜会孙中山。原来在第二次直奉战争以后，段祺瑞与张作霖、冯玉祥邀请孙中山北上主持国家大计，可是等孙中山来到北京的时候，段祺瑞已经当了临时执政了。当时汪精卫跟随孙中山同来北京，也常来段公馆和段见面。我曾听说，有一次和汪见面时，不知为了一件什么事情，两人话不投机，愈说愈拧，段祺瑞挺不痛快，两个人很生了一回气。
我在号房里，仍然继续管着号簿登记的事。从号簿上面看来，每天来访的客人，比过去有多无少。不过在过去常来的客人中，有些人死去了，有些人踪迹较疏了，有些人因为几次战事彼此感情发生裂痕不再来往了。至于和段接近的那些人，如王揖唐、曾毓隽等等当然仍旧是段公馆里的常客。只有徐树铮听说到国外考察去了，一直没有在南门仓段公馆里露面。在现在这些亲信的客人中，和当年小徐一样，态度特别跋扈令人侧目的，就是梁鸿志。梁鸿志虽是文人，可是个性很强，什么话必得他说了算，很不愿意接受别人的意见。有一次为了一个文稿，和许世英争论得面红耳赤，最后还是依了梁鸿志的主意。我们在背后议论，梁鸿志是第二个徐树铮。
过去段祺瑞当国务总理的时候，因为独揽大权，所以和历任总统都搞不到一块儿。这一回当上了执政，总算是一国元首了，可以为所欲为施展一下个人的抱负了。哪里知道，满不是那么回事。因为段祺瑞这次“东山再起”，是张作霖和冯玉祥拥戴出来的。张、冯拥段，也并不是打心眼里乐意，不过是他两人各有私心，相持不下，只好请段出来先搭个桥罢了。不久张、冯因为争夺地盘，吵闹不休，段还得居间调停。所以段祺瑞虽然高高在上当了执政，也正如当年的黎元洪、徐世昌一样，不知生了多少闷气。
有一件事使老段动了真气，那就是徐树铮的遇害。
