在南京农都财源滚滚之时，北方的战局发生了很大的变化。
安史叛军除了开始一段时间攻城掠地，一路高歌之外，经过近二年的争锋已开始出现力不从心的迹象。先是叛军烧杀掳掠，纪律松懈了下来，结果遭到沿途老百姓和部分唐政府军的拼命抵抗，安史叛军受到挫折，内部矛盾重重。
郭子仪等大将领导的西北军在南方各路、各州的财力支持下，有效扼制了叛军的前进的步伐。这期间李隆基和徐来的南京农都的筹粮行动更是发挥了关键作用。
《西苑参考》昨天又登出了一则惊天喜讯——《贼军窝里反，安禄山小儿遭子擒杀！》数日后又传出唐军收复长安和洛阳的消息，一时天下为之振奋。
太上皇李隆基更是高兴的睡不着睡，“这下子联可以回长安了！”可是一想到贵妃的死和儿子的即位，又是彻夜不眠。
可是该来的还是要来，终于在冬天某个阴冷的早晨，长安特使进了太上皇李隆基的行宫。只不过这次来的是当年圣上李亨的贴身太监刘德，也是当年李隆基点名安排在太子身边的人物。
“奴才叩见太上皇，太上皇万岁万岁万万岁！”“是小德子啊，起来吧！尔等所来何事啊？”“启禀太上皇，圣上久不见太上皇甚是挂念。现在京都已光复，圣上特命小奴来接太上皇回京！”
“皇儿今年已四十有八了吧！”“太上皇圣明！”“皇儿还说了什么？”“圣上别的都没说，只吩咐小奴尽快请太上皇回京。”
“联身边还有些军队和一干老臣，皇儿有没有说打算怎么处置啊？”“回太上皇，圣上没有提过。”“尔等速速成将此事告之皇儿，待他有了明确处置办法时还来复我。现在大战刚刚有点起色，还需要大量粮草和军队……联也要准备准备，……啊……尔等先下去歇着吧！”
李德一退下，徐来便被李隆基叫到行宫密议。
“爱卿意下如何？”“这是太上皇的家事，小臣不敢妄议！”“好你个徐来，和联打起太极拳来啦！”与徐来相处久了，连英明的李隆基也开始注意到，徐来嘴里时不时蹦出的很多新名词，有时伴随一些招牌动作，这太极拳正史上是明代才出现的事物，这不大唐太宗皇帝现在也用上了！
“小臣以为圣上是对太上皇有想法！”徐来见李隆基对他点了点头，遂继续说道“圣上担心有四：一是太上皇现在身体还算硬朗；二是现在南方各道的主要官员都是太上皇当政时的老人，所以南方各道还是以太上皇马首是瞻；三是太上皇现在手上还有一支为数不少、且绝对忠于您的部队（包括我本人）；四是太上皇的南京农都筹集粮草的能力非常强大。这任何一点足以对当今天圣上构成威胁，太上皇在一天，圣上便不能有一天安稳。更何况现在战事还没到最后定局！”
“如果太上皇现在回到长安，小臣以为不是明智之举。如果圣上不念及亲情，只要略使手段太上皇便入彀中矣。到那时……”徐来还没把话说完，李隆基已抢过话头。
“到那时皇儿就能够做一个实实在在的皇帝的，手上有了南方各道雄厚的财力，把联的部队和南京农都又掌握在手中，打赢胡儿只是时间问题喽！胡儿一灭，皇儿便可高枕无忧了！端是打得好算盘啊。”
“可是联若不回去，那会寒了天下百姓的心啊！别说战事能否顺利，光是皇儿的猜测便会影响天下的大局。在南京的这两年联也常常在反省，如果联早点清醒，也不会让胡儿做大，断不会出现今日之局面。”
“那是胡儿狼子野心，非太上皇之过也！”
徐来心想早知今日何必当初，不过是胡儿的事，与杨玉环的乱伦、作用奸相也是大问题。可是老头子今天自己把话说了出来那就不一样了，做为身边的人这时要表现一下了，所以徐来说了两句。
“联心里全明白，爱卿不必宽慰联了。联之过也……”老头子两手拍案，泪如雨下。“联不为皇儿着想，也要为天下百姓着想、为李唐江山着想。否则联百年之后如何见李家列祖列宗啊……联一定要回去！”
“小臣愿亲送太上皇回上京！”徐来还真是被感动了一回。“小臣愿拿出白银五万两做太上皇行仪，另准备再献十万两另做为太上皇送给当今圣上的贺礼！”老头子一听激动的拉着徐来的胳膊说不出话来。
“太上皇，小臣还想把南京农都在上京开个分号，这样南京和上京联合起来为军队筹粮，一起支援平乱大军，方不负太上皇这一年多来的谆谆教诲，尽到做臣子的一片心意！还请太上皇成全。”说罢徐来跪拜在李隆基的面前。
新年之后，成都城下一彪人马缓缓开出。在他们身后则是跪拜一地的益州、南京大小官员，数万百姓更是夹道相送。
跟随着李隆基来成都避难的一千多军队在前面开道，李隆基坐在马车上对送行的官员和百姓挥手。徐来披了一身软甲，掉了根银枪，骑在马上不紧不慢地伴随在马车的一侧。那只流民整编的万人队衣甲鲜明的紧跟在身后。
这日傍晚大军来到马嵬驿，李隆基传令全军休整三日。翌日一早，老头子在徐来、高力士等近随陪同来到杨玉环的墓前。
老头子默默对着只有一杯黄土的贵妃葬身之处，徐来指挥众军士置棺改葬。当挖开土冢时，当年在宫中跳霓裳羽衣舞时以优美舞姿博得君王青睐的美人而今只剩下一堆骸骨，尸体已腐化，唯存所佩香囊还在。
“马嵬坡下泥土中，不见玉颜空死处；上穷碧落下黄泉，两处茫茫皆不见……”寒风中，徐来看见高力士递给李隆基一块锦帕。
等新坟安置妥当后，李隆基又要求在贵妃墓不远处加盖了一处庙堂以示纪念。万人队本来就是基建好手，被徐来发动起来后只用两日便整了一个有模有样的纪念堂。
回到长安后，李隆基立刻被安排住在城南的兴庆宫里。那一万的部队自然全部被收编，徐来将原先安排在万人队中的数百西苑之虎全数留在李隆基和自己的身边。
第二日，在李隆基的要求下老头子带着徐来还有几个老臣和唐肃宗见了一面。李隆基当着唐肃宗的面把徐来的所作所为吹得神乎其神。而唐肃宗对的南京农都和徐来送的十万两银子很感兴趣，于是顺水推舟地封了个徐来将作大匠，命他继续给大军筹集粮草。
徐来又将在上京开南京农都分号的事情简略说了一下，然后递了计划书。唐肃宗并没有马上答复徐来，而是说等等再看。
徐来第一次和唐肃宗见面就这么过了，从头到位还不到半个时辰，不过总的气氛还算不错。李隆基回兴庆宫。徐来虽然封了官但府地还没有分配下来，没地方去，于是在兴庆宫外临时找了个地方住下了。
将作大匠原先只是个掌管宫室修建、金玉珠翠犀象宝贝器皿的制作和纱罗缎匹的刺绣以及各种异样器用打造的官署。
秦称将作少府，汉景帝中六年（前１４４），改称将大匠。至唐朝时将作大匠已是从三品的高级官员，主掌土木工匠之政，基本专业对口，徐来还算满意。
隔了几日肃宗又单独把徐来宣进宫，具体商量在上京开设南京农都分号的提案。其他各项都通过，只是分号名称被取消被改成了“上京农都”，规划占地五百亩，只批给土地，给筹粮款，其他不管，战争结束后百分之五十的收入要入国库。
不过徐来有选择地块的权利，并争取到迁拆费用宫里承担。肃宗一看要掏钱，立刻下旨无偿征用，反正战乱过后有的是地方。
徐来自是满口答应。回到驿馆后，徐来开始忙碌起来。先是连夜安排人手，接着又命人把阿财、阿冠调了过来。
可是李隆基的日子却越来越不好过。肃宗本就对他老爹心怀猜忌，加上奸相李辅国的挑拨，从李隆基回长安后就对老头子更是冷漠少礼。
在肃宗的默许下，李辅国隔三差五的给李隆基穿小鞋，加快迫害老头子的步骤。李辅国先是将兴庆宫中的300匹马取走290匹，只留下10匹；接着将徐来安排在老头子身边的西苑之虎和其他侍卫充了军。
最后将老头子连骗带逼地转移到太极宫给监控起来了，又找了个由头把李隆基几十年的贴身宦官高力士流放到巫州（今湖南黔阳县）。
李隆基在这样的环境中，更觉寂寞，凄凉，他整日郁郁寡欢，连饭也越来越吃不下了。徐来偷偷来看过他几回，最后一次见到李隆基时，李隆基已认不清来人是谁，口角流涎，竟然将徐来当成唐肃宗，一口一个“亨儿”地叫，吓得徐来也不敢再来了。
上元三年（762年）四月五日，李隆基死在长安太极宫神龙殿，享年77岁。后人有诗形容李隆基的晚年生活：南内凄凉西内荒，淡云秋树满宫墙。
由来百代明天子，不肯将身做上皇！
注：南内指兴庆宫，西内指太极宫。
乾元二年，安禄山部将史思明率十三万大军大败唐军后，在邺城（河南安阳市）杀了安庆绪，自称大燕皇帝。
这一日早朝，唐肃宗在大殿上咆哮起来。因去江南八道调兵的使臣没有带回一兵一卒，其中去淮南的主要官员竟然被砍了脑袋。
“竟然公然杀害朝庭使臣！你们眼里还有没有联？来人，将淮南道节度使蒋芳推出去斩了！”大殿上闪出值殿校尉，拖着蒋芳就往外走。蒋芳此时却不惊不惧，嘴角甚至挂着冷笑。
前段时间，李亨假借册封太子之名把各道主要官员诓到上京观礼。观礼结束后遂把这些人留在的上京，美其名日早晚共议退敌之策。
此时殿内大臣一付事不关已的样子，各道节度使却是一付幸灾乐祸的表情，唯李辅国面带得意之色。徐来转出班列，三叩之后奏到：“请圣上刀下留人！臣有本奏！”
