高祖性情俭朴,不曾经常享受声乐美色甘味,每次从官府回家,必召集幕僚宾客讨论民间利害和刑律政治上的得失,明了而难犯过错,事情大多亲自裁决。曾经有一店铺妇人与一士兵打官司,妇人说:“我在门口暴晒的粟米,被他的马吃掉了。”然而那士兵则恳切申辩,但没有办法使自己清白。高祖对审问的官吏说:“两人讼词不能分辨,凭什么裁决?杀掉马剖开马肠,看里面有没有粟米,如果有,则诛杀兵士,如果没有,则处死妇人。”于是杀马剖肠,马肠里没有粟米,因此杀了那妇人。治区内人民因此肃然。三月,调任镇守常山,经他治理的方镇,都以孝道为先,看到民间有父母在世而兄弟分居的人,必依法处死。勤于政事,官衙没有滞留的诉讼案子。常山的属邑九门,有人把土地卖给分居了的兄长,价格谈不好,于是转卖给他人。那人要他兄长帮助订立契约,兄长坚持压低土地价格,因而诉讼到县令那里,县令认为弟兄都不仁义,送到了府衙。高祖说:“人之不仁,是由于州里长官我才到,教化还没有达到,我很是惭愧啊。如从大道理上讲,兄长要良田,弟弟求好价,顺应弟弟是正确的,阻止弟弟是错误的。兄长更不仁义,应该重重鞭笞,用高价买田的人应得到那块土地。”官吏百姓都佩服他的明察。
到岐阳发生兵变,推举潞王为天子,闵帝急令高祖奔赴京都,打算将国家命运托付与他。闵帝从洛阳逃往卫州,与高祖在途中相遇,于是一起进入卫州。当时闵帝近臣将对高祖采取不利行动,高祖察觉到了,因而抓获了随从闵帝的100多骑兵。闵帝知道事情不成与高祖长恸而别,高祖派刺史王弘贽安置闵帝在公家的房舍后就离去了,不久,闵帝被潞王杀害,高祖后来为此常感内疚。
末帝清泰元年(公元934年)五月,又任高祖为太原节度使、北京留守,充大同、振武、彰国、威塞等军蕃汉马步总管。清泰二年(公元935年)夏天,高祖把军队驻扎在忻州,朝廷派遣使者送来夏季服装,传达了抚慰三军的诏谕,军人立即多次山呼万岁,高祖恐惧,诛杀挟马将李晖以下30多人示众,才制止下来。
三年(公元936年)五月,改任郓州节度使,进封赵国公,又改赐扶天启运中正功臣名号。接着降诏催促高祖前往郓州就任,高祖怀疑这件事,于是召集幕僚们商议说:“我第二次接受太原节度使的那天,皇上当面宣布说:‘让你掌管北方边塞大门,一生不再除官改任。’现在忽然下达这道命令,莫不是因为去年忻州被乱军逼迫,事后猜疑吗?又今年千春节,公主入宫觐见皇上,告辞之时,皇上对公主说:‘你归心如此之急,想与石郎谋反吗?’怀疑我的迹象,确凿而明显了。如今皇上任用妻党,委权邪僻之臣,沉湎于荒淫惑乱之中,各种政务停废堆积,不灭亡还等待什么!我从顺应年间少主出奔那天起,就看出人心已去,不能扶正危难挽住倾覆,心中已烦闷3年。如今我没有异心,而朝廷自启祸端,我不能安然死在路途中。何况太原是个险要坚固的地方,储积的粮食又非常多,如果还能宽容我,我自当尊奉朝廷,如果一定要以兵相逼,我就向外告诉邻邦,向北联合强敌,谁胜谁败,昭然如同天日。现我想上表推说有病,以此等候朝廷的意见,大家认为怎么样?”掌管文书的桑维翰、都押衙刘知远赞成密计,于是拒绝了末帝的命令,朝廷以高祖不奉命行事,立即诏令晋州剌史、北面副招讨使张敬达率军把高祖围困在晋阳。高祖马上命令桑维翰到各地请求援救,契丹派人回信答应他,约定中秋救助。
六月,北方招收指挥使安重荣率领他的部下几千人进入晋阳城。七月,代州屯将安元信率领一支军队与西北面先锋指挥使安审信率领的500骑兵一起到达。八月,怀州彰德军派张万迪等人分别率领1000多骑兵来投降。这个月里,城外围军进攻得非常激烈,高祖亲自抵挡飞箭流石,人心虽然坚定,但粮食困乏。
九月十五日,契丹国主率领大军从雁门入关向南进发,旌旗骑兵连延不断长达50余里,先派人向高祖报告说:“我想今天就攻破敌寇,可以吗?”高祖派人急驰禀告契丹国主:“皇帝亲自奔赴拯救危难,很快就要成功,敌寇的势力非常强大,可等到明天早晨沉着审慎地商讨战事,还不算迟。”高祖使者没有到达,契丹已与南军骑将高行周、符彦卿等交战。当时。张敬达、杨光远在西山下摆开阵势,士兵没来得及排列成行,高行周、符彦卿就被埋伏的军队切断,他们丢下军队往后撤退,张敬达等的步兵大败,战死万人。当夜,高祖出北门与契丹国主会见,契丹国主握住高祖的手说:“相见恨晚。”于是议定了契丹国主为义父、高祖为义子的名份。第二天,高祖与契丹军队包围张敬达营寨,南方后唐的军队不能再出击了。高祖与契丹国原本未曾结盟友善,自从唐末帝强加威逼之后,高祖才派心腹何福前往通好,契丹国主不说二话,亲自奔赴救援,快捷有如奔电,真是天意啊!二十三日,唐末帝率领3万步、骑亲军出征驻扎在河桥。二十五日,末帝诏命枢密使赵延寿分率2万士兵担任北面诏讨使,又诏令魏博节度使范延光率领所辖2万士兵驻守辽州。十月,幽州节度使赵德钧率领所辖1万多人从上党吴儿谷会合赵延寿军队驻守团谷口,此地与张敬达营寨相隔百里,一个月竟然打不通。
十一月,契丹国主与高祖在营帐相会时,对高祖说:“我远奔3000里救援,大事必期成功,看你体魄仪容健壮魁伟,见识深刻,气量宏大,实是一国的君主啊。天命有所属托,时机不可丧失,我想顺从蕃汉诸将的建议,册封你为天子。”高祖回避推让。接着,各路军队不断劝说请求,才下令在晋阳城的南面修筑祭坛,册立为大晋皇帝,契丹国主解下自己的衣冠授给高祖。
当初后梁建国的那一年,就是唐哀帝天祐四年(公元907年),潞州行营使李思安上奏:“壶关县庶穰乡的人砍伐树木,树倒下时自己分成两片,其中有以下六个字:‘天十四载石进’。”后梁太祖下令藏于武库,然而没有谁能弄清它的意思,到高祖继位为皇帝时,知道那件事的人说:“拿‘四’字中的两画加在‘天’字上,就是‘丙’字,‘四’字除去中间的两画,再加上‘十’字,就是‘申’字。”高祖称帝的时间正好是丙申年。另外,《易经》上说:“晋,的意思是‘进’。”国号叫“大晋”,都像符契一样相合。又,唐末帝是真定常山人,有他的祖先留下的旧房舍,房舍旁边古代的佛教塔刹,中有石像,有一天突然不停地摇动,人们都感到很奇怪。等到重重包围晋阳时,高祖派心腹何福乘快马向北蕃契丹请求援救。契丹国主亲自率领各部前来援救,不用丝绸绢帛,不用珠宝金玉,像回声响应一样。契丹国主对何福说:“我已经从梦中得到了征兆,上天命我如此,不是我的意思。”当救援的军队没有到达,伪将张敬达率领大军迫近城墙设立栅栏,围城栅栏将要建成的时候,忽起大风,下起暴雨,无法建栅。后来,又修筑长长的城墙,城墙虽已修成,但又被积雨毁坏,城墙最终还是没有完全合拢。晋阳有个北宫,宫城的上面有个叫做毗沙门天王的祠庙,高祖曾经焚香修建并默默地向它祈祷。几天后,城的西北门外的曲墙正好是受到敌人攻击的地方,军队值哨的人报告说,夜晚有一个长一丈多的人,披金甲执长枪,在城楼上行走,很久才消失,高祖心里对此感到奇怪。又,高祖住宅的第三重城有个叫做崇福的佛教寺院,寺院厢房下面的西北角有个泥做的神像,忽然有一天,神像的头部有烟升起,那烟腾跃上升有如烟囱的形状。寺院的僧侣奔跑前去救火,以为是人为的火种蔓延过来的,等到仔细察看,又什么也没有,这事马上传到了高祖那里,高祖召唤僧侣中佛性高超的人询问这件事。僧人说:“贫僧我看见庄宗将要夺取天下的时候,曾经出现过这种烟气,观察这次烟气的喷发涌吐,比庄宗当时的还要厉害,征兆自然可以理解了。”这天起,太阳的旁边拥集众多的五色云气,像莲花的形状。高祖召唤占卜的人来观察天象,对占卜的人说:“这个效验对应的是谁呢?”占卜的人说:“看见这种天象的地方是吉祥的,还能应谁呢?”高祖每天早晨派人慰问安抚防守城墙的士兵,习以为常,忽然一天晚上天已经黑了,城墙上方有发号司令的声音,声音不停地叫了三次,高祖使人询问这件事,将官说:“是从天上传来的。”都知道这是神灵在暗中帮助。当时城里又有几户人家的井水泉眼猛涨,外溢不停。等到蕃军大部队到来,联合各部武装攻击后唐军队,末帝的军队就象被摧拉的朽木一样,这是天意使它那样,不是人的力量。
这一天,高祖对契丹国主说,愿将雁门以北到幽州的地盘敬献给契丹国主祝寿,又约定每年输送丝帛30万匹,契丹国主答应了。