订立这个盟约，颉利也是没有办法，主要原因有几点：
一是房玄龄、杜如晦派使者到突厥军营公布了大唐愿意倾尽府库钱粮让突厥人退出关中回到北方的消息，各部落酋长不损一兵一卒就能得到好处，就没有斗志了；
二是突利可汗一直态度暧昧，极有可能与李世民暗通，如果突利在这个时候翻脸，那么突利的几万大军就会在背后捅刀子；
三是李靖的大军已经到了关中，再联合关中各州府军队，李勣的并州军也不是吃素的，一旦二李的军队截断突厥军队的归路，事情就不好办了；
四是长安城内守军虽然只有几万人，但中原人平时一盘散沙，遇到危险时就会抱成团，据细作回报说长安城内居民不分日夜修补城墙，做好了殊死一战的准备，况且突厥人擅长骑兵战，攻打长安这样的坚城仍面临不少困难。
颉利可汗终于率领人马北归。唐朝在给了这次战争赔款后元气大伤。
5
李世民沉下心来，决心痛定思痛，开创一个新的时代。房玄龄作为他的首席高参，当然是夜以继日地工作。
房玄龄向李世民提出了四大方面的建议，大致如下：
一是彻底解决多年来威胁最大的突厥汗国，推荐由李靖挂帅，用几年时间平定北方草原。
二是重开科举，不问出身，选拔人才；合并州县，削减官吏，恢复生产，减轻百姓负担。
三是修订新的法令，改进以前不符合国家发展的制度，重视文教，奖励学术，修史正义。
四是推行积极的外交政策，重启汉代与西域通商的传统，为他国学子留学大唐创造条件。
总之，房玄龄主张吸取隋朝灭亡的惨痛教训，以开放的姿态建设国家。李世民也认为平定突厥是首要之务，因为历代以来都是北方草原部落威胁中原，五胡十六国差点让华夏文明断绝，不解决这件事其他事情都无法做到心无旁骛。
于是，他明里命李靖为刑部尚书，暗里派他挑选人马，秘密练兵；命房玄龄着手组织修订新的律令，同时兼修国史，选拔人才。
当时，主持政务的是尚书省。由于李世民曾当过尚书省最高长官尚书令，故他继位后避讳不设尚书令，而以尚书左、右仆射为实际长官。李世民当上皇帝后，前朝的老臣仍然任用，就任命萧瑀为尚书左仆射、封德彝为尚书右仆射。三省长官虽俱为宰相，但权力最大的是尚书左右仆射，均为从二品，而中书省长官中书令和门下省长官侍中均为正三品，品秩低了一级。特别是尚书左仆射，是货真价实的首相。因此，这两个位置可谓“一人之下、百官之上”，大凡当官的，把这两个位置看得比性命都重。
李世民继位后的第二年，改元贞观，气象一新。李世民当然想用已经很顺手的房玄龄和杜如晦，但萧、封二人本身挺能干，不便辞退。最主要的是，李世民继位时，对李渊作过承诺：只要前朝老臣不犯错误就不会罢免。
萧、封二人把持朝政，不把房、杜等出身寒微的人放在眼里。房玄龄性情宽厚，倒也不在意；杜如晦受不了，私下找房玄龄说：仁兄难道受得了这气吗？这两人一个鼻孔出气，咱们好多主张都实施不了。房玄龄说：克明不要着急，陛下也不喜欢他们两个，不过一时也不好把他们拿下来，因为他们没有明显的过失。
杜如晦决断力强，但若论出鬼点子，还是房玄龄厉害，就问有啥妙招。房玄龄说：第一步，先削弱二人的党徒。陛下不是同意精减官吏吗？而且要求咱们和辅机执行，我们就先清理一下那些占着茅坑不拉屎的官吏。
这一出为公也为私。李渊在位时，比较宽容臣下，因此重臣们都有拉拢门生、派生官吏的行为，造成官吏过多却不办事，仅中央政府和京兆的文武官员就有两千六百余人，可见权臣安插人手简直就是见缝插针。大唐给突厥赔款后，国库空虚，哪有钱养这些闲官？裁撤是必然的。
当时的吏部尚书是长孙无忌。这位国舅爷凭妹妹长孙皇后上位，自然被萧、封看不起，也深知妹夫李世民倚重房、杜二人，就与二人抱成团，开始从功绩、能力、派系考评官吏。经过长时间的筛查，京师文武官员只留六百四十三人，差不多削减了四分之三。
萧、封二相在这过程中，如同耗子进了风箱。想保门生故吏，保不住；想行使宰相实权，无从施展。但二人久历官场，始终不声不响，忍辱负重。
到了这个时候，房玄龄找杜如晦商议，认为萧、封二人在这么凶险的政治斗争中仍然没有什么尾巴让李世民抓住，的确是厉害的角色。房玄龄认为，要使二人犯错误，就得让他俩内斗才能出现裂痕。于是房、杜二人疏远萧瑀，亲近封德彝。老封为人深藏不露，此刻又到了晚年，百病缠身，只想善终，所以倒向房、杜这边。萧瑀每次与封德彝商量好的事，到了李世民面前老封就变卦了，让萧瑀吃了不少“苍蝇”，于是就秘密写信给李世民告老封，说他的坏话，又说房、杜二人的坏话。李世民十分生气，以萧瑀私怨太重离间宰相为由，让其回家休息。
不久，封德彝去世。左右仆射的位置就空了出来。但为避嫌，李世民直到贞观三年（公元629年）二月才任命房玄龄为尚书左仆射、杜如晦为尚书右仆射（实际工作在萧、封二人离职后就接手了），升尚书右丞魏徵为秘书监，参预朝政；兵部尚书的位置空缺后，李世民让李靖任兵部尚书、检校（代理）中书令。
房玄龄在没有当上首相前，锐意进取；但真正当上首相后，又极其谦虚谨慎，办事十分小心。他深知权力过大，容易引起忌妒，所以总是把工作分给尚书左丞、尚书右丞承担。每每遇到李世民批评他工作上的失误，他就一连数日当着众臣的面向李世民谢罪，一副战战兢兢、无地自容的样子。
卢夫人知道后，不解地问夫君：皇上对你恩宠有加，你又是首相，为何要那样呢？你看魏徵、王珪（时任侍中）等大臣都敢顶撞皇上，你这么大把年纪了，却像一个犯错的学生那样不停地道歉认错。满朝文武都认为你懦弱，情何以堪哪！
房玄龄说：夫人哪里知道朝堂的凶险。当今主上虽是千古明君，但说到底他是人不是神，对臣下仍然是有提防的。我位极人臣，定然会引起很多非议和诽谤，妒忌我的人实在太多了，所以就得如临深渊、如履薄冰，不能让主上感觉出丝毫野心，甚至把权力分给其他的宰臣，才能长久。所以我不停地给主上建议，让更多的人进入最高权力阶层议事，一来人多思虑周全，二来也避免我权力过大而犯错误。历史上很多宰相，独揽大权，最终的下场都不好，原因正是把事情都做绝了，让他人没有权位，所以最终必遭报复。杜如晦在世的时候，很多大事情主上都让我谋划，但决定事情往往又让杜如晦敲定；等杜如晦拿出方案，主上最后还是采纳我的意见。这些情况说明，主上是不想让我独揽大权，所以只可意会。如今，李靖、王珪、魏徵、温彦博等人都参议朝政，当他们与主上唱反调的时候，我得出来和稀泥，维护主上的权威与尊严。这是从大局着眼，个人的荣辱得失算得了什么。
卢夫人听了，叹息道：你们这些人也真不容易，累死累活，心中的苦也没地儿诉说。房玄龄说：夫人啊，任何光鲜的事物，背后一定深藏着不可告人的东西。这是官道之常。为夫走上这条路，理应如此，没什么好抱怨的。你看人家李靖，南平半壁，北灭突厥，功高震主，却把功劳都推给别人，不要任何封赏，装作很笨拙的样子，每每主上在朝堂上询问他的意见时，他总是嗫嚅着说不出话来。其实他身经百战从无败绩，处理政务又严谨细致，可谓文武全才，这样做就是不想给自己带来祸患。而像兵部尚书侯君集这样的人，锋芒太露，现在虽然得到主上的宠信，日久必然骄矜，不会有好下场。
卢夫人问：夫君与李靖为左右相，又与皇上私交很深，难道主上不知道你们故意装出笨拙的样子吗？如果你们真的很笨，主上就不会重用你们了。
房玄龄笑道：夫人只知其一，不知其二。主上当然是最了解我们这些臣下的。他这是驭臣有术啊。试想，像李靖这样千古罕见的大将军都唯唯诺诺，那些自恃有功的人就不敢骄横了。我呢，只能兢兢业业，严于律己宽以待人，不以自己的长处要求别人，尽量为主上选拔人才，做到大公，就可免除灾祸，为百姓造福。
卢夫人又问他朝中之事。房玄龄说：我执掌中枢，机密甚多。既然是机密，就连家里人也不能说，请夫人见谅。卢夫人便不再过问。卢夫人与长孙皇后交好，长孙皇后得知房玄龄连家人都保密后，叹道：玄龄真是一位贤臣。于是有心把太子李承乾托付给房玄龄。
待到长孙皇后因病即将离世，她对前来诀别的李世民说：玄龄侍奉陛下多年，小心翼翼，做事缜密，朝廷机密不曾有一丝泄露，如果没有大的过错，望陛下不要抛弃他。李世民非常疼爱这个女人，就答应了她的要求。从这一点上讲，房玄龄虽然没有明着去走后宫路线，但他的行为能让皇后临死前用遗言的形式为他说情，极为不易。
房玄龄当上首相后做的第二件大事（第一件大件是平定东突厥）是修订律法。修律是每个朝代都要进行的重要工作，但房玄龄修律，是以天下苍生为念，并不全是为了统治集团的利益，这一点在历代宰相中比较突出。他对李世民谏言，认为旧法过于苛刻，如兄弟之间，有一人谋反都要连坐处死，直系亲属也要发配流放。然而实情是，兄弟之间、亲属之间并不相关，只要没有参与谋反，以发配劳役稍加惩罚就可以了。此外，死刑的界定比较轻率，人死不能复生，还是要宽刑才能获得民心。李世民采纳了他的意见，让他着手拟订新的律令。
房玄龄主持修订的《贞观律》，以民为本，特别是在刑罚上与旧法区别甚大，删除了三分之二的酷刑，定律五百条，立刑名二十等，比隋律减掉死刑九十二条，减流放做劳役七十一条，删繁就简去除弊刑，改重为轻，不可胜数；又制定令一千五百九十多条，规范官吏的行为；删减武德以来敕格，确定留下七百条，颁行天下。在律令的推行下，天下实现了大治，作奸犯科的人大大减少，经济、文化得以复苏，出现了前所未有的欣荣景象。这些法令制度为唐朝奠定了底色，不仅延续了二百八十年，而且对后世的影响极其深远。
6
由于房玄龄推己及人，把很多功劳推给他人，所以这头老黄牛稳坐首相之位，封赏一直没有断绝。贞观九年（公元635年），房玄龄被加封开府仪同三司（从一品）；贞观十一年（公元637年），改封梁国公，与司空长孙无忌、卫国公李靖等十四人一起被封为世袭州刺史；贞观十三年（公元639年），又被任命为太子少师。
到了这时，房玄龄觉得皇恩过隆，就学李靖上表辞去尚书左仆射的职务。当然，其中有一层不能说破的原因，就是他在教太子李承乾的过程中，感觉太子虽算贤明，但子不类父，李世民已经有意无意地对太子不满。做太子的老师看似尊荣，但如果太子将来被废，他也要遭受株连。于是他想了个办法：向李世民建议请更好的老师教李承乾，并力辞宰相。
但李世民离不开他，批复说：选贤任能的关键，应以不存私心为根本；事奉国君的原则，应以当仁不让为美德。各个时代都靠这些弘扬教化，所有贤良都靠这些协调关系。你忠诚谦恭，正直厚道。天下混乱之时帮我谋划建立功业，玄武门事变之前帮我扫平登极道路。你为朝臣们树立了楷模，按法度处理政务；辅佐太子，声望成就都如此显著，不能找理由辞职。遂不准。房玄龄只得继续担当首相之职。对于太子的教导，李世民说可以让张玄素、魏徵、萧瑀等人多操操心，你有空时指导一下就行了。
房玄龄如释重负。太子有那么多老师，就算将来有变，也不用担心只怪罪自己了。
贞观十六年（公元642年），李世民提升房玄龄为司空（位列三公，正一品），仍然统管朝廷政务，主持编撰本朝历史。房玄龄再次请求辞职，李世民不准。而兵部尚书侯君集等人却努力想往宰相的位置上靠，最终煽动太子李承乾“谋反”，事泄被杀，李承乾被流放。
贞观十七年（公元643年），房玄龄与长孙无忌、杜如晦、魏徵、李靖等二十四人的画像被挂入凌烟阁。李世民认为房玄龄“才学兼擅文章书法，韬略至于出神入化；担任官职谨守节操，事奉国君忘掉自家”，这已经是极高的评价了。
贞观十八年（公元644年），李世民不顾众大臣的反对，调集天下兵马亲征高丽，命房玄龄守长安。战争旷日持久，李世民无功而返。当时，李世民对大臣们的疑心很重，让房玄龄全权代理他处理国事，是极大的信任。但房玄龄更加谨慎为事，因为李世民自贞观十七年魏徵去世以及遭受李承乾“谋反”等事件后，性情大变，经常迁怒臣下。有一件事可以说明房玄龄已经开始使用晏子的劝谏策略了：贞观二十一年（公元647年），李世民在终南山翠微宫休养，任命司农卿李纬为户部尚书。房玄龄这时留守长安，有个官员从长安来到翠微宫，李世民问他：房玄龄知道李纬担任户部尚书后有何看法？那个官员回答：房玄龄只是说李纬的胡须漂亮，再没说别的。李世民就明白房玄龄是说李纬没有实际才能，只是长得好看罢了，就改李纬为洛州刺史。
7
贞观二十二年（公元648年），房玄龄病重，最后上表进谏李世民，直言不讳地指出东征高丽是国家的忧患，得不偿失。表章写了一大篇，李世民看后决定停止征伐，并对女儿高阳公主（房玄龄的儿媳）说：亲家翁病危至此，还心忧国事，真是难得！
不久房玄龄逝世，终年七十岁。李世民停止臣子朝见，悼念三天，下诏追认房玄龄为太尉、并州都督，谥号文昭，赐予棺木，陪葬昭陵。房玄龄是古代少有的功成身不退、忍辱能负重、大道而无形的贤相。在唐太宗一朝，只有李靖的功绩可与之比肩。
