生逢乱世房家是一个世代官宦之家。房玄龄的曾祖和祖父在北魏、北齐为官，父亲房彦谦，是一位饱学之士，所交往的知交王邵、李纲、柳彧等人，『皆一时知名雅澹之士』。隋代著名文学家薛道衡，也十分敬重房彦谦的为人，经常与他书翰往来，每当薛出差外地，只要途经彦谦处，必然流连数日。
公元579年的秋天，这一年是北周大象元年，北周的齐州临淄（今山东淄博）城里有一户世代为官的房姓人家，生下一个男婴，他就是房玄龄。
喜得贵子者名叫房彦谦，是房家七子中最末一个。房彦谦已是三十四岁的中年人，半生为吏，迁来徙往，五年前成的亲，直到今天才有了第一个孩子，一家人格外欢喜。
孩子满月之日，房彦谦怀抱儿子端坐在上房高桌前，诸位兄嫂甥侄都过来问贺。叔父房豹便说：
“我们房家一向以诗礼薪传，今天孩子满月了，给他命个什么字为好？”
房彦谦便笑着将怀中孩儿交与夫人，去书案上取过一张纸来。众人见那纸上写了五个字，其中“清渠”与“荫如”已被勾掉，剩下巴掌大的一个“乔”字。原来房彦谦已然想好了，便说：
“《说文》上说，乔木‘高而曲也’。《诗经·小雅》有云：‘出自幽谷，迁于乔木’。就叫乔吧。”
房豹不由点头称许，众人也都说这个“乔”字命得好。
房家是一个世代官宦之家。房玄龄的曾祖和祖父在北魏、北齐为官。其父房彦谦，是一位饱学之士，所交往的知交王邵、李纲、柳彧等人，“皆一时知名雅澹之士”。隋代著名文学家薛道衡，也十分敬重房彦谦的为人，经常与他书翰往来。每当薛出差外地，只要途经彦谦处，必然流连数日，洒泪而别。
房彦谦具有清醒的政治头脑，他虽曾连任北齐和隋朝的中级地方官吏，但对魏、齐、周、隋之间的长期政治动乱，十分厌倦，所以在隋文帝代周以后，曾想“优游乡曲”，再也不出仕做官。被迫接受隋王朝的任命后，也绝不阿谀权贵，对看不顺眼的事大胆提出自己的政治见解，曾经尖锐地向当时权重一时的宰相高熲和负责宫廷建筑的张衡提出：对吏治要严于管理，对“穷极侈丽”的建筑，要立刻停止，间接地也对隋炀帝的好大喜功、浪费民力提出谏劝。在他出仕几任地方官时，对老百姓厚加慰抚，施行善政，以致被当地人民“号为慈父”。房彦谦对隋炀帝的必将覆亡，早有预感，曾对他的朋友说：“主上（指炀帝）性多忌刻，不听意见，唯行苛酷之政。别看现在天下尚安，必有危乱。”
房玄龄出身于这样的家庭，耳濡目染，颇传其父遗风。他自小爱好文学，广闻博览，又向父亲学得一手好书法，善诗能文，精通儒家经书，可以称得上当时的一位全才。房玄龄无论在政治思想方面和道德品质方面，都是封建时代的楷模。他政治上酷肖其父，也十分敏感。隋炀帝大业年间，隋王朝还正在兴旺时期，表面上“天下宁晏”，大家都以为“国祚方永”（国运长久），而青年的房玄龄却早看出不可克服的弊端和国家覆亡的征兆。
一天，他对父亲说：隋朝本无功德，只不过欺骗百姓，现在又在皇位方面互相倾夺（指隋炀帝与其兄杨勇、弟杨谅之间的皇位之争），贵族们“竞相淫侈”。这样的王朝终归要矛盾百出，“内相诛夷”，其灭亡是跷足可待的。
房彦谦见小小年纪的儿子竟然有这样一番超人的见识，不禁大为惊奇。
房玄龄对于长辈恪守孝道，他的父亲长期卧病不起，他“绵历十旬”（绵延一百天），尽心服侍药膳，没有脱过衣服睡觉。他对继母也颇能尽孝，史称其对继母“恭谨过人”，继母病了，请医生过门，他“必迎拜垂泣”。继母病死，他伤心到不思饮食、骨瘦如柴的程度。
房玄龄的品德和文才受到了当时人的高度赞赏，主管人事的隋朝吏部侍郎高孝基对人评价他说：“我看人看得多了，从来未见到这样的年轻人，将来一定会成为了不起的人。”
