汉武帝儒家思想的形成，和他在太子时代接受的教育是分不开的，卫绾对他造成了很大的影响。
建陵侯卫绾，在汉文帝时最初为郎官，后来被提升为中郎将，为人忠厚谨慎，以耿直闻名于朝廷。景帝做太子时，宴请文帝身边的近臣和侍从，只有卫绾称病不到，刘启不但没有因为他的怠慢而生气，反而对他不肯趋炎附势的态度十分赞赏和尊敬。
刘启即位之后，发现卫绾行事谨慎、尽职尽责，一年多的时间里工作上没有出过任何纰漏。景帝一次去上林苑游玩时，请卫绾与自己同乘一辆车。景帝问卫绾是否知道自己为何能享受如此待遇？
卫绾答道：“臣本无才得，蒙先帝垂爱，将臣提升为中郎将；如今又蒙皇帝厚爱，臣不知原因何在，请陛下解惑。”
景帝笑道：“朕再问你，当初朕为太子时你为何不肯出席宴饮？”
卫绾回答：“臣有罪，那次臣真的抱病在身。”
景帝赞赏道：“先帝曾告诉朕，中郎将敦厚可靠，是可倚靠之人，现在看来确实如此。”于是就赏赐给卫绾一把宝剑，没想到卫绾拒绝接受。
景帝问他原因，卫绾答道：“先帝曾经赐给臣六把剑，臣不敢再接受陛下的赏赐了。”景帝很是惊讶，“朝中的大臣们得到皇帝赏赐的宝剑后或转送他人以炫耀，或者用来买房置地，难道你还一直保存着这些剑？”
卫绾答道：“臣将六把宝剑珍藏至今。”景帝之后派人去卫绾家里取来那六把宝剑，每一把都完好如初地保存在剑鞘之中，未曾使用过，汉景帝从此更加敬重卫绾。
卫绾为官宽厚，他的下属如果犯了错，卫绾不但不惩罚他，反而经常代他们受过。如果得到了奖赏，卫绾则会谦让给他人，因此卫绾在官员中很有口碑。景帝认为他有君子风范，又对朝廷忠心耿耿，便封他做了河间王刘德的太傅。
卫绾崇尚儒学，这一点也深深地影响了河间王刘德。刘德在卫绾的影响下，热爱儒家思想，并热衷于研究儒学。刘德经常派人在民间寻访儒家的古籍善本，用重金购得真本之后，请人誊写再把誊写本送给原书主人。刘德推崇儒学、爱好古籍的名声传到了四面八方，因此很多治学之人和家里有古籍真本的人都来到河间王府，将自己珍藏的古籍献给刘德，刘德所藏的书籍数量甚至达到了朝廷藏书的数量。在收集先秦书籍之外，刘德还非常重视礼乐教化，他的衣着服饰和言行举止都追随儒者的风范，山东有很多的儒生都自愿归附于他的门下，刘德为儒学的复兴作出了一定的贡献。
吴楚七国之乱时，卫绾被任命为将军，并率领河间的军队参与了平叛七国叛乱的战争，作战有功被任命为中尉，几年后被加封为建陵侯。后来，景帝因为废太子刘荣，派人查办栗氏族人，由于卫绾忠厚老实不适合办这件事，景帝便赐他回乡修养，将这件事交给了“苍鹰”郅都。栗氏族人查办完毕之后，景帝便下诏册立当时的胶东王刘彻为太子。
为太子选择老师一事让景帝煞费苦心。他看到汉初休养生息的政策确实使社会经济得到了恢复和发展，然而他也明白这繁荣景象的背后，仍然潜藏着各种危机。这些威胁着汉朝统治的问题，单靠黄老“清静无为”的政策是不可能彻底解决的，而社会上流行的新儒学所提倡的有为进取的思想似乎更适应如今的时事。于是在一番考虑之后，景帝决定分别请信奉儒学的卫绾和遵从黄老的汲黯来担任太子的师傅。景帝的这个选择可谓用心良苦，让儒家和道家平分秋色，一是为了避免与黄老的忠实捍卫者窦太后产生冲突；二是希望太子能够学习儒道两家学说之长，并融会贯通，运用在治国之道中，从而解决社会上的各种问题，以保大汉王朝长治久安。
卫绾被召回朝廷之后先去拜见景帝，并向皇帝告罪，说自己这段时间未能为皇帝分忧。景帝说道：“朕让你回乡是不想让你这样一个忠厚的人卷入是非中，这次让你回朝，是为了让你做太子的老师。”卫绾听后立刻磕头谢恩，皇帝说道：“免礼，快快请起。朕思来想去，太子太傅之职非你莫属。你是两朝老臣，对汉朝社会历史有着很深刻的了解，也肯定知道我大汉内政外交上面临的诸多问题。而汉朝的未来把握在太子手中，只有太子强大了，才能使大汉强大，你一定要教会太子为君、用人、治国之道。朕把太子交给你了，请师傅多多费心啊！”
卫绾对景帝的信任和倚重非常感动，于是更加尽心尽力地教导太子，不敢有丝毫怠慢。卫绾用儒家的观点教育太子如何做君主，如何用人。
儒家认为，君王治理国家的重点在于修身正心，只有这样才能使法令得到真正的施行。君王在与人结交时必须要选择有德行的人，舜就受到许由、伯阳的影响，禹则受到皋陶、伯益的影响，商汤受到仲虺的影响，周武王受到太公周公的影响。这四个君王因为受到了良好的影响，成了贤明的君主。而夏桀、殷纣王、周厉王、周幽王则由于受到了不好的影响，最后落得国破身亡的下场。卫绾还教导太子，君主需要善用人才，亲贤远佞。齐桓公重用管仲和鲍叔牙，才得以成就霸业；越王勾践信任范蠡和文种，最终得以灭掉吴王夫差，儒家认为应当“修身、齐家、治国、平天下”。
让卫绾感到惊讶而又欣慰的是，太子对很多问题的看法都非常成熟，不像是这个年纪的孩子能达到的深度。一次太子对卫绾说道：“师傅我跟随您学了儒家思想，也跟着汲黯师傅学到了黄老之学，我认为这两种思想虽然在治国方法上有不同的见解，但其实它们在很多方面都有相同之处。例如儒道二家都认为君主应该将人民的利益放在自己之上，还有身、家、国、天下的治理策略也是一样的。我认为，如果将儒家和道家的治国思想结合起来运用，便能使天下太平，国家兴旺。”
在卫绾和汲黯的悉心教导下，几年之后太子刘彻就已经能够临朝监国了，景帝又升迁卫绾为御史大夫。然而景帝的身体越来越虚弱，他决定调整朝廷内部的人事格局，为太子的登基做好准备，于是景帝就任命敦厚耿直、忠心耿耿的卫绾做了丞相。
景帝病故之后，太子刘彻即位，为汉武帝。由于多年来的悉心教导，汉武帝已经对卫绾产生了深厚的师徒之情，因此刘彻虽然做了皇帝，仍然十分敬重卫绾，在处理朝政时经常听从卫绾的建议。这一点引起了窦太后的不满，当年在立储一事上，窦太后就与卫绾结下了仇怨。
当年刘荣被废后，窦太后的借口是其他皇子都年幼，想要立自己的儿子梁王刘武为储君，卫绾带头表示反对。当时卫绾直言不讳地说道：“大汉建立之始，高皇帝便定下规制，皇位必须父子相继，岂能随意破坏祖制。何况自古英雄出少年，年少的太子正是我大汉的希望。”窦太后想起当年的一幕幕情景，更加怒火中烧，她下定决心要将卫绾从皇帝身边除去。
卫绾是一个性情温和、行事谨慎、谦逊内敛，与世无争的人，虽然得到历代皇帝的厚爱，但仍然低调谦虚，毫不张扬。如今初登帝位的汉武帝，发奋图强、励精图治，想要干出一番大事业，卫绾作为丞相应当尽心辅佐，他决定不再碍于窦太后，而有所忌讳，决定直言进谏。他建议武帝在全国范围内广纳贤士。武帝听从他的建议，在天下广召贤良方正、德才兼备之人，一时间全国各地道、儒、法诸家的学子都聚集到长安城内，等待着皇帝的任用。
随后，卫绾又上奏，建议武帝将所举贤良之中，罢去申、韩、苏、张之言。
朝中大臣被卫绾此举惊得瞠目结舌，卫绾一直谨小慎微，今日却一反常态说出这样的言论实在令人惊讶。
庄青翟在下朝之后立刻去向窦太后通报，窦太后听后大发雷霆，认为这是在动摇黄老之学的地位，罪不可赦。
庄青翟也信奉黄老之学，因此他也认为卫绾所提的建议，其实就是想要废除黄老之学的统治地位，打击信奉黄老的官员和大臣，这样一来他们这些大臣在朝中的权力利益就受到了削弱。因此庄青翟又向窦太后进了一些谗言，想要促使窦太后对卫绾进行制裁。
窦太后深知卫绾这句话的用意，她当然希望能够像诛杀晁错那样除去卫绾，但是理智使她认识到不能这样做。如果杀死卫绾，自己和汉武帝的关系就会陷入僵局，而且卫绾是三朝老臣，在朝中大臣们心中颇有威望，这样做恐怕不能服众。窦太后左思右想，最终决定使卫绾远离朝廷。随后，窦太后找机会与汉武帝谈话，巧逼汉武帝将卫绾的丞相之职罢免，并加封他五千户回乡养老。
丞相卫绾就这样被窦太后于谈笑之间罢免了，汉武帝又急又气，觉得自己皇帝的尊严受到了侮辱，于是就跑到母后王太后那里发泄心中的愤懑。由于盛怒武帝忘掉了应有的礼节，一进门就大声说道：“这官里到底是朕这个皇帝说了算，还是太皇太后说了算？她凭什么随便罢免了卫丞相的职位？朕早晚要好好惩治朝廷中那些搬弄是非的势利小人！”
王太后十分平静地劝解武帝道：“皇帝年纪还小，需要太皇太后的扶持。太皇太后也是为了江山社稷才这么做的，不要轻易忤逆她，不然她生气了可就麻烦了。所以皇上最好不要任性妄为，能忍的最好就忍，等你长大了一切当然由你说了算。”武帝听母亲这样一说，也知道现在自己怎么生气也是无济于事，只能在心里暗下决心。
卫绾在上奏建议皇帝废除诸家学说的时候，就做好了心理准备，可是几天过去了，他没有得到窦太后的任何反应。这天武帝的母亲王太后召卫绾进见，卫绾便从王太后那里知道了事情的原委，为了不为难皇帝，便自己主动提出了辞呈。卫绾还劝武帝不要忤逆太皇太后：“太皇太后为黄老之学是尊，对儒学非常反感。皇帝不要因为老臣与太皇太后闹翻，否则不好收场，此时只有老臣主动请退，才能让太皇太后安心，这样一来皇帝也有更大的空间能去干大事。再说，皇帝年纪还轻，来日方长，臣年事已高，不能继续侍奉皇帝了！”于是，武帝下诏，免除卫绾丞相之职，就这样窦太后又扫除了一名黄老之学的反对者。
