两个多月之后，秋风已起，在未央宫宣室殿外高高的门阙下，大将军卫青看到了自己多日不见的外甥，他们今天同被大汉的皇帝陛下召见。
事实上，封侯之后，霍去病根本没有在长安城里露面。他直接以练兵为由住在了城外的军营，如果不是这次皇帝宣召，今天也不会回城。由于是从营中直接赶来的，他仍然身着戎装，只不过不是重甲，而是皮质的轻甲，更衬得人神采奕奕。
卫青欣赏地打量了一眼自己的外甥，虽然没见面的时间并不算太长，但是如同从前每次一样，他觉得这个外甥又有了变化。面庞还是非常俊秀，身姿还是非常挺拔，但眉宇间的神色更加成熟了。他心中明白，外甥这次耀眼的军功和陡然的封侯，带给长安城里所有人的冲击都是巨大的，有人震撼、有人仰慕，也有人议论、有人不平......很多人的心态都因之发生了变化，每个人再次见到这个年轻人时都要重新调整自己的态度。
霍去病此前也早已闻名长安城，但那是因为他是皇后和大将军的外甥，是备受天子宠爱的晚辈，是因为他外表英俊、骑术精湛、武艺高超，蹴鞠本领也在贵戚公子中首屈一指，曾在长安城里出尽了风头。何况他一从军就被破格任命为票姚校尉，当时对这种裙带任命的贬抑之词也曾经大行其道，也让他的知名度更高了。而这一战之后，那些风头也好、风凉话也好，都已经不算什么了，很多人已经意识到，一颗新的将星冉冉升起了。
在这种局面下，主角本人选择了匿迹军营之中，不失为一条上策，也符合他那个一向颇为高傲的性情。今天天子宣召，他才不得不来，好在到目前为止，长安城里最初的冲击已经基本上平复了。
外甥这个高傲中又带有些桀骜不驯的性格，卫青自然知道得很清楚，因为对方从小就是他看着长大的。
卫青的出身十分卑贱，他的母亲是平阳公主府中的女仆，他则是个私生子，亲生父亲另有家室，他从小不被接纳，只得跟随母亲在平阳府为奴。当今皇后卫子夫，是卫青同母异父的三姐，曾是平阳府里的歌伎；霍去病的母亲卫少儿，则是卫青同母异父的二姐，原本是平阳府里的舞伎。卫少儿年仅十六岁时，与来自平阳县的一个姓霍的小吏有了私情，后来生下了霍去病，然而人家却没有打算娶她，而是不辞而别了，所以霍去病出生时，也是一个出身低下而且不光彩的私生子。
但在霍去病一岁多的时候，卫氏一门的命运出现了巨大的转折，天子在平阳公主的安排下遇到了卫子夫，带回了宫中，到他三岁的时候，姨母卫子夫已然是盛宠在身的卫夫人了。当时卫青被任命为建章监，卫少儿也被指婚给了詹事陈掌——陈掌乃是开国元勋陈平之后，赫赫世家大族，虽然娶了卫少儿，却没有明确地说要接纳这个小拖油瓶，所以霍去病仍然姓霍，并没有改姓陈。
像世间所有既没有父系亲族的庇护、又没有跟着母亲再嫁的孩子一样，小霍去病的大多数时间是住在外婆和舅父家里的。他一共有四个舅父，其中与他的母亲同父同母的只有大舅父，按照风俗老人与长子同住，所以霍去病的外婆家，也就是他的大舅家。虽然身边没有父母，但他并不是个没有人疼的孩子，他在外婆家里得到了足够的照顾和宠爱。
他们当时是个热闹的大家庭，底下的三个舅舅都还没有结婚，都住在一起，舅舅们都待他不错，而且这一家作为天子宠妃的娘家，生活也称得上是锦衣玉食，小霍去病的吃穿用度，一切物质条件都是很优越的。
然而，在这个外戚之家里面，还是欠缺了一种文化氛围。毕竟是骤然富贵起来的一家，几年前还是奴仆，连像样的教育都没有受过，更不可能有什么家族里的文化传承。这个家族中的绝大多数人，虽然疼惜照顾小霍去病，但是谈不上在精神上给他带来什么样的影响，卫氏家族里真正在精神层面上影响了小霍去病的，只有他的二舅卫青。
卫青与卫少儿并不是同父所生，按理说小霍去病跟这个二舅父并不会比跟大舅父更亲密，但实际上，他从小最喜欢的却是这个二舅父。他待在外婆家里时，总是有一种感觉，好像自己与周围所有的人都格格不入，是完全不一样的人，只有当二舅父回来时，这种感觉才会消失。
他七岁之前，卫青还没有结婚自立门户，虽然大多数时间都在宫里当值，但是下值之后，还是要回到母亲和兄长这个家里来的。每当二舅回来了，就是小霍去病最兴奋的时候，跟着这个二舅舞刀弄剑、乃至外出跑马，都是他小时候最喜欢做的事情。
仅从称呼就能看出他们之间的亲密程度：对于其他几个舅父，他的称呼一向都是“大舅父”、“三舅父”、“四舅父”；对于卫青呢，只有在必须有所区分的场合，他才会称呼他为“二舅父”，在只有他们两个人的场合，这个称呼往往就被简化为“舅父”二字了，而其他的舅舅们，可是谁都没有这个待遇。
小霍去病也经常会去母亲那里，但在那里的感觉是不会太好的。并不是陈掌不待见他，陈掌的为人还是不错的，而且他能受宠于陛下，确实也是由于卫少儿姐妹之力。只是，作为开国功臣的后人、秩比两千石的高官，陈家所来往的姻亲故旧，全部都是世家官僚出身，在这些子弟中，小霍去病的出身就显得分外扎眼了。
卫青记得，虽说从小就受排挤，但是去病这个孩子的心气极高，从来看不上恃强凌弱那一套。有一回大约是他五岁的时候，有两个六七岁的孩子欺负一个三四岁的小孩，去病就把那个小孩叫到自己身边，带着他玩了一天。当卫青问他为何这样做时，外甥的回答是，“我才不欺负比我小的，要欺负就欺负比我大的！”卫青当时不由得失笑，保护弱小固然是男儿分所当为，但这也是他第一次从外甥口中听出那股隐隐然的傲气。
对霍去病而言，开始的那几年还好，姨母只是一名宠妃而已，舅父只是一个太中大夫而已，而自己也只是陛下喜爱的一个小孩子而已。此时的他，虽然因为出身而被世家子弟们轻视，但还是有少数孩子愿意跟他一起玩，因为他至少算得上是个很好的玩伴。他从很小就知道，不论学什么，自己随随便便看一眼就会了的，别人可能要花很长时间都不见得学会；不论玩什么，自己在哪一队，哪一队就几乎不会落败。但他也从小就发现，自己的聪明对别人而言并不是那么喜闻乐见，所以他很早就知道要隐藏自己的聪明。
感受到自己被全面地彻底地有意识地排挤，是在他十一岁那年。那一年匈奴袭犯上谷，二舅卫青以车骑将军的身份，率领一万骑兵出征，奇袭了匈奴的祭天圣地龙城，将其付之一炬，并且首虏七百人。这个胜利的意义非常之大，因为这是对匈战争七十三年以来取得的首次重大胜利，卫青也因此被封为关内侯。而这次同时出征的其他三路人马，公孙贺无功而返，公孙敖折兵七千，李广则全军覆没、自己还被匈奴俘虏，后来凭借一身勇力才得以侥幸脱逃。
现在问题来了：卫青乃是骑奴出身，而李广和公孙贺，则都是世家出身、素著盛名的将军，这让皇帝和所有人怎么想？世家名将，打了多少年都没能打出来一个像样的胜仗，而卫青呢，给他一个机会，他就闪光了！
以前世家贵族们看不起卫青，是认为卫青只是一个凭借裙带关系得宠的内臣。而龙城一战之后，卫青变成了一个能熄灭他们头顶光环的竞争对手。本来天子就一直在找机会削弱世家权贵，只是由于匈奴的持续威胁，他只能倚重这些宿将，在很多事情上不得不妥协，而卫青的飞速崛起，简直是拿走了这些人和天子讨价还价的最重要筹码！所以，原来他们仅仅是看不起卫氏，现在则平添了嫉妒与恨意。
这一年的某一天，当小霍去病又要跟这些子弟们一起蹴鞠的时候，就有一个为首的大孩子说话了：“不带他玩，奴婢的私生子不能跟我们一起玩！”
当时十一岁的霍去病愣住了，只觉得一股烈焰猛然从胸中腾起，他怒目看向那个孩子，“你敢再说一遍吗？”
那个孩子指着他的鼻子，一字一顿地又说了一遍，“奴婢的私生子不能跟我们一起玩！”
小霍去病不顾一切地冲上前去，第一拳打破了对方的鼻子，第二拳打青了对方的眼睛。
当然这场打架的最终结果是不问可知的，对方人多，他被群殴得浑身青紫。不过，不管别人怎么拥上来围殴，小霍去病始终扯住那个为首的不放，下手之重、气势之狠，最终让这个孩子不但被他打得爬不起来，而且真的被他打怕了，以后好几年见到他都是躲着走的——打架时碰到一对多，这确实是最好的战术了，对他来说，这点道理根本用不着人教。
这件事他并没有跟家里说，既没有告诉母亲，也没有告诉外婆和舅舅们，不过他们久而久之还是知道了。家人们只是看到，这孩子越来越多地一个人玩耍，不是舞刀弄剑就是练习蹴鞠，他们看不到他的内心——他的心里已经跟世家子弟们彻底决裂了！从此，他不再出现在贵族子弟们的蹴鞠场上，而是选择了民间的永昌里。
第二年，情况愈演愈烈。他的姨母卫夫人生出了皇长子，圣上废掉了原来的陈皇后，顶着所有臣僚的反对，将卫夫人立为皇后。一个出身卑贱的歌伎，最多当个宠妃也就罢了，居然还真的当上了皇后？还要接受所有命妇们的跪拜？这让所有的名门闺秀情何以堪？从那之后，世家中的女人们也开始口出恶言了，就连坊间的歌谣里，都有了“卫子夫霸天下”的说法。
霍去病不知是谁编造了这些歌谣，但他能体会到这些人的用心恶毒不堪，姨母明明是个温柔缄默的女子，试问她哪来的“霸天下”之心？她有这个能力吗？出身高贵的皇后，哪怕是像陈阿娇那样骄横跋扈的，都有的是人同情与歌颂，姨母忠心耿耿地侍奉陛下，为陛下生儿育女，她犯过任何错误吗？为什么却偏偏要遭到如此的丑化？
再一年，二舅卫青一举收复了被匈奴盘踞多年的黄河河套地区，战功彪炳；又过三年，舅父被拜为大将军，位极人臣。这几年来，霍去病亲眼目睹了自己出身低微的家族，一步步地站上了帝国的舞台中央，同时也越来越深刻地感受到了来自世家权贵的深深敌意。
从十一岁那年退出了贵族子弟们的蹴鞠比赛，三年多的时间过去了，他才再次出现在了贵族子弟们的蹴鞠比赛中。因为那次比赛的地点就在未央宫里的鞠城，是庆祝圣寿的节目之一，圣上也亲临观战，侍从在左右的他不可能找到避开的理由，也就索性不避了。
在这次复出之赛中，他进行了一场令人难忘的个人表演，用绝对一边倒的大比分，狠狠地扑灭了所有人的气焰。然后呢，这类比赛再想请到他就不容易了。拒绝的理由也很简单：“跟你们玩没意思，跟儿戏差不多，你们那还能叫对抗吗？”
