从此之后，匈奴与汉朝的关系全面破灭，屡次攻入长城以内，次数之多远远超过前代。但是匈奴出于对汉朝物产的向往，依然没有放弃与汉朝的边疆贸易。汉朝方面为了稳定局势，也没有单方面终止贸易，继续开关互市。
这次的反击失败，对主战派的打击很大。需要注意的是，改革派不等于主战派，改革派中的主父偃等人，都是主和派。接下来一年，国家机器按部就班地运转着，并没有什么大变化。
但是这毕竟是个变化的时代，元光四年，前131年，汉朝高层出现了一次动荡。
这年春天，丞相田蚡状告颍川（今河南禹州）人灌夫横行乡里，民怨很大。说起来灌夫还是七国之乱的功臣，当年只身闯入吴军阵营中，身上挂彩十几处，依然以知道吴军虚实为理由继续冲锋。他父亲原叫张孟，因为是当年的颖阴侯灌婴的舍人（门客），干脆改姓灌。后来在七国之乱中为中央军的胜利献出了生命。并且灌夫与前丞相窦婴还是拜把子，这样一个人，会横行乡里么？而且他一直在官场上混，地方上当过国相，建元元年还在中央当过太仆。这时候因为犯了点小错，赋闲在长安的家中已经几年了。
说起来，灌夫也确实有点过分。这个人没什么文化，但是喜欢行侠仗义，恪守承诺，交往的都是些大人物，有钱人。家里也有几个小钱，在老家弄了不少田园楼阁。手底下的门客、一些老家的亲戚，也确实有些不干净的事情。颍川儿童都有儿歌唱道：“颍川的水清了，灌家就消停了；颍川的水混浊了，就赶快把灌家一家人杀了吧。”
但是这时候，灌夫其实已经失势了，从前的门客也都离开，家里远房亲戚也貌似少了很多。在长安，有一个人与他境遇类似，那就是前任丞相窦婴。说起来其实两人虽然感情好，但是也都有小算盘——窦婴想抬高灌夫的身价，刺激那些以前得势时候跟着他，失势之后又嫌弃他的人，灌夫也需要窦婴这个皇亲来捞点政治资本。
细说田蚡、灌夫和窦婴的矛盾，那么我这一章的篇幅就不够了，何况此事与匈奴关系并不大。总的来说，这就是现任丞相田蚡和前任丞相窦婴的一次内斗，这两人可都是当初改革的主导者之一啊。
后来窦婴为了营救好朋友灌夫，与田蚡在朝廷上进行了激烈的辩论。最后刘彻也搞不清谁是谁非，只好让大臣们都发表意见。汲黯耿直，力挺窦婴；韩安国一个劲儿地和稀泥，两边都说好话；内史（管刑法）正当时一开始支持窦婴，但是田蚡毕竟是他的顶头上司，他最后又改口了。
刘彻很生气，平时一个个的说起来不知道多凶，关键的时候就不顶用：“依我的话，我把你们这帮没用的都杀了！退朝！”
中午，刘彻与母亲一起吃饭，王太后气得吃不下饭。刘彻问母亲原因，太后说：“我活着的时候，都有人这样欺负我弟弟，等我死了，还不成了别人砧板上的鱼肉？”没办法，刘彻只好下令清查灌夫的罪行。
一查，不得了，窦婴在朝廷上的很多话就成了假话，欺君之罪！于是窦婴也被人弹劾，被收纳在专门的监狱里。说起来，窦婴也是顾命大臣，景帝临终前给过他一封遗诏。这下窦婴可不怕，他找到家里的家臣，让他把家里封存的遗诏给刘彻看。
遗诏送到刘彻手上，刘彻一看，嗬！老爸说窦婴关键时刻可以“便宜行事”，随便向皇帝提建议。但是刘彻很谨慎，你说是遗诏就是遗诏了？下令去国家档案馆查遗诏的备份，结果——没查到。
我估计，是窦太后搞的鬼，担心窦婴影响她的地位。可惜了窦婴啊，假传遗诏的罪名成立了，跟着灌夫一起被斩首。
可是没多久，田蚡却疯了，整天在家里磕头谢罪。后来找来巫师一看，巫师说，哦，是灌夫、窦婴两个人的鬼魂老是来索命，这个，我可没办法。没多久，田蚡也在疯狂中离开了人世。
这全是天意啊，刘彻的权力得到集中了。只要权力集中到刘彻手上，还怕主战派抬不了头，刘彻本人就是主战派的领军人物啊！
现在就对匈奴开战？当然不是，韩安国说得不错，大举入侵一个拥有广阔纵深的国家，确实是一件很困难的事情。匈奴疆域的广阔远超过大汉，除了它直接控制下的蒙古高原和西伯利亚南部、甘肃大部和青海北部、宁夏全部、陕西北部、河北北部、一直到今天的辽宁以北地区，共有领土约340万平方公里，如果加上臣服匈奴的西域，一共有540万平方公里。而此时的汉朝，除掉名义上臣服的南越国，只有250万平方公里，不仅纵深不如匈奴，首都长安还暴露在匈奴的威胁之下。
刘彻将目光暂时投向了南方，在征讨匈奴的同时，一定要稳住整个南方，甚至必要时还需要将其收为郡县，不仅能与匈奴形成对等的纵深，而且还能增强中央政府的实力。不仅是南越，还有未知的西南山区。然而此时的汉中央惊喜地发现，稳住南越的要害之地，就在西南山区。
当初，王恢平定东越，命令番阳县（今上饶市附近）县令唐蒙把中央出兵的消息告诉南越。南越人请唐蒙吃了一种美味，叫作枸酱（也写作蒟酱，我估计是当年音译的）。这种东西具体是什么现在已经没人知道了，有人说是槟榔，有人说是一种果酱。不过确实对生活在汉朝腹地的唐蒙来说很新鲜，唐蒙就问：“这玩意哪来的？”
负责接待的南越人告诉他：“南越西北方的山区，有个交通要道叫牂牁（今天的贵州一带），牂牁江很大，水路能直接到番禺（今广州，南越首都）。”
对于唐蒙来说，这太震撼了，原来西南山区竟然还有人居住，还有健全的贸易体系，看样子那里还有个国！
后来唐蒙回到长安，四处打听西南的情况，询问了汉代西南蜀郡（今成都）的商人后，终于了解到了确切的情况。商人们说：蒟酱其实是蜀郡的特产，只不过卖到了牂牁江边上的夜郎国。牂牁江很大，可以行驶巨大的船舶。所以南越国一直想吞并夜郎国，虽然南越实力一路向西控制了一个叫同师的地方，但是始终没有能控制夜郎全境。
经过一系列的调查，唐蒙终于上书给皇帝，说：“南越王很狂，用的是黄色的车盖，举的是国主的旗帜。南越国疆域东西走向足足一万里以上，名义上是个诸侯，实际上是个独立王国。我们现在如果从豫章郡和长沙国进入南越，山重水隔，地形对我国不利。我已经打听到西南有个夜郎国，有精兵十万，如果我们在牂牁江组建水军，南越就会完全在我军控制之下。以汉的强大，巴蜀的富饶，与夜郎建立关系，在当地设置机构，轻而易举。”
元光五年（前130年），刘彻任命唐蒙为郎中将，带着一千名作战士兵，辎重保障人员一万余名，从蜀郡一个叫筰关的地方出境。翻过重重大山，渡过无数河流，见到了夜郎国的国主多同。
在当时的夜郎看来，夜郎就是世界上最大的国家，周围的山川险阻让他们与外界隔离。牂牁江畔分布了多个小城邦，夜郎是这其中最为强大的，并且统一了这里，所以所有的城邦都说自己是夜郎的一部分。所以夜郎国问汉朝使臣的第一句话就是：“使者啊，你看，夜郎国和汉朝国哪个大？”
唐蒙这下真“蒙”了：“额，大概和我们那儿一个郡差不多大。”
“郡是什么？”
“一个郡下面管十几个县。县就是一个城管辖的区域。汉朝嘛……几十个郡还是有的。另外像你们这么大的国，附属的也有几十个吧。”
多同惊呆了，他实在想象不出山外的世界到底大到什么地步。
随后，唐蒙将汉朝的赏赐给多同看，把汉朝的意思告诉了多同。多同看着这些从来没见过的绫罗绸缎，看着这些他们几代人都没见过的金银珠宝。他满怀着对大国文明的向往，同意汉朝在夜郎设置机构，归顺大汉，成为大汉的臣属。随后多同的孩子们被封为当地的县令。夜郎附属的小城邦也都同意多同的做法，表示愿意归顺——天高皇帝远，归顺了，你能拿我怎的？何况归顺了还有赏赐，还能与大汉中央进行贸易。
唐蒙完成了使命，回去报告了汉武帝。从此，夜郎国成为了汉朝的犍为郡。
同年，汉朝打算征调巴、蜀两郡的劳役，修筑通往夜郎国，也就是犍为郡的道路。计划从僰道县（属于犍为郡，今天四川宜宾一带）直接到达牂牁江。工程量很大，一共动员了数万人参与。唐蒙作风粗暴，对于一些偷懒、逃跑的员工打打杀杀，甚至还杀了一名当地的酋长。西南少数民族民怨沸腾，巴、蜀两郡的人民大为惊恐。刘彻听说，赶紧派遣蜀郡人司马相如前往施工现场，责令唐蒙改变工作作风，并且代表皇帝告诉巴蜀居民和西南少数民族中央的立场，让当地民怨逐渐消退。
后来刘彻干脆任命司马相如为郎中将干预此事，毕竟他是当地人，了解当地的风俗禁忌，更能与当地群众打成一片。紧接着司马相如还奉命出使西夷（今天的凉山彝族自治州那边），号召当地归顺汉朝。从此蜀郡以西的邛、筰两地也都归附汉朝，设置郡县。
汉朝此举，一来赢得了南方广袤的疆域，虽然管辖的力度有限，但是意义非常。二来，匈奴已经与西边的西羌（西羌的后代就是今天的羌族，以今天的四川汶川为中心的区域分布，是个古老的民族）暧昧不清，如果匈奴势力深入西南，整个汉朝就处在匈奴的战略包围之下——南宋当年就是被蒙古战略包围然后……
南方的事务告一段落，但是匈奴在边境屡次骚扰。元光六年的春天，匈奴军队进入上谷郡，屠杀俘虏和平民，大肆掠夺，制造惨案。而且这段时间渔阳郡（今北京密云县一带）方向虽然没有大批匈奴军队，但是匈奴入侵最为频繁，严重影响了当地人民的生命财产安全。
就在几个月前的冬十一月，刘彻刚刚颁布新的商业税以增加财政收入，以组织对匈奴的全面反击。这次是对商人的车辆、运输收取赋税，史称“初算商车”。不过这只是一个开端，之后的几十年内，中国的经济制度也会迎来翻天覆地的改革。但是现在，经济和税务制度的改革刚刚开始。
与匈奴的入侵同时，为了保证关中地区的农业生产，刚刚通过大司农（农业部长）郑当时的提议，也就是“把渭河打穿，连通到黄河，这样可以让关东关中的漕运更加便捷，又可以灌溉万余顷的良田”。也就是说，这时正有数万青壮年在服徭役，修筑这条水利工程。
情况摆在这里，面对这次匈奴的入侵，刘彻会像之前的汉朝皇帝一样继续忍下去么？
