匈奴单于对苏武的气节十分钦佩，每日早晚都派人问候，苏武痊愈后，单于使人向苏武转达了劝降之意。此时，单于要处斩虞常，单于想借机进一步劝降。在斩了虞常的头以后，卫律说：“汉朝使节张胜谋杀单于近臣，应予以处死，但若投降，可予以赦免。”说完，举剑欲斩，张胜求生心切，就请求降顺单于。卫律接着对苏武说：“副使有罪，你作为正使当受连坐。”苏武反问道：“我既没有参与阴谋，又不是他的亲属，为何要受到连坐呢？”卫律没有回答，又一次以剑相逼，苏武面不改色，不为所动。卫律又对苏武说：“苏君，我从前背汉投奔单于，单于不仅封我以王爵，还赐给了数万奴婢，满山的牛马，以至富贵无比。苏君今日降附，明天也会如此。否则将尸陈荒郊，有谁能知道呢？”苏武闭口不理。卫律又说道：“您如果向我答应归顺匈奴，我们就可以结为兄弟，如不听我的劝谏，他日要是再想见到我，办得到吗？”听到这里，苏武忍不住破口大骂：“你身为人臣，不顾恩义，背叛主人，抛弃亲人，投降他族，人们为什么要见到你这民族败类！况且匈奴单于信任你，使你裁决他人的生死，你不仅不平心持正，反而想借机挑拨两国君主，让你坐观成败。难道你不了解南越国因杀死汉朝使节，被汉所灭，成为汉之九郡；大宛王杀汉使节，而身遭杀戮，头悬长安之北门；朝鲜杀汉使节而亡国。只有匈奴有幸没有发生这类事情。你明知我不会投降，此举无非是想让汉匈发动战争而已，匈奴国的灾难就要因我的死开始了。”对苏武的这些表现，单于越发敬重苏武，更加想招降苏武。于是将苏武囚禁于大地窖之中，断绝了他的饮食，这时天降大雪，苏武躺在地窖之中，靠吃皮衣上的毛和雨雪，竟得以数日不死，匈奴大为惊异，以为苏武得到了神的帮助。于是把苏武流放到荒无人烟的北海（今贝加尔湖），让他放牧一群羊，对他说：“等到公羊有了乳汁的那天，你就可以回归汉朝了。”就这样，苏武拿着汉武帝的使节节杖，放牧一群公羊于北海之上。
匈奴所提供的供给时有时无，苏武只得以捉野鼠，挖草根馏口谋生。寒来暑往，苏武白天持汉节放羊，晚上抱汉节睡觉，以至节上的毛缨全部脱落了。苏武在出使匈奴前与李陵都是侍中。公元前99年（天汉二年），李陵兵败降匈奴，但一直没有颜面见苏武。很长时间后，才奉单于命令到北海与苏武相会。在为苏武设置的酒宴上，李陵劝苏武说：“匈奴单于听说我与你一向友好，故派我来劝说你，诚心相待。你回归汉朝是不可能了，何苦呢？在杳无人迹之处，你的忠心，你的信义又有谁能看到，能理解呢？你的兄弟两人都因被指控有罪而自杀。我来时，你母亲已不幸去世，夫人因年轻，听说也已改嫁，只有你的两个妹妹和两个女儿一个儿子尚活着，但现在十几年过去了，生死与否，未得而知。人生如同晨露，何必如此自寻苦吃呢？我刚兵败降服时，也曾为背汉而时时自责，痛苦异常。再加高堂老母因此而被收入狱，你不想归附匈奴的心境，不见得超过我。但武帝年岁已高，反复无常。大臣中无罪而被举族全灭的达数十家之多。人人朝不保夕，你的这一切，是为了谁呢？”苏武回答说：“我父子并无功德，但赖武帝信任、培养，位至将侯，弟兄们侍奉皇上，都愿以肝脑涂地。今幸得一杀身效命的机会，就是迎刀山、下火海我亦心甘情愿！臣事君，如同儿子侍奉父亲，子为父死，何憾之有！请你不必再说了！”李陵与苏武共住了几天，又说：“请你听我一言！”苏武回答说：“我想死的念头已由来已久了，你一定要我降于匈奴，请结束今天的欢聚，我效死在你面前！”李陵见苏武心诚如此，喟然而叹道：“义士啊！李陵和卫律的罪过通天了！”不禁泪满衣襟，为苏武留下牛羊数十头，黯然别去。
就这样，苏武在北海牧羊十九年后，才回到汉廷。出使时苏武是正当壮年，可回来时已是须发全白了。苏武忠贞的爱国之心、不屈的民族气节一直为后代所称颂。
武帝以后的相当长的一段时间内，匈奴内部分裂。公元前57年（宣帝五凤元年），又出现了五个单于争立的大混战，呼韩邪单于率众归汉，南徙于长城脚下。公元前33年（元帝竟宁元年）正月，呼韩邪单于第三次到长安朝见元帝时，提出“和亲”的要求，由此引出了昭君出塞的佳话。
王昭君，名嫱，字昭君（西晋时，因避司马昭讳，改称明君，所以后人又称明妃），南郡秭归（今湖北秭归）人，父王穰，为一农夫，元帝即位后，选“良家子”入宫，昭君因长得春华动人而入选。元帝嫔妃成群，不可能一一临幸，便命画工画成图像进呈，按图召幸，因此，诸宫人都争着贿赂画工，让其把自己的形象画得美一些，动人一些，以求得元帝宠幸，有的宫人甚至出钱十万。王昭君自知美貌过人，加上生就一身傲骨，没有贿赂画工。因而画工对昭君进行丑化。致使入宫几年，也没有见到元帝是什么样子。当得知呼韩邪求亲的消息后，昭君主动提出应召。元帝从图像上见昭君长得很一般，也就同意了她的请求。临行前，元帝召见单于和王昭君，只见昭君“丰容靓饰，光明汉宫，顾景裴回，竦动左右”，真所谓“一顾倾人城，再顾倾人国”。元帝和满朝文武都被王昭君的美貌惊得如痴似醉。元帝后悔了，想把她留下，又难于失信。这样王昭君在汉送亲使的陪同下，和呼韩邪单于一起，从长安北上，冒风沙，走了数十天，才到达单于庭。
王昭君入匈奴后，住穹庐，被旃裹，食兽肉，饮乳酪，与呼韩邪单于生有一子，两年后，呼韩邪单于病死，昭君从“和蕃使者”的大局计，忍受委屈，尊重匈奴习俗，再嫁给呼韩邪单于大妻子所生的长子复株累单于，又生二女。
对昭君出塞这段佳话，1963年，老一辈无产阶级革命家董必武曾写诗歌颂说：“昭君自有千秋在，胡汉和柔识见高。词客各摅胸臆懑，舞文弄墨总徒劳。”这首诗，刻成碑文，耸立在呼和浩特市南郊的昭君墓前。
从昭君出塞后的半个世纪当中，汉匈间一直保持着和平友好的局面，正如史书所说，自此以后“边城晏闭，牛马布野，三世无犬吠之警，黎庶无干戈之役”。
王莽篡汉后，实行民族歧视政策，使汉匈关系重新紧张起来。匈奴势力也有所发展。
东汉建立后，一开始对匈奴采取守势，曾派王昭君弟弟王飒出使匈奴以修旧好。又治长城，筑亭候，修烽燧。但由于匈奴已转居塞内，收效不太大，但不久，匈奴内部又发生内讧，分裂成南北两部。南匈奴归附东汉，散居于北地、朔方、五原、云中诸郡，逐渐放弃了游牧生活，从事农耕，与汉人融成一体。北匈奴则退居漠北，明、章时期，对匈奴进行了大规模的出击，特别是公元89年，窦宪的出兵，败北匈奴于稽落山（今蒙古西北部），其投降者二十余万，汉军又出塞三千余里，追至燕然山（今蒙古杭爱山）刻石勒功而还。从此，北匈奴向西远徙，辗转进入欧洲，对欧洲的历史发生了很大的影响。
在进击北匈奴的同时，东汉也加强了对西域的控制，在重新设置西域都护后，又派班超出使西域各国。
班超，字仲升，扶风平陵（今陕西咸阳东北）人，班超因家境贫寒，曾为官家抄书，以供养家庭。一次，他在久伏书案抄写劳累时，曾掷笔叹息说：“我说不上有什么更大的抱负，但愿像张骞出使西域，建立功勋，总不能把一生的岁月这样消磨在笔砚上。”这就是历史上“投笔从戎”的故事。
班超在公元73年（明帝永平十六年）奉命出使后，首先来到鄯善国（今新疆鄯善东南）。鄯善王起初对他们十分礼敬，但不久却怠慢起来。班超意识到，一定是来了匈奴使者，并用计从鄯善侍者的口中了解到了详情。班超对部属们说：“我们远离汉廷，置身绝地。原可以为国家建功，自己也可以得到富贵，如今，因为匈奴使者的到来，鄯善王改变了态度。如果他把我们给抓了起来，献给匈奴，我们就只有死路一条了。既然是身陷虎穴，‘不入虎穴，焉得虎子’，我们倒不如袭击匈奴使者住所，把他们全部消灭，迫使鄯善王服从我们。”于是班超他们在一个星高风大之夜，放火烧了匈奴使者的住所，烧死一百多人，杀死三十余人。班超这一果敢的行为，使鄯善上下大为震恐，决心与汉结好。此后，班超又出使于阗，迫使于阗王归服，到疏勒，废黜了亲匈奴的疏勒王，更立亲汉的贵族。班超在西域共经营了三十年，对巩固汉朝西部边疆，保持西域与中原的密切联系，立下了不朽的功勋。
在和匈奴发展关系的同时，汉和南方的越族、西南夷、青藏高原的羌族和东北地区的乌桓、鲜卑、夫余、挹娄、高句丽等民族的关系都得到了加强。汉代封建经济的发展和国家的统一，是各族人民共同进步的结果。
正因汉代华夏族和周边各族的联系不断得到加强，各民族互相交往，互相学习，互相融合，使以华夏族为主体，融合了众多民族的汉族最终形成了。
