汉军在对匈奴的多次作战中都取得重大胜利，使匈奴元气大伤。趁匈奴单于新立之机，汉武帝打算出兵彻底消灭匈奴。匈奴单于因害怕遭到汉军的袭击，而向汉朝表示称臣之意，说：“在大汉天子面前，我就跟小孩子一样，大汉天子是我的长辈。”然后又将扣留在匈奴的汉朝使者送回，并派使臣来汉朝进贡。
汉武帝对匈奴单于的做法表示满意，便打消了出兵匈奴的念头，派使臣苏武去匈奴答谢，并送回先前扣留在汉朝的匈奴使臣。到达匈奴后，匈奴出现内乱，原来投降匈奴的汉人谋划劫持匈奴单于的母亲返回汉朝，结果事情败露。与苏武一同出使的副手也参与了这件事情，苏武因此受到牵连。苏武知道后，为了避免受辱，当即拔剑自刎，最后被众人救下。
匈奴单于召集部下商议如何处置这些汉使，最后商定逼迫他们投降。苏武从单于部下口中得知此事后，誓死不肯投降，并用佩刀刺进自己的身体。匈奴人大为吃惊，立即叫来医生对其进行救治，苏武得以脱离生命危险。单于很佩服苏武的气节，等到苏武的伤势痊愈，便派人前来劝降。单于的手下先是用剑指着苏武威胁他，但是苏武毫不畏惧，于是单于的手下又说：“苏先生，只要你归顺单于，单于答应赐封你为王，你就能得到数以万计的随从和满山遍野的牲畜。否则，你就是暴尸荒野也没有人知道。”但任他如何威逼利诱，苏武都不为所动，凛然说道：“以前南越国杀死汉使，结果南越国成了汉朝的九郡；大宛国王杀死汉使，他的人头不久便悬在长安宫廷的北门上；朝鲜杀死汉使，立即招来亡国之祸。只有匈奴还没有做过这种事情，恐怕匈奴的灭顶之灾将从我这里开始！”负责劝降的人没有办法，只得将这一情况报告单于。单于听到后，更加佩服苏武的气节和忠心，也因此更想逼迫苏武投降。
单于将苏武囚禁在地窖中，不给他提供饮食，企图逼他就范。当时正好天下大雪，苏武就用雪片和衣服上的毡毛当做食物一同吞下，这样坚持了好几天。匈奴人见苏武在一连几天不吃不喝的情况下还活着，大为惊讶，以为有神灵在庇护他。单于便将苏武放逐到荒无人烟的北海（今俄罗斯贝加尔湖）边上，并将一群公羊交给他，说：“等到公羊产下羊奶的时候，你就可以回到中原了。”
在荒无人烟的北海边上，苏武孤身一人，与他做伴的就是那根从汉朝带来的使节。无论干什么，就算睡觉，苏武都会拿着它，以致节杖上的毛缨全部脱落了。在北海边上的生活非常艰苦，没有食物，苏武就挖掘野鼠的洞穴，用里面的草子充饥。
然而，单于想要招降苏武的心还没有死，他派投降匈奴的李陵来北海边上劝降苏武。李陵与苏武有很深的交情，他一连劝说了好几天，但是苏武始终不改忠心。苏武对李陵说：“我很久之前就抱定必死的决心，你一定要劝我投降，那么我只有死在你面前！”李陵见苏武一片赤诚，不禁泪流满面，感叹说：“你真是一个义士啊！”后来，李陵又来到北海边上，并带来了汉武帝去世的消息。苏武得知后，痛哭不已，一连数月，每天早上和晚上都会面对着南方号啕大哭。
公元前85年，匈奴单于去世，匈奴发生内乱，分成了三个国家。新即位的单于害怕受到汉朝的袭击，于是向汉朝求和。汉昭帝派使者前往匈奴，要求放回苏武，但是匈奴人谎称苏武已经去世，于是这件事情就此作罢。后来，汉昭帝又派出一批使臣来到匈奴。当年随苏武一同来到匈奴的常惠也一直被扣留在匈奴，他知道汉使来了，便买通匈奴人，私下见到汉朝使臣，把苏武在北海边上牧羊的事情告诉了他们。常惠知道匈奴还会抵赖，便教汉使责问单于：“匈奴既然想同汉朝和好，就不应该欺瞒汉朝。汉朝的天子在上林苑射猎，射下一只大雁，大雁的脚上系着一块绸缎，上面写着‘苏武在北海边上放羊’。你怎么说他死了？”单于听后大吃一惊，然后道歉说：“苏武确实还活着，我们这就放他回去。”
于是，苏武等一行九人一同回到汉朝。回到长安的那天，长安的百姓都出来迎接他们。苏武出使匈奴的时候是四十岁，在匈奴受了十九年的折磨后，须发全白。长安的百姓看到须发全白的苏武，以及他手里那根光秃的使节，无不感动落泪。
李陵：李广的孙子，曾率军与匈奴作战，因为敌我兵力悬殊，兵败被俘后投降匈奴。汉武帝得知后，将李陵三族全部诛杀，致使李陵彻底与汉朝断绝关系。