结果虞常果然供出了张胜，匈奴单于十分生气，想杀掉汉朝使者，但后来有人建议与其杀掉他们，不如想办法让他们投降，这样的惩罚更重一些。于是单于派卫律去劝说苏武。卫律本来也是汉朝派往匈奴的使者，虞常本是卫律的部下。但后来卫律投降了匈奴，匈奴单于很器重他，封他为王。

面对卫律劝降，苏武说：“我是汉朝的使臣，如果丧失了气节，违背了使命，那我还有什么脸面活着回去见人！”话刚说完，就拔出刀来自刎。卫律吃了一惊，急忙把苏武抱住，但苏武已经由于受伤过重昏过去了。于是卫律急忙派人骑快马找医生来抢救，苏武才慢慢地苏醒过来。

匈奴单于觉得苏武是个有气节的人，十分佩服他。他经常派人来探望苏武，而张胜等人则早就被关起来了。

等到苏武的伤痊愈了之后，单于要求苏武一起参与审判虞常，企图借这个机会来迫使苏武投降。卫律先是将虞常处死，然后又举剑威胁张胜，张胜怕死，请求投降。卫律对苏武说：“你的副手有罪，应该连坐到你。”苏武说：“我既没有参与谋划，又不是他的亲属，为什么要连坐？”卫律又举剑威胁苏武，苏武视死如归，岿然不动。卫律没办法，又希望用荣华富贵来打动他。他对苏武说：“我也是迫不得已才投降匈奴的，但是单于对我很好，他赐给我爵位，封我为王，而且给我数万奴隶和满山的牛羊马匹，使我有享不尽的荣华富贵。您如果现在投降的话，将来也跟我一样，现在又何必白白地送掉性命呢？况且你若是投降的话，咱俩就结为兄弟，否则以后你再想见我都不可能了。”

苏武听了之后大怒，痛骂卫律：“你是汉人的臣子和儿子，却背叛汉朝，抛弃家人，在异族那里做了大官。况且单于信任你，才叫你决定别人的生死，你却不主持公道。你还有什么脸面来和我说话，我为什么要见你呢？无论你怎么说，我都不会投降的。”卫律看见苏武反应如此强烈，知道再不可能威胁他投降，于是灰溜溜地回去向单于报告。但是单于却更加钦佩苏武，越发想让他投降，于是派人把苏武囚禁在地窖里，而且不给他水和食物，想通过这种折磨让苏武屈服。当时正是冬天，天降大雪。苏武渴了就吃雪止渴，饿了就吃毡毛充饥。如此忍饥挨饿，艰难度日，过了好几天，他居然没有死。单于觉得很神奇，但却不甘心就此罢手，便把苏武放逐到北海无人的地方，让他去放牧公羊，还对苏武说：“等到公羊生了小羊，就放你回去。”另外把他的部下常惠等人安排到别的地方，不让他们互通消息。

苏武到了北海之后，匈奴不给粮食，他只好挖野鼠洞里储藏的野果和草根来充饥。陪伴他的只有一根代表汉朝的旌节，他不论吃饭睡觉都拿着它。时间久了，旌节上的牦牛尾穗子全部都掉了。过了几年，单于的弟弟於王到北海打猎，由于苏武会编网和校正弓箭，得到了於王的赏识，于是供给他衣服、食物、马匹、牲畜和帐篷。但后来於王因病去世，苏武的牛羊也被人所盗，他再次陷入困顿。

苏武出使匈奴的第二年，李陵投降了匈奴。由于李陵和苏武曾一起做过皇帝的侍从，所以单于派李陵去北海劝说苏武。李陵给苏武安排了酒席和歌舞，并对苏武说：“单于听说我和你交情不错，所以派我来劝说你。你已经不可能再回归汉朝了，你的哥哥和弟弟已经因罪自杀，你的母亲也已去世，而你的夫人听说已经改嫁。家中只有妹妹和儿女了，但现在已经过去十几年了，也不知道是生是死。人生如朝露般短暂，你又何必如此折磨自己呢？想当初我刚投降时，也是终日悔恨，觉得对不起国家和亲人。但现在汉朝皇帝年事已高，有点糊涂了，大臣经常会无罪却被族诛，安危难料，你还在为谁守节呢？”

苏武说：“我们父子能够封侯拜将，都是皇帝提拔的，所以愿意为朝廷牺牲一切。现在正是牺牲自己以报效国家的时候，即便是受汤镬这样的极刑，我也没有什么怨言。因为臣子效忠国君，本来就像儿子效忠父亲一般，儿子即使为父亲而死，也没有什么遗憾的，你还是别再说了。”

李陵不甘心，又劝苏武听他的话投降匈奴，但苏武坚决不投降。苏武说：“我料定必死，如果单于一定要逼我投降，那我只好死在你的面前。”李陵没有办法，只好流泪告别苏武，他让妻子送给苏武几十头牛羊。