卫律知道苏武是不可能屈服的，于是，他将此事报告了单于。
但凡是君主，越是遇到这样的人，就越是想将其臣服，且鞮侯单于也不例外，他越发想要让苏武臣服于自己。因此，且鞮侯单于就此囚禁了苏武。
先开始，将苏武置于大地窖内，不给他吃喝。天下雪，苏武只能躺着吃雪解渴，连同旃毛一起吞下。就这样，苏武才得以在几天内不死。
匈奴人都以为他是神人，且鞮侯单于敬畏于苏武，就将他迁至北海，让他在那里只放牧公羊，说等公羊生下了小羊，才会放他回归汉朝。
同时，且鞮侯单于却把他的部下常惠等人安置到了别的地方。
从那之后，苏武牧羊的故事就此展开，他在这里开始了长达十余年的牧羊生活。
不过，在苏武到北海之前，故事有了一定的变化，原来，原本历史中没有的那位姓赵的医疗兵暗中利用自己的影响力，偷偷在苏武放牧的山羊里混杂了了三头母山羊。
不过，到了北海，因为这里天气极度寒冷，没有粮食供应，先开始几年当中，苏武还是向历史上那样，只能到处挖掘野松鼠所储藏的果实吃。
在华夏汉代，汉节对于一个使者来说是最为重要的。
故此，苏武时时刻刻都把汉节带在自己的身边，不管是牧羊，还是起居生活，一刻都不肯放手。以致于汉节上毛全部脱落了。
又过了五、六年，且鞮侯单于的弟弟于靬王到北海打猎。
这个时候的苏武不再是那个将军家里的贵公子了，他在这几年之内，学会了会编打猎的网，并矫正弓弩。于靬王非常器重他，悄悄地供给他衣服、食物。
三年多过后，于靬王大病，临终前，赐给了苏武不少马匹、牲畜、衣服、帐篷。
于靬王死后，他的部下也都迁离。
那个冬天，丁灵人劫走了苏武的牛羊，他再一次陷入到了穷困的状态。
以前，还在汉朝时，苏武与李陵都曾经担任侍中的官职。
汉武帝天汉二年，李陵兵败被迫投降匈奴，听闻苏武的消息后，却因为惭愧而不敢访求苏武。
后来，单于派李陵去北海，为苏武设酒宴和歌舞，单于的企图很明显，就是想利用二人之间的旧交，让李陵借着这个机会，劝服苏武归降于匈奴。
在宴会间，李陵没有拐弯抹角，非常坦然向苏武劝说道：“单于听说我和子卿你交情深厚，所以，此次让我，就是来规劝你的。单于是真心希望，你能够成为匈奴的臣子。子卿，你可要想清楚，单于是不会方你返回大汉的，你到死也不能归汉了。
你白白在这个没有人的地方，让自己受苦，可是，你如此得坚守信义，却又有谁能看见呢？先前，你大哥长君做奉车都尉时，随从圣驾至雍的棫阳宫，皇帝扶辇下除，不小心撞到柱子折断车辕，因此被指控为大不敬，只能伏剑自刎，皇帝却只赐钱二百万作为丧葬费。