李陵败降的消息传到汉朝宫廷，不久以前还夸李陵多么多么厉害的大臣们，见到战事突变，立刻换了张嘴脸来咒骂李陵，说李陵本来就不是个好东西，李陵本来就不是个好人。
惟有司马迁在思考，他想，李陵只不过带了五千步兵，就敢深入汉匈多次作战的戎马之地，足踏匈奴王庭之所在，所冒的危险好比把自己当诱饵送入虎口，但他遇到强敌，仍不退缩，敢于向其挑战，和多他好几倍的大军连战十几天，杀敌的数目远超过他本身的能力范围。匈奴被他杀得连救护伤亡也来不及，以致举全国之力来围攻李陵，李陵转战千里，战到箭已射完，路也不通了，可是救兵还是没来。从这点来看，李陵并没有辜负汉家，而是汉家辜负了李陵。
再者，司马迁平时观察李陵的为人，就知道他事亲至孝，与人交往讲究信实，遇财物时在取舍之间都合乎正义，对人有礼貌而且恭俭谦让。常想奋不顾身，以赴皇家之急，与匈奴单于较量是他平日就有的抱负。真没想到他这个英雄，却落到兵败被俘的下场。司马迁认为，这种悲剧应该由汉家负责任。
司马迁那颗赤热的心肠，实在按捺不住想为李陵说几句公平话。可是太史令官职不高，满朝文武中，哪有他发言的余地？终于机会来了，有一天，汉武帝召集群臣，讨论李陵的罪状。但朝臣们面面相觑，谁也不敢先开口。于是，武帝用点名的方法要臣僚开口，他首先问丞相公孙贺说：“葛绎侯，说说你的意见吧！”这公孙贺的夫人是武帝卫皇后的姐姐，有这重关系，他做将军虽无大功，却两次封侯，并由太仆而升任丞相。此刻武帝问到他，他支支吾吾地说道：“主上圣明，主上认为该判何罪是绝不会错的……”武帝早料到这个尸位素餐的俗吏讲不出什么意见，便把目光转向执金吾杜周。杜周是个出名的酷吏，善于揣摩武帝的心思。此刻他见武帝看他，便立即俯伏奏道：“臣以为李陵辜负天恩，刚愎自用，丧师辱国，不能赦罪，其家属也应当连坐。”这几句话正是武帝愿听的。
这两个带了头，其他公卿大臣们，像大鸿胪商丘成、光禄勋韩说等官僚，也就依样画葫芦，都说李陵应重重治罪。本来司马迁是用不着说话的，但武帝既欣赏其文才，又担心这位史臣将来如何落笔，故而特地问到了他。司马迁眼见这批官僚，前两天还盛赞李陵，今天又痛骂李陵，不给他留条退路，早就愤愤不平了。现在武帝主动地问他的意见，他逮住机会，决定为李陵说几句好话，也算是仗义执言，说道：“李陵只率领五千步兵，深入匈奴，孤军奋战，杀死的敌人数量比自己的军队人数还多。在救兵迟迟不到，弓矢都用完了，粮食也没有了的情况下，仍然奋勇杀敌。就是古代名将也不过如此。李陵自己虽然陷于失败之中，而他杀伤的匈奴之多，立下的赫赫功劳，也足以显赫天下了。他之所以不死，而是投降了匈奴，一定是想寻找适当的机会再报答汉室。”
待司马迁说完，群臣噤若寒蝉，只见汉武帝龙颜大怒，斥道：“你的语言含讥带讽，似乎在暗示大将李广利没有尽到责任，是吗？李陵叛国投敌，罪不容饶，你和李陵是什么关系，竟要袒护他？”皇上将司马迁的话无限上纲上线，和李广利联系起来，就麻烦了。要知道李广利可是汉武帝当时最宠爱的女人的哥哥，岂能容得外人说他的坏话，即使暗示他无能也不行，攻击李广利就是攻击皇上。因此，司马迁一通大实话，反而给自己带来牢狱之灾。汉武帝当即以攻击污蔑咒骂皇上为罪名，将司马迁打入大牢。
这次对匈奴的战争，皇上的计划是以李广利为主力，李陵的任务不过是战略上帮他牵制匈奴兵力的助攻而已。但是仗打下来的结果，李广利领军从酒泉出发，和匈奴右贤王在天山（在今新疆吐鲁番或哈密一带）大战，据说斩虏万余级，成绩虽有，可是回来的路上却被匈奴包围，好几天断粮断水，死伤甚多，后来还是靠英勇善战的赵充国带领百余人组成的敢死队英勇突围，李广利才率领大军跟着逃出来，不致于全军覆灭，而当初以三万骑出战，回来时已损失了三分之二，总而言之，无战绩可言。
反观李陵，深入敌境，与且鞮侯单于相遇，以区区五千步兵，斩敌无数，几乎牵动匈奴全国，战果显然在李广利之上。
但武帝在军队配备及有关的部署方面，始终是厚此薄彼，即偏重李广利，而轻视李陵的。这是武帝绝不容许任何人触碰的“隐痛”，也是他心虚的地方，可是正义的司马迁，偏偏去碰了它，无意间去“刺伤”了它。本来，司马迁准备好充分的说词，想把事实的可能真相说清楚，同时用规劝的言辞排解武帝心中的郁闷，谁知他刚一开口表示同情李陵，并推崇其战果，就使“心虚”的武帝为之震怒。
武帝愤怒地认为他是以称颂李陵来讽刺李广利，所以不让他继续陈述意见就交付狱官审理。
司马迁下狱是天汉三年（公元前98年）的事情，而李陵败降匈奴是在前一年的冬天。
司马迁蒙冤入狱不算，又落到了当时有名的酷吏杜周手里。杜周对司马迁是严刑逼供。司马迁虽然瘦，可也是关中的硬汉子，又有文人气节，哪里肯为了少受些皮肉之苦而认罪。于是一直困于牢中，等待皇上开恩释放。
但武帝这方面也有转机，这位皇帝还是有头脑的，他经过一段时间冷静以后，深刻自我反省，醒悟到李陵之所以战败军没，是因为孤军深入，没有后援的缘故，他也想起当初是自己的安排有错误，致使老练奸诈的路博德能够上书愚弄他。于是，他派遣特使，带上一些当时较难得到的物品，去慰劳李陵军队中最后逃回边塞的四百余名士兵。
不过，司马迁的“罪愆”并未因而消失，他仍待在黑暗的牢狱中等待判决。很不幸，在第二年又有一个天大的误会发生，使司马迁和李陵的悲剧急转直下。
天汉四年（公元前97年）春，武帝再次发动天下壮士，分道北征。如前所述，贰师将军李广利，带领骑兵六万，步兵七万，从朔方出发，担任正面主攻的任务；强弩都尉路博德，率万余人为后援；游击将军韩说，率领步兵三万人从五原出发，攻击匈奴。又命令公孙敖将军，领骑兵万余人，步兵三万人从雁门出发，寻找匈奴作战。各将奉命后，在金殿向皇帝辞行，皇帝将公孙敖唤到一边，向他耳语道：“李陵败降匈奴，听说他有回国的志向，不知是真的吗？你如果能利用此次机会，深入匈奴大本营，迎接李陵还朝，你也算不虚此行了。”公孙敖表示一定遵命办到。
由此可见，武帝此时对李陵已完全谅解，而这段时间，司马迁之所以迟迟没有定罪，与武帝这种心情或许也有关系。这个迎接李陵还朝的行动如果成功，可能也会对司马迁的被判决产生良好的影响。
汉朝三路兵马陆续出塞，随即有匈奴侦骑，飞报且鞮侯单于，单于将老弱辎重都转移到北边，自己带着精壮骑兵十万，屯驻南边，等李广利的兵马到了，双方交战数次，互有杀伤。李广利没有占到半点便宜，他担心军队疲乏和军粮断绝，便带着人马向边塞撤退，匈奴兵却随后追来，恰好路博德带领的后援兵赶到接应，匈奴兵方才退去。李广利也不愿和路博德联兵再进攻，就一同南归。游击将军韩说，到了塞外，没有遇到匈奴兵，也随即折回。
公孙敖将军一到塞外，就遇到了强大的左贤王军队，战不多久，汉军损兵折将，匈奴占了上风，形势不利，公孙敖慌忙退兵。主将自思自想，回朝后没有什么好的战果可汇报的，恐怕受处分，不如捏造谎言，回奏武帝。只说从捕得的俘虏口中得知，李陵在匈奴国大受宠幸，正为匈奴加紧练兵对付汉帝国，所以为臣不敢深入，只好回军。他在武帝面前，把自己“无所得”而回，归因于李陵这个自己人的资敌行为。
这个假情报实在足够令武帝头昏眼花，他又在暴怒之下抄了李陵的家。李陵的父族、母族、妻族全部的亲戚都被抓了起来。武帝命人先在他们脸上刺字，割掉他们的鼻子，再切掉两脚的指头。在一片呼天抢地的惨叫声中，李陵的亲人被执刑的人用棍子活活打死。这还不够，又把他们的头一个个砍下来，挂在旗杆上，把尸体剁成肉酱丢到市集，任凭百姓拿去饲养猫狗。当时的人类离野蛮状态不远，帝王都嗜血好杀。只有孔子、孟子等人类的良心才劝人少杀、止杀。
武帝杀了李陵全家后，又想到司马迁还在牢里，没有定罪，马上把酷吏杜周找来，命令他立刻判司马迁死刑。于是，可怜的司马迁被判“诬罔”之罪，即“无中生有的欺骗皇帝的罪过”，按照汉朝法律，犯诬罔罪的应当处死。
这简直是晴天霹雳，司马迁本来期望能无罪释放呢！一听到被判死刑的消息，他首先想到的是自己没有完成父亲的遗愿。《太史公书》还未定稿，只是一堆混乱的竹简，就这样死了，如何有脸面去见九泉之下的父亲。
他也想到死刑的可怕，他曾在长安的东市看到处死犯人的场面，汉景帝时，大臣晁错是在那儿被处死的，汉武帝时，权倾朝野的豪杰灌夫一家在那儿被斩首，魏武侯窦婴也在那儿被处死，这种处死人的方法名叫“弃市”。司马迁亲眼看见，窦婴被斩首前，百姓们纷纷用石头瓦块投向窦婴，窦婴无处躲藏，只能任其投掷，被打得遍体鳞伤、奄奄一息后，才被砍头。窦婴可不是一般的人，吴楚七国之乱时，他担任大将军，守卫荥阳，监督齐国和赵国的军队。七国之乱平定以后，他因功封为魏其侯。汉景帝末年，他每次上朝时，诸列侯没有谁敢和他分庭抗礼。汉武帝建元元年（公元前140年），他还出任宰相。如此显贵的人物，结局尚且如此。一个小小的太史令伏法受诛，就像九头牛丢了一根毫毛，整个社会不会因此而少掉什么。社会继续运转下去，可是你却永远不存在了。
司马迁在思索，如果这次能避免死亡，在有生之年，还可做很多事情，特别是完成这部已经写了一半的《史记》。于是他寻找一条免死而出狱的道路。
当司马迁在监狱中寻找一条免死的出路的时候，李陵案件的事实真相又进一步被弄明白。公元前96年，武帝改元太始，取与民更始的意思。恰好这年匈奴的且鞮侯单于死了，其子狐鹿姑单于（公元前96年—前85年在位）继立，派使者到汉朝报丧，汉朝也派使者前往吊唁。李陵闻知家属被戮，痛苦而困惑地询问一位汉使者说：“我为汉家率步兵五千，横行于匈奴，因无援而败，我有哪点地方负于汉家？为什么被满门抄斩！”
使者就把原委告诉他，李陵这才恍然大悟，原来他又被误会了，他哪里有为匈奴练兵的事啊！那个为匈奴练兵的不是他，是另一个汉朝的降将李绪。一字之差，使他遭受了人间最大的惨祸！他愤怒地派人把李绪杀了，但因当时李绪在匈奴国的地位在李陵之上，单于的母亲大阏氏闻李绪被杀，就想杀李陵，幸赖单于把他藏在北方，等到大阏氏死了之后才又回来。单于对李陵甚为礼遇，把女儿嫁给他，立为右校王，居在外，有大事才召回参议。从此，李陵断了归汉之心，胡服胡语，永为异域之人。他恨汉家斩了他满门，他恨“老母已死，虽欲报恩将安归！”
这个真相很快传回汉帝国，已经六十岁的武帝显然发现自己又错了。
也许武帝真有赦免司马迁的意图，早在公元前97年，他就下令公布一条法令：“令死罪人赎钱五十万，减死一等。”
五十万钱究竟是多少？当时行的是五铢钱，五十万个五铢钱，约合黄金五斤的价值。拿出五十万钱就可免死，是给司马迁一条生路。可是，他父亲当太史令三十年，他自己到入狱时也担任了十年太史令，两袖清风，并没有积下什么财富。转向朋友求援的结果，竟是“往日交游的朋友没有一人愿意救他”，“左邻右舍和亲戚来往的人中没有一个替他说话”，谁敢为一个因触怒皇帝而被判刑的罪犯出钱出力？谁又敢保证帮了他的忙以后，会不会惹祸上身？
这条法令看似一线生机，实际上对司马迁已失去作用。所以此时的司马迁要避免死亡，只有另一条生路——受腐刑以免死。这条法令最早见于五十年前，汉景帝四年（公元前146年），武帝时仍然沿用。
两害相权取其较轻，他选择受腐刑以免死。
腐刑就是男人去势的宫刑，因为男人去势后，无法再生育，有如腐木不再生果实，所以称为腐刑。谈到腐刑就会使人想起宦官。其实司马迁以前的古代，受腐刑及作宦官的，与普通士人比起来，并没有如后世那样地受歧视。在秦朝的时候，宦官赵高，为郎中令，而且担任秦二世的老师。因此，容易与宦官连成一体的受腐刑，固然难免遭到讥笑，但还不致如我们后世所想的那么坏。
大概在天汉四年与太始元年（公元前97—前96年）之间，司马迁下到了蚕室——接受这种刑法的人，畏风怕冷，随时都有生命危险，因此在施刑的牢房当中必须保暖，就好像民间养蚕的屋子一样，所以，受宫刑也叫下蚕室。
受刑后的司马迁，一天之内，要承受许多次精神痛苦的折磨，在家独坐，则魂不守舍，六神无主，似乎自己已经不在尘世，出门走走，则不知道自己该到哪里去。恍恍惚惚，不可终日。俗话说：“病从口入，祸从口出。”只因为多说了几句话就“遇遭此祸”，他那些乡亲们都耻笑他，说他污辱了祖先！他自己也愧对死去的父母，觉得没有面目再去父母的丘墓前祭拜，每念至此，就痛苦得汗流浃背，粘住衣服！这种痛苦的心情，直到五六年后，在他写给朋友任安的信中，才尽情倾吐。
受了腐刑之后，司马迁已不再适宜担任太史令，因为那是与管理宗庙有关的官，身体“残缺”的人不宜任职。而武帝这边，李陵案已经过去，他心里明白李陵到最后是被他几次误会所逼反，这事件已没有必要再追究下去。如果他除了身为皇帝并且还具有普通人的良知的话，他会连带地对司马迁感到一丝歉疚，何况司马迁的才能，他早就了解，因此，他又把司马迁从狱中调到自己身边工作。
司马迁被任命的新职务是中书令，中书令官秩千石，比太史令的俸禄可能要高些。中书令原来叫尚书令，武帝晚年喜欢在后宫遥控政府，于是，掌管“出纳王命”（管理大臣所呈奏书，称为收文；又发出皇帝签字判行的命令，称为发文）工作的尚书令，就有机会在中间掌控权力，等于是皇帝的秘书长。尚书令本来由士人担任，可能从司马迁开始，就由宦官担任了。司马迁实际上已经是宦官，但后世实在不忍将他归入后来那些腐败无耻的宦官之中，故不明言。
自从太初元年（公元前104年）司马迁执笔写《史记》以来，到李陵案发生而下狱时，这项工作已进行了七年。在狱中的两三年期间，据说他也没有停止写作，但他的心情已全然改观，并延续到写完为止。李陵案的余响在《史记》中，往往可以闻见，其所受的创伤也有了相当程度的反映。
