之后，壶遂又冷静地问道：“孔子当日不遇明君，到处碰壁不被任用，最后没有办法才作《春秋》，从文辞记事中表明礼义，以垂后世，作为一个新王的法律。至于现在，你已经遇到了圣明天子，得到了一定的官职，天下万事都是有条有理，各得其当的，足见已有王法了。你要续作《春秋》，究竟想要说明什么？”壶遂的这一反问，确实有道理。因为过分强调《春秋》对乱世的作用，而司马迁又要续作《春秋》，那就无异于说当今不是什么太平盛世，而是一个乱世了。司马迁也知道片面强调孔子作《春秋》对乱世的作用是不完全的、有问题的。于是司马迁就以谦虚的态度说：“你的话很对。但是你还没有完全了解我的意思。我记得先父曾说过，伏羲那样淳朴，也作过《易》，尧舜的盛德明载于《尚书》，汤武的兴隆有诗人歌颂。孔子作《春秋》，本来有两方面的作用，采善贬恶，推求三代之德以褒扬周室，并非仅仅是讥讽。汉兴以来，至当今天子，出现了瑞符，举行了封禅，改换了制度，受命于天，恩泽遍施。我现在是史官，废弃盛德而不记载，绝灭功臣、世家、贤大夫的事业而不论述，忘记先人的遗言，这是莫大的罪过。我的计划不过是叙述故事，把杂乱的异闻传说整齐化、系统化而已，并不是什么创作，而你比之于作《春秋》，那是不对的。”通过与壶遂的谈话，司马迁著述的意志更加坚定了。
他除了继父志而修史外，对《春秋》深刻的认识和对现实史学需要的迫切感受，同样促成了《史记》的写作。司马迁认为六经各有其功用和特点，但六经之中最重要的是《春秋》。他说：“《春秋》往上阐明了三王之道，往下辨明了人事纲纪，是礼仪之大宗，王道之大者。”他把《春秋》的性质与功用阐述得很透彻，是因为他有着独到的眼光。
因为对六经有全面的认识，他认同父亲确定了撰述原则：“绍明世，正《易》传，继《春秋》，本《诗》《书》《礼》《乐》之际。”即“著天地阴阳四时五行，故长于变”的《易》为历史考察的指导，参照《诗》《书》《礼》《乐》所阐发的原则，著成一部像《春秋》那样的历史巨著来。这个目标也使得《史记》有了很高的撰述起点，保证了它的成功。而当时的时代条件，也为司马迁著述《史记》提供了保障。当时汉朝已建立百余年，而武帝时在巩固大一统政权方面又取得了伟大的历史成就，客观上也需要把这一历史记录下来，完成宣扬大汉之威的历史使命。而对此，他也有自觉的意识。就在完成改历这一年，即太初元年，司马迁开始了著述工作。这一年他42岁。
（三）李陵之祸 发奋著书
汉武帝太初元年（公元前104年），42岁的司马迁开始着手撰述《史记》。他见博识广，精力充沛，废寝忘食地工作着。然而，有思想有个性同时又是朝廷官员的他也置身于现实社会错综复杂的人际关系之中。
司马迁从太初元年开始撰写《史记》，经过七个寒暑，到天汉三年（公元前98年），“太史公遭李陵之祸，幽于缧绁”，蒙受了极大的冤屈，这其中与一个人物直接相关，就是李陵。
李陵，字少卿，陇西成纪（今甘肃静宁南）人，西汉名将，李广之孙。李陵之父是李广长子李当户，李当户早死，李陵为遗腹子。李陵成年后，被选拔为建章宫羽林军的长官，他擅长射箭，十分爱护手下的士兵。汉武帝因李家世代为将，便让他带领八百骑兵。李陵曾带兵深入匈奴腹地两千余里，侦察地形，但没有发现敌人。后又被任命为骑都尉，率丹阳郡的楚兵五千名，在酒泉、张掖一带教练射术，以防备匈奴。天汉二年（公元前99年）秋，汉武帝遣贰师将军李广利率领骑兵三万出酒泉（今甘肃酒泉县），击匈奴右贤王于天山，同时，又想派李陵从张掖赶回来（今张掖县西北），为李广利军监护辎重。李陵却表示愿率所部五千人直捣单于主力。武帝对他的英勇大加称赞并应允了他。李陵率五千名弓箭手从居延北出发，不久匈奴且鞮侯单于以三万骑兵围困李陵军于两山之间。汉军以辎重车为营，布阵于营外，前列士兵持戟盾，后列士兵持弓箭。匈奴见汉军人少，便向汉军进攻，结果遭到汉军千弩急射，匈奴兵应弦而倒，被迫退走上山，汉军追击，杀数千人。单于大惊，急调左右部八万余骑攻打李陵，李陵且战且退，士兵伤重者卧于车上，伤轻者推车，再轻者持兵器搏战。李陵说：“我军士气为何不振？难道有女子充于军中吗？”原来刚出征时，一些关东盗贼的妻子因迁徙而随之行军，藏于车中，后被李陵发现，全部处斩。第二日再战，斩首三千余级。就这样，激战数十次，汉军多数战死。这场战役李陵以步兵与匈奴骑兵抗衡，孤军苦战，充分发挥了远射兵器弓、弩的作用，杀伤匈奴骑兵万余，其战术运用和战役指挥是成功的。但是由于汉军未能对李陵部实施必要的接应和支援，又遭遇匈奴单于主力，实力相差悬殊，最终造成李陵全军覆灭。
李陵战败的消息很快传到武帝那里。武帝得知李陵投降便大发雷霆，责问陈步乐，逼得陈步乐无话可说，只好自杀。朝廷里一班公卿王侯，当李陵未败时，曾对武帝庆幸恭维，这时听说李陵败了，也只好都说李陵有罪。司马迁之前与李陵一起做过官，可以说是同事，但与他谈不上深交。武帝于是问太史令司马迁，司马迁直言：“李陵这个人非常讲究忠孝，与士兵关系也非常亲近，对国家之急常常奋不顾身。现在李陵大败，是因为只有五千精兵，且与单于主力相遇，还要照顾伤员，在这种情况下还转战数千里，与敌人战斗到最后，实在是不容易，虽败，但还是值得赞扬的。”司马迁怀着一颗公道的心，为李陵说了几句好话，没想到武帝勃然大怒。这样说无形之中就贬低了贰师将军李广利，当时李广利由于李夫人的关系正得武帝宠爱，司马迁这番话无疑惹怒了武帝。就这样，司马迁被下狱，他的“款款之愚”和“拳拳之忠”，无法向武帝表白。
李陵在匈奴一年有余，武帝派公孙敖率兵入匈奴，后无功而还，公孙敖说：“我听说李陵教单于练兵以防备汉军，因此我无果而归。”武帝听说，将李陵母弟妻子全部诛杀，陇西士大夫都以李氏为愧，李氏的名声由此败落了。后来，汉遣使出使匈奴，才弄清事情真相，原来为匈奴单于备兵的不是李陵，而是李绪。李绪本为汉塞外都尉，居奚侯城，后来投降匈奴。李陵倍感悲痛，又无法归汉，于是才投降了匈奴。
李陵在塞外蒙冤而投降的同时，汉廷内部司马迁也因此事下狱。按照汉朝的规矩，即使死刑，也可以用钱赎罪，或者找人说情，也可以得到宽恕。然而，司马迁一条也不具备。他不仅没钱，也无一人肯为他讲话，包括他的那些朋友，因此，摆在他面前的只有两条路：死或者受宫刑。司马迁在给好友任安的信中曾说道：“家贫，财赂不足以自赎，交游莫救，左右亲近不为一言。”（《报任安书》）亲友无人能够帮助他，时年四十余岁的司马迁，遭此不测之命运何尝不想一死了之。但是，人死“或重于泰山，或轻于鸿毛”，死的价值何在？自己对良心和公正都没有违背，怎么就能这样死去！他以为“太上不辱先，其次不辱身，其次不辱理色，其次不辱辞令，其次诎体受辱，其次易服受辱，其次关木索被箠楚受辱，其次鬄毛发婴金铁受辱，其次毁肌肤断支体受辱，最下腐刑，极矣”。人是有尊严的，他想起“西伯拘而演《周易》；仲尼厄而作《春秋》；屈原放逐，乃赋《离骚》；左丘失明，厥有《国语》；孙子膑脚，《兵法》修列；不韦迁蜀，世传《吕览》；韩非囚秦，《说难》《孤愤》；《诗》三百篇，大氏（抵）贤圣发愤之所为作也。”述往事，思来者，这些人都是在遭遇不幸后发愤著书，以鸣其不平于天下后世的。而自己有著史的使命在身，因而必须活下去！“就极刑而无愠色”，他选择了残酷而耻辱的腐刑。从此，他写作的信念更加坚定，同时受封建社会帝王权势所摧残的现实感染，在著史过程中也有所流露。
李陵被俘了，司马迁受了刑。汉家朝廷上自然是持“罪者李陵”意见的这类人获得了胜利。而这些意见的持有者，也至少有相当一部分是司马迁指责的“全躯保妻子之臣”。在今天，明哲保身可以是一种批评，然而在古代，这却是儒家主张的做人的高境界。
司马迁出狱之后，大概在太始元年（公元前96年）左右，做了职高位尊中书令。中书令负责把皇帝的命令下达到尚书，也把尚书的奏折转呈给皇帝。从此以后，司马迁以一个宦者的身份，在内廷侍候，更接近武帝了，好像“尊宠任责”。但他除了坚持他的著述工作以外，对朝廷内外的一切事务，已经毫无兴味，因为他的内心忍受着病苦的煎熬和无限的愤恨。他的旧友益州刺史任安写信给他，用古贤臣的标准要求他。在他的回信——那封有名的《报任安书》里，司马迁把他因李陵事件而得祸的经过和蒙受的莫大耻辱，以及所以“隐忍苟活”而不能“推贤进士”的苦心，悲凉沉痛地呈献在故人面前，这里包含着深重的愤郁感情。在这封信里，司马迁说：“近年来，我不自量力，也把自己的思想表现在浅薄的文章里，搜罗天下散失的遗闻旧事，考核历史事实，研究事业成败的原因，探索朝代兴衰的道理，一共一百三十篇，也想用它来反映社会关系，通晓从古到今的变化，形成一家学说。”这样看来，此时司马迁毕生努力的著述工作已经基本完成，这是他的理想、血汗和坚忍不拔的精神的结晶。这一年，司马迁53岁。
司马迁终其一生，游历南北、出使西南、扈从封禅，做过郎中、太史令、中书令三个官职。在汉王朝的官僚系统中，这些官职的地位虽然不高，但也是由于这些官职，使他更为广泛地接触到了广大人民，认识了许多师友和著名人物，看到了封建王朝从内廷到外廷的官僚政治的面貌和实质。
司马迁有一个女儿，嫁给了官至丞相的华阴人杨敞，生二子忠、恽。杨恽非常喜爱外祖父司马迁所著的书，也是使之传布的第一人。