（一）扈从封禅 负薪塞河
继西南夷和南越之后，分布在今福建的一支越族——闽越也归附了汉王朝。从秦末汉初以来，常常侵袭汉朝北方边境的强敌匈奴，经过元朔二年（公元前127年）、元狩二年（公元前121年）、元狩四年（公元前119年）三次关键性的战役，终于被汉军逐出漠南，逐渐向西北迁徙，匈奴对汉的威胁基本上解除了。这样，汉王朝就达到了全盛时期，使得武帝很有理由设想进行封禅大典的事了。
武帝元封元年（公元前110年），司马迁回到长安，这时汉武帝正在举行封禅大典。封禅是古代帝王为祭拜天地而举行的活动。封禅，封为“祭天”（多指天子登上泰山筑坛祭天），禅为“祭地”（多指在泰山下的小丘除地祭地），“封禅”即古代帝王在太平盛世或天降祥瑞之时祭祀天地的大型典礼。汉武帝时，中央集权大大加强，四方少数民族得到有效治理，为了夸耀这一文治武功，昭示自己受命于天，在臣下的劝谏下，武帝准备亲往泰山封禅，并决定仿效古人，先“振兵释旅，然后封禅”（《汉书·武帝纪》）。据《史记·孝武本纪》说，汉武帝即位之初，就有人主张封禅。武帝本好儒术，经赵绾、王臧等人的议论，也不觉动心。于是准备立明堂朝见诸侯，并起草了巡狩、封禅、改历法、服色等制度。但是，当时窦太后还掌握着大权，窦太后不喜儒术而尊崇黄老，因此，对赵绾、王臧不满，结果赵、王二人被迫自杀，封禅之事被搁置。一直到元封元年（公元前110年）才正式封禅泰山。当年三月，汉武帝率群臣北巡朔方，耀威塞外。然后东巡海上，接着就东上泰山，派人在岱顶立石。四月，自定封禅礼仪，封禅结束后，汉武帝在明堂接受群臣的朝贺，并改年号元鼎为元封。武帝即位是年号为建元，至此元封共有六个年号，每个年号皆六年。元封的封，自然是封禅的标志。
当武帝正在进行封禅的时候，司马迁从西南回到长安，没有见到武帝。于是赶到洛阳，见到了重病在身的父亲司马谈。司马谈侍从武帝封禅，因为有病在洛阳滞留。司马谈身为太史令，有责任记录国家大事，现在却因病不能亲自参加国家的封禅大典，感到十分的失望和悲哀。在生命的最后一刻，他拉着司马迁的手，将后事托付给司马迁，并且说道：“今天子接千岁之统，封泰山，而余不得从行，是命也夫，命也夫！余死，汝必为太史，为太史无忘吾所欲论著矣。”可见，司马谈希望儿子司马迁继承史官事业，完成他正在进行的著史之事，把家族事业发扬光大，扬名后世，以显父母。司马迁深为父亲的言语所感动，在床榻前流泪表示：一定要继承父亲遗愿，“请悉论先人所次旧闻，弗敢阙”（《太史公自序》）。
封禅的第二年，元封二年（公元前109年）出现了负薪塞河事件。方士公孙卿报告说：“东莱山上神人出现，好像想见天子。”武帝听罢十分兴奋，即以公孙卿为中大夫。于是武帝东巡至东莱，留宿数日，也没看见神人，隐约看见有巨人的足迹。武帝觉得出巡无名，这时又久旱无雨，于是又祈祷于万里沙神祠，祭祀了泰山。然后就亲临濮阳（今河南濮阳县西南）的塞河工地。
原来早在元光三年（公元前132年）的五月，黄河在濮阳瓠子决了口，东南注入巨野（今山东巨野县），入淮泗，使十六郡人民受到灾害。当时武帝曾命汲黯发动十万人堵住决口，可是没有堵牢，还是常常决口。这时贵戚武安侯田蚡为丞相，他向武帝说：“江河决口都是天命所决定的，不要强以人力去修堵。即使堵住了，也未必是上天的意思。”武帝听了田蚡的话，停止了瓠子的堵堤工程。二十多年来，这个黄泛区就不断地发生灾害，年成很少丰收。直到举行封禅，在各处祭祀山川，武帝才又想起这件事来。大概他在此次东巡海上之前，已命汲仁、郭昌征发民工数万去塞瓠子了。这时武帝亲临濮阳的塞河工地，先举行了祭河礼，将白马玉璧沉到河中，然后命文武侍从百官，都去背柴，参加塞河工作。决口处先用竹子一排一排地打下桩，然后填上土石和柴草。这时是春天，因柴草缺乏，工程进行得很困难。武帝深怕这一次塞河又不成功，于是就用当时流行的楚歌体，作了两首悲壮苍凉的《瓠子歌》，为自己徒劳无功、愚惑人民的行为进行辩护。在武帝的亲临督责下，文武侍从都参加了劳动，数万大军也得到一定鼓舞，多年为害的瓠子决口终于堵塞住了。为了纪念塞河工程的完成，武帝还在瓠子新堤上建筑了一座宫殿，命名为宣房宫。
司马迁当时也参加了负薪行列。武帝的《瓠子歌》，也使他深受感动。他的《河渠志》就是在这一事件的直接影响下写出来的。
（二）为太史令 改历著述
司马谈逝世后的第三年，即元封三年（公元前108年），司马迁任太史令，这是他从事著述事业的起点。任太史令期间，司马迁开始整理史料，为他伟大的理想开始了奋斗的旅程。但同时，他要和做郎中时一样，继续侍从武帝。不过太史令的职务比较固定，比如筹备天地山川等的祭祀典礼。到了太初元年（公元前104年），司马迁倡议并主持了改历工作。当时，改历工作是封建王朝建立后改换旧制度的一个重要部分。战国时期，就流行着齐人邹衍最初倡议的五德终始说。这种学说企图说明：历史上的改朝换代是不断反复的现象，是由客观世界中木、火、土、金、水五种物质力量规律性地前后替代而决定的。这五种物质力量叫做五德，它们的不断替代、反复循环，叫做五德终始。谁要是得了五德中的一德，谁就是受命于天，应该作为一个朝代的统治者。汉兴以来，一直沿用秦的《颛顼历》，因此早有改正朔的必要。司马迁为太史令后，已经注意到了整理历法，到了元封七年，他就和太中大夫公孙卿、壶遂等上书从改正朔的实际需要出发，要求改历法。于是武帝任命司马迁、公孙卿、壶遂和侍郎尊、大典星射姓等共同制定汉历，废除已不适用的颛顼历，改用比较精确的太初历。
颛顼历是秦始皇统一中国后推行于全国的一种历法，以十月为岁首。自秦始皇二十六年至汉武帝太初元年共推行了一百一十七年，但《颛顼历》有一定的误差。公元前10 4年，天文学家落下闳、邓平等人制订了《太初历》。《太初历》规定一年等于 365.2502日，一月等于29.53086日；将原来以十月为岁首改为以正月为岁首；开始采用有利于农时的二十四节气；这是我国历法上一个划时代的进步。《太初历》不仅是我国第一部比较完整的历法，也是当时世界上最先进的历法，它问世以后，一共延用了一百八十九年。
汉代史官的主要职责有两个，一为司天，二为记事。因此司马迁对修改历法非常重视，认为这是自己平生最值得做的两大重要事业之一。在《史记·太史公自序》中，特别说道：“五年而当太初元年，十一月甲子朔旦冬至，天历始改，建于明堂，诸神受纪。”司马迁由郎官而升为太史令，也就由外廷转到了内廷，由皇帝身边的侍从官员变成了封建官僚系统中普通官吏的一员。也正是从任太史令开始，司马迁开始了伟大工程的建设，开始阅读、整理、收集资料，著述历史了。
改制之后，那种太平盛世的气氛，使司马迁仿佛感觉到：作为孔子的一个继承人，著作《春秋》那样一部史书的时候到来了。事实上，此时他也具备了撰述史书的主客观条件。
首先，汉武帝时代的社会条件需要撰写一部通史。从经济上来看，由于采取了轻徭薄赋的政策，人民群众有了从事生产的社会环境，到了武帝初年，社会经济逐渐恢复和发展起来。这段时间里，国家太平无事，无水旱之灾，百姓家给人足。农业、商业繁荣发展，财物、粮食累积得非常多。这同汉初那种经济凋敝的情况形成了鲜明的对比。从政治上来说，封建主义的中央集权制度得到了进一步发展。尤其在汉武帝时期，采取了一系列削弱诸侯割据势力的措施，中央集权的封建帝国才算真正完成，国家空前统一。同经济繁荣、政权巩固、国家统一相适应，武帝也进行了一系列的文化建设。而统一帝国也需要有一部规模巨大的历史著作，来记录社会历史发展的全貌，以便为当时的社会发展提供历史的借鉴。
其次，汉武帝时代的西汉社会也为司马迁写这部历史著作提供了充分的条件。一是资料的齐备。司马迁身为太史令，其职责就是保管、整理藏书，这就为编写历史巨著提供了非常优越的资料阅读、收集等条件。二是属于国家政典或其他形式的文书档案，多已公布于世，在社会上有一定影响。
就这样，封建国家出现了空前统一的局面，政治、经济、文化，都有了进一步的发展；但同时封建统治阶级对广大人民的压迫、剥削也日益严重和残酷，阶级矛盾和统治阶级内部的矛盾也不断地深化和复杂化。清理古代历史文化并记载秦汉以来的近代历史，是适应当时统治阶级的现实要求的。司马迁对父亲司马谈的遗言记得很清楚：“周公死后五百年而有孔子，孔子死后到现在又有五百年，是应该有人继承孔子，作一番述作事业的时候了。”因此，他觉得他有责任担当这种事业。
这时和司马迁一道参加改田工作的上大夫壶遂，曾问司马迁：“当日孔子为什么要作《春秋》呢？”司马迁首先根据老师董仲舒的议论回答说：“当日孔子见天下混乱，知道自己的道理行不通，就在二百四十二年的事件之中表明是非，作为天下后世的是非标准，空口说道理，还不如用事实来说明白有用。”接着他就以董氏一派春秋家的雄辩姿态，竭力赞扬了《春秋》的作用。认为《春秋》不是一部简单的大事记，而是封建统治阶级的一部政治道德全书。