北宋中期，尽管税收比开国之初增加了几倍，但由于冗兵、冗费和冗官等庞大开支，造成了国库空虚、入不敷出的严重局面。神宗即位后首先遇到的就是财政上的巨大亏缺。他向司马光、王安石等征询解决财政困难的办法。司马光主张从节约入手。他认为首先应该节省朝廷开支，注意节流，例如减少对于皇亲大臣的大量赐物等。王安石不同意这种看法，他提出节省开支不能解决根本问题，而应该从理财上着眼。两人在神宗面前曾经有过一次激烈的争论。当时河朔旱灾，国用不足，神宗下诏让司马光与王安石一同进见，商量应对办法。司马光说：“救灾节用，宜从亲贵近臣开始。”王安石反对说：“唐代常衮（ɡǔn）请免去政事堂宰相日常办事时饮食供应，时人认为常衮如果自觉不称职，应该辞去宰相的职位，不宜辞免禄食。况且府库空虚、国用不足，不是当世急务，所以造成不足的，是没有得到一位善于理财的人。”司马光说：“善于理财的，也不过赋税苛重而已。”王安石说：“并不如此，善于理财者，不加赋税而可以使国用充裕。”
司马光说：“天下哪里会有这个道理？天地生产的财货百物，不在于民间，就在于官府，如夺民所有，充实官府，造成的祸患比增加赋役还要大。这是桑弘羊欺骗汉武帝刘彻的话，太史公司马迁将它写在《史记》上，是要证明桑弘羊不明事理。”二人真是唇枪舌剑，互不相让。对于市易法与均输法司马光认为是与商人争利，不利于商品流通，对于保甲法，司马光认为实行下去会使农民不安心种地。司马光对解决家的财政危机，主张持重缓进，与王安石大刀阔斧的做法明显不同，他们二人曾有过形象的比喻，司马光说：“治天下有如处理房屋，破了则要修理，除了坏得很厉害是不重建的。而且重建非得要好的工匠和材料，如今两样都没有，我怕连风雨都不能挡蔽。”而王安石则认为：“治天下有如医生用药，要知道虚实热寒，当用治虚寒的方子时，纯用乌头附子也不嫌过热。”针对当时社会的严重病症，他们都开出了自己的医症药方，他们都是站在维护封建统治的立场上，为北宋王朝的长治久安而出谋划策。正如司马光对王安石说：“我和你趋向虽然不同，但大的目标是一样的。”王安石也说，自己与司马光“商议事情时常有分歧，是因为各人的方法不同”。可见他们的分歧，最初是源于解决问题的思想方法不同，司马光思想倾向沉稳持重，虑事缜密，但传统保守是很明显的；王安石则思想活跃激进、勇于标新立异，而慎重不足，在变法中有时操之过急，出现了一些失误，同时也用人不当，如对吕惠卿这样的人就缺乏全面的了解、考验。司马光在反对王安石推行的一系列新法时，持全盘否定的态度，这是很不对的，他在反对王安石变法中出现的某些消极的方面的同时，也反对了王安石的积极方面，这就导致了他们成为政敌的原因。而司马光在给王安石的三封长信中反复说明自己的观点，王安石却一点也不接受，这种刚愎自用的态度也不对，两位本来在政治上都想有所作为的政治家都固执偏拗（niù），使北宋的改革蒙受很大损失。
以后变法派与反对派已经势同水火，许多反对新法的辅弼大臣都被王安石赶出朝廷或主动提出辞职请求外任。司马光也被罢了翰林学士等职，又一次离开朝廷，于熙宁三年（1070）到永兴军（今陕西西安）任地方官去了。
辉煌世著《通鉴》斐然
熙宁四年（1071）。司马光又辞去了永兴军一职，改判西京（今河南洛阳）留司御使台，这是一个闲散职位。从此司马光便在洛阳住了十五年，远避朝廷党争，完成了主编《资治通鉴》任务。
司马光一生的主要成就，与其说在政治方面，不如说在学术方面。他的著述极多，除现存的《温国文正司马公文集》80卷外，还有《涑水纪闻》32卷，《稽古录》20卷，《通鉴节要》60卷等等，再加上《资治通鉴》，司马光之著述，在历史文学上是少有人可与之匹敌的。
《资治通鉴》是司马光主编的辉煌巨著，共分294卷。这部编年体中国通史，上起周威烈王23年（前403），下至后周世宗显德六年（959），记述了1362年的历史。此书的成就、地位和作用，在中国史学和世界史学史上都堪称不朽之作。
司马光早就想编一部简明系统的中国通史，自从他当了谏官等职以后，有了一定的条件，于是试着编了《周纪》和《秦纪》。宋英宗看了以后极为赞赏，让司马光继续编下去，并且为他创造了优越的条件，设立书局，并给他配备了助手。司马光先后选了刘恕、范祖禹等人为主要助手，司马康帮助抄校（jiào）。由于具备了人员、史料这两大条件，再加上到洛阳后有了一个安定的环境，这部巨著终于圆满完成了。
司马光的修书精神与毅力令人感动。为了修书，他常常拒不见客，日以继夜地工作。所参考的书之多，后人为之叹绝。据说光是草稿，就堆满了两间房子。《资治通鉴》一书凝集着司马光毕生的心血，如果从治平三年（公元1066年）编修《通鉴》的书局成立算起，到元丰七年（1084年）修成为止，历时就有19年之久；如果从嘉祐年间着手《通志》时算起，那么时间就不下30年。英宗对司马光编《资治通鉴》给予很大支持，英宗去世后，神宗也极为重视这一工作，他把原颖王府邸（dǐ）旧书2400卷赐给司马光，并认为司马光所编之书“以鉴于往事，有资于治道”，赐书名为《资治通鉴》。元丰七年书成后进呈神宗，神宗特降诏奖谕司马光，称赞他“博学多闻，贯穿古今”，“成一家之书”，并厚加赏赐，所以擢升司马光为资政殿学士。
司马光编撰《资治通鉴》的目的非常明确：“鉴前世之兴衰，考当今之得失。”即是总结历史经验，面对社会现实，使当朝执政者能够借鉴历史，解决现实社会中存在的重大问题，使北宋封建统治能够长期巩固下去。从这一意义上说，《资治通鉴》可以说是一部供皇帝阅鉴的历史教科书。
司马光在取材上特别注意“资治”的原则，在具体编撰中，一是删长举要，便于政务繁忙的君主得以阅鉴；一是专取历代政治，使群主得以“鉴前世之兴衰，考当今之得失”。他对于在长达1362年的历代王朝的治乱兴衰中发生的重大事件、朝廷统治的得失成败、重要政治人物的言论和行为、不同帝王的功过是非、农业的丰歉、人民的安定流离等，都作了突出的叙述。战争的胜负多是封建王朝兴亡、盛衰的关键问题。《资治通鉴》对于重大战役的描绘详尽、具体而生动。为提醒帝王时刻警惕“官逼民反”这一封建社会中的普遍现象，《资治通鉴》对农民起义的记载也比较真实、具体。司马光还在《资治通鉴》中写了190条史论，引前人史论99条，这些史论虽因史事而发，但寓政论于其中，以帮助帝王明白是非。总之，凡是有益于治政的内容无不网罗。《资治通鉴》把史和政有机地融和为—体，体现了司马光既是政治家，又是史学家的特殊才能。
《资治通鉴》问世以后，一直受到历代封建帝王和学者的推崇和重视，宋末元初史学家胡三省在《新注资治通鉴序》中写到：“为人君而不知《通鉴》，则上无以事君，下无以治民，为人子而不知《通鉴》，则谋身必至于辱先，作事不足以垂后。乃如用兵行师，创法立志，而不知迹古人之所以得，鉴古人之所以失则求胜而败，图利而害，此必然者也。”司马光既为封建社会的群臣留下了宝贵的统治经验，也为后人提供了鉴古知今的好教材，他的贡献是有目共睹的。
重返朝廷更张新法
元丰八年（公元1085年）三月神宗病逝，其子赵煦继位，是为哲宗，改元为元祐。年仅十岁的哲宗不能亲政，朝中大权由他的祖母太皇太后高氏掌握。这位太后一向器重司马光，反对王安石变法，她一上台，就派人问司马光应当先办什么，司马光说：“广开言路。”神宗临死之前曾留言让司马光和吕公著当赵煦的师傅。同年四月，司马光入朝任门下侍郎，元祐元年（1086）闰二丹司马光又升任尚书左仆射，做了宰相。这时他已经67岁，年迈力衰，身体多病，做宰相主持朝政虽已力不从心，但他还是兢兢业业为朝政操劳。
司马光此次执政，全力以赴地从事废除王安石新法的工作。任门下侍郎的第二天，他就上了《请更张新法札子》，把新法比之为毒药，请立即采取措施，全部“更张”。他说：“先帝定下来的制度，行之有效的虽百世以后也不可变。像王安石、吕惠卿所立的法，为害天下的，应当如同救火和救护溺水的人一样，立即更改。况太皇太后以母亲改儿子之法，并非儿子改父亲之法。”于是朝廷下令废除保甲团教，不再设保甲法；废市易法，所储存物都予以出售，不取利息，处理欠债；京东铁钱和茶盐之法，都恢复如旧。十二月四日又上一份《请革弊札子》，将王安石所行新法之弊病逐一列举。为了使自己的政治主张能够实现，罢废新法一事能顺利进行。入相以后他向高太后进言，陆续将因反对变法而被贬出各地的官员刘挚、范纯仁、李常、苏拭、苏辙等人召回宫中任职，吕公著、文颜博等老臣也逐渐回到朝中，委以要职。司马光前后几次上书，一概否定了王安石变法。在高太后的支持下，变法派的蔡确被罢相出知陈州；章惇（dūn）结果也被贬汝州。司马光这样粗暴地废除新法，不仅原来新法派的人物极力反对，就是原来反对变法的人也主张要慎重行事。范纯仁就曾劝司马光，对新法只要“去其太甚者可矣”，并且应当“徐徐经理，乃为得计”，如废保甲法时，对保甲当中那些武艺出众的人，就应该委派殿前司加以拣选；吕公著也认为对新法主要是纠正其弊害，不一定全面废除。但是此时司马光固执己见，根本听不进反对的意见。他认为“既知其为害于民，无益于国，便当一切废罢”。
从个人修养与品格方面上来说，司马光是值得称道的。他以忠信待人，自持恭位正直，居处有法度，举止有礼。在洛阳，每去夏县扫墓，总要去看望他的兄长司马旦，司马旦年近80，司马光待他如严父，关心他如婴儿。从小到老，司马光从不胡乱妄言，他曾说过：“我没有过人的才能，但平生所作，没有不可以对人说的。”他为人诚恳，天下人都敬重他。他处世淡泊，没有特别的爱好，于学术无所不通，只是不喜欢释老之学，说：“释老的微言大义不能超过《六经》范围，它的荒诞不经，我不能相信。”他在洛阳有田三顷，妻子去世，卖田下葬，一生缩衣节食。
元祐元年（1086）八月，司马光的病情突然加重，处于昏迷不醒的状态，九月一日去世，享年67岁。高太后和哲宗哀痛异常，亲临其丧礼。司马光被赠为太师温国公，谥文正。都城人民也为之哀痛，男女老少前往吊唁吊唁（yàn）：对遭遇丧事的人表示慰问，店铺都关上了门。岭南、封州的父老也相继来祭奠。