熙宁四年（1071），吕公著也被投闲至洛阳。他与司马光都是“安乐窝”的常客。熙宁六年（1073）底的一天，他在“安乐窝”闷坐了半天，没说一句话。见司马光来了，才长叹一声，说：“民不堪命矣！”邵雍接过话来：“王介甫者远人，公与君实引荐至此，尚何言？”是你和司马光引荐王安石为执政的，现在还有什么好说的。“嘉祐四友”中，推荐王安石的是吕公著和韩维，没司马光。所以司马光生气地说：“公著之罪也！”吕公著又是一声叹息。怒气冲冲的司马光接着讲了他亲历的一段往事。此事记在其《涑水记闻·卷十五》中，特注明为“身见”：
熙宁初，余罢中丞，复归翰林（见第十九章），有成都进士李戒投书见访，云：“戒少学圣人之道，自谓不在颜回、孟轲之后。”其词孟浪，高自称誉，大率如此。又献《役法大要》，以谓：“民苦重役，不苦重税。但闻有因役破产者，不闻因税破产也。请增天下田税钱谷各十分之一，募人充役。仍命役重轻为三等，上等月给钱千五百、谷二斛，中下等以是为差。计雇役犹有羡余，可助经费。明公傥为言之于朝，幸而施行，公私不日皆富贵矣。”余试举一事难之曰：“衙前为何等？”戒曰：“上等。”余曰：“今夫衙前掌官物，败失者或破万金之产，彼肯顾千五百钱、两斛之谷，来应募邪？”戒不能对。余因谢遣之，曰：“仆已去言职，君宜诣当官者献之。”
居无何，复来投书，曰：“三皇不圣，五帝不圣，自生民以来，唯孔子为圣人耳。孔子没，孟轲以降盖不足言，今日复有明公，可继孔子者也。”余骇惧，遂还其书，曰：“足下何得为此语？”固请留书，余曰：“若留君书，是当而有之也，死必不敢。”又欲授余左右，余叱左右使勿接，乃退。余以其狂妄，常语于同列，以资戏笑。
时韩子华（韩绛）知成都，戒亦尝以此策献之，子华大以为然。及入为三司使，欲奏行之，余与同列共笑且难之，子华意沮，乃止。及介甫（王安石）为相，（韩绛）同制置三司条例司，为介甫言之，介甫亦以为善，雇役之议自此起。时李戒已得心疾，罢举归成都矣。
李戒的形象确实狂妄，但施行免役法绝非只因听了李戒的建议。而在保守派眼里，变法派所依靠的都是李戒式的人物。但如今王安石羽翼逐渐丰满，保守派似乎有点无可奈何了。
“不见得！”邵雍说，听说太皇太后、太后都出来说话了。
“喜极以泣”
说来也怪，变法开始以来，老天爷很给神宗和王安石面子，连续五年未遇大灾，没有出现司马光所预测的“父子不相见，兄弟妻子离散”的情况，可到熙宁六年（1073）秋天，河北发生蝗灾，紧接着是全国性的大面积旱灾，神宗“避正殿，减常膳”，派大臣到处祭神求雨，可直到熙宁七年（1074）三月，旱象依旧。于是，保守派利用天灾，精心策划了一场对王安石的反击战。这次反击以市易法为突破口，分宫内外两个紧密配合的战场。
市易法是熙宁五年（1072）颁行的，始作俑者是同勾管秦凤路经略司机宜文字王韶。他在陇州古渭城设市易务，管理商货，借官钱为本，每年获利一二十万贯。受此启发，草泽魏继宗上书，建议在京城也设立市易务。京城有类似今行业协会的行会，掌握在富商大姓手中，行首即行业霸主。行会不用交营业税，但必须“支应”，即服行役，就是按官府的要求供应物资。官司上下勒索，实供数往往在例额的十倍以上。稍不如意，即借故严惩，屡屡造成商户破产。以羊肉为例，仁宗时仅皇宫每月就需三万余只（当时富人不吃猪肉），一是靠屠户服行役无偿提供，二是采购，按采买宦官所定的价格，由行首分摊到各家屠户，其实是一种强买强卖。市易法把定价权收归市易务，类似于今之物价局，剥夺了富商操纵价格的特权；同时，仿青苗法给缺钱商户贷款或赊除货物，年取息二分，遏制了大贾放高利贷，但没有解决商户服行役的问题。熙宁六年（1073）四月，开封肉行徐中行等商户联名请愿，要求废止“支应”供肉，仿照乡村免役钱法，交纳免行役钱。神宗令主持市易务的吕嘉问与开封府有关部门详定后，于八月公布《免行条贯》。商户宁愿明明白白地交免行钱，而不愿不明不白地供货，可宦官、宗室、外戚一下炸了锅。他们过去只须一句话，就要啥有啥，现在必须到市场按价购买，这不是变法，而是变天！
仁宗曹皇后（太皇太后）、英宗高皇后（皇太后）和神宗向皇后，异口同声“言新法害民”，“两宫乃至泣下，忧京师乱起”。市易法值得她们哭鼻子吗？有必要了解一下她们的身世。仁宗曹皇后是太祖、太宗时的枢密使曹彬的孙女，曹彬死后被封周武惠王；英宗高皇后是真宗时的殿前都指挥使高琼的曾孙女，其母是仁宗曹皇后之姊；神宗向皇后是真宗朝宰相向敏中的曾孙女。三位皇后的娘家都是靠祖宗功劳坐享厚禄的寄生虫，一成外戚，寄生虫变成了“寄生龙”。神宗问王安石：“为什么后族都反对新法？”王安石一针见血地指出：如皇后的父亲向经自来影占行人，推行免行新法后，行人不给他无偿供货了，他请市易司通融，被拒绝。再如，太皇太后的弟弟曹佾赊买木材不给钱，而太皇太后派去给他修宅邸的宦官却诬告市易司将木材强买了，此事已被开封府查实。如向经、曹佾之类，怎能不反对新法？
后族在宫内叫唤，保守派大佬在宫外呼应。熙宁六年（1073）华山山崩，文彦博上疏说是因为市易司差官自卖果实所致。他们把大旱的原因也归咎为“变法触动了天怒”。
在内外夹击下，神宗支持变法的立场开始动摇，变法派中的投机分子也见风使舵，突然倒戈。三司使曾布和上书要求在京城设市易务的魏继宗也反开了市易法。三月二十八日，神宗下了一道罪己的诏书：
朕涉道日浅，晻于致治，政失厥中，以干阴阳之和。乃自冬迄今，旱暵为虐，四海之内，被灾者广，间诏有司，损常膳，避正殿，冀以塞责消变，历月滋久，未蒙休应。嗷嗷下民，大命近止，中夜以兴，震悸靡宁，永唯其咎，未知攸出。意者朕之听纳不得于理欤？狱讼非其情欤？赋敛失其节欤？忠谋谠言郁于上闻，而阿谀壅蔽以成其私者众欤？何嘉气之久不效也？应中外文武臣僚，并许实封言朝政阙失，朕将亲览，考求其当，以辅政理……
（《长编·卷二百五十一·熙宁七年三月乙丑》）
此诏出自翰林学士承旨韩维之手，其中的四个“欤？”目标直指王安石。《宋史·韩维传》说，诏出，“人情大悦”，“是日乃雨”。而李焘著《长编》考证：《实录》不载“是日雨，恐本传或有润饰”。且说此诏传到洛阳，司马光看后喜极而泣。邵雍、张次山等人告诉他，有个叫郑侠的，是王安石之子王雱的学生，响应神宗诏书，上《流民图》言民间疾苦，你也该说话了。是的。来洛时，他曾发誓“绝口不复言政事”，现在诏求直言，他要痛痛快快地发声了。
四月十八日，他写下了洋洋四千言的《应诏言朝政阙失状》[1]。开篇第一句话就是“臣伏读诏书，喜极以泣”。在历数了王安石的罪状后说：
方今朝政阙失，其大者有六而已：一曰广散青苗钱，使民负债日重，而县官无所得；二曰免上户之役，敛下户之钱，以养浮浪之人；三曰置市易司，与细民争利，而实散官物；四曰中国未治而侵扰四夷，得少失多；五曰团结保甲，教习凶器以疲扰农民；六曰轻信狂狡之人，妄兴水利，劳民费财……凡此六者之为害，人无贵贱愚智，莫不知之，乃至陛下左右前后之臣，日誉新法之善者，其心亦知其不可，但欲希合圣心，附会执政，盗富贵耳……但愿陛下勿询阿谀之党，勿询权臣之意，断志罢之……
……今年以来，臣衰疾浸增，恐万一溘先朝露（突然死了），赍（带着）怀忠不尽之情，长抱恨于黄泉，是以冒死一为陛下言之。倘陛下犹弃忽而不信，此则天也，臣不敢复言矣。
司马光在洛阳写这篇奏疏的时候，皇宫中，神宗带着皇弟岐王赵颢一起去向太皇太后请安。太皇太后说：“吾闻民间甚苦青苗助役钱，盖罢之。”神宗说：“此以利民，非苦之也。”太皇太后说：“王安石诚有才学，然怨之者众，上欲保全，不若暂出之于外，岁余复召可也。”神宗说：“群臣中，唯安石能横身为国家当事耳。”赵颢见顶开了牛，插话说：“太皇太后之言，至言也，陛下不可不思。”神宗火了，说：“是我败坏天下耶？汝自为之。”赵颢吓得哭起来，会见不欢而散。但神宗发火显示的不是坚强，而是彷徨。隔天当太皇太后和太后一起向他哭诉“王安石变乱天下”时，他也跟着流涕不止。两难啊！不变法就不可能富国强兵；而离开了包括后族在内的大地主、大官僚的支持，龙椅就会摇晃。封建王朝的阶级本质决定了神宗的改革不可能彻底。从太皇太后宫出来，他就要求王安石清理新法，能罢则罢。神宗立场倒退，王安石只好求去，四月十九日以观文殿大学士、吏部尚书知江宁府（今南京）。
太好了！王安石的离去让保守派欢呼雀跃，举杯相庆。司马光的奏疏虽然对王安石之贬没起直接作用，但保守派要借此大做文章。关于上《流民图》的郑侠，司马光据邵雍等人的传闻记录道：“侠以选人（等候差遣的低级文官）监安上门（东京外城西南门），上言：‘新制，使选人监京城门，民所赍（携带）物，无细大皆征（税）之，使贫民愁怨。人主居深宫，或不知之，乃画图并进之。’朝廷以为狂，笑而不问。会王介甫请罢相，上未之许，侠上言：‘天旱由安石所致，若罢安石，天必雨。’既而介甫出知江宁府，是日雨。”[2]当代宋史权威邓广铭先生考证说：“郑侠的这道奏章，现乃保存在他的《西塘集》中，其中并无‘天旱安石所致’云云一段话，可知这段记事并不可靠。”“司马光在这些误记之处所应承受的责难，只是不经核实而采取了有闻必录的态度加以传布罢了。宋朝《国史》和元修《宋史》中的《王安石传》都相沿采用了《记闻》的这段记载，这自然是司马光所不曾预料到的了。”（《略论有关涑水记闻的几个问题》）郑侠被奉为反变法的英雄，愈往后以讹传讹的成分愈大。清编《续资治通鉴》卷七十载郑侠上《流民图》疏曰：“……陛下观臣之图，行臣之言，十日不雨，即乞斩臣宣德门外，以正欺君之罪。”神宗听了他的，指示清理新法，修订或废止的“凡十有八事”，“是日，果雨”。如此误记误传，无非是为了说明，反变法符合天意。
当时，天虽然没下雨，但司马光奏疏中的要求部分得到了实现，比如，免行钱被部分取消而“依旧支应”，尤其让大地主高兴的是在灾区“劝诱积蓄之家赊贷钱谷”，而利息由官府催收。然而，接下来的事却让他们大失所望，王安石走了，而新法大多未被废除。接替王安石的宰相韩绛被称为“传法沙门”，参知政事吕惠卿被称为“护法善神”，并且开始了对保守派阴谋的追查，查出画《流民图》的郑侠乃是受副相冯京和王安国指使，郑侠被流放英州编管，冯京被罢副相，王安国被免官归田。“喜极以泣”的司马光空欢喜了一场，他判西京御史台的职务也被免去，改任提举嵩山崇福宫，从此，终神宗之世，他再没有上疏言政事，把主要精力花在《通鉴》上。
然而，熙宁、元丰间，保守派的大本营在洛阳。司马光在编书，埋头在故纸堆里，但他仍然是保守派的旗手，各类保守派人士聚集在他的周围。
道学圈子
朱熹将司马光与周敦颐、邵雍、张载、程颢、程颐一起，并称为北宋“道学六先生”。熙宁中晚期，上述“六先生”，周敦颐在南方，于熙宁六年（1073）逝世，其余五人，四人住在洛阳，张载在关中讲学（关学），但时来洛阳，于是洛阳一时成为道学中心。在这个道学圈子中，邵雍、张载、程颐，三个处士，司马光和程颢是官，司马光官大名气大，自然成为召集人。胡适说“司马光为理学的开山祖师”，漆侠说“司马光在经学上足以成家”[3]。但朱熹后来将“道学六先生”改为“北宋五子”时，把司马光排除在外了。漆侠先生说：“朱熹以其狭隘的道统观否定了司马光同伊洛之间的关系，但司马光有关《中庸》的重要阐释，诸如‘治方寸之地’，以及正心、诚意等方法，毫无疑问对程氏兄弟创建的理学给予了有力的影响。”[4]不过，对道学的性命之学，程颐讥讽司马光“未尝学”，只是“资禀过人耳”[5]。程颐有次携高足畅大隐拜访司马光，畅大隐高谈性善恶，司马光劈头训斥曰：“颜状（长相）未离于婴孩，高谈以至于性命。”程颐只好尴尬一笑。如非王安石变法，他与二程也许“和”不到一起，理学也恐怕难成气候。借用现代一句经济学术语，理学是“借壳上市”。这个“壳”，就是反王安石变法。