但“吴党”们并没有罢休，他们转而诬陷严起恒“结虎招权，谋危宗社……”又是一条“不赦”的死罪。这次王夫之仍然是挺身而出，冒死相谏。他与行人董云骧一起上书驳斥吴党污蔑严起恒的所谓“罪状”，肯定了严起恒的“进退有礼”。这种公开支持严起恒的做法自然要遭到吴党的忌恨，于是他们便将打击的矛头指向了王夫之，这就是“百梅恶诗案”。吴党人利用攸县的一个狂人写了一个《百梅恶诗》，又假冒王夫之之名写了一篇序，王化澄看了这个序之后就大作文章，企图利用文字狱来害死王夫之。王夫之闻讯后“愤激咯血”，可以说是被气昏了。这次幸亏又是高一功出手相助，王夫之才逃过一劫。
大难不死，永历政权中却已经没有王夫之的立足之地了。于是他只得带着妻子郑氏（清顺治七年续娶）返回衡州。返回中途又遇到连日大雨，几乎绝食而死。顺治八年（1651）年春天，王夫之终于回到了家乡，而此时，他的母亲谭太夫人已经逝世。国难，母丧，此时王夫之心里的抑郁可以想象。
从此，王夫之的出仕生涯便结束了。
不愿与农民军为伍
青年时代正是明末农民起义风起云涌的时代，当时李自成、张献忠领导的农民起义军规模空前，最后甚至推翻了腐朽、没落的朱明王朝。
儒生参加农民军也是古已有之。项羽军中的谋士范增、刘邦军中的张良、萧何、《水浒》中的智多星吴用、李自成军中的李岩、牛金星等，都应该是儒生参与“叛乱”。儒家一贯是反对犯上作乱的，所以历史上绝大数的农民起义者都被封建史家冠之以“贼”、“匪”或“寇”。其实所谓“成者王，败者寇”，想那汉高祖刘邦、明太祖朱元璋不也都是靠着农民起义打下的江山么？当然此时的王夫之可不这么想，在他眼里，儒生参加农民起义军，就是犯上，所以当然是坚决反对的，更不用说要请他自己参加了。只不过农民军对向他这样有威望、有学识的人还是有很大需求的，所以不断有农民起义军招请王夫之出山相助，对此，王夫之是能拒绝的就拒绝，拒不掉的就逃，反正就是不会接受招请。
首先给王夫之发出邀请函的是张献忠的农民义军，这一次，王夫之为躲避招请，跑到衡岳深山里躲了几个月。
张献忠在明崇祯三年（1630）投靠王嘉允参加农民起义军，因作战有功，很快就能独挡一面，崇祯十年（1637）他率军三十余万从河南进入湖广，击败了左良玉的部队，势力大盛。崇祯十六年（1643），张献忠趁朝廷在全力围剿李自成的部队时，在安徽发展势力，很快就攻陷武昌、长沙、衡州等地，进入湖广。由于义军发展迅速，在队伍不断壮大的同时，他们更重视招贤纳士，大量吸收知识分子参与农民起义。王夫之和王介之兄弟的文章学识在乡里早就享有盛名，所以张献忠部队到了衡州就十分急切地来招请王夫之兄弟了。
当得知王夫之兄弟为逃避义军招请已经出走躲避时，义军情急之下竟扣押了当时已经年过七十了的王夫之的父亲王朝聘，这种做法是典型的农民军的风格，虽然有点粗暴，也不失可爱之处，他们无非是想借此让王夫之出山而已。当然，话虽这么说，这被请的当事人一般可不会这么想的。义军在扣押了王朝聘后，对其也是软硬兼施，先是用软语相劝，说只要他让王夫之兄弟参加义军，便可立即放回他，同时又威胁说如果不答应的话，就把他投到湘水里。当时王夫之和王介之在其舅父的引领下躲避在衡山的莲花峰下，王介之听说义军以沉江来威胁七旬老父时，就说要出去救他父亲，宁愿自己去沉江而死。王夫之知道他哥哥的性格，如果他去的话可能父子两人都活不成，于是就想了一个苦肉计。他把自己的脸和手腕等处弄伤，然后去见义军，并说自己哥哥已经在逃难的过程中死了。义军看到王夫之身负重伤，亦表同情，而这时候王夫之有一个在义军军中供职的朋友也为之“曲意相脱”，这样义军才释放了王朝聘，而他自己也很快就逃了出来。
这件事过后他曾作了《九砺》赋九章。在《九砺》的序中，他明确表达了对农民起义军的痛恨之情，不但将起义军斥为“贼”，即便是对“从贼者”，不管是被迫的还是自愿的，一概都不能原谅。
从张献忠部队将父亲救出来之后，王夫之在黑沙潭匿迹了两个多月，这两个月的流亡生活着实不好过。当时的湖广巡抚堵胤锡想要到黑沙潭去拜访隐居在那的王夫之，被“寺僧以道险止行”，可见那里的环境有多恶劣。在黑沙潭躲避期间，有一次他得知儿子王勿药身染重病，他就下山去探视。当时本来就天寒地冻，又遭连日大雨，衣服都被打湿了，最后冷得他连话也说不出来了，差点就冻僵了，幸亏得到一朋友的帮助，也免于冻死于荒野。
但王夫之对农民军的这种敌视的态度并没有一成不变。随着李赤心、高一功、李定国等部队在联明抗清中不断发挥重要的作用，王夫之后来对农民军的观点和态度有了很大的变化。尽管这样，王夫之仍然一直不肯接受农民军的招请。
清顺治九年（1652），李定国进兵湖广，大破清兵，接着又下桂林、宝庆、梧州、柳州，直至衡州。李定国对王夫之的才学和品格早就有所耳闻，所以一到衡州便立即派人召请他。王夫之对李定国矢志抗清十分敬佩，也曾想应召前往，但在犹豫再三后，没有答应李定国。
王夫之犹豫什么呢？他是不放心孙可望。
当时的永历证券已经逃到了贵州，与大西农民军联合，而这个大西农民军正是由孙可望和李定国两个人共同率领的。和李定国一心反清不同的是，孙可望他曾诱杀严起恒，挟持了永历帝到安隆，又在云南自己造了宫殿，日益腐化，根本就不思进取。王夫之当时虽在深山，但对时局也有所洞察，他看到孙可望的所作所为，知道他是一个野心家，将来野心膨胀，必遭溃败，根本不堪信托。应该说王夫之的眼光还是很敏锐的，果然，此后数年，孙可望企图取代永历帝称帝，又密谋诱杀李定国，最后终于依附洪承畴投降了清朝，某种程度上讲加速了南明的灭亡。
正因如此，尽管李定国多次召请，其好友管嗣裘也曾劝说，王夫之都一一辞谢，并作《章灵赋》表明自己心迹。
虽然王夫之自始至终没有接受农民军的召请，但他对农民军态度的变化还是很明显的，这主要体现在他所编的《永历实录》中。在这本书中，王夫之不但为高一功、李赤心、李定国等一大批农民义军的将领立传，保存了大量的史料，而且对他们以及他们所率领的义军给了相当高的历史评价。如曾经从王化澄手下王夫之的高一功，他评价说“磊落行志”，“雅守志义”，以宋末民族英雄文天祥、陆秀夫为楷模，以国家民族利益至上；又说李定国虽出身农家子弟，却喜读书，好结交文士，还颂扬其卓著的抗清功勋，歌颂其对永历政权的一片忠心。从之前的“贼”、“寇”到如今的“民族英雄”、“抗清义士”，足见王夫之对农民军的转变。
其实王夫之给的评价是公允的。南明四个政权中，弘光、隆武政权都只维持了一两年，鲁监国也只有8年，而永历政权前前后后却持续了15年，这不能不说是个奇迹，而这个奇迹不是南明的军队创造的，而完全是靠与农民军的联合，是农民军替永历政权支撑了局面。
几次拒绝农民军的召请，也可以看出王夫之在政治上的日益成熟，他试图慢慢跳出政治的漩涡，以自己的方式去默默地关心着他的故明。
差点上了吴三桂的当
康熙十二年（1673），朝廷下令撤三藩，吴三桂自云南起兵叛乱，不久就演变成“三藩之乱”。此时的王夫之已在衡阳隐居了16年，而三藩之乱又让他经历了一次政治风浪的冲击和考验。
在衡阳定居期间，王夫先是经历了一次丧妻之痛，和他患难与共十余载的爱妻郑氏在顺治十八年（1661）六月病逝，年仅29岁，王夫之为其写了多首悼亡诗；这一年冬天，清军俘获永历帝，并将其绞杀于昆明，南明宣告覆亡，王夫之是第二年春天才传到衡阳的，王夫之听到消息顿时失声痛哭，作《悲愤诗》一百韵和《长相思》乐府二首悼念。此后，王夫之便一直在衡阳授徒著述，直到吴三桂起兵叛清。
吴三桂在起兵之初，自称是“兴明讨虏大将军”，以“反清复明”为口号，后来又号称“朱三太子”在其军中，企图吸引和蒙骗当时众多的反清志士为其效力，王夫之也一度被他的谎言蒙蔽，作有《三月七日所闻》一诗：“天涯帝子知谁在？今日生闻喜欲狂……彤云日角传龙种……萍踪万一问津航。”喜悦之情溢于言表。
第二年，吴三桂在攻下衡州时，曾发了一道檄文，说“甲寅之年正月元旦，恭奉太子，祭告天地，敬登大宝，建元周启。”有了这个檄文，王夫之就更坐不住了，他又开始积极活动起来，多次出游联络抗清人士商讨复国大计。
康熙十四年（1675）王夫之和好友蒙正发来往频繁，从他们两人所写的诗作，我们可以推知王夫之当时极为复杂的心境。有一《留别圣功》云：“兴亡多事天难定，去住皆愁梦未真。宝剑孤鸣惊背珥，画图遥惜老麒麟。”一方面国仇家很早已让他烈火中烧，另一方面却是“宝剑孤鸣”、“去住皆愁”、“兴亡难定”，顿感前途一片茫然。后来，等到他逐渐冷静下来之后，他开始感觉到自己可能被骗了。
果然，吴三桂虽然打着反清复明的旗号，但他根本就没有资本北上反清，更没曾想要去恢复故明，最多也就是在西南小打小闹，想做一个土皇帝而已。不过清军很快就扭转了战局，一度想与清军划江而治的吴三桂也在清军的追击下败走衡州，此时王夫之也由之前的苦闷、惶惑转为愤慨和清醒。
康熙十七年（1678）春，吴三桂看到时局对己不利，急急忙忙在衡州祀天即位，这样吴三桂这个败类的丑恶野心最终暴露无遗了。因此，当吴三桂还厚颜无耻地派人来“恳请”王夫之写《劝进表》时，他当即愤然地回绝说：“某本亡国遗臣，所欠一死耳，鼎革以来，久逋于世，今汝安用此不祥之人哉？”接着就逃入深山不出。
事后，王夫之曾作了一篇《祓褉赋》，在赋中抒发了他对吴三桂之流的几度蔑视。其实王夫之要唾骂吴三桂，还有一种恼羞成怒的感觉，吴三桂打着反清复明的旗号，一度还说朱三太子在其军中，让王夫之好生激动了一阵子，突然知道这些知识吴三桂的骗局，王夫之自然会感到吴三桂玩弄了自己的情感，做一篇赋至少还可以洗刷一下自己奔波三年被污秽了的心灵。
次年，王夫之在躲避清军南下收复衡州的时候，写下了《庄子通》一书，书中总结了自己五年来在政治风浪中面对复杂形势时的矛盾心情和吸取的教训和应当坚持的立身处世的原则，同时还评价了《庄子》各篇，对《庄子》一书中对理想人格的追求等都有所肯定。
这年秋天，王夫之才得以返回湘西草堂家中。
船山定居，以著述终
三藩之乱平定的时候已经是康熙二十年（1681），接着，清军又攻占澎湖，进攻台湾；继而彻底荡平大西南的反清势力。就这样，自满清入主中原以来，断断续续持续了四十年的反清斗争终于缓缓落幕了，而幕布上也沾满了层层鲜血。
王夫之在逃避战乱回到家中后，最初的那段日子也并不好受。心境悲愤、疾病缠身尚且不说，当时他还经常遭到清政府特务部门的日夜监视。
清政府为什么在此时还要监视一个老头呢？正是因为这个老头不简单。他曾经参与过堵胤锡、章旷的抗清活动，组织过义军武装起义，还在永历政权中担任过行人之职，再加上他一直抗拒薙发，不肯臣服于新朝，一直以明朝遗老自居，所有这些加起来，早就够他死上好几次了，因此找几个人把他监视起来已经算是客气的了。在清政府看来，王夫之就是一个“危险人物”。
在别人的监视下过活，王夫之自然不好受。他在《斋中守犬铭》一文中写道：“危机之触，接于几席”，以至“终夜不能寐”。不过这位可爱的老头尚会苦中作乐，他叮嘱他的爱犬说，如果有人偷偷闯进我家，就上去咬他们，把他们赶跑。朝廷的特务害怕猛犬自然不敢入内，只好用刀将窗纸捅破以监视。对此他还写了一篇《勘破窗纸者爱书》，对清政府的卑劣行径加以嘲弄和痛斥。
不过随着叛乱的平定，清朝的统治日益巩固，其统治者也开始收买人心了，因此政府的许多政策也有了放松。比如为了笼络人心，网罗人才，缓和汉族士大夫的敌对情绪，清政府开局修《明史》，并沿袭了明朝的科举制度，入关之初就开始科举取士。康熙十八年（1679），清政府还开了博学鸿词科，专门延揽一些有声望、有学识、有影响的学者，当时的黄宗羲、顾炎武、傅山、孙奇逢都在延揽之列，而王夫之自然也在其中。当然王夫之也是决计不会去应这个博学鸿词科的。好在清廷对过去有过抗清活动的他也不再追究，他才得以安心定居下来，在此后的12年里潜心著述。
应该说，王夫之在他的垂暮之年为后世留下了许多光辉的著作，而这些著作的许多是他以带病之躯写就的。
在《噩梦》（成书于康熙二十一年）一书中，王夫之针对明末以来的“时弊”即各种社会现实问题，同时也包括清政府实施的一些不合理的制度，都提出了具体而合理的改革主张；在《俟解》（成书于康熙二十三年）一书中，他兼谈政治和道德修养，呼唤拒绝同流合污于世的豪杰精神；在《张子正蒙注》（成书于康熙二十四年）一书中，他鲜明表达了复归张载正学和反对佛、道及宋明道学唯心主义的哲学立场，从哲学上总结并终结了宋明道学；在《周易内传》（成书于康熙二十四年）一书中，他对《周易》做了系统解释，进一步形成并完善了他的朴素唯物辩证法的思想体系；在《读通鉴论》（成书于康熙三十年）一书中，他对司马光《资治通鉴》中所列的历史事件及人物进行分析评论，评古论今，评史论政，并提出了社会进化论和道德进化论的观点。
在写《读通鉴论》的时候，王夫之正深受哮喘病的折磨，即使这样情况下，他仍然是“置楮墨于卧榻之旁，力疾而纂注”。他在晚年的著述当然远不止上述几部，正是他的坚持不断，奋力撰著，他才将他思想成果诉诸笔端，留诸后世。尽管身体垮了，他的心里还应该是欣慰的。
清康熙三十一年（1692）正月初二，王夫之在湘西草堂逝世。
他在逝世前数日曾撰《船山记》一文，说：“船山，山之岑有石如船，顽石也，而以之名。予之历溪山者十百，其足以栖神虑者往往不乏，顾于此阅寒暑十有七，而将毕命焉，因曰此吾山也。”临终，王夫之以顽石自况，既是其一生的写照，又显出其孤愤之志。
王夫之虽“抱刘越石之孤愤”，但他却坚守了作为明朝遗民的节操，他一生探索不息，给后人留下了巨大的思想遗产和精神财富。
无论从道德节操上，还是精神思想上，他都是一座不朽的丰碑。