后来在蒋介石的主谋下，程潜竟被戴笠的特务处扣押起来，罪名是“素行暴戾，好乱成性，西征后更是飞扬跋扈，把持湘政”。其实，蒋介石发觉程潜的势力对自己构成威胁，便捏造事实，想把他扳倒。后来虽然程潜的罪名“大事化小，小事化了”，暂时停止中央执行委员职权，可是这件事对他触动很大。令他深感蒋介石推行的“特务政治”对国家前途的危害。尽管对程潜有明确的结论：“免于查办”。但是他仍然处于特务的监视中，致使一些老友不敢登门拜访。他闲居在上海，每天无所事事，借助诗词来打发时间，发泄对时局的不满。
军统逼迫下谋反
蒋介石对程潜戒备，戴笠派出小特务盯他的梢，还在他身边安排卧底人员，查看他写的文章与诗词，一旦发现有对蒋介石不满的文字，立即上报。当然，他的电话也被窃听，连与老友会客都要受到监视，看他是否有反对领袖的行为。有一次，他出门送客，看见有一个人蹲在他家门口擦皮鞋，他气咻咻地骂一声“狗”！那人匆忙走了。客人奇怪，说你脾气这么糟呢，惹是生非不好。程潜气呼呼说，他们还不敢，因为老蒋没有下令干掉我！
那时的军统还是复兴社特务处，戴笠负责对不安分的异己分子进行监控。程潜不过问政治，闲云野鹤似的生活，戴笠还是不放心。
此时，程潜帮助朋友办刊物，他既是主编，又是撰稿人，全身心地投入刊物里去，一心一意经营刊物，把政界钩心斗角的苦恼忘在一边了，这也算他夹着尾巴做人，所以蒋介石渐渐放松对他的监控。到了1935年国民党第五届代表大会时，他被重新选为候补中央执行委员，接着又以高票当选中央政治委员会委员，并被任命为参谋总长，再一次进入军界。
尽管他获得很多国民党元老的认可与支持，蒋介石却对他仍存戒备。那时，国民政府军事委员会调查统计局已经开始运作，戴笠把秘密特工派往程潜的办公厅，有的当秘书，有的当报务员，长期潜伏起来，监视程潜的行踪与言行。
对于戴笠在抗日战场上搞的谋杀、爆炸、谍报，程潜并不以为然，认为无非是雕虫小技。他主张与日寇在正面战场，真枪实刀地大干一场，才显示出军人本色。所以，在军费支出比例上，他主张少给军统拨款，把资金主要用于军备开支上。程潜由此得罪了戴笠，多次受到戴笠手下的小特务的骚扰。
1937年8月，程潜被任命抗日大本营参谋总长，负责对日军作战计划的制订。日本华北方面军以四个师团，约十万人，沿平汉线急速南攻，9月24日攻陷保定，直逼石家庄。程潜驰赴邢台坐镇指挥，日军第十四师团及第二十师团一部数万人，向正定军事要地猛扑，局势危机。程潜亲自指挥着国民革命军，在次日拂晓发起反攻，经过激战，夺回了高地，将日军压在漳河岸边。宋哲元为了保存实力，弃守大名，结果侧翼受到威胁。程潜加紧调整军队部署，激励官兵奋力防御，与日军在那儿相持了三个月，平汉线局势渐趋稳定。1938年1月，国民政府行政院任命程潜为第一战区司令长官，15日特任军事委员会委员，17日就任司令长官，驻郑州，辖两个集团军（宋哲元第一集团军、商震第二十集团军）约三十多个师。
2月兼任河南省主席，发表了治豫的纲领性文告。2月8日，日本四个精锐师团大举进攻，程部奋力抵抗，因右翼的宋哲元部队节节退守，防线被突破，程潜派兵策应宋哲元部，派骑兵北渡黄河，向道清线以南，平汉线以东地区攻击，重创日军，既解了宋哲元的危局，又迫使日军不敢贸然渡河南犯。3月，程潜指挥的第一战区部队作为外围策应，在山东临沂、峄县一带牵制打击日军，配合第五战区作战，编入一战区序列的59军增援。4月6日程潜到徐州，会同李宗仁、白崇禧指挥军事，取得台儿庄大捷。5月初，程潜指挥第一战区组成的薛岳兵团，在豫东鲁西地区积极配合徐州会战。5月上旬，日军土肥原第十四师团孤军深入，由鲁西猛向陇海线进逼，企图阻断第五战区部队西撤的后路，11日蒋介石电示程潜指挥“兰封会战”，集中精锐兵团歼灭侵入鲁西之敌，并亲赴郑州直接指挥。
1945年8月15日，日军投降。9月3日程潜陪同蒋介石驱车巡视庆祝抗日战争胜利的百余万群众集会。8月28日，毛泽东到重庆谈判，程潜曾经专程前往桂园拜访了毛泽东，双方谈笑风生，彼此萌生好感。此时军统特务一直暗中监视毛泽东一行的活动，程潜与毛泽东的交往，自然也成为他政治立场不坚定的证据。
1948年3月，程潜参加了国民党副总统的选举，最后放弃，所得的票改投给李宗仁，让蒋介石支持的孙科未能当选，蒋介石由此对程潜耿耿于怀。之后武汉行营取消了，由桂系白崇禧出任华中剿总司令长官。程潜改任湖南绥靖公署主任兼省主席，但仍掌握湖南军政大权。当时解放战争已经打到了最后阶段，新华社公布的43名战犯名单里，程潜名列第26位。1949年1月，蒋介石在政治、军事的压力下，不得不宣布下野，桂系李宗仁任代总统。同年4月国共和谈失败，解放军渡过长江，湖北亦失守。7月22日，程潜、陈明仁派出代表开始与中国共产党进行和平谈判。
当中民解放军百万雄师过大江，占领南京后，当时主政湖南的程潜及军事方面的陈明仁有意举义，赞成长沙和平解放。但是，当时仍有国民党军事、军统方面的顽固分子极力阻挠。蒋介石以及毛人凤，也在密切地注视着湖南的政治局势；“主战派”白祟禧屯重兵于衡阳，时刻威逼长沙，让“主和派”的程潜及陈明仁有所忌讳；各式政治人物游走于各派别之间，兜售他们的“救湘方略”。长沙的政治形势变得诡谲莫辩，凶险无比。长沙绥署中将高参张严佛，极力拥护程潜和平起义。几次谈判后，张严佛诚恳地告诉程潜，希望他能申明大义，倒向人民的一面。眼见大陆即将全部解放，岂能与腐朽政府同归于尽？但是程潜仍然顾虑重重，考虑自己是国民党元老，恐怕难以让中共接受。但是张严佛极力说服程潜，并拿出与中共接触的信件给他看。程潜经过了深思熟虑后，终于找到张严佛，表示拥护长沙和平起义。
当时湖南的和平起义活动搞得十分活跃，毛人凤发现了程潜的政治态度的转变，于是毛人凤派了亲信夏松任军统湖南站站长，要求他严密监视湖南政要的动态，有情况随时密报给。夏松上任后不断地向毛人凤密报了程潜、程星龄、邓介松、张严佛等人密谋起义，投奔共产党的情况。毛人凤听后，非常生气，也大为恼火，恨恨地说道：真没想到，这些人也会背叛我们！
此时，国民党湖南党、政、军各有关部门接受中共中央和毛泽东提出的《国内和平协定》倡议，程潜、陈明仁率湖南保安部队及国民党第一兵团全体官兵在长沙举行起义。中共领导对在长沙起义的程潜、陈明仁表示充分的肯定，并对他们委以重任。1949年后，程潜担任中央人民政府委员、全国人大常委会副委员长，湖南省省长、民革中央副主席等职务。