“代总统”李宗仁以及“国民政府”逃往广州，阎锡山也从上海前往广州。这时，只做了3个月的“行政院长兼国防部长”何应钦应付不了乱局，宣布辞职。受“代总统”李宗仁之聘请，1949年6月13日，阎锡山在广州宣誓就任“行政院长兼国防部长”。他的组阁成员有“行政院副院长”朱家骅、“内政部长”李汉魂、“财政部长”徐堪、“经济部长”刘航琛、“教育部长”杭立武等。阎锡山发表了施政演讲“新内阁的施政总目标就是要扭转时局。政治上要转乱为治，转危为安；军事上要转败为胜，转守为攻；经济上要改革货币，抑制物价，安定国民生活。政府机关要整饬吏治，提高威信，提倡廉洁奉公，勤俭节约。”
阎锡山明知这个“国民政府”已经朝不保夕，却仍然说出狠话：“不惜一切牺牲，不顾一切障碍，勇往直前”。
当时的“总统府”与“行政院”都设在广州维新北路的兰园宾馆。李宗仁住北楼，阎锡住南楼。
刚刚走马上任的阎锡山，使尽浑身招数，对付危局。
身为“行政院长”的他，面对财经困局，“金圆券”急剧贬值，提出以“银圆券”取代“金圆券”，挽救颓势。
身兼“国防部长”的他制订《扭转时局方案》和《反共救国实施方案》，决心与中共作最后一拼。
然而国民党的那个“国民政府”，已经病入膏肓，无药可救。
1949年6月24日阎锡山在日记中写道：
到穗以来，始知国事日非，由于党内有派系争，有小组织争，有地域争。地域有南北争、西北争、东北争、东南争。争起来无理的说人坏，有理的说己好。不说事怎样做，只说人怎样用……
处于内外交困之中的阎锡山，与“代总统”李宗仁商议，只有请国民党总裁蒋介石出山，才能应付乱局。为此他们曾经共同致电蒋介石，而蒋介石却只愿在幕后指挥，让李宗仁与阎锡山在第一线抵挡。
1949年10月1日，毛泽东主席在北京天安门宣布中华人民共和国成立。
10月12日，中国人民解放军逼近广州。“代总统”李宗仁宣布“国民政府”迁往重庆办公。阎锡山率“行政院”阁僚逃往重庆。在抗战期间重庆曾经是“陪都”，国民党打算以重庆为核心、以西南为依托苟延残喘。
10月14日，广州城头插上五星红旗。
毛泽东命刘伯承、邓小平、贺龙大军进军四川，逼近重庆。11月2日，“代总统”李宗仁自称患病，离开重庆，回到桂林老家养病去了。重庆只剩“行政院院长”阎锡山唱独角戏。阎锡山自知独力难撑局面，接连电催正在台湾的国民党总裁蒋介石来渝主持大局。
11月14日，蒋介石从台北飞抵重庆。此时的蒋介石仍处于“下野”状态，没有恢复“总统”名分。蒋介石下了飞机，就给“代总统”李宗仁发电报，要他速来重庆“共商全局”。李宗仁却不来重庆，反而经南宁飞往香港，住进了太和医院，发表声明称：“治病期间，军政事宜，由阎院长负责。”
11月30日，中国人民解放军攻下山城重庆，阎锡山率“行政院”阁僚随蒋介石迁往成都。
12月7日，蒋介石眼看形势越来越不妙，终于在成都发出了这样的电报：
命令政府迁设台北，并在西昌设大本营，统率陆海空军，在大陆作战。此令
蒋中正
“中华民国”三十八年十二月七日
根据蒋介石的命令，翌日——1949年12月8日，阎锡山率“行政院副院长”朱家骅、“总统府秘书长”邱昌渭等人，从成都迁来台北。从此阎锡山永远离开了中国大陆。
阎锡山在到达台北的当天下午，召开新闻发布会，正式宣布“国民政府”自即日起迁移台北办公。
12月10日，蒋介石乘坐中美号专机，也从成都的凤凰山机场起飞，对中国大陆投下最后一瞥，飞往台北。
阎锡山拱手向蒋介石交权
阎锡山来到台湾之后，“总统”蒋介石虽然也来到台湾，但是他已经“下野”，而“副总统”李宗仁则从香港去了美国做寓公。按照“国民大会”通过的“宪法”规定，“总统”、“副总统”缺位的时候，应由“行政院长”代行其职权。因此阎锡山一度成为“代理总统”。
刚到台湾，阎锡山曾经对国民党在大陆的惨败多有批评，也曾多次抨击国民党的腐败无能。
可是蒋介石岂容阎锡山成为台湾“第一号人物”？蒋介石岂能让阎锡山说三道四？
1950年元旦刚过，蒋介石这位国民党总裁就把“行政院长”阎锡山叫到办公室，说是商议“行政院”阁员的改组，亦即各“部长”的调整。
蒋介石借此安插自己的人马担任各“部长”，而且削去阎锡山的兼职——“国防部部长”，改由蒋介石嫡系、“参谋总长”顾祝同兼任“国防部部长”。这表明阎锡山被剥夺兵权。蒋介石名义上说是跟阎锡山商议，实际上是蒋介石说了算。阎锡山明白，台湾不是山西，他在台湾没有根基，只能唯蒋介石之命是从。
不过，蒋介石以一个党的总裁去“领导”一个“行政院长”，于理于法都是不通的，尽管阎锡山口口声声表示“服从”。
1950年3月1日，蒋介石终于宣布在台北正式复职，亦即复“总统”之职。在蒋介石重新披上龙袍之际，阎锡山向蒋介石递上辞呈，请求辞去“行政院长”之职。
蒋介石本来就打算撤换阎锡山，如今阎锡山主动请辞，真是求之不得。不过，戏还得要演。于是乎，蒋介石在复“总统”之职的翌日，亲自来到阎锡山的办公室，再三表达“挽留”之意。
蒋介石“挽留”是假，阎锡山请辞是真。阎锡山又一次表达，台湾人才济济，贤能众多，他才疏学浅，不堪重任。
戏演到这种地步，也就差不多了。3月6日，蒋介石主持国民党中央常委临时会议，批准了阎锡山的辞呈，决定由陈诚继任“行政院长”。
就这样，阎锡山当了9个月的“行政院长”，下台了。对于阎锡山来说，“行政院长”是他一生中的最高职务。虽然他当“行政院长”不过9个月，但毕竟是国民党政府迁往台湾之后的首任“行政院长”。此后，尽管阎锡山在台湾只挂了“总统府资政”以及国民党中央评议委员这么两个虚衔，但是人们对于他的称呼一直是“阎院长”。
有人曾经问阎锡山，你从“行政院院长”这样的“大官”位置上退下来，起码也应该向蒋介石要个像样的官位。阎锡山苦笑道：“力凭理壮，理凭力伸。”言外之意是说，眼下他在台湾已经没有实力，人家要是不主动给他什么，他是不会求人赏赐什么的。
阎锡山从呼风唤雨、手握重兵的“山西土皇帝”，变成无职无权、无兵无卒的闲人一个——当然，作为前“行政院院长”，作为陆军一级上将，即便是赋闲，也还有30名警卫人员保卫他的安全，另外有1个连的宪兵负责外勤。
阎锡山可谓急流勇退，也可谓无可奈何。不管怎么说，识时务者为俊杰，阎锡山算得上是一个识时务者，是一个明白人。
阎锡山拱手向蒋介石交权，是因为他并非蒋介石嫡系，他与蒋介石之间有过“说不清，理还乱”的历史积怨。其中的“高潮戏”是1930年的“蒋冯阎大战”。当时，蒋介石羽翼未丰，与阎锡山、冯玉祥、李宗仁并列为中国四大军阀。蒋介石视阎锡山为眼中钉，1930年1月3日趁阎锡山赴郑州指挥作战，蒋介石密令河南省主席韩复榘相机捕阎。不料这一高度机密的电话，被阎锡山部下窃听，阎锡山急忙化装逃出郑州，回到老窝太原。此后，阎锡山誓除蒋介石，双方剑拔弩张。阎锡山还联合冯玉祥、李宗仁共同倒蒋。
1930年3月14日，原第二、三、四集团军将领57人，通电全国，拥护阎锡山为陆海空军总司令，冯玉祥、李宗仁、张学良为副总司令，出兵讨蒋。
4月1日，阎锡山、冯玉祥、李宗仁分别宣誓就职。阎锡山在就职通电中，斥责蒋介石把国民党变为“一人之化身，专制独裁，为所欲为”，致使“党不党，政不政，国不国，民不聊生”，“犹复迫我以武力，助其铲除异己”。阎锡山宣称，自己不得已“应军民之请求”，以战争手段重建党国。
这时，阎锡山作为陆海空军总司令，红极一时。1930年5月19日出版的美国《时代》周刊，把阎锡山作为封面人物，足见当时阎锡山之不可一世。
蒋介石把持的“国民政府”则针锋相对，宣布撤除阎锡山所有职务，并“通令缉捕”。蒋介石控制的国民党中常会则决定永远开除阎锡山的党籍。
阎锡山以牙还牙，在1930年8月联合冯玉祥在北平另组“国民政府”，阎锡山自任“国民政府”主席。
以阎锡山、冯玉祥为一方，以蒋介石为另一方，进行了“蒋冯阎大战”。最初，蒋介石差一点在柳河车站被冯玉祥部队俘虏。
然而张学良在沈阳通电拥护蒋介石，出兵进山海关，使蒋介石声势大振。这场军阀混战最后以阎锡山、冯玉祥战败告终。陆海空军总司令阎锡山于1930年10月15日宣布下野。12月阎锡山潜往大连，保住一命。1931年8月5日，乘飞机潜回山西大同，回到山西五台山隐居，然后趁着1931年的“9·18事变”全国掀起抗日高潮，阎锡山复出。蒋介石表示要与阎锡山联手抗日，1932年2月20日任命阎锡山为太原绥靖主任。阎锡山赶紧拍蒋介石的马屁，致电蒋介石：“锡山向来追随钧座，受国家之优遇，亦当追随钧座，赴国家之危难。中央为保全国土而忍辱，锡山愿与钧座分祸；如为发扬民族精神而奋斗，愿随钧座牺牲。”
有过如此“精彩”的恩恩怨怨，到了台湾，阎锡山在蒋介石面前更要摆出一副“追随钧座”的样子，生怕得罪蒋介石，因此主动请辞“行政院院长”之职。
阎锡山在卸任“行政院长”之后，迁往台北城东南的丽水街一幢日式别墅居住。那一带原本是“高等日本人”的居住区，有很多幢日式别墅，原本叫“富田町”、“古亭町”、“龙安坡”。台湾光复之后，用浙江南部的城市命名那里的街道，诸如温州街、泰顺街、丽水街、青田街、云和街、龙泉街等。阎锡山家的对面邻居是当时的上将彭孟缉。
阎锡山为了避免惹是生非，深居简出，杜门谢客，但是毕竟他曾经是“党国元老”，客人还是不请自来。阎锡山“谨言慎行”，不问政治。他也托病几乎不出席各种会议，因为他知道凡是出席会议必定要发言，凡是发言就很容易“触雷”，所以这“两个凡是”是万万使不得的。
为了更加彻底远离政治漩涡，阎锡山有两种选择：
第一选择就是李宗仁道路。李宗仁躲到美国去，远离蒋介石的淫威。阎锡山的儿子在美国，所以阎锡山倘若以探亲的名义去美国，可以一去不复返。阎锡山在日本也有许多亲友，他也可以前往日本安度晚年。重要的的是，阎锡山在逃离大陆时，携带了相当数量的黄金，供他和家人在国外生活绰绰有余。
然而当阎锡山向蒋介石试探口风的时候，蒋介石说，还是在台湾好呀，何必到国外去呢？
蒋介石此言，使阎锡山的出国之梦破碎。阎锡山知道，蒋介石是轻易不会把自己昔日的政敌放走的。
摆在阎锡山面前的，只有第二选择，那就是找一个远离台北市中心的荒僻之处躲起来。
于是，阎锡山四处踏访，想寻觅一个在台湾的安全住处。
建在荒山僻岭的阎锡山居所
山西多山。阎锡山从小就在五台山长大，他喜欢山。他看中了台北的阳明山。
阳明山是台湾达官富贾的别墅区所在地，是避暑圣地。可是阎锡山在阳明山踏勘，眼光却与众不同。阎锡山居然看中了阳明山里的菁山。
菁山原本是日本占领台湾期间打算兴建的一个农场，欲建而未建。这里非常偏僻，交通极其不便。在当时，要沿着一条砂石铺成的小路步行30分钟，才能到达阳明山公路，然后乘车进台北市区。菁山野草丛生，没有人烟，没有电灯、电话、自来水，只有四处奔窜的野兔。
阎锡山在菁山建造了草屋（其实是简易木板房），取名“菁山草庐”。他在台北市区的丽水街日式别墅只住了5个月，便于1950年8月迁往“菁山草庐”。他的秘书、司机、厨师、负责保卫安全的30名警卫人员以及1个连的宪兵，也随他迁往菁山，同样一律住简易木板房。那30名警卫人员来到这荒郊野外，并无怨言，因为这些警卫人员大都是山西人。阎锡山跟蒋介石一样，重用同乡。只不过当时的宪兵部队大都是广东人，颇有怨言，他们无法理解“阎院长”放着豪华的日式别墅不住，却要到这偏僻山区过“原始生活”。好在阎锡山手头宽裕，给他们加点额外津贴，也就把怨言平息下去。
阎锡山这“山西王”没有领教过台湾台风的厉害。“菁山草庐”那些简易木板房的屋顶，在台风中整个被掀掉，风雨直灌屋里，警卫和宪兵们叫苦不迭。
当时只建简易木板房，是因为他太“乐观”，以为很快就可以“反攻大陆”，重回山西。可是严峻的形势使他明白“反攻大陆”谈何容易，而且台湾的台风接二连三，使阎锡山终于下决心在菁山建造永久性居所。
阎锡山此人确实与众不同。他居然异想天开，要在阳明山建造窑洞作为永久性居所！他的山西老家到处是山，到处是窑洞。窑洞不仅无惧于台风，而且能够抵挡炮弹、炸弹，更何况冬暖夏凉。
然而台湾没有会建造窑洞的工匠，因为台湾虽然多山，却没有一孔窑洞，当然也就没有会挖窑洞的工匠。阎锡山向当地人询问，为何台湾无窑洞？答曰：“台湾土地潮湿，不适合挖窑洞。倘若挖窑洞，势必洞里整天滴滴答答滴水，地上也满是泥水。再说，台湾多地震，住在窑洞里不安全。”