1949年12月初，中國人民解放軍以摧枯拉朽之勢，一舉攻下貴陽、遵義后，分兵三路，直指成都。

12月8日，國民黨“行政院長”閻錫山率“副院長”朱家驊、“總統(tǒng)府秘書長”邱昌渭等人，在一片凄風(fēng)愁雨中，乘專機飛抵孤島臺灣。

閻錫山到達臺北后的當(dāng)天下午，即在寓所召開新聞發(fā)布會，正式宣布“國民政府”自即日起遷移臺北辦公。自此，國民黨在大陸的統(tǒng)治徹底結(jié)束。

閻錫山剛到臺灣時，還頗有幾分臥薪嘗膽、卷土重來的意味。他頻頻召開新聞發(fā)布會，反復(fù)宣傳到臺后的施政方針，并多次發(fā)表演講，批評國民黨內(nèi)的不團結(jié)，總結(jié)在大陸失敗的經(jīng)驗和教訓(xùn)，決心立足臺灣好好干一番事業(yè)。

殊不知，這個時候的蔣介石正在重新考慮“國民政府”的人事安排。

蔣介石的用人政策，歷來是以我為中心。順我者昌，逆我者亡。歷史上，被稱為“山西土皇帝”的閻錫山曾幾次倒蔣，甚至在中原大戰(zhàn)中與蔣介石直接對壘。蔣介石對他一直心存芥蒂，但考慮到國民黨剛到臺灣，百廢待興，一切以穩(wěn)定為好，所以對閻錫山還是比較客氣。

雖然閻錫山有自己的個性，但他也知道自己這個“行政院長”看似權(quán)力很大，其實是一切以老蔣的意見為是，老蔣說什么，他就得干什么。這種仰人鼻息的生活，閻十分討厭，但也無可奈何。

盡管如此，閻錫山還是到處發(fā)表講話，痛斥國民黨的腐敗無能，同時對國民黨內(nèi)部幫派之間的矛盾十分不滿，對國民黨的一敗再敗的戰(zhàn)略指導(dǎo)思想，多有責(zé)備之意。

閻錫山的講話處處刺到了蔣介石的痛處。這些話如果讓老蔣本人來講，一點事也沒有，而閻錫山卻毫不顧及蔣的面子，句句話帶刺，這就使蔣感到難堪。于是，馬上換掉閻的想法在蔣介石的腦子里形成了。

早在國民黨逃臺的前夕，蔣介石就卸去“總統(tǒng)”一職，由“副總統(tǒng)”李宗仁代之。而這時，李宗仁遠在美國，按照國民黨所謂“憲法”，“總統(tǒng)”、“副總統(tǒng)”缺位時，應(yīng)由“行政院長”代行其職權(quán)。這就是說，閻錫山在臺灣就應(yīng)該是絕對權(quán)威。但蔣介石早就把這些所謂的“法統(tǒng)”丟在腦后，對“行政院”的工作，事無巨細，處處過問。特別是人事上的安排，蔣更是牢牢抓住不放。1950年元旦剛過，蔣便把閻錫山叫到辦公室，說是與他商量“行政院”改組人選，其實就是通知他應(yīng)該換調(diào)哪些人。在蔣介石的授意下，形成了以下的人事任免名單：

一、谷正綱代理“內(nèi)政部長”；

二、陳良任“交通部長”；

三、閻錫山辭去“國防部長”職務(wù)，由參謀總長顧祝同兼任；

四、“政務(wù)委員”張群辭職，由丘念臺繼任；

五、關(guān)吉玉辭去“中央銀行”總裁一職，由俞鴻鈞繼任。

從這個名單可以看出，谷正綱、顧祝同、俞鴻鈞等蔣的嫡系接替了閻錫山的人馬，就連閻錫山本人任職多年的“國防部長”一職，也失去了。

“行政院”改組，引起了國民黨各方人士的不滿。一天晚上，閻錫山剛剛吃過晚飯，正在院子里散步，一幫四川籍的“立法委員”闖進了閻的官邸，他們氣憤地質(zhì)問閻錫山：“這次‘政府’改組，為什么四川這么一個大省，竟無一人‘入閣’?”

這一問，倒把閻錫山問住了。因為他名為“行政院長”，但改組人事他卻不能做主。這次改組，他圈子里的人也“改”掉不少，但這怎么好與人明說呢?閻錫山一肚子苦水無處倒，自己沒有落得好，反而當(dāng)了老蔣的替罪羊，處處遭人埋怨。

蔣介石頻繁干預(yù)“行政院”事務(wù)，弄得閻錫山十分窩火，時間一長，他就產(chǎn)生了卸任的念頭。

1950年3月1日，蔣介石一腳踢開李宗仁，在臺北正式復(fù)職。“登基”儀式完畢，閻錫山便向蔣介石提出了辭去“行政院長”的請求。

閻錫山提出辭呈，蔣介石心里很高興，但嘴里仍假意挽留一番。第二天，蔣介石親自來到“行政院”閻錫山的辦公室，與閻長談，安撫閻錫山。

3月6日，國民黨中央常委召開了由蔣介石主持的臨時會議。會議批準了閻錫山的辭呈報告，決定由陳誠繼任“行政院長”。

閻錫山打了一輩子的仗，到了老年，才似乎悟到什么。離職前，“行政院”召開了一個小型茶話會，為閻辭行。會后，有人將老子《莊子·篋》里的兩句話“絕圣棄知，大盜乃止”送給閻，閻意味深長地說：“無珠寶而爭珠寶，不是不爭，是無所爭；有珠寶而不爭，是自己心上無珠寶，才足為奇。人不污辱你，不和人爭，不是不爭，是無爭；人污辱你，你不和人爭，才是不爭?！遍愬a山的這番話，表明了自己決心與世無爭的心態(tài)。

卸去“行政院長”后，第二天閻錫山就將家搬到了臺北地處偏僻的麗水街。搬到新家的當(dāng)天，他就開始寫《人應(yīng)當(dāng)怎樣》。在這篇文章里，他表述了自己離任后對時勢的悲觀，同時也對未來充滿幻想。

從此，閻錫山深居簡出，將自己關(guān)在家里著書立說。

半年后，閻錫山又由麗水街搬往臺北市郊的陽明山邊的菁山居住。

菁山原是日本占領(lǐng)臺灣期間興建的未成的農(nóng)場。這里地處偏僻，交通不便，平時進城，要步行30分鐘，才能到達公路。附近沒有村落，也沒有電燈、電話、自來水。小道兩旁，雜草沒膝，人到之時，野兔四處逃竄。

閻錫山來到這里之后，讓人略加開墾，修建了一座草廬。

臺北地處臺灣北部盆地，每年到夏季酷熱難耐，而且臺風(fēng)頻頻光臨。草廬抵擋不住炎熱和臺風(fēng)，他便想起了山西老家的窯洞。窯洞冬能御寒，夏能防暑，又不怕臺風(fēng)侵襲，何不在這里也建一座窯洞呢?他找來當(dāng)?shù)氐囊恍├限r(nóng)詢問：“為什么臺灣沒有窯洞?”那些老農(nóng)回答說：“這里土地潮濕，不適挖洞。窯洞空氣不流通，再說臺灣經(jīng)常鬧地震，挖了洞恐怕也受不了震動。”

閻錫山認為，窯洞的這三個缺點，都有辦法解決：窯洞四周糊上水泥，就可以防止潮濕；將窯洞前后各開一扇窗，就可以解決空氣流通問題；至于地震，窯洞與樓房一樣，樓房設(shè)計能防震，窯洞設(shè)計得好，也一樣能防震。

于是，閻錫山便讓人建了一方窯洞。窯洞建成后，他以自己的所謂種能宇宙觀，將窯洞命名為“種能洞”。后來，他又向附近的臺灣金銅礦物局租了一大片地，建成了一座“種能農(nóng)場”。閻錫山在農(nóng)場里，種植了許多柑橘和松樹。寫作累了，他就在這里鋤草種地，打發(fā)時光。

閻錫山的兒子在美國，他在日本也有許多親戚。據(jù)說，他卸任后不久，曾一度想移居美、日，卻沒有得到老蔣的批準。讓這個多年的政敵自由地出入美、日，蔣介石確實是有些不放心?，F(xiàn)在聽說閻錫山改變初衷，移居菁山草廬，專心著述，這正合蔣介石之意。沒過多久，蔣介石偕夫人宋美齡親往菁山探視。蔣果然看到脫下軍服的閻錫山學(xué)問很有心得，一副心境淡泊、超脫世外的神態(tài)，蔣介石放心了。

閻錫山在菁山一住就是十年。他一心讀書寫作，非重大的活動，不輕易進城。他生活很有規(guī)律，每天早晨７時起床，然后寫作；午飯后休息兩個小時，下午會見客人，或者思考問題；晚上１０時準時入睡。這期間，蔣介石曾多次上山來看望閻，這對閻錫山來說，也是一種“殊榮”。

閻錫山是一個不甘寂寞的人，但是自從卸任以后，便門前冷落車馬稀了。這固然是人情冷落、世態(tài)炎涼之故，但更重要的一點是，閻錫山來臺后，從大陸帶來的嫡系少，且從政多年，結(jié)怨、樹敵太多。如他與蔣介石進行過中原大戰(zhàn)，與“政學(xué)系”爭奪過西南地方權(quán)力，與白崇禧爭奪過“國防部長”之職……無形中把自己放到了與眾人為敵的位置上。所以，他在菁山十年，除老蔣去看過他兩三次，陳誠接手“行政院長”后，出于禮儀，去看過他一次外，國民黨政要中再沒有其他人上山看過他。倒是一些報刊、電臺影視記者，對這位經(jīng)歷了清王朝、辛亥革命、北洋軍閥統(tǒng)治、國民黨統(tǒng)治以及殘留在臺灣的國民黨統(tǒng)治的“五朝元老”頗感興趣，屢屢造訪菁山。所以，閻錫山潛心研究的所謂“大同主義”中和哲學(xué)，常見之于臺灣報刊，這對處于世人冷漠之中的閻錫山，多少也有了些慰藉。

1959年，閻錫山已是77歲。一天晚上，他伏案寫作完畢，準備上床休息時，忽感心臟不適。第二天，他到臺灣大學(xué)附屬醫(yī)院檢查身體，已經(jīng)患上比較嚴重的心臟病。醫(yī)生便勸他住院治療。他在醫(yī)院住了一個多月，因時時記掛尚未完稿的《三百年的中國》一書，沒等痊愈便匆匆趕回了菁山。

1960年元月，《三百年的中國》一書終于完稿。閻錫山又雄心勃勃，開始重新研究《二十五史》及《十三經(jīng)》。

這一年的5月2日，閻錫山忽然腹瀉，第二天起床便發(fā)現(xiàn)腿部浮腫。經(jīng)過醫(yī)生治療，身體很快康復(fù)?？墒堑搅?月10日，閻早上起床后又感到不適，遂請醫(yī)生來家治療。第二天半夜，開始氣喘。醫(yī)生診斷為感冒轉(zhuǎn)氣管炎，建議入院治療。這時，臺大醫(yī)院內(nèi)科主任蔡錫琴趕到，診斷為急性肺炎并冠狀動脈硬化性心臟病，病情已十分嚴重。

5月23日上午，閻錫山被送進醫(yī)院搶救。到中午1時30分，閻病情加重，大口喘氣，不久心臟便停止跳動。雖經(jīng)醫(yī)生大力搶救，但最終回天乏術(shù)，宣告不治身亡。時年78歲。

閻錫山死后，臺灣為他舉行了隆重的葬禮。葬禮由何應(yīng)欽主持，蔣介石親臨致哀，并送一塊匾額，上寫“愴懷老勛”。

閻錫山死前，曾囑其家屬七點：

一、喪事宜簡不宜奢；

二、來賓送來的挽聯(lián)可收，但不得收挽幛；

三、靈前供無花之花木；

四、死后早日出殯不做久停；

五、不要過于悲痛放聲大哭；

六、碑墓上刻著他的日記第100段和128段；

七、七日之內(nèi)每天早晚各讀他的《補心靈》一遍。

夫人將他的日記打開，找到了第100段和第128段，只見上面分別寫著：

義以為之，禮以行之，遜以出之，信以誠之，為做事之順道。多少好事，因禮不周，言不遜，信不孚，致生障礙者，比比皆是。

突如其來之事，必有隱情，惟隱情審真不易，審不真必吃其虧。但此等隱情，不會是道理，一定是利害，應(yīng)根據(jù)對方的利害，就現(xiàn)求隱，即可判之。

閻錫山的墓地就選在他生前居住的菁山草廬地區(qū)后面。這里茂林修竹，遠山如屏，淡水、基隆兩河流左右縈繞，山下的臺北市歷歷在目。

閻生前，曾制作挽聯(lián)數(shù)副，囑其家屬在他死后，刻在他的墓地。其中有一副挽聯(lián)寫到：“有大需要時來，始能成大事業(yè)；無大把握而去，終難得大機緣?！遍愬a山一生積極反共，在死前，還痛惜自己不能追隨蔣介石“回大陸去，而深感遺憾”。他一生從政從軍，不得意的時間居多。這副挽聯(lián)，正是他臨死前的心境表露和無可奈何的哀嘆。