1924年5月13日，中共漢口地委秘密機關(guān)被反動當局查獲，京漢鐵路總工會委員長楊德甫被捕叛變，供出全國鐵路總工會在北京機關(guān)的地址和負責人。5月21日凌晨，時任全國鐵路總工會總干事兼黨團書記的張國燾被捕。

京師警察廳偵緝隊嚴刑拷打了3天，沒能撬開張國燾的嘴巴，遂于5月25日將張國燾移送到京師警察廳繼續(xù)審訊。張國燾有保留地承認自己是共產(chǎn)黨員，稱“鐵路工人現(xiàn)多年已無工會存在，鐵路工會亦無正式機關(guān)”。但京畿衛(wèi)戍司令王懷慶認為張國燾所說不實，張國燾遂被押解至京畿衛(wèi)戍總司令部。

這時，張國燾的心態(tài)出現(xiàn)微妙變化。當大批武裝警察將他押上卡車時，張國燾心里頓時恐慌起來，懷疑是要將自己綁赴刑場殺掉。在司令部里，張國燾忍受不住嚴刑逼供，放棄了抵抗。他供出自己所掌握的在京全部共產(chǎn)黨員名單，陳獨秀和李大釗排在頭兩位，其中僅招供的全國鐵路各工會中的共產(chǎn)黨員即達71人。

根據(jù)張國燾的供認，王懷慶密報內(nèi)務(wù)部。6月9日，內(nèi)務(wù)部總長程克向各省長、各都統(tǒng)、川邊鎮(zhèn)軍使、淞滬護軍使發(fā)出秘密咨文，要求按名單火速抓捕。一時間，北京城與全國鐵路干線軍警大舉搜捕。李大釗雖然這次有幸逃出了敵人的羅網(wǎng)，但從此被軍警機關(guān)注冊在案，3年后被捕犧牲。其他共產(chǎn)黨員沒能及時逃脫，全國鐵路總工會委員長孫云鵬在石家莊被捕，北京、天津、保定、鄭州等地鐵路工會負責人40多人被捕或被通緝。

共產(chǎn)黨人的鮮血換來了張國燾獄中待遇的改善，他從牢房遷入看守人員的住所。在這里，他可以在院子里自由走動，同獄卒、看守們?nèi)我馀收?，而其他犯人只能在?guī)定的時間內(nèi)出來放風，放風時不準說話；他吃的是大米飯，而別的犯人每頓吃的卻是兩個窩窩頭；他每天都能洗澡，而且有時能借到短襪來替換。

張國燾在監(jiān)獄里呆了五個多月后，一件意外的重大事件再次改變了他的命運。1924年10月23日，直系將領(lǐng)馮玉祥趁直奉戰(zhàn)爭之際突然發(fā)動北京政變，推翻直系軍閥曹錕、吳佩孚控制的北京政府，王懷慶被撤職。由于馮玉祥傾向革命，黨組織遂利用這個機會，設(shè)法從北京、天津、保定等地的監(jiān)獄中，營救出京漢鐵路大罷工以來被捕的工會負責人和共產(chǎn)黨人。兩天后，新任京畿衛(wèi)戍司令宣布對張國燾等人“無罪釋放”。

張國燾出獄后，將出賣組織和同志一事全部抹去，把自己粉飾成了堅貞不屈的英雄。張國燾的這段叛變經(jīng)歷，在長達25年內(nèi)沒有人知曉。建國初期，有關(guān)部門在整理敵偽檔案時，才發(fā)現(xiàn)王懷慶的密報和張國燾的供狀及供述的名單。如果不是這些秘密檔案曝光，張國燾頭上“鐵獄硬漢”的桂冠還將戴下去。