1926年張靈甫聽(tīng)從于右任的建議考入黃埔軍校，成為黃埔四期學(xué)員，與后來(lái)的同僚胡璉、李彌，以及對(duì)手林彪、劉志丹是同學(xué)。

張靈甫從黃埔軍校畢業(yè)后，一直在蔣介石的嫡系第一軍任職。不僅如此，張靈甫所在的第一師是第一軍里的王牌，可謂嫡系中的嫡系。第一師師長(zhǎng)胡宗南對(duì)張靈甫十分器重，視為心腹。1933年，年僅30歲的張靈甫就當(dāng)上了第一師獨(dú)立旅第1團(tuán)上校團(tuán)長(zhǎng)。

張靈甫所部在四川與紅四方面軍交戰(zhàn)，經(jīng)部隊(duì)朋友介紹，張靈甫與吳海蘭相識(shí)。1933年冬，兩人在四川廣元拜堂成親。一年后，女兒張清芳出世，一家人其樂(lè)融融。不料1935年竟發(fā)生了“團(tuán)長(zhǎng)古城殺妻”的慘劇。

張靈甫究竟為何殺死自己的妻子？據(jù)張靈甫的后任妻子王玉齡回憶，張靈甫曾說(shuō)：“她拿了我的東西，我問(wèn)她又死不開(kāi)口。”但張靈甫并沒(méi)有解釋吳海蘭到底拿了他的什么東西，以致他痛下殺手。直到張靈甫死后多年，當(dāng)年與他私交甚篤，曾經(jīng)長(zhǎng)期在他手下任職的劉光宇透露了玄機(jī)：“吳海蘭偷了張靈甫的文件。”

當(dāng)時(shí)胡宗南的部隊(duì)一直在川陜一帶與紅四方面軍激戰(zhàn)，當(dāng)?shù)匾灿泄伯a(chǎn)黨的地下組織活動(dòng)，張靈甫擔(dān)心妻子可能沾了共產(chǎn)黨的邊，但在事情沒(méi)搞清楚之前又不便聲張，于是就暗地里向妻子盤查，不料吳海蘭對(duì)此保持沉默，惹得他氣急敗壞。他的性格又容不得“背叛”二字，不能接受吳海蘭有通共嫌疑，對(duì)愛(ài)妻的“背叛”行為極為震怒，拔槍的瞬間，眼睛里已經(jīng)沒(méi)有愛(ài)妻，只有“共黨”了

民間還流傳一種說(shuō)法是張靈甫懷疑妻子與其他男人通奸而起了殺意。

不論什么原因，吳海蘭死于張靈甫之手。吳海蘭的父母自然要討回公道，他們?nèi)ノ靼策f狀紙上告。張學(xué)良的夫人于鳳至知道后，憤憤不平，打長(zhǎng)途電話給遠(yuǎn)在南京的宋美齡：“王子犯法，庶民同罪，你們要秉公嚴(yán)懲！”西安各界婦女也表示極大義憤，聯(lián)合上書(shū)全國(guó)婦女部長(zhǎng)宋美齡，要求嚴(yán)懲兇手。蔣介石聞之十分生氣，吩咐將人送南京軍事法庭查辦，胡宗南對(duì)這個(gè)下屬憨直的脾氣較為了解，就讓張靈甫自己去南京投案，張靈甫從陜西徑自去了南京的軍法處自首，被拘押于老虎橋模范監(jiān)獄，初審內(nèi)定為死刑，后改判10年徒刑。

1937年初，張靈甫出獄了！出獄原因一說(shuō)是張靈甫在獄中遞交了申訴書(shū)為法庭所接受，故而原判刑罰沒(méi)有執(zhí)行；一說(shuō)是因?yàn)槿毡救诉瓦捅迫?，為了抗?zhàn)大局，蔣介石開(kāi)釋了除政治犯之外的所有在押官兵，讓他們一律歸隊(duì)，戴罪立功。張靈甫重新回到了部隊(duì)，加入了正駐扎漢中的舊識(shí)王耀武的51師。

1939年3月，張靈甫參加南昌會(huì)戰(zhàn)，在高安戰(zhàn)役中右腿中彈負(fù)傷，由于當(dāng)?shù)蒯t(yī)療條件限制，醫(yī)生告訴張靈甫可能要截肢。張靈甫聽(tīng)后立即反對(duì)：“不行！鋸了腿我還怎么回去領(lǐng)兵打仗！”后來(lái)在王耀武、薛岳的幫助下，張靈甫終被轉(zhuǎn)到器材設(shè)備先進(jìn)的香港瑪麗醫(yī)院。手術(shù)后醫(yī)生告訴他必須療養(yǎng)數(shù)月。在醫(yī)院，張靈甫在報(bào)紙上讀到一條“戰(zhàn)時(shí)軍人不宜出國(guó)養(yǎng)病”的新規(guī)定后，便堅(jiān)持要提前出院。好心的院長(zhǎng)勸他再療養(yǎng)半個(gè)月便可痊愈，張靈甫說(shuō)：“軍人死且不懼，何愛(ài)一肢？”說(shuō)完便拄著拐杖離去。從此，張靈甫的右腿膝蓋變得僵直不能彎曲，便得了一個(gè)“瘸腿將軍”的綽號(hào)。面對(duì)殘疾，張靈甫說(shuō)：“吾張某人腿雖廢，無(wú)以站立，然中華民族得以站立，不為倭賊所欺，吾之腿值也！”1940年冬，張靈甫出任74軍58師副師長(zhǎng)。74軍曾榮獲國(guó)民政府第一號(hào)武功狀和最高榮譽(yù)“飛虎旗”，被譽(yù)為抗日鐵軍。