1904年，張伯苓赴日考察教育，同年10月17日，將家館改建為敬業(yè)學(xué)堂。1907年，在天津城區(qū)南部的開(kāi)洼地，即民間所稱(chēng)“南開(kāi)”，建成新校舍，遂改稱(chēng)南開(kāi)中學(xué)堂，從此聲名漸著，天津市南開(kāi)區(qū)也由此得名。1917年秋赴美國(guó)，入哥倫比亞大學(xué)研究教育，次年回國(guó)，著手籌辦南開(kāi)大學(xué)。南開(kāi)大學(xué)創(chuàng)辦伊始就建立了理科。那時(shí)北京、上海開(kāi)創(chuàng)許多私立大學(xué)，都是只辦文、法、史、地、國(guó)學(xué)等文、法科，教師抱的是線裝書(shū)去上課，而張伯苓專(zhuān)請(qǐng)留美多年的凌冰博士為大學(xué)部主任，除開(kāi)設(shè)文科，還設(shè)理科和商科，后來(lái)改稱(chēng)文、理、商三個(gè)學(xué)院。這在當(dāng)時(shí)也是十分難得的。

南開(kāi)大學(xué)的興辦和發(fā)展，對(duì)張伯苓來(lái)說(shuō)，并不意味著興辦教育的終結(jié)。1923年他建立了南開(kāi)女中。接著在1928年，又興致勃勃地在女生校舍對(duì)面建筑小學(xué)校舍，設(shè)立了小學(xué)部。在興建及完善女中和小學(xué)之后，張伯苓分別于1927年和1932年創(chuàng)辦了南開(kāi)經(jīng)濟(jì)研究所和應(yīng)用化學(xué)研究所，從而構(gòu)成了一個(gè)完整的南開(kāi)教育體系。