奴隸社會沒有將軍，掌管軍事的官職叫司馬。那時國家軍隊數(shù)量不多，天子只有六軍（每軍2500人），諸侯最多不超過三軍。各軍統(tǒng)帥叫卿，卿以下叫大夫（師），大夫以下叫士。

到了春秋，諸侯為了擴大勢力范圍，不斷增加兵力，大國諸侯常常擁有三軍以上的兵力，而編制上只有三軍，只能設三卿。于是就把擴充軍的統(tǒng)帥稱作“將軍”，意即將領一軍。

以后軍隊數(shù)量越來越大，將軍也越來越多了。作戰(zhàn)時軍隊得由一人統(tǒng)率，因此，在將軍中選拔出“大將軍”或“上將軍”來全盤指揮。到了漢代，軍隊數(shù)量更多，于是又出現(xiàn)了驃騎將軍、車騎將軍、衛(wèi)將軍等級別。以后，各朝將軍的名稱雖不盡相同，但將軍分成許多級別這一原則卻是相同的。