“胡人”的說法出現(xiàn)很早。五胡十六國時(shí)期，前秦淝水落敗后，諸族紛紛起事，苻堅(jiān)一直寵信的羌人首領(lǐng)姚萇也舉兵反秦，最后俘獲苻堅(jiān)。姚萇向苻堅(jiān)索要傳國玉璽，苻堅(jiān)一臉不屑，怒斥姚萇：“小羌敢逼天子，五胡次序，無汝羌名?！边@是“五胡”一說最早見于史端的記載。《過秦論》 中有“胡人不敢南下而牧馬，士不敢彎弓而報(bào)怨”一說，這里的胡人，主要是指匈奴人，也包括那些敢和漢室作對(duì)的其他少數(shù)民族，比如東胡，它因居于匈奴之東而得名，也就是匈奴人東邊的胡人。東胡的后世，便是鮮卑與烏桓二族。

胡人成氣候，是在五胡十六國時(shí)期。當(dāng)時(shí)，匈奴、鮮卑、羯、氐、羌五個(gè)游牧民族入侵中原，紛紛建立政權(quán)。這一時(shí)期是胡漢矛盾沖突最激烈、最尖銳的時(shí)期，習(xí)慣上被稱做“五胡十六國”。胡人相對(duì)于漢人，先進(jìn)程度較低，風(fēng)俗也不盡相同，又總是武力騷擾邊境。漢族官方也好，百姓也罷，對(duì)這些人自然沒什么好感，也就說不出什么好話。因此，將漢胡關(guān)系比作正邪兩面，所謂“邪正不并存，譬如胡與秦”，是這一時(shí)期的主導(dǎo)思想。但“胡人”這一概念本身，只是基于中原視角提出的對(duì)居住在西北的游牧民族的一種泛稱，其中并沒有摻雜任何感情色彩。