程建峰 孫瑜

摘要：人臉屬性識別在娛樂、安防和社交媒體領(lǐng)域應(yīng)用廣泛。雖然目前已經(jīng)提出了很多關(guān)于人臉屬性預(yù)測的方案，但其中大多數(shù)僅針對人臉屬性中的某一單一屬性，并沒有考慮到多種屬性之間的內(nèi)在相關(guān)性。本文針對不同屬性的特點(diǎn)采用不同的損失函數(shù)，并將這些損失函數(shù)嵌入到同一網(wǎng)絡(luò)中，采用端到端的訓(xùn)練方式訓(xùn)練一個通用人臉屬性識別框架。通過實(shí)驗(yàn)分析，多屬性識別模型取得了較好效果。

關(guān)鍵詞：人臉屬性識別；多屬性識別；損失函數(shù)；多任務(wù)學(xué)習(xí)

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2018）12-0176-02

1引言

人的面部屬性展示了重要的信息，如人的年齡，性別，健康狀況等等。近些年來，隨著計(jì)算機(jī)視覺技術(shù)的快速發(fā)展，出現(xiàn)了許多臉部屬性估計(jì)的應(yīng)用。這些應(yīng)用包括：視頻監(jiān)控，如檢測行人是否佩戴墨鏡口罩；人臉檢索，通過數(shù)據(jù)庫來查找給定的人；社交媒體，例如自動發(fā)型或化妝品的推薦。盡管近期在人臉屬性預(yù)測方面取得巨大的進(jìn)展，但是大多數(shù)先前的研究僅限于估計(jì)單個人臉屬性（例如年齡）或?qū)W習(xí)每個面部屬性都有一個單獨(dú)的模型。

2人臉屬性聯(lián)合估計(jì)的CNN框架設(shè)計(jì)

步驟1：從人臉數(shù)據(jù)庫中讀入人臉圖像。

步驟2：人臉檢測。同樣使用深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到人臉5個特征點(diǎn)的位置，然后用訓(xùn)練好的模型預(yù)測數(shù)據(jù)庫中所有人臉表情圖像上的特征點(diǎn)的位置。

步驟3：在預(yù)測的5個特征點(diǎn)中選取其中的眼睛、鼻子和嘴角五個點(diǎn)作為特征點(diǎn)進(jìn)行校準(zhǔn)。

步驟4：數(shù)據(jù)增強(qiáng)。對校準(zhǔn)后的圖像進(jìn)行光照處理、水平鏡像。光照處理為當(dāng)前圖像放射變換30倍不同的光照條件。

步驟5：人臉模型建模。深度卷積神經(jīng)網(wǎng)絡(luò)采用Resnet18卷積神經(jīng)網(wǎng)絡(luò)，如圖1，并在此模型上進(jìn)行調(diào)優(yōu)（finetuning）。調(diào)優(yōu)的學(xué)習(xí)率初始化為0.001，網(wǎng)絡(luò)結(jié)合第四層卷積和第四層池化層兩層的特征送入到第五層卷積層，保留了更多的池化前的深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的信息。

步驟6：人臉屬性估計(jì)。在測試集上同樣需要將數(shù)據(jù)進(jìn)行步驟1-3的預(yù)處理，然后送入深度卷積神經(jīng)網(wǎng)絡(luò)測試。

測試的網(wǎng)絡(luò)與訓(xùn)練的網(wǎng)絡(luò)相比，測試的網(wǎng)絡(luò)不需要將誤差回傳，而是直接輸出樣本的屬性。

使用深度期望的方法針對人臉屬性中的年齡問題。將年齡識別問題離散的定量化為范圍|Y|。每個年齡涵蓋一個年齡域從[Ymin]到[Ymax]的年齡并且為年齡的期望產(chǎn)生權(quán)重。通過這種方式，訓(xùn)練CNN進(jìn)行分類，并且在測試時間，計(jì)算|Y|的softmax歸一化輸出概率的期望值。

3實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)的數(shù)據(jù)集由MORPH，CelebA，JAFFE數(shù)據(jù)集組成，測試集占比10%。

人臉的年齡和性別數(shù)據(jù)集使用的是MORPH和CelebA數(shù)據(jù)集，這兩個數(shù)據(jù)集都同時含有年齡標(biāo)簽和性別標(biāo)簽。年齡的評價指標(biāo)我們使用的是MAE，由公式得：

人臉的性別屬性由于較為簡單，在網(wǎng)絡(luò)結(jié)構(gòu)第4個Resnet Block計(jì)算交叉熵?fù)p失并計(jì)算誤差更新參數(shù)，性別問題是簡單的二分類問題，使用底層的語義信息即可完成分類任務(wù)，采用的是分類的經(jīng)典算法—交叉熵?fù)p失。通過實(shí)驗(yàn)發(fā)現(xiàn)，模型的性別分類性能效果較好。

人臉表情測試主要是在JAFFE數(shù)據(jù)庫上與Gabor小波和SIFT方法做對比，試驗(yàn)結(jié)果如表1所示。表情主要已經(jīng)微笑二分類，即在微笑的時候，能否檢測出微笑的識別率，在人臉做出其他表情，即非微笑時，仍然能夠識別出。

4結(jié)論

本文所構(gòu)建的深度卷積網(wǎng)絡(luò)對人臉屬性識別的方法與其他方法方法相比，1）端到端的訓(xùn)練方法，提高識別的準(zhǔn)確率2）免去人工提取特征，將樣本空間經(jīng)過仿射變換映射到特征空間中，最后計(jì)算損失函數(shù)，3）采用多屬性的聯(lián)合估計(jì)提高單屬性預(yù)測的準(zhǔn)確率，4）針對人臉不同的屬性，采用不同的損失函數(shù)以更好地?cái)M合數(shù)據(jù)分布，并將其嵌入到網(wǎng)絡(luò)中，提高網(wǎng)絡(luò)性能。

參考文獻(xiàn)：

[1] D.Gabor， Theory of communication[J]J. inst Electr Eng， 93（111）：429-457， Nov，1946

[2] H. Han， C. Otto， X. Liu， and A. K. Jain.Demographic estimation from face images： Human vs. machine performance[J]. IEEE Trans. Pattern Anal. Mach. Intell.， 2015，37（6）：1148–1161.

[3] G. Guo and G. Mu.A framework for joint estimation of age， gender and ethnicity on a large database[J].Image Vision Comput.， 2017， 32（10）：761–770.

[4] D. Yi， Z. Lei， and S. Z. Li.Age estimation by multi-scale convolutional network[C].in Proc. ACCV， 2014：144–158.