梁曉曦， 蔡曉東， 庫(kù)浩華， 王 萌

(桂林電子科技大學(xué) 信息與通信學(xué)院,廣西 桂林 541004)

現(xiàn)如今人臉圖像的年齡估計(jì)問(wèn)題變得越來(lái)越令人關(guān)注，因?yàn)橛泻芏嘀匾膽?yīng)用場(chǎng)景，比如安全控制、人機(jī)交互、社交媒體和視頻監(jiān)控等。年齡估計(jì)模型的主要問(wèn)題就是如何從人臉圖片中提取有效的年齡特征，然后通過(guò)回歸或分類的方法來(lái)進(jìn)行年齡估計(jì)。年齡估計(jì)問(wèn)題的關(guān)鍵就是學(xué)習(xí)人臉圖片和真實(shí)年齡之間的一種非線性映射函數(shù)。

年齡估計(jì)可以被視作一個(gè)基于標(biāo)簽分布學(xué)習(xí)問(wèn)題(LDL)[1]，其注重的是年齡相關(guān)性的建模，可以發(fā)現(xiàn)相近年齡的人臉看起來(lái)比較相似?；贚DL的年齡估計(jì)方法[2]可以獲得不錯(cuò)的效果，但是標(biāo)簽分布模型在適應(yīng)多樣的跨年齡的復(fù)雜人臉數(shù)據(jù)時(shí)就不太靈活。SMMR(soft-margin mixture of regressions)[3]的方法，通過(guò)將數(shù)據(jù)空間區(qū)分開(kāi)來(lái)學(xué)習(xí)多個(gè)局部回歸器，在輸入輸出空間中找到同類的劃分，并對(duì)每個(gè)劃分學(xué)習(xí)一個(gè)局部回歸器，但是回歸模型不能結(jié)合深度網(wǎng)絡(luò)成為一個(gè)端到端的模型。

隨著深度網(wǎng)絡(luò)的快速發(fā)展，越來(lái)越多的端到端CNN年齡估計(jì)方法被用來(lái)解決這個(gè)非線性映射問(wèn)題，并且基于CNN的方法相較于傳統(tǒng)方法在年齡估計(jì)任務(wù)上有更好的效果。首次使用CNN來(lái)進(jìn)行年齡估計(jì)[4]，并引進(jìn)了多任務(wù)學(xué)習(xí)的方法，但是提出的CNN非常淺，只有4層。DEX[5](deep expectation)的方法是基于VGG16[6]網(wǎng)絡(luò)，它在IMDB-WIKI[5]庫(kù)上訓(xùn)練了50萬(wàn)張圖片，并且這個(gè)CNN模型獲得了2015年ChaLearn LAP挑戰(zhàn)賽第一名，之后DEX的改進(jìn)版[7]不再包含人臉關(guān)鍵點(diǎn)定位技術(shù)，且能降低平均誤差。OR-CNN[8]是用多輸出CNN把年齡估計(jì)的順序回歸問(wèn)題轉(zhuǎn)化成一系列的二分類子問(wèn)題，在MORPH庫(kù)上能達(dá)到3.27的平均誤差。Ranking-CNN[9]包含了一系列基礎(chǔ)CNN，每個(gè)都是由順序年齡標(biāo)簽訓(xùn)練而成，用多個(gè)二分類基礎(chǔ)子網(wǎng)絡(luò)的輸出聯(lián)合來(lái)預(yù)測(cè)年齡。但OR-CNN和Ranking-CNN所需訓(xùn)練模型數(shù)量較多，復(fù)雜度較高。

現(xiàn)在也有一些研究是采用分割人臉局部區(qū)域的方法來(lái)預(yù)測(cè)年齡。采用不同區(qū)域的人臉圖片輸入46個(gè)并聯(lián)CNN[4]，并且能在MORPH庫(kù)上能達(dá)到3.63的平均誤差。但是，它并未考慮到局部區(qū)域和全局區(qū)域的關(guān)系，并且網(wǎng)絡(luò)結(jié)構(gòu)非常復(fù)雜。文獻(xiàn)[10]采用了類似于文獻(xiàn)[4]的方法，但是無(wú)太大進(jìn)步，因?yàn)樗雎粤俗訁^(qū)域間的不同性導(dǎo)致增加了訓(xùn)練的復(fù)雜度。

受到使用分割子區(qū)域作為輸入的啟發(fā)，首先通過(guò)人臉關(guān)鍵點(diǎn)定位來(lái)裁剪人臉圖片獲得局部區(qū)域，然后結(jié)合全局區(qū)域和局部區(qū)域輸入基于壓縮激勵(lì)模塊的并聯(lián)殘差網(wǎng)絡(luò)中，并通過(guò)多網(wǎng)絡(luò)聯(lián)合判斷的方式預(yù)測(cè)年齡。本方法能夠獲得較低的平均絕對(duì)誤差，并保證較低的復(fù)雜度。

1 基于雙重加強(qiáng)特征的人臉年齡估計(jì)方法

1.1 基于全局與局部加強(qiáng)特征的多網(wǎng)絡(luò)聯(lián)合預(yù)測(cè)方法

從單張圖片上判斷一個(gè)人的年齡是個(gè)極其挑戰(zhàn)性的任務(wù)，因?yàn)樵诓煌哪挲g范圍反映年齡的臉部特征有不同的類型。比如，在兒童時(shí)期年齡的增長(zhǎng)在臉型上的變化很明顯，而在成年時(shí)期的變化主要在于皮膚的皺紋。因此，不僅僅注意到全局區(qū)域，也注意到局部區(qū)域，因?yàn)橐恍┲匾獏^(qū)域的局部特征對(duì)于年齡估計(jì)很重要，比如眼睛、嘴巴、鼻子等。

為了能夠獲得人臉圖片的局部區(qū)域特征，采用了基于人臉關(guān)鍵點(diǎn)的局部區(qū)域裁剪方法。利用dlib庫(kù)[11]定位出人臉關(guān)鍵點(diǎn)，然后根據(jù)眼睛、嘴巴、鼻子的關(guān)鍵點(diǎn)位置，裁剪出3個(gè)子區(qū)域，分別是左眼區(qū)域、嘴巴區(qū)域、鼻子區(qū)域。

除此之外，還使用了多網(wǎng)絡(luò)聯(lián)合預(yù)測(cè)年齡的方法，每個(gè)網(wǎng)絡(luò)都是一個(gè)局部結(jié)合全局的聯(lián)合網(wǎng)絡(luò)，可以在已有的全局特征的基礎(chǔ)上有效地加強(qiáng)關(guān)鍵性的局部特征信息。如圖1所示，將輸入的整張人臉和3個(gè)不同的人臉局部區(qū)域都輸入到局部結(jié)合全局聯(lián)合網(wǎng)絡(luò)，每個(gè)網(wǎng)絡(luò)以兩張人臉區(qū)域作為輸入，一張是全局臉，另一張是重要子區(qū)域。最終把3個(gè)估計(jì)的年齡結(jié)果結(jié)合起來(lái)得到聯(lián)合預(yù)測(cè)年齡。

圖1 多網(wǎng)絡(luò)聯(lián)合預(yù)測(cè)年齡

因?yàn)橹挥?個(gè)子區(qū)域，所以聯(lián)合預(yù)測(cè)年齡的計(jì)算公式為：

其中：F為最終的預(yù)測(cè)年齡；Ak為第k個(gè)子區(qū)域的估計(jì)年齡；wk為第k個(gè)子區(qū)域的加權(quán)權(quán)值。取wk=1/3，也就是把3個(gè)估計(jì)年齡取均值。

1.2 再次加強(qiáng)特征的壓縮激勵(lì)并聯(lián)殘差網(wǎng)絡(luò)

圖1中的局部結(jié)合全局聯(lián)合網(wǎng)絡(luò)采用的是一種基于壓縮激勵(lì)[12]模塊的并聯(lián)殘差網(wǎng)絡(luò)，該模塊使用了特征重標(biāo)定的方法進(jìn)一步加強(qiáng)了對(duì)于年齡估計(jì)任務(wù)有用的特征。壓縮激勵(lì)殘差模塊的結(jié)構(gòu)及示意圖如圖2所示。

圖2中Conv為卷積層，Global pooling為全局平均池化層，Sigmoid為激活函數(shù)層，Scale為縮放層。示意圖中每個(gè)小長(zhǎng)方體代表一個(gè)通道，不同的顏色代表各個(gè)通道的不同權(quán)值。

圖2 壓縮激勵(lì)殘差模塊

該模塊首先使用全局平均池化來(lái)進(jìn)行特征壓縮操作，將每個(gè)通道的二維特征變成一個(gè)實(shí)數(shù)，即W×H×C變成了1×1×C，這個(gè)實(shí)數(shù)某種程度上具有全局感受野，它代表特征通道上響應(yīng)的全局分布，通過(guò)訓(xùn)練學(xué)習(xí)后用來(lái)表征特征通道間的相關(guān)性。

緊接進(jìn)行特征激勵(lì)操作，首先通過(guò)一個(gè)卷積層將特征通道數(shù)降低到輸入的 1/16，然后經(jīng)過(guò)激活函數(shù)后，再通過(guò)一個(gè)卷積層升回到原來(lái)的維度。相比僅使用一個(gè)卷積層，這樣做可以保證更多的非線性，可以更好地?cái)M合通道間復(fù)雜的相關(guān)性，同時(shí)也極大地減少了參數(shù)量和計(jì)算量。然后通過(guò)一個(gè)Sigmoid獲得0到1之間歸一化的權(quán)重。

最后是重標(biāo)定操作，將特征激勵(lì)輸出的權(quán)重看作經(jīng)過(guò)特征選擇后的每個(gè)特征通道的重要性，通過(guò)一個(gè)縮放層將歸一化后的權(quán)重加權(quán)到每個(gè)通道的特征上，完成在通道維度上的對(duì)原始特征的重標(biāo)定。

特征重標(biāo)定的方法可以通過(guò)學(xué)習(xí)的方式來(lái)自動(dòng)獲取每個(gè)特征通道的重要程度，然后依照這個(gè)重要程度去提升有用的特征，并抑制對(duì)當(dāng)前任務(wù)用處不大的特征。

將Resnet18[13]中的殘差模塊替換成壓縮激勵(lì)殘差模塊后可以得到SE-Resnet18，如圖3所示，將2個(gè)SE-Resnet18并聯(lián)起來(lái)就可以構(gòu)建基于壓縮激勵(lì)模塊的并聯(lián)殘差網(wǎng)絡(luò)，也就是圖1中局部結(jié)合全局聯(lián)合網(wǎng)絡(luò)。

圖3中SE-Resnet18表示經(jīng)過(guò)壓縮激勵(lì)模塊改進(jìn)后的Resnet18網(wǎng)絡(luò)，Concat為連接層；Pooling為平均池化層；Fc為全連接層；Softmax為分類層。

圖3 基于壓縮激勵(lì)模塊的并聯(lián)殘差網(wǎng)絡(luò)

2 實(shí)驗(yàn)預(yù)處理、數(shù)據(jù)庫(kù)簡(jiǎn)介與評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)基于Caffe[14]深度學(xué)習(xí)框架，硬件配置包括Intel i5-4460(4×3.2 GHz處理器)、8 GB內(nèi)存、GTX980Ti顯卡以及 Ubuntu14.04操作系統(tǒng)。

2.1 人臉預(yù)處理與區(qū)域裁剪

首先dlib庫(kù)對(duì)樣本圖片進(jìn)行人臉關(guān)鍵點(diǎn)定位，并根據(jù)兩眼中心進(jìn)行人臉對(duì)齊。繼續(xù)使用dlib庫(kù)對(duì)對(duì)齊后的人臉圖片進(jìn)行人臉檢測(cè)并裁剪。之后根據(jù)人臉關(guān)鍵點(diǎn)的位置裁剪3個(gè)局部區(qū)域，分別是左眼區(qū)域，嘴巴區(qū)域和鼻子區(qū)域，如圖4所示，具體裁剪方法如下：

基于dlib庫(kù)的人臉關(guān)鍵點(diǎn)定位一共可以得到68個(gè)人臉關(guān)鍵點(diǎn)，用序號(hào)0～67表示。

1)左眼睛區(qū)域分塊：以點(diǎn)17到點(diǎn)30的距離為長(zhǎng)寬，以點(diǎn)30為切割方形的右下角點(diǎn)。

2)嘴巴區(qū)域分塊：以點(diǎn)48到點(diǎn)54的距離為長(zhǎng)寬，點(diǎn)33在切割方形的上邊，點(diǎn)48、點(diǎn)54在切割方形的左右兩邊。

3)鼻子區(qū)域分塊：以點(diǎn)27到點(diǎn)33的距離為長(zhǎng)寬，點(diǎn)33為切割方形的下邊中點(diǎn)。

圖4 人臉預(yù)處理與人臉?lè)謮K

2.2 訓(xùn)練庫(kù)與測(cè)試庫(kù)

對(duì)MORPH庫(kù)[15]的人臉圖片進(jìn)行人臉關(guān)鍵點(diǎn)定位和人臉檢測(cè)，舍棄無(wú)法定位關(guān)鍵點(diǎn)和無(wú)法檢測(cè)到人臉的圖片。從得到的51 327張圖片的MORPH庫(kù)隨機(jī)挑選80%作為訓(xùn)練集，20%作為測(cè)試集，訓(xùn)練集共41 062張，測(cè)試集共10 265張。圖片年齡分布在16～66歲，共51類。并對(duì)樣本圖片進(jìn)行分塊，并將所有圖片尺寸轉(zhuǎn)化成224×224，得到整張人臉、左眼區(qū)域、鼻子區(qū)域、嘴巴區(qū)域4部分圖片。

2.3 評(píng)價(jià)指標(biāo)

年齡估計(jì)的評(píng)價(jià)指標(biāo)通常有2個(gè)，分別是平均絕對(duì)誤差MAE(mean absolute error)和累積分CS(cumulative score)。

MAE是指測(cè)試集的平均絕對(duì)誤差，公式為

其中：MMAE為平均絕對(duì)誤差；n為測(cè)試圖片數(shù)量；pi為第i張圖片的年齡預(yù)測(cè)值；ti為第i張圖片的年齡真實(shí)值。

累積分CS的計(jì)算公式為

其中：CCS為累積分；N為測(cè)試集圖片的全部數(shù)量；Na為測(cè)試人臉圖片中滿足估計(jì)值和真實(shí)值之間的絕對(duì)誤差不大于a歲的數(shù)量，取a=5。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 全局特征與局部特征的對(duì)比分析

針對(duì)不同局部區(qū)域做了對(duì)比實(shí)驗(yàn)，如表1所示。從表1中可發(fā)現(xiàn),使用整張人臉結(jié)合左眼區(qū)域、整張人臉結(jié)合嘴巴區(qū)域、整張人臉結(jié)合鼻子區(qū)域的方法在年齡估計(jì)問(wèn)題上效果差不多，并且都好于僅使用整張人臉的結(jié)果。說(shuō)明使用全局特征結(jié)合局部特征進(jìn)行年齡估計(jì)的方法好于僅使用全局特征來(lái)判斷年齡。原因就是全局結(jié)合局部的方式可以在全局特征的基礎(chǔ)上加強(qiáng)關(guān)鍵性的局部特征信息，有助于提升年齡估計(jì)的精度。

表1 全局特征與局部特征的效果對(duì)比

3.2 殘差網(wǎng)絡(luò)與壓縮激勵(lì)殘差網(wǎng)絡(luò)的對(duì)比分析

對(duì)圖3中的基礎(chǔ)網(wǎng)絡(luò)分別用殘差網(wǎng)絡(luò)和壓縮激勵(lì)殘差網(wǎng)絡(luò)做了年齡估計(jì)的對(duì)比實(shí)驗(yàn)。結(jié)果如表2所示，可以發(fā)現(xiàn)使用壓縮激勵(lì)殘差網(wǎng)絡(luò)來(lái)進(jìn)行年齡估計(jì)的效果要好于殘差網(wǎng)絡(luò)。原因就是壓縮激勵(lì)模塊進(jìn)一步加強(qiáng)了有用的特征，抑制了對(duì)于年齡估計(jì)任務(wù)不太相關(guān)的特征，因此提高了準(zhǔn)確率。

表2 殘差網(wǎng)絡(luò)與壓縮激勵(lì)殘差網(wǎng)絡(luò)的對(duì)比

3.3 與其他方法的比較與分析

從表3可知，使用3個(gè)模型聯(lián)合判斷年齡結(jié)果MAE為3.02，CS為80.9%，均好于表1的結(jié)果，說(shuō)明使用多種局部特征的多網(wǎng)絡(luò)聯(lián)合預(yù)測(cè)的方法要好于僅使用單個(gè)局部特征。因?yàn)槎鄠€(gè)子區(qū)域包含了更多的關(guān)鍵性局部特征，所以效果要好于僅使用單個(gè)子區(qū)域。

相對(duì)于傳統(tǒng)算法[1-3]，本方法具有較低的平均絕對(duì)誤差，因?yàn)楸痉椒ㄊ且环N端到端的深度學(xué)習(xí)方法，對(duì)于復(fù)雜函數(shù)映射有更好的擬合能力。而相較于深度學(xué)習(xí)方法OR-CNN，本方法具有更好的效果和更少的操作復(fù)雜度。目前Ranking-CNN算法擁有較好的效果，因?yàn)镽anking-CNN對(duì)于每一歲的判定都需要使用一個(gè)模型，所以精度較高，但是這樣會(huì)增加訓(xùn)練的復(fù)雜度，而本方法僅需要3個(gè)模型，并且在平均絕對(duì)誤差的效果上也接近于Ranking-CNN，同時(shí)在復(fù)雜度上具有一定優(yōu)勢(shì)。

表3 本方法與其他方法的結(jié)果對(duì)比

4 結(jié)束語(yǔ)

提出了一種基于雙重加強(qiáng)特征的人臉年齡估計(jì)方法。其中通過(guò)人臉關(guān)鍵點(diǎn)的局部區(qū)域裁剪方法可以有效地獲取有用的局部區(qū)域，而局部結(jié)合全局的聯(lián)合網(wǎng)絡(luò)又可以在已有的全局特征下加強(qiáng)關(guān)鍵性的局部特征信息。除此之外，基于壓縮激勵(lì)的并聯(lián)殘差網(wǎng)絡(luò)可以進(jìn)一步加強(qiáng)對(duì)年齡估計(jì)任務(wù)有用的特征并抑制用處不大的特征。年齡估計(jì)的實(shí)驗(yàn)表明，本方法相較于其他方法具有較低的平均絕對(duì)誤差,且算法復(fù)雜度也較低。未來(lái)的研究可以考慮結(jié)合Ranking-CNN的方法提升年齡估計(jì)精度或者改進(jìn)預(yù)處理方法，增加更多的局部特征，以及找到多模型加權(quán)的合適權(quán)值。