胥明晨，胡春龍

（江蘇科技大學(xué) 計算機學(xué)院，江蘇 鎮(zhèn)江 212000）

0 引言

年齡作為人臉的重要屬性之一，因其在視頻監(jiān)控、人機交互等實際應(yīng)用方面［1］有著重要應(yīng)用價值，近年來得到了相關(guān)領(lǐng)域研究人員的廣泛關(guān)注。最早的年齡估計工作始于Kwon 等［2］將年齡進行分組研究。第一個用于年齡估計的公開數(shù)據(jù)集是FG-NET，共包含82 人的1 002 張圖像，年齡范圍為0～69 歲。早期的年齡估計工作主要包含兩大階段：特征提取與分類。2002 年，Hayashi 等［3］提取人臉局部皺紋特征和顏色特征后使用直方圖進行特征均衡化處理，將處理后的特征用于年齡估計。仿生學(xué)特征（BIF）方案也被廣泛用于年齡估計［4］，該方法受大腦皮層啟發(fā)，通過手工制作人臉特征，輸送至S1 層和C1 層，經(jīng)降維處理后進行分類和回歸以估計年齡。此外，局部鄰域特征也是年齡估計領(lǐng)域中比較常見的選擇［5-6］。

近年來，隨著人工智能越發(fā)火熱，深度學(xué)習(xí)在計算機視覺領(lǐng)域中取得了很多優(yōu)秀成果，研究人員也將其應(yīng)用于年齡估計領(lǐng)域。與傳統(tǒng)方法不同，基于深度學(xué)習(xí)的方法［7-8］可以將特征提取與分類這兩個獨立的階段整合到一個能直接從原始面部圖像估計年齡的端到端模型中。2016 年，Rothe［8］提出一種基于期望值的表觀年齡估計方法DEX，他們在IMDB-WIKI 數(shù)據(jù)集上訓(xùn)練了一個基于VGG-16模型的網(wǎng)絡(luò)，利用完全連通層（FC）獲取SoftMax 權(quán)重，最后使用SoftMax 的權(quán)重計算加權(quán)平均年齡。Yang等［9］充分利用相近年齡之間的相關(guān)性，采用高斯分布生成年齡標(biāo)簽的分布，將生成的年齡分布作為模型訓(xùn)練目標(biāo)，取得了較好結(jié)果。此外，Jie 等［10］提出SE 模塊，利用不同通道之間的信息，篩選出針對通道的注意力，其可以自適應(yīng)地學(xué)習(xí)不同通道之間的依賴關(guān)系，提升模型性能，且易于集成到現(xiàn)有網(wǎng)絡(luò)模型中，在深度學(xué)習(xí)中被廣泛使用。

目前而言，從單個人臉面部圖像估計年齡任一項重大挑戰(zhàn)。首先，人臉的衰老是一個充滿不確定的復(fù)雜過程，受到許多內(nèi)在和外在因素的共同影響。內(nèi)在因素包括基因遺傳，外在因素包括生活方式、環(huán)境等，這意味著不同受試者在同一年齡段的面部外觀可能會有很大差異。而且，衰老是一個緩慢的過程，同一受試者相鄰年齡段之間的容貌差異往往難以察覺［11］。其次，人臉具有結(jié)構(gòu)復(fù)雜、變化豐富等特點，如圖1 所示，在相同年齡下，不同性別、種族的臉部外觀差異很大，這會對年齡估計造成干擾［12］。

在當(dāng)前的年齡估計研究領(lǐng)域，深度學(xué)習(xí)模型大多是基于單分支的任務(wù)網(wǎng)絡(luò)模型。本文考慮是否可以采用多任務(wù)學(xué)習(xí)，通過引入一些簡單的輔助任務(wù)，探究對年齡估計主任務(wù)的影響。鑒于此，本文設(shè)計了一個含性別輔助任務(wù)的雙分支年齡估計模型，對面部年齡估計進行研究，希望兩個網(wǎng)絡(luò)模型能夠?qū)W習(xí)到更有效的互補特征，以更好地提高網(wǎng)絡(luò)表達能力，從而提升年齡估計準(zhǔn)確度。

1 方法模型

本文設(shè)計的基于多任務(wù)與標(biāo)簽分布的雙分支網(wǎng)絡(luò)模型主要分為兩部分，級聯(lián)的多任務(wù)網(wǎng)絡(luò)模型CUTResNet50 和標(biāo)簽分布學(xué)習(xí)（LDL）。多任務(wù)網(wǎng)絡(luò)模型CUTResNet50 由基于ResNet50［13］的共享特征參數(shù)提取層、性別輔助任務(wù)層與年齡主任務(wù)層組成，整體網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。為了充分利用輔助任務(wù)提取的低級特征，本文將共享特征層與輔助任務(wù)層的特征進行級聯(lián)融合，作為年齡主任務(wù)層的輸入，用來進行年齡估計。同時，將真實年齡標(biāo)簽轉(zhuǎn)換為年齡分布，作為模型訓(xùn)練目標(biāo)。

1.1 多任務(wù)網(wǎng)絡(luò)模型設(shè)計

本文設(shè)計了一個多任務(wù)的網(wǎng)絡(luò)模型CUT-ResNet50（見圖2），通過粗粒度的性別分類任務(wù)指導(dǎo)細(xì)粒度的年齡分類任務(wù)，目的是提高年齡估計主任務(wù)性能。所設(shè)計的整個網(wǎng)絡(luò)模型分為3 塊：共享網(wǎng)絡(luò)層（Share Net）、性別粗粒度任務(wù)層和年齡細(xì)粒度任務(wù)層，由共享網(wǎng)絡(luò)層學(xué)習(xí)低級特征后，分別輸入到性別層與年齡層中。

Fig.1 Female and male face images of subjects in the MORPH-II dataset圖1 女性與男性在MORPH-II數(shù)據(jù)集中的受試者臉部圖像

通常，卷積神經(jīng)網(wǎng)絡(luò)先利用一定尺寸的卷積核按從左往右、由上而下的順序掃描輸入圖像，獲取淺層特征，而后不斷地疊加卷積層以加深網(wǎng)絡(luò)，從而通過擴大感受野捕獲更深層的語義特征，但網(wǎng)絡(luò)層數(shù)的不斷加深，會出現(xiàn)梯度爆炸或者梯度消失等網(wǎng)絡(luò)退化問題。而ResNet［13］通過短路鏈接的方式在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入了恒等映射，在一定程度上能夠緩解網(wǎng)絡(luò)退化問題?；谄鋬?yōu)秀性能，本文采用ResNet50 作為網(wǎng)絡(luò)主干，截取其前22 層結(jié)構(gòu)，組成多任務(wù)的共享參數(shù)層。將人臉圖像預(yù)處理為224×224的尺寸輸入到共享參數(shù)層，經(jīng)卷積與池化后，由3 組［1×1，64|3×3，64|1×1，256］與4組［1×1，128|3×3，128|1×1，512］的殘差塊處理，輸出尺寸為28×28×512的特征圖，這些低級特征將分別輸入到性別任務(wù)層與年齡任務(wù)層，并作進一步處理。

Fig.2 Structure of cascaded network CUT-ResNet50圖 2 級聯(lián)網(wǎng)絡(luò)CUT-ResNet50結(jié)構(gòu)

性別任務(wù)層由3組殘差塊和兩個全連接層構(gòu)成，網(wǎng)絡(luò)的輸入尺寸為28×28×512，堆疊殘差塊輸出的特征尺寸為14×14×1024，第一個全連接層的輸出為1×1×512，第二個全連接層的輸出為1×1×2，最后由SoftMax輸出男女的概率分布。

在深度學(xué)習(xí)的發(fā)展歷程中，特征融合是提高模型性能的一種重要方法［14］，本文將粗粒度性別任務(wù)層輸出的特征與共享網(wǎng)絡(luò)層輸出的低級特征進行融合，通過級聯(lián)將性別任務(wù)網(wǎng)絡(luò)與年齡任務(wù)網(wǎng)絡(luò)連接，采用reshape 方法，對性別任務(wù)網(wǎng)絡(luò)第一個全連接層的特征尺寸作重新調(diào)整，使其與共享網(wǎng)絡(luò)層的輸出尺寸一致后，再與共享網(wǎng)絡(luò)的特征進行疊加融合，作為年齡任務(wù)網(wǎng)絡(luò)的輸入。

年齡主任務(wù)網(wǎng)絡(luò)采用殘差塊堆疊而成，考慮到年齡分類是一個細(xì)粒度的分類任務(wù)，本文引入了易于集成的SE 模塊［10］，組成SE-ResNet，利用SE模塊的注意力機制，進一步提取出有助于年齡分類的特征。SE模塊結(jié)構(gòu)如圖3所示，輸入圖像尺寸為H×W×C，經(jīng)全局池化層加全連接層，將尺寸拉伸成1×1×C后再與原圖像相乘，通過賦予每個通道權(quán)重，從而學(xué)習(xí)不同通道之間的依賴關(guān)系。如圖4所示，SE模塊在ResNet的BottleNeck 結(jié)構(gòu)之后加入。年齡任務(wù)網(wǎng)絡(luò)的主干為SEResNet，含兩個全連接層，殘差塊輸出的特征尺寸為14×14×1024，第一個全連接層的輸出為1×1×512，第二個全連接層的輸出為1×1×100，最后由SoftMax輸出年齡估計的概率分布。

Fig.3 SE（Squeeze-and-Excitation）module圖3 SE（Squeeze-and-Excitation）模塊

Fig.4 SE-ResNet structure圖4 SE-ResNet結(jié)構(gòu)

為了驗證本文所提出方法的有效性，另設(shè)計了4 種基礎(chǔ)模型進行對比實驗，網(wǎng)絡(luò)結(jié)構(gòu)圖5 所示。其中，圖5（a）、（b）分別是直接基于ResNet18、ResNet50 接入全連接層的模型，（c）s 是單任務(wù)的CUT-ResNet50-NoAuxiliary 模型（CUT-ResNet50 下移除輔助任務(wù)），（d）是多任務(wù)未融合特征的CUT-ResNet50-NoFusion 模型（CUT-ResNet50 下輔助任務(wù)層未進行特征融合）。

1.2 標(biāo)簽分布學(xué)習(xí)

年齡增長是一個緩慢的過程，同一個體在相近年齡其人臉外觀變化難以察覺，例如一個人29 歲時的照片與30歲時的照片看起來會十分相似，因此可以利用人臉?biāo)ダ弦?guī)律，將人臉年齡從單一值轉(zhuǎn)換為年齡的分布信息。本文采用式（1）的高斯分布函數(shù)將人臉對應(yīng)的年齡值轉(zhuǎn)換為年齡分布，作為對年齡的分布描述，年齡分布如圖6 所示?？梢钥闯?，越接近真實年齡，其描述程度值越高，這反映了相近年齡之間的相關(guān)性，且在真實年齡處達到最大值。此外，合適的年齡分布有助于真實年齡的學(xué)習(xí)，同時更有助于鄰近年齡的學(xué)習(xí)，從而在一定程度上彌補數(shù)據(jù)集樣本分布不均的問題。

Fig.5 Structure of four basic comparison models圖5 4種基礎(chǔ)對比模型結(jié)構(gòu)

Fig.6 Example of age distribution圖 6 年齡分布示例

將深度學(xué)習(xí)與標(biāo)簽分布結(jié)合起來，將年齡分布作為網(wǎng)絡(luò)訓(xùn)練目標(biāo)，采用Kullback-Leibler（KL）散度作為損失函數(shù)，要盡量減少KL 的發(fā)散。

其中，yj是真值分布的第j個值，pj是預(yù)測分布的第j個值。關(guān)于多任務(wù)的損失占比，不同分類任務(wù)的損失存在較大差異，學(xué)者們通常會采用加權(quán)求和方式尋找最佳損失占比［15］，本文不探討損失比例問題，在性別為0-1 分布的情況下，如式（3）所示，直接疊加作為總損失。

此外，最終年齡的計算方式為概率分布對應(yīng)的年齡累加，通過生成一個年齡范圍為1～100 的元組，與分布對應(yīng)的索引下標(biāo)相乘后相加作為估計年齡。

2 實驗與結(jié)果分析

2.1 數(shù)據(jù)集與預(yù)處理

MORPH-II 數(shù)據(jù)集［16］作為目前最大的公開真實年齡數(shù)據(jù)集之一，其包含了約1 300 個不同性別、不同種族人物的超過55 000 張面部圖像。這些圖片拍攝于2003-2007年，年齡范圍為16～77 歲，雖然其覆蓋年齡廣，但也存在著各年齡段和各種族圖像數(shù)量不均衡的問題，圖像年齡主要集中在20～40 歲，且超過96%的人臉是非洲和歐洲人。在本文實驗中，將實驗數(shù)據(jù)隨機打亂，采用8-2 原則［17-18］，將其中的80%用于訓(xùn)練，20%用于測試。

UTKFace 數(shù)據(jù)集是一個年齡跨度大的人臉數(shù)據(jù)集，包含了不同性別、種族、人物約23 700 張面部圖像，年齡范圍為0～116 歲，但其分布不均衡問題更為嚴(yán)重，1～25 歲的圖像最多，且包含了不同姿勢、光照、遮擋、分辨率等外在因素影響的圖像，訓(xùn)練難度較大。在實驗中，同樣將實驗數(shù)據(jù)隨機打亂，將其中的80%用于訓(xùn)練，20%用于測試。

此外，為了提升模型性能，保證數(shù)據(jù)多樣性，避免過擬合，需要對訓(xùn)練數(shù)據(jù)進行增強。對于每個訓(xùn)練圖像，以50%的概率將其翻轉(zhuǎn)，放大為256×256 尺寸，并隨機切出224×224 尺寸的圖像，隨機旋轉(zhuǎn)±10°，以0.3 的概率隨機擦除圖像的一部分，最后進行平均標(biāo)準(zhǔn)化后作為訓(xùn)練網(wǎng)絡(luò)的輸入。

2.2 評價指標(biāo)

本文采用年齡估計領(lǐng)域中常用的平均絕對誤差MAE與累計指數(shù)CS 作為評價指標(biāo)（以下簡稱MAE 與CS）。MAE 是計算真實年齡與估計年齡之間的絕對值誤差，其計算方式如下：

其中，N為測試集圖像總數(shù)，Ne≤j表示估計年齡與標(biāo)簽?zāi)挲g的絕對誤差在j范圍內(nèi)的圖像數(shù)，CS值越高，模型性能越好。

2.3 超參數(shù)設(shè)置

本文實驗在Windows10 系統(tǒng)下完成，深度學(xué)習(xí)架構(gòu)基于開源的Pytorch1.7 框架，硬件環(huán)境為Intel Core i7-7700，GPU 為NVIDIA GeForce GTX 1060。

網(wǎng)絡(luò)使用Pytorch 提供的預(yù)訓(xùn)練ResNet 網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)優(yōu)化算法采用隨機梯度下降法（SGD），初始學(xué)習(xí)率設(shè)為0.001，動量0.9，權(quán)值衰減2x10-4。在MORPH-II、UFTFace數(shù)據(jù)集上各迭代90 次，批處理大小為32，在第70 次與第80次迭代時學(xué)習(xí)率降低10倍。

2.4 結(jié)果與分析

在MORPH-II 數(shù)據(jù)集下，對本文提出的CUT-ResNet50模型與其他4 種模型在參數(shù)量、MAE、CS 3 個方面進行比較，具體實驗數(shù)據(jù)如表1 所示。其中，CS5、CS3 分別表示估計年齡與真實標(biāo)簽?zāi)挲g的絕對誤差在5 歲和3 歲范圍內(nèi)的圖像占比。

與ResNet18、ResNet50 模型相比，本文提出的CUTResNet50，在參數(shù)量僅為ResNet50 參數(shù)量2/5 的情況下，MAE 提升10%，與ResNet18 相比，參數(shù)量低于前者，MAE提升 13.5%。將 CUT-ResNet50-NoAuxiliary 與 CUTResNet50-NoFusion 相比，發(fā)現(xiàn)增加了輔助任務(wù)后，即使未進行特征融合，模型MAE 也提升近3%，且將進行特征融合后的多任務(wù)CUT-ResNet50 與單年齡任務(wù)CUTResNet50-NoAuxiliary 進行比較，模型MAE 提升13.8%，這說明與單個年齡任務(wù)網(wǎng)絡(luò)相比，添加性別任務(wù)的多任務(wù)網(wǎng)絡(luò)，進一步提高了網(wǎng)絡(luò)表達能力，提升了年齡主任務(wù)的性能。

在上述實驗基礎(chǔ)上，引入標(biāo)簽分布學(xué)習(xí)，在生成分布函數(shù)中，標(biāo)準(zhǔn)差σ 作為統(tǒng)計分布程度的測量，反映組內(nèi)個體間的離散程度，在本文代表可以學(xué)習(xí)的相鄰年齡特征程度。本文研究了在MORPH-II 上多種標(biāo)準(zhǔn)差σ 取值下的實驗結(jié)果，MAE 變化趨勢如圖7 所示。可以看到，隨著σ 的增大，MAE 提升后又回落，當(dāng)σ 為0.6時，模型性能最佳。

利用標(biāo)簽分布學(xué)習(xí)，取生成的分布函數(shù)的最佳標(biāo)準(zhǔn)差σ 為0.6，重新在MORPH-II 與UTKFace 數(shù)據(jù)集上訓(xùn)練了表1 中的各網(wǎng)絡(luò)模型，實驗結(jié)果數(shù)據(jù)如表2、表3 所示。本文級聯(lián)網(wǎng)絡(luò)在MORPH-II 數(shù)據(jù)集下MAE 為2.1，與未引入標(biāo)簽分布學(xué)習(xí)的CUT-ResNet50 相比，MAE 提升13%，在UTKFace 數(shù)據(jù)集下MAE 為4.91，都優(yōu)于直接基于ResNet-18、ResNet-50的網(wǎng)絡(luò)模型。

Fig.7 Validation MAE changes with different standard deviations during training圖 7 訓(xùn)練時不同標(biāo)準(zhǔn)差的驗證MAE變化

在年齡主任務(wù)網(wǎng)絡(luò)結(jié)構(gòu)中引入SE 模塊，為了驗證SE模塊的有效性，引入消融實驗，CUT-ResNet50-NoSE 在CUT-ResNet50 的模型下移除SE 模塊，如表4 所示。結(jié)果表明，年齡主任務(wù)網(wǎng)絡(luò)結(jié)構(gòu)通過引入SE 模塊，模型性能可提高4%。

3 結(jié)語

本文在公開的MORPH-II 與UTKFace 人臉數(shù)據(jù)集上，將深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與多任務(wù)學(xué)習(xí)結(jié)合，設(shè)計了一個帶有共享網(wǎng)絡(luò)的雙分支多任務(wù)網(wǎng)絡(luò)模型CUT-ResNet50，通過人臉的性別屬性輔助人臉年齡估計，同時引入標(biāo)簽分布學(xué)習(xí)，將離散的年齡值轉(zhuǎn)換為連續(xù)的概率分布，解決了單標(biāo)簽信息量不足的問題。實驗結(jié)果表明，添加了性別任務(wù)的多任務(wù)學(xué)習(xí)與標(biāo)簽分布學(xué)習(xí)可以提升年齡估計準(zhǔn)確度，證明了本文新設(shè)計模型的有效性。

Table 1 Comparison of parameters，MAE and CS of different methods under the MORPH-II dataset表1 在MORPH-II數(shù)據(jù)集下不同方法的參數(shù)量、MAE與CS的比較

Table 2 Comparison of different method parameter quantities，MAE，and CS after introducing label distribution learning in the MORPH II dataset表2 在MORPH-II數(shù)據(jù)集下引入標(biāo)簽分布學(xué)習(xí)后不同方法的參數(shù)量、MAE與CS的比較

Table 3 Comparison of different method parameter quantities，MAE，and CS after introducing label distribution learning in the UTKFace dataset表3 在UTKFace數(shù)據(jù)集下引入標(biāo)簽分布學(xué)習(xí)后不同方法的參數(shù)量、MAE與CS的比較

Table 4 Comparative experimental results of SE modules表4 SE模塊對比實驗結(jié)果