董蘭芳,張軍挺

(中國科學技術大學 計算機科學與技術學院,合肥 230027)

0 概述

隨著近年來社交平臺與媒體的發(fā)展,人臉年齡估計與性別識別在現(xiàn)實生活中的應用越來越多,引起了人們廣泛的興趣。人臉年齡估計與性別識別技術在身份認證、人機接口、網絡娛樂以及計算機視覺中的應用也越來越多。年齡估計和性別識別方法有相似之處,首先它們的識別對象都是人臉,輸入一張圖像,都要進行人臉檢測定位、圖像預處理,然后提取出人臉特征,最后進行識別。在以前對人臉年齡估計和性別識別的研究中,提取的特征大多是人為設計的淺層特征,然后使用機器學習方法對輸入特征進行分類。

本文運用深度卷積神經網絡一般到特殊的微調方法對人臉屬性進行微調訓練。使用在自然場景下拍攝的圖像,訓練過程較簡單,不需要復雜繁瑣的人臉歸一化預處理,且訓練出的模型對復雜光照、姿態(tài)和背景變化具有魯棒性。

1 相關研究

下面分別對人臉年齡估計和性別識別的研究進行討論。

人臉年齡估計與性別識別主要步驟如圖1所示。

圖1 人臉年齡估計與性別識別流程

在年齡估計方面,文獻[1]在1994年就開始研究人臉圖像的年齡估計,首先對人臉的眼睛、鼻子和嘴巴進行定位,然后計算人臉上述特征的大小、距離、比例等,使用計算的特征對年齡分類;文獻[2]使用類似文獻[1]的方法,對年齡在18歲以下的人臉進行分類,需要精確檢測定位臉部特征,這種方法對在自然場景下的人臉圖像則不適合。文獻[3]提出衰老模式子空間方法,使用個人在不同時間段的人臉圖像來對衰老模式進行建模,對于輸入的人臉圖像,通過子空間投影方法,重構出其衰老模式,從而估計人臉圖像的年齡。文獻[4]使用子空間學習方法,提取與人臉年齡相關的特征,并設計局部可調的回歸學習方法估計人臉年齡。隨著越來越多魯棒的圖像特征描述符被提出來,有些描述符也被應用在人臉年齡估計的研究中。文獻[5]使用Gabor[6]特征,以及模糊線性判別分析方法對年齡分類;文獻[7]使用Gabor[6]特征和LBP[8]特征作為輸入特征,并用支持向量機對年齡分類;文獻[9]使用LBP[8]特征,以及dropout-SVM分類器對人臉年齡估計與性別識別進行研究。

在性別識別方面,早在20世紀90年代,文獻[10]提出使用全連接神經網絡,在小數(shù)據(jù)集上對人臉圖像進行性別識別實驗;文獻[11]較早使用支持向量機(SVM)直接對圖像強度進行分類,在FERET[12]數(shù)據(jù)庫上實驗;文獻[13]用Adaboost分類器,對圖像像素強度進行訓練與測試;文獻[14]使用Adaboost分類器,但輸入使用人臉圖像的LBP特征;文獻[15]使用SIFT特征,并運用Adaboost進行特征選擇;文獻[16]使用WLD[17]特征進行人臉性別識別研究,在FERET[12]數(shù)據(jù)庫上進行訓練和測試;文獻[18]使用LBP特征和Adaboost結合的方法,在LFW[19]數(shù)據(jù)集上進行人臉性別識別的實驗。其中LFW是自然場景下的人臉數(shù)據(jù)庫,近年來被很多研究者用作人臉識別的研究;文獻[20]使用深度卷積神經網絡對人臉年齡與性別分類進行研究。

以上對人臉年齡與性別識別的研究,使用的特征大多是人工設計的,在限制性條件下會取得較好的結果,但受光照、姿態(tài)、背景變化影響較大,對自然場景下的人臉進行識別時,會遇到更大的挑戰(zhàn)。近年來,深度學習技術快速發(fā)展,基于卷積神經網絡提取的特征,分類效果較好,有著廣泛的應用。比如文獻[21]提出基于深度卷積神經網絡的服裝圖像分類檢索算法,在服裝分類問題上取得較高的準確率。

本文提出基于深度卷積神經網絡(DCNN)從一般到特殊的微調方案,訓練好模型后進行特征提取,再結合使用隨機森林(RFC)方法對人臉年齡與性別分類進行訓練和測試。其中DCNN使用的是VGG-Face[22]網絡結構,如圖2所示,先對不同人臉進行分類預訓練,然后在CelebA[23]人臉屬性數(shù)據(jù)庫上進行微調訓練,挖掘不同個體的人臉差異與人臉屬性的內在聯(lián)系,最后使用RFC進行訓練和測試。模型的訓練使用了大量自然場景下的圖像,對于復雜光照、人臉姿態(tài)以及背景變化具有魯棒性。本文使用Adienc[9]數(shù)據(jù)集進行實驗,其中數(shù)據(jù)集由各個年齡段、不同性別的人臉圖像組成,均在自然場景下拍攝,如圖3所示。

圖2 一般到特殊的微調訓練流程

圖3 Adience數(shù)據(jù)庫中的人臉圖像

2 人臉特征提取

2.1 人臉檢測

對于訓練集與測試集圖像,本文采用Mathias[24]的人臉檢測器得到人臉的定位。對于少部分沒有檢測到人臉的圖像,或者圖像較模糊時,則直接舍棄,防止這些圖像對訓練結果產生干擾。

改變上述圖像尺寸,使每個圖像都是224像素×224像素,作為深度卷積神經網絡的輸入。

2.2 基于DCNN的特征提取

基于DCNN的特征提取流程如圖2所示,受文獻[25-26]的啟發(fā),本文提出一般到特殊的微調方案,并將卷積神經網絡各全連接層的特征連接起來,構成特征向量。主要包含3個步驟:

1)采用VGG-Face[22]的模型,它在大數(shù)據(jù)集上對不同人臉進行分類預訓練。如圖4所示,該網絡有13個卷積層和3個全連接層。其中,卷基層參數(shù)表示為“conv<感受野大小>-<通道數(shù)>”,最大池化層用maxpool表示,全連接層表示為FC-<輸出數(shù)>。在該網絡中,圖像輸入尺寸是固定的,接著依次通過一系列核大小為3×3的卷積層。每2個或3個連續(xù)堆疊的卷積層構成一個單元模塊,稱之為Block。每個Block模塊后面都會接入一個maxpool層,用于減少輸入的尺寸大小,并保持網絡的平移不變性。經過多個堆疊的Block模塊后,接入一個三層全連接層,最后連接一個softmax分類器。為了簡潔,ReLU激活函數(shù)沒有在圖4中展示。該網絡最大的特點就是它的卷積核尺寸全都是3×3,卷積操作能夠覆蓋到輸入的上、下、左、右、中、左上、右上、左下、右下共9個方向。多個小卷積核的堆疊跟單個大卷積核比,具有更好的特征提取能力。

圖4 VGG-Face卷積神經網絡配置

2)在CelebA[23]人臉屬性數(shù)據(jù)集上對VGG-Face[22]模型進行多標簽微調訓練,該數(shù)據(jù)集共有40個屬性類別,每個屬性用“是”或者“不是”來表示,例如是否年輕等。本文選取其中5個屬性,分別是:(1)是否留胡子;(2)是否年輕;(3)是否戴眼鏡;(4)性別是否為男;(5)是否戴帽子。在多標簽微調訓練時,需要設計多個損失函數(shù)層,將圖4的網絡結構更改一下。首先為每個屬性標簽定義一個損失函數(shù),在深度學習框架caffe[27]中表示為softmaxWithloss;然后在每個損失函數(shù)前添加一個全連接層,新添加的全連接層都與VGG-Face的第2個全連接層連接,即圖4中的FC-4096層;最后將FC-2622全連接層去掉。將各個損失函數(shù)的權重值設置為0.2,使得所有任務的權重值相加為1,把全連接層的學習率設置為0.001,其他中間層的學習率設置為0.000 1,微調訓練得到的模型記作模型a。

3)輸入人臉圖像,經過模型a前向,將所有全連接層的輸出值連接起來,構成一個向量,作為人臉DCNN特征。

與傳統(tǒng)手工設計的特征相比(例如LBP特征、HOG特征等),使用本文方法提取人臉特征,主要有以下優(yōu)勢:

1)近年來,深度學習快速發(fā)展在計算機視覺領域有出色的表現(xiàn)。本文使用深度卷積神經網絡進行訓練,提取的特征對自然場景中的復雜光照、人臉姿態(tài)變化,以及部分遮擋等具有魯棒性。

2)假如某個手工設計的特征可以有效識別出人臉性別,但是它對于人臉年齡的估計就不一定有效,因此,對于同一張輸入圖像,使用傳統(tǒng)方法需要計算不同的特征。

本文挑選了幾個人臉屬性進行訓練,例如“是否年輕”“性別是否為男”“是否留胡子”等,這幾個屬性跟人臉年齡與性別的識別有關系。對于一張輸入圖像,本文只需要前向一次網絡來提取特征值。

3)本文先在大規(guī)模人臉數(shù)據(jù)庫上,對不同的人臉個體進行識別訓練,再對人臉屬性微調訓練,使用這種方法不容易發(fā)生過擬合。

4)本文方法的可擴展性較強。比如有新的應用需求時,要對人臉種族、表情等進行識別,只需要挑選相關的人臉屬性數(shù)據(jù)庫進行微調訓練。

3 隨機森林

RFC是Leo breiman[28]提出的集成樹形分類器,由k棵分類樹組成,它的基本思想是將多個弱分類器集成為一個強分類器。分類樹由根節(jié)點、內部節(jié)點和葉子節(jié)點構成。其中,根節(jié)點代表訓練集,每個內部節(jié)點代表弱分類器,將樣本按照某一屬性劃分,每個葉子節(jié)點都是有標簽的訓練或測試集,將輸入數(shù)據(jù)分類成若干個子集。RFC最后的決策結果是所有分類樹投票選擇的最優(yōu)結果。

使用基尼指數(shù)[29]選擇最優(yōu)的特征,同時決定該特征的最優(yōu)二值切分點。基尼指數(shù)Ggini(D)表示集合D的不確定性。在分類問題中,假設共有N個類,對于給定樣本集合D,其基尼指數(shù)定義為:

(1)

其中,Cn是D中屬于第n類的樣本子集。如果樣本集合D根據(jù)特征A的取值是否為a,被劃分為D1和D2兩部分,即:

D1={(x,y)∈D|A(x)=a},D2=D-D1

(2)

在特征A的條件下,集合D的基尼指數(shù)定義為:

(3)

基尼指數(shù)Ggini(D)表示集合D的不確定性,基尼指數(shù)Ggini(D,A)表示經過A=a分割過后集合D的不確定性?；嶂笖?shù)越大,樣本集合的不確定性就越大。構建分類樹時,要選擇基尼指數(shù)最小的特征,以及其相應的最優(yōu)二值切分點。

使用基尼指數(shù)最小準則構建RFC,主要有如下步驟:

1)使用bootstrap重抽樣方法從原始樣本集D中有放回地抽取,將第k個樣本集記作Dk,并為第k棵分類樹生成隨機向量θk,θk跟前面的隨機向量獨立同分布。本文使用h(Dk,θk)表示第k棵分類樹模型。

2)分別對k個樣本建立分類樹。分類樹的生成就是遞歸構建二叉分類樹的過程,使用基尼指數(shù)最小的特征分裂二叉樹。假設輸入樣本Dk是M維的特征向量,在樹的每個節(jié)點處,從這M個特征中隨機抽取m(m<

3)根據(jù)每一棵分類樹的結果,投票決定最后的分類結果。

構建隨機森林的流程如圖5所示。

圖5 隨機森林分類器流程

本文在2.2節(jié)中提取人臉屬性特征向量,將其構成樣本集合D,使用RFC進行訓練和測試。RFC能夠處理高維的數(shù)據(jù),同時隨機選擇特征可以有效防止過擬合。

4 實驗結果與分析

4.1 實驗數(shù)據(jù)

本文使用Adience[9]數(shù)據(jù)庫,該數(shù)據(jù)庫被專門用來做年齡與性別的分類研究。數(shù)據(jù)庫中的圖像由用戶手機上傳到Flickr平臺上,在非限制性條件下拍攝的,并且沒有經過濾波操作。數(shù)據(jù)庫中的人臉姿勢、光照條件以及背景都存在差異,能夠展現(xiàn)在實際生活中圖像的真實情況。

Adience數(shù)據(jù)庫包含了2 284個不同個體,一共約26 KB張圖像。表1展現(xiàn)了數(shù)據(jù)庫中在不同年齡階段的人中男性和女性的人數(shù)。根據(jù)文獻[9]中定義的5份數(shù)據(jù)集,本文取前4份作為訓練集,最后一份作為測試集。

表1 Adience人臉數(shù)據(jù)集

4.2 結果分析

對于人臉年齡分類,本文分為8個年齡段。分類結果如表2所示,記錄了在不同分類樹數(shù)量情況下的準確率。人臉年齡分類存在3種情況:

1)預測的年齡段就是人臉圖像所在的實際年齡段。

2)預測的年齡段存在錯誤。當預測年齡段跟實際年齡段相鄰,即預測的年齡段比實際年齡大一個區(qū)間或者小一個區(qū)間,本文把這種情況記作1-off誤差。如果把存在1-off誤差的預測結果當做分類正確處理,可以得到1-off準確率,同理也可以得到2-off準確率,如表2所示。這種測試方法沿用了前人的經驗。人臉是否花妝、是否使用護膚品保養(yǎng)、拍攝圖像是否模糊等情況,都會影響分類準確率。

表2 各年齡段分類準確率均值估計結果

某個年齡段的分類準確率,可以用式(4)表示。

(4)

其中,Nacc表示在這個年齡段分類正確的數(shù)量,Nall表示這個年齡段的總人數(shù)。年齡分類的實驗結果使用各個年齡段分類準確率的平均值±標準差來表示。

從表2可以看出,對于年齡分類,在測試集上準確率為55%左右,1-off準確率為85%左右,2-off準確率為97%左右,隨著分類樹數(shù)量增加,分類準確率有所提高。如圖6所示為部分存在預測誤差的圖像,它的預測年齡跟實際年齡不在一個區(qū)間內,但是受遮擋、模糊等外界因素影響,它“看起來”像預測的年齡。第1行圖像是預測的年齡段比實際年齡要大,第2行圖像是預測的年齡段比實際年齡要小。1-off準確率在一定程度上描述了本文方法對人臉年齡估計的有效性。

圖6 年齡分類錯誤圖像

人臉性別分類結果如表3所示,在測試集上準確率為86%左右。其中,性別分類準確率表示為分類正確的人臉數(shù)量與總數(shù)量的比值。圖7展示了部分分類錯誤的圖像,其中第一行圖像是將男性錯誤識別為女性,第二行圖像是將女性錯誤識別為男性。從圖7中可以看出,部分性別識別錯誤的圖像存在較大的“混淆性”,有時候人們很難做出準確的判斷。

表3 性別識別準確率

圖7 性別分類錯誤圖像

本文與文獻[9,20]相同,都為使用Adience人臉數(shù)據(jù)庫進行實驗,其中對于訓練集和測試集的定義一樣,年齡段的劃分方式也相同。因此,本文引用文獻[9,20]的實驗結果進行比較,如表4和表5所示。在人臉年齡分類方面,本文方法的準確率要比文獻[9,20]好。在性別識別方面,本文方法的準確率高于文獻[9],和文獻[20]相當。

表4 在Adience上的年齡估計結果比較

表5 在Adience上的性別識別結果比較 %

文獻[9]使用傳統(tǒng)手工設計的特征(LBP特征),并結合支持向量機進行分類。文獻[20]使用2個深度卷積神經網絡,分別對人臉年齡與性別進行訓練,得到2個模型。本文提出一般到特殊的訓練方案,并使用一個模型提取人臉特征,與上述2種方法相比,本文提取的深度卷積特征對各種環(huán)境變化具有魯棒性,而手工設計特征則受環(huán)境的影響較大。本文使用一個特征向量,可以同時對人臉年齡與性別進行分類,不需要多次計算不同特征,比較方便。一般到特殊的訓練方案可以防止過擬合,也容易擴展人臉屬性識別的內容,比如增加種族、表情的識別等。

5 結束語

目前傳統(tǒng)的方法解決了人臉年齡估計與性別識別問題,但是這些工作大部分都是在限制性圖像數(shù)據(jù)集上進行研究的。對于在自然場景下拍攝的圖像,由于存在復雜光照、姿態(tài)、背景變化、遮擋以及模糊的影響,年齡與性別識別會遇到更大的挑戰(zhàn)。本文運用深度卷積神經網絡一般到特殊的微調方法,對人臉屬性進行微調訓練。實驗圖像在自然場景下拍攝,訓練過程較簡單,不需要復雜繁瑣的人臉歸一化預處理。本文訓練出的模型對復雜光照、姿態(tài)和背景變化具有魯棒性。實驗結果表明,該方法能夠克服復雜光照、姿態(tài)變化的影響,準確地對自然場景下的人臉進行年齡估計和性別識別。

[1] KWON Y H,da VITORIN L N.Age classification from facial images[J].Computer Vision and Image Understanding,1999,74(1):1-21.

[2] RAMANATHAN N,CHELLAPPA R.Modeling age progression in young faces[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2006:387-394.

[3] GENG X,ZHOU Z H,SNITH-MILES K.Automatic age estimation based on facial aging patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(12):2234-2240.

[4] GUO G,FU Y,DYER C R,et al.Image-based human age estimation by manifold learning and locally adjusted robust regression[J].IEEE Transactions on Image Processing,2008,17(7):1178-1188.

[5] GAO F,AI H.Face age classification on consumer images with gabor feature and fuzzy LDA method[C]//Proceedings of International Conference on Biometrics.Germany,Berlin:Springer,2009:132-141.

[6] LIU C,WECHSLER H.Gabor feature based classification using the enhanced fisher linear discriminant model for face recognition[J].IEEE Transactions on Image processing,2002,11(4):467-476.

[7] CHOI S E,LEE Y J,LEE S J,et al.Age estimation using a hierarchical classifier based on global and local facial features[J].Pattern Recognition,2011,44(6):1262-1281.

[8] AHINEN T,HADID A,PIETIKAINEN M.Face description with local binary patterns:application to face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(12):2037-2041.

[9] EIDINGER E,ENBAR R,HASSNER T.Age and gender estimation of unfiltered faces[J].IEEE Transactions on Information Forensics and Security,2014,9(12):2170-2179.

[10] GOLOMB B A,LAWRENCE D T,SEJNOWSKI T J.SEXNET:A neural network identifies sex from human faces[C]//Proceedings of IEEE NIPS’90.Washington D.C.,USA:IEEE Press,1990:21-32.

[11] MDGHADDAM B,YANG M H.Learning gender with support faces[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):707-711.

[12] PHILLIPS P J,WECHSLER H,HUANG J,et al.The FERET database and evaluation procedure for face-recognition algorithms[J].Image and Vision Computing,1998,16(5):295-306.

[13] BALUJA S,ROWLEY H A.Boosting sex identification performance[J].International Journal of Computer Vision,2007,71(1):111-119.

[14] SUN N,ZHENG W,SUN C,et al.Gender classification based on boosting local binary pattern[C]//Proceedings of International Symposium on Neural Networks.Germany:Berlin:Springer,2006:194-201.

[15] WANG J G,LI J,YAU W Y,et al.Boosting dense SIFT descriptors and shape contexts of face images for gender recognition[C]//Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.Washington D.C.,USA:IEEE Press,2010:96-102.

[16] ULLAH I,HUSSAIN M,MUHAMMAD G,et al.Gender recognition from face images with local WLD descriptor[C]//Proceedings of the 19th International Conference on Systems,Signals and Image Processing.Washington D.C.,USA:IEEE Press,2012:417-420.

[17] CHEN J,SHAN S,HE C,et al.WLD:a robust local image descriptor[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(9):1705-1720.

[18] SHAN C.Learning local binary patterns for gender classification on realworld face images[J].Pattern Recognition Letters,2012,33(4):431-437.

[19] HUANG G B,RAMESH M,BERG T,et al.Labeled faces in the wild:a database for studying face recognition in unconstrained environments.technical report:07-49[R].Amherst,USA:University of Massachusetts,2007.

[20] LEVI G,HASSNER T.Age and gender classification using convolutional neural networks[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Workshops.Washington D.C.,USA:IEEE Press,2015:34-42.

[21] 厲 智,孫玉寶,王 楓,等.基于深度卷積神經網絡的服裝圖像分類檢索算法[J].計算機工程,2016,42(11):309-315.

[22] PARKHI O M,VEDALDI A,ZISSERMAN A.Deep face recognition[C]//Proceedings of British Machine Vision Conference.Washington D.C.,USA:IEEE Press,2015:6.

[23] LIU Z,LUO P,WANG X,et al.Deep learning face attributes in the wild[C]//Proceedings of IEEE International Conference on Computer Vision.Washington D.C.,USA:IEEE Press,2015:3730-3738.

[24] MATHIAS M,BENENSON R,PEDERSOLI M,et al.Face detection without bells and whistles[C]//Proceedings of European Conference on Computer Vision.Germany,Berlin:Springer,2014:720-735.

[25] ZHANG K,TAR L,LI Z,et al.Gender and smile classi-fycation using deep convolutional neural networks[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Workshops.Washington D.C.,USA:IEEE Press,2016:34-38.

[26] WANG X,GUO R,KAMBHAMETTU C.Deeply learned feature for age estimation[C]//Proceedings of 2015 IEEE Winter Conference on Applications of Computer Vision.Washington D.C.,USA:IEEE Press,2015:534-541.

[27] JIA Yangqing,SHELHAMER V,et al.Caffe:convolutional architecture for fast feature embedding[EB/OL].[2014-10-15].https://dl.acm.org/citation.cfm?id=264786 8.2654889.

[28] BREIMAN L.Random forests[J].Machine Learning,2001, 45(1):5-32.

[29] 李 航.統(tǒng)計學習方法[M].北京:清華大學出版社,2012.