李昊璇，王 芬

(山西大學(xué) 物理電子工程學(xué)院，山西 太原 030006)

0 引 言

隨著人工智能技術(shù)的進(jìn)步，生物特征識(shí)別技術(shù)也在逐漸發(fā)展并被人們所熟悉.最為常見(jiàn)的生物識(shí)別技術(shù)包括指紋識(shí)別，人臉識(shí)別，虹膜識(shí)別，聲音識(shí)別等.人臉關(guān)鍵點(diǎn)檢測(cè)作為人臉識(shí)別的子任務(wù)之一，可以直接應(yīng)用于人臉動(dòng)畫(huà)生成、表情分析、人臉姿態(tài)分析、2D/3D人臉建模、視頻人臉跟蹤、人臉局部信息抽取等方面.人臉關(guān)鍵點(diǎn)檢測(cè)方法大致分為3種，分別是基于ASM(Active Shape Model)[1]和AAM (Active Appearnce Model)[2,3]的傳統(tǒng)方法、基于級(jí)聯(lián)形狀回歸的方法[4]和基于深度學(xué)習(xí)的方法[5-8].

ASM[1]是由Cootes于1995年提出的經(jīng)典的人臉關(guān)鍵點(diǎn)檢測(cè)算法，主動(dòng)形狀模型即通過(guò)形狀模型對(duì)目標(biāo)物體進(jìn)行抽象，ASM是一種基于點(diǎn)分布模型的算法；1998年，Cootes對(duì)ASM進(jìn)行改進(jìn)，不僅采用形狀約束，而且又加入整個(gè)臉部區(qū)域的紋理特征，提出了AAM算法[2]；2010年，Dollar提出CPR(Cascaded Pose Regression,級(jí)聯(lián)姿勢(shì)回歸)[4]，CPR通過(guò)一系列回歸器將一個(gè)指定的初始預(yù)測(cè)值逐步細(xì)化，每一個(gè)回歸器都依靠前一個(gè)回歸器的輸出來(lái)執(zhí)行簡(jiǎn)單的圖像操作，整個(gè)系統(tǒng)可自動(dòng)地從訓(xùn)練樣本中學(xué)習(xí)；2013年，Sun等人[5]首次將CNN應(yīng)用到人臉關(guān)鍵點(diǎn)檢測(cè)，提出一種級(jí)聯(lián)的CNN——DCNN(Deep Convolutional Network)，不僅改善了初始不當(dāng)導(dǎo)致的局部最優(yōu)問(wèn)題，而且借助于CNN強(qiáng)大的特征提取能力，獲得了更為精準(zhǔn)的關(guān)鍵點(diǎn)檢測(cè).

深度學(xué)習(xí)網(wǎng)絡(luò)廣泛存在的一個(gè)問(wèn)題是梯度爆炸與消失，這個(gè)問(wèn)題主要通過(guò)初始?xì)w一化和中間歸一化層來(lái)解決.隨著網(wǎng)絡(luò)深度的增加，準(zhǔn)確度將持續(xù)飽和，然后迅速下降.為了解決網(wǎng)絡(luò)達(dá)到一定程度或準(zhǔn)確率會(huì)急劇下降的問(wèn)題，本文提出了基于卷積神經(jīng)網(wǎng)絡(luò)的殘差網(wǎng)絡(luò).

1 卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)相對(duì)于傳統(tǒng)的深層全連接神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)參數(shù)規(guī)模較小，因此在優(yōu)化速度和計(jì)算速度上有顯著的提高，能夠在計(jì)算資源與最終結(jié)果之間達(dá)到很好的平衡.卷積神經(jīng)網(wǎng)絡(luò)由卷積層、最大池化層和全連接層等圖層組成.

1.1 卷積層

卷積層包含多個(gè)可訓(xùn)練的卷積核，每個(gè)卷積層神經(jīng)元只與上一層的部分神經(jīng)元連接，卷積網(wǎng)絡(luò)相對(duì)于一般的全連接網(wǎng)絡(luò)是稀疏的.如圖1 所示.

圖1 卷積層Fig.1 Convolutional layer

假設(shè)輸入為一張二維的圖像I，一個(gè)二維卷積核表示為K，卷積運(yùn)算用星號(hào)*表示，則卷積結(jié)果

S(i,j)=(I*K)(i,j)=

∑m∑nI(i+m,j+n)K(m,n).

1.2 最大池化層

池化層是通過(guò)采樣函數(shù)對(duì)數(shù)據(jù)進(jìn)行非線性采樣，能夠減小數(shù)據(jù)維度并降低過(guò)擬合.池化方式有平均池化、最大池化和隨機(jī)池化，其中最常用的是最大池化.最大池化是對(duì)區(qū)域內(nèi)的特征點(diǎn)取最大.如圖2 所示.

圖2 最大池化層Fig.2 Max-pooling layer

1.3 全連接層

卷積與池化操作取到局部特征后，全連接層將輸出的二維特征圖轉(zhuǎn)化成一維的一個(gè)向量.在CNN中，全連接常出現(xiàn)在最后幾層，對(duì)前幾層得到的特征結(jié)果做加權(quán)和，將學(xué)到的分布式特征表示映射到樣本標(biāo)記空間.如圖3 所示.

圖3 全連接層Fig.3 Fully connected layer

2 深度殘差網(wǎng)絡(luò)

在深層網(wǎng)絡(luò)能夠收斂的前提下，隨著網(wǎng)絡(luò)深度的增加，正確率開(kāi)始飽和甚至下降，這稱(chēng)之為網(wǎng)絡(luò)的退化問(wèn)題.在給定的網(wǎng)絡(luò)上增加層數(shù)會(huì)增大訓(xùn)練誤差，這些退化并不是過(guò)擬合造成的，而是優(yōu)化問(wèn)題.本文針對(duì)這個(gè)問(wèn)題提出了深度殘差網(wǎng)絡(luò)，使用殘差塊進(jìn)行網(wǎng)絡(luò)的跨層連接.

2.1 殘差塊結(jié)構(gòu)

殘差塊如圖4 所示.假設(shè)網(wǎng)絡(luò)輸入為x，期望輸出是H(x).通過(guò)捷徑連接的方式，直接把輸入x傳到輸出作為初始結(jié)果，輸出結(jié)果為H(x)=F(x)+x，當(dāng)F(x)=0時(shí)，則H(x)=x，得到恒等映射[9].原始網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)是完整輸出，使用殘差塊的網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)是目標(biāo)值H(x)和x的差值，也就是殘差F(x)，F(xiàn)(x)=H(x)-x.訓(xùn)練目標(biāo)是將殘差結(jié)果逼近于0，同時(shí)隨著網(wǎng)絡(luò)深度增加，準(zhǔn)確率不下降.

圖4 殘差塊結(jié)構(gòu)圖Fig.4 Structure of residual block

2.2 深度殘差網(wǎng)絡(luò)

深度殘差網(wǎng)絡(luò)是在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)[10]的基礎(chǔ)上增加了快捷連接，使某一層的輸出可以直接跨過(guò)幾層作為后面某一層的輸入，因此深度殘差網(wǎng)絡(luò)能夠疊加多層網(wǎng)絡(luò)同時(shí)降低模型的錯(cuò)誤率.神經(jīng)網(wǎng)絡(luò)層數(shù)的增加為高級(jí)語(yǔ)義特征提取和分類(lèi)提供了可行性.傳統(tǒng)神經(jīng)網(wǎng)絡(luò)與深度殘差網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示.

本文使用的深度殘差網(wǎng)絡(luò)共有18層.第一層是卷積層，使用64個(gè)維度為(7,7)的卷積核對(duì)輸入的人臉圖像進(jìn)行卷積.后面的16層使用了8個(gè)殘差塊，殘差塊中使用的卷積核大小都是3×3，4個(gè)為一組，每一組的卷積核數(shù)量不同，分別是64，128，256，512.最后一層是全連接層，輸出人臉檢測(cè)的結(jié)果，即68組人臉關(guān)鍵點(diǎn)坐標(biāo).

圖5 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)與深度殘差網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.5 Structure of traditional neural network and deep residual network

殘差網(wǎng)絡(luò)中一部分快捷連接是虛線，一部分是實(shí)線.實(shí)線部分表示輸入輸出通道相同，所以采用計(jì)算方式為H(x)=F(x)+x.虛線部分表示通道不同，需要進(jìn)行維度調(diào)整，采用的計(jì)算方式為H(x)=F(x)+Wx.

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集處理

本文使用PyTorch[11]框架構(gòu)建神經(jīng)網(wǎng)絡(luò)，使用的數(shù)據(jù)集來(lái)源于YouTube Faces，其中每組數(shù)據(jù)包含一張人臉圖片與對(duì)應(yīng)的關(guān)鍵點(diǎn)坐標(biāo).數(shù)據(jù)集包含5 770張彩色圖片，分為3 463張訓(xùn)練集與2 308張測(cè)試集.面部關(guān)鍵點(diǎn)標(biāo)記了臉部重要區(qū)域，面部邊緣、眉毛、眼睛、鼻子和嘴，坐標(biāo)表示為(x,y)，關(guān)鍵點(diǎn)編號(hào)順序如圖6 所示.

網(wǎng)絡(luò)輸入圖片的大小為224×224，因此需要對(duì)數(shù)據(jù)集的圖片做處理.首先調(diào)整圖片的最小邊長(zhǎng)為224，再將圖片隨機(jī)剪裁為224×224，最后進(jìn)行歸一化.歸一化操作將圖片轉(zhuǎn)換為灰度值在[0,1]區(qū)域的灰度圖片.

圖6 關(guān)鍵點(diǎn)編號(hào)Fig.6 Number of keypoints

3.2 傳統(tǒng)網(wǎng)絡(luò)與殘差網(wǎng)絡(luò)對(duì)比

訓(xùn)練網(wǎng)絡(luò)的過(guò)程共迭代了數(shù)據(jù)集50次，迭代一次數(shù)據(jù)集的過(guò)程中每一批次輸入圖片64張.輸入批次過(guò)小將導(dǎo)致批標(biāo)準(zhǔn)化不穩(wěn)定，批次過(guò)大將超出計(jì)算機(jī)內(nèi)存限制.初始學(xué)習(xí)率設(shè)置為0.001，學(xué)習(xí)率決定了參數(shù)每次更新的幅度，如果幅度過(guò)大，那么可能導(dǎo)致參數(shù)在極優(yōu)值的兩側(cè)來(lái)回移動(dòng).學(xué)習(xí)率衰減系數(shù)設(shè)置為5×10-4，學(xué)習(xí)率隨著迭代次數(shù)在逐漸下降.

圖7 是訓(xùn)練過(guò)程中殘差網(wǎng)絡(luò)與傳統(tǒng)網(wǎng)絡(luò)的平均誤差對(duì)比圖.圖7 中顯示傳統(tǒng)網(wǎng)絡(luò)在最初的幾次迭代過(guò)程中平均誤差迅速下降，比殘差網(wǎng)絡(luò)的表現(xiàn)要好，但在后續(xù)的訓(xùn)練過(guò)程中殘差網(wǎng)絡(luò)能夠達(dá)到更小的平均誤差.圖8 是測(cè)試過(guò)程中殘差網(wǎng)絡(luò)與傳統(tǒng)網(wǎng)絡(luò)的平均誤差的對(duì)比圖.圖中顯示經(jīng)過(guò)20次的迭代之后，殘差網(wǎng)絡(luò)在測(cè)試過(guò)程中的平均誤差更低，表現(xiàn)更好.

圖7網(wǎng)絡(luò)訓(xùn)練過(guò)程中的平均誤差
Fig.7The average error in network training process

圖8網(wǎng)絡(luò)測(cè)試過(guò)程中的平均誤差
Fig.8The average error in network testing process

圖9，圖10 分別為殘差網(wǎng)絡(luò)與傳統(tǒng)網(wǎng)絡(luò)人臉關(guān)鍵點(diǎn)檢測(cè)的結(jié)果.圖中的點(diǎn)為數(shù)據(jù)集的標(biāo)注點(diǎn)和網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果.圖10中，傳統(tǒng)網(wǎng)絡(luò)輸出的圖片中有3張的檢測(cè)結(jié)果與標(biāo)注的關(guān)鍵點(diǎn)存在較大的偏移，分別是圖10中的第1，3，10個(gè)人臉，這3張圖片使用深灰色框進(jìn)行標(biāo)記區(qū)分，而圖9中的數(shù)據(jù)集標(biāo)注點(diǎn)與網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果能夠很好地匹配，準(zhǔn)確地輸出人臉關(guān)鍵點(diǎn)的位置.

圖9 殘差網(wǎng)絡(luò)檢測(cè)結(jié)果Fig.9 Detection results of residual network

圖10 傳統(tǒng)網(wǎng)絡(luò)檢測(cè)結(jié)果Fig.10 Detection results of traditional network

訓(xùn)練與檢測(cè)過(guò)程中，對(duì)深度殘差網(wǎng)絡(luò)與傳統(tǒng)網(wǎng)絡(luò)的誤差進(jìn)行比較，并且對(duì)輸出結(jié)果進(jìn)行直接觀察，可以看出，深度殘差網(wǎng)絡(luò)可以更好地檢測(cè)出人臉的68個(gè)關(guān)鍵點(diǎn)，檢測(cè)精度較高.

4 結(jié) 論

本文基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉關(guān)鍵點(diǎn)識(shí)別，在卷積神經(jīng)網(wǎng)絡(luò)中增加了恒等映射的分支形成殘差塊，使網(wǎng)絡(luò)深度加深的同時(shí)增加關(guān)鍵點(diǎn)識(shí)別的準(zhǔn)確率.實(shí)驗(yàn)結(jié)果顯示深度殘差網(wǎng)絡(luò)能夠達(dá)到更小的平均誤差，與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比具有更高的檢測(cè)精度.