劉成攀, 吳 斌, 楊 壯

(1.西南科技大學 信息工程學院,四川 綿陽 621010；2.特殊環(huán)境機器人技術四川省重點實驗室,四川 綿陽 621010)

0 引 言

視頻動態(tài)人臉識別不需要識別對象配合,具有體驗更好、準確率更高、響應速度更快、實時反饋等特點。但同時,由于它是非限定情況下的人臉識別,外界非可控的復雜干擾因素會造成人臉識別精準度急劇下降,不能適應實際條件下的任務需求。

近年來,涌現出許多基于深度學習的人臉識別方法,而損失函數是深度學習神經網絡中的重要部分,對其的設計與優(yōu)化也一直是研究熱點。目前使用最為廣泛的損失函數是SoftMax Loss,其表達簡潔,沒有其他超參數,最早在DeepID1中使用,而后在DeepFace等其他方法中也繼續(xù)沿用。SoftMax Loss對提取的特征分別映射到區(qū)間內,根據所得的概率完成圖像分類任務[1]。但在人臉識別任務,需要計算未知類別樣本的相似度,此時僅僅保證已知類別分類正確是不夠的。為了更好地泛化性能,還需要諸如類內樣本差異小和類間樣本差異大這樣的良好性質,而這些并不是SoftMax Loss的直接優(yōu)化目標。

鑒于SoftMax的局限性,有必要針對它進行優(yōu)化約束類內距離,擴大類間距離。為了加強網絡模型對特征的識別度,ECCV 2016上提出的中心損失(centre Loss)[2],在結合SoftMax損失和中心損失后,類內緊湊性顯著增強,但是僅僅使用SoftMax損失作為類間約束是不夠的,因為它只是鼓勵特征的可分離性。因此,Deng J等人提出邊際損失Marginal Loss與SoftMax Loss聯合監(jiān)督的方式[3]。

本文受SoftMax Loss,Center Loss以及Marginal Loss啟發(fā),提出了一種聯合損失(Joint Loss)函數,并且在網絡模型中加入恒等映射模塊[4],實驗表明算法更具有魯棒性。

1 算法原理

1.1 神經網絡結構

將Resnet34[5]作為基礎網絡進行優(yōu)化。去掉第一個卷積層后的最大池化層,減少池化造成的位置信息缺失?？s小第一個卷積層的卷積核尺寸,由 7×7 變?yōu)?3×3,步進由2變?yōu)?,縮小卷積核可以獲取更多人臉特征信息。改進后的Resnent34_new結構如圖1,其中，卷積核大小為3×3,通道數為64,步長為1。

圖1 Resnet34_new神經網絡結構

改進所使用的殘差(residual)模塊,為使輸出分布穩(wěn)定進而能夠在較大學習率下加快收斂,在模塊的輸入處增加了一個批標準化層(batch normalization)[6]如圖2。

圖2 改進的殘差模塊

1.2 聯合損失函數

結合三種損失函數特點,Center Loss用于加強類內距,SoftMax Loss和Joint Loss用于改進類間的分離度,具體來說SoftMax負責保證分類的正確率,而Joint Loss優(yōu)化類間距。整個損失公式如下

L=LS+αLC+βLJ

(1)

式中α和β為調整Center Loss和Joint Loss的超參數。

Joint Loss公式如下

(2)

通過Center Loss得到的類中心位置,Joint Loss再篩選所有基于閾值的類中心對,對于距離小于閾值的類中心對,會相應地加入懲罰因子到損失值中。其中，K是一個批次的類數目,ci和cj分別為第i類和第j類的中心,M代表指定的最小邊距。在每一個訓練批次里,Center Loss根據下式更新類中心

(3)

(4)

式中γ為學習率,t為迭代次數,δ為一個條件函數,如果條件滿足則δ=1,如果條件不滿足則δ=0。

在神經網絡中,通過聯合的損失函數學習步驟如下：輸入數據為輸入訓練樣本{fi},初始化的卷積層參數θC,最后的全連接層參數W,初始化的n類中心{cj|j=1,2,3,…,n-1,n},學習率μt,超參數α和β,類中心學習率γ和迭代次數t←1。輸出為參數θC。對所有樣本訓練時會循環(huán)以下步驟：

6)t←t+1。

1.3 恒等映射模塊

側臉和正臉之間存在一個映射,并且它們在人臉表示特征空間中的差異能夠用恒等映射聯系起來。通過側臉的特征獲取映射后的正臉特征,從而提高神經網絡在側臉的識別效果。假定正面人臉的數據為xf,側面人臉的數據為xp,把卷積神經網絡看作是一個函數φ(x),要尋找一個映射函數Mg,使得Mgφ(xp)≈φ(xf)。如式(5),式中γ(xp)∈[0,1],類似于一個門控機制,如果說圖片是正臉,則γ(x)=0

φ(gXp)=Mgφ(Xp)=φ(Xp)+γ(Xp)R(φ(Xp))

≈φ(Xf)

(5)

如圖3,在原始網絡的特征向量輸出后,加上了殘差恒等映射的分支,對原始的特征表示進行映射,得到最后的表示。殘差恒等分支分為兩個部分,一個是殘差分支,一個是頭部旋轉估計分支。

圖3 恒等映射模塊

殘差分支為上圖Residual分支,用來產生式中的R(φ(X)),其中方塊1，2為用Mish激活函數的全連接層,這個分支是與主干網絡分開訓練的,訓練的目的是為了減少側臉與其匹配的正臉的歐氏距離。具體如式(6),ΘR表示R的參數

(6)

使用頭部旋轉估計器來計算上式中的Y(x),即當前圖片相對于正臉的偏離角度。首先用人臉標準對齊得到人臉關鍵點,然后使用EPnP等算法計算人臉旋轉的角度,得到旋轉的角度后,使用函數σ(4/π)y-1)來把正的角度值映射到0～1之間,σ是Sigmoid函數,如果人臉轉的角度超過45°,這個γ(x)的置信度會迅速達到1。

選擇先端對端訓練再重新訓練恒等映射模塊的方法,先共同訓練恒等映射模塊和卷積神經網絡,再使用正臉—側臉對訓練恒等映射模塊。

2 實驗與結果分析

2.1 實驗參數設置

采用訓練步數學習率逐漸衰減的學習策略,在初始時學習率設置為0.1,分別在 40 000步和60 000步將學習率調整為原有的0.1倍,批量大小(batch-size)設置為128,使用Adam[7]來作為網絡優(yōu)化方法。對損失函數進行L2正則化處理防止過擬合[8],如式(7)

(7)

式中J0為原始損失函數,λ為權重衰減系數(設置λ為0.000 2)

2.2 損失函數超參數的選取

在實驗中,通過不斷嘗試去尋找較為合適的參數以達到網絡模型的最佳效果,具體方法為控制變量法。例如先將α設置為8,β設置為6,M分別取0,50,100,150,200,250,300,350,400,訓練后在LFW上作人臉驗證,其準確率如表1。

表1 α設置為8,β設置為6,M不同取值下準確率變化

如表1可以看出,在M設置為250時比其他數值設置能得到更高準確率。再將M設置為250,α設置為8,將β分別取1到10,訓練后LFW上作人臉驗證,對比發(fā)現β設置為6時,比其他數值設置能得到更高的準確率。最后將M設置為250,β設置為6,將α分別取1到10,訓練后在LFW上作人臉驗證,尋找α的最佳設置。

通過實驗,發(fā)現α設置為8,β設置為6,M設置為250,能較好發(fā)揮網絡模型的性能。

2.3 實驗結果與分析

首先選擇LFW,YTF,SLLFW數據集作為人臉驗證實驗數據集。LFW為非限定條件下的人臉數據集,共13 000多張人臉圖片。隨機選取其中圖像,組成6 000對人臉對,其中正、負樣本各占50 %。YTF數據集共1 595個身份,每人大概2個視頻。從中隨機選取5 000對視頻,共計分為10個部分,每部分都包含同標簽人的視頻對和不同標簽人的視頻對,均為250個。SLLFW使用與LFW相同的正面人臉對進行測試。但在SLLFW中,3 000個長相相似的人臉對被特意挑選出來,以取代LFW的隨機負面人臉對比,給測試增加了難度。如表2給出了各種方法的實驗結果。

表2 LFW,YTF,SLLFW數據集人臉驗證準確率 %

從表2中可以看出,基于聯合損失和恒等映射模塊的神經網絡在人臉驗證實驗中準確率最高,分別為99.53 %，95.63 %，96.67 %。在LFW，YTF，SLLFW數據集上,聯合損失加上恒等映射模塊的方法比SoftMax損失分別提升1.3 %，0.82 %，1.14 %,比Center損失分別提升1.2 %，0.32 %，0.35 %,比Marginal損失分別提升1.17 %，0.27 %，0.29 %,比只用聯合損失分別提升0.87 %，0.12 %，0.24 %。

為進一步驗證神經網絡效果,按照MegaFace Challenge 1要求,MegaFace數據集作為干擾集,而FaceBook數據集作為測試集,進行實驗。其中，MegaFace數據集包括100萬張人臉,Facesrub數據集包含來自530個身份的10萬圖像。

實驗的CMC曲線和ROC曲線如圖4。不同方法在一百干擾下的驗證率結果如表3。與其他方法相比,在識別和驗證測試中,聯合損失加上恒等映射的方法性能更好,進一步證明該方法的有效性。

圖4 實驗的CMC曲線和ROC曲線

表3 在一百干擾下不同方法在MegaFace和FaceScrub數據集上的識別率與驗證率 %

2.4 視頻動態(tài)人臉識別系統(tǒng)

實驗平臺系統(tǒng)為Ubuntu18.04,GPU為i7—8700,GPU為RTX2060,內存為32 G,在平臺上搭建視頻動態(tài)人臉識別系統(tǒng)。視頻讀取幀,利用MTCNN檢測人臉[9]并對齊,將每張人臉的特征向量和數據庫里面的特征向量比對輸出Label標簽和相應的概率,再用跟蹤算法Deep-Sort[10]進行后續(xù)的人臉跟蹤。測試了5段視頻,來驗證在速度上是否能滿足實際的需求,檢測、跟蹤、識別所花費的時間大概為原視頻事件的2.5倍,速度大約為原來的0.4,在實際運行中,平均幀率也能夠穩(wěn)定在30 fps以上,肉眼無卡頓現象,能夠滿足實際的需求。

3 結 論

本文提出了基于聯合損失和恒等映射的動態(tài)人臉識別算法。選擇Resnet34為基線網絡,通過卷積核改變等對網絡進行優(yōu)化,在同樣的訓練條件下,對本文算法在內的5種方法進行有效性評估。實驗表明：基于改進的的聯合損失函數加上深度殘差恒等映射模塊的人臉識別算法在5種方法中表現最好。并在實驗平臺上搭建了動態(tài)實時人臉識別系統(tǒng),達到了預期的效果。