毛 亮 薛月菊 魏穎慧 朱婷婷

①(深圳職業(yè)技術學院粵港澳大灣區(qū)人工智能應用技術研究院 深圳518055)

②(華南農業(yè)大學電子工程學院 廣州510642)

③(西安電子科技大學數學與統(tǒng)計學院 西安710071)

1 引言

人臉識別一直是模式識別和計算機視覺領域最活躍的研究方向之一。在過去的二十年中，人臉識別技術盡管已經取得了長足的進展，但面向現實的人臉識別系統(tǒng)仍然面臨著諸多挑戰(zhàn)。這些挑戰(zhàn)主要來自于人臉圖像中可能存在的多種多樣的難以預測的變化，如表情、姿勢、光照、分辨率和遮擋等。這些變化可能導致訓練圖像和待識別圖像之間發(fā)生嚴重的數據偏移，從而導致人臉識別率降低[1]。其中眼鏡是常見的遮擋物體，一般可分為全框、半框和無框3類，如圖1所示，從左到右表示戴全框、戴半框和戴無框眼鏡的人臉圖像，這里指的眼鏡不包括太陽鏡、運動眼鏡等。實際應用中，由于相似人臉這類細粒度特性和眼鏡遮擋的影響，人臉識別的準確率會出現顯著的下降。因此，本文以如何去除眼鏡作為主要研究對象。

圖1 戴不同類型眼鏡的人臉圖像

近年來，研究人員提出了一些從人臉圖像中提取特征和去除眼鏡的方法，如2004年，Wu等人[2]提出一種自動去除眼鏡的方法，利用戴眼鏡的人臉圖像與不戴眼鏡的對應部分之間的統(tǒng)計映射去除眼鏡，但對于一些無框眼鏡，很難去除；2005年，Du等人[3]提出了一個從正面人臉圖像中提取并摘除眼鏡的方法。首先利用自適應二值化檢測正面人臉圖像中眼鏡遮擋的部分，然后使用基于PCA重構的遞歸誤差補償方法，雖然對人工合成戴眼鏡人臉圖像可進行眼鏡去除，但對光照變化較敏感；2005年，Park等人[4]提出了一種從人臉正面圖像中去除眼鏡的方法。首先檢測被眼鏡遮擋的區(qū)域，然后通過PCA重構的遞歸誤差補償方法，生成一幅自然的無眼鏡人臉圖像，有效地解決了眼鏡遮擋問題，提高了人臉識別系統(tǒng)的性能；2007年，Heo等人[5]采用多視覺主動外觀模型進行擬合的方法，將非正面圖像轉換為正面人臉，并選擇一組正面人臉作為基向量，對被遮擋的人臉圖像進行重建，較好地去除了人臉圖像中的眼鏡遮擋；2010年，Jia等人[6]提出了一種基于相位一致性和漸進修補的眼鏡檢測與去除算法。該方法利用相位一致性對強度和對比度不敏感的特點，較好地提高了人臉識別率；2010年，Wang等人[7]提出了一種基于主動外觀模型的眼鏡去除方法。首先利用主動外觀模型粗略地檢測出遮擋區(qū)域，然后采用橢圓模型來擬合眼睛的位置并提取眼睛區(qū)域，最后通過迭代誤差補償生成合成圖像，有效地解決了厚邊眼鏡遮擋人臉后人臉識別率低的問題；2013年，Cheng等人[8]提出了一種去除眼鏡的疲勞檢測方法。首先檢測人臉區(qū)域，通過形態(tài)學操作去除眼鏡，然后檢測眼睛區(qū)域，并采用模板匹配方法進行跟蹤，確定眼睛的開閉狀態(tài)，最后根據眼睛的連續(xù)狀態(tài)確定疲勞狀態(tài)，準確率達100%；2014年，李根等人[9]提出了基于思維進化的機器學習與局部特征結合的方法，首先根據遮擋與無遮擋人臉圖像的局部特征進行對比，記錄對比相似度作為局部區(qū)域的得分，然后對所有局部區(qū)域進行趨同過程和異化過程的演化，得到無遮擋區(qū)域及遮擋物體區(qū)域，實現遮擋人臉條件下的人臉識別，取得較好的識別效果，但驗證的數據集較小，且不具備相似人臉這類細粒度特性；2014年，Guo等人[10]提出了一種新的眼鏡自動去除方法，利用SVM進行眼鏡檢測，然后采用PCA重構的遞歸誤差補償方法處理人臉圖像，最后通過定量測量，較好地提升了人臉識別的性能；2015年，吳從中等人[11]提出基于稀疏表達分類的去除遮擋的方法。首先求出有遮擋人臉圖像在無遮擋人臉圖像訓練集上的稀疏系數，然后根據稀疏系數進行恢復重建，得到去遮擋的人臉圖像，但該方法非常依賴眼鏡的先驗知識；2015年，Fernández等[12]提出一種基于局部二進制模式和對準的自動眼鏡檢測算法，取得了較好的效果，但該方法對于不同類型的眼鏡，包括運動眼鏡、太陽眼鏡、安全眼鏡、閱讀眼鏡等檢測的魯棒性較差；2017年，Sandhan等人[13]通過對眼鏡鏡片反射特性的分析，得到約束條件，并將反射層的梯度調整為高度系數，在幾次迭代中會消除反射的影響，最后在正面人臉圖像上具有較好的去除反射效果，提高了虹膜的檢測率；2018年，曹志義等人[14]提出了一種改進的生成對抗網絡模型的人臉還原算法，在已有網絡的基礎上增加一個還原層，使得測試圖像可以通過改進的對抗網絡生成對應的高置信度圖像，極大地縮短了網絡的收斂時間；2019年，毛亮等人[15]提出了一種用于細粒度人臉識別的眼鏡去除方法的中國發(fā)明專利。綜上所述，在近幾年的發(fā)展歷程中，傳統(tǒng)的眼鏡去除方法由簡單的PCA不斷向更復雜的算法演變，但眼鏡去除效果始終無法達到較為理想的狀態(tài)，而以上方法都是在較少的未戴眼鏡和戴眼鏡人臉數據上進行試驗，沒有大規(guī)模的戴眼鏡和未戴眼鏡人臉對數據，無法很好地分析眼鏡遮擋對人臉識別算法的影響，尤其是細粒度人臉識別。

隨著深度學習的快速發(fā)展，深度卷積神經網絡不論是在解決高層次視覺問題，還是解決低層次視覺問題上都取得重大的突破。2014年，Dong等人[16]提出一種基于深度卷積神經網絡的單幅圖像的超分辨率重構方法，只需做很少的預處理和后處理，可得到低分辨率和高分辨率圖像之間映射關系，實現端到端的處理。但是，如果利用該方法直接進行戴眼鏡區(qū)域的重構，無法得到較理想的效率。

基于上述算法的啟發(fā)，本文提出一種端到端的用于細粒度人臉識別的眼鏡去除方法，簡稱ERCNN(Eyeglasses Removal CNN)。首先，在文獻[17,18]方法的基礎上，對本文所有數據集進行人臉檢測和人臉對齊，形成128×128和128×96的歸一化人臉圖像，然后對處理后的人臉，劃分3個局部區(qū)域，如圖2所示，分別標記為Part1,Part2和Part3，其中Part1和Part3為人臉的未處理區(qū)域，作為重構人臉圖像的局部區(qū)域；Part2為包含戴眼鏡或未戴眼鏡的的眼睛區(qū)域，作為眼鏡去除算法處理輸入輸出圖像。同時利用卷積層、池化層、MFM特征選取模塊和反卷積層設計ERCNN網絡，將Part2區(qū)域輸入到網絡中進行自動學習戴眼鏡和未戴眼鏡人臉圖像對之間的映射關系，實現端到端的眼鏡去除。最后，在自建的SLLFW測試集上進行眼睛去除驗證，并利用現有的人臉識別方法在戴有全框、半框和無框3種不同類型眼鏡的人臉圖像上驗證算法對人臉識別率的影響程度。

2 試驗數據

2.1 試驗數據采集及預處理

試驗數據來源于監(jiān)控場景、互聯網和證件照等人臉圖像。其中監(jiān)控場景的人臉圖像采集于2016年11月至2017年12月間，設備的安裝高度距離地面200～250 cm處，圖像分辨率為1920×1080像素，采集時間分為上午，下午和晚上3個時間段。為保證人臉的多樣性，收集到的人臉數據包括未戴眼鏡、不同姿態(tài)、不同性別和年齡等，總共35975張。對于所收集到的人臉圖像，采用人工合成的方法，將全框、半框和無框3種眼鏡，合成到原始的人臉圖像上，得到61105張戴眼鏡的人臉圖像。如圖2(a)所示，第1列為原始人臉圖像，第2列為人工合成戴眼鏡人臉圖像。

為了得到更好的眼鏡去除效果，本文利用文獻[17,18]中人臉檢測和人臉對齊方法，將收集到的數據進行預處理，利用提取到的人臉眼鏡關鍵點對圖像進行水平旋轉，從而克服視場角的姿態(tài)變化影響[19]，進而歸一化到128×128像素和112×96像素兩種不同尺度的人臉圖像，如圖2(a)所示，第3列為原始人臉圖像對齊后的結果，第4列為戴眼鏡人臉圖像對齊后的結果。

為了驗證眼鏡去除算法的有效性，本文在細粒度人臉識別數據FGLFW[20]的基礎上，通過人工篩選剔除姿態(tài)較大的人臉圖像，形成SLLFW數據集。SLLFW數據集由8901張人臉圖像構成，其中6091張人臉圖像來自互聯網，余下的2810張人臉圖像中，有2232張未戴眼鏡的人臉圖像，578張真實戴眼鏡的人臉圖像。為了驗證本文方法的性能，采用人工合成的方法，將全框、半框和無框3種眼鏡，合成到SLLFW數據集中未戴眼鏡的人臉圖像上。如圖2(b)所示，第1列為原始人臉數據，第2列為戴全框眼鏡人臉圖像，第3列為戴半框眼鏡人臉圖像，第4列為戴無框眼鏡人臉圖像。

2.2 訓練集和測試集準備

圖2 人臉數據集

本文收集的原始人臉圖像共35975張，經過人工預處理后，形成與之對應的戴不同類型眼鏡的人臉圖像，總共61105張，作為訓練集。在訓練前需進行垂直鏡像翻轉以及順時針30°和45°旋轉的數據擴增，形成擴增后的訓練樣本集，共計183315張人臉圖像。SLLFW數據集中未戴眼鏡人臉圖像和與之對應的人工合成戴眼鏡人臉圖像作為眼鏡去除方法的驗證集，其余578個真實戴眼鏡的人臉圖像作為眼鏡去除的測試集，進一步驗證本文方法的性能。同時，SLLFW數據集還可作為人臉識別測試集，驗證眼鏡去除后對人臉識別性能的影響。

3 眼鏡去除方法

3.1 網絡結構

借鑒SRCNN[16]的思路上，本文設計了一種新的眼鏡去除深度卷積神經網絡(Eyeglasses Removal CNN,ERCNN)，通過端對端的學習，自動構建戴眼鏡的人臉圖像和不戴眼鏡的人臉圖像之間的映射關系，實現戴眼鏡人臉圖像的自動去除，網絡結構如圖3所示。首先，以戴眼鏡的人臉圖像作為輸入，大小為128×128，將輸入圖像切分為20×128,64×128和64×128 3個圖像區(qū)域，分別為Part1,Part2和Part3，其中Part2包含完整的戴眼鏡的眼睛區(qū)域；然后，將Part2區(qū)域作為卷積層的輸入，用于網絡中MFM(Max Feature Map)單元進行特征選擇和最大元素操作，再利用反卷積、平均池化和逐個元素加權求和的操作，對Part2區(qū)域實現重構，進而得到去除眼鏡后的眼睛區(qū)域Part2_new；最后，將輸出的Part2_new區(qū)域與原始的Part1區(qū)域和Part3區(qū)域進行合并，得到完整的去除眼鏡的人臉圖像。

具體地，ERCNN網絡中使用卷積核大小為9×9,padding為4，步長為1的Conv1來提取Part2的高維特征，輸出256維通道的特征圖，然后通過最大池化層Pool1,MFM1(由切片層Slice1和取最大的元素操作層Eltwise1實現)和激活函數ReLU1處理后，輸出大小為32×64,128維通道的特征圖。緊接著，繼續(xù)使用和Conv1相同參數的Conv2堆疊卷積，再經過MFM2(由切片層Slice2和取最大的元素操作層Eltwise2實現)和激活函數ReLU2處理后，將輸入的高維特征圖非線性映射到另一個高維特征圖，輸出大小為32×64,128維通道的特征圖。然后，利用卷積核大小為4×4,padding為1，步長為2的反卷積結構Dconv3將高維特征圖上采樣2倍到原圖大小的64×128像素，輸出128維通道的特征圖；通過平均池化層Pool2對該特征圖進行處理，并將其特征值乘以權重0.2，與自身特征值進行元素求和操作(Eltwise3)，輸出大小為64×128像素，128維通道的特征圖；對輸出的特征圖，使用卷積核大小為1×1，步長為1的Conv4將高維特征圖降維重構得到去除眼鏡的眼睛區(qū)域Part2_new。最后將去除眼鏡后的眼睛區(qū)域Part2_new與Part1和Part3合并，輸出去除眼鏡人臉圖像。

相比更深層的網絡VGG[21]、GoogLeNet[22]和ResNet[23]等，本文設計的ERCNN在網絡層數和參數方面都較少，模型占用內存較小，運行效率較高，具有很好的實時性。

3.2 MFM單元

ERCNN網絡使用的MFM單元結構，采用Wu等人[18]提出Maxout Activation作為網絡的卷積層激活函數，輸出MFM作為特征選擇單元，對卷積層神經元添加了競爭關系，抑制低激活的神經元，使網絡適用于不同的數據，擁有更好的泛化能力。同樣，ERCNN網絡在卷積層后使用MFM層，可以起到增強模型性能的作用。

假定輸入MFM的卷積層為x n∈R H×W，其中n={1,2,···,2N}為特征圖通道，輸入通道數為2N,W和H分別為特征圖的寬度和高度。MFM操作將輸入的兩個特征圖取對應元素最大值輸出一個特征圖，計算公式為

3.3 損失函數

ERCNN網絡模型采用Euclid Loss[18]監(jiān)督信號來構建損失函數

圖3 ERCNN的網絡結構

4 試驗與分析

4.1 試驗平臺

試驗訓練及測試采用32 GB內存、2塊Nvidia Geforce GTX 1080型號的GPU,Intel I7-7700型號CPU的硬件平臺和Ubuntu16.04操作系統(tǒng)。在Caffe深度學習框架[24]上，采用Python作為編程語言實現本文算法。

4.2 評價標準

本文對于眼鏡去除處理后的人臉圖像質量評價，采用均方誤差MSE(Mean Squared Error)、峰值信噪比PSNR(Peak Signal-to-Noise Ratio)、結構相似度SSIM(Structural SIMilarity)、信息保真度準則IFC(Information Fidelity Criterion)4個指標評價。其中，MSE是比較原圖與處理后圖像的可視誤差；PSNR近似于人對重建質量的感知；SSIM用于比較參考信號和失真信號的結構。作為結構相似性理論的實現，SSIM從圖像組成的角度將結構信息定義為獨立于亮度、對比度的，反映場景中物體結構的屬性，并將失真建模為亮度、對比度和結構3個不同因素的組合。IFC則是將圖像質量評價問題作為信息保真問題來處理。

具體計算公式為：

4.3 模型訓練

本文使用隨機梯度下降法，對ERCNN以端到端的聯合方式進行訓練，其中設置mini-batch大小為64，沖量為0.9，權值的衰減系數為5×10–4，最大迭代次數為5×106次。在1×106次迭代后，每隔1×106次保存一個模型，在迭代3.18×106時停止，最終獲取精度最高的模型。

5 結果與分析

5.1 去除眼鏡的結果

利用ERCNN方法，在SLLFW數據集上采用不同人臉對齊方式分別對不同類型的眼鏡，如全框、半框和無框3種眼鏡進行去除，如圖4所示。其中第1列為原始人臉圖像；第2列第1行為戴全框眼鏡的人臉圖像，第2行為眼鏡去除后的效果；第3列第1行為戴半框眼鏡的人臉圖像，第2行為眼鏡去除后的效果；第4列第1行為戴無框眼鏡的人臉圖像，第2行為眼鏡去除后的效果。由圖可知，全框眼鏡和半框眼鏡的去除效果較好，相比原始人臉圖像的差異較??；無框眼鏡的去除效果一般，去除的人臉圖像上仍然有比較明顯的眼鏡殘留痕跡，但對眼部區(qū)域的遮擋影響較小。

相比傳統(tǒng)的PCA方法處理的結果，本文方法ERCNN在各項評價指標上具有一定的優(yōu)勢，如表1所示，其中采用ERCNN和PCA方法[2]利用128×128的對齊方式在全框、半框和無框3種類型的眼鏡去除后與不戴眼鏡的原始人臉圖像，按照指標PSNR,SSIM,MSE和IFC得到的平均值為35.3,0.98,19.01和7.2。特別在MSE指標上，ERCNN相比PCA提高了10.4倍；在SSIM,IFC和PSNR指標上，ERCNN方法比PCA分別高出0.12,0.1和10.1。因此，從各項指標分析，利用ERCNN處理的人臉圖像有較好的效果。如果利用112×96的對齊方式，在全框、半框和無框3種類型的眼鏡去除后與不戴眼鏡的原始人臉圖像的各項指標均值為36.0,0.99,16.37和7.5，相比128×128的人臉對齊方式，每項指標都有一定程度的提升，說明112×96的對齊方式更適合ERCNN的眼鏡去除方法。

圖4 人臉眼鏡去除的結果

表1 不同方法以及不同類型的眼鏡去除性能對比

為了更好的說明本文方法的性能，從SLLFW數據集中選取真實戴眼鏡人臉圖像作為ERCNN的測試集，如圖5所示。圖5(a)和5(b)中，第1列和第3列為真實戴不同類型眼鏡的人臉圖像，第2列和第4列為經過本文方法進行眼鏡去除后的人臉圖像。

利用主觀評價的方法，圖5(a)和圖5(b)中全框、半框和無框眼鏡的去除效果都較好，不僅保持了戴眼鏡區(qū)域原有的信息，還沒有明顯的殘留眼鏡信息。因此，利用本文方法對以上3種不同類型的眼鏡得到較好的效果。但對于墨鏡和帶有顏色的眼鏡的人臉圖像，利用本文方法進行處理后，獲得的效果較差，如圖6所示，第1列為戴墨鏡的人臉圖像，無法利用本文方法進行眼鏡去除；第2列是戴全框眼鏡的人臉，由于邊框較細，眼鏡去除的效果不太明顯；第3列為戴無框眼鏡的人臉圖像，由于眼鏡帶有顏色，通過ERCNN方法處理后，仍然無明顯變化。

圖5 真實戴眼鏡人臉的眼鏡去除的結果

圖6 真實戴眼鏡人臉的眼鏡去除效果不佳的結果

5.2 去除眼鏡后對細粒度人臉識別結果的影響

為了驗證本文方法對細粒度人臉識別的影響，選擇4種公開的人臉識別算法，標記為①，②，③，④[17,25–27]，對LFW人臉數據集、文獻[10]的細粒度人臉數據集和本文的戴全框眼鏡的人臉數據集、戴半框眼鏡的人臉數據集和戴無框眼鏡的人臉數據集，分別標記F-SLLFW，H-SLLFW和RSLLFW進行驗證。本文中人臉識別的評價指標采用TAR(True Accept Rate)和FAR(False Accept Rate)[26]，其中TAR表示正確接受的比例，即相同人的分數大于設定閾值的數量除以相同人比較的次數；FAR表示錯誤接受的比例，即不同人的分數大于設定閾值的數量除以不同人比較的次數，如表2所示。

如表2所示，在FAR為1%的情況下，①,②,③和④算法在LFW數據集上的TAR，比在SLLFW數據集上分別下降了5.86%,19.7%,6.54%和3.29%；同樣，在FAR為0.1%的情況下，①,②,③和④算法的TAR分別下降了11.17%,29.04%,10.47%和5.66%，說明在細粒度人臉數據集上，在FAR的越小時，不同的人臉識別算法都未達到較高的準確率。在實際應用中，人臉識別中不僅存在相似人臉，還會存在眼鏡遮擋情況。因此，利用本文方法對3種不同類型的眼鏡進行去除后，再利用公開的人臉識別算法進行驗證。表2中，當FAR為1%時，在F-SLLFW數據集上算法④的TAR為86.13%，比其他算法分別提高了5.26%,30.36%和2.93%；當FAR為0.1%時，算法④的T AR為71.13%，比其他算法分別提高了3.46%,30.36%和2.93%，說明算法④在未去除眼鏡時，人臉識別準確率優(yōu)于其他算法。當利用本文方法對F-SLLFW數據集進行眼鏡去除后，在FAR為1%的情況下，算法④的TAR為90.05%，比未去除眼鏡時提高了3.92%；在FAR為0.1%的情況下，算法④的TAR為81.79%，比未去除眼鏡時提高了10.06%。同樣，利用本文方法對H-SLLFW和R-SLLFW數據集進行眼鏡去除后，在FAR為1%的情況下，算法④的TAR為分別為91.14%和92.33%，比未去除眼鏡時提高了3.08%和1.26%；在FAR為0.1%的情況下，算法④的TAR提高了4.29%和2.13%。說明對人臉進行眼鏡去除后，在不同的FAR條件下，都有助于提升人臉識別的準確率。

5.3 實時性測試結果

在處理速度上，本文方法在Intel Core i7-7700CPU 3.60 GHz、內存16GB、顯卡為GTX1080的設備上，對128×128像素人臉圖像的處理時間為3 ms，模型占用內存大小為11.9 MB，說明使用該方法在不會增加太多計算資源和內存資源的情況，滿足實際應用的需求。

表2 不同人臉識別的識別性能對比(%)

6 結論

本文設計了一種用于細粒度人臉識別的眼鏡去除網絡ERCNN，適用于對全框、半框和無框3種眼鏡的去除。具體地：(1)利用大量的監(jiān)控場景、互聯網和證件照的人臉圖像構建數據集，保證了人臉圖像的多樣性，作為研究對象，設計了一種ERCNN網絡，利用常用的網絡結構，融合MFM單元和反卷積層，很好地實現了眼鏡去除。在眼鏡去除精度方面，本文方法在PSNR,SSIM,MSE和IFC上的平均值為35.3,0.98,19.01和7.2，相比PCA方法分別提高了10.4倍，0.12,0.1和10.1，在各項指標上都具有一定優(yōu)勢。在識別速度上，本文方法的處理速度僅為3 ms，也具有良好的實時性。(2)在細粒度人臉識別測試集上進行對比試驗，當FAR為1%時，本文方法對F-SLLFW,H-SLLFW和R-SLLFW數據集的人臉圖像進行眼鏡去除后，SphereFace算法的TAR分別達到90.05%,91.14%和92.33%，比未去除眼鏡的識別率分別提高了3.92%,3.08%和1.26%；同樣，當FAR為0.1%時，比SphereFace算法的TAR分別提高了10.06%,4.29%和2.13%，說明本文方法有助于提升細粒度人臉識別的識別精度。