張芳艷 王新 許新征

摘 要：提出使用結構化遮擋編碼（SOC）結合極限學習機（ELM）的算法來處理人臉識別中的遮擋問題。首先，使用SOC去除圖像上的遮擋物，將遮擋物體與人臉分離開;同時，通過局部性約束字典（LCD）來估計遮擋物的位置，建立遮擋字典和人臉字典。然后，將建立好的人臉字典矩陣進行歸一化處理，并利用ELM對歸一化的數(shù)據(jù)進行分類識別。最后，在AR人臉庫上進行的仿真實驗結果表明，所提方法對不同遮擋物和不同區(qū)域遮擋的圖像具有較好的識別率和魯棒性。

關鍵詞：人臉識別;遮擋;結構化遮擋編碼;局部性約束字典;極限學習機

中圖分類號：TP193

文獻標志碼：A

AbstractAn algorithm combining Structured Occlusion Coding （SOC） with Extreme Learning Machine （ELM） was proposed to deal with the occlusion problem in face recognition. Firstly， the SOC was used to remove the occlusion from the image and separate the oclusion from the human face. At the same time， the position of the occlusion was estimated by the Local Constraint Dictionary （LCD）， and an occlusion dictionary and a face dictionary were established. Then， the established face dictionary matrix was normalized， and the ELM was used to classify and identify the normalized data. Finally， the simulation results on the AR face database show that the proposed method has higher recognition rate and stronger robustness for different types of occlusions and images with different regions occluded.Key words：face recognition; occlusion; Structured Occlusion Coding （SOC）; local constraint dictionary; Extreme Learning Machine （ELM）

0 引言

近年來，人臉識別技術在理論進展和實際應用中取得了很大的突破，已成為模式識別領域的前沿研究方向。但遮擋人臉圖像的識別問題在人臉處理過程中會經(jīng)常出現(xiàn)，例如口罩、發(fā)型、墨鏡和帽子遮擋是十分常見的。如圖1所示（圖例選自occluded CASIA-WebFace dataset），這些遮擋對人臉的正確識別具有極大的干擾。而低秩表示[1]可以快速解決遮擋問題，它運用了一種新型的迭代方法有效地提高了識別率和大面積圖像遮擋識別的魯棒性。文獻[2]提出了結構性遮擋編碼和稀疏表示（Sparse Representation-based Classifier， SRC）[3]相結合的方法，巧妙地利用結構化稀疏編碼處理圖像的遮擋問題。此外，長短期記憶網(wǎng)絡自編碼器[4]也常用來解決面部遮擋問題，較好地提高了圖像降噪的魯棒性。但遮擋問題還是沒有得到完全解決。

在人臉識別領域中，有遮擋的人臉識別問題引起了學術界的廣泛關注。遮擋處理方法一般分為視頻中的遮擋處理和圖像中的遮擋處理方法。通常采用物體跟蹤方法處理動態(tài)視頻中的遮擋問題，例如：文獻[5]提出了一種基于視頻監(jiān)控的跟蹤方法，自動檢測并處理遮擋物;文獻[6]提出了一種新的物體跟蹤技術，它可以跟蹤人們的動態(tài)行為動作，即使在較大的遮擋下也保持像素跟蹤分配，由于其魯棒性，已被用于室內(nèi)人們行為監(jiān)督的不同實驗。圖像中的遮擋處理方法大致可分為五類：低秩表示法、圖像修復法、模糊分析、魯棒主成分分析法和結構性遮擋編碼法。文獻[7-8]提出使用健壯低秩表示方法來解決帶遮擋的人臉識別問題，該方法主要結合了健壯性表示和誤差的低級估計。目前，文獻[9]提出了多尺度的分形編碼及重構的圖像修復方法，對紋理圖像和有較大孔洞的圖像效果較好。文獻[10]提出一種基于模糊主分量分析方法對遮擋區(qū)域進行檢測并恢復人臉區(qū)域，但是，模糊主分量分析法的計算量較大，對大區(qū)域的遮擋處理效果不理想。

低秩魯棒主成分分析[11]是一種主流的遮擋人臉特征提取方法，同時有用結構性遮擋編碼結合稀疏表示分類[12-13]處理遮擋得到較好的效果。文獻[14]提出了一種新的非負稀疏表示方法，用于大規(guī)模數(shù)據(jù)庫的魯棒人臉識別;但是該算法計算量較大，結構比較復雜。文獻[15]提出的遮擋字典方法對人臉識別的作用越來越重要，能夠有效地處理各種遮擋物，可區(qū)分非遮擋和遮擋區(qū)域的特征，并分別在字典的相應部分進行編碼。

文獻[16]將遮擋字典連接到原始字典來執(zhí)行遮擋編碼，通過尋找稀疏字典的方法，使得遮擋圖像成功地分解為面部圖像和遮擋圖像兩部分。遮擋人臉識別問題[17]是人臉識別技術邁向?qū)嵱玫淖顬殛P鍵的一步。如果要構建一個完善的人臉識別系統(tǒng)就必須要解決遮擋問題。比如很常見的帽子、圍巾和太陽鏡等遮擋物。有時，大面積的遮擋會嚴重破壞原始圖像的有關信息，導致圖像識別產(chǎn)生很大的偏差。文獻[18]提出了稀疏誤差和圖解模型的方法不斷迭代遮擋像素，最終顯示遮擋面具，利用馬爾可夫隨機場模型將空間連續(xù)性轉(zhuǎn)化為對訓練圖像的稀疏表示的計算，從而準確地找到遮擋區(qū)域。因此，如何把有遮擋的人臉圖像分離成人臉圖像和遮擋圖像，就具有重要的研究意義。

本文以遮擋人臉識別問題為出發(fā)點，以解決實際場景中的遮擋人臉識別問題為目標，提出了基于結構性遮擋編碼（Structured Occlusion Coding，SOC）的遮擋人臉圖像識別方法，并利用極限學習機（Extreme Learning Machine， ELM）對分離后的人臉進行分類和識別，即用結構化遮擋編碼和極限學習機（SOC-ELM）來處理局部遮擋問題。

在該方法中，面部圖像和遮擋圖像可以分別由字典的相應部分表示，可以在復雜場景中實現(xiàn)更有效的分類效果。

1 理論基礎

1.1 局部性約束字典學習方法

局部性約束字典學習（Local Constraint Dictionary， LCD）[19]，即在給定字典DH的情況下， xi可由該字典中各原子dj的線性組合近似表示，即xi=∑Kj=1cjidj，則點xi在d維空間的嵌入yi=g（xi）可以由dj在低維空間中的嵌入g（di）近線性表示，即：xj=∑Kj=1cjig（dj）， 根據(jù)l2距離，為使上述兩個線性表示的誤差最小，關于DH和C=[c1，c2，…，cN]，需要同時最小化如下兩式：

1.2 結構化遮擋編碼

一張人臉圖像y被一個遮擋物v遮擋后的形式為u=y+v，違反了低維線性照明模型，導致SOC分類錯誤。真實場景中的遮擋類別是可預測的，可以提前收集。受到文獻[2]啟發(fā)本文算法組成一個遮擋物體的子字典?可以看出，構造出良好的字典能夠有效地處理各種遮擋，在實際場景中具有高度魯棒性。有遮擋的識別問題的公式如下：

當數(shù)據(jù)逐漸增多時，解決問題（1）是不可行的，即使有遮擋，也可以把最小殘差分配給樣本u， 組成了遮擋字典和干凈的人臉字典，得到的兩個字典對后續(xù)的去遮擋工作有相當大的作用，這樣便把遮擋物和人臉分離，將分離后的人臉和原始人臉相比，像素值并沒有減小，組成的人臉字典更有利于后續(xù)的分類，本文在后續(xù)的實驗中展示了識別結果。

1.3 極限學習機

極限學習機（ELM）[20]是一種新型的快速的單隱層神經(jīng)網(wǎng)絡[21]學習算法，可以隨機初始化輸入權重和偏置并得到相應的輸出權重。該算法的特點是在網(wǎng)絡參數(shù)的確定過程中，ELM原理如圖3所示。如果一個具有L個隱層神經(jīng)元的單隱層神經(jīng)網(wǎng)絡可以零誤差逼近這N個互異的數(shù)據(jù)樣本。也就是說，存在ai、bi和βi（i=1，2，…，L），使

2.1 SOC-ELM模型結構

訓練階段不需在每個子字典上進行詳盡的計算，就可以很容易地獲得被遮擋的圖像的身份并找出最好的遮擋估計。因文獻[18]中被遮擋的標簽是事先給出的，通過標簽的關聯(lián)就可以很容易地估計遮擋子字典。然而，在實際情況中，大多數(shù)遮擋圖像的標簽是未知的，則文獻[18]算法就不可取。而本文算法對有標簽和無標簽圖像都適用。SOC-ELM模型結構如圖4所示。

在該算法中，將圖像域視為一個圖，誤差e的支持向量被表示為z∈{0，1}m，zi=0表示無遮擋，zi=1表示有遮擋，圖像經(jīng)過SOC時，時間復雜度為O（mn），用ELM對歸一化的圖像數(shù)據(jù)做分類時，時間復雜度為O（n3），則此算法的時間復雜度為O（mn+n3）。

3 實驗

實驗在AR人臉數(shù)據(jù)集和CelebA數(shù)據(jù)集上進行。通過與SOC-SVM和SOC-SOFTMAX進行對比和分析，采用峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）和結構相似性指數(shù)（Structural SIMilarity index， SSIM）兩個常用評價指標來驗證所提模型的有效性。

3.1 實驗數(shù)據(jù)集

AR數(shù)據(jù)庫被廣泛用來做遮擋的處理，它包括126個人的4000多幅正面圖像。該數(shù)據(jù)庫中的圖像包括較多的面部表情變化和遮擋，例如光照變化、表情變化，墨鏡和圍巾遮擋，典型示例如圖5所示。

CelebA是香港中文大學的公開數(shù)據(jù)，包含202599張10177個名人身份的圖像，所有這些圖像都有很好的標記，是一個非常完整的面部相關訓練數(shù)據(jù)集。圖片大小為（178，218，3），添加了相應的遮擋，來模擬真實的遮擋情況。

在AR數(shù)據(jù)庫中選擇了50個男人和50個女人的圖像（其中每個人有26張圖片，14張普通圖片和6張戴圍巾的圖片），每張圖片大小為83×60。為每個人物選擇7張沒有任何偽裝的圖片，隨機構造原始字典并用于測試。在戴墨鏡和圍巾的圖片中，隨機挑選10個人，共60張圖片來獲得遮擋模型，其他的則用于測試。最后，以識別率來評價算法的有效性，并與SOC-SOFTMAX和SOC-SVM模型進行對比。在CelebA數(shù)據(jù)庫上，本文選擇了有代表性的3000張隨機遮擋的圖片，將這些圖片放入三種模型進行實驗。

3.2 實驗結果分析

在AR人臉庫中，采用540張遮擋圖片作為訓練人臉庫。用稀疏遮擋編碼分離其中戴墨鏡和戴圍巾的人臉。對分離后的人臉進行歸一化，輸入到三個不同的分類器中進行分類識別。首先測試了結構化遮擋編碼（SOC），學習了60張墨鏡圖片的遮擋字典，并和原始圖片共同組成訓練集，剩余的540張戴墨鏡的圖片用于測試。將去遮擋的圖像集歸一化處理，利用SVM、SOFTMAX和ELM分類器進行識別，得到的結果如圖7～9所示。

此外，比較了9種不同迭代次數(shù)的識別準確率，SOC-ELM的識別效果是最好的。從表1～2的實驗結果還可以看出，算法的最佳迭代次數(shù)為50000。采用本文算法，使得分離人臉和遮擋物后識別人臉準確率得到有效的提高。另外，相對于文獻[2]提出的SOC-SRC來說，本文方法大幅降低了計算時間，只有15～41s;同時，可以看出在相同的迭代次數(shù)下，SOC-ELM表現(xiàn)出的效果明顯好于其他兩種算法。因而可以得出本文算法具有較好的穩(wěn)定性和實時性。

[8] OROUGHI H， SHAKERI M， RAY N， et al. Face recognition using multi-modal low-rank dictionary learning[C]// Proceedings of the 2017 IEEE International Conference on Image Processing. Piscataway： IEEE， 2017： 1081-1086.

[9] 唐嫻，黃軍偉.低秩魯棒性主成分分析的遮擋人臉識別[J].南京理工大學學報，2017，41（4）：460-465.（TANG W， HUANG J W. Occlusion face recognition based on low rank robust principal component analysis[J]. Journal of Nanjing University of Science and Technology， 2017， 41（4）： 460-465.）

[10] 李晉江， 張彩明， 范輝， 等. 基于分形的圖像修復算法[J].電子學報，2010，38（10）：2430-2435.（LI J J， ZHANG C M， FAN H， et al. Fractal-based image restoration algorithm[J].Acta Electronica Sinica， 2010， 38（10）： 2430-2435.）

[11] DING Z M， SUH S， HAN J， et al. Discriminative low-rank metric learning for face recognition[C]// Proceedings of the 2015 11th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition. Piscataway： IEEE， 2015： 1-6.

[12] DING X， LIU X， XU L. An optimization method of extreme learning machine for regression[C]// Proceedings of the 31st Annual ACM Symposium on Applied Computing. New York： ACM， 2016： 891-893.

[13] YANG M， ZHANG L， SHIU S， et al. Gabor feature based robust representation and classification for face recognition with Gabor occlusion dictionary[J]. Pattern Recognition， 2014， 46（7）： 1559-1572.

[14] HE R， ZHENG W， HU B， et al. Two-stage nonnegative sparse representation for large-scale face recognition[J]. IEEE Transactions on Neural Networks and Learning Systems，2013， 24（1）： 35-46.

[15] 朱明旱，李樹濤，葉華.稀疏表示分類中遮擋字典構造方法的改進[J].計算機輔助設計與圖形學報，2014，26（11）：2064-2078.（ZHU M H， LI S T， YE H. Improvement of the construction method of occlusion dictionary in sparse representation classification[J].Journal of Computer-Aided Design & Computer Graphics， 2014， 26（11）： 2064-2078.）

[16] SING Y， CHENG Y. Noise-resistant network： a deep-learning method for face recognition under noise[J]. EURASIP Journal on Image and Video Processing， 2017， 2017： Article number 43.

[17] ZHOU Y， BARNER K. Locality constrained dictionary learning for nonlinear dimensionality reduction[J]. IEEE Signal Processing Letters， 2013， 20（4）： 335-338.

[18] ZHOU Z， WAGNER A， MOBAHI H， et al. Face recognition with contiguous occlusion using Markov random fields[C]// Proceedings of the 2009 IEEE 12th International Conference on Computer Vision. Piscataway： IEEE， 2009： 1050-1057.

[19] 劉麗娜，馬世偉，溫加睿.基于局部約束字典學習的數(shù)據(jù)降維和重構方法[J].儀表儀器學報， 2016， 37（1）：99-108.（LIU L N， MA S W， WEN J R. Data dimension reduction and reconstruction method based on local constraint dictionary learning[J]. Journal of Instrument and Instrument， 2016， 37（1）：99-108.）

[20] SASTRAWAHA S， HORATA P. Ensemble extreme learning machine for multi-instance learning[J]// Proceedings of the 9th International Conference on Machine Learning and Computing. New York： ACM， 2017： 56-60.

[21] 彭雙. 神經(jīng)網(wǎng)絡隱層節(jié)點的稀疏化[D]. 大連：大連理工大學，2017：1-48.（PENG S. Sparseization of hidden nodes in neural networks [D]. Dalian： Dalian University of Technology， 2017：1-48.）

[22] PATHAK D， DONAHUE P， DARRELL T， et al. Context encoders： feature learning by inpainting[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2536-2544.

[23] YEH R， CHEN C， LIMT Y， et al. Semantic image inpainting with perceptual and contextual losses[C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6882-6890.