摘 要：文章針對部分遮擋人臉識別問題研究進行了綜述，總結了人臉識別存在的主要困難，詳細分析了部分遮擋人臉識別的主要方法，如圖像修復法、局部特征法、魯棒估計法、稀疏表示法和非負判別式字典學習法，指出了各類方法的主要思想和其中代表性方法，分析了存在的問題以及未來的發(fā)展趨勢。

關鍵詞：部分遮擋；人臉識別；局部特征；魯棒估計；稀疏表示

人臉識別包括人臉檢測、特征提取和分類器設計等基本步驟，是典型的生物特征識別技術之一。目前已在金融、教育、醫(yī)療、旅游和安防等眾多領域得到了廣泛的應用。

近年來，人臉識別技術已經取得了重大進展，但仍然面臨諸多困難，比如光照的變化、表情的變化、姿態(tài)的變化、年齡的變化和部分遮擋，如圖1所示。

針對表情變化、光照變化、姿態(tài)變化和年齡變化等問題，研究人員已經分別進行了深入的研究。然而部分遮擋問題卻一直沒有引起研究人員足夠的重視?，F(xiàn)有算法對被遮擋人臉的識別率急劇下降，即使是在嚴格控制的實驗室環(huán)境下的遮擋人臉識別問題都一直未得到很好的解決。另一方面，遮擋人臉識別問題又廣泛存在于實際應用中，如圖2所示。人們日常生活戴的墨鏡、帽子、圍巾等遮擋物成為導致現(xiàn)有人臉識別算法失敗的主要因素。

總之，遮擋已經成為人臉識別技術進一步廣泛應用的主要障礙之一，研究對遮擋魯棒的人臉識別算法有著重要的理論意義和應用價值。

1 部分遮擋人臉識別方法

目前的部分遮擋人臉識別方法大致可以分為4類：圖像修復法、局部特征分析法、魯棒估計法和稀疏表示法。

1.1圖像修復法

部分遮擋即相對整個人臉而言，遮擋只占一小部分。圖像修復法[5-7]正是基于這樣的事實，利用圖像信息的冗余性，通過未被遮擋人臉區(qū)域的像素值去修復遮擋區(qū)域，然后利用恢復后的圖像進行識別。這類方法的優(yōu)點是能夠使修復后的區(qū)域與整體人臉圖像灰度信息一致，不足的是無法恢復遮擋區(qū)域的紋理特征。另一方面，此類方法是基于單張圖像內已有的冗余信息進行修復的，若雙眼區(qū)被完全遮擋，則圖像內無相關冗余信息，因而無法從圖像其他區(qū)域找到合適的圖像模式來填充遮擋的眼睛區(qū)域。因此，基于圖像修復的方法能有效解決小面積遮擋人臉識別問題，且需要手動標記遮擋區(qū)域，這顯然不適合大規(guī)模的自動人臉識別。事實上，實際中遮擋類型多樣復雜，無法預測。

1.2局部特征法

局部特征法的基本思想是減弱或丟棄遮擋區(qū)域在識別中的作用。與圖像修復法不同，它不是試圖去恢復被遮擋區(qū)域。此類方法同樣是基于遮擋為局部性的事實，通過對未遮擋局部區(qū)域賦予大的權重值，對被遮擋區(qū)域賦予小權重值，或者完全舍棄其對應部分的特征，達到消除遮擋影響的目的。典型的方法如局部非負約束的矩陣分解（Local Non-negative Matrix Factorization，LNMF）。實際中，因遮擋導致的重構誤差并不服從高斯分布，因此對大面積遮擋很敏感。為此，Oh[9]等提出了改進的局部特征學習法。具體做法是，先將圖像分為互不相連的子塊，然后利用主成分分析法檢測各子塊是否被遮擋，據此選擇與遮擋無關的基底張成新的投影空間，在新的投影空間上進行人臉識別，實現(xiàn)消除遮擋影響的目的。類似的工作，如Martinez等則是先將人臉劃分為多個子塊，提出了一種取代傳統(tǒng)投票機制的概率權重確定方法。Tan[ll]等在各人臉子塊的基礎上，通過學習組織映射神經網絡來提取特征，實現(xiàn)減弱遮擋影響的目的。整體來看，上述幾種算法都是基于圖像子塊，根據子塊是否受影響再作進一步的處理。該方法只對局部集中遮擋有效，如果遮擋分散在整個人臉，如網狀遮擋即各個子塊中都存在遮擋時，圖像分塊的方法無法再通過調節(jié)權重來消除遮擋的影響。另外實際中遮擋物形狀各異、大小不一，同時子塊劃分方案對結果影響也很大。為此，研究人員提出了提取或增強局部特征的方法來減弱遮擋的影響。如，Zhang等為了減少遮擋對算法的影響，在已有的Gabor=值模式[13]基礎上，通過無遮擋局部區(qū)域與待評測局部區(qū)域之間的局部Gabor=值特征散度來預測遮擋發(fā)生的概率，并利用此概率對特征加權，從而達到減弱遮擋的影響。該方法基于以下假設，即遮擋區(qū)域直方圖分布與對應遮擋物的區(qū)域直方圖分布之間存在差異。如果遮擋物顏色與人臉膚色相近時（如人臉被手遮擋），該方法性能將受到影響。局部特征法對特定類型的遮取得較好效果，但并未從根本上將遮擋從人臉圖像中移除。另外，實際中遮擋類型復雜，僅靠“風險均衡或轉移”的思想無法應對所有情況。還存在以下問題值得研究，如遮擋區(qū)域檢測、未受遮擋區(qū)域局部特征有效融合、權重設定等。

1.3魯棒估計法

上述兩種方法都存在不足，如圖像修復法在眼睛、嘴巴等重要部位缺失時無法由單張的人臉圖像得到恢復，而局部特征法則是減弱或舍棄遮擋區(qū)域，導致相應的判別特征一起遭到舍棄。

魯棒估計法的基本想法是由已有無遮擋樣本中通過學習的方法來估計受遮擋部分的圖像特征，因而不受遮擋區(qū)域大小、位置等因素影響，在遮擋人臉識別中得到了深入研究。

代表性方法有魯棒主成分分析方法，如Leonardis等[14-15]提出不直接將樣本投影到特征空間，而是通過假設檢驗的方法來估計重建系數(shù)，從而實現(xiàn)對遮擋區(qū)域的估計。然而，該方法要求訓練樣本是干凈的，不能包含遮擋或噪聲。實際中，對人臉這種非剛體而言，在實驗環(huán)境下采集的樣本很難達到此方法對訓練集的要求，從而影響遮擋區(qū)域估計及最終識別?；隰敯艄烙嬂碚摚珼ahyot等提出自適應地去估計誤差分布，利用半二次優(yōu)化方法，通過迭代加權最小二乘求解得到主分量。該方法同樣依賴于訓練樣本。類似的工作，如He等提出的最大相關熵的魯棒主成分分析。Candes等基于低秩的約束提出了一種新的魯棒主成分分析方法，即將其建模為低秩部分加上稀疏噪聲部分。這種方法中訓練集中容許有遮擋的人臉圖像。但該方法在將遮擋等分離去除的同時，將紋理等一些判別式信息也作為噪聲去除了。另外，該方法是無監(jiān)督的，無法有效利用監(jiān)督信息。

1.4稀疏表示法

稀疏表示是近年來發(fā)展起來的一種新的理論和方法，其核心在于自適應的學習過完備基，使處理對象在這組基下表示是稀疏的。稀疏表示在圖像去噪、超分辨率、壓縮傳感、特征選擇等方面取得了成功。稀疏表示最先由Olshausen等提出，該方法通過冗余字典上的稀疏編碼，學習得到的字典有類似Gabor濾波器的性質，這為圖像表示和分析提供了一條新的思路和方法。Wright等提出將稀疏表示應用于人臉識別SRC（ Sparse RepresentationClassification）。稀疏表示人臉識別的基礎是假設同一個人不同光照下的人臉圖像處于同一個線性子空間中，將所有不同人臉的訓練樣本組合得到訓練樣本字典。對測試樣本而言，它只可能由其所在類的樣本進行線性表示，因而其在訓練樣字典的表示是稀疏的。通過求解該稀疏表示，利用在各子類字典上的重構誤差大小判別測試樣本的類別。結果表明，該方法對光照變化、部分遮擋及隨機噪聲等魯棒性非常好。

稀疏表示的魯棒性，為部分遮擋人臉識別問題提供了新的研究思路。但如何增強字典的判別性，當學習樣本部分被遮擋時如何學習字典，如何融合各種判別信息提高算法的魯棒性，如何解決字典原子中負值像素等問題值得進一步深入研究。在SRC中，以12-范數(shù)來度量重構誤差，實際上就是假設誤差服從高斯分布。然而實際中，遮擋情況下，重構誤差根本不服從高斯分布，也不服從拉普拉斯分布。為了解決此問題，Yang等將稀疏編碼問題建模為稀疏約束的魯棒回歸問題，通過迭代稀疏編碼求解。He等[22]利用相關熵誘導的測度度量重構誤差，對重構誤差大的像素點賦予小的權重，對重構誤差小的像素點賦予大的權重，減小被遮擋像素點的影響，得到了較好的識別結果。與前兩種方法不同，Yang等先通過自適應地編碼殘差來估計被遮擋的像素，然后求得未被遮擋像素的協(xié)同表示重構誤差，結合類中心的編碼偏差分類識別?？偟膩碚f，這類方法自適應估計誤差分布預測遮擋，區(qū)別在于所用的誤差估計模型不一樣。這些方法在稀疏表示框架下有效提高了算法的魯棒性，但它們的共同點是：字典仍然是由訓練樣本組成，因而判別性不強。如何在含有遮擋樣本情況下增強字典的判別性，是遮擋人臉識別值得進一步研究的問題。

實際中遮擋部分的像素在空間上具有連續(xù)性?；谶@樣的事實，Zhou等用馬爾科夫隨機場刻畫遮擋像素的空域相關性，提出了基于馬爾科夫隨機場的部分遮擋人臉識別算法。進一步，結合編碼誤差的分布和遮擋區(qū)域的形狀結構信息，Dai等[24]提出了結構化稀疏誤差編碼的遮擋人臉識別算法。這些研究表明，考慮遮擋的實際形狀結構信息能有效提高算法對遮擋的魯棒性。但不足的是上述兩類方法仍然是以訓練樣本作為字典，要求訓練樣本都不能被遮擋，因而無法利用實際中大量的遮擋人臉數(shù)據。另一方面，由訓練樣本構成的字典通常都很大，導致稀疏表示求解復雜度急劇增加。因此，研究者提出了從數(shù)據中學習緊湊的字典進行遮擋人臉識別。

Deng等[25]提出了通過類內變化表示遮擋的擴展字典人臉識別算法（ Extended-SRC，ESRC），為遮擋人臉識別研究提出了新的思路。但該方法僅僅是將同一個人不同遮擋下的圖與無遮擋圖的差作為類內變化。這樣出現(xiàn)了兩個問題：第一，相減產生了負值像素，這與實際是不符合的；第二，當訓練樣本多時，遮擋字典很大，沒有經過任何的優(yōu)化。基于此，Ou等提出了基于相關性最小化的遮擋字典學習方法。該方法通過投影而非相減得到遮擋模式樣本，約束與訓練樣本字典的相關性，提高遮擋字典的判別性。有效地解決了遮擋字典過大的問題。但與ESRC方法一樣，訓練樣本仍然不能包含任何的遮擋，且訓練樣本字典沒有經過任何優(yōu)化。Yang等提出了基于fisher準則的判別式結構字典學習方法的人臉識別。該字典由各類的字典構成，每個子字典對本類樣本表達力強而對其他類表達力弱，從而增加判別性。最后利用重構誤差和稀疏編碼系數(shù)進行識別。Jiang等[28]直接利用稀疏編碼系數(shù)作為人臉表示特征，直接將類標信息及線性分類函數(shù)一起加入字典學習框架，通過k-svd算法求解字典，有效提高了字典的判別性。類似的工作有]?？傊?，上述方法分別從重構性、判別性和稀疏性3個方面提出了各種字典學習方法，為研究對遮擋魯棒的人臉識別算法做了有益的探索。

1.5非負表示法

稀疏表示因沒有限制系數(shù)的非負性，因而得到的基底出現(xiàn)負像素，這與實際不符。非負矩陣分解作為稀疏非負特征提取方法，有效結合了二者的優(yōu)勢。綜合考慮稀疏性和非負性，歐衛(wèi)華提出了魯棒判別式非負字典學習方法。該方法利用相關熵誘導距離度量重構誤差，通過考慮局部幾何相似性和判別式信息，學習到了魯棒的判別式非負基底，在實際遮擋和隨機模擬遮擋中取得了很好地識別效果。

2 存在的問題及研究方向

因部分遮擋人臉識別問題未向光照、表情和姿態(tài)等問題受到研究者的關注，目前該領域的研究存在以下問題。

（1）數(shù)據集缺乏。沒有專門的數(shù)據集是阻礙該領域深入發(fā)展的重要瓶頸。目前研究實驗主要集中在AR數(shù)據集上。該數(shù)據集是在實驗控制條件下采集的、只有兩種類型的遮擋，即墨鏡、圍巾。因此，遮擋類型有限，遮擋方式固定，與實際中復雜遮擋模式差距較大。

（2）實驗協(xié)議標準不統(tǒng)一。不同研究者通過隨機模擬實際中的遮擋進行實驗，因而實驗結果很難重復，無法進行比較優(yōu)劣。

近年來，深度學習在人臉識別領域取得了突破性進展，如代表性工作DeepFace'32]，DeepID'33].FaceNet[34]。在深度學習框架下，學習算法直接從原始圖像學習對于光照、表情、角度等不變的特征。這些特性是從大量數(shù)據中學習得到，并未特別針對每種人臉識別問題。因此，如果針對部分遮擋的特點，設計專門的深度學習神經網絡，將是未來解決部分遮擋人臉識別問題的有效途徑。

3結語

本文分析了人臉識別面臨的主要挑戰(zhàn)，指出部分遮擋是其中的主要困難之一，系統(tǒng)分析和總結目前部分遮擋人臉識別的主要方法以及存在的不足，分析存在的主要問題和未來可能的研究途徑。