摘 要：人臉識(shí)別技術(shù)水平不斷提升，在身份認(rèn)證、人機(jī)交互等應(yīng)用上得到了較為理想的識(shí)別率，市場(chǎng)規(guī)模不斷增長(zhǎng)。然而真實(shí)場(chǎng)景下的遮擋問(wèn)題并沒(méi)有被徹底解決，如何抑制或消除遮擋對(duì)人臉關(guān)鍵性特征的負(fù)面影響是當(dāng)前人臉識(shí)別領(lǐng)域的熱點(diǎn)之一。針對(duì)遮擋導(dǎo)致的人臉結(jié)構(gòu)信息缺失問(wèn)題，對(duì)有遮擋人臉識(shí)別數(shù)據(jù)集和有遮擋人臉識(shí)別方法進(jìn)行綜述，首先介紹分析了一些重要的新型有遮擋人臉識(shí)別數(shù)據(jù)集；其次，歸納分析了用于解決遮擋問(wèn)題的傳統(tǒng)方法和深度學(xué)習(xí)方法，重點(diǎn)介紹了基于深度學(xué)習(xí)的特征魯棒性提取方法和遮擋部位信息恢復(fù)方法;最后，總結(jié)分析了相關(guān)方法的優(yōu)缺點(diǎn)，指出有遮擋人臉識(shí)別研究存在的問(wèn)題和挑戰(zhàn)，對(duì)未來(lái)研究方向進(jìn)行了展望。

關(guān)鍵詞：人臉識(shí)別； 有遮擋人臉數(shù)據(jù)集； 深度學(xué)習(xí)； 魯棒性特征提??； 遮擋信息恢復(fù)

中圖分類(lèi)號(hào)：TP391.41 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2023）08-002-2250-08

doi：10.19734/j.issn.1001-3695.2022.12.0830

Review of progress of face recognition with occlusion

Zhang Qinghui， Zhang Yuan， Zhang Mengya

（College of Information Science amp; Engineering， Henan University of Technology， Zhengzhou 450001， China）

Abstract：The level of face recognition technology continues to improve， and has achieved an ideal recognition rate in identity authentication， human-computer interaction and other industrial applications， and the market scale keeps growing. However， the occlusion problem in real scenes has not been completely solved. How to restrain or eliminate the negative impact of occlusion on key facial feature， is one of the hot spots in the field of face recognition. Aiming at the problem of lack of face structure information caused by occlusion， this paper reviewed the occluded face recognition datasets and the occluded face recognition methods. Firstly， it introduced and analyzed some important new occluded face recognition datasets. Secondly， it summarized the traditional learning methods and deep learning based methods to solve occlusion problems， and emphasized the deep lear-ning based robustness feature extraction and occluded facial information recovery. Finally， this paper summarized and analyzed the advantages and disadvantages of relevant methods， pointed out the problems and challenges of occluded face recognition， and prospected the future research directions.

Key words：face recognition; occluded face datasets; deep learning; robustness feature extraction; occluded information recovery

0 引言

人臉識(shí)別［1］通過(guò)抽取并對(duì)比分析人臉特征來(lái)進(jìn)行身份驗(yàn)證及識(shí)別，是生物識(shí)別領(lǐng)域的重要技術(shù)之一，得到了廣泛的實(shí)際應(yīng)用。然而，受光線、姿態(tài)、分辨率、遮擋等現(xiàn)實(shí)不可控因素的影響，人臉識(shí)別算法并不能總發(fā)揮積極作用［2，3］。其中遮擋的存在會(huì)掩蓋人臉上大部分特征，造成較大的信息損失，導(dǎo)致人臉識(shí)別算法性能大幅下降。

有遮擋人臉識(shí)別是研究在遮擋情況下人臉識(shí)別方法的一個(gè)領(lǐng)域，用于抑制或消除遮擋的影響，主要研究遮擋導(dǎo)致的人臉結(jié)構(gòu)信息缺失問(wèn)題，抑制或消除遮擋對(duì)人臉關(guān)鍵性特征的負(fù)面影響，包含遮擋下的人臉特征魯棒性提取和針對(duì)有遮擋部位的人臉信息有效恢復(fù)兩個(gè)重要研究?jī)?nèi)容。相比于約束場(chǎng)景下無(wú)遮擋的人臉識(shí)別高精度性能，無(wú)約束場(chǎng)景下佩戴口罩、圍巾、眼鏡等造成的遮擋會(huì)混淆面部特征，造成人臉特征點(diǎn)被破壞和面部特征大量缺失，不僅影響著人臉識(shí)別的精度，也會(huì)間接造成人臉檢測(cè)階段的目標(biāo)誤檢、漏檢。現(xiàn)實(shí)世界的遮擋不可提前預(yù)知，遮擋可能出現(xiàn)在人臉面部區(qū)域的任何位置，以任意大小或形狀的形式呈現(xiàn)，遮擋帶來(lái)的人臉關(guān)鍵性特征缺失是人臉識(shí)別領(lǐng)域無(wú)法回避并且亟待解決的一個(gè)重要問(wèn)題［4～7］。

有遮擋人臉識(shí)別的研究具有廣泛的應(yīng)用場(chǎng)景，可應(yīng)用于安全防護(hù)、金融商務(wù)、交通監(jiān)控、娛樂(lè)社交等多個(gè)領(lǐng)域，例如一些受安全保護(hù)的現(xiàn)實(shí)場(chǎng)景小區(qū)需要通過(guò)人臉識(shí)別辨識(shí)身份方可進(jìn)入。人臉識(shí)別系統(tǒng)可用于企業(yè)、住宅安全管理，如人臉識(shí)別防盜門(mén)、門(mén)禁考勤系統(tǒng)等；還可在公共場(chǎng)所對(duì)不法分子進(jìn)行監(jiān)視，如在機(jī)場(chǎng)通過(guò)監(jiān)控系統(tǒng)對(duì)通過(guò)遮擋進(jìn)行偽裝的不法分子識(shí)別身份，防止恐怖分子登記。另外，在理論層面可以幫助解決人臉識(shí)別遇到的遮擋等問(wèn)題，對(duì)圖像合成、圖像修復(fù)領(lǐng)域具有一定的啟發(fā)［8～12］。特別地，疫情常態(tài)化防控下的口罩遮擋對(duì)面部的特征提取（如嘴巴、鼻子、下巴等）產(chǎn)生了極大的負(fù)面影響，促使人臉識(shí)別應(yīng)用需進(jìn)一步考慮遮擋問(wèn)題。

有遮擋人臉識(shí)別的研究主要包括遮擋下的人臉特征魯棒性提取和針對(duì)有遮擋部位的人臉信息有效恢復(fù)兩個(gè)重要研究?jī)?nèi)容。本文從有遮擋人臉識(shí)別的關(guān)鍵問(wèn)題和研究?jī)?nèi)容出發(fā)，綜述了新型有遮擋人臉數(shù)據(jù)集及最新有遮擋人臉識(shí)別研究方法。

1 有遮擋人臉數(shù)據(jù)集

1.1 人臉遮擋構(gòu)造

一個(gè)數(shù)據(jù)充足、標(biāo)注良好且種類(lèi)多樣的數(shù)據(jù)集是訓(xùn)練模型、提升模型性能的必要條件。目前常用的人臉數(shù)據(jù)集有CASIA-WebFce［13］、VGGFace2［14］、MS-Celeb-1M［15］、Glint360K［16］、LFW［17］、MegaFace［18］等，然而，這些數(shù)據(jù)集多數(shù)面向人臉識(shí)別應(yīng)用主動(dòng)配合環(huán)境，并非針對(duì)人臉遮擋問(wèn)題專(zhuān)門(mén)設(shè)計(jì)，遮擋條件不足、缺乏非配合環(huán)境下的遮擋情況，不滿足有遮擋人臉識(shí)別研究的迫切需求。通過(guò)使用模擬遮擋和數(shù)據(jù)增強(qiáng)的方法可以構(gòu)建滿足研究需求的有遮擋人臉數(shù)據(jù)集。

a）數(shù)據(jù)合成方法。Mare等人［19］基于SparkAR Studio將創(chuàng)建的合成口罩融合進(jìn)人臉圖像的面部區(qū)域，增強(qiáng)無(wú)遮擋人臉數(shù)據(jù)集中的遮擋條件；Wang等人［20］提出一種FMA-3D模塊，利用106個(gè)面部特征點(diǎn)和3D人臉重建方法PRNet［21］合成大量遮擋人臉圖像；Wang和Huang等人［22，23］開(kāi)發(fā)了基于Dlib庫(kù)的口罩佩戴軟件；Anwar等人［24］開(kāi)源了遮擋添加工具M(jìn)askTheFace；Yin等人［25］提出了一種可以對(duì)每張圖像各個(gè)類(lèi)別（眼、鼻、配飾等）分別遮擋的方法。

b）數(shù)據(jù)增強(qiáng)方法。Wang等人［26］提出一種稱(chēng)做MaskOut的數(shù)據(jù)增強(qiáng)方法，MaskOut采用隨機(jī)遮擋模板代替鼻子下方的移除區(qū)域，利用區(qū)域數(shù)據(jù)增強(qiáng)方法，使用了剪切、隨機(jī)擦除、Cutmix及DropBlock等技術(shù)，可有效用于任何網(wǎng)絡(luò)架構(gòu)，并構(gòu)建了真實(shí)蒙面人臉數(shù)據(jù)集MCPRL-Mask，包含246個(gè)人的14 023張蒙面圖像。與FMA-3D相比，MaskOut產(chǎn)生的內(nèi)存和訓(xùn)練成本可忽略不計(jì)。

1.2 新型有遮擋人臉數(shù)據(jù)集

a）RMFRD。文獻(xiàn)［22，23］提出了三種特殊類(lèi)型的遮擋人臉數(shù)據(jù)集：口罩遮擋人臉檢測(cè)數(shù)據(jù)集MFDD、真實(shí)口罩遮擋人臉識(shí)別數(shù)據(jù)集RMFRD和模擬蒙面人臉識(shí)別數(shù)據(jù)集SMFRD。其中，MFDD的一部分樣本來(lái)自相關(guān)研究，另一部分來(lái)源是通過(guò)爬蟲(chóng)抓取的，該數(shù)據(jù)集包括24 771個(gè)有遮擋人臉圖像；RMFRD包括525名有遮擋者的5 000張圖片和525名不戴口罩的90 000張圖片，這是目前世界上較大的真實(shí)口罩人臉數(shù)據(jù)集；SMFRD包括10 000個(gè)人的500 000張人臉圖像。文獻(xiàn)指出，可以同時(shí)使用模擬口罩?jǐn)?shù)據(jù)集和原始未遮擋人臉數(shù)據(jù)集來(lái)提高有遮擋人臉識(shí)別的準(zhǔn)確性。真實(shí)遮擋和模擬遮擋的樣例如圖1所示。

b）MFR2。針對(duì)目前遮擋數(shù)據(jù)集存在面部不一致或未對(duì)齊、識(shí)別難度大、缺乏無(wú)遮擋身份信息、數(shù)據(jù)多樣性低等問(wèn)題，Anwar等人［24］使用開(kāi)源工具M(jìn)askTheFace創(chuàng)建了真實(shí)世界的遮擋人臉識(shí)別數(shù)據(jù)集MFR2，該數(shù)據(jù)集包括蒙面和未蒙面的身份圖像。MFR2是一個(gè)經(jīng)過(guò)人臉對(duì)齊處理的真實(shí)小型數(shù)據(jù)集，包含53個(gè)名人和政治家身份的共269張圖像，每個(gè)身份平均有5張圖像，圖像尺寸為160×160×3。MFR2是目前數(shù)據(jù)多樣性高，可用于訓(xùn)練遮擋人臉識(shí)別系統(tǒng)的數(shù)據(jù)集之一，如圖2所示。

c）FaceOcc。當(dāng)前的人臉?lè)指顢?shù)據(jù)集存在數(shù)據(jù)量小、遮擋類(lèi)型少、分辨率低和注釋不精確等問(wèn)題，限制了基于數(shù)據(jù)驅(qū)動(dòng)的算法的性能。CelebAMask-HQ［27］最接近滿足該要求，但該數(shù)據(jù)集是為基于GAN的面部圖像編輯任務(wù)而設(shè)計(jì)，忽略了人臉圖像上的各種遮擋（頭發(fā)和眼鏡除外）。Yin等人［25］提出一種新的高質(zhì)量人臉遮擋數(shù)據(jù)集FaceOcc，該數(shù)據(jù)集包含30 000多張圖片，具有太陽(yáng)鏡、手、口罩等多種類(lèi)型，是目前較大的最全面的面部遮擋數(shù)據(jù)集，如圖3所示。其中第一行是原始圖像，第二行是數(shù)據(jù)增強(qiáng)圖像。

表1主要介紹了口罩人臉數(shù)據(jù)集的具體內(nèi)容和下載網(wǎng)址，表2通過(guò)分析各數(shù)據(jù)集，總結(jié)了數(shù)據(jù)集的數(shù)據(jù)集來(lái)源、數(shù)據(jù)集大小、數(shù)據(jù)任務(wù)以及發(fā)布年份，為之后口罩遮擋的人臉識(shí)別任務(wù)奠定了一定的基礎(chǔ)。

2 有遮擋人臉識(shí)別傳統(tǒng)方法

傳統(tǒng)學(xué)習(xí)方法主要利用遮擋區(qū)域的面部特征和人臉的全局結(jié)構(gòu)特征對(duì)人臉的遮擋區(qū)域進(jìn)行表示、抑制或去除，以此來(lái)減少遮擋對(duì)目標(biāo)檢測(cè)的影響，提升人臉識(shí)別算法的效果，其主要方法有基于子空間的方法、稀疏表示法和局部特征分析方法等?；谧涌臻g和稀疏表示方法強(qiáng)化有遮擋人臉的全局特征判別信息，基于局部特征的遮擋弱化方法降低遮擋區(qū)域的權(quán)重或者直接舍棄遮擋區(qū)域，均聚焦遮擋下的人臉特征魯棒性提取這一關(guān)鍵問(wèn)題。

2.1 基于子空間的方法

基于子空間的方法在保持特征區(qū)分性約束下，利用空間變換算法將人臉圖像高維向量投射到低維度的子空間，使用數(shù)據(jù)中最主要的方面進(jìn)行人臉特征提取。任安虎等人［28］提出一種PCA結(jié)合AdaBoost算法的方法，基于有降噪處理、直方圖和歸一化進(jìn)一步提高了子空間算法的準(zhǔn)確率以及抗干擾的能力；Fan等人［29］使用多個(gè)相似性度量，通過(guò)一種弱機(jī)器單元構(gòu)建子空間學(xué)習(xí)框架MPCA，實(shí)驗(yàn)表明MPCA在分類(lèi)精度和聚類(lèi)結(jié)果方面都優(yōu)于其他基于PCA的方法；趙雯等人［30］針對(duì)遮擋圖像中噪聲影響的問(wèn)題，提出基于鑒別性低秩表示及字典學(xué)習(xí)的算法DLRR。對(duì)這三類(lèi)方法的總結(jié)及對(duì)比如表3所示。

2.2 稀疏表示法

稀疏表示法將人臉表示為訓(xùn)練樣本的加權(quán)組合，用于克服遮擋的影響，學(xué)習(xí)出有區(qū)分度的人臉特征表示，是處理人臉識(shí)別各種挑戰(zhàn)傳統(tǒng)方法中的主流方法，在解決噪聲方面魯棒性很好［31～33］。

王明沂［34］提出一種基于誤差加權(quán)和協(xié)同表示的遮擋人臉識(shí)別方法，通過(guò)融合LBP、HOG、Gabor等多個(gè)特征增強(qiáng)了有遮擋數(shù)據(jù)集Extend Yale B和LFW上的人臉識(shí)別效果?；诖搜芯?，可考慮將基于CNN的結(jié)構(gòu)模型與常用分類(lèi)器相結(jié)合來(lái) 解決圖像大面積遮擋的問(wèn)題。Yu等人［35］提出了一種區(qū)分性多尺度稀疏編碼（DMSC）來(lái)解決單人單樣本人臉識(shí)別場(chǎng)景下具有不同類(lèi)型遮擋情況的識(shí)別問(wèn)題。該方法通過(guò)學(xué)習(xí)輔助字典，基于PCA對(duì)外部數(shù)據(jù)中可能的遮擋變化進(jìn)行建模。DMSC模型具有很好的區(qū)分性，但不能完全忽略遮擋引起的異常像素。Zheng等人［36］提出了一種基于結(jié)構(gòu)元素的特征提取方法，結(jié)合局部和上下文信息，可將少鏡頭稀疏表示學(xué)習(xí)應(yīng)用于有限訓(xùn)練樣本下的少鏡頭遮擋人臉識(shí)別。當(dāng)數(shù)據(jù)樣本較少時(shí)，可考慮少鏡頭識(shí)別方法。相關(guān)方法的總結(jié)及對(duì)比如表4所示。

2.3 局部特征分析方法

不同于稀疏表示法學(xué)習(xí)使用人臉全局信息學(xué)習(xí)字典對(duì)可能的遮擋進(jìn)行建模，局部特征分析方法從另一個(gè)角度出發(fā)考慮人臉局部信息的作用。

一種思路是在特征提取以及分類(lèi)過(guò)程中完全丟棄一些遮擋區(qū)域，減弱或者去除遮擋部分在面部區(qū)域中的作用。這類(lèi)方法思路相對(duì)大膽奇特，不屬于人臉識(shí)別主流方法，因此研究較少。Priya等人［37］提出一種基于均值加權(quán)矩陣方法進(jìn)行局部特征處理，先使用支持向量機(jī)分類(lèi)器對(duì)人臉?lè)謮K進(jìn)行檢測(cè)過(guò)濾掉遮擋部位，然后在剩余的非遮擋能反映人臉微小特征變化的區(qū)域使用均值加權(quán)矩陣刻畫(huà)人臉信息。

另一種思路是結(jié)合人臉全局信息和局部信息的優(yōu)勢(shì)，通過(guò)增加特征的多樣性來(lái)解決遮擋帶來(lái)的人臉特征缺失問(wèn)題。岳震等人［38］提出一種基于雙屬性模型的HOG特征人臉識(shí)別算法。首先使用線性回歸分類(lèi)重構(gòu)獲取誤差圖像，然后與PCA全局信息相融合得到雙屬性信息，最后使用HOG算子提升效果。該方法將全局信息與局部信息相結(jié)合，對(duì)光照、遮擋等不可控因素造成圖像失真有較好的特征表征能力，具有一定的抗干擾能力，但特征維度大、計(jì)算量大。

結(jié)合上文，表5分析了傳統(tǒng)方法在有遮擋人臉識(shí)別方法中的優(yōu)缺點(diǎn)?？傊?，傳統(tǒng)方法在傳統(tǒng)數(shù)據(jù)集上有良好性能，但無(wú)約束場(chǎng)景下遮擋的識(shí)別效果并不好且魯棒性較差，在識(shí)別性能上有很大的提升空間。

3 有遮擋人臉識(shí)別深度學(xué)習(xí)方法

基于子空間、稀疏表示、局部特征分析的傳統(tǒng)學(xué)習(xí)方法，在傳統(tǒng)無(wú)遮擋數(shù)據(jù)集上有較好的表現(xiàn)能力，然而不滿足大規(guī)模無(wú)約束數(shù)據(jù)的識(shí)別需求。與傳統(tǒng)學(xué)習(xí)方法相比，深度學(xué)習(xí)的重點(diǎn)是特征學(xué)習(xí)，它可以通過(guò)優(yōu)化CNN學(xué)習(xí)更具有判別性的深度人臉特征，如DeepID［39］、ArcFace［40］、CosFace［41］等。受有遮擋人臉數(shù)據(jù)集發(fā)展及遮擋人臉識(shí)別挑戰(zhàn)賽的推動(dòng)（如ICCV 2021［42，43］和CSIG FAT-AI 2021），可將深度學(xué)習(xí)的方法應(yīng)用到解決有遮擋下的人臉識(shí)別問(wèn)題［1，3，44～48］。

3.1 基于深度學(xué)習(xí)的人臉特征魯棒性提取

基于深度學(xué)習(xí)的人臉特征魯棒性提取方法可以通過(guò)遷移學(xué)習(xí)和特征融合、局部特征分析、使用注意力機(jī)制、優(yōu)化損失函數(shù)，結(jié)合紅外熱成像技術(shù)等強(qiáng)化人臉的關(guān)鍵性特征，從而挖掘遮擋人臉中的人臉身份信息，抑制或消除遮擋的影響［49，50］。

a）遷移學(xué)習(xí)和特征融合。Mandal等人［51］使用口罩遮擋數(shù)據(jù)對(duì)ResNet-50模型進(jìn)行遷移學(xué)習(xí)，得到富含口罩信息的人臉身份特征，并通過(guò)在圖像上裁剪人臉的遮擋區(qū)域模擬遮擋后人臉呈現(xiàn)不均勻特征映射。該方法與VGGNet19和DenseNet121［52］相比，具有時(shí)間最佳、高內(nèi)存、魯棒性高等特點(diǎn)。由于簡(jiǎn)單的CNN遇到人臉遮擋，識(shí)別效果會(huì)變差，不能達(dá)到預(yù)期效果，所以需要更多新技術(shù)來(lái)提高其性能，可以嘗試裁剪人臉的遮擋區(qū)域或者3D學(xué)習(xí)等方法來(lái)提高實(shí)驗(yàn)效果。

Zhang等人［53］從網(wǎng)絡(luò)的層次特性角度出發(fā)，提出了一種基于淺層特征、中層特征和深層特征，主要使用每個(gè)卷積層來(lái)獲取圖像特征，適用于端到端網(wǎng)絡(luò)特征提取的通用特征融合方

法，能夠提升人臉識(shí)別在光照和遮擋下的識(shí)別精度。由于端到端的CNN結(jié)構(gòu)過(guò)于重視人臉的深層特征，忽略了淺層和中層特征，而該特征融合方法可提取各層特征，彌補(bǔ)了提取部分特征的缺陷［48］。

b）局部特征分析。Hariri ［54］首先定位和去除面部遮擋區(qū)域，然后使用三種預(yù)訓(xùn)練模型VGG-16、AlexNet和ResNet-50獲得眼睛、額頭的深度特征，最終使用多層感知器應(yīng)用于分類(lèi)。此外，該方法將bag-of-features范式應(yīng)用于最后卷積層的特征圖，可獲得全連接層的輕量表示，能夠提高遮擋情況下人臉識(shí)別的通用性。Song等人［55］挖掘遮擋區(qū)域與損毀特征元素之間的對(duì)應(yīng)關(guān)系，設(shè)計(jì)了特殊的網(wǎng)絡(luò)結(jié)構(gòu)PDSN（pairwise differential siamese network），結(jié)合針對(duì)遮擋區(qū)域的掩膜生成器FDM（feature discarding mask）交互，可以建立基于卷積特征差異的掩膜字典并實(shí)現(xiàn)有遮擋人臉特征魯棒性提取。該方法目前存在的問(wèn)題是，由于掩碼未知，只保留最后的卷積層特征，對(duì)于大型數(shù)據(jù)圖像，卷積層特征占用空間太大。并且，比對(duì)時(shí)需要進(jìn)行特征提取，以及計(jì)算相似度，增加了一定的時(shí)間成本和計(jì)算難度。

c）改進(jìn)注意力機(jī)制。Chang等人［56］設(shè)計(jì)了ResSaNet將CNN與self-attention模塊集成到同一網(wǎng)絡(luò)，使用遮擋和非遮擋數(shù)據(jù)集進(jìn)行訓(xùn)練可以捕獲人臉區(qū)域的全局和局部信息用于有遮擋下的人臉識(shí)別。袁慧潔［57］關(guān)注遮擋部位的信息缺失問(wèn)題，采用區(qū)域注意力模塊定位未遮擋人臉，設(shè)計(jì)了基于雙注意力機(jī)制的深度學(xué)習(xí)網(wǎng)絡(luò)DA-Net，可集中處理人臉圖像中非遮擋區(qū)域?qū)θ四樚卣鬟M(jìn)行嵌入。該方法驗(yàn)證了雙注意力結(jié)合的有效性且不會(huì)明顯增加計(jì)算量。同時(shí)，位置注意力機(jī)制能夠讓模型更有效地處理未被遮擋的部分，降低遮擋對(duì)人臉的影響，而通道注意力機(jī)制可以增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)通道特征。

張博等人［49］首先估計(jì)人臉遮擋區(qū)域位置，然后基于掩碼字典尋找遮擋位置所對(duì)應(yīng)的掩碼，最后基于注意力模塊實(shí)現(xiàn)人臉不同區(qū)域權(quán)重更新，提取具有魯棒性的人臉特征進(jìn)行識(shí)別。葉子勛等人［58］融合注意力機(jī)制改進(jìn)GhostNet，兼顧了戴口罩和未戴口罩兩種場(chǎng)景下的人臉識(shí)別任務(wù)。此外，針對(duì)口罩遮擋情況下識(shí)別率低下的問(wèn)題，結(jié)合注意力機(jī)制進(jìn)一步提出專(zhuān)注于人臉未遮擋區(qū)域（眼睛、眉毛等）的FocusNet，結(jié)合兩種尺度的特征層融合人臉關(guān)鍵部位信息，該方法極大地降低了復(fù)雜度，實(shí)現(xiàn)了輕量級(jí)效果，有效提升了速度與準(zhǔn)確度。

基于注意力機(jī)制的方法關(guān)注相關(guān)信息而忽略不相關(guān)信息［59～62］，引發(fā)學(xué)術(shù)界關(guān)注，可結(jié)合局部特征分析的方法進(jìn)一步提升深度人臉特征的魯棒性。表6對(duì)相關(guān)方法進(jìn)行了對(duì)比分析。

d）優(yōu)化損失函數(shù)。Montero等人［63］提出MTArcFace損失函數(shù)，該函數(shù)由ArcFace［40］和mask-usage分類(lèi)器損失相結(jié)合，使網(wǎng)絡(luò)學(xué)習(xí)人臉何時(shí)佩戴口罩。Wang等人［64］提出包括口罩生成模塊（mask generator）和損失函數(shù)搜索模塊的遮擋感知網(wǎng)絡(luò)（mask aware network，MAN）來(lái)獲得更真實(shí)可靠的遮擋人臉。ICCV MFR挑戰(zhàn)賽中出現(xiàn)的損失函數(shù)搜索模塊，使用LFS［65］搜索最適合遮擋人臉識(shí)別任務(wù)的損失函數(shù)，具有一定的魯棒性和通用性。Qian等人［66］將ArcFace和pairwise loss相結(jié)合增強(qiáng)類(lèi)內(nèi)緊密性和類(lèi)間差異性來(lái)提高遮擋人臉識(shí)別任務(wù)的性能；Yu等人［67］提出一種結(jié)合ArcFace損失和Circle損失的新?lián)p失函數(shù)，通過(guò)數(shù)據(jù)重采樣來(lái)平衡數(shù)據(jù)分布生成口罩?jǐn)?shù)據(jù)集并進(jìn)行模型訓(xùn)練優(yōu)化，可以實(shí)現(xiàn)在不同種族人臉識(shí)別上的公平效果。

e）結(jié)合紅外線成像技術(shù)。近紅外—可見(jiàn)光遮擋人臉識(shí)別的類(lèi)內(nèi)多樣性較大，基于深度學(xué)習(xí)的方法［68～72］可以解決這個(gè)問(wèn)題。Du等人［73］提出一種用于NIR-VIS的異構(gòu)訓(xùn)練方法HSST（heterogeneous semi-siamese training），使用Semi-Siamese網(wǎng)絡(luò)［74］提升兩個(gè)域的人臉表示共享信息效果，也結(jié)合3D人臉重建方法提供域不變的人臉表示，該方法對(duì)遮擋具有一定的魯棒性和跨數(shù)據(jù)泛化能力。Lian等人［75］提出了一種基于紅外熱成像定位的部分遮擋人臉識(shí)別方法。首先通過(guò)算法判斷人臉的遮擋狀態(tài)，然后自適應(yīng)地引入紅外熱成像技術(shù)，最后利用BP神經(jīng)網(wǎng)絡(luò)對(duì)人臉穴位進(jìn)行定位，對(duì)局部遮擋的人臉進(jìn)行有效識(shí)別。實(shí)驗(yàn)結(jié)果表明，當(dāng)人臉遮擋率達(dá)到50%以上時(shí)，傳統(tǒng)方法已無(wú)法實(shí)際應(yīng)用，而紅外熱成像方法仍具有一定的準(zhǔn)確性。

3.2 基于深度學(xué)習(xí)的遮擋部位人臉信息恢復(fù)

基于深度學(xué)習(xí)的遮擋部位人臉信息恢復(fù)方法從數(shù)據(jù)增強(qiáng)角度考慮，可通過(guò)人臉圖像修復(fù)、人臉特征遷移、遮擋部位人臉信息重建等方式挖掘人臉圖像的語(yǔ)義信息，降低有遮擋人臉和非遮擋人臉的身份信息差異，抑制或消除人臉自遮擋和外部遮擋導(dǎo)致的人臉結(jié)構(gòu)信息缺失和人臉信息不全等問(wèn)題［76，77］。例如，Duan等人［78］提出BoostGAN方法合成和識(shí)別非遮擋圖像，解決大姿勢(shì)和遮擋下的人臉合成和識(shí)別問(wèn)題；Ge等人［79］通過(guò)將GAN與預(yù)訓(xùn)練的CNN人臉識(shí)別器集成，引入了身份多樣性修復(fù)方法，約束生成器的輸出圖像在身份空間中具有相似的表示。

a）人臉圖像修復(fù)。姜藝等人［80］提出一種邊緣指導(dǎo)圖像修復(fù)的方法，通過(guò)訓(xùn)練邊緣修復(fù)模型生成缺失部分的邊緣信息，訓(xùn)練內(nèi)容生成模型填充缺失部分的內(nèi)容信息，最終實(shí)現(xiàn)對(duì)結(jié)構(gòu)缺失較復(fù)雜的圖像細(xì)節(jié)上的模糊修復(fù)，在CelebA和ParisStreet-View數(shù)據(jù)集上被驗(yàn)證有較好的修復(fù)效果。但該方法在修復(fù)細(xì)節(jié)上有所欠缺，且缺少一點(diǎn)真實(shí)性。劉微容等人［81］提出多級(jí)解碼網(wǎng)絡(luò)（multi-stage decoding network，MSDN），使用多個(gè)解碼器對(duì)編碼過(guò)程各層特征進(jìn)行解碼并聚合，增大編碼器對(duì) 不同特征的利用率，最終得到更能反映受損區(qū)域的特征映射。該方法是主流的圖像修復(fù)方法之一，試圖利用編碼階段壓縮后的信息在解碼階段恢復(fù)出原始圖像，在多個(gè)數(shù)據(jù)集上有較好的實(shí)驗(yàn)效果。MSDN整體性能穩(wěn)定，可有效生成完整圖像，但該方法不能完全避免信息丟失。

基于深度學(xué)習(xí)的圖像修復(fù)技術(shù)在計(jì)算機(jī)視覺(jué)、圖像處理等領(lǐng)域受到了廣泛關(guān)注，早期的圖像修復(fù)方法只能在小區(qū)域缺失區(qū)域取得良好效果，目前提出的許多方法可解決大面積缺失區(qū)域的問(wèn)題，且有待進(jìn)一步深究。

b）人臉特征遷移。Li等人［82］提出將非對(duì)稱(chēng)完成機(jī)制遷移到端到端去遮擋的蒸餾框架中。首先利用生成對(duì)抗網(wǎng)絡(luò)（GAN）［83］構(gòu)造去遮擋模塊執(zhí)行人臉補(bǔ)全，然后恢復(fù)遮擋下的人臉內(nèi)容并消除外觀模糊，最后使用蒸餾模塊強(qiáng)化學(xué)生模型中的人臉真實(shí)身份信息。這種使用GAN方法結(jié)合蒸餾學(xué)習(xí)的方法被證明可以用于處理合成數(shù)據(jù)集及真實(shí)數(shù)據(jù)集上的遮擋人臉識(shí)別任務(wù)。

c）遮擋部位人臉信息重建。李琨劍［84］提出基于GAN的兩階段遮擋人臉圖像恢復(fù)模型，使用多分支編碼器進(jìn)行人臉遮擋恢復(fù)，可以生成無(wú)遮擋的人臉圖像，提高人臉區(qū)域特征的質(zhì)量，強(qiáng)化人臉身份信息。王晨博［85］提出一種基于多模態(tài)的雙階段人臉恢復(fù)算法，提取人臉圖像、幾何特征和屬性特征，在特征融合的基礎(chǔ)上使用人臉修復(fù)網(wǎng)絡(luò)對(duì)較粗略細(xì)節(jié)進(jìn)行精細(xì)化提升，能夠抑制口罩遮擋帶來(lái)的區(qū)域信息丟失問(wèn)題。Yang等人［86］提出深層網(wǎng)絡(luò)模型LaFIn，通過(guò)添加一些卷積模塊以及DFMB模塊加強(qiáng)缺失區(qū)域的感受力，用于更好地對(duì)面部的缺失部分進(jìn)行恢復(fù)。胡渲 ［87］提出基于改進(jìn)LaFIn網(wǎng)絡(luò)的深度學(xué)習(xí)方法，首先判定遮擋的位置將其定為缺失位置，然后進(jìn)行人臉修復(fù)，最后進(jìn)行人臉判定，被驗(yàn)證能有效修復(fù)缺失區(qū)域，并具有良好的魯棒性。

遮擋部位人臉信息重建的方法從挖掘人臉圖像的語(yǔ)義信息出發(fā)，能夠?qū)W習(xí)遮擋區(qū)域被遮擋的人臉信息或模擬出遮擋區(qū)域真實(shí)的人臉細(xì)節(jié)信息，是一種邏輯上自洽的方法，近年來(lái)研究熱度不斷增加。相關(guān)方法優(yōu)劣及分析如表7所示。

4 總結(jié)與展望

4.1 存在的問(wèn)題及挑戰(zhàn)

從人臉識(shí)別技術(shù)誕生至今，遮擋條件下的精準(zhǔn)識(shí)別就是一個(gè)技術(shù)難點(diǎn)?；谏疃葘W(xué)習(xí)的方法相比傳統(tǒng)方法在大數(shù)據(jù)時(shí)代硬件加持下更具有優(yōu)勢(shì)，能夠在一些遮擋條件下進(jìn)行有效人臉識(shí)別，然而它們都不能完全解決遮擋帶來(lái)的信息缺失問(wèn)題。有遮擋下的人臉識(shí)別依然存在諸多研究難點(diǎn)［88］：

a）合成數(shù)據(jù)與真實(shí)數(shù)據(jù)上有差異。現(xiàn)實(shí)場(chǎng)景中的人臉識(shí)別有許多主動(dòng)或非主動(dòng)的遮擋因素，例如衣帽遮擋、發(fā)飾遮擋、眼鏡遮擋及口罩遮擋等?，F(xiàn)有遮擋數(shù)據(jù)集規(guī)模較小，并不適用于主流的深度網(wǎng)絡(luò)模型；利用生成的方法可以合成遮擋人臉數(shù)據(jù)集，然而合成數(shù)據(jù)與真實(shí)數(shù)據(jù)在時(shí)域、頻域上存在較大的差距，也會(huì)潛在影響真實(shí)場(chǎng)景下人臉識(shí)別的效果。

b）遮擋部位人臉信息恢復(fù)效果不理想?；谏疃葘W(xué)習(xí)的遮擋信息恢復(fù)依賴(lài)GAN對(duì)抗學(xué)習(xí)的效果，此類(lèi)方法在非成對(duì)數(shù)據(jù)下難以有效訓(xùn)練，在去除遮擋時(shí)易導(dǎo)致人臉身份判別信息的丟失、局部判別器較難判別全局的空間信息，恢復(fù)出的無(wú)遮擋效果與真實(shí)圖片有一定的差距。遮擋下人臉本身包含的人臉身份信息有限，外加無(wú)約束場(chǎng)景較多因素的限制，很難將復(fù)雜遮擋下的人臉圖像恢復(fù)至無(wú)遮擋情況。

c）對(duì)抗場(chǎng)景下的遮擋問(wèn)題考慮不夠。普通無(wú)約束環(huán)境的人臉遮擋可能受光照、姿態(tài)、行人復(fù)雜運(yùn)動(dòng)等疊加因素影響，這些都可以通過(guò)限制目標(biāo)主動(dòng)配合或調(diào)節(jié)采集設(shè)備參數(shù)得到解決，但無(wú)法在對(duì)抗性場(chǎng)景下發(fā)揮作用。近年來(lái)對(duì)抗性方法發(fā)展迅速，一些專(zhuān)家打印出能隱藏身份或模仿假身份的針對(duì)性圖片，這些圖片作為一種新的遮擋能夠欺騙人臉識(shí)別系統(tǒng)，導(dǎo)致人臉識(shí)別系統(tǒng)漏檢、誤檢，給人臉識(shí)別內(nèi)生安全帶來(lái)巨大挑戰(zhàn)。

4.2 未來(lái)研究方向

隨著疫情常態(tài)化的不斷深入，遮擋場(chǎng)景下的人臉識(shí)別應(yīng)用也不斷增加，遮擋人臉識(shí)別算法的研究更加迫切，亟待使用更好的模型和方法來(lái)解決遮擋帶來(lái)的人臉關(guān)鍵性特征缺失的問(wèn)題。針對(duì)以上的問(wèn)題和挑戰(zhàn)，可以通過(guò)多角度分析探索遮擋人臉識(shí)別未來(lái)可行的研究方向。

a）研究泛化性更好的識(shí)別算法。遮擋人臉識(shí)別算法需要大量的數(shù)據(jù)樣本，目前的數(shù)據(jù)集大多通過(guò)算法合成制作，缺少自然場(chǎng)景下拍攝的有遮擋真實(shí)數(shù)據(jù)。很多新穎算法的性能取決于特定的專(zhuān)用合成數(shù)據(jù)集，造成現(xiàn)有模型在特定數(shù)據(jù)集上效果出色而在其他數(shù)據(jù)集上效果較差的問(wèn)題，模型的泛化性不足。結(jié)合腦機(jī)制解析建模和類(lèi)腦算法，模仿大腦在遮擋下的識(shí)別機(jī)制，設(shè)計(jì)算法強(qiáng)化現(xiàn)有模型對(duì)不同數(shù)據(jù)集的泛化能力是一個(gè)有價(jià)值的研究方向。

b）研究魯棒性更好的識(shí)別算法?，F(xiàn)有遮擋場(chǎng)景下人臉識(shí)別算法較少考慮未識(shí)別目標(biāo)被噪聲擾動(dòng)的識(shí)別精度，近年來(lái)，基于手動(dòng)梯度或自動(dòng)梯度的方法可以給原始樣本加上微小的噪聲擾動(dòng)形成身份信息與原始樣本類(lèi)似的對(duì)抗樣本，這些對(duì)抗樣本能夠以肉眼可見(jiàn)或肉眼難辨的遮擋形式出現(xiàn)，輕易干擾基于深度學(xué)習(xí)的人臉識(shí)別系統(tǒng)。亟待研究魯棒性更好的人臉識(shí)別算法應(yīng)對(duì)日益迭代的對(duì)抗樣本攻擊技術(shù)。

c）研究基于3D空間幾何信息的算法。有遮擋人臉識(shí)別的研究集中在2D圖像上，利用3D人臉空間信息強(qiáng)化身份信息的研究較少，缺乏3D人臉識(shí)別數(shù)據(jù)集、缺乏針對(duì)遮擋問(wèn)題的3D人臉識(shí)別數(shù)據(jù)集。構(gòu)建適應(yīng)問(wèn)題的3D數(shù)據(jù)集、適合3D人臉特征提取的模型方法，結(jié)合2D算法的優(yōu)勢(shì)進(jìn)一步解決遮擋的問(wèn)題，是未來(lái)研究遮擋人臉識(shí)別的有價(jià)值研究方向之一。

d）研究基于紅外熱成像技術(shù)的算法。結(jié)合紅外熱成像技術(shù)的有遮擋人臉識(shí)別打破以往只利用可見(jiàn)光人臉特征的思維定勢(shì)，不僅可以結(jié)合3D人臉重建方法提供域不變?nèi)四槺硎?，也可以結(jié)合神經(jīng)網(wǎng)絡(luò)的方法實(shí)現(xiàn)人臉遮擋狀態(tài)下的穴位定位，為遮擋人臉提供更多特征信息，被證實(shí)能夠在遮擋率較高的實(shí)驗(yàn)設(shè)置下提高局部遮擋人臉的識(shí)別效果，為解決人臉識(shí)別下的遮擋問(wèn)題提供一種新思路。

e）研究更適應(yīng)輕量級(jí)應(yīng)用的算法。人臉識(shí)別深度模型的卓越性能依賴(lài)較深的網(wǎng)絡(luò)模型結(jié)構(gòu)，其帶來(lái)的模型參數(shù)多、計(jì)算量大等影響會(huì)加重現(xiàn)實(shí)場(chǎng)景人臉識(shí)別應(yīng)用設(shè)備的負(fù)擔(dān)。算法輕量化是遮擋人臉識(shí)別未來(lái)要解決的重要問(wèn)題之一。對(duì)現(xiàn)有網(wǎng)絡(luò)模型的改進(jìn)和優(yōu)化，設(shè)計(jì)輕量級(jí)網(wǎng)絡(luò)模型，考慮模型的壓縮，減少模型的復(fù)雜度以及計(jì)算資源的成本是一個(gè)有價(jià)值的研究方向。

f）研究更合適的算法評(píng)價(jià)標(biāo)準(zhǔn)。遮擋人臉識(shí)別的數(shù)據(jù)集種類(lèi)較多，一些是利用合成的方法對(duì)現(xiàn)有常規(guī)人臉識(shí)別數(shù)據(jù)集進(jìn)行遮擋構(gòu)造，一些是根據(jù)特定設(shè)計(jì)的遮擋進(jìn)行圖片拍攝，一些是收集真實(shí)場(chǎng)景下的自然遮擋圖片。不同數(shù)據(jù)集上的算法評(píng)價(jià)標(biāo)準(zhǔn)各有特點(diǎn)，導(dǎo)致無(wú)法快速有效地比對(duì)不同方法的識(shí)別性能，對(duì)于新提出方法的不易快速評(píng)估和對(duì)比分析，阻礙了人臉識(shí)別算法更新迭代。規(guī)范對(duì)算法的評(píng)價(jià)標(biāo)準(zhǔn)以及數(shù)據(jù)集的使用，是一個(gè)有價(jià)值的研究方向。

5 結(jié)束語(yǔ)

本文針對(duì)后疫情時(shí)代有遮擋人臉識(shí)別應(yīng)用需求，綜述用于抑制或消除遮擋對(duì)人臉識(shí)別影響的數(shù)據(jù)集及方法;重點(diǎn)介紹了一些新型的遮擋人臉數(shù)據(jù)集，對(duì)比分析了基于深度學(xué)習(xí)的人臉特征魯棒性提取方法和針對(duì)有遮擋部位的人臉信息的有效恢復(fù)方法；指出了該領(lǐng)域研究難點(diǎn)和未來(lái)發(fā)展方向，旨在推動(dòng)有遮擋人臉識(shí)別研究的進(jìn)一步發(fā)展，為現(xiàn)實(shí)場(chǎng)景應(yīng)用提供指導(dǎo)和參考。

參考文獻(xiàn)：

[1]Wang Mei， Deng Weihong. Deep face recognition：a survey［J］.Neurocomputing，2021，429（3）：215-244.

［2]Zeng Dan， Veldhuis R， Spreeuwers L. A survey of face recognition techniques under occlusion［J］.IET Biometrics，2021，10（6）：581-606.

［3]Damer N， Grebe J H， Chen Cong， et al. The effect of wearing a mask on face recognition performance： an exploratory study［C］//Proc of International Conference of Biometrics Special Interest Group.Piscata-way，NJ：IEEE Press，2020：1-6.

［4]謝郭蓉，曲毅，蔣镕圻.抗遮擋目標(biāo)跟蹤的模型學(xué)習(xí)綜述［J］.計(jì)算機(jī)工程與應(yīng)用，2022，58（2）：43-56.（Xie Guorong， Qu Yi， Jiang Rongqi. Survey of model learning for anti-occlusion object tracking［J］.Computer Engineering and Applications，2022，58（2）：43-56.）

［5]鐘陳，王思翔，王文峰.面向疫情防控的人臉識(shí)別系統(tǒng)與標(biāo)準(zhǔn)研究［J］.信息技術(shù)與標(biāo)準(zhǔn)化，2020（6）：11-13.（Zhong Chen， Wang Sixiang， Wang Wenfeng. Research on face recognition system and standards for epidemic prevention and control［J］.Information Technology amp; Standardization，2020（6）：11-13.）

［6]徐遐齡，劉濤，田國(guó)輝，等.有遮擋環(huán)境下的人臉識(shí)別方法綜述［J］.計(jì)算機(jī)工程與應(yīng)用，2021，57（17）：46-60.（Xu Xialing， Liu Tao， Tian Guohui， et al. Review of occlusion face recognition methods［J］.Computer Engineering and Application，2021，57（17）：46-60.）

［7]Hemathilaka S， Aponso A. A comprehensive study on occlusion invariant face recognition under face mask occlusion［EB/OL］.（2022-01-22）.https：//arxiv.org/abs/2201.09089.

［8]劉倩穎，劉季.生物特征識(shí)別技術(shù)在身份驗(yàn)證領(lǐng)域發(fā)展趨勢(shì)［J］.電子世界，2020（5）：23-24.（Liu Qianying， Liu Ji. Development trend of biometric identification technology in the field of identity verification［J］.Electronic World，2020（5）：23-24.）

［9]李小薪，梁榮華.有遮擋人臉識(shí)別綜述：從子空間回歸到深度學(xué)習(xí)［J］.計(jì)算機(jī)學(xué)報(bào)，2018，41（1）：177-207.（Li Xiaoxin， Liang Ronghua. Review for face recognition with occlusion： from subspace regression to deep learning［J］.Chinese Journal of Computers，2018，41（1）：177-207.）

［10]劉瑞明，徐春融，周韜.局部遮擋的人臉識(shí)別方法研究綜述［J］.江蘇海洋大學(xué)學(xué)報(bào)：自然科學(xué)版，2022，31（3）：63-71.（Liu Rui-ming， Xu Chunrong， Zhou Tao. Review of face recognition methods under local occlusion［J］.Journal of Jiangsu Ocean University：Natural Sciences Edition，2022，31（3）：63-71.）

［11]謝郭蓉，曲毅，蔣镕圻.基于抗遮擋目標(biāo)模型的跟蹤算法綜述［J］.激光與光電子學(xué)進(jìn)展，2022，59（8）：315-328.（Xie Guorong， Qu Yi， Jiang Rongqi. Tracking algorithms based on antiocclusion object models［J］.Laser amp; Optoelectronics Progress，2022，59（8）：315-328.）

［12]連澤宇，田景文.基于掩膜生成網(wǎng)絡(luò)的遮擋人臉檢測(cè)方法［J］.計(jì)算機(jī)工程，2021，47（11）：292-297，304.（Lian Zeyu， Tian Jingwen. Occluded face detection method based on mask generation network［J］.Computer Engineering，2021，47（11）：292-297，304.）

［13]Yi Dong， Lei Zhen， Liao Shengcai， et al. Learning face representation from scratch［EB/OL］.（2014-11-28）.https：//arxiv.org/abs/1411.7923.

［14]Cao Qiong， Shen Li， Xie Weidi， et al. VGGFace2：a dataset for recognising faces across pose and age［C］//Proc of the 13th IEEE International Conference on Automatic Face amp; Gesture Recognition.Piscataway，NJ：IEEE Press，2018：67-74.

［15]Guo Yandong， Zhang Lei， Hu Yuxiao， et al. MS-Celeb-1M： a dataset and benchmark for large-scale face recognition［C］//Proc of the 14th European Conference on Computer Vision.Cham：Springer，2016：87-102.

［16]An Xiang， Zhu Xuhan， Gao Yuan， et al. Partial FC： training 10 million identities on a single machine［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：1445-1449.

［17]Huang G B， Mattar M， Berg T， et al. Labeled faces in the wild： a database forstudying face recognition in unconstrained environments［C］//Proc of Dans Workshop on Faces in ′Real-Life′ Images：Detection，Alignment，and Recognition.2008.

［18]Kemelmacher-Shlizerman I， Seitz S M， Miller D， et al. The MegaFace benchmark： 1 million faces for recognition at scale［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2016：4873-4882.

［19]Mare T， Duta G， Georgescu M I， et al. A realistic approach to gene-rate masked faces applied on two novel masked face recognition data sets［EB/OL］.（2021-10-25）.https：//arxiv.org/abs/2109.01745.

［20]Wang Jun， Liu Yinglu， Hu Yibo， et al. Facex-Zoo：a PyTorch toolbox for face recognition［C］//Proc of the 29th ACM International Conference on Multimedia.New York：ACM Press，2021：3779-3782.

［21]Feng Yao， Wu Fan， Shao Xiaohu， et al. Joint 3D face reconstruction and dense alignment with position map regression network［C］//Proc of the 15th European Conference on Computer Vision.Cham：Springer，2018：534-551.

［22]Wang Zhongyuan， Wang Guangcheng， Huang Baojin， et al. Masked face recognition dataset and application［EB/OL］.（2020-03-23）.https：//arxiv.org/abs/2003.09093.

［23]Huang Baojin， Wang Zhongyuan， Wang Guangcheng， et al. Masked face recognition datasets and validation［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：1487-1491.

［24]Anwar A， Raychowdhury A. Masked face recognition for secure authentication［EB/OL］.（2020-08-25）.https：//arxiv.org/abs/2008.11104.

［25]Yin Xiangnan， Chen Liming. FaceOcc： a diverse， high-quality face occlusion dataset for human face extraction［EB/OL］.（2022-01-20）.https：//arxiv.org/abs/2201.08425.

［26]Wang Weiqiu， Zhao Zhicheng， Zhang Hongyuan， et al. MaskOut：a data augmentation method for masked face recognition［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：1450-1455.

［27]Lee C H， Liu Ziwei， Wu Lingyun， et al. MaskGAN： towards diverse and interactive facial image manipulation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：5548-5557.

［28]任安虎，王磊.PCA人臉識(shí)別算法的優(yōu)化［J］.計(jì)算機(jī)與數(shù)字工程，2016，44（11）：2110-2112，2143.（Ren Anhu， Wang Lei. Improvement of human face recognition algorithm based on PCA［J］.Computer amp; Digital Engineering，2016，44（11）：2110-2112，2143.）

［29]Fan Zizhu， Xu Yong， Zuo Wangmeng， et al. Modified principal component analysis： an integration of multiple similarity subspace models［J］.IEEE Trans on Neural Networks and Learning Systems，2014，25（8）：1538-1552.

［30]趙雯，吳小俊.基于鑒別性低秩表示及字典學(xué)習(xí)的魯棒人臉識(shí)別算法［J］.計(jì)算機(jī)應(yīng)用研究，2017，34（10）：3157-3161.（Zhao Wen， Wu Xiaojun. Robust face recognition of discriminative low-rank representation with dictionary learning［J］.Application Research of Computers，2017，34（10）：3157-3161.）

［31]王慧星，黃勃，高永彬，等.部分遮擋人臉識(shí)別的方法綜述［J］.武漢大學(xué)學(xué)報(bào)：理學(xué)版，2020，66（5）：451-461.（Wang Huixing， Huang Bo， Gao Yongbin， et al. Review of face recognition methods with partial occlusion［J］.Journal of Wuhan University：Natural Science Edition，2020，66（5）：451-461.）

［32]王海.基于分塊稀疏表示的部分遮擋人臉識(shí)別［J］.信息與電腦，2019，31（22）：64-65.（Wang Hai. Face recognition about partial occlusion based on block sparse representation［J］.China Computer amp; Communication，2019，31（22）：64-65.）

［33]孫雨浩，陶洋，胡昊.基于判別低秩矩陣恢復(fù)和協(xié)同表示的遮擋人臉識(shí)別［J］.計(jì)算機(jī)工程與科學(xué)，2020，42（12）：2199-2207.（Sun Yuhao， Tao Yang， Hu Hao. Occlusive face recognition based on discriminant low-rank matrix recovery and collaborative representation［J］.Computer Engineering and Science，2020，42（12）：2199-2207.）

［34]王明沂.局部遮擋下的人臉識(shí)別方法研究［D］.重慶：重慶郵電大學(xué)，2020.（Wang Mingyi. Research on face recognition method under partial occlusion［D］.Chongqing：Chongqing University of Posts amp; Telecommunications，2020.）

［35]Yu Yufeng， Dai Daoqing， Ren Chuanxian， et al. Discriminative multi-scale sparse coding for single-sample face recognition with occlusion［J］.Pattern Recognition，2017，66（6）：302-312.

［36]Zheng Wenbo， Gou Chao， Wang Feiyue. A novel approach inspired by optic nerve characteristics for few-shot occluded face recognition［J］.Neurocomputing，2020，376（2）：25-41.

［37]Priya G N， Banu R S D W. Occlusion invariant face recognition using mean based weight matrix and support vector machine［J］.Sadhana，2014，39（2）：303-315.

［38]岳震，陳凱勇.局部遮擋條件下的人臉識(shí)別［J］.計(jì)算機(jī)應(yīng)用與軟件，2018，35（5）：224-228，241.（Yue Zhen， Chen Kaiyong.Face recognition under local occlusion［J］.Computer Application and Software，2018，35（5）：224-228，241.）

［39]Sun Yi， Chen Yuheng， Wang Xiaogang， et al. Deep learning face representation by joint identification-verification［C］//Proc of the 27th International Conference on Neural Information Processing Systems.2014：1988-1996.

［40]Deng Jiankang， Guo Jia， Yang Jing， et al. ArcFace： additive angular margin loss for deep face recognition［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2022，44（10）：5962-5979）.

［41]Wang Hao， Wang Yitong， Zhou Zheng， et al. CosFace： large margin cosine loss for deep face recognition［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：5265-5274.

［42]Deng Jiankang， Guo Jia， An Xiang， et al. Masked face recognition challenge： the insight face track report［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：1437-1444.

［43]Zhu Zheng， Huang Guan， Deng Jiankang， et al. Masked face recognition challenge： the WebFace260M track report［EB/OL］.（2021-08-16）.https：//arxiv.org/abs/2108.07189.

［44]Qi Delong， Hu Kangli， Tan Weijun， et al. Balanced masked and stan-dard face recognition［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：1497-1502.

［45]Boutros F， Damer N， Kolf J N， et al. MFR 2021： masked face re-cognition competition［C］//Proc of IEEE International Joint Confe-rence on Biometrics.Piscataway，NJ：IEEE Press，2021：1-10.

［46]董艷花，張樹(shù)美，趙俊莉.有遮擋人臉識(shí)別方法綜述［J］.計(jì)算機(jī)工程與應(yīng)用，2020，56（9）：1-12.（Dong Yanhua， Zhang Shumei， Zhao Junli. Review of occlusion face recognition method［J］.Computer Engineering and Application，2020，56（9）：1-12.）

［47]劉穎，張藝軒，佘建初，等.人臉去遮擋新技術(shù)研究綜述［J］.計(jì)算機(jī)科學(xué)與探索，2021，15（10）：1773-1794.（Liu Ying， Zhang Yixuan， She Jianchu， et al. Review of new face occlusion inpainting technology research［J］.Journal of Frontiers of Computer Science amp; Technology，2021，15（10）：1773-1794.）

［48]孫方偉，李承陽(yáng)，謝永強(qiáng)，等.深度學(xué)習(xí)應(yīng)用于遮擋目標(biāo)檢測(cè)算法綜述［J］.計(jì)算機(jī)科學(xué)與探索，2022，16（6）：1243-1259.（Sun Fang-wei， Li Chengyang， Xie Yongqiang， et al. Review of deep learning applied to occluded object detection［J］.Journal of Frontiers of Computer Science amp; Technology，2022，16（6）：1243-1259.）

［49]張博，趙巍，段鵬松，等.具有遮擋魯棒性的監(jiān)控視頻人臉再識(shí)別算法［J］.信號(hào)處理，2022，38（6）：1202-1212.（Zhang Bo， Zhao Wei， Duan Pengsong， et al. Surveillance video re-identification with robustness to occlusion［J］.Journal of Signal Processing，2022，38（6）：1202-1212.）

［50]唐嫻，黃軍偉.低秩魯棒性主成分分析的遮擋人臉識(shí)別［J］.南京理工大學(xué)學(xué)報(bào)，2017，41（4）：460-465.（Tang Xian， Huang Junwei. Occlusion face recognition based on robust principal component analysis and low rank［J］.Journal of Nanjing University of Science amp; Technology，2017，41（4）：460-465.）

［51]Mandal B， Okeukwu A， Theis Y. Masked face recognition using ResNet-50［EB/OL］.（2021-04-19）.https：//arxiv.org/abs/2104.08997.

［52]Yapc"M M， Tekerek A， Topalogˇlu N. Performance comparison of convolutional neural network models on GPU［C］//Proc of the 13th IEEE International Conference on Application of Information and Communication Technologies.Piscataway，NJ：IEEE Press，2019：1-4.

［53]Zhang Jiwei， Yan Xiaodan， Cheng Zelei， et al. A face recognition algorithm based on feature fusion［J］.Concurrency and Computation：Practice and Experience，2022，34（14）：e5748.

［54]Hariri W. Efficient masked face recognition method during the COVID-19 pandemic［J］.Signal， Image and Video Processing，2022，16（3）：605-612.

［55]Song Lingxue， Gong Dihong， Li Zhifeng， et al. Occlusion robust face recognition based on mask learning with pairwise differential Siamese network［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：773-782.

［56]Chang W Y， Tsai M Y， Lo S C. ResSaNet：a hybrid backbone of residual block and self-attention module for masked face recognition［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：1468-1476.

［57]袁慧潔.基于深度學(xué)習(xí)的局部遮擋人臉識(shí)別方法研究［D］.長(zhǎng)沙：長(zhǎng)沙理工大學(xué)，2019.（Yuan Huijie. Research on local occlusion face recognition method based on deep learning［D］.Changsha：Chang-sha University of Science amp; Technology，2019.）

［58]葉子勛，張紅英，何昱均.融合注意力機(jī)制的輕量級(jí)戴口罩人臉識(shí)別算法［J］.計(jì)算機(jī)工程與應(yīng)用，2023，59（3）：166-174.（Ye Zi-xun， Zhang Hongying， He Yujun. Lightweight masked face recognition algorithm incorporating attention mechanism［J］.Computer Engineering and Application，2023，59（3）：166-174.）

［59]Wang Jianfeng， Yuan Ye， Yu Gang. Face attention network： an effective face detector for the occluded faces［EB/OL］.（2017-11-22）.https：//arxiv.org/abs/1711.07246.

［60]Wang Kai， Peng Xiaojiang， Yang Jianfei， et al. Region attention networks for pose and occlusion robust facial expression recognition［J］.IEEE Trans on Image Processing，2020，29：4057-4069.

［61]Wang Kai， Peng Xiaojiang， Yang Jianfei， et al. Suppressing uncertainties for large-scale facial expression recognition［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：6896-6905.

［62]徐旸，史金光，鄭子玙，等.融合圖像修復(fù)的遮擋目標(biāo)檢測(cè)算法［J］.電光與控制，2023，30（1）：21-28，86.（Xu Yang， Shi Jinguang， Zheng Ziyu， et al. Occluded target detection algorithm with image restoration［J］.Electronics Optics amp; Control，2023，30（1）：21-28，86.）

［63]Montero D， Nieto M， Leskovsky P， et al. Boosting masked face re-cognition with multi-task ArcFace［C］//Proc of the 16th International Conference on Signal-Image Technology amp; Internet-Based Systems.Piscataway，NJ：IEEE Press，2022：184-189.

［64]Wang Kai， Wang Shuo， Yang Jianfei， et al. Mask aware network for masked face recognition in the wild［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：1456-1461.

［65]Wang Xiaobo， Wang Shuo， Chi Cheng， et al. Loss function search for face recognition［C］//Proc of the 37th International Conference on Machine Learning.2020：10029-10038.

［66]Qian Hanjie， Zhang Panpan， Ji Sijie， et al. Improving representation consistency with pairwise loss for masked face recognition［C］//Proc of IEEE/CVF International Conference on Computer Vision.Pisca-taway，NJ：IEEE Press，2021：1462-1467.

［67]Yu Jun， Hao Xinlong， Cui Zeyu， et al. Boosting fairness for masked face recognition［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：1531-1540.

［68]Liu Xiaoxiang， Song Lingxiao， Wu Xiang， et al. Transferring deep representation for NIR-VIS heterogeneous face recognition［C］//Proc of International Conference on Biometrics.Piscataway，NJ：IEEE Press，2016：1-8.

［69]He Ran， Wu Xiang， Sun Zhenan， et al. Learning invariant deep re-presentation for NIR-VIS face recognition［C］//Proc of the 31st AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2017：2000-2006.

［70]Lezama J， Qiu Qiang， Sapiro G. Not afraid of the dark： NIR-VIS face recognition via cross-spectral hallucination and low-rank embedding［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：6807-6816.

［71]Yu Junchi， Cao Jie， Li Yi， et al. Pose-preserving cross spectral face hallucination［C］//Proc of the 28th International Joint Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2019：1018-1024.

［72]Duan Boyan， Fu Chaoyou， Li Yi， et al. Cross-spectral face hallucination via disentangling independent factors［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：7927-7935.

［73]Du Hang， Shi Hailin， Liu Yinglu， et al. Towards NIR-VIS masked face recognition［J］.IEEE Signal Processing Letters，2021，28：768-772.

［74]Du Hang， Shi Hailin， Liu Yuchi， et al. Semi-Siamese training for shallow face learning［C］//Proc of the 16th European Conference on Computer Vision.Cham：Springer，2020：36-53.

［75]Lian Yangyang， Wang Zhihui， Yuan Hanqing， et al. Partial occlusion face recognition method based on acupoints locating through infrared thermal imaging［C］//Proc of International Conference on Wireless Communications and Mobile Computing.Piscataway，NJ：IEEE Press，2020：1394-1399.

［76]武文杰，王紅蕾.基于生成對(duì)抗網(wǎng)絡(luò)的遮擋人臉圖像修復(fù)的改進(jìn)與實(shí)現(xiàn)［J］.計(jì)算機(jī)應(yīng)用與軟件，2021，38（1）：217-221，249.（Wu Wenjie， Wang Honglei. Improvement and implementation of occlusion face image inpainting based on generative adversarial network［J］.Compu-ter Application and Software，2021，38（1）：217-221，249.）

［77]張典，汪海濤，姜瑛，等.基于輕量級(jí)網(wǎng)絡(luò)的實(shí)時(shí)人臉識(shí)別算法研究［J］.計(jì)算機(jī)科學(xué)與探索，2020，14（2）：317-324.（Zhang Dian， Wang Haitao， Jiang Ying， et al. Research on real-time face recognition algorithm based on lightweight network［J］.Journal of Frontiers of Computer Science amp; Technology，2020，14（2）：317-324.）

［78]Duan Qingyan， Zhang Lei. Look more into occlusion： realistic face frontalization and recognition with BoostGAN［J］.IEEE Trans on Neural Networks and Learning Systems，2021，32（1）：214-228.

［79]Ge Shiming， Li Chenyu， Zhao Shengwei， et al. Occluded face recognition in the wild by identity-diversity inpainting［J］.IEEE Trans on Circuits and Systems for Video Technology，2020，30（10）：3387-3397.

［80]姜藝，胥加潔，柳絮，等.邊緣指導(dǎo)圖像修復(fù)算法研究［J］.計(jì)算機(jī)科學(xué)與探索，2022，16（3）：669-682.（Jiang Yi， Xu Jiajie， Liu Xu， et al. Research on edge-guided image repair algorithm［J］.Journal of Frontiers of Computer Science amp; Technology，2022，16（3）：669-682.）

［81]劉微容，米彥春，楊帆，等.基于多級(jí)解碼網(wǎng)絡(luò)的圖像修復(fù)［J］.電子學(xué)報(bào)，2022，50（3）：625-636.（Liu Weirong， Mi Yanchun， Yang Fan， et al. Generative image inpainting with multi-stage decoding network［J］.Journal of Electronics，2022，50（3）：625-636.）

［82]Li Chenyu， Ge Shiming， Zhang Daichi， et al. Look through masks： towards masked face recognition with de-occlusion distillation［C］//Proc of the 28th ACM International Conference on Multimedia.New York：ACM Press，2020：3016-3024.

［83]徐潤(rùn)昊，程吉祥，李志丹，等.基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的含遮擋人臉識(shí)別［J］.計(jì)算機(jī)工程，2022，48（5）：289-296，305.（Xu Runhao， Cheng Jixiang， Li Zhidan， et al. Face recognition with occlusion based on cyclic generative adversarial networks［J］.Computer Engineering，2022，48（5）：289-296，305.）

［84]李琨劍.基于深度學(xué)習(xí)的遮擋人臉圖像恢復(fù)方法研究［D］.成都：四川大學(xué)，2021.（Li Kunjian. Research on occluded face image restoration method based on deep learning［D］.Chengdu：Sichuan University，2021.）

［85]王晨博.基于深度學(xué)習(xí)的口罩遮擋人臉識(shí)別算法研究與實(shí)現(xiàn)［D］.北京：北京交通大學(xué)，2021.（Wang Chenbo. Research and implementation of face recognition algorithm for mask occlusion based on deep learning［D］.Beijing：Beijing Jiaotong University，2021.）

［86]Yang Yang， Guo Xiaojie， Ma Jiayi， et al. LaFIn： generative landmark guided face inpainting［EB/OL］.（2019-11-26）.https：//arxiv.org/abs/1911.11394.

［87]胡渲.非限制場(chǎng)景下人臉識(shí)別方法的研究［D］.成都：四川大學(xué)，2021.（Hu Xuan. Research on face recognition methods in unrestricted scenarios［D］.Chengdu：Sichuan University，2021.）

［88]Zheng Wenbo， Yan Lan， Wang F Y， et al. Learning from the Web： webly supervised meta-learning for masked face recognition［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition.Piscataway，NJ：IEEE Press，2021：4299-4308.