摘要 佩戴口罩是預(yù)防呼吸道傳染病最經(jīng)濟、最有效、最實用的防護措施，但也因此會降低人臉識別準確率。提出聯(lián)合多視角特征的口罩遮擋人臉識別算法，首先，利用BoTNet作為骨干特征提取網(wǎng)絡(luò)，提高識別準確率。其次，引入人臉注意力增強網(wǎng)絡(luò)（face attention augmentation model，F(xiàn)AAM），先生成未被口罩遮擋人臉區(qū)域（眼睛、眉毛、額頭）的蒙版圖，再精準提取蒙版圖區(qū)域的特征，提高人臉識別的性能。此外，設(shè)計聯(lián)合損失函數(shù)Lface提高模型的收斂速度和性能。在包括大約10 000人的50×104張人臉圖片的公共遮擋人臉數(shù)據(jù)集上進行實驗，相比其他算法，提出的算法識別準確率有顯著提升，與經(jīng)典算法FaceNet相比提升了13.9％。

關(guān)鍵詞 遮擋人臉識別，BoTNet，注意力增強

中圖分類號：TP391.41" DOI：10.16152/j.cnki.xdxbzr.2025-02-006

Mask-occluded face recognition algorithm with integratedmulti-view features

SU Xueping1， SUN Dandan1， LI Yunhong1， YAO Lina1， REN Yingxuan2， WANG Can1

（1.School of Electronics and Information， Xi’an Polytechnic University， Xi’an 710048， China;

2.School of College of Computer Science and Technology， Xidian University， Xi’an 710126， China）

Abstract Wearing a mask" is the most economical， effective and practical protective measure to" prevent respiratory infectious diseases， but it also reduces the accuracy of face recognition. Therefore，" a face recognition algorithm with mask occlusion combined with multi-view features is proposed. Firstly，" BoTNet is used" as the backbone feature extraction network to improve the recognition accuracy. Secondly， face attention augmentation model （FAAM） is introduced to generate a non-masked map of face areas （eyes， eyebrows and forehead） that are not covered by masks， and then the features of the masked map areas are accurately extracted to improve the performance of face recognition. In addition， the joint loss function Lface is designed to improve the convergence speed and performance of the model. Experiments are carried out on a public occlusion face data set with 500 000 face images of about 10 000 people. Compared with other algorithms， the recognition accuracy of this method is significantly improved， and it is 13.9％ higher than that of the classic algorithm FaceNet.

Keywords masked face recognition; BoTNet; attention augmentation

佩戴口罩在減緩新流行病的傳播方面起著重要作用，研究證明，佩戴口罩可以減少65％的疾病傳播^［1］。此外，發(fā)表在《美國國家科學(xué)院院刊》（PNAS）上的一項研究指出，在預(yù)防COVID-19^［2］傳播和感染方面，佩戴口罩比社交距離和家庭隔離政策重要得多。出行佩戴口罩成為常態(tài)，而口罩遮擋下的人臉特征信息丟失，增加了人臉識別的難度^［3］。人臉識別是指基于光學(xué)人臉圖像的身份識別與驗證，而遮擋人臉識別是基于眼睛和額頭區(qū)域來識別佩戴口罩的人臉。遮擋的人臉特征不完整，因此遮擋人臉識別已成為人臉識別領(lǐng)域具有挑戰(zhàn)性的任務(wù)，眾多學(xué)者開展遮擋人臉識別研究，主要包含傳統(tǒng)算法和深度學(xué)習(xí)算法^［4］。

1）傳統(tǒng)算法。①基于稀疏表示的算法^［5］有SRC^［6］、LASRC^［7］、CRC-RLS^［8］、RSC^［9］、RASR^［10］等，該類模型對噪聲具有魯棒性，但要求所有人臉圖像必須對齊，反之稀疏性很難滿足，不適合推廣；②基于協(xié)同表示的算法^［11］有CRC^［12］、ProCRC^［13］、PK-PCRC^［14］、CCRC^［15］等，該類模型的分類方式以全局表示為基礎(chǔ)，計算速度快，但局部信息發(fā)生變化會導(dǎo)致性能下降；③基于特征分析的算法^［16］有LFA^［17］、AMM^［18］、LS-ICA^［19］、PSVM^［20-21］等，該類算法適用于樣本較少的情況，計算量小。

2）深度學(xué)習(xí)算法?；诰矸e神經(jīng)網(wǎng)絡(luò)的算法^［22］有CNN^［23］、PCANet^［24］、結(jié)合CNN與LBP^［25］等，該類模型有效識別遮擋人臉，但參數(shù)量大、計算能耗高，不適用于移動設(shè)備，且CNN模型提取遮擋人臉特征時，被遮擋部分會被嵌入到潛在空間的表示中^［26］；②基于生成對抗網(wǎng)絡(luò)的算法^［27］有GAN^［28-29］、WGAN^［30］、WGAN-GP^［31］、LSGAN^［32］、DCGAN^［33］等，該類模型生成更加清晰、真實的樣本，但存在訓(xùn)練穩(wěn)定性差、梯度消失、模式崩潰等問題；③基于注意力機制的算法^［34］有AM^［35］、SANs^［36］、GATs^［37］、CBAM^［38］等，該類模型通過建立全局依賴關(guān)系，擴大圖像的感受野，提取更多的區(qū)別性視覺信息^［39］，但需海量訓(xùn)練數(shù)據(jù)，計算量龐大。其中，2021年提出的BoTNet^［40］模型整合了多種自我注意力，用全局自我注意力代替空間卷積，在實例分割和對象檢測上有明顯的改善，且減少了參數(shù)量。

綜上， 傳統(tǒng)的遮擋人臉識別算法多采用淺層結(jié)構(gòu)提取人臉圖像特征， 易忽略圖像細節(jié)信息， 且口罩遮擋人臉大部分特征使方法性能下降。 而現(xiàn)有基于深度學(xué)習(xí)的遮擋人臉識別算法以深層結(jié)構(gòu)提取特征， 應(yīng)用更廣泛， 但參數(shù)量大、 計算能耗高、 無法同時兼顧全局信息和局部信息。 因此， 本文提出聯(lián)合多視角特征的口罩遮擋人臉識別算法， 該算法通過引入注意力機制將網(wǎng)絡(luò)的關(guān)注點聚焦在口罩遮擋外的人臉區(qū)域并提取特征， 通過輸入去除口罩后的人臉區(qū)域進一步提高佩戴口罩人臉識別性能。 相比于傳統(tǒng)方法可適應(yīng)大樣本的情況， 并提取深層結(jié)構(gòu)特征， 與現(xiàn)有深度學(xué)習(xí)方法相比， 本文所提方法可提取人臉區(qū)域全局特征和non-masked map的局部特征， 最終提高識別準確率。

1 人臉識別算法

本文算法的總體技術(shù)框架如圖1所示，主要步驟如下。①人臉檢測與non-masked map生成：若輸入為佩戴口罩的人臉，則確定口罩區(qū)域再生成non-masked map，若輸入為非佩戴口罩的人臉，則模擬口罩遮擋再生成non-masked map。②特征提?。菏褂肂oTNet提取人臉全局區(qū)域的特征，使用人臉注意力增強網(wǎng)絡(luò)（face attention augmentation model， FAAM）提取non-masked map區(qū)域的人臉局部特征。③口罩遮擋人臉識別：使用聯(lián)合損失函數(shù)加速模型的收斂速度，并識別口罩遮擋人臉。

1.1 人臉檢測與non-masked map生成

1.1.1 人臉檢測

Dlib是一個強大而流行的開源庫，用于圖像處理和機器學(xué)習(xí)任務(wù)。在人臉檢測方面，Dlib使用了基于學(xué)習(xí)的方法，使用了形狀預(yù)測器和人臉描述器識別和區(qū)分人臉。輕量級Dlib使用HOG+SVM^［41］的方法檢測人臉，首先，通過候選窗口滑動技術(shù)，將圖像分成多個不同大小的窗口，用于檢測可能存在的人臉區(qū)域。接下來，使用支持向量機（SVM）分類器判斷每個窗口是否包含人臉。SVM是一種常見的機器學(xué)習(xí)算法，通過訓(xùn)練樣本學(xué)習(xí)特征和類別之間的關(guān)系對新的樣本進行分類。如果窗口被分類為包含人臉，則使用形狀預(yù)測器確定人臉的精確位置。形狀預(yù)測器是一種人臉關(guān)鍵點檢測算法，可以檢測面部特征，如眼睛、鼻子、嘴巴等，從而為后續(xù)任務(wù)提供更多信息。該算法對姿勢變化具有強魯棒性，可檢測正臉、旋轉(zhuǎn)角度較小的人臉及不同尺度的人臉，甚至可檢測遮擋下的人臉，因此，本文使用Dlib檢測人臉。若輸入為佩戴口罩的人臉，使用檢測精度高、速度快、模型泛化能力強的Effcient-Yolov3^［42］進行口罩檢測，再使用Dlib檢測人臉的68個關(guān)鍵坐標點（見圖2），并進行歸一化處理。若輸入為非佩戴口罩的人臉，使用Dlib 檢測人臉的68個關(guān)鍵坐標點（見圖3），并進行歸一化處理。

1.1.2 生成non-masked map

為了精準提取非口罩區(qū)域的人臉特征，本文生成非口罩區(qū)域的蒙版圖（non-masked map）。輸入為佩戴口罩的人臉，其生成步驟如下：①依次連接人臉關(guān)鍵坐標點1、2、30、16、17，生成非口罩區(qū)域的下部邊界;②利用眉毛關(guān)鍵點20和25計算出非口罩區(qū)域的上部邊界;③依次連接坐標點1、20、25和17，最終生成非口罩區(qū)域的non-masked map（主要包含眼睛、眉毛和額頭周圍區(qū)域），如圖4所示。

輸入為非佩戴口罩的人臉，使用MaskTheFace^［43］模擬口罩遮擋，如圖5所示。MaskTheFace是基于Dlib識別人臉傾斜度和應(yīng)用口罩所需的人臉68個關(guān)鍵特征，再根據(jù)68個關(guān)鍵特征對模板口罩進行轉(zhuǎn)換，該方法生成的口罩可以完美貼合面部。生成非口罩區(qū)域的non-masked map步驟與輸入為佩戴口罩的人臉生成步驟一致。

1.2 特征提取

1.2.1 BoTNet

FaceNet^［44］使用端到端訓(xùn)練既簡化了設(shè)置，又表明直接優(yōu)化與手頭任務(wù)相關(guān)的損失可以提高性能。 FaceNet采用殘差網(wǎng)絡(luò)（residual neural network， ResNet）作為主干網(wǎng)絡(luò)，ResNet解決網(wǎng)絡(luò)深度增加導(dǎo)致的退化問題，實現(xiàn)高分類精度，但需要大容量的內(nèi)存，訓(xùn)練時間長。文獻［40］設(shè)計BoTNet，使用多頭自我關(guān)注（multi-head self-attention，MHSA）替換ResNet50的3×3卷積，解決ResNet50冗余大、計算能耗高、易過擬合的問題，且有效獲取局部信息，參數(shù)少、速度快、效果好。因此，本文使用BoTNet作為主干網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

1.2.2 FAAM

現(xiàn)實場景中千人千面，但當人們佩戴口罩時，人臉部分具有高辨識度的五官（鼻子、嘴巴）被口罩遮擋，造成該區(qū)域特征的丟失。此外，同類型口罩區(qū)域的特征區(qū)分度小，降低了人臉識別的準確度。BoTNet僅提取人臉區(qū)域的細粒度特征，未有效利用非口罩區(qū)域的人臉局部特征。因此，本文設(shè)計人臉注意力增強模塊FAAM，有效提取non-masked map區(qū)域的人臉局部特征，F(xiàn)AAM結(jié)構(gòu)如7所示。

FAAM模塊網(wǎng)絡(luò)由3個卷積層級聯(lián)組成，對輸入大小為W×H×d的特征向量記為y，前2個卷積層使用步長為1的512個3×3尺寸的卷積核進行卷積操作，使用ReLU激活，得到W×H×512的特征圖。第3個卷積層使用步長為1的1個3×3尺寸的卷積核進行降維，使用Sigmoid激活，將學(xué)習(xí)到的注意力特征圖增強區(qū)域設(shè)置為1，無用區(qū)域設(shè)置為0。將降維特征記為ys進行e指數(shù)運算，將其結(jié)果與y進行點乘得到增強特征圖y′，計算公式如下，

y′=yexp（ys） （1）

1.3 佩戴口罩人臉識別

1.3.1 聯(lián)合損失函數(shù)

三元（triplet）損失函數(shù)能學(xué)習(xí)更好的細微特征，差異性較小的輸入向量可學(xué)習(xí)到更好的表示，但其模型訓(xùn)練不穩(wěn)定且收斂慢，需要不斷調(diào)節(jié)參數(shù)，容易過擬合。而二元交叉熵（binary cross entropy， BCE）損失函數(shù)可衡量模型的預(yù)測準確性，讓模型更快地收斂。于是本文使用聯(lián)合損失函數(shù)用于人臉識別訓(xùn)練，幫助模型快速學(xué)習(xí)人臉特征。

三元損失函數(shù)每次從人臉庫中選取3張人臉樣本圖像，如圖8所示，分別為①錨點（anchor，A），即參考人臉;②正例（positive，P），即與參考人臉同一類的人臉;③負例（negative，N），即與參考人臉不同類的人臉。

選取歐氏距離作為不同人臉圖像的相似度，即anchor與positive和anchor與negative的距離大于設(shè)定閾值m則為同一類人臉;反之，則不是同一類人臉。三元損失函數(shù)Ltriplet計算公式為

Ltriplet=∑[DD（X]i∈N[DD）]［‖f（xai）-f（xpi）‖22-

‖f（xai）-f（xni）‖22+ω］（2）

式中：N為三元組總數(shù)；f（xia）、 f（xip）和f（xin）分別代表特征網(wǎng)絡(luò)提取到的人臉錨點、人臉正例和人臉負例的特征向量。在創(chuàng)建人臉三元組樣本時，可能會將同一類人的3張樣本放在一起計算損失函數(shù)，造成計算到的損失函數(shù)為0，為了避免此情況，本文引入權(quán)重系數(shù)ω判別是否為同一人，ω值設(shè)置為0.5。如表1所示，ω的取值過大或過小都會影響最終的識別率。

同理，BCE Loss每次選取3張人臉圖像，通過BoTNet提取到的熱力特征圖以及輸入FAAM的non-masked map計算關(guān)鍵像素點交叉熵損失，最后取3者均值作為Lattention。其計算公式為

Lattention=

∑[DD（X]i∈N[DD）][JB（｛][SX（]1[]3[SX）]［BCE（xai）+BCE（xpi）+BCE（xni）］[JB）｝]（3）

BCE（x）=-∑[DD（]M[]i[DD）]∑[DD（]M[]j[DD）]［mijlog（hij）+

（1-mij）log（1-hij）］（4）

式中：BCE（x）代表交叉熵損失函數(shù);mij為non-masked map的像素點值，將non-masked map歸一化成注意力特征熱力圖大小，則口罩區(qū)域像素點為0，去除口罩區(qū)域后的人臉區(qū)域像素點為1;hij為提取到的注意力特征值；M為特征圖尺寸。通過式（3）和（4）計算后可去除口罩區(qū)域和人臉背景等無關(guān)特征，定位并增強人臉非口罩區(qū)域特征。

綜上，本文最終的損失函數(shù)可表示為

Lface=Ltriplet+Lattention" （5）

此外，在訓(xùn)練階段，若樣本對的參照人臉與正例極度相似或參照人臉與負例差異較大，則會導(dǎo)致模型難以學(xué)習(xí)到人臉具有區(qū)分性的特征。因此，本文將困難樣本進行篩選后，再次訓(xùn)練模型，使模型學(xué)習(xí)到更加復(fù)雜且具有區(qū)分度的人臉特征。篩選的樣本對主要包含2類：參照人臉與正例差異較大的樣本對和參照人臉與負例較為相似的樣本對。其計算公式為

‖f（xai）-f（xni）‖22-‖f（xai）-f（xpi）‖22" lt;ω（6）

式中：ω為權(quán)重系數(shù)，本文取值為 0.5;其他變量含義同式（2）所示。通過條件篩選后的樣本對可避免模型出現(xiàn)梯度不下降的情況，使得模型更穩(wěn)定并且快速收斂。

1.3.2 識別

FaceNet只需要裁剪臉部區(qū)域，作為模型輸入并提取特征后直接計算距離，簡單有效且對光照和姿態(tài)具有不變性。因此，本文使用改進的FaceNet進行遮擋人臉識別，步驟如下：①輸入1張人臉圖像;②通過上述BoTNet和FAAM網(wǎng)絡(luò)分別提取人臉區(qū)域特征和non-masked map區(qū)域的局部特征;③L2標準化特征向量;④與數(shù)據(jù)庫中人臉圖像進行對比并獲得預(yù)測結(jié)果。

2 實驗與分析

2.1 數(shù)據(jù)集

本文采用CASIA-WebFace-mask^［45］和VGGFace2^［46］數(shù)據(jù)集作為訓(xùn)練集。其中，CASIA-WebFace-mask數(shù)據(jù)集包含445 466張戴口罩的人臉圖像，所涉及到的口罩類型有Surgical（白色醫(yī)用外科口罩）、Surgical Blue（藍色醫(yī)用外科口罩）、N95、KN95以及Cloth（黑色布質(zhì)口罩），口罩的分布類型都是均勻分布隨機生成的，如圖9所示。VGGFace2數(shù)據(jù)集包含不同姿態(tài)、光照背景下約8 000人的300×104張人臉圖像，如圖10所示。本文使用Mask The Face在VGGFace2數(shù)據(jù)集基礎(chǔ)上生成模擬口罩遮擋的數(shù)據(jù)集，如圖11所示。在生成所需數(shù)據(jù)集的同時也對數(shù)據(jù)集中像素較低和人臉偏移角度過大的圖像進行數(shù)據(jù)清洗，保存并生成高質(zhì)量的人臉數(shù)據(jù)集，實現(xiàn)了數(shù)據(jù)增強，并增加訓(xùn)練數(shù)據(jù)和提高模型泛化能力。

測試集采用SMFRD數(shù)據(jù)集^［47］，該數(shù)據(jù)集包含10 000人的50×104張人臉圖片，它使用GAN網(wǎng)絡(luò)對LFW數(shù)據(jù)集中的圖像生成戴口罩的人臉圖像，如圖12所示。

2.2 評價指標

人臉識別評估指標使用正確率（Accuracy，式中簡記A）、精度（Precision，式中簡記P）、召回率（Recall，式中簡記R）。其計算公式如下：

A=[SX（]TP+TN[]（TP+FP）+（TN+FN）[SX）]" （7）

P=[SX（]TP[]TP+FP[SX）]" （8）

R=[SX（]TP[]TP+FN[SX）]" （9）

式中：TP表示預(yù)測和實際均為真;TN表示預(yù)測和實際均為假;FP表示預(yù)測為真，但是實際為假;FN表示預(yù)測為假，但是實際為真。

2.3 實驗設(shè)置

本文在NVIDIA GeForce RTX 3090 Ti上訓(xùn)練該模型，將數(shù)據(jù)集分為訓(xùn)練集、驗證集和測試集，占比分別為70%、10%和20%。通過實驗發(fā)現(xiàn)訓(xùn)練145個周期時，受試者工作特征曲線（receiver operating characteristic curve， ROC）值達到最大，為防止過擬合，本文設(shè)置epoch為145，不同epoch下的ROC數(shù)據(jù)如表2所示。

每次輸入模擬人臉口罩遮擋的圖片和mask人臉圖片，輸入大小為256×256×3，訓(xùn)練共生成10萬對三元組人臉樣本，從樣本中分別取30對訓(xùn)練集人臉和測試集人臉用于訓(xùn)練。為了讓本文設(shè)計的網(wǎng)絡(luò)損失達到較快的收斂速度，對于不同周期選取不同學(xué)習(xí)率，學(xué)習(xí)率rl的選擇如式（10）所示，

rl=0.125 00lt;epochlt;30

0.062 530≤epochlt;60

0.015 560≤epochlt;90

0.003 090≤epochlt;120

0.000 1" epoch≥120" （10）

2.4 結(jié)果及分析

為驗證本文提出算法的有效性，與算法FaceNet、CosFace^［48］、ArcFace^［49］、PDSN^［50］進行比較。其中，F(xiàn)aceNet是經(jīng)典人臉識別算法，實現(xiàn)了端到端的訓(xùn)練，本文算法是在FaceNet上進行的改進;ArcFace是在繼SoftmaxLoss、Center Loss、A-Softmax Loss、Cosine Margin Loss之后有更加卓越的表現(xiàn)；與ArcFace類似，CosFace引入一個余弦Margin可以在角度空間中增大決策Margin，因此可以實現(xiàn)最小化類內(nèi)差異，最大化類間差異;PDSN與其他遮擋人臉識別算法不同，該算法是利用遮擋和無遮擋人臉對的頂部卷積特征之間的差異建立字典進行識別的。不同算法的口罩遮擋人臉識別在SMFRD數(shù)據(jù)集上的實驗結(jié)果如圖13、14所示，可以看出，輸入模擬口罩遮擋的圖像后會進一步提升識別率。

對于口罩遮擋人臉無論是否輸入模擬口罩遮擋的人臉，本文所提算法的識別率均優(yōu)于其他模型，識別率可達74.7％，相比于其他4種算法的識別率，本文算法分別提高了13.9％、10.6％、8.8％和2.1％。其原因是本文提出的算法突出人臉信息較多的眼睛周圍區(qū)域特征，可以準確提取特征。綜上，本文算法可以達到遮擋人臉識別的最佳精度。

采用類似于控制變量法的方法深度剖析本文所提改進策略對口罩遮擋人臉識別的性能影響。同一張人臉的特征圖可視化結(jié)果如圖15所示。

圖15（a）為輸入的人臉圖像，15（b）為BoTNet網(wǎng)絡(luò)提取的特征可視化結(jié)果，15（c）為FAAM網(wǎng)絡(luò)提取的特征可視化結(jié)果。其中，第1行為輸入的佩戴口罩人臉圖像及其特征圖，第2行為輸入的不佩戴口罩人臉圖像及其特征圖?？梢钥闯觯珺oTNet網(wǎng)絡(luò)提取人臉區(qū)域的細粒度特征，而FAAM精準定位眼部區(qū)域，將網(wǎng)絡(luò)的關(guān)注度盡可能高地集中在眼睛、眉毛和額頭周圍區(qū)域的特征。

在SMFRD數(shù)據(jù)集上的消融實驗結(jié)果如表3、4所示。由表3可得，在同樣選取ResNet50作為特征提取網(wǎng)絡(luò)時，若訓(xùn)練時不輸入模擬口罩遮擋人臉圖像識別率僅為57.2％，而訓(xùn)練時輸入模擬口罩遮擋人臉圖像識別率卻可達到70.3％，兩者相差13.1％。由表4可得，在選取ResNet50作為主特征提取網(wǎng)絡(luò)時識別率僅為70.3％，將ResNet50模型改為BoTNet后識別率提高了1.2％，由此可以驗證本文通過注意力機制增強非口罩區(qū)域的人臉特征的有效性。在ResNet50的基礎(chǔ)上結(jié)合FAAM網(wǎng)絡(luò)相比于僅使用ResNet50識別準確率提高了2.5％，其原因是FAAM輸入non-masked map后將口罩遮擋區(qū)域的特征丟棄，并通過計算與人臉原始輸入照片的損失值精準定位去除口罩外的人臉面部輪廓，將網(wǎng)絡(luò)的特征聚焦于非口罩區(qū)域人臉。使用聯(lián)合損失函數(shù)后準確率提升了0.6％，可見對于困難樣本模型能學(xué)習(xí)到更加復(fù)雜且具有區(qū)分度的人臉特征。以上結(jié)果證明本文提出的每個改進均有可行性。

綜上，BoTNet幫助網(wǎng)絡(luò)增強眼睛周圍的人臉特征，提取人臉區(qū)域細粒度特征，F(xiàn)AAM則精準定位人臉的非口罩遮擋區(qū)域，幫助網(wǎng)絡(luò)提取non-masked map區(qū)域的局部特征，Lface提高模型的收斂速度和性能，本文提出的算法對于口罩遮擋的人臉能夠達到極佳的識別性能。

3 結(jié)語

本文提出聯(lián)合多視角特征的口罩遮擋人臉識別算法，首先，將BoTNet網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，在每個殘差卷積塊中添加混合多頭注意力增強人臉非口罩區(qū)域特征、提取人臉區(qū)域細粒度特征；其次，在BoTNet最后一個卷積塊后添加FAAM進行人臉非口罩區(qū)域的定位、提取non-masked map區(qū)域的局部特征；最后，使用聯(lián)合損失函數(shù)Lface提高模型的收斂速度和性能。通過實驗驗證本文算法能夠有效識別口罩遮擋的人臉，為口罩遮擋人臉識別提供了有效的解決方案。但現(xiàn)實場景中口罩類別大不相同、對于人臉遮擋的范圍也存在差異，本文僅模擬生成了一種類別的口罩遮擋，下一步工作將模擬生成不同類型的口罩區(qū)域，采用真實的口罩遮擋人臉進行測試，尋找口罩遮擋人臉識別的最優(yōu)解決辦法。遮擋環(huán)境下的人臉識別準確率相較于無遮擋環(huán)境仍相對偏低，因此還需研究新技術(shù)提高遮擋環(huán)境下的人臉識別準確率。

參考文獻

［1］ ABBOAH-OFFEI M， SALIFU Y， ADEWALE B， et al. A rapid review of the use of face mask in preventing the spread of COVID-19［J］. International Journal of Nursing Studies Advances， 2021， 3： 100013.

［2］ HOWARD J， HUANG A， LI Z Y， et al. An evidence review of face masks against COVID-19［J］. Proceedings of the National Academy of Sciences of the United States of America， 2021， 118（4）： e2014564118.

［3］ WALVEKAR S， SHINDE S. Efficient medical image segmentation of COVID-19 chest CT images based on deep learning techniques［C］∥2021 International Conference on Emerging Smart Computing and Informatics （ESCI）. Pune： IEEE， 2021： 203-206.

［4］ 劉瑞明， 徐春融， 周韜. 局部遮擋的人臉識別方法研究綜述［J］.江蘇海洋大學(xué)學(xué)報（自然科學(xué)版）， 2022， 31（3）： 63-71.

LIU R M， XU C R， ZHOU T. Overview of face recognition methods with partial occlusion ［J］. Journal of Jiangsu Ocean University （Natural Science Edition）， 2022， 31（3）： 63-71.

［5］ 劉顯梅， 趙洪坡. 基于Retinex算法的光照變化條件下人臉識別研究［J］. 激光雜志， 2023， 44（7）： 218-222.

LIU X M， ZHAO H P. Research on face recognition under illumination change based on Retinex algorithm ［J］. Laser Journal， 2023， 44（7）： 218-222.

［6］ 胡思佳， 趙志誠. 基于改進SRC的局部遮擋人臉識別方法［J］. 太原科技大學(xué)學(xué)報， 2024， 45（1）： 7-12.

HU S J， ZHAO Z C. Local occlusion face recognition method based on improved SRC ［J］. Journal of Taiyuan University of Science and Technology， 2024， 45（1）： 7-12.

［7］ ORTIZ E G， BECKER B C. Face recognition for web-scale datasets［J］. Computer Vision and Image Understanding， 2014， 118： 153-170.

［8］ LEI Z， MENG Y， FENG X C. Sparse representation or collaborative representation： Which helps face recognition？ ［C］∥2011 International Conference on Computer Vision. Barcelona： IEEE， 2011： 471-478.

［9］ 李小薪，梁榮華. 有遮擋人臉識別綜述：從子空間回歸到深度學(xué)習(xí)［J］. 計算機學(xué)報， 2018， 41（1）： 177-207.

LI X X， LIANG R H. Overview of occluded face recognition： From subspace regression to deep learning ［J］.Chinese Journal of Computers， 2018， 41（1）： 177-207.

［10］WAGNER A， WRIGHT J， GANESH A， et al. Toward a practical face recognition system： Robust alignment and illumination by sparse representation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 34（2）： 372-386.

［11］雷燕， 李杰， 董博，等. 基于深度學(xué)習(xí)特征的多模態(tài)人臉快速識別研究［J］. 電子設(shè)計工程， 2024， 32（3）： 181-184.

LEI Y， LI J， DONG B， et al. Research on fast multi-modal face recognition based on deep learning features ［J］. Electronic Design Engineering， 2024， 32（3）： 181-184.

［12］PENG Y L， LI L J， LIU S G， et al. A new virtual samples-based CRC method for face recognition［J］. Neural Processing Letters， 2018， 48（1）： 313-327.

［13］CAI S J， ZHANG L， ZUO W M， et al. A probabilistic collaborative representation based approach for pattern classification［C］∥2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas， NV： IEEE， 2016： 2950-2959.

［14］LAN R S， ZHOU Y C， LIU Z B， et al. Prior knowledge-based probabilistic collaborative representation for visual recognition［J］. IEEE Transactions on Cybernetics， 2020， 50（4）： 1498-1508.

［15］YUAN H L， LI X C， XU F Y， et al. A collaborative-competitive representation based classifier model［J］. Neurocomputing， 2018， 275： 627-635.

［16］劉加聰， 鐘桂鳳， 盛儒妤. 基于OpenCV和MTCNN算法的遮蔽物影響下的人臉識別研究［J］. 電腦編程技巧與維護， 2023 （11）： 120-124.

LIU J C， ZHONG G F， SHENG R Y. Research on face recognition under the influence of masks based on OpenCV and MTCNN algorithms ［J］. Computer Programming Skills and Maintenance， 2023（11）： 120-124.

［17］張宣妮， 馬秀霞， 魯方瑩，等. 智慧小區(qū)的人臉識別門禁系統(tǒng)［J］. 信息系統(tǒng)工程， 2021（4）： 95-96.

ZHANG X N， MA X X， LU F Y， et al. Face recognition access control system in smart community ［J］. Information System Engineering， 2021（4）： 95-96.

［18］靳若華， 白凡， 張洪豪. 基于多任務(wù)學(xué)習(xí)的特征融合跨年齡人臉識別研究［J］. 天津理工大學(xué)學(xué)報， 2024， 40（1）： 84-91.

JIN R H， BAI F， ZHANG H H. Cross-age face recognition based on multi-task learning ［J］. Journal of Tianjin University of Technology， 2024， 40（1）： 84-91.

［19］雷耀花， 劉東宏. 基于PCA+ICA人臉識別技術(shù)的考勤系統(tǒng)設(shè)計［J］. 電腦與電信， 2017（11）： 55-57.

LEI Y H， LIU D H. Design of attendance system based on PCA+ICA face recognition technology ［J］. Computer and Telecommunications， 2017（11）： 55-57.

［20］JIA H J， MARTINEZ A M. Support vector machines in face recognition with occlusions［C］∥2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami， FL： IEEE， 2009： 136-141.

［21］李云紅， 劉杏瑞， 謝蓉蓉，等. 基于超分辨重建和公共特征子空間的低分辨率人臉識別［J］. 西北大學(xué)學(xué)報（自然科學(xué)版）， 2023， 53（2）： 241-247.

LI Y H， LIU X R， XIE R R， et al. Low-resolution face recognition based on super-resolution reconstruction and common feature subspace［J］. Journal of Northwest University （Natural Science Edition）， 2023， 53（2）： 241-247.

［22］羅億. 淺談部分遮擋下的人臉識別技術(shù)研究［J］. 中國新通信， 2023， 25（2）： 67-68.

LUO Y. On the research of face recognition technology under partial occlusion ［J］. China New Communication， 2023， 25（2）： 67-68.

［23］SIRADJUDDIN I A， REYNALDI， MUNTASA A. Faster region-based convolutional neural network for mask face detection［C］∥2021 5th International Conference on Informatics and Computational Sciences （ICICoS）. Semarang： IEEE， 2021： 282-286.

［24］CHENG X Y， ZHANG L. Research on occluded face recognition method based on deep learning［J］. Electronic Technology， 2022， 35（1）： 35-39.

［25］VU H N， NGUYEN M H， PHAM C. Masked face recognition with convolutional neural networks and local binary patterns［J］. Applied Intelligence， 2022， 52（5）： 5497-5512.

［26］ZENG D， VELDHUIS R， SPREEUWERS L， et al. Occlusion-invariant face recognition using simultaneous segmentation［J］. IET Biometrics， 2021， 10（6）： 679-691.

［27］蔣文豪. 基于生成對抗網(wǎng)絡(luò)的多姿態(tài)人臉識別算法［J］. 信息技術(shù)與信息化， 2024（2）： 188-191.

JIANG W H. Multi-pose face recognition algorithm based on generated confrontation network ［J］. Information Technology and Informatization， 2024（2）： 188-191.

［28］王躍進， 耿國華， 郭沛瑤，等. 基于對抗生成網(wǎng)絡(luò)的復(fù)原面貌真實感處理［J］. 西北大學(xué)學(xué)報（自然科學(xué)版）， 2021， 51（5）： 742-749.

WANG Y J， GENG G H， GUO P Y， et al. Realistic processing of restored faces based on generative adversarial networks ［J］. Journal of Northwest University （Natural Science Edition）， 2021， 51（5）： 742-749.

［29］DONG X B， MIAO Z H， MA L， et al. Reconstruct face from features based on genetic algorithm using GAN generator as a distribution constraint［J］. Computers ＆ Security， 2023， 125： 103026.

［30］ADLER J， LUNZ S. Banach Wasserstein Gan［EB／OL］.（2018-06-18）［2024-08-20］.https：∥arxiv.org／abs／1806.06621.

［31］XU J B， XU D G， WAN K， et al. Alleviating sample imbalance in water quality assessment using the VAE-WGAN-GP model［J］. Water Science ＆ Technology， 2023， 88（11）： 2762-2778.

［32］WANG C G， CAO Y， ZHANG S， et al. A reconstruction method for missing data in power system measurement based on LSGAN［J］. Frontiers in Energy Research， 2021， 9： 651807.

［33］WU Q F， CHEN Y P， MENG J. DCGAN-based data augmentation for tomato leaf disease identification［J］. IEEE Access， 2020， 8： 98716-98728.

［34］QIAN H J， ZHANG P P， JI S J， et al. Improving representation consistency with pairwise loss for masked face recognition［C］∥2021 IEEE／CVF International Conference on Computer Vision Workshops （ICCVW）.Montreal， BC： IEEE， 2021： 1462-1467.

［35］GUO B W， LI X Y， YANG M M， et al. A robust and lightweight deep attention multiple instance learning algorithm for predicting genetic alterations［J］. Computerized Medical Imaging and Graphics， 2023， 105： 102189.

［36］JIANG N， GAO L， DUAN F X， et al. SAN： Attention-based social aggregation neural networks for recommendation system［J］. International Journal of Intelligent Systems， 2022， 37（6）： 3373-3393.

［37］XIAO C， IMEL E A， PHAM N， et al. Patient-GAT： Sarcopenia prediction using multi-modal data fusion and weighted graph attention networks［J］. Proceedings of the Symposium on Applied Computing Symposium on Applied Computing， 2023， 2023： 614-617.

［38］WOO S， PARK J， LEE J Y， et al. CBAM： Convolutional block attention module［C］∥Computer Vision ECCV 2018. Cham： Springer International Publishing， 2018： 3-19.

［39］WANG W X， HU H F. Image captioning using region-based attention joint with time-varying attention［J］. Neural Processing Letters， 2019， 50（1）： 1005-1017.

［40］SRINIVAS A， LIN T Y， PARMAR N， et al. Bottleneck transformers for visual recognition［C］∥2021 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville， TN：IEEE， 2021： 16514-16524

［41］JACOB M P. Comparison of popular face detection and recognition techniques［J］. International Research Journal of Modernization in Engineering Technology and Science， 2021： 2582-5208.

［42］SU X P， GAO M， REN J， et al. Face mask detection and classification via deep transfer learning［J］. Multimedia Tools and Applications， 2022， 81（3）： 4475-4494.

［43］HUANG Q Y， TANG C Y， ZHANG T S. Periocular biometric recognition for masked faces［J］. Wuhan University Journal of Natural Sciences， 2023， 28（2）： 141-149.

［44］王傳傳， 高婕. 基于改進FaceNet算法的人臉智能識別方法［J］. 工業(yè)控制計算機， 2024， 37（2）： 126-128.

WANG C C， GAO J. Intelligent face recognition method based on improved FaceNet algorithm ［J］. Industrial Control Computer， 2024， 37（2）： 126-128.

［45］DING F F， PENG P X， HUANG Y R， et al. Masked face recognition with latent part detection［C］∥Proceedings of the 28th ACM International Conference on Multimedia. Seattle WA： ACM， 2020： 2281-2289.

［46］CAO Q， SHEN L， XIE W D， et al. VGGFace2： A dataset for recognising faces across pose and age［C］∥2018 13th IEEE International Conference on Automatic Face ＆ Gesture Recognition （FG 2018）. Xi’an： IEEE， 2018： 67-74.

［47］WANG Z Y， WANG G C， HUANG B J， et al. Masked face recognition dataset and application［EB／OL］.（2020-03-20）［2024-09-10］.https：∥arxiv.org／abs／2003.09093.

［48］WANG H， WANG Y T， ZHOU Z， et al. CosFace： Large margin cosine loss for deep face recognition［C］∥2018 IEEE／CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City： IEEE， 2018： 5265-5274.

［49］DENG J K， GUO J， XUE N N， et al. ArcFace： Additive angular margin loss for deep face recognition［C］∥2019 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach， CA： IEEE， 2019： 4690-4699.

［50］SONG L X， GONG D H， LI Z F， et al. Occlusion robust face recognition based on mask learning with pairwise differential Siamese network［C］∥2019 IEEE／CVF International Conference on Computer Vision （ICCV）. Seoul： IEEE， 2019： 773-782.

（編 輯 李 靜）

基金項目：國家自然科學(xué)基金（61902301）；陜西省自然科學(xué)基礎(chǔ)研究計劃（2024JC-YBMS-455）；陜西省哲學(xué)社會科學(xué)研究專項青年項目（2024QN107）；陜西高校青年創(chuàng)新團隊。

第一作者：蘇雪平，博士，副教授，從事新聞人物標志、圖像標注、人臉識別研究，yifeichongtian120@163.com。