劉瑞明，徐春融，周 韜，陳倫奧

（江蘇海洋大學(xué)電子工程學(xué)院，江蘇 連云港 222005）

0 引 言

卷積神經(jīng)網(wǎng)絡(luò)的成熟讓人臉識(shí)別技術(shù)取得了突破性的進(jìn)展，而人臉識(shí)別也被廣泛應(yīng)用在日常生活中的各個(gè)領(lǐng)域。 但是在現(xiàn)實(shí)環(huán)境中，人臉識(shí)別往往會(huì)受到各種因素的影響或限制，如光照、遮擋及面部姿態(tài)和表情等，其中遮擋人臉識(shí)別問(wèn)題仍是當(dāng)前所面臨的一大挑戰(zhàn)［1］。 特別是在疫情影響下，人們?cè)诠矆?chǎng)所必須佩戴口罩，因此，簡(jiǎn)單、高效的遮擋人臉識(shí)別方法的研究顯得尤為重要。

在深度學(xué)習(xí)之前，遮擋人臉識(shí)別主要停留在人臉“淺層”特征的提取，主要分為2 個(gè)方面：未遮擋特征魯棒提取和遮擋區(qū)域的修復(fù)。 第一種方法主要是利用未遮擋區(qū)域的局部特征進(jìn)行識(shí)別，如HOG、SIFT、LBP 等，He 等學(xué)者［2］受到相關(guān)熵的啟示，提出基于最大相關(guān)熵準(zhǔn)則的魯棒人臉識(shí)別方法，讓訓(xùn)練樣本遮擋部分離群值相對(duì)應(yīng)的像素對(duì)相關(guān)熵的貢獻(xiàn)很少，遮擋像素賦予的權(quán)重很小，對(duì)未遮擋區(qū)域賦予較大的權(quán)重。 對(duì)于第二種方法，Wright 等學(xué)者［3］首次將稀疏表示分類（Sparse Representation based Classification，SRC）算法應(yīng)用到遮擋人臉識(shí)別中，利用稀疏表示的區(qū)別性對(duì)有遮擋的人臉圖像進(jìn)行分類，隨后，為了解決真實(shí)環(huán)境下人臉遮擋的對(duì)齊和光照問(wèn)題，應(yīng)用類內(nèi)變異字典表示測(cè)試樣本與訓(xùn)練樣本間的變化，利用稀疏系數(shù)對(duì)人臉進(jìn)行重構(gòu)，提出魯棒SRC 和擴(kuò)展SRC 方法。 這些方法需要大量的同類圖像，然而協(xié)同表示把待識(shí)別圖像看作是所有訓(xùn)練數(shù)據(jù)的線性組合，基于正則最小二乘的協(xié)同表示分類（CR based classification with regularized least square，CRC＿RLS）算法，采用最小L2 范數(shù)回歸代替了SRC 中的L1 范數(shù)，大大降低了算法的復(fù)雜度。

隨著深度學(xué)習(xí)的快速發(fā)展，在人臉識(shí)別領(lǐng)域取得一系列可觀的成果，主要體現(xiàn)在深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)［4－9］、損失函數(shù)的改進(jìn)［10－13］以及人臉數(shù)據(jù)增強(qiáng)［14－15］三個(gè)方面。 Sun 等學(xué)者［16］首先提出DeepID2神經(jīng)網(wǎng)絡(luò)并在此基礎(chǔ)上增加隱藏層的表示維數(shù)和卷積層的監(jiān)督，進(jìn)一步提出了DeepID2＋網(wǎng)絡(luò)結(jié)構(gòu)，提取的人臉特征具有較強(qiáng)的魯棒性。 隨后，由于卷積神經(jīng)網(wǎng)絡(luò)的盛行，基于卷積神經(jīng)網(wǎng)絡(luò)的Deep－Face［17］、Google－Net［18］以及Face－Net［19］等模型被相繼提出。為了緩解遮擋對(duì)臉部特征的影響，Li 等學(xué)者［20］以GAN 為基礎(chǔ)提出了一種遮擋人臉修復(fù)的深度生成網(wǎng)絡(luò)，針對(duì)人臉圖像的遮擋區(qū)域，該網(wǎng)絡(luò)可以從隨機(jī)噪聲中合成面部關(guān)鍵部位，并對(duì)恢復(fù)后的人臉進(jìn)行識(shí)別，但是卻只限于原始人臉圖像的修復(fù)，特定妝容的隨機(jī)遮擋則會(huì)影響修復(fù)效果。 除了對(duì)遮擋人臉進(jìn)行修復(fù)，還有另一種方法是忽略被遮擋破壞的元素，利用未遮擋特征進(jìn)行識(shí)別。 Song 等學(xué)者［21］采用一個(gè)掩膜學(xué)習(xí)策略并忽略被遮擋區(qū)域的特征進(jìn)行人臉識(shí)別，利用遮擋圖像和無(wú)遮擋圖像對(duì)應(yīng)特征間的差異獲取掩碼特征來(lái)建立掩膜字典，在識(shí)別過(guò)程中對(duì)遮擋導(dǎo)致特征信息有偏差的部分進(jìn)行消除，該方法需要大量的圖片訓(xùn)練多個(gè)模型建立掩膜字典，占用空間較大，在測(cè)試時(shí)進(jìn)行特征提取和掩膜字典對(duì)比，大大增加了時(shí)間成本。

總之，傳統(tǒng)方法對(duì)有遮擋人臉圖像的識(shí)別有一定的效果，但是都停留在人臉的“淺層”特征上，這些特征在處理過(guò)程中容易丟失人臉的細(xì)節(jié)信息，特別是出現(xiàn)混合遮擋時(shí)，人臉識(shí)別的效果會(huì)大大降低。深度學(xué)習(xí)有自主學(xué)習(xí)的優(yōu)點(diǎn)，能夠獲得更具有表達(dá)性的高階特征，提高人臉識(shí)別的準(zhǔn)確率，但為了學(xué)習(xí)人臉圖像中的被遮擋區(qū)域和未遮擋時(shí)的對(duì)應(yīng)關(guān)系，使得深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)更加復(fù)雜，在不同的通道特征和濾波器之間存在冗余造成很大的計(jì)算量。 因此，本文提出一種基于深度殘差網(wǎng)絡(luò)模型壓縮的遮擋人臉識(shí)別方法，對(duì)復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)中卷積層濾波器進(jìn)行修剪，實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的稀疏表達(dá)，大大降低了網(wǎng)絡(luò)的計(jì)算成本。 與以上方法相比，本文的方法將有效提高遮擋人臉識(shí)別的速度。

1 相關(guān)工作

目前遮擋人臉識(shí)別算法中能取得較好識(shí)別效果的網(wǎng)絡(luò)模型，其網(wǎng)絡(luò)參數(shù)計(jì)算量大，結(jié)構(gòu)一般比較復(fù)雜。 為簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)提高人臉識(shí)別速度，本文采用包含50 層網(wǎng)絡(luò)的ResNet－50 模型作為主干網(wǎng)絡(luò)，以殘差塊中的卷積層為基本單位，對(duì)每一層中的濾波器進(jìn)行修剪，然后將部分無(wú)需配對(duì)的遮擋和無(wú)遮擋的人臉圖像輸入到稀疏化的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中獲取特征掩碼，利用掩碼將遮擋人臉圖像的損壞特征清除以實(shí)現(xiàn)最終的人臉識(shí)別，其總體流程如圖1 所示。

圖1 人臉識(shí)別流程圖Fig. 1 Flow chart of face recognition

1.1 殘差網(wǎng)絡(luò)基本原理

深度卷積網(wǎng)絡(luò)被廣泛應(yīng)用于人臉識(shí)別領(lǐng)域并取得突破性成果，但隨著識(shí)別準(zhǔn)確率的提高，網(wǎng)絡(luò)層數(shù)不斷增加，而過(guò)深的網(wǎng)絡(luò)會(huì)出現(xiàn)梯度爆炸或消失和識(shí)別性能退化的問(wèn)題，因此He 等學(xué)者［4］提出殘差學(xué)習(xí)的思想，在傳統(tǒng)的卷積網(wǎng)絡(luò)中引入殘差單元能夠很好地避免網(wǎng)絡(luò)退化問(wèn)題。 殘差是指輸入與輸出之間的差異，殘差單元?jiǎng)t采用跳躍連接的方式在輸入和輸出之間增加了一條快捷通道，實(shí)現(xiàn)輸出與輸入相同的恒等映射層。 殘差網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。圖2 中，X為卷積神經(jīng)網(wǎng)絡(luò)上一層的輸入，通過(guò)快捷通道將參數(shù)傳遞到下一層的同時(shí)保留原來(lái)的輸入信息，假設(shè)期望得到的結(jié)果為H（X），讓堆疊的非線性層來(lái)擬合另一個(gè)映射F（X）＝H（X）－ X。 那么原來(lái)的映射可以轉(zhuǎn)化為F（X）＋X，使每層的輸出為映射和輸入的疊加，其中F（X）表示殘差函數(shù)，當(dāng)F（X）＝0 時(shí)，則表示網(wǎng)絡(luò)訓(xùn)練為最佳狀態(tài)，需要建立恒等映射即H（X）＝X。

圖2 殘差網(wǎng)絡(luò)結(jié)構(gòu)Fig. 2 Residual network structure

殘差網(wǎng)絡(luò)包含一系列不同層數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)模型，目前常見(jiàn)的有：ResNet－18，ResNet－34，ResNet－50，ResNet－101，ResNet－152，其后數(shù)字代表不同模型的網(wǎng)絡(luò)層數(shù)。 本文采用殘差網(wǎng)絡(luò)ResNet－50 模型，該模型總共有50 層網(wǎng)絡(luò)，其中包含1 個(gè)單獨(dú)的卷積層、1 個(gè)全連接層和4 組不同的殘差塊，每組殘差塊包含不同數(shù)量的卷積層，網(wǎng)絡(luò)中每個(gè)模塊的具體卷積層參數(shù)見(jiàn)表1。

表1 網(wǎng)絡(luò)模型參數(shù)Tab. 1 The parameters of network model

1.2 深度殘差網(wǎng)絡(luò)模型壓縮

隨著網(wǎng)絡(luò)深度的增加，模型性能也不斷提升，殘差網(wǎng)絡(luò)不僅解決了準(zhǔn)確率飽和后的退化問(wèn)題，還在一定程度上提高了圖像特征的提取能力。 但復(fù)雜的殘差網(wǎng)絡(luò)也會(huì)存在不足，在追求網(wǎng)絡(luò)性能的同時(shí)，模型參數(shù)量增加，訓(xùn)練時(shí)間變長(zhǎng)。 因此，本文在改進(jìn)的ResNet50 基礎(chǔ)上進(jìn)行結(jié)構(gòu)化剪枝實(shí)現(xiàn)網(wǎng)絡(luò)模型的壓縮，簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度的同時(shí)提高人臉識(shí)別速度。 對(duì)于一些結(jié)構(gòu)簡(jiǎn)單的CNN，如VGGNet、AlexNet等，可以對(duì)任何卷積層中的濾波器進(jìn)行修剪，而殘差網(wǎng)絡(luò)中的跳躍連接要保證其輸入和輸出的尺寸相同才能相加限制了剪枝的規(guī)則。 文中根據(jù)卷積層中濾波器的敏感程度給每一個(gè)殘差塊設(shè)置特定的剪枝比例對(duì)卷積層中的濾波器進(jìn)行結(jié)構(gòu)化剪枝，并且選用與快捷連接相同的剪枝標(biāo)準(zhǔn)如圖3 所示。

圖3 ResNet50 網(wǎng)絡(luò)剪枝原理Fig. 3 The pruning principle of ResNet50

遮擋人臉識(shí)別不僅需要設(shè)計(jì)深度卷積神經(jīng)網(wǎng)絡(luò)，為了提高學(xué)習(xí)特征的區(qū)分能力，損失函數(shù)的改進(jìn)也是必不可少的，雖然Softmax被廣泛應(yīng)用于分類任務(wù)中，但是人臉特征存在類間距離小、類內(nèi)距離大的特點(diǎn)對(duì)人臉識(shí)別準(zhǔn)確率有很大的影響。 基于最大化類間方差和最小化類內(nèi)方差，主流的SphereFace、CosFace 和ArcFace 中的損失函數(shù)有了很大的改進(jìn)。其中，SphereFace 首次將人臉識(shí)別的特征空間轉(zhuǎn)換到超球面角度特征空間。 CosFace 將Softmax損失重新表述為余弦損失，進(jìn)一步最大化決策余量。ArcFace 提出一種加性角邊距損失，與超球面上的測(cè)地距離對(duì)應(yīng)，直接在角度空間中對(duì)分類邊界進(jìn)行懲罰約束，并給出了清晰的幾何解釋。 以上3 種方法分別加入了不同的超參數(shù)m1、m2、m3并且可以用統(tǒng)一的公式表達(dá)見(jiàn)式（1）：

而SphereFace、ArcFace 和CosFace，分別表示為（m1，0，0）、（0，m2，0）和（0，0，m3）。 在本文中，采用CosFace 作為研究的訓(xùn)練人臉識(shí)別損失函數(shù)。

2 實(shí)驗(yàn)及分析

2.1 實(shí)驗(yàn)環(huán)境

本文中所有實(shí)驗(yàn)均在Ubuntu20.04 操作系統(tǒng)、1 塊NVIDIA GTX1060 顯卡、顯存為4 GB 的筆記本上進(jìn)行。在Visual Studio Code 上使用Python3.8.3和Pytorch1.6.0深度學(xué)習(xí)框架進(jìn)行網(wǎng)絡(luò)模型的訓(xùn)練和測(cè)試。

2.2 數(shù)據(jù)集介紹

（1）CASIA－Webface： CASIA－Webface 數(shù)據(jù)集由中科院自動(dòng)化研究所李子青團(tuán)隊(duì)于2014年創(chuàng)建，采用半自動(dòng)的方式從互聯(lián)網(wǎng)上搜集而得來(lái)，包含了10 575個(gè)人的494 414 張圖像。

（2）LFW： LFW（Labled Faces in the Wild）人臉數(shù)據(jù)集中提供的人臉圖片均來(lái)源于生活中的自然場(chǎng)景，包含了不同姿態(tài)、表情、光照、年齡以及遮擋等因素影響的人臉圖像。 該數(shù)據(jù)集共有13 233 張人臉圖像，每張圖像均給出對(duì)應(yīng)的人名，共有5 749 人，且絕大部分人僅有一張圖片，每張圖片的尺寸為250×250。

（3）RMFD：由于疫情的影響，在公共場(chǎng)所必須佩戴口罩。 武漢大學(xué)國(guó)家多媒體軟件工程技術(shù)研究中心創(chuàng)建口罩遮擋人臉數(shù)據(jù)集（Real－World Masked Face Dataset），其中包括真實(shí)口罩和模擬口罩兩種類型，給公開(kāi)數(shù)據(jù)集中的人臉佩戴口罩，包含10 000人的50 000 張人臉模擬口罩?jǐn)?shù)據(jù)集。

（4）動(dòng)態(tài)遮擋人臉數(shù)據(jù)集：采用文獻(xiàn)［22］中的方法選擇CASIA－Webface 數(shù)據(jù)集和LFW 人臉數(shù)據(jù)集與遮擋物合成遮擋人臉圖像，遮擋物包括太陽(yáng)鏡、圍巾、杯子和書(shū)等日常生活中經(jīng)常出現(xiàn)在臉上的物品如圖4 所示。 遮擋人臉圖像是把遮擋物隨機(jī)地遮擋在干凈的人臉圖像上，遮擋位置的大小可以按照一定的比例調(diào)節(jié)。

圖4 常見(jiàn)遮擋面部物體Fig. 4 Common occlusion of facial objects

文中使用CASIA－Webface 和CASIA－Webface 遮擋人臉數(shù)據(jù)集作為實(shí)驗(yàn)的訓(xùn)練數(shù)據(jù)集，選用LFW、LFW 遮擋人臉數(shù)據(jù)集和RMFD 這3 個(gè)數(shù)據(jù)集作為測(cè)試數(shù)據(jù)集，部分人臉圖像如圖5 所示。 由于數(shù)據(jù)集中每類的樣本數(shù)量有差別，先對(duì)樣本數(shù)量進(jìn)行統(tǒng)一的處理以減少訓(xùn)練樣本不平衡問(wèn)題對(duì)網(wǎng)絡(luò)的影響。 然后，采用MTCNN［23］對(duì)人臉進(jìn)行檢測(cè)并提取人臉標(biāo)志位，通過(guò)檢測(cè)到的5 個(gè)關(guān)鍵點(diǎn)（左眼、右眼、鼻子、左右嘴角）進(jìn)行相應(yīng)的相似度變換，得到對(duì)齊的人臉圖像。最后，將對(duì)齊的人臉圖像進(jìn)行剪裁，得到尺寸大小為112×96 的人臉圖像。 在訓(xùn)練和測(cè)試時(shí)，圖像的像素值均歸一化為［－1.0，1.0］。

圖5 人臉數(shù)據(jù)集圖像Fig. 5 Face dataset images

2.3 模型訓(xùn)練

訓(xùn)練過(guò)程可以分為3 個(gè)階段，首先，對(duì)改進(jìn)ResNet50 中的殘差塊進(jìn)行結(jié)構(gòu)化剪枝，每個(gè)殘差塊按照一定的比例修剪其卷積層濾波器；然后，把剪枝后的網(wǎng)絡(luò)結(jié)構(gòu)在CASIA－Webface 數(shù)據(jù)集上進(jìn)行周期為40 的訓(xùn)練；最后，將之前訓(xùn)練的剪枝模型作為預(yù)訓(xùn)練模型在CASIA－Webface 數(shù)據(jù)集和CASIAWebface 遮擋數(shù)據(jù)集按1 ∶2 的比例混合組成的訓(xùn)練數(shù)據(jù)集上進(jìn)行再訓(xùn)練以減少識(shí)別誤差，并生成特征掩碼清除損壞特征，利用CosFace 損失函數(shù)進(jìn)行遮擋人臉?lè)诸愖R(shí)別。 在模型訓(xùn)練過(guò)程中使用隨機(jī)梯度下降優(yōu)化，初始學(xué)習(xí)率為0.1，動(dòng)量為0.9，權(quán)重衰減為0.000 5，批的大小為8。

文中考慮了2 個(gè)基準(zhǔn)模型。 第一個(gè)是只用改進(jìn)ResNet50 網(wǎng)絡(luò)模型在CASIA－Webface 數(shù)據(jù)集上進(jìn)行周期為40 的訓(xùn)練，稱為基準(zhǔn)1。 第二個(gè)基準(zhǔn)選擇CASIA－Webface 數(shù)據(jù)集和CASIA－Webface 遮擋數(shù)據(jù)集按1 ∶2 的比例混合組成的訓(xùn)練數(shù)據(jù)集，把第一個(gè)準(zhǔn)則作為預(yù)訓(xùn)練模型，同樣進(jìn)行40 個(gè)周期的訓(xùn)練，稱為基準(zhǔn)2。

2.4 實(shí)驗(yàn)結(jié)果分析

為了研究不同的剪枝比例對(duì)該網(wǎng)絡(luò)模型性能的影響，考慮設(shè)計(jì)5 組不同剪枝率、即R∈（0.1，0.2，0.3，0.4，0.5）的對(duì)比實(shí)驗(yàn)，其實(shí)驗(yàn)結(jié)果分別與未修剪的網(wǎng)絡(luò)模型進(jìn)行比較。 不同修剪比例下模型參數(shù)的趨勢(shì)如圖6 所示，實(shí)驗(yàn)結(jié)果表明，使用文中方法對(duì)選用的2 個(gè)基準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練，其模型的參數(shù)呈顯著下降的趨勢(shì)。 為了分析在不同修剪比率下訓(xùn)練的網(wǎng)絡(luò)模型對(duì)人臉識(shí)別魯棒性的影響，選擇使用LFW 數(shù)據(jù)集和LFW 模擬口罩?jǐn)?shù)據(jù)集作為測(cè)試集對(duì)網(wǎng)絡(luò)模型的性能進(jìn)行驗(yàn)證。 表2 中給出了不同剪枝比例的人臉識(shí)別準(zhǔn)確率。 通過(guò)對(duì)比結(jié)果可知，隨著修剪比率的增加，人臉識(shí)別準(zhǔn)確度有所降低，但是在簡(jiǎn)化網(wǎng)絡(luò)參數(shù)的情況下對(duì)識(shí)別性能的影響是微不足道的。

表2 不同剪枝比例的人臉識(shí)別準(zhǔn)確率Tab. 2 Face recognition accuracy under different pruning ratios

圖6 模型參數(shù)變化趨勢(shì)Fig. 6 Trend of the model parameters

為了進(jìn)一步評(píng)估所提出的方法在遮擋人臉識(shí)別方面的性能，采用2.2 節(jié)中描述的遮擋人臉數(shù)據(jù)集作為測(cè)試集，其中“Occ－LFW”表示LFW 數(shù)據(jù)集上40%的區(qū)域被隨機(jī)遮擋，“Mask－LFW”表明將模擬口罩自動(dòng)地添加到LFW 數(shù)據(jù)集。 文中方法與2 個(gè)基準(zhǔn)模型在3 個(gè)不同數(shù)據(jù)集上的識(shí)別準(zhǔn)確率和速度的對(duì)比結(jié)果見(jiàn)表3。 實(shí)驗(yàn)結(jié)果表明，文中的壓縮模型在測(cè)試集上的識(shí)別速度均有很大提升，雖然識(shí)別精度有所損失，但是識(shí)別速度提升和模型參數(shù)減少的優(yōu)勢(shì)遠(yuǎn)超于誤差增長(zhǎng)。 尤其是在原始LFW 數(shù)據(jù)集上有較好的效果，在準(zhǔn)確率下降0.76 個(gè)百分點(diǎn)的情況下，識(shí)別速度提升了43.54%。

表3 不同模型實(shí)驗(yàn)結(jié)果對(duì)比Tab. 3 Experimental results comparison of different models %

此外，基于模型的性能和網(wǎng)絡(luò)參數(shù)，對(duì)遮擋人臉識(shí)別誤差增長(zhǎng)和識(shí)別速度增長(zhǎng)比做進(jìn)一步分析，實(shí)驗(yàn)均是在相同的配置下進(jìn)行，以不同修剪比例對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，實(shí)驗(yàn)結(jié)果如圖7 所示。 本文提出的壓縮模型在確保識(shí)別精度受影響最小的基礎(chǔ)上，提高了遮擋人臉的識(shí)別速度，對(duì)網(wǎng)絡(luò)規(guī)模進(jìn)行精簡(jiǎn)優(yōu)化的同時(shí)，大大提高了人臉識(shí)別的時(shí)效性，使網(wǎng)絡(luò)的復(fù)雜度和識(shí)別速度得以平衡。

圖7 人臉識(shí)別性能比較Fig. 7 Comparison of face recognition performance

3 結(jié)束語(yǔ)

本文提出了一種基于深度殘差網(wǎng)絡(luò)模型壓縮的遮擋人臉識(shí)別方法，該方法將改進(jìn)后的殘差網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，采用結(jié)構(gòu)化剪枝策略縮減模型中卷積層的冗余濾波器，實(shí)現(xiàn)模型的壓縮，提高識(shí)別效率。在原始LFW 和遮擋人臉數(shù)據(jù)集上的綜合實(shí)驗(yàn)表明，該模型在顯著減少人臉識(shí)別時(shí)間的同時(shí)，保證了識(shí)別精度降低的最小限度。 此外，文中提出的方法在一般人臉識(shí)別上具有很好的廣泛性。