張子昊，王蓉，*

（1.中國(guó)人民公安大學(xué) 警務(wù)信息工程與網(wǎng)絡(luò)安全學(xué)院，北京 100038；2.安全防范技術(shù)與風(fēng)險(xiǎn)評(píng)估公安部重點(diǎn)實(shí)驗(yàn)室，北京 100038）

人臉特征具有易獲取、易捕捉、易處理以及非接觸式等特性，已經(jīng)受到學(xué)者們的廣泛關(guān)注，并在公共安全等領(lǐng)域應(yīng)用日趨廣泛。但是，在實(shí)際的應(yīng)用場(chǎng)景下，人臉識(shí)別精度依然受到不同的姿態(tài)、光照、遮擋等因素的影響。因此，如何提取更具魯棒性的特征來(lái)有效地辨識(shí)人臉便成為解決問(wèn)題的關(guān)鍵。傳統(tǒng)的人臉識(shí)別方法主要有主成分分析法（PCA）［1］以及局部二值模式（LBP）［2］。主成分分析法就是將高維人臉信息通過(guò)正交變化投影到低維子空間中，形成特征臉，然后通過(guò)分類器對(duì)低維的特征臉進(jìn)行分類；局部二值法是將檢測(cè)窗口劃分為許多小區(qū)域，對(duì)每一個(gè)像素將其與周圍相鄰像素比較，并重新賦值，通過(guò)計(jì)算每個(gè)區(qū)域的直方圖，并使用機(jī)器學(xué)習(xí)的方法對(duì)其進(jìn)行分類。近年來(lái)，隨著深度學(xué)習(xí)應(yīng)用的日趨廣泛，使用深度學(xué)習(xí)的方法來(lái)進(jìn)行人臉識(shí)別成為計(jì)算機(jī)視覺(jué)領(lǐng)域的熱門方向。

與傳統(tǒng)方法相比，深度學(xué)習(xí)的方法通過(guò)海量的數(shù)據(jù)來(lái)訓(xùn)練模型，使模型提取到的人臉特征更具有泛化性。最具代表性的是香港中文大學(xué)湯曉鷗團(tuán)隊(duì)提出的Deep ID［3］系列。該團(tuán)隊(duì)中的Sun等提出Deep ID1［4］通過(guò)使用單一的卷積網(wǎng)絡(luò)來(lái)進(jìn)行特征提取并進(jìn)行分類識(shí)別，之后，又在文獻(xiàn)［4］的基礎(chǔ)上提出了Deep ID2［5］模型，通過(guò)將人臉認(rèn)證信號(hào)和人臉驗(yàn)證信號(hào)引入網(wǎng)絡(luò)，以達(dá)到增大類間距縮小類內(nèi)距的要求。隨后，為了進(jìn)一步提高模型提取特征的代表性和魯棒性，Google提出了FaceNet［6］模型，將模型映射到歐幾里德空間，并使用三元組損失Trip let loss［7］來(lái)增大類間距，從而提高模型性能；為了解決不同特征向量大小對(duì)分類效果的影響，Deng等提出Arcface［8］損失，將特征向量歸一化到超球面上，使模型在角度空間對(duì)分類的邊界進(jìn)行最大化；為了解決訓(xùn)練過(guò)程中超參數(shù)的選擇問(wèn)題，Zhang等提出AdaCos［9］人臉損失函數(shù)，引入自適應(yīng)動(dòng)態(tài)縮放參數(shù)來(lái)解決超參數(shù)的選擇問(wèn)題。但是以上介紹的方法中主干網(wǎng)絡(luò)大多比較復(fù)雜，模型參數(shù)較多，增加了計(jì)算量，影響計(jì)算效率以及模型的收斂速度。

本文在MobileFaceNet［10］網(wǎng)絡(luò)的基礎(chǔ)上加入風(fēng)格注意力機(jī)制，將改進(jìn)后的模型作為特征提取網(wǎng)絡(luò)，使提取到的特征更具代表性和魯棒性。同時(shí)引入AdaCos人臉損失函數(shù)來(lái)對(duì)模型進(jìn)行訓(xùn)練，通過(guò)動(dòng)態(tài)自適應(yīng)縮放系數(shù)的調(diào)節(jié)優(yōu)化訓(xùn)練，減少了人為調(diào)節(jié)超參數(shù)對(duì)訓(xùn)練的影響，提高了訓(xùn)練效率。

1 基于M obileFaceNet網(wǎng)絡(luò)的人臉識(shí)別方法

1.1 M obileNetV1和M obileNetV 2網(wǎng)絡(luò)

MobileNetV1［11］是Google發(fā)布的網(wǎng)絡(luò)架構(gòu)，提出深度可分離卷積的概念。其核心就是把卷積拆分為Depthwise+Pointwise兩部分。其中Depthwise卷積是指不跨通道的卷積，即Feature Map的每個(gè)通道有一個(gè)獨(dú)立的卷積核，并且這個(gè)卷積核作用且僅作用在這個(gè)通道之上，輸出Feature Map的通道數(shù)等于輸入Feature Map的通道數(shù)，因此它并沒(méi)有升維或者降維的功能。Pointwise卷積用于特征合并以及升維或者降維，一般使用1×1的卷積來(lái)實(shí)現(xiàn)功能。由此，可以將一個(gè)普通的卷積拆分成如圖1所示的結(jié)構(gòu)，圖中：N、M 和Dk分別為卷積的個(gè)數(shù)、卷積通道數(shù)和卷積的寬、高。

圖1 可分離卷積示意圖Fig.1 Schematic diagram of detachable convolution

標(biāo)準(zhǔn)卷積的參數(shù)數(shù)量是Dk×Dk×M×N；卷積核的尺寸是Dk×Dk×M，一共有N個(gè)，每一個(gè)都要進(jìn)行Dw×Dh次運(yùn)算，所以標(biāo)準(zhǔn)卷積的計(jì)算量P1為

式中：Dw和Dh分別為標(biāo)準(zhǔn)卷積的寬和高。

深度可分離卷積的參數(shù)量是：Dk×Dk×M+1×1×M×N；深度可分離卷積的計(jì)算量是由深度卷積和逐點(diǎn)卷積兩部分組成：深度卷積的卷積核尺寸Dk×Dk×M，一共要做Dw×Dh次乘加運(yùn)算；逐點(diǎn)卷積的卷積核尺寸為1×1×M，有N個(gè)，一共要做Dw×Dh次乘加運(yùn)算，所以深度可分離卷積的計(jì)算量P2為

參數(shù)數(shù)量和乘加操作的運(yùn)算量下降倍數(shù)P3為

從式（3）可以看出，深度可分離卷積在參數(shù)數(shù)量以及計(jì)算量上與標(biāo)準(zhǔn)卷積相比，大幅度的降低，提升了模型的運(yùn)算效率。

深度卷積本身沒(méi)有改變通道的能力，即輸入通道等于輸出通道若是輸入通道數(shù)較少，則深度卷積只能在低維度工作，最終卷積效并不會(huì)很好。所以MobileNetV2［12］在MobileNetV1的深度卷積層之前，使用1×1的卷積進(jìn)行升維操作，使網(wǎng)絡(luò)在一個(gè)更高維的空間進(jìn)行特征提取，這就使得提取到的特征更具全局性。同時(shí)，為了解決低維度Relu運(yùn)算產(chǎn)生的信息丟失問(wèn)題，將最后一個(gè)Relu替換成Linear線性激活函數(shù)。MobileNetV2網(wǎng)絡(luò)結(jié)構(gòu)如表1所示，表中：z為通道擴(kuò)張倍數(shù)；c為輸出通道數(shù)；n為重復(fù)次數(shù)；v為步長(zhǎng)；f為輸入通道數(shù)。

表1 M obileNetV2網(wǎng)絡(luò)結(jié)構(gòu)Table 1 M obileNetV2 network structu re

1.2 M obileFaceNet人臉特征提取網(wǎng)絡(luò)

MobileFaceNet是MobileNetV2的改進(jìn)版本。由于MobileNetV2中使用的是平均池化層，但是針對(duì)同一張圖片，不同像素點(diǎn)的權(quán)重是不同的，全局的平均池化將權(quán)重平均，網(wǎng)絡(luò)的表現(xiàn)能力自然會(huì)下降。所以在MobileFaceNet中，使用一個(gè)7×7×512的可分離卷積代替原本的全局平均池化層。同時(shí)使用Prelu代替Relu激活函數(shù)，并引入歸一化層來(lái)加快模型收斂，防止模型過(guò)擬合。MobileFaceNet的網(wǎng)絡(luò)結(jié)構(gòu)如表2所示。

表2 M obileFaceNet網(wǎng)絡(luò)結(jié)構(gòu)Tab le 2 M obileFaceNet network structu re

網(wǎng)絡(luò)結(jié)構(gòu)不僅保留了MobileNetV2的升降維層以及線性激活函數(shù)，同時(shí)還在全連接層之前引入7×7的可分離卷積來(lái)替代原本的平均池化層，使網(wǎng)絡(luò)提取到的特征更具泛化性和全局性。

1.3 AdaCos人臉損失函數(shù)

Softmax目前被廣泛應(yīng)用于圖片分類中，主要通過(guò)輸出樣本屬于各個(gè)類的概率大小來(lái)區(qū)分不同類別之間的特征。但是Softmax并沒(méi)有對(duì)類內(nèi)和類間距離進(jìn)行約束，這就大大影響了人臉識(shí)別的精度。最新的人臉損失函數(shù)Arcface以及AdaCos就是基于Softmax改進(jìn)的。

1.3.1 Arcface損失函數(shù)

Softmax函數(shù)為

式中：m為每一個(gè)訓(xùn)練批次的大小；i為圖像編號(hào)；j為當(dāng)前樣本的真實(shí)標(biāo)簽+byi表示全連接層輸出，、xi、byi和yi分別為第i個(gè)圖像類別的權(quán)重、圖像的特征、圖像類別的偏差和圖像的真實(shí)類別的標(biāo)簽。通過(guò)提高+byi所占有的比重，提高對(duì)該類別的分類效果。但是Softmax只考慮到樣本的分類正確性，而對(duì)于人臉識(shí)別這樣的多分類問(wèn)題，缺乏類內(nèi)和類間距離約束。又因?yàn)闉樘卣飨蛄縳和權(quán)重W 之間的夾角，即特征向量相乘包含有角度信息。為了讓卷積網(wǎng)絡(luò)提取到的特征可以學(xué)習(xí)到更可分的角度特性，將特征的權(quán)重值固定成一個(gè)定值s，同時(shí)為了簡(jiǎn)化模型參數(shù)，將偏置值設(shè)為0。這就將提取到的特征轉(zhuǎn)化到了角度空間，使得決策邊界只與角度有關(guān)。最后，通過(guò)引入一個(gè)新參數(shù)t（t＞0）來(lái)控制角度余弦量值的大小，使得網(wǎng)絡(luò)可以學(xué)習(xí)到更有區(qū)分度的特征。最終Arcface損失函數(shù)為

1.3.2 AdaCos損失函數(shù)

AdaCos損失函數(shù)在Arcface的基礎(chǔ)上引入一個(gè)動(dòng)態(tài)自適應(yīng)縮放系數(shù)sd，使得在訓(xùn)練過(guò)程中可以動(dòng)態(tài)地調(diào)整超參數(shù)，同時(shí)去掉了控制角度余弦量值的參數(shù)t。最終AdaCos損失函數(shù)為

式中：C1為類別的數(shù)量；θi，j為特征向量xi和對(duì)應(yīng)權(quán)重之間的夾角為一個(gè)動(dòng)態(tài)縮放系數(shù)，會(huì)隨著迭代次數(shù)td的不同，取值有2種情況，如下：

式中：N（t）為一個(gè)批次中人臉的類別數(shù)量；Nl為類別總數(shù)；kl為第i個(gè)圖像的真實(shí)類別。

由AdaCos的公式可以看出，動(dòng)態(tài)自適應(yīng)參數(shù)在每次迭代的時(shí)候?qū)Ψ诸惛怕实挠绊懯遣煌?，由此就可以根?jù)模型的收斂程度動(dòng)態(tài)的產(chǎn)生合理的縮放系數(shù)，加快模型的收斂速度。

2 改進(jìn)方法

本節(jié)在MobileFaceNet人臉特征提取網(wǎng)絡(luò)的基礎(chǔ)上，將風(fēng)格注意力機(jī)制重新校準(zhǔn)模塊（Stylebased Recalibration Module，SRM）［13］加入到MobileFaceNet網(wǎng)絡(luò)中，進(jìn)一步提高了提取特征的魯棒性和全局性。人臉識(shí)別方法流程如圖2所示，多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)（MTCNN）是一種人臉檢測(cè)方法。

圖2 人臉識(shí)別方法流程Fig.2 Face recognition method flowchart

方法流程主要分為3個(gè)部分，即數(shù)據(jù)預(yù)處理、基于SRM模塊改進(jìn)的MobileFaceNet人臉特征提取網(wǎng)絡(luò)、輸出人臉?lè)诸惤Y(jié)果。之后使用自適應(yīng)人臉損失函數(shù)AdaCos來(lái)監(jiān)督訓(xùn)練過(guò)程，減少了設(shè)置超參數(shù)對(duì)訓(xùn)練效果的影響，同時(shí)進(jìn)一步擴(kuò)大類間間距，縮小類內(nèi)間距。方法的整體實(shí)現(xiàn)是基于pytorch框架。

2.1 SRM 模塊

通常來(lái)說(shuō)，不同的人臉圖像會(huì)有不同的屬性特征，卷積網(wǎng)絡(luò)層通過(guò)提取圖片特征來(lái)進(jìn)行分類和識(shí)別。然而，針對(duì)不同的人臉圖像會(huì)有不同的風(fēng)格，這些風(fēng)格屬性會(huì)進(jìn)一步影響卷積網(wǎng)絡(luò)對(duì)特征的提取，進(jìn)而影響之后的識(shí)別和分類精度。

SRM通過(guò)特征重新校準(zhǔn)的形式明確地將風(fēng)格信息合并到卷積神經(jīng)網(wǎng)絡(luò)（CNN）表示中。根據(jù)不同人臉圖像的風(fēng)格屬性，動(dòng)態(tài)地估計(jì)各個(gè)風(fēng)格特征的相對(duì)重要性，然后根據(jù)風(fēng)格的重要性動(dòng)態(tài)的調(diào)整特征權(quán)重，這使得網(wǎng)絡(luò)可以專注于有意義的風(fēng)格信息，而忽略不必要的風(fēng)格信息。SRM 模塊結(jié)構(gòu)如圖3所示，C、H、W和d分別為通道的個(gè)數(shù)、特征圖高度、特征圖的寬度和風(fēng)格特征的數(shù)量。

圖3 SRM模塊結(jié)構(gòu)Fig.3 SRM module structure

SRM模塊由2個(gè)主要組件組成：風(fēng)格池化層（Style Pooling）和風(fēng)格整合層（Style Integration）。風(fēng)格池化層通過(guò)匯總不通空間維度的特征響應(yīng)，從每個(gè)通道提取風(fēng)格特征；風(fēng)格整合層通過(guò)逐通道操作，針對(duì)圖片的不同位置，利用風(fēng)格特征生成相應(yīng)的風(fēng)格權(quán)重。同時(shí)根據(jù)不同的風(fēng)格權(quán)重重新校準(zhǔn)特征映射，以強(qiáng)調(diào)或隱藏它們的信息

與幼兒談話，是發(fā)展幼兒語(yǔ)言能力較好的一種方法。但在實(shí)際教學(xué)中我們發(fā)現(xiàn)，和幼兒談話時(shí)，剛開(kāi)始幼兒往往有著很強(qiáng)烈的交流欲望，但隨著活動(dòng)的進(jìn)展和時(shí)間的推移，幼兒往往會(huì)出現(xiàn)注意力不集中、交流興趣下降、談話效果不理想的狀況。

2.1.1 風(fēng)格池化層

風(fēng)格池化層包括2個(gè)部分，即平均池化層和標(biāo)準(zhǔn)差池化層。對(duì)于每一個(gè)輸入為 X ∈RNd×C×H×W的特征圖，Nd為小批次中樣本的個(gè)數(shù)，首先通過(guò)平均池化層，具體操作如下：

式中：μnc為原特征圖平均池化后的結(jié)果；xnchw為原特征圖，n、c、h和w分別為Nd、C、H和W 的分量。其次，將平均池化層的結(jié)果與原輸入特征圖進(jìn)行標(biāo)準(zhǔn)差的計(jì)算，具體過(guò)程如下：

式中：σnc為經(jīng)過(guò)標(biāo)準(zhǔn)池化層后的結(jié)果。最后，經(jīng)過(guò)風(fēng)格池化層的結(jié)果如下：

其中：tnc為經(jīng)過(guò)風(fēng)格池化層后的特征向量。

2.1.2 風(fēng)格整合層

風(fēng)格整合層包括3個(gè)部分，即通道全連接層（Channel-wise Fully Connected，CFC）、歸一化層（Batch Normalization，BN）［14］以及激活層。將從風(fēng)格池化層輸出的結(jié)果作為風(fēng)格整合層的輸入，具體操作如式（12）～式（16）所示。

2.2 基于風(fēng)格注意力機(jī)制改進(jìn)的M obileFaceNet人臉特征提取網(wǎng)絡(luò)

MobileFaceNet人臉特征提取網(wǎng)絡(luò)中有5個(gè)bottleneck層，其結(jié)構(gòu)如圖4所示。

圖4 MobileFaceNet中bottleneck層結(jié)構(gòu)Fig.4 Structure of bottleneck layer in MobileFaceNet

將SRM模塊加入到bottleneck層中后的結(jié)構(gòu)如圖5所示。

圖5 MobileFaceNet-SRM bottleneck層結(jié)構(gòu)Fig.5 MobileFaceNet-SRM bottleneck layer structure

將SRM結(jié)構(gòu)放在了bottleneck層中的Depthwise操作之后，使得特征提取網(wǎng)絡(luò)可以根據(jù)特征圖的風(fēng)格信息來(lái)動(dòng)態(tài)地增強(qiáng)有用的特征表達(dá)，抑制可能的噪聲，提高了特征提取的魯棒性和代表性。這一操作與MobileNetV3［15］的網(wǎng)絡(luò)架構(gòu)相似，不同的是MobileNetV3的網(wǎng)路架構(gòu)加入SE模塊［16］。

3 仿真實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置

3.1.1 數(shù)據(jù)預(yù)處理

本文使用CASIA-Webface人臉數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集，包含了10 575個(gè)人的494 414張圖像。使用MTCNN［17］人臉檢測(cè)方法對(duì)CASIA-Webface中的圖片進(jìn)行再檢測(cè)，并將檢測(cè)到的人臉圖片裁剪成112×112個(gè)像素大小。

測(cè)試數(shù)據(jù)集選用的是LFW、CFP-FF、以及AgeDB 3個(gè)人臉數(shù)據(jù)集來(lái)進(jìn)行模型的評(píng)估。LFW數(shù)據(jù)集包含5749人共13233張人臉圖像；CFP數(shù)據(jù)集包含500個(gè)身份，每個(gè)身份有10個(gè)正臉，4個(gè)側(cè)臉，本實(shí)驗(yàn)使用CFP數(shù)據(jù)集中的FP（Frontal-Profile）人臉驗(yàn)證，即CFP-FP（CFP with Frontal-Profile）數(shù)據(jù)集；AgeDB 數(shù)據(jù)集包含440人共12 240張人臉圖像。

3.1.2 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

實(shí)驗(yàn)中所有方法都是在pytorch框架下通過(guò)python語(yǔ)言實(shí)現(xiàn)的。訓(xùn)練和測(cè)試步驟在NVIDIA GTX2080Ti GPU上運(yùn)行。訓(xùn)練總輪數(shù)epoch設(shè)置為50，訓(xùn)練初始學(xué)習(xí)率設(shè)置為0.1，迭代到10、25、40個(gè)epoch時(shí)，學(xué)習(xí)率每次除以10。訓(xùn)練中的bitchsize設(shè)置為64，總的權(quán)重衰減參數(shù)設(shè)置為5×10-4；使用隨機(jī)梯度下降策略SGD優(yōu)化模型，動(dòng)量參數(shù)設(shè)置為0.9。

3.2 在不同backbone上的結(jié)果

不同的特征提取網(wǎng)絡(luò)分別為Resnet-50、MobileFaceNet、MobileFaceNet-SRM，并 使 用AdaCos人臉識(shí)別損失來(lái)監(jiān)督訓(xùn)練過(guò)程。ResNet50是AdaCos使用的基礎(chǔ)網(wǎng)絡(luò)；MobileFaceNet是改進(jìn)前的特征提取網(wǎng)絡(luò)；MobileFaceNet-SRM 是加入SRM模塊后的特征提取網(wǎng)絡(luò)。評(píng)估指標(biāo)包括在3個(gè)數(shù)據(jù)集上的測(cè)試準(zhǔn)確度以及模型大小，具體表現(xiàn)如表3所示。從表3可以看出，基于Mobile-FaceNet人臉識(shí)別方法在3個(gè)數(shù)據(jù)集上的測(cè)試準(zhǔn)確度與ResNet50相比，在LFW、CFP-FF、AgeDB 3個(gè)數(shù)據(jù)集上分別提升了 0.49%、0.81%、2.48%，同時(shí)模型參數(shù)數(shù)量大大降低；在將SRM模塊加入到MobileFaceNet后，與改進(jìn)前的模型相比，模型參數(shù)數(shù)量略有提升，但是識(shí)別精度在LFW、CFP-FF、AgeDB 3個(gè)數(shù)據(jù)集上分別提升了0.25%、0.16%、0.3%，可以看出改進(jìn)后的模型在精度上有所提升，證明了改進(jìn)后模型的有效性。

表3 基于AdaCos的損失函數(shù)不同卷積框架人臉識(shí)別模型性能比較Tab le 3 Perform ance com parison of face recognition m odels w ith different convolution fram es based on AdaCos loss function

圖6是3種主干網(wǎng)絡(luò)在人臉損失函數(shù)Ada-Cos監(jiān)督訓(xùn)練下，在AgeDB評(píng)測(cè)數(shù)據(jù)集上的受試者工作特征（Receiver Operating Characteristic，ROC）曲線。橫軸為假正率（FPR），指的是分類器識(shí)別出的假正實(shí)例占所有負(fù)實(shí)例的比例；縱軸為真正率（TPR），指的是識(shí)別出的真正實(shí)例占所有正實(shí)例的比例。從圖6可以看出，MobileFaceNet相較于ResNet50網(wǎng)絡(luò)識(shí)別精度有明顯提升，同時(shí)模型參數(shù)數(shù)量大大減少，計(jì)算效率有所提高。在向MobileFaceNet中引入風(fēng)格注意力機(jī)制后，準(zhǔn)確度相較于改進(jìn)前的模型有所提升，這表明改進(jìn)后的MobileFaceNet人臉識(shí)別方法的有效性。

圖6 三種主干網(wǎng)絡(luò)在AgeDB數(shù)據(jù)集上的ROC曲線Fig.6 ROC curves of three backbone networks on AgeDB dataset

4 結(jié) 論

1）本文基于MobileFaceNet網(wǎng)絡(luò)提出了一種新的人臉識(shí)別方法，通過(guò)引入風(fēng)格注意力機(jī)制來(lái)增強(qiáng)特征的表達(dá)，將改進(jìn)后的模型作為特征提取網(wǎng)絡(luò)，大大減少了模型的參數(shù)數(shù)量，提高了模型的計(jì)算效率，同時(shí)提高了提取特征的魯棒性和代表性。

2）使用自適應(yīng)縮放損失函數(shù)AdaCos作為人臉損失函數(shù)來(lái)監(jiān)督訓(xùn)練，通過(guò)動(dòng)態(tài)自適應(yīng)縮放系數(shù)，在訓(xùn)練過(guò)程中動(dòng)態(tài)調(diào)整超參數(shù)，加快了模型的收斂速度。在LFW、CFP-FF和AgeDB 3個(gè)人臉數(shù)據(jù)集上對(duì)算法性能進(jìn)行評(píng)測(cè)。

3）實(shí)驗(yàn)結(jié)果表明，本文方法相較于之前的人臉識(shí)別方法，在識(shí)別精度有所提升的基礎(chǔ)上，大大降低了模型參數(shù)的數(shù)量，有效地減少了模型的計(jì)算量以及模型復(fù)雜度。