張萬里 陳 越 楊奎武 張 田 胡學先

（戰(zhàn)略支援部隊信息工程大學 鄭州 450001）

（wanli_zhang@aliyun.com）

深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural network,DCNN）在人臉識別（face recognition,FR）取得了巨大的成功.在無約束的環(huán)境中，人臉識別在速度和準確度等幾個指標上達到飽和狀態(tài).由于其優(yōu)越的性能，人臉識別在身份認證、權(quán)限管理、安防監(jiān)控等安全敏感性任務(wù)中得到了廣泛的應(yīng)用，這進一步增加了對人臉識別模型的安全性需求，特別是新冠疫情期間，口罩佩戴下的遮擋人臉識別就給人臉識別技術(shù)帶來了前所未有的挑戰(zhàn).為推動開放場景中人臉識別技術(shù)的提升，中國圖象圖形學學會和視頻國家工程實驗室主辦了CSIG FAT-AI 2021 開放場景口罩人臉識別挑戰(zhàn)賽；2021 年6 月，計算機視覺國際會議（ICCV）組織了遮擋人臉識別挑戰(zhàn)賽[1]；2022年，蘋果iOS 15.4 系統(tǒng)聲稱可以在戴口罩的情況下使用Face ID[2].可見，遮擋人臉識別（occluded face recognition,OFR）近幾年已成為人臉識別領(lǐng)域的熱門研究方向.然而，截至目前，國內(nèi)外還沒有OFR 開源模型，也沒有相應(yīng)的對抗樣本生成方法，這不但限制OFR 的安全性研究，也使得OFR 的應(yīng)用面臨安全風險.開展針對OFR 的對抗樣本生成技術(shù)研究，發(fā)現(xiàn)其脆弱性，不僅對推動OFR 模型的應(yīng)用落地、提高模型的魯棒性具有重要意義[3]，還能在指導(dǎo)OFR 數(shù)據(jù)保護、保障個人信息安全方面具有很強的實用性[4].

1 相關(guān)工作

1.1 遮擋人臉識別技術(shù)

不管是在傳統(tǒng)的人臉識別還是在遮擋人臉識別中，特征提取都是最關(guān)鍵的一環(huán).深度學習強大的數(shù)據(jù)表征能力使傳統(tǒng)的人臉識別方法逐漸被基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network,CNN）的深度學習方法接替.香港中文大學開發(fā)的DeepID[5]人臉識別模型，采用CNN 作為特征提取器，將人臉圖像剪裁為多個局部塊，每個局部塊分別訓(xùn)練，最后將多個局部塊的特征級聯(lián)得到最后的人臉特征.隨后，Google 開發(fā)的FaceNet[6]將度量學習思想引入CNN的訓(xùn)練中，提出了Triplet loss，通過構(gòu)建一個包含了2個同類樣本以及一個不同類樣本的三元組、學習將同一人的人臉圖像特征拉近、不同人的特征拉遠，從而增強了特征的區(qū)分性.

雖然Triplet loss 借助度量學習的思想可以增強特征的區(qū)分性，但是當人臉樣本數(shù)增加，潛在的三元組數(shù)量很大，而構(gòu)建三元組就需要復(fù)雜的采樣過程.此外采樣會帶來隨機的干擾，對算法的魯棒性有一定的影響.針對這些問題，Wen 等人[7]提出Center loss，通過引入一個使特征向其類心靠攏的損失項，不必構(gòu)建三元組就能學習到內(nèi)聚性特征，取得了優(yōu)良的識別效果.

最近幾年來，基于角度度量的人臉特征提取算法相繼被提出，包括Sphereface[8]，CosFace[9]，ArcFace[10].這些方法對傳統(tǒng)的softmax 損失進行改進，使得同一個人的人臉圖像特征之間的夾角變小，不同人特征之間的夾角變大，從而增強夾角余弦度量下人臉特征的區(qū)分能力.當人臉因為遮擋造成特征缺失時，通常會導(dǎo)致算法精度大幅度降低.因此，擁有強大數(shù)據(jù)表征能力的深度學習方法在遮擋人臉識別的準確率上也強于傳統(tǒng)方法.目前，業(yè)界對于遮擋人臉的識別主要采用2 種方法實現(xiàn)[11].

1）局部特征增強.其核心思想是通過提升人臉可見區(qū)域權(quán)重，定位非遮擋區(qū)域的面部關(guān)鍵點，精準分析面部特征屬性并進行比對，從而提升遮擋人臉識別準確率.例如，在CSIG FAT-AI 2021 開放場景口罩人臉識別挑戰(zhàn)賽中，百度團隊和同為數(shù)碼科技的團隊都采用了局部特征增強的方法.前者針對戴口罩人臉識別問題，引入一種簡單的口罩增強方法，能夠在訓(xùn)練過程中對圖片加入預(yù)設(shè)的口罩模板.后者為了適合口罩人臉識別的目標場景，在非口罩人臉訓(xùn)練集圖片上將70%圖片隨機剪裁來模擬口罩.此外，這些團隊還采取了高斯模糊、隨機旋轉(zhuǎn)等其他數(shù)據(jù)增強方式.

2）先對遮擋人臉進行修復(fù)，再對修復(fù)后的人臉圖像進行識別.Li 等人[12]提出一種基于深度生成模型的人臉修復(fù)算法，模型訓(xùn)練時結(jié)合重構(gòu)損失、對抗性損失和語義解析損失來保證修復(fù)后人臉的局部和全局一致性.但該方法采用了盲修復(fù)的方式，即對整個人臉圖像進行重構(gòu)，并沒有考慮遮擋的位置信息.Mathai 等人[13]研究了修復(fù)人臉對識別的影響，并對太陽鏡、麥克風、手和帽子4 種遮擋類型分別進行修復(fù)識別，最后得出結(jié)論：修復(fù)的人臉圖像在人臉識別的算法中比不修復(fù)的人臉圖像識別準確率要高，并且隨著遮擋物面積的增大差距更加明顯.同時，先修復(fù)后識別的遮擋人臉識別研究在公安辦案、社會治理等領(lǐng)域也有著重大的意義.

1.2 對抗樣本生成算法

2013 年，Szegedy 等人[14]揭示了深度神經(jīng)網(wǎng)絡(luò)的脆弱性，并提出了對抗樣本的概念，此后越來越多的對抗攻擊方法被提出.Goodfellow 等人[15]基于CNN的高維線性假說提出了一種快速梯度符號法（fast gradient sign method,FGSM），通過沿損失函數(shù)梯度相反的方向創(chuàng)建擾動使模型誤判.給定一個分類模型f(x):x∈X→y∈Y，對輸入x，輸出y作為分類預(yù)測.對抗攻擊的目標是在x附近尋找一個樣本x?，導(dǎo)致模型輸出錯誤.具體來說，有2 類對抗樣本，非定向?qū)箻颖竞投ㄏ驅(qū)箻颖?，兩者的區(qū)別在于定向?qū)箻颖疽T導(dǎo)模型被錯誤識別為指定的目標.大多數(shù)情況下，對抗性擾動的Lp范 數(shù)要求 ‖x?-x‖p≤ε，其中ε是人為設(shè)定的閾值，p可以為0，1，2，∞.FGSM 通過最小化損失函數(shù)J(x?,y)來 尋找一個對抗樣本x?：

其中 ?xJ(x,y)為損失函數(shù)的梯度，邊界使用L∞范式.FGSM 速度較快，但每次攻擊只涉及單次梯度更新，容易陷入局部最優(yōu)值.

因此，一些研究在FGSM 的基礎(chǔ)上作了各種改進，一類是引入迭代思想，基礎(chǔ)迭代法（basic iterative method,BIM）在FGSM 的基礎(chǔ)上加入了迭代過程，因此又稱I-FGSM（iterative-FGSM）[16].該方法沿著梯度上升的方向進行多步小擾動，并且在每一小步后重新計算梯度方向，相比FGSM 能產(chǎn)生更接近最優(yōu)解的對抗樣本，但代價是增大了計算量.表述為

其中邊界可以使用L2或者L∞范數(shù)，是經(jīng)過t次FGSM 后的對抗樣本，函數(shù)Clipx,ε(A)將輸入向量A中的每個元素Ai,j裁剪到 [xi,j-1,xi,j+ε]之 間，α表示每次迭代圖像像素更新的幅值.結(jié)果表明，迭代方法比單步方法具有更強的白盒攻擊能力，但這種針對性的迭代計算降低了擾動的遷移性.

另一類是引入動量，通過在迭代過程中沿損失函數(shù)的梯度方向累積速度矢量，增大梯度下降的速度.動量迭代法（momentum iterative-FGSM,MI-FGSM）[17]將動量集成到I-FGSM 中，可以在迭代過程中穩(wěn)定更新方向.

此外，Carlini 和Wagner[18]提出的C&W 攻擊算法將擾動最小化和損失函數(shù)最大化這2 個優(yōu)化問題結(jié)合為1 個目標函數(shù)，C&W 同時支持l0，l2，l∞攻擊，這3種攻擊方式算法基本相同，本文實驗中采用使用最為廣泛的l2定向攻擊.假設(shè)攻擊目標為t，被攻擊模型的Logits 輸出為Z，那么目標函數(shù)定義為

對抗樣本的另一個特性是它們可以在不同的神經(jīng)網(wǎng)絡(luò)之間遷移，針對一個模型準備的攻擊可以成功地混淆具有不同架構(gòu)和訓(xùn)練數(shù)據(jù)集的另一個模型，這稱為對抗樣本的遷移性[14].按照目標模型是否已知，可以分為白盒攻擊和黑盒攻擊，白盒攻擊假設(shè)完全了解目標模型，即其參數(shù)、體系結(jié)構(gòu)、訓(xùn)練方法，甚至還包括其訓(xùn)練數(shù)據(jù).在不知道目標模型的情況下生成對抗樣本稱為黑盒攻擊[19].當研究者想對一個平臺的黑盒模型進行攻擊時，一種可行的方法是先訓(xùn)練一個與目標模型具有相似決策邊界的替代模型，之后對模型進行白盒攻擊得到對抗樣本，再利用遷移性實現(xiàn)對目標模型的攻擊.

由于基于局部特征增強的OFR 模型未開源，因此針對這類模型的攻擊是典型的黑盒攻擊.然而，傳統(tǒng)的對抗樣本生成方法存在著一定的局限性，如局部特征增強使得模型的權(quán)重發(fā)生改變，這使得傳統(tǒng)的MI-FGSM 的攻擊效果會有所削弱.同時，對于基于人臉修復(fù)的OFR，修復(fù)操作會更改輸入的人臉圖像，從而破壞了傳統(tǒng)方法精心生成的對抗樣本，導(dǎo)致無法達到對抗攻擊的既定目標.考慮到OFR 模型的復(fù)雜情況，需要一種能根據(jù)其實現(xiàn)技術(shù)自適應(yīng)調(diào)整攻擊策略的對抗樣本生成方法.

2 目標人臉修復(fù)識別模型（Arc-UFI）

鑒于目前缺乏OFR 開源模型，為驗證攻擊效果，本文以口罩遮擋人臉識別為現(xiàn)實需求，借鑒經(jīng)典圖像補全和人臉修復(fù)算法，建立了一種人臉修復(fù)OFR 模型——Arc-UFI（occlusion face recognition model based on Arcface with U-Net face inpainting），并將其作為目標模型以測試本文所提出攻擊方法的有效性.

2.1 口罩遮擋人臉數(shù)據(jù)集構(gòu)建

本文以CelebA[20]人臉數(shù)據(jù)集為基礎(chǔ)進行口罩遮擋數(shù)據(jù)增強，生成了口罩遮擋人臉數(shù)據(jù)集，命名為Mask-CelebA.

數(shù)據(jù)集具體構(gòu)建過程為：對于每張人臉圖像，通過人臉特征點檢測匹配口罩的關(guān)鍵區(qū)域，隨后自適應(yīng)調(diào)節(jié)口罩大小、傾斜角度以及亮度，以便將各式各樣的口罩模板自然地貼合在人臉圖像上，部分樣式如圖1 所示.口罩貼合流程如圖2 所示.

Fig.1 Mask style example圖1 口罩樣式示例

Fig.2 Mask fitting flow chart圖2 口罩貼合流程圖

2.2 Arc-UFI 網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)設(shè)計

1）Arc-UFI 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

Arc-UFI 的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示.Arc-UFI 主要分為2 個模塊：遮擋人臉修復(fù)模塊和人臉識別模塊.人臉修復(fù)模塊包含遮擋區(qū)域的檢測與丟棄、遮擋區(qū)域還原2 個部分，用于實現(xiàn)對輸入人臉圖像Iin遮擋區(qū)域的高效定位與修復(fù)，修復(fù)后的人臉I(yè)inp輸入LResNet100EIR[21]作為骨干網(wǎng)絡(luò)的識別模型完成識別.

Fig.3 Arc-UFI network structure圖3 Arc-UFI 網(wǎng)絡(luò)結(jié)構(gòu)

Arc-UFI 的人臉修復(fù)模塊使用了編解碼結(jié)構(gòu)，網(wǎng)絡(luò)架構(gòu)采用U-Net[22]，用于提取圖像的深度特征.為了提升網(wǎng)絡(luò)性能和方便模型訓(xùn)練，Arc-UFI 對U-Net網(wǎng)絡(luò)進行了修改，將殘差塊引入U-Net 網(wǎng)絡(luò)當中，通過在編碼器和解碼器中增加“跳躍連接”（圖4 中的虛線箭頭），彌補信息損失、提升網(wǎng)絡(luò)性能.

Fig.4 Upsampling and downsampling residual blocks used in Arc-UFI圖4 Arc-UFI 中使用的上、下采樣殘差塊

2）Arc-UFI 損失函數(shù)設(shè)計

Arc-UFI 使用Adam 優(yōu)化器[23]訓(xùn)練人臉修復(fù)模型.在圖像補全領(lǐng)域，均方差損失（mean squared error,MSE）[24]是一種常用的計算輸出圖像和真實圖像距離的損失函數(shù)，表示為 LMSE.對于一個m×n尺寸的圖像，損失函數(shù) LMSE為

其中，Iinp（i,j）為修復(fù)后的圖像坐標（i,j）處的像素值，Igt（i,j）為原圖Igt中此位置的像素值.然而，基于MSE的傳統(tǒng)損失函數(shù)不足以表達人眼視覺系統(tǒng)對圖片的直觀感受[25].例如對比的2 張圖片僅僅是亮度不同，但是計算出的 LMSE差別卻很大，而一幅很模糊的圖與另一幅很清晰的圖，它們之間的 LMSE可能反而會很小.因此，為了保證生成的修復(fù)圖像在自然屬性上與真實人臉更接近，損失函數(shù)還引入了結(jié)構(gòu)相似性（structural similarity）函數(shù)SSIM[25]，主要用于測量缺失圖像的真實值和網(wǎng)絡(luò)的輸出值之間的相似程度，記為

其中l(wèi)（Igt,Iinp），c（Igt,Iinp），s（Igt,Iinp）分別為亮度、對比度和結(jié)構(gòu)比較.最終的損失函數(shù)為

其中a為均方差損失的權(quán)重.在Mask-CelebA 數(shù)據(jù)集上訓(xùn)練Arc-UFI 人臉修復(fù)模型，該數(shù)據(jù)集包含超過200 000 個樣本，包含的人臉圖像具有較高的質(zhì)量.將數(shù)據(jù)集分為測試集（1 000 張圖像）、訓(xùn)練集（100 000張圖像），其中20%的訓(xùn)練集圖像作為驗證集.Arc-UFI 的人臉修復(fù)結(jié)果如圖5 所示，圖5（a）為口罩遮擋人臉，圖5（b）為真實人臉，圖5（c）為修復(fù)的人臉.修復(fù)后的人臉能夠有效提高識別準確率，具體參考4.1 節(jié).

Fig.5 Example of Arc-UFI face inpainting圖5 Arc-UFI 人臉修復(fù)示例

3 自適應(yīng)對抗樣本生成方法（AOA）

為了能夠?qū)φ趽跞四樧R別模型進行攻擊，本文提出了一種自適應(yīng)對抗樣本生成方法——AOA（adversarial examples against occluded faces recognition based on adaptive method），該方法主要由針對局部增強的對抗樣本生成模塊AOA1 和針對人臉修復(fù)的對抗樣本生成模塊AOA2 這2 部分構(gòu)成，對抗樣本生成框架如圖6 所示.

Fig.6 Adversarial examples generation framework of AOA圖6 AOA 對抗樣本生成框架

在實際應(yīng)用場景中，需要判斷目標OFR 模型的類別才能有針對性地生成對抗樣本，因此在目標模型類別判斷時，首先假定目標模型屬于局部特征增強模型，然后按照AOA1 方法生成對抗擾動r0，目標模型的輸出為f（x+r0），可以根據(jù) δ(f(x+r0)-yt)的 值判斷是否攻擊成功.當值大于等于閾值 τ時，選擇AOA1 進行攻擊，反之選擇AOA2，記為

其中N表示進行攻擊的次數(shù)，τ的值取決于OFR 這2種實現(xiàn)方法的使用情況分布，目前局部特征增強OFR 應(yīng)用更為廣泛，而隨著人臉修復(fù)OFR 模型的進一步研究，可以相應(yīng)地調(diào)整閾值.為了便于理解，本文中 τ＝0.5.克羅內(nèi)克函數(shù) δ為：

由于局部特征增強的OFR 模型增大了遮擋外可見區(qū)域的識別權(quán)重，因此AOA1 在MI-FGSM 對抗樣本生成方法的基礎(chǔ)上進行了改進：1）對干擾區(qū)域做了針對性的限制，提升了對抗樣本的生成效率，增強了對抗擾動的可視性；2）添加了全變分損失（total variation loss,TV loss）使得對抗樣本更平滑、更自然.

同時，針對人臉修復(fù)的OFR 模型，AOA2 通過破壞其遮擋區(qū)域的分割過程，使得目標模型分割出錯，同時對抗擾動也使得目標模型的識別準確率下降.此外，考慮到物理攻擊的可實現(xiàn)性，AOA2 也對干擾區(qū)域進行了限制.

3.1 對抗干擾區(qū)域限制模塊

1）AOA1 中的遮擋人臉關(guān)鍵區(qū)域框定

局部特征增強方法主要是通過提升人臉可見區(qū)域權(quán)重來實現(xiàn)OFR，所以AOA1 主要將干擾集中在口罩之外的人臉關(guān)鍵區(qū)域，如眼睛、鼻子等.通過在人臉圖像上生成注意力圖，也可以發(fā)現(xiàn)彩色人臉區(qū)域（如圖7（a）所示）在傳統(tǒng)人臉識別任務(wù)中的作用更為突出，而對于基于局部特征增強的OFR 任務(wù)，眼睛部分的作用更為突出（如圖7（b）所示）.因此，可將對抗擾動限制在OFR 中更為重要的眼睛三角區(qū)域.

Fig.7 Face recognition facial attention visualization diagram圖7 人臉識別面部注意力可視化圖

首先使用工具dlib[26]自動標定人臉的68 個特征點，對于口罩遮擋人臉，可能會出現(xiàn)dlib 無法檢測到人臉的情況，此時自動結(jié)合未佩戴口罩時的眉毛、眼睛部位的特征點，預(yù)測出遮擋人臉的特征點，如圖8（b）所示.然后，按照特征點序號31 至35、26 至17 的順序依次連接這15 個點，從而形成了如圖8（c）所示的限制區(qū)域.

Fig.8 Adversarial perturbation region restriction圖8 對抗擾動區(qū)域限制

2）AOA2 中的口罩區(qū)域框定

針對基于人臉修復(fù)的OFR 模型，本文除了在整個圖像添加擾動外，也嘗試將擾動限制在口罩區(qū)域.為了實現(xiàn)口罩區(qū)域框定，本文通過使用Labelme 工具[27]標注生成了一個基于Mask-CelebA 數(shù)據(jù)集的口罩分割數(shù)據(jù)集并對U-Net 模型進行了訓(xùn)練，實現(xiàn)了較好的分割效果，如圖9 所示.

3.2 對抗樣本生成模塊

1）針對局部特征增強OFR 的對抗樣本生成（AOA1）

本文首先針對常用的模型結(jié)構(gòu)IR50，IR101，IR152[28]進行集成，上述模型都在Mask-CelebA 數(shù)據(jù)集上進行FR 訓(xùn)練.

生成定向攻擊樣本時，AOA1 首先通過集成模型計算每張干凈人臉與其他人臉的相似度，然后選擇相似度最大的人臉作為目標人臉，生成隨機噪聲作為擾動的初始值，并通過點乘干擾區(qū)域掩碼將擾動自適應(yīng)地疊加在對識別影響更關(guān)鍵的區(qū)域，接著根據(jù)損失函數(shù)逐步迭代計算當前圖片與攻擊目標的人臉相似度（person-similarity,PS），直到PS 大于閾值或達到預(yù)設(shè)的迭代次數(shù)后停止迭代，從而獲得最終的對抗樣本.生成非定向?qū)箻颖緯r，則在當前圖片與干凈人臉相似度小于閾值或達到預(yù)設(shè)的次數(shù)后停止迭代.

為了降低噪聲對對抗樣本可視性的影響，AOA1在優(yōu)化問題中添加TV loss 正則項來保持圖像的光滑性[29]，記為 Ltv，當相鄰像素的值彼此接近時，Ltv較低，否則較高.最后，生成的擾動會經(jīng)過高斯核函數(shù)卷積疊加在原圖上，高斯濾波將圖像頻域處理和時域處理相聯(lián)系，作為低通濾波器使用時，可以將低頻能量（比如噪聲）濾去，起到圖像平滑作用.對抗樣本盡管引入了額外的平滑性約束，但攻擊在較低失真的情況下仍具有相同的成功概率[30].

針對局部特征增強OFR 的對抗樣本生成AOA1的整體流程如算法1 所示.

算法1.針對局部增強OFR 的定向?qū)箻颖旧?

2）針對人臉修復(fù)OFR 的對抗樣本生成（AOA2）

針對人臉修復(fù)的OFR 模型，AOA2 主要攻擊其遮擋區(qū)域圖像分割過程，從而使修復(fù)算法無法正確分割裁剪遮擋區(qū)域.AOA2 可以設(shè)定對抗攻擊后分割的預(yù)測形狀，從而對圖像分割步驟構(gòu)成巨大的安全威脅.

遮擋人臉語義分割模型定義為函數(shù)fseg，輸入圖像x大小為C×H×W，其中C，H，W分別表示通道數(shù)、輸入的高度和寬度，C=1 表示灰度圖像，C=3 表示彩色圖像.fseg（x）表示對給定輸入圖像x的預(yù)測.預(yù)測的大小為M×H×W，其中M是類的總數(shù)，在遮擋人臉口罩分割的情況下M=2.離散化后神經(jīng)網(wǎng)絡(luò)的預(yù)測定義為，每個像素包含預(yù)測類別（即0～M-1），大小為H×W.

生成對抗樣本時，使用歐幾里得距離（L2）和最大距離（L∞）[17]來測量原始圖像和生成圖像之間的差異.其中L2用來計算對抗樣本與原始圖像之間的變化距離，L∞用來測量所有像素中單個像素的最大變化.

為了量化對抗樣本生成的準確性，AOA2 計算了目標掩碼Ytarget與生成對抗樣本的預(yù)測分割掩碼Yseg之間的交集（intersection over union,IoU）和像素準確度（pixel accuracy,PA）.在選擇背景標簽為0、目標分割實體標簽為1 的設(shè)置中，IoU和PA定義為：

其中S{Aij=Bij}表示一個與A，B同大小的矩陣，當A和B對應(yīng)位置的像素標簽相同時，Sij=1，否則Sij=0，且i∈{1,2,…,H},j∈{1,2,…,W}.

對抗樣本生成過程中，通過最小化 ‖x-(x+r)‖2，從而使得 argmax(fseg(x+r))=Ytarget，（x+r）∈[0,1]C×H×W.這個方程迭代地找一個較小的擾動r以改變模型使得預(yù)測結(jié)果為Ytarget，將其稱為目標對抗掩碼，同時保持原始圖像x與其對抗樣本x+r之間的L2距離最小.在此設(shè)置中，以迭代方式計算擾動rn，乘以常數(shù) α.然后添加到圖像xn中：xn+1=xn+αrn.下面詳細說明如何計算擾動rn.

定向性的分割攻擊必須：1）增加目標對抗掩碼中選定前景像素的預(yù)測可能性；2）減少未在同一掩碼中指定的所有其他像素的預(yù)測可能性.為實現(xiàn)這一特征，rn設(shè)定為擾動之和，如式（10）所示：

其中 ⊙表示哈達瑪積（Hadamard product）.另外，f（x）c表示神經(jīng)網(wǎng)絡(luò)進行預(yù)測的通道，在口罩分割的情況下，c=0 表示背景通道，c=1 表示前景通道.

當使用靜態(tài)掩碼方法生成對抗樣本時，梯度來源于每次迭代時目標對抗掩碼中對應(yīng)的目標像素.然而，在對抗優(yōu)化期間，某些像素的預(yù)測可能已達到目標，此時不需要進一步的優(yōu)化，為了僅優(yōu)化來自于預(yù)測與目標對抗掩碼不一致的像素，AOA2 引入了一種利用自適應(yīng)掩碼定位的方法，rn如式（11）所示：

以這種方式更新rn可確保梯度僅來自每次迭代時標簽與目標對抗掩碼不同的像素.動態(tài)計算掩碼時，需要優(yōu)化的像素數(shù)量逐漸減少.如圖10 所示，①～②的迭代占了總迭代次數(shù)的59.1%，而此時改變的像素僅占總改變像素的16.4%.因此，擾動乘數(shù) α如果設(shè)置為固定值，可能導(dǎo)致在 α值較低時優(yōu)化停止，或者在 α值較高時產(chǎn)生較大的擾動.于是，AOA2 采用了動態(tài)擾動乘數(shù)策略，即使用 αn=β·IoU(Ytarget,Yn)+σ，其中 β和 σ是用于計算最終擾動乘數(shù)的參數(shù)，Yn是第n次迭代的預(yù)測值.該方法允許擾動乘數(shù)值隨著要優(yōu)化的像素數(shù)量減少而動態(tài)增加.針對人臉修復(fù)OFR的對抗樣本生成，結(jié)合了動態(tài)計算掩碼和動態(tài)擾動乘數(shù)后，AOA2 整體流程如算法2 所示.

Fig.10 Attack process of image segmentation圖10 圖像分割攻擊過程

算法2.針對人臉修復(fù)OFR 的對抗樣本生成.

4 實驗結(jié)果及分析

4.1 實驗設(shè)計

被攻擊的目標模型除了上述的Arc-UFI、虹軟（ArcSoft）和百度（Baidu）OFR 模型外，本文還選取了3 種目前最先進的一般FR 模型，包括SphereFace，CosFace，ArcFace.對于一般FR 模型，在測試中，首先使用這些模型提取人臉圖像的特征，然后使用最近鄰分類器進行人臉識別.本文在Mask-CelebA 數(shù)據(jù)集上進行了實驗.實驗選擇1 000 張不同身份的1 000張圖像形成圖庫集，ArcSoft 在本地建立人臉庫，Baidu 的FR 則將實驗圖片上傳到云人臉庫中.隨后，在本地對這1 000 張人臉圖像執(zhí)行非定向攻擊和定向攻擊.實驗參數(shù)設(shè)置如表1 所示，衰減因子的選擇參考文獻[17].

Table 1 Experimental Parameter Settings表1 實驗參數(shù)設(shè)置

4.2 實驗結(jié)果及分析

1）Arc-UFI 修復(fù)人臉相似度比較結(jié)果

對于無遮擋人臉x，其對應(yīng)的口罩遮擋人臉為xmask，修復(fù)后得到的圖像記為UFI（xmask）.使用不同F(xiàn)R模型計算UFI（xmask）與x的相似度，記為PS1；未進行人臉修復(fù)的口罩遮擋人臉圖像xmask與x之間的相似度，記為PS2.除了ArcSoft，Baidu 這2 個針對遮擋人臉做了局部特征增強的OFR 模型外，本文還在FaceNet，SphereFace，CosFace，ArcFace，dlib-r27 官方使用29 層ResNet[31]生成的一般FR 模型上進行了測試.實驗結(jié)果如圖11 所示.

Fig.11 PS value of different FR models about mask occluded face圖11 不同F(xiàn)R 模型關(guān)于口罩遮擋人臉的PS 值

圖11 中，由于dlib-r27 的正向人臉檢測器無法檢測出口罩遮擋情況下的人臉，進而無法計算出與真實人臉的相似度，故將其記為0.而對于FaceNet，SphereFace，CosFace，ArcFace，使用MTCNN 網(wǎng)絡(luò)進行人臉檢測，均可正常檢測出口罩遮擋人臉.由圖11 可見，UFI 修復(fù)后的人臉有助于人臉識別，且Arc-UFI的識別效果遠超一般FR 模型，證明了將Arc-UFI 作為受害者模型開展安全研究的合理性.

2）針對局部特征增強的對抗測試結(jié)果

針對局部特征增強的對抗攻擊實驗，本文在ArcSoft 和Baidu 的FR 和一般FR 上進行測試.成功的非定向攻擊旨在使模型誤判，而成功的定向攻擊旨在使模型將攻擊樣本誤判為某特定目標，依照此概念分別測試了對應(yīng)的攻擊成功率（attack success rate,ASR）.為了進一步測試AOA 在局部特征增強OFR 攻擊任務(wù)上的性能，實驗還測試了I-FGSM，MIFGSM，AOA 在攻擊成功時的平均迭代次數(shù).圖12、圖13分別展示了針對局部特征增強OFR 的非定向攻擊和定向攻擊測試結(jié)果.從圖12 和圖13 中可以看出，AOA 在對局部特征增強OFR 的定向和非定向攻擊任務(wù)中，在Baidu、ArcSoft 模型上的攻擊成功率遠高于其他攻擊方法，在對ArcFace 等一般FR 模型攻擊中，AOA 的攻擊成功率也與MI-FGSM 攻擊效果相當，遠高于其他3 種攻擊方法.

Fig.12 Non-target attack results of local feature enhanced OFR圖12 局部特征增強OFR 的非定向攻擊結(jié)果

Fig.13 Target attack results of local feature enhanced OFR圖13 局部特征增強OFR 的定向攻擊結(jié)果

此外，AOA 減少了對抗樣本生成的迭代次數(shù)，由表2 和表3 可知，AOA 在攻擊效果更好或相當?shù)那闆r下，平均迭代次數(shù)比MI-FGSM 降低了約33%，對比其他攻擊方法更是大幅度降低，對抗樣本的生成效率大幅度提升.

Table 2 Test Results of Non-target Attack on Local Feature Enhanced OFR表2 局部特征增強OFR 的非定向攻擊測試結(jié)果

Table 3 Test Results of Target Attack on Local Feature Enhanced OFR表3 局部特征增強OFR 的定向攻擊測試結(jié)果

由于替代模型生成對抗樣本時，不同模型具有相似的分類邊界，AOA 對生成的干擾噪聲進行高斯濾波，而高斯函數(shù)具有旋轉(zhuǎn)對稱性，意味著高斯濾波在后續(xù)邊緣檢測中不會偏向任何一方，使得生成每個像素的噪聲與周圍像素具有相關(guān)性，降低了不同模型生成的干擾噪聲之間的差異，因而有效提升對抗樣本攻擊成功率.同時，由于AOA 針對性地限制了對抗干擾區(qū)域，使得干擾高效地添加在對識別效果影響較大的區(qū)域，因此對抗樣本生成效率大幅度提升，但這也導(dǎo)致了在一般FR 模型中，AOA 的攻擊效果受到限制，攻擊成功率提升并不明顯.此外，為了探究不同攻擊方法的迭代次數(shù)對ASR 的影響，實驗測試了定向攻擊不同迭代次數(shù)時的攻擊目標人臉識別率，實驗結(jié)果如圖14 所示.

Fig.14 Effect of the number of iterations on the target face recognition rates during target attack圖14 定向攻擊時迭代次數(shù)對目標人臉識別率的影響

圖15 展示了干凈樣本及使用AOA 生成的定向?qū)箻颖驹贐aidu 識別后的Top-3 結(jié)果，可見AOA 生成的對抗樣本更自然.

Fig.15 Example of target attack on local feature enhanced OFR圖15 局部特征增強OFR 的定向攻擊示例

3）針對人臉修復(fù)的對抗攻擊結(jié)果

首先測試了AOA 對人臉修復(fù)模型遮擋圖像分割的攻擊效果，在此過程中本文比較了該過程采用動態(tài)擾動乘數(shù)對攻擊過程的影響.實驗結(jié)果如圖16所示，可見當采用動態(tài)擾動乘數(shù)策略時，由于乘數(shù)隨著要優(yōu)化的像素數(shù)量的減少而動態(tài)增加，從而攻擊不會因為要優(yōu)化的像素過小而停止，提高了攻擊的可持續(xù)性.

Fig.16 Comparison diagram of dynamic perturbation multiplier and static perturbation multiplier圖16 動態(tài)擾動乘數(shù)與靜態(tài)擾動乘數(shù)對比圖

圖17 展示了遮擋人臉語義分割的對抗樣本攻擊效果.圖17（a）為待分割的純凈樣本遮擋人臉圖像，圖17（d）為分割模型未受到攻擊時的分割結(jié)果，可以看出此時正確分割了口罩遮擋區(qū)域.在以圖17（g）為目標掩碼的情況下，使用AOA 生成的對抗樣本如圖17（b）所示，輸出結(jié)果圖17（h）轉(zhuǎn)移了分割區(qū)域，成功欺騙了遮擋人臉分割模型.與此同時，產(chǎn)生的對抗擾動也是很難察覺的.將產(chǎn)生的對抗擾動增強8 倍后的結(jié)果如圖17（e）所示.將對抗擾動限制在口罩區(qū)域，限制區(qū)域的對抗樣本及其對抗擾動可見圖17（c）和圖17（f）.

Fig.17 Adversarial examples for semantic segmentation of occluded faces圖17 針對遮擋人臉語義分割的對抗樣本

AOA 可以使修復(fù)算法無法正確分割裁剪遮擋區(qū)域，同時也使得口罩上的干擾被保留下來.針對人臉修復(fù)的OFR 模型，本文在Arc-UFI 上進行了對抗測試.如圖18 所示，AOA 能有效降低人臉識別的置信度，而FGSM，I-FGSM，MI-FGSM 針對Arc-UFI 生成的對抗樣本并不能實現(xiàn)很好的攻擊效果，這是因為限制在口罩區(qū)域的擾動會在人臉修復(fù)過程中被分割過濾掉，而AOA 生成的擾動繞過了人臉修復(fù)過程中的分割過程.AOA 在以高成功率實現(xiàn)攻擊的同時，對原始圖像的修改非常微小，以至于對原始圖像的修改在很大程度上是肉眼看不見的.

Fig.18 Recognition accuracy after adversarial attack on Arc-UFI圖18 對Arc-UFI 的對抗攻擊后的識別準確率

4.3 AOA 模型特點及優(yōu)勢

1）自適應(yīng)攻擊能應(yīng)對多種OFR 模型，從整體上來看，可以根據(jù)目標模型調(diào)整攻擊策略，對比單一的攻擊方法，提高了對抗樣本生成效率，降低了計算成本.

2）針對局部特征增強的OFR，通過結(jié)合動量和集成模型訓(xùn)練方法提高了對抗樣本的泛化性.

3）通過注意力機制提取在OFR 中作用更突出的人臉特征區(qū)域，進而針對性調(diào)整干擾區(qū)域，以在優(yōu)化過程中尋找更好的對抗性擾動，從而提高攻擊成功率.

4）針對人臉修復(fù)的OFR 對抗樣本生成方法中，為了擬合每次迭代時標簽與目標對抗掩碼不同的像素，使用了動態(tài)計算掩碼和動態(tài)擾動乘數(shù)方法，優(yōu)化過程的像素數(shù)量開始很高，隨著預(yù)測與目標對抗掩碼一致而逐漸減少，既減少了冗余計算開銷，又通過動態(tài)增大擾動乘數(shù)保證了攻擊的可持續(xù)性.

5 總結(jié)與展望

本文提出了針對OFR 的自適應(yīng)對抗樣本生成方法AOA，該方法是一種2 階段自適應(yīng)對抗樣本生成方法，能夠?qū)崿F(xiàn)局部特征增強及人臉修復(fù)的遮擋人臉識別模型的攻擊，有著泛化性好、攻擊力強的優(yōu)勢.

鑒于當前人臉修復(fù)識別模型還停留在理論研究層面，本文設(shè)計實現(xiàn)了一個通用的面向人臉遮擋的Arc-UFI，并將其作為攻擊的目標模型.針對虹軟（ArcSoft）、百度（Baidu）FR 的實驗結(jié)果表明，AOA 可有效實現(xiàn)對局部特征增強OFR 模型的攻擊，并能夠大幅度提高對抗樣本生成的效率.針對Arc-UFI 的實驗結(jié)果表明，AOA 能有效攻擊模型對遮擋區(qū)域的分割過程，進而使目標模型的識別準確率下降.

另外，本文所提的Arc-UFI 和面向局部遮擋人臉識別的對抗樣本生成方法，還可以作為一種通用的人臉識別模型安全測試方法，通過攻擊找出模型漏洞，從而增強模型魯棒性，為局部遮擋人臉識別的工程實現(xiàn)和落地應(yīng)用提供基準開發(fā)和測試環(huán)境.

作者貢獻聲明：張萬里負責模型和方法的實現(xiàn)，以及論文初稿撰寫；陳越和楊奎武提出論文思路并指導(dǎo)論文撰寫；張?zhí)镓撠熛嚓P(guān)文獻資料的收集、分析和圖表整理；胡學先指導(dǎo)論文修改與校對.