王鋮東

(四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065)

0 引言

人臉識別是一項(xiàng)匹配同一個(gè)人面部圖像的任務(wù)，隨著深度學(xué)習(xí)的出現(xiàn)，該問題發(fā)展迅速。通過深度卷積神經(jīng)網(wǎng)絡(luò)的多個(gè)隱藏層提取的特征包含有代表性的信息，可以有效地區(qū)分不同個(gè)體[1]。隨著人臉識別問題的發(fā)展，研究者們開始關(guān)注于其中更富有挑戰(zhàn)性的問題：如姿態(tài)、光照、表情、年齡等的人臉識別問題[2-3]。與上述問題不一樣的是，跨模態(tài)人臉識別用于比對識別的人臉圖像差異更大，且目前的跨模態(tài)人臉識別相關(guān)的數(shù)據(jù)集規(guī)模小，為識別帶來了巨大的困難。

跨模態(tài)人臉識別的目的是識別數(shù)據(jù)分布或外觀差異較大的不同模態(tài)人臉圖像[4]。常見的如：近紅外光與可見光、遠(yuǎn)紅外光與可見光、素描與照片、正面與側(cè)面，低分辨率與高分辨率的人臉識別等問題都是跨模態(tài)人臉識別問題?？缒B(tài)人臉識別問題主要應(yīng)用于安防、刑偵等場所。最為典型的應(yīng)用場景是：安防部門系統(tǒng)庫里的人臉圖像是質(zhì)量良好的可見光圖像，而監(jiān)控所拍攝得到的圖像相對而言質(zhì)量差，且有很多夜間拍攝的近紅外圖像。受制于數(shù)據(jù)模態(tài)間的巨大差異，已有的人臉識別模型準(zhǔn)確率下降顯著。

跨模態(tài)人臉識別問題的主要難點(diǎn)在于兩點(diǎn)。一是不同模態(tài)下的數(shù)據(jù)差異大，也可以說是數(shù)據(jù)分布的差異大，而這種差異很可能會導(dǎo)致類內(nèi)距離超過類間距離。因此，如何有效減少這種數(shù)據(jù)分布上的差異是跨模態(tài)人臉識別問題面臨的主要難點(diǎn)之一。另一個(gè)難點(diǎn)是，相對于一般的人臉識別任務(wù)來說，跨模態(tài)人臉識別任務(wù)目前所擁有的數(shù)據(jù)集規(guī)模小，因此直接使用一般的人臉識別方法很容易過擬合。

在跨模態(tài)人臉識別問題中，目前研究者們主要針對單個(gè)的跨模態(tài)因素的研究，對于實(shí)際的場景仍有一定的差距。如監(jiān)控拍攝的人臉圖像通常不僅是近紅外的圖像，而且其分辨率低，姿態(tài)差異明顯。針對該問題，本文進(jìn)一步引入了低精跨模態(tài)人臉識別問題。該問題面臨的困難與挑戰(zhàn)同跨模態(tài)人臉識別問題類似，但更為巨大，而其更為接近于實(shí)際的應(yīng)用場景，是具有研究意義的研究問題。

本文依據(jù)目前主流的跨模態(tài)人臉識別方法，針對低精跨模態(tài)人臉問題，提出了一種基于圖像合成與模態(tài)不變特征表示相結(jié)合的方法。該方法先利用基于圖像合成的方法，將低精數(shù)據(jù)(信息量匱乏)轉(zhuǎn)換為高精數(shù)據(jù)(信息量充足)，再通過模態(tài)不變特征表示的方法減小近紅外與可見光之間的模態(tài)差異，完成最終的低精跨模態(tài)人臉識別任務(wù)。使用這種方法，主要是考慮到不同信息量差異下，不同方法的適用性與表現(xiàn)會有所不同。相比較而言，基于合成的方法有助于跨越信息量差異大的模態(tài)差異，而基于模態(tài)不變特征表示的方法更適宜于信息量差異不大，但數(shù)據(jù)的分布不一致的情形。

1 方法

1.1 身份保持循環(huán)生成對抗網(wǎng)絡(luò)

低精度的圖像信息量相對于高精度的圖像信息量差異巨大，相關(guān)的跨模態(tài)人臉識別算法在面對現(xiàn)實(shí)場景下大量的低精數(shù)據(jù)，難以達(dá)到預(yù)期的效果。本文基于循環(huán)生成對抗網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)[17]，將低精數(shù)據(jù)轉(zhuǎn)換為對應(yīng)的高精數(shù)據(jù)，并且在轉(zhuǎn)換過程中保持其身份信息。實(shí)驗(yàn)證明，通過該轉(zhuǎn)換過程后的數(shù)據(jù)在跨模態(tài)人臉識別方法上能夠達(dá)到更好的效果。

圖1 身份保持循環(huán)生成對抗網(wǎng)絡(luò)低分辨率轉(zhuǎn)高分辨率網(wǎng)絡(luò)結(jié)構(gòu)圖

為了在進(jìn)行圖像生成的過程中保持身份信息的不變性，本文在循環(huán)生成對抗網(wǎng)絡(luò)的基礎(chǔ)上引入了生成圖像與其對應(yīng)的高分辨率圖像的L1損失，以及它們在特征層上的L2損失。同時(shí)，在整個(gè)過程中，特征提取器的參數(shù)是固定的，網(wǎng)絡(luò)只訓(xùn)練生成器G和F的參數(shù)。且特征提取器的參數(shù)已在原始的近紅外與可見光數(shù)據(jù)集上進(jìn)行了微調(diào)，以保證圖像合成的過程中，L2損失函數(shù)所依據(jù)的身份信息更加真實(shí)、準(zhǔn)確。

在該網(wǎng)絡(luò)的所有損失函數(shù)上，除了原始的循環(huán)生成對抗的網(wǎng)絡(luò)的判別器損失、生成器損失，循環(huán)一致?lián)p失，本文進(jìn)一步引入了像素級L1損失和特征級L2損失，用于進(jìn)行身份保持的任務(wù)。這兩個(gè)損失函數(shù)的具體表示分別為：像素級L1損失L_pixel：

(1)

以及特征級L2損失Lfea：

(2)

最終的損失函數(shù)為：

(3)

據(jù)此，我們可以得到最終的優(yōu)化問題為：

(4)

通過對上述優(yōu)化問題進(jìn)行訓(xùn)練，網(wǎng)絡(luò)中的生成器不斷優(yōu)化自身以用于“欺騙”判別器，而判別器則不斷提高自身的判別能力，通過兩者這樣的不斷對抗優(yōu)化，生成器能夠生成與真實(shí)高分辨率數(shù)據(jù)類似的數(shù)據(jù)分布，以使得判別器難以分辨。另外需要注意的是，由于在生成的過程中我們引入了身份保持的兩個(gè)損失函數(shù)，這會使得生成器在整個(gè)過程中都會約束自身生成的數(shù)據(jù)與真實(shí)的數(shù)據(jù)身份信息相一致。通過這種方式，最終生成器能夠?qū)⒌头直媛蕡D像在身份保持的情況下，轉(zhuǎn)換為信息量更為豐富的高分辨率圖像，為后面進(jìn)行模態(tài)不變特征提取提供更為良好的條件。

1.2 基于三元組損失的模態(tài)不變特征提取

在經(jīng)過本文提出的身份保持循環(huán)生成對抗網(wǎng)絡(luò)的圖像合成后，信息量匱乏的低分辨率數(shù)據(jù)已轉(zhuǎn)換為了信息量更為充分的高分辨率數(shù)據(jù)。然而，通過網(wǎng)絡(luò)合成的方式并不能得到與真實(shí)數(shù)據(jù)完全一致的數(shù)據(jù)分布。這種偏差本質(zhì)上也是模態(tài)差異，但可以發(fā)現(xiàn)，盡管數(shù)據(jù)分布仍存在差異，但數(shù)據(jù)間的信息量的差異已經(jīng)通過圖像合成的方式大大減小。本文針對這種情形，在使用文獻(xiàn)[9]作為特征提取網(wǎng)絡(luò)的基礎(chǔ)上，使用三元組損失函數(shù)，用于減小生成數(shù)據(jù)與可見光圖像的模態(tài)差異。

(5)

同時(shí)：

(6)

因此，對于每個(gè)小批量而言，最終的三元組樣本對可以記為：。

在上述情況下的樣本對下，得到最終三元組損失函數(shù)為(本文取margin=0.3)：

Ltriplet(Xa，Xp*，Xn*)=max(‖Xa-Xp*‖2-‖Xa-Xn*‖2+margin，0)

(7)

在生成數(shù)據(jù)與真實(shí)數(shù)據(jù)間的模態(tài)差異下，可能導(dǎo)致不同模態(tài)下的類內(nèi)距離大于相同模態(tài)下的類間距離。通過對公式(7)的損失函數(shù)進(jìn)行優(yōu)化，可以有效地減小模態(tài)間的差異，從而使得特征提取網(wǎng)絡(luò)能夠提取到與模態(tài)無關(guān)的身份信息，進(jìn)而能夠有效提升生成數(shù)據(jù)與可見光數(shù)據(jù)上的跨模態(tài)人臉識別準(zhǔn)確率。至此，通過上述兩種方法的結(jié)合，我們能夠有效地實(shí)現(xiàn)低精跨模態(tài)人臉識別任務(wù)。

2 實(shí)驗(yàn)

本部分介紹使用的數(shù)據(jù)集，數(shù)據(jù)集的處理，以及對實(shí)驗(yàn)的結(jié)果的細(xì)致分析。最后，將會對比本文提出的方法在近紅外與可見光跨模態(tài)人臉識別問題，以及本文提出的低精跨模態(tài)人臉識別問題上與近期的其他方法的一些對比結(jié)果，以證明方法的有效性。

2.1 數(shù)據(jù)集描述

CASIA NIR-VIS 2.0數(shù)據(jù)集[6]是目前最大的跨模態(tài)人臉識別數(shù)據(jù)集之一，該數(shù)據(jù)集包括近紅外人臉圖像數(shù)據(jù)與可見光人臉圖像數(shù)據(jù)?？偣舶?25個(gè)個(gè)體，由4次采集得到。每個(gè)個(gè)體有1-22張可見光圖像與5-50張近紅外圖像。這些圖像包含不同的分辨率、光照條件、姿態(tài)、年齡、表情和是否帶眼鏡等變化因素，這些因素使得識別任務(wù)具有了更大的挑戰(zhàn)性。在實(shí)驗(yàn)中，本文遵循文獻(xiàn)[6]中的測試協(xié)議。在該協(xié)議中，實(shí)驗(yàn)的測試部分包含圖庫集和探測集，其中圖庫集中每個(gè)個(gè)體一張可見光圖像，而探測集中的每個(gè)個(gè)體有多張近紅外圖像。本文通過對整個(gè)圖庫集計(jì)算相似度矩陣，計(jì)算并記錄了識別準(zhǔn)確率與驗(yàn)證準(zhǔn)確率。

2.2 數(shù)據(jù)預(yù)處理

在該本部分的工作中，為了規(guī)范化輸入數(shù)據(jù)，本文首先對數(shù)據(jù)集進(jìn)行了剪裁工作。通過使用MTCNN[7]對數(shù)據(jù)進(jìn)行人臉檢測，并設(shè)置剪裁大小為128×128，得到剪裁后的數(shù)據(jù)集。為了進(jìn)行低分辨率近紅外圖像和高分辨率可見光圖像的識別工作，本文進(jìn)一步使用雙線性插值的方法對數(shù)據(jù)進(jìn)行下采樣，下采樣的數(shù)據(jù)大小為22×22。

2.3 消融實(shí)驗(yàn)

2.3.1 身份保持跨模態(tài)生成消融實(shí)驗(yàn)

為了分析身份保持模態(tài)生成方法的有效性，本文對比了基準(zhǔn)、只使用L1損失函數(shù)、只使用L2損失函數(shù)，以及同時(shí)使用L1和L2損失函數(shù)的性能情況。在性能評估過程中，通過對低分辨率近紅外數(shù)據(jù)進(jìn)行身份保持的跨模態(tài)生成得到對應(yīng)的高分辨率近紅外圖像，再計(jì)算生成圖像與高分辨率可見光圖像的相似度矩陣。在嚴(yán)格遵循文獻(xiàn)[6]中的視圖1測試協(xié)議的情況下，得到的實(shí)驗(yàn)結(jié)果如表1所示。

表1 在CASIA NIR-VIS 2.0數(shù)據(jù)上的身份保持跨模態(tài)生成消融研究實(shí)驗(yàn)結(jié)果

通過表1，可以發(fā)現(xiàn)，原始的循環(huán)對抗生成網(wǎng)絡(luò)本身是不具有良好的身份保持性能的，它的主要工作是進(jìn)行模態(tài)的轉(zhuǎn)換與圖像生成。由于在實(shí)驗(yàn)的數(shù)據(jù)構(gòu)成中，我們具有良好的一一對應(yīng)的低分辨率與高分辨率數(shù)據(jù)，而像素級別上的L1約束與特征級別上的L2約束本身的目標(biāo)上一致的，因此它們均能夠?qū)ι矸荼３制鸬捷^為接近的有效結(jié)果。但從我們的身份識別的最終目標(biāo)上來說，L2約束從身份特征上的約束更接近我們的目標(biāo)，可以看到它也的確起到了更好的效果。另外，在同時(shí)使用兩者的情況下，相對于單個(gè)約束，仍有小幅度的提升。

2.3.2基于三元組損失的模態(tài)不變特征表示方法

在這一部分，本文主要通過從兩個(gè)不同的模態(tài)差異去進(jìn)行評估。首先是在近紅外到可見光的跨模態(tài)人臉識別問題上，通過計(jì)算CASIA NIR-VIS 2.0數(shù)據(jù)集中的近紅外與可見光人臉圖像的相似度矩陣，并在嚴(yán)格遵循文獻(xiàn)[6]中的視圖1協(xié)議的情況下，得到的實(shí)驗(yàn)結(jié)果如表2所示。

表2 在CASIA NIR-VIS 2.0數(shù)據(jù)集上的三元組損失函數(shù)實(shí)驗(yàn)結(jié)果

通過表2可以看出，通過三元組損失函數(shù)，確實(shí)能夠有效的減小近紅外與可見光之間的模態(tài)差異，提升跨模態(tài)人臉識別的性能。除此之外，為了驗(yàn)證該方法能否在本文中的生成數(shù)據(jù)上生效，同樣對生成數(shù)據(jù)進(jìn)行了實(shí)驗(yàn)驗(yàn)證，其結(jié)果如表3。

表3 在CASIA NIR-VIS 2.0生成數(shù)據(jù)集上的三元組損失函數(shù)實(shí)驗(yàn)結(jié)果

通過表3可以看出，該方法的確能夠有效提升生成數(shù)據(jù)的識別性能。至此，通過本文提出的方法，在低分辨率的CASIA NIR-VIS 2.0數(shù)據(jù)集上，成功將Rank-1識別準(zhǔn)確率提升到了91.64%。實(shí)現(xiàn)了一個(gè)完整的低精跨模態(tài)人臉識別問題的解決方案。

2.3.3 三元組損失函數(shù)正樣本數(shù)s評估實(shí)驗(yàn)

在三元組損失函數(shù)的設(shè)計(jì)中，本文引入了正樣本數(shù)s，為了找出合適的正樣本數(shù)s，本文在生成數(shù)據(jù)上對參數(shù)s進(jìn)行了評估實(shí)驗(yàn)，得到的實(shí)驗(yàn)結(jié)果如表4所示。

表4 在CASIA NIR-VIS 2.0數(shù)據(jù)集上的生成數(shù)據(jù)的三元組損失函數(shù)正樣本數(shù)s評估實(shí)驗(yàn)結(jié)果

通過表4可以看出，隨著正樣本數(shù)s的增大，可以找到更為困難的三元組樣本對，但受限于數(shù)據(jù)規(guī)模，以及過于困難的樣本對會引入額外的噪聲，因此隨著s的大小超出一定范圍，性能反而會出現(xiàn)衰減，在本文的實(shí)驗(yàn)場景下，當(dāng)s=8時(shí)，能夠達(dá)到最好的識別性能，為Rank-1準(zhǔn)確率91.64%。

2.4 對比實(shí)驗(yàn)

2.4.1 基于三元組損失函數(shù)模態(tài)不變特征表示的方法與其他現(xiàn)有方法對比實(shí)驗(yàn)

在表5中，本文在嚴(yán)格遵循文獻(xiàn)[6]中的視圖2協(xié)議的情況下，與其他的基于深度學(xué)習(xí)的跨模態(tài)人臉識別算法進(jìn)行了對比，其中包括HFR-CNN[10]、TRIVLET[11]、ADFL[12]、CDL[13]、WCNN[8]、DSU[14]、RM[15]、RDFL[5]。其中RDFL通過圖像內(nèi)的相關(guān)關(guān)系來優(yōu)化學(xué)習(xí)模態(tài)不變特征，可以看到，本文提出的方法相對于RDFL在Rank-1的準(zhǔn)確率上提高0.33%，進(jìn)一步逼近100%的準(zhǔn)確率，在表中的方法中，識別性能與驗(yàn)證性能均達(dá)到了最高。

表5 使用三元組損失函數(shù)在CASIA NIR-VIS 2.0數(shù)據(jù)集上的十折交叉驗(yàn)證與其他方法對比

2.4.2 多重跨模態(tài)人臉識別問題與其他方法對比實(shí)驗(yàn)：

在表6中，本文在嚴(yán)格遵循文獻(xiàn)[6]中的視圖1協(xié)議的情況下，對比了低分辨率圖像、通過插值的超分圖像，通過SICNN[16]進(jìn)行超分的圖像的性能情況。可以看出，在低分辨率與近紅外光的兩種因素的影響下，識別任務(wù)已經(jīng)變得十分困難。本文提出的方法能夠有效地減少這一巨大的模態(tài)差異，得到的Rank-1準(zhǔn)確率91.64%相對于CycleGAN[17]提升了超過20個(gè)百分點(diǎn)，為低精跨模態(tài)人臉識別問題打開了一個(gè)良好的開端。

表6 在CASIA NIR-VIS 2.0數(shù)據(jù)集上的多重跨模態(tài)人臉識別問題性能對比

3 結(jié)語

本文提出的方法的貢獻(xiàn)點(diǎn)主要如下：

(1)提出一個(gè)新的具有研究價(jià)值與意義的問題：低精跨模態(tài)人臉識別問題，并得到了一個(gè)完整的解決方案與網(wǎng)絡(luò)模型。

(2)提出基于圖像合成與模態(tài)不變特征表示相結(jié)合的方法，能夠有效地進(jìn)行模態(tài)轉(zhuǎn)變與模態(tài)不變特征提取。

(3)本文在CASIA NIR-VIS 2.0數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，在近紅外與可見光跨模態(tài)人臉識別問題上達(dá)到了Rank-1準(zhǔn)確率99.63±0.11%的結(jié)果，且在低精跨模態(tài)人臉識別問題上得到了目前最好的識別性能。

但可以看到，該方法限制了低精度與近紅外兩種跨模態(tài)問題的解決順序，同時(shí)，在最終的性能表現(xiàn)上仍然有一定的提升空間。在未來的工作中，我們將針對這些問題，改進(jìn)相關(guān)的網(wǎng)絡(luò)結(jié)構(gòu)，得到更為簡潔與高性能的解決方案。