王奧迪

（四川大學(xué)視覺合成圖形圖像技術(shù)國防重點(diǎn)學(xué)科實(shí)驗(yàn)室，成都610065）

0 引言

近年來，深度學(xué)習(xí)技術(shù)被廣泛地應(yīng)用在人臉識別中，大大加速了人臉識別的發(fā)展。深度學(xué)習(xí)技術(shù)以數(shù)據(jù)為驅(qū)動，因此一些大規(guī)模的公開人臉數(shù)據(jù)庫也應(yīng)運(yùn)而生，極大地推進(jìn)了人臉識別技術(shù)的研究。除了大規(guī)模的數(shù)據(jù)集，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)本身包括目標(biāo)函數(shù)的設(shè)計(jì)也是解決人臉識別問題的主要途徑。目前最新的方法中最具代表的網(wǎng)絡(luò)結(jié)構(gòu)有VGG[1]、GoogLeNet[2]和ResNet[3]等。

盡管目前的人臉識別技術(shù)已經(jīng)取得了顯著的發(fā)展，甚至在一些公開庫上已經(jīng)超越了人眼識別的準(zhǔn)確率。但是在解決跨姿態(tài)人臉識別問題上效果仍然不理想。文獻(xiàn)[4]中提到，現(xiàn)有的基于深度學(xué)習(xí)的人臉識別方法，在跨姿態(tài)（正臉與側(cè)臉匹配）的識別任務(wù)上的準(zhǔn)確率，相比于正臉間的識別任務(wù)的平均降低了10%左右，而人眼的識別準(zhǔn)確率僅僅降低了2%左右。文獻(xiàn)[5]提供了ResNet-18 模型在CFP[4]數(shù)據(jù)集上預(yù)測錯(cuò)誤的樣本對案例。圖1 展示的是真實(shí)標(biāo)簽同屬于一個(gè)人但被模型預(yù)測為不是一個(gè)人的樣本對，圖2 展示的是真實(shí)標(biāo)簽不是一個(gè)人但被模型預(yù)測為是一個(gè)人的樣本對。可以看到，盡管ResNet-18 作為一個(gè)表征能力很強(qiáng)的模型，在跨姿態(tài)條件下的人臉識別任務(wù)中仍存在較大的誤差。導(dǎo)致這一現(xiàn)象的主要原因之一是目前用來訓(xùn)練人臉模型的數(shù)據(jù)集中姿態(tài)變化較少或者不均衡。

圖1 預(yù)測錯(cuò)誤的負(fù)樣本對

圖2 預(yù)測錯(cuò)誤的正樣本對

本文提出一種基于度量學(xué)習(xí)的方法Cross-Pose Pair Loss（下文稱之為CPP Loss）。該方法能夠有效地利用訓(xùn)練集中有限的姿態(tài)變化，主要目標(biāo)是擴(kuò)大跨姿態(tài)條件下的類內(nèi)距離和類間距離的差距，有效地提升了基準(zhǔn)模型在跨姿態(tài)條件下的人臉識別準(zhǔn)確率。

1 基準(zhǔn)模型

1.1 訓(xùn)練數(shù)據(jù)集

本文用來訓(xùn)練人臉模型的數(shù)據(jù)集使用VGGFace2[6]，VGGFace2 是一個(gè)公開的大規(guī)模的人臉數(shù)據(jù)集，包含9131 個(gè)類別，331 萬張人臉圖片，每個(gè)人平均有362.2張圖片。數(shù)據(jù)集分為訓(xùn)練集和測試集，其中訓(xùn)練集包含8631 類，測試集包含500 類。該數(shù)據(jù)集是從谷歌上搜集的，覆蓋了姿態(tài)、年齡、光照、種族和職業(yè)的變化。本文之所以使用該數(shù)據(jù)集作為訓(xùn)練集，也是因?yàn)樵摂?shù)據(jù)集包含了一定的姿態(tài)變化，盡管整個(gè)數(shù)據(jù)集上的姿態(tài)變化并不均衡。主要體現(xiàn)在每個(gè)人的姿態(tài)變化不同以及整個(gè)數(shù)據(jù)集上接近正臉的圖片的數(shù)量遠(yuǎn)遠(yuǎn)大于姿態(tài)比較大的圖片的數(shù)量。本文所有實(shí)驗(yàn)中用到的訓(xùn)練集是VGGFace2 的子集，包含8625 個(gè)人，300 多萬張圖片。

1.2 訓(xùn)練設(shè)置

2 CPP Loss

假設(shè){f,nf}是VGGFace2 訓(xùn)練集上的來自同一個(gè)人的一組跨姿態(tài)的樣本對，其中f 為接近正臉的圖片，nf 為非正臉圖片。定義CPP Loss 如公式（3），其中i，j表示樣本的類別，B 表示一次送入網(wǎng)絡(luò)的一批樣本的類別集合，表示兩個(gè)樣本間的相似度（實(shí)驗(yàn)中使用余弦距離），表示CPP Loss 正如所有的度量學(xué)習(xí)的方法，旨在減小樣本的類間相似度和擴(kuò)大樣本的類內(nèi)相似度。換句話說，即擴(kuò)大樣本的類間相似度與類內(nèi)相似度的差距。而CPP Loss 主要針對的是跨姿態(tài)條件下的類內(nèi)相似度和類間相似度。對于一個(gè)類別i 的樣本對{fi,nfi}，它們之間的相似度即為跨姿態(tài)條件下的類內(nèi)距離，然后分別以fi和nfi作為錨，在樣本集合B 中挖掘最大的跨姿態(tài)條件下的類間相似度。如公式（3）所示，CPP Loss 的優(yōu)化目標(biāo)就是最小化類間相似度和類內(nèi)相似度間的差值。其中m 為一個(gè)間隔參數(shù)，旨在保證類間相似度比類內(nèi)相似度至少差m。

3 實(shí)驗(yàn)與分析

本文的實(shí)驗(yàn)代碼均在PyTorch 下完成，訓(xùn)練集和測試集的所有圖片都通過MTCNN[8]檢測的5 個(gè)特征點(diǎn)位置做簡單的平面內(nèi)的二維對齊，并裁剪為統(tǒng)一的尺寸112×96。訓(xùn)練基準(zhǔn)模型時(shí)參考文獻(xiàn)[7]的設(shè)置，其中，間隔參數(shù)m 的值固定為5，尺度參數(shù)S 的初始值設(shè)為30。本文的CPP Loss 方法是基于基準(zhǔn)模型繼續(xù)訓(xùn)練學(xué)習(xí)。CPP Loss 方法中，網(wǎng)絡(luò)以跨姿態(tài)的樣本對作為輸入。所以首先需要在訓(xùn)練集VGGFace2 上組織跨姿態(tài)樣本對。具體做法是，將訓(xùn)練集中每個(gè)人的圖片按偏航角（yaw）分為接近正臉（小于5°）和非正臉（大于45°）圖片。訓(xùn)練時(shí)采取線上組織樣本對的方式，首先隨機(jī)采樣一組不同的類別集合，然后針對每個(gè)類別，分別在其接近正臉和非正臉圖片組中個(gè)隨機(jī)采樣一張圖片組成跨姿態(tài)樣本對。

表1 和表2 為實(shí)驗(yàn)結(jié)果對比表，測試集為Multi-PIE[9]的子集，包含249 個(gè)人和3029 張圖片。測試協(xié)議為1：1 身份認(rèn)證。測試時(shí)，將測試集中的正臉圖片作為注冊庫（gallery），而查詢庫（probe）按偏航角分為三組，分別為小姿態(tài)（±15°和±30°）、較大姿態(tài)（±45°和±60°）和大姿態(tài)（±75°和±90°）。表1 中與基準(zhǔn)模型對比的模型是在基準(zhǔn)模型上只使用CPP Loss 繼續(xù)訓(xùn)練學(xué)習(xí)得出的模型。可以看到，CPP Loss 方法在“正臉-較大姿態(tài)”和“正臉-大姿態(tài)”兩組姿態(tài)跨度條件下均對基準(zhǔn)模型的準(zhǔn)確率有所提升。而間隔參數(shù)在一定的數(shù)值范圍內(nèi)，與模型的準(zhǔn)確率成正比關(guān)系，具體分析可以參考文獻(xiàn)[7]。表2 中與基準(zhǔn)模型對比的模型是在基準(zhǔn)模型上使用CPP Loss 結(jié)合AM-Softmax 繼續(xù)訓(xùn)練學(xué)習(xí)得出的模型?？梢钥吹剑珻PP Loss 結(jié)合AM-Softmax 的方法可以給基準(zhǔn)模型在測試集上的準(zhǔn)確率帶來更大的提升，并且在三組姿態(tài)跨度條件下都有所提升。

表1 CPP Loss 不同間隔參數(shù)下的實(shí)驗(yàn)結(jié)果對比

表2 CPP Loss 結(jié)合AM-Softmax 不同間隔參數(shù)下的實(shí)驗(yàn)結(jié)果對比

綜合上述的實(shí)驗(yàn)結(jié)果對比分析可以得出，本文提出的CPP Loss 方法，通過在跨姿態(tài)樣本對上的度量學(xué)習(xí)，可以進(jìn)一步提升基準(zhǔn)模型在跨姿態(tài)條件下的人臉識別準(zhǔn)確率。雖然訓(xùn)練數(shù)據(jù)集上的姿態(tài)變化不大并且存在不均衡現(xiàn)象，但是組織跨姿態(tài)樣本對的方式可以更加有效地利用訓(xùn)練集中的姿態(tài)變化。值得一提的是，如果使用CPP Loss 結(jié)合AM-Softmax 的方法，可以給基準(zhǔn)模型的準(zhǔn)確率帶來更大的提升，同時(shí)保證不損失其在小姿態(tài)跨度條件下的準(zhǔn)確率?？梢越忉尀镃PP Loss 擴(kuò)大跨姿態(tài)樣本間的類內(nèi)距離和類間距離的差距的同時(shí)，加上AM-Softmax 的約束可以保證模型在訓(xùn)練樣本上的判別能力。并且相比于基準(zhǔn)模型，在該階段的訓(xùn)練過程中，AM-Softmax 會更加地專注于較大姿態(tài)的樣本的學(xué)習(xí)。因?yàn)榛鶞?zhǔn)模型的訓(xùn)練集中較大姿態(tài)的樣本占整體的樣本數(shù)量的比例較小。

4 結(jié)語

針對跨姿態(tài)人臉識別問題，本文提出的CPP Loss，通過組織跨姿態(tài)樣本對的方式，有效地利用數(shù)據(jù)集中的姿態(tài)變化，使用度量學(xué)習(xí)的方法提升了基準(zhǔn)模型在跨姿態(tài)條件下的人臉識別準(zhǔn)確率。為解決跨姿態(tài)人臉識別問題提供了一個(gè)可行性方法。