邵玉穎，曹 林，康 峻，宋沛然，杜康寧，郭亞男

1.北京信息科技大學 信息與通信工程學院，北京 100101

2.北京信息科技大學 光電測量技術(shù)與儀器教育部重點實驗室，北京 100101

3.中國科學院 空天信息創(chuàng)新研究院，北京 100080

素描人臉識別是將人臉照片與素描圖進行匹配，由于其在刑偵調(diào)查中的重要作用，近年來受到了極大的關(guān)注[1-2]。隨著計算機視覺和機器學習的快速進步，面部生物識別技術(shù)取得了重大成功。例如，人臉屬性預測和聚類[3]、人類性別分類[4]和人臉識別[5]已廣泛應(yīng)用于公安和視頻監(jiān)控[6]。作為人臉識別中最重要的問題之一，素描人臉識別（SFR）[7-8]在刑事偵查中備受關(guān)注。它旨在將照片與犯罪分子目擊者描述中獲得的素描進行匹配，這比傳統(tǒng)的人臉識別更具挑戰(zhàn)性。

最近，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的度量學習方法已被廣泛用于人臉識別和其他識別問題[9]。CNN表現(xiàn)出強大的表達能力，因此使用CNN來學習素描人臉識別的判別特征越來越受到關(guān)注[10-11]。然而由于包含素描人臉圖像的數(shù)據(jù)庫較少，且數(shù)據(jù)量極其有限，使得深度學習模型極易出現(xiàn)過擬合現(xiàn)象，導致其無法充分發(fā)揮模型效果。因此，素描人臉識別是具有挑戰(zhàn)性的人臉識別問題。

類似于人臉驗證[6]和人員重新識別[12-13]，素描人臉識別是一個開放集分類問題，其中訓練集和測試集類是不相交的。目前被設(shè)計用于素描人臉識別的算法可以分為兩大類：模態(tài)內(nèi)算法和模態(tài)間算法[14]。模態(tài)內(nèi)算法通過將照片（素描）轉(zhuǎn)換成素描（照片），然后使用在該模態(tài)下設(shè)計的面部識別器將合成素描（照片）與原始素描（照片）進行匹配，從而減少了模態(tài)差距。例如Tang等人[15]提出的ET+PCA算法和Galea等人[16]提出的EP+PCA算法。然而，僅當原始素描圖像在外觀上與原始照片非常相似時，這些方法才有較好的性能，此外，模態(tài)內(nèi)算法所使用的面部識別器的性能還取決于生成圖像的質(zhì)量。模態(tài)間算法通過將兩種不同模態(tài)的圖像特征劃分為公共空間后使用分類器進行識別，旨在學習能夠同時最大化類間差異和最小化類內(nèi)差異的分類器，較模態(tài)內(nèi)方法降低了復雜度。例如Galea等人[14]提出的DEEPS神經(jīng)網(wǎng)絡(luò)，Klum等人[17]提出的D-RS+CBR算法和Galea等人[18]提出的LGMS算法。然而由于素描圖像和光學圖像之間存在較大的模態(tài)差異，直接使用模態(tài)間方法取得的識別精度相對較低。由于素描人臉圖像難以獲得且獲取成本高，導致現(xiàn)有的素描人臉數(shù)據(jù)較少，上述兩種方法在訓練樣本較少的情況下，均存在易過擬合的問題。

針對解決樣本量不足以及過擬合的問題基于跨批次機制（cross-batch memory mechanism，XBM）[19]，本文提出基于跨批次存儲機制預訓練的素描人臉識別算法。該方法分為預訓練和訓練兩個階段，預訓練階段借助跨批次存儲機制挖掘和存儲素描和光學照片特征信息進行模型訓練?？缗未鎯Ψ椒ㄔ谟柧殨r僅存儲素描和光學照片特征信息而非圖片本身，因此節(jié)省內(nèi)存空間，支持在訓練時選取更多樣本。從而有效緩解樣本稀缺問題，同時提高算法效率。訓練階段則利用三元組損失對預訓練得到的模型進一步優(yōu)化，提升識別效果。實驗結(jié)果證明本文算法可以通過跨批次樣本緩解過擬合問題，提升識別率。

1 基于跨批次預訓練的素描人臉識別

1.1 跨批次存儲機制

基于深度學習的素描人臉識別依賴大量樣本進行模型訓練，參與訓練的樣本種類和數(shù)量越多，對應(yīng)的模型泛化性越高、識別效果越佳。將全部訓練樣本一次性輸入模型訓練中，對GPU等硬件性能要求較高，容易超出硬件的支持范圍，且運算量大導致訓練時間過長。因此在訓練模型時采取樣本分批次輸入的方式，單次輸入樣本的數(shù)量即批次大小由batch size參數(shù)給定。由文獻[20-23]可知batch size的大小決定了模型訓練時梯度下降方向的準確性以及模型收斂速度。經(jīng)觀察，隨著batch size的增大，模型的收斂速度也隨之加快且訓練效果不斷提高。受限于GPU存儲容量，訓練過程中無法支撐batch size的持續(xù)增大，影響模型效果的進一步提升。為解決此問題，在XBM機制的啟發(fā)下，本文創(chuàng)造性提出了樣本特征信息池概念，用圖像特征信息替代圖像信息，從而減少信息存儲需求；并將當前批次樣本特征與信息池中前幾批次樣本特征進行交叉計算，從而達到擴大batch size的效果。提出的跨批次存儲機制具體過程如下所述。

在訓練開始時建立一個信息池，設(shè)定信息池大小，每次迭代將當前批次特征信息以及對應(yīng)標簽按隊列形式存入池中，依此繼續(xù)進行樣本訓練過程。當存入的信息達到信息池的存儲容量上限時，采取先進先出的模式進行信息更新，即舍棄最早批次樣本的特征信息，存入新樣本特征信息?？缗未鎯C制在訓練時將歷史迭代過程中的圖片特征信息保存下來，即使存下多個批次的樣本特征需要顯存也不過幾十MB，相比存儲圖片信息需要耗費的幾GB甚至是十幾GB容量，極大地節(jié)省了顯存空間，允許在相同硬件條件下擴大batch size大小，進而提升模型泛化能力與識別精度。此外，跨批次存儲機制借助信息池結(jié)構(gòu)保留歷史樣本，在模型訓練時，不僅考慮當前批次樣本信息，同時加入部分歷史樣本信息，增加了單批次訓練樣本總數(shù)，進而在訓練模型層面增加了樣本數(shù)量，彌補了樣本不足導致識別精度下降的缺陷。

1.2 預訓練網(wǎng)絡(luò)結(jié)構(gòu)

預訓練網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，主要包括輸入圖像，特征提取器fθ，跨批次存儲機制，以及損失函數(shù)L。

圖1 預訓練網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Model structure diagram of pre-training stage

輸入圖像。訓練數(shù)據(jù)集為X：

其中，xp為光學照片，xs為素描照片，N為類別數(shù)，訓練數(shù)據(jù)集對應(yīng)標簽為Y={y1,y2,…,yN}，每次迭代開始時，隨機從X中抽取M對樣本，記為XM：

對應(yīng)類別標簽為YM={y1,y2,…,yM}。

特征提取器fθ。特征提取器fθ采用18層的殘差網(wǎng)絡(luò)ResNet-18，主要由四種不同通道大小的殘差模塊作為基本結(jié)構(gòu)組合而成。每個殘差模塊堆疊了兩層卷積，兩層卷積的通道數(shù)相同，每個殘差模塊的輸入首先與第一層卷積層進行卷積，然后依次執(zhí)行批量歸一化（batch normalization，BN）和激活函數(shù)修正線性單元（rectified linear unit，ReLU），然后輸入到第二層卷積層，再次通過BN層，最后與殘差模塊的輸入相加，再通過ReLU激活層，作為殘差模塊的輸出。

損失函數(shù)L。本文采用三元組損失函數(shù)。三元組損失的目標是使具有相同標簽的樣本在嵌入空間中盡量接近，具有不同標簽的樣本在嵌入空間中盡量遠離，如果只遵循以上兩點，最后嵌入空間中相同類別的樣本可能聚集到一個很小的圈子里，即同一類別的樣本簇中樣本間的距離很小，不同類別的樣本簇之間距離也會偏小。因此，加入間隔（margin）的概念，只要不同類別樣本簇簡單距離大于這個間隔就可以了。在訓練過程中，通過提取輸入圖片特征，然后與其對應(yīng)標簽通過生成器獲得相應(yīng)三元組(a,p,n)，其中a為錨點（anchor），p為正樣本（positive），n為負樣本（negative），p、a為相同類別樣本，n、a為不同類別樣本。

預訓練階段每次迭代第j個三元組中錨點與正樣本之間的歐式距離度量以及錨點與負樣本之間的歐式距離度量為：

則預訓練階段損失函數(shù)分別為：

其中，M為batch size大小，λ為權(quán)重，用來平衡L1、L2損失函數(shù)。

預訓練階段訓練第i個epoch未采用跨批次存儲機制時學習算法優(yōu)化問題模型為：

采用跨批次機制時算法優(yōu)化問題模型則為：

其中，θ*為模型最優(yōu)解，M′=2M，K為記憶存儲模塊容量。

1.3 基于跨批次存儲的預訓練算法

為了解決樣本稀缺問題，本文提出了基于跨批次存儲機制的預訓練算法，算法詳細步驟如算法1偽代碼所示。

算法1基于跨批次存儲機制的預訓練算法

輸入訓練數(shù)據(jù)集X，batch size大小M，特征提取器fθ，迭代次數(shù)閾值threshold，初始化參數(shù)θ，迭代次數(shù)n，記憶存儲模塊容量K。

輸出模型參數(shù)θ。

步驟1fori=0,1,2,…,n-1,do。

步驟2隨機抽取M對樣本XMi。

步驟3通過fθ提取樣本特征，放入記憶存儲模塊，當存放特征數(shù)大于K時取出最早放入存儲模塊的樣本特征。

步驟4ifi＜threshold，由式（3）計算損失L，式（4）優(yōu)化參數(shù)θ*，執(zhí)行后轉(zhuǎn)步驟1。

步驟5else由式（3）計算損失L，式（5）優(yōu)化參數(shù)θ*，執(zhí)行后轉(zhuǎn)步驟1。

步驟6輸出θ，保存訓練模型。

1.4 基于跨批次預訓練的素描人臉識別方法

基于跨批次存儲機制預訓練的素描人臉識別方法如圖2所示，分為兩個階段，第一個階段為預訓練階段，具體過程在1.2節(jié)中詳細闡述。第二個階段為模型訓練階段，每次迭代從具有N個類的訓練集X中隨機采樣M個類，其中M＜N，用預先訓練好的特征提取器fθ進行特征提取，然后通過生成器獲得相應(yīng)三元組，并計算得到三元組損失，每次迭代損失為：

圖2 基于跨批次存儲機制預訓練的素描人臉識別方法模型結(jié)構(gòu)Fig.2 Model structure of sketch face recognition method based on cross-batch storage mechanism pre-training

之后進行模型優(yōu)化。

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集設(shè)置

為了驗證本文方法的有效性以及魯棒性，采用PRIPVSGC[24]和UoM-SGFS[25]素描人臉數(shù)據(jù)集進行方法評估。

PRIP-VSGC數(shù)據(jù)集是由美國密西根大學公布的素描人臉庫，包括AR數(shù)據(jù)集中的123個樣本。該數(shù)據(jù)集總共包含三組合成素描，其中兩組分別由美國和亞洲研究人員采用FACES軟件合成，第三組由亞洲研究人員采用IdentiKit軟件合成。本文在該組數(shù)據(jù)集第三組進行實驗來驗證本文方法的有效性。圖3展示了PRIPVSGC中的樣本示例，其中第一行為照片，第二行為對應(yīng)的素描。

圖3 PRIP-VSGC數(shù)據(jù)集樣本示例Fig.3 PRIP-VSGC dataset sample examples

UoM-SGFS數(shù)據(jù)集是目前最大的軟件合成的素描數(shù)據(jù)集，并且是唯一的彩色素描數(shù)據(jù)集。該數(shù)據(jù)集包含來自Color FERET[26]數(shù)據(jù)集的600張照片和對應(yīng)的兩組合成素描圖像。其中第一組（set A）中的素描由EFIT-V軟件根據(jù)照片生成，第二組（set B）中的素描為set A中的素描圖像根據(jù)圖像編輯軟件微調(diào)后，得到的更加接近原始照片的素描圖像。圖4展示了UoM-SGFS中的樣本示例，其中第一行為照片，第二行和第三行分別為set A和set B中對應(yīng)的素描。

圖4 UoM-SGFS數(shù)據(jù)集樣本示例Fig.4 UoM-SGFS dataset sample examples

本文基于上述兩個數(shù)據(jù)集設(shè)置了三組數(shù)據(jù)集：

（1）在第一組數(shù)據(jù)集中（S1），從UoM-SGFS set A中隨機采樣450對素描-照片作為訓練集，剩下的150對素描-照片作為測試集，其中150張素描圖像組成測試圖像集，150張照片組成原型圖像集。

（2）在第二組數(shù)據(jù)集中（S2），從UoM-SGFS set B中隨機采樣450對素描-照片作為訓練集，剩下的150對素描-照片作為測試集，其中150張素描圖像組成測試圖像集，150張照片組成原型圖像集。為了模擬現(xiàn)實場景，按照文獻[3]中的策略，將S1和S2數(shù)據(jù)集中的原型圖像集擴充了1 521個人的照片，包含來自MEDS-Ⅱ數(shù)據(jù)集中的509張照片，F(xiàn)EI數(shù)據(jù)集中的199張照片，以及本文從LFW數(shù)據(jù)集中隨機采樣的813張照片來代替原文獻[3]中的FRGCv2.0數(shù)據(jù)集中的476張照片和Multi-PIE數(shù)據(jù)集中的337張照片。

（3）在第三組數(shù)據(jù)集中（S3），從PRIP-VSGC數(shù)據(jù)集中隨機采樣48對素描-照片作為訓練集，剩余的75對素描-照片作為測試集，其中75張素描圖像構(gòu)成測試圖像集，75張照片構(gòu)成原型圖像集。

為了保證算法的泛化能力，對三組數(shù)據(jù)集均進行了五重隨機交叉驗證。

2.2 實驗設(shè)置

采用MTCNN[27]方法對UoM-SGFS和PRIP-VSGC數(shù)據(jù)集中的圖像進行關(guān)鍵點定位和對齊操作，圖5展示了UoM-SGFS數(shù)據(jù)集樣本經(jīng)上述操作后的示例，其中第一行為照片，第二行和第三行分別為set A和set B中的對應(yīng)的素描。在訓練過程之前，所有圖像均被裁剪為256×256的標準尺寸，并對圖像進行了預處理，包括隨機裁剪，對圖像進行填充，翻轉(zhuǎn)、將圖像轉(zhuǎn)換為張量類型并對其標準化。

圖5 UoM-SGFS數(shù)據(jù)集處理后示例Fig.5 UoM-SGFS dataset processed examples

參數(shù)設(shè)置：實驗所用GPU內(nèi)存大小為10.7 GB，優(yōu)化器采用參數(shù)為β1=0.5和β2=0.999，動量為0.1，步長為40的Adam優(yōu)化器來對整個網(wǎng)絡(luò)模型進行優(yōu)化，并且初始化學習率設(shè)置為0.000 1。在所有實驗中，預訓練階段訓練50個epoch，記憶存儲模塊尺寸為K=512，訓練階段均訓練了50×100個episode，每100個episode保存一個模型。針對S1和S2數(shù)據(jù)集，batch size設(shè)置為32，即從訓練集隨機采樣32對素描-照片構(gòu)成一個episode。針對S3數(shù)據(jù)集，由于數(shù)據(jù)量較少，batch size設(shè)置為8，即從訓練集隨機采樣8對素描-照片構(gòu)成一個episode。

2.3 消融實驗

為了驗證本文方法中各個模塊的有效性，本文設(shè)計如下兩組消融實驗：

（1）W/O pre-train：去除基于跨批次存儲機制的預訓練階段，采用傳統(tǒng)的深度學習方法訓練特征提取器，然后通過三元組損失進行模型優(yōu)化，實驗設(shè)置同本文方法預訓練階段。

（2）W/O train：去除訓練階段，只采用基于跨批次存儲機制的預訓練階段進行實驗。在訓練過程中通過跨批次存儲機制保留歷史樣本，與當前樣本同時訓練特征提取器，然后通過三元組損失進行模型優(yōu)化，實驗設(shè)置同本文方法訓練階段。

消融實驗在S1、S2數(shù)據(jù)集上Rank-1、Rank-10、Rank-50的實驗結(jié)果分別如表1、表2以及圖6、圖7所示，在S3數(shù)據(jù)集上Rank-10實驗結(jié)果如表3及圖8所示。

表3 在S3數(shù)據(jù)集上的消融實驗結(jié)果Table 3 Results of ablation experiments on S3 dataset單位：%

圖8 在S3數(shù)據(jù)集上的消融實驗折線圖Fig.8 Line graph of ablation experiment on S3 dataset

表2 在S2數(shù)據(jù)集上的消融實驗結(jié)果Table 2 Results of ablation experiments on S2 dataset單位：%

圖7 在S2數(shù)據(jù)集上的消融實驗折線圖Fig.7 Line graph of ablation experiment on S2 dataset

表1 在S1數(shù)據(jù)集上的消融實驗結(jié)果Table 1 Results of ablation experiments on S1 dataset單位：%

圖6 在S1數(shù)據(jù)集上的消融實驗折線圖Fig.6 Line graph of ablation experiment on S1 dataset

通過以上圖表可以看出，相比消融實驗（1），本文方法在利用傳統(tǒng)的深度學習方法訓練特征提取器前通過跨批次預訓練機制進行模型預訓練，通過存儲歷史樣本與當前批次樣本訓練模型，得到較好的模型初始參數(shù)。在S1數(shù)據(jù)集上Rank-1實驗結(jié)果提升了約10個百分點，在S2數(shù)據(jù)集上Rank-1實驗結(jié)果提升了13個百分點，S3數(shù)據(jù)集Rank-10識別率提升了約4個百分點。相比消融實驗（2），本文方法在跨批次預訓練模型后進一步添加訓練模塊，對跨批次訓練階段的模型參數(shù)進行優(yōu)化。在S1數(shù)據(jù)集上Rank-1實驗結(jié)果提升了8個百分點，在S2數(shù)據(jù)集上Rank-1實驗結(jié)果提升了13個百分點，在S3數(shù)據(jù)集Rank-10識別率也提升了3個百分點。

此外，消融實驗（2）相比消融實驗（1）在訓練過程中加入了跨批次存儲機制，通過歷史樣本和當前批次樣本共同訓練模型，在三個數(shù)據(jù)集上實驗結(jié)果均有所提升了，也證明了跨批次存儲機制的有效性。

2.4 對比實驗

為了證明本文方法的有效性，針對UoM-SGFS數(shù)據(jù)集，與其他素描人臉識別方法進行對比分析，包括DANN[28]、CDAN[29]、BSP+CDAN[30]，以及深度學習跨模態(tài)方法SP-Net[31]和Transfer deep feature learning[32]。其中DANN、CDAN、BSP+CDAN均使用了域自適應(yīng)方法，可以用于解決素描和光學照片之間的模態(tài)差異問題。DANN通過源域和目標域經(jīng)過相同的映射來實現(xiàn)特征對齊，CDAN通過條件對抗性域適應(yīng)的原則框架對分類器預測中所傳遞的判別信息建立了對抗性適應(yīng)模型，BSP+CDAN提出BSP模型通過對奇異值大的特征向量進行懲罰來保證可區(qū)分性同時提高可遷移性。SP-Net方法提出了基于對比學習的耦合深度卷積神經(jīng)網(wǎng)絡(luò)。Transfer deep feature learning對比方法設(shè)計了一個三通道卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，并采用三元組損失來學習判別特征優(yōu)化網(wǎng)絡(luò)模型。實驗結(jié)果如表4、表5所示。

表4 在S1數(shù)據(jù)集上的對比實驗結(jié)果Table 4 Comparative experimental results on S1 dataset單位：%

表5 在S2數(shù)據(jù)集上的對比實驗結(jié)果Table 5 Comparative the experimental results on S2 dataset單位：%

通過表4、表5可以發(fā)現(xiàn)，相比DANN、CDAN以及BSP+CDAN等域自適應(yīng)方法，本文方法突破了只采用當前批次樣本進行模型訓練以及采用隨機初始化模型參數(shù)的局限性，通過跨批次存儲機制，不僅利用當前批次樣本信息訓練模型，同時也加入歷史樣本信息共同訓練模型，以此得到更加合適的模型初始參數(shù)。在S1數(shù)據(jù)集上相比實驗結(jié)果最好的CDAN方法識別率提升了6個百分點，相比DANN方法識別率更是有11個百分點的提升。在數(shù)據(jù)集S2上Rank-1高達72.53%的識別率，相比CDAN方法也提升了10個百分點。相比SP-Net對比方法使用的訓練機制，本文使用的訓練機制提取的樣本信息更豐富，識別效果更加準確，在S1和S2數(shù)據(jù)集上分別有18和22個百分點的提升。相比Transfer deep feature learning對比方法，本文在三元組損失的基礎(chǔ)上加入跨批次存儲機制，利用歷史樣本信息學習到更多的判別性特征，以此提升識別效果，在S1和S2數(shù)據(jù)集上識別率分別提升了11和13個百分點。

除上述對比方法外，針對S3數(shù)據(jù)集，本文方法還與SSD[33]、Attribute[34]和Transfer Learning[35]方法進行了比較，其中SSD和Attribute為傳統(tǒng)方法，Transfer Learning為深度學習方法。SSD對比方法使用合成素描與光學圖像進行識別，Attribute對比方法使用視覺顯著性和紋理特征組合的特征提取和匹配算法，用于將素描和光學照片進行匹配，Transfer Learning使用具有深度學習表示的遷移學習將合成素描與光學圖像匹配的新算法。實驗結(jié)果如表6所示，其中SSD、Attribute和Transfer Learning結(jié)果直接來自文獻[34]和文獻[35]，其余比較方法的結(jié)果是通過實驗獲得的?？梢钥闯?，與對比方法相比，本文方法雖然未進行素描合成擴充數(shù)據(jù)樣本總量，但是使用的跨批次存儲機制將歷史樣本加入當前批次訓練過程中，進而增加單批次訓練樣本，提升了識別率，在數(shù)據(jù)集S3上Rank-10識別率均有明顯提升，相比于其他對比方法識別率最低提升了8個百分點，最高提升了17個百分點，證明本文方法的魯棒性。

表6 在S3數(shù)據(jù)集上的對比實驗結(jié)果Table 6 Comparative experimental results on S3 dataset單位：%

2.5 參數(shù)實驗

（1）靈敏度校驗λ。為證明本文方法泛化性以及參數(shù)有效性，針對參數(shù)λ在S1、S2、S3數(shù)據(jù)集上分別進行了λ靈敏度校驗，記憶存儲模塊尺寸分別為K=256以及K=512，參數(shù)λ設(shè)置范圍為λ∈{0.01,0.02,0.05,0.10,0.20,0.50,1.00}，實驗的結(jié)果是S1、S2數(shù)據(jù)集取Rank-1識別率，S3數(shù)據(jù)集取Rank-10識別率，如表7和圖9所示。

表7 參數(shù)λ靈敏度實驗結(jié)果Table 7 Parameter λ sensitivity experimental result單位：%

圖9 參數(shù)λ靈敏度曲線Fig.9 Parameter λ sensitivity curve

通過圖9可以看出結(jié)果曲線較為平穩(wěn)，K=512時S1數(shù)據(jù)集識別率最高和最低之差約為5個百分點，S2數(shù)據(jù)集識別率最高和最低之差約為4個百分點，S3數(shù)據(jù)集Rank-10識別率最高和最低之差約為5個百分點，并且S1、S2數(shù)據(jù)集在λ取0.10時結(jié)果最高，分別為63.00%和72.67%。K=256時S1數(shù)據(jù)集識別率最高和最低之差不超過4個百分點，S2數(shù)據(jù)集識別率最高和最低之差不超過4個百分點，S3數(shù)據(jù)集Rank-10識別率最高和最低之差不超過6個百分點。這證明了本文方法的泛化能力以及參數(shù)λ取值的合理性。

（2）batch size參數(shù)實驗。為了證明跨批次存儲機制的必要性，除了以上實驗外，本文還進行了batch size參數(shù)選取實驗。S1、S2數(shù)據(jù)集選取Rank-1識別率，S3數(shù)據(jù)集選取Rank-10識別率，結(jié)果如表8所示，其中“—”表示因GPU顯存不足導致batch size受限無實驗結(jié)果。

W/O pre-train：S1、S2數(shù)據(jù)集由于GPU顯存限制batch size最大選取64，batch size設(shè)置為{2，4，8，16，32，64}，S3數(shù)據(jù)集最多48對，batch size設(shè)置為{2，4，8，16，32，48}。由表8可以看出該方法在S1、S2數(shù)據(jù)集初始結(jié)果幾乎為0，并且S1、S2數(shù)據(jù)集Rank1識別率最高分別為53.9%、60.0%，S3 Rank10識別率最高為59.3%。

表8 batch size參數(shù)實驗結(jié)果Table 8 Batch size parameter experiment results單位：%

W/O train：該方法突破了batch size最大為64的界線，S1、S2數(shù)據(jù)集batch size設(shè)置為{2，4，8，16，32，64，128}，S3數(shù)據(jù)集batch size設(shè)置同第一組消融實驗。由表8可以看出該方法在S1、S2數(shù)據(jù)集Rank1識別率最高分別為61.0%、63.0%，S3數(shù)據(jù)集Rank10識別率最高為60.0%。

Our approach：本文方法三個數(shù)據(jù)集batch size設(shè)置同第二組消融實驗。由表8可以看出本文方法在S1數(shù)據(jù)集初始結(jié)果就達到50.0%以上，S2數(shù)據(jù)集初始結(jié)果更是將近60.0%，證明了本文提出的基于跨批次存儲機制的預訓練方法可以獲取更好的模型初始參數(shù)，相比于其他消融實驗方法在batch size為2時結(jié)果提升明顯。此外本文方法在S1、S2、S3數(shù)據(jù)集上結(jié)果明顯高于消融實驗方法，在S1、S2數(shù)據(jù)集上Rank-1識別率最高分別為63.4%、73.1%，S3數(shù)據(jù)集上Rank10識別率最高為63.1%，相比消融實驗識別率均有所提升。

在S1、S2、S3數(shù)據(jù)集上的batch size參數(shù)選取實驗結(jié)果表明在樣本稀缺情況下通過跨批次存儲預訓練可以獲取更好的模型初始參數(shù)，在相同GPU內(nèi)存條件下也可以進一步增加batch size大小，提高識別精度。

2.6 模型復雜度分析

針對本文模型的時間復雜度與空間復雜度，進行了統(tǒng)計分析，文中所有模型均在PyTorch中實現(xiàn)，GPU為英偉達公司NVIDIA Titan X（Pascal）。

結(jié)合對比實驗中不同方法結(jié)果指標，針對不同類型對比方法，本文選擇了三種具有代表性的對比方法：域自適應(yīng)方法BSP+CDAN、深度卷積神經(jīng)網(wǎng)絡(luò)SP-Net以及利用三元組損失的Transfer deep feature learning方法在S1數(shù)據(jù)集上進行了復雜度計算的對比分析，結(jié)果如表9所示。

表9 在S1數(shù)據(jù)集上的模型復雜度分析Table 9 Model complexity analysis on S1 dataset

通過表9可知，本文方法訓練和測試運行時間均低于以上三種對比方法，內(nèi)存消耗也遠低于以上方法。綜合以上分析，本文方法在減小內(nèi)存消耗與縮短運行時間的同時改進了模型結(jié)構(gòu)，提升了識別效果。

3 結(jié)束語

針對素描人臉識別樣本稀缺問題，為提高人臉識別模型泛化能力，本文提出一種基于跨批次存儲機制預訓練的素描人臉識別方法，對現(xiàn)有深度學習方法進行了改進。該方法分為兩個階段，預訓練階段借助跨批次存儲機制突破了只訓練當前批次樣本的局限性，通過跨批次機制提取歷史樣本與當前批次樣本信息進行模型訓練，不僅緩解了樣本稀缺問題，同時節(jié)省了內(nèi)存消耗，提高了算法效率；訓練階段相比隨機初始化模型參數(shù)選擇預訓練階段得到的模型參數(shù)作為初始參數(shù)，并利用三元組損失進行模型優(yōu)化，有效提升了識別效果。在UoM-SGFS數(shù)據(jù)集和PRIP-VSGC數(shù)據(jù)集上的識別精度均有明顯提升，證明了本文方法的有效性。為進一步優(yōu)化并提升算法性能，下一步的研究重點是在緩解樣本稀缺問題同時挖掘更具判別性的特征信息，增加難例樣本比重，并縮小素描和光學圖像之間的模態(tài)差異。