肖 珂，汪訓(xùn)昌，何云華，李超飛，田玉通

(北方工業(yè)大學(xué) 信息學(xué)院，北京 100144)

0 引 言

生物特征識(shí)別方法是利用指紋、虹膜、人臉和聲音等個(gè)人獨(dú)有生理或行為特征實(shí)現(xiàn)身份認(rèn)證識(shí)別，便利性和可靠性明顯強(qiáng)于基于身份證或口令的傳統(tǒng)識(shí)別方法[1]。然而受環(huán)境、噪聲和欺騙攻擊等不利因素的影響，單一生物特征識(shí)別的安全性有待加強(qiáng)，識(shí)別精度還有待提高。提取多種生物特征信息融合識(shí)別，單一生物特征識(shí)別的某些缺陷得以彌補(bǔ)，系統(tǒng)的識(shí)別性能(如識(shí)別精度與安全性)得到有效提升[2,3]。

相對(duì)于其它生物特征，虹膜和人臉由于其優(yōu)良的特性在現(xiàn)實(shí)生活中應(yīng)用更為廣泛。然而虹膜對(duì)采集的虹膜有效區(qū)域遮擋率以及清晰程度異常敏感[4]，人臉會(huì)受到質(zhì)量、姿態(tài)、表情和光照變化等影響[5]。

多生物特征融合主要分為特征層融合、分?jǐn)?shù)層融合和決策層融合。分?jǐn)?shù)層與決策層融合的融合層次較高，損失特征信息較多，可用信息較少，融合效果往往不夠理想。而特征層融合，損失信息較少，融合效果理論上能達(dá)到最優(yōu)值[6]。

在多生物特征的特征層融合中，直接串聯(lián)的融合策略容易引起“維度災(zāi)難”問(wèn)題。Reddy等[7]在提取人臉和指紋兩種生物特征向量并進(jìn)行串聯(lián)融合后再采用PCA降維，最后利用概率神經(jīng)網(wǎng)絡(luò)對(duì)融合特征向量進(jìn)行分類，實(shí)現(xiàn)特征層融合識(shí)別。Bahrampour等[8]提出在利用字典學(xué)習(xí)提取出指紋、虹膜的特征字典后，利用稀疏表達(dá)特征降維得到聯(lián)合表達(dá)字典用于后續(xù)分類識(shí)別。

近幾年來(lái)，深度學(xué)習(xí)作為一種有效的特征表示學(xué)習(xí)方式，通過(guò)建立多層神經(jīng)網(wǎng)絡(luò)，能挖掘生物特征的本質(zhì)信息進(jìn)行融合識(shí)別，有效彌補(bǔ)人工設(shè)計(jì)特征存在盲目性和差異性缺陷[9]。Mobamed等[10]提出利用融合條件受限玻爾茲曼機(jī)(conditional restricted Boltzmann machine，CRBM)來(lái)挖掘噪音環(huán)境下的音視頻特征本質(zhì)信息用于融合。Kurban等[11]提出卷積神經(jīng)網(wǎng)絡(luò)(CNN)來(lái)挖掘人臉和手勢(shì)特征本質(zhì)信息以用于融合識(shí)別。

因此，本文提出一種基于深度學(xué)習(xí)的虹膜與人臉特征層融合識(shí)別方法，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取特征本質(zhì)信息，使用參數(shù)化t-SNE解決特征串聯(lián)后維度過(guò)高問(wèn)題，并采用最好分類方法之一SVM來(lái)進(jìn)行分類識(shí)別。

1 基于卷積神經(jīng)網(wǎng)絡(luò)的虹膜與人臉多生物特征融合識(shí)別

本文提出的融合識(shí)別方法整體框架如圖1所示，首先進(jìn)行人臉和虹膜的檢測(cè)定位，之后對(duì)兩者進(jìn)行預(yù)處理操作并對(duì)虹膜進(jìn)行額外的虹膜歸一化操作，然后使用CNN模型進(jìn)行特征提取并對(duì)提取的特征進(jìn)行串聯(lián)融合，最后利用參數(shù)化t-SNE和SVM進(jìn)行特征降維和分類識(shí)別。

圖1 虹膜與人臉多特征融合識(shí)別系統(tǒng)框架

1.1 卷積神經(jīng)網(wǎng)絡(luò)CNN

由于經(jīng)典CNN框架VGG16在圖像分類和目標(biāo)檢測(cè)任務(wù)中具有優(yōu)越表現(xiàn)效果[12]。本文在參考此網(wǎng)絡(luò)的基礎(chǔ)上通過(guò)采用激活函數(shù)為線性整流函數(shù)(rectified linear unit，ReLU)的卷積層和池化函數(shù)為最大池化的池化層對(duì)單幅人臉和虹膜圖像進(jìn)行降采樣特征提取工作，利用SVM替換softmax輸出層進(jìn)行分類輸出工作。圖2表示改良后的網(wǎng)絡(luò)框架。

圖2 CNN神經(jīng)網(wǎng)絡(luò)模型框架

1.2 參數(shù)化t-SNE算法降維

參數(shù)化t-SNE[13]算法可用于數(shù)據(jù)降維和數(shù)據(jù)可視化。其核心思想是通過(guò)訓(xùn)練網(wǎng)絡(luò)模型，嘗試在數(shù)據(jù)降維過(guò)程中盡量保證數(shù)據(jù)間相似度改變程度最小，而數(shù)據(jù)間的相似度矩陣則是由距離矩陣轉(zhuǎn)化。其原理如圖3所示。

圖3 參數(shù)化t-SNE算法降維

在高維空間，數(shù)據(jù)間相似度定義pij如式(1)所示

(1)

在低維空間，數(shù)據(jù)間的相似度定義qij定義如式(2)所示

(2)

由于聯(lián)合概率分布P和Q分別代表高低維空間數(shù)據(jù)相似度，P與Q的差異越小，高低維空間數(shù)據(jù)相似度越高，而Kullback-Leibler散度可以有效量化P和Q的差異，其定義如式(3)所示

(3)

1.3 SVM多分類器

SVM因其優(yōu)秀的泛化能力，成為目前最常用，效果最好的方法之一。SVM是通過(guò)構(gòu)造出對(duì)樣本集盡可能正確的劃分且?guī)缀伍g隔最大的分類超平面來(lái)進(jìn)行分類。當(dāng)樣本空間不可分時(shí)，可先將樣本空間進(jìn)行映射變換，進(jìn)而得到一個(gè)高維線性特征空間(如圖4所示)，最后在這個(gè)高維映射空間中構(gòu)造分類超平面。此類映射變換函數(shù)被稱作核函數(shù)。

圖4 SVM樣本空間映射

現(xiàn)階段的SVM多分類方法主要由直接分類和間接分類兩種方法組成。直接分類方法原理簡(jiǎn)單但容易受類別數(shù)量影響分類效果。而間接分類方法可以將多類問(wèn)題轉(zhuǎn)化成二分類問(wèn)題，受類別數(shù)量的影響很小，可以實(shí)現(xiàn)良好的分類效果。因此，本文SVM多分類選取的是間接分類方法。

2 實(shí) 驗(yàn)

2.1 數(shù)據(jù)集

CASIA Iris Distance數(shù)據(jù)集[14]常用于測(cè)試人臉和虹膜融合方法性能的驗(yàn)證評(píng)估工作，該數(shù)據(jù)集相對(duì)其它數(shù)據(jù)集的優(yōu)勢(shì)在于能在單幅圖像中采集出人臉和虹膜兩種特征，確保了虹膜與人臉的匹配性。數(shù)據(jù)集包含了142個(gè)人的2567張圖像，圖像的分辨率為2352×1728。

2.2 實(shí)驗(yàn)結(jié)果與分析

從表1可知，卷積層的層數(shù)增加會(huì)提升系統(tǒng)的識(shí)別率。而全連接層的層數(shù)的增加則不一定能提升系統(tǒng)的識(shí)別率。選取5層卷積層，1層全連接層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)識(shí)別效果最優(yōu)。

表1 不同網(wǎng)絡(luò)結(jié)構(gòu)的識(shí)別率

為了更好驗(yàn)證本文所提融合方法的優(yōu)越性，本文增加了單獨(dú)的人臉與虹膜識(shí)別以及多種人臉虹膜融合識(shí)別方法實(shí)驗(yàn)作對(duì)比，表2和圖5是實(shí)驗(yàn)數(shù)據(jù)結(jié)果。

表2 不同多生物特征融合識(shí)別方法性能比較

圖5 單一生物特征與多生物特征融合識(shí)別方法ROC曲線

從圖5和表2的實(shí)驗(yàn)數(shù)據(jù)結(jié)果可知，相對(duì)于單一生物特征識(shí)別方法、傳統(tǒng)加權(quán)融合方法以及傳統(tǒng)CNN識(shí)別方法，本文提出的多生物特征融合識(shí)別方法，識(shí)別精度更高，魯棒性更強(qiáng)，識(shí)別性能更為優(yōu)良。

同時(shí)，本文通過(guò)與近年他人給出的融合方法作對(duì)比來(lái)進(jìn)一步驗(yàn)證本文所提方法的優(yōu)良識(shí)別性能。表3為對(duì)比實(shí)驗(yàn)數(shù)據(jù)結(jié)果。

從表3可知，相對(duì)他人提出的3種融合識(shí)別方法，本文提出的融合識(shí)別方法在(FAR和GAR)方面更佳，且具有更低的EER率，融合識(shí)別效果更好。

表3 近幾年人臉和虹膜融合識(shí)別方法性能比較

3 結(jié)束語(yǔ)

本文通過(guò)對(duì)虹膜和人臉兩種實(shí)際應(yīng)用范圍較廣的生物特征來(lái)進(jìn)行生物特征融合研究，提出了一種基于深度學(xué)習(xí)的多生物特征融合識(shí)別方法。其利用卷積神經(jīng)網(wǎng)絡(luò)CNN提取人臉和虹膜特征、參數(shù)化t-SNE算法特征降維和支持向量機(jī)SVM組合來(lái)進(jìn)行融合識(shí)別。在CASIA Iris Distance數(shù)據(jù)集的實(shí)驗(yàn)數(shù)據(jù)結(jié)果表明，本文提出的融合識(shí)別方法效果很好，相比其它融合方法，識(shí)別精度和魯棒性更高，性能更為優(yōu)良。