陶志勇 馮 媛 林 森

1(遼寧工程技術(shù)大學(xué)電子與信息工程學(xué)院 遼寧 葫蘆島 125105)2(阜新力興科技有限責(zé)任公司 遼寧 阜新 123000)

0 引 言

安全性在信息技術(shù)高速發(fā)展的今天越來(lái)越受到人們的重視。在這種時(shí)代背景下傳統(tǒng)的身份識(shí)別技術(shù)(如密碼、口令、證件等)面臨著巨大的挑戰(zhàn)。與傳統(tǒng)的識(shí)別認(rèn)證技術(shù)相比，生物特征識(shí)別技術(shù)具有唯一性、不易丟失、難以偽造防欺詐能力強(qiáng)的特點(diǎn)，因此成為信息安全領(lǐng)域的發(fā)展重點(diǎn)和學(xué)者們的研究熱點(diǎn)，并廣泛應(yīng)用于電子支付、門(mén)禁系統(tǒng)、身份認(rèn)證等各個(gè)領(lǐng)域。

生物特征識(shí)別技術(shù)是利用個(gè)人獨(dú)特的行為及生理特征作為鑒別身份的認(rèn)證技術(shù)，這些特征包括人臉、指紋、虹膜、手指關(guān)節(jié)紋和手指靜脈[1-5]等。在以上提及的生物特征中，手指的各類特征作為人體感官的重要器官，富含大量信息，備受青睞。但由于單一模態(tài)的固有屬性限制，已不能滿足現(xiàn)如今人們對(duì)安全性的要求，多模態(tài)身份識(shí)別技術(shù)成為研究新熱點(diǎn)。多模態(tài)融合技術(shù)是通過(guò)對(duì)同一對(duì)象的不同特征采用某種規(guī)則，融合成為一個(gè)整體進(jìn)行識(shí)別，相比于單模態(tài)識(shí)別來(lái)說(shuō)具備更高的安全性能。

本文關(guān)注于指靜脈與指關(guān)節(jié)紋兩類生物特征。指靜脈特征位于皮膚組織下，具有活體識(shí)別、難以偽造、安全性高的特點(diǎn)，但其圖像清晰度受皮膚生理結(jié)構(gòu)影響較大。指關(guān)節(jié)紋特征具有紋路變化范圍小，易于采集的特點(diǎn)，但該特征易受外部環(huán)境損傷。綜合這兩種特征優(yōu)劣勢(shì)，發(fā)現(xiàn)沒(méi)有任何一種單模態(tài)生物特征能夠達(dá)到完美，每種生物特征都有各自的適用范圍，因此結(jié)合多種生物特征來(lái)提高識(shí)別精度是發(fā)展之必然。且指靜脈與指關(guān)節(jié)紋特征均來(lái)自手指，可以利用同一設(shè)備實(shí)現(xiàn)同時(shí)采集，并且兩特征之間具有固定的位置關(guān)系，可以通過(guò)圖像配準(zhǔn)的方法進(jìn)行保存[6-7]。這為進(jìn)一步推進(jìn)實(shí)際應(yīng)用提供了可行性。

近年來(lái)，越來(lái)越多的國(guó)內(nèi)外學(xué)者致力于手指多模態(tài)特征識(shí)別領(lǐng)域。彭加亮[8]關(guān)注指靜脈、指關(guān)節(jié)紋、指紋和指形特征相融合，提出了基于特征層的手指多模態(tài)特征融合方法，采用基于多尺度與多方向Gabor小波與局部二值模式(LBP)結(jié)合的靜脈提取方法，應(yīng)用線性判別的多集相關(guān)分析方法融合特征。林坤明[9]提出基于指紋與指靜脈的動(dòng)態(tài)加權(quán)的特征層融合方法以及基于序列分類器的匹配層融合方法。Khellatkihel等[10]提出指靜脈、指紋、指關(guān)節(jié)紋在特征級(jí)和決策級(jí)進(jìn)行融合，采用SVM和KNN算法進(jìn)行識(shí)別分類。以上提及的方法均需要針對(duì)不同的特征制定不同的特 征提取方案，這對(duì)系統(tǒng)的識(shí)別準(zhǔn)確率影響較大。隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，利用深度學(xué)習(xí)技術(shù)來(lái)解決分類問(wèn)題成為一種趨勢(shì)。卷積神經(jīng)網(wǎng)絡(luò)是一種不依賴人工提取特征的自我學(xué)習(xí)的方法，通過(guò)引入局部連接、權(quán)值共享、池化操作、非線性激活等，允許網(wǎng)絡(luò)從數(shù)據(jù)中自主學(xué)習(xí)特征，比傳統(tǒng)方法具有更強(qiáng)大的特征學(xué)習(xí)和特征表達(dá)能力[9]。但采用卷積神經(jīng)網(wǎng)絡(luò)方法需要大規(guī)模帶標(biāo)注樣本進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，從而引入了新的難題。

近年來(lái)，遷移學(xué)習(xí)在小數(shù)據(jù)集領(lǐng)域得到了廣泛的認(rèn)可與研究。楊晶東等[11]利用遷移學(xué)習(xí)在全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行舌像分類，有效提高了分類準(zhǔn)確率且縮短了訓(xùn)練時(shí)間；李冠東等[12]利用遷移學(xué)習(xí)在深度卷積神經(jīng)網(wǎng)絡(luò)下進(jìn)行高分影像場(chǎng)景分類，有效提高了分類精度。遷移學(xué)習(xí)能夠運(yùn)用已有知識(shí)對(duì)不同但相關(guān)領(lǐng)域問(wèn)題進(jìn)行求解，可有效解決目標(biāo)領(lǐng)域數(shù)據(jù)匱乏的問(wèn)題。本文針對(duì)指靜脈、指關(guān)節(jié)紋單模態(tài)固有屬性的局限以及傳統(tǒng)方法主觀提取特征的隨機(jī)性和指靜脈與指關(guān)節(jié)紋數(shù)據(jù)樣本匱乏等問(wèn)題，提出一種基于遷移學(xué)習(xí)的對(duì)指靜脈與指關(guān)節(jié)紋進(jìn)行分?jǐn)?shù)級(jí)融合的身份識(shí)別方法。

1 研究方法

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)是一種采用卷積運(yùn)算代替一般矩陣乘法的特殊前饋神經(jīng)網(wǎng)絡(luò)，一個(gè)典型的CNN結(jié)構(gòu)由輸入層、卷積層、激勵(lì)層、下采樣層(池化層)、全連接層和輸出層組成[13]，如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積層(Convolutions)：用于進(jìn)行特征學(xué)習(xí)，該層通過(guò)稀疏連接和權(quán)值共享機(jī)制更好的學(xué)習(xí)特征。卷積運(yùn)算的表達(dá)式[14]如下：

(1)

激勵(lì)層：在卷積層之后應(yīng)用，該層的目的是在系統(tǒng)中引入非線性。常用的激勵(lì)函數(shù)有tanh、sigmoid函數(shù)。但經(jīng)過(guò)研究者大量實(shí)驗(yàn)發(fā)現(xiàn)Relu函數(shù)能有效緩解梯度消失，收斂快，節(jié)省網(wǎng)絡(luò)訓(xùn)練時(shí)間，成為最常用的激勵(lì)函數(shù)。Relu函數(shù)的表達(dá)式如下：

(2)

下采樣層(Subsampling)：也稱為池化層，在卷積層之后使用，通過(guò)壓縮數(shù)據(jù)進(jìn)而達(dá)到減少運(yùn)算量和數(shù)據(jù)維度的目的。常用的池化層有最大池化(Max pooling)和平均池化(Average pooling)。Max pooling是指在每個(gè)過(guò)濾器圍繞的子區(qū)域內(nèi)選擇最大值輸出。Average pooling是指在每個(gè)過(guò)濾器圍繞的子區(qū)域內(nèi)選擇平均值輸出。池化過(guò)程如下：

(3)

全連接層(Fully connection)：應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)的尾部，全連接層接收前一個(gè)層的輸出，生成一個(gè)N維向量，N通常取值為1 024、2 048、4 096等。當(dāng)前面層次丟棄信息過(guò)多時(shí)，通過(guò)全連接層將信息擬合回來(lái)。

Softmax分類器：是logistic回歸的一般形式，可用作多分類問(wèn)題。在多分類問(wèn)題中，類標(biāo)簽可以取m個(gè)值，訓(xùn)練集為{(x(1),y(1)),(x(2),y(2)),…,(x(m),y(m))}，類標(biāo)簽y(n)∈{1,2,…,m}對(duì)于給定的輸入x(n)，用假設(shè)函數(shù)hλ(x(n))針對(duì)每一個(gè)類別估算出概率p(y(n)=k丨x(n)),k=1,2,…,m。hλ(x(n))是一個(gè)和為1的m行列向量，每一行表示不同類別出現(xiàn)的概率。假設(shè)函數(shù)hλ(x(n))的公式為：

(4)

(5)

式中：λ1，λ2，…，λm為模型參數(shù)。將x(n)分為第k類的概率記為：

(6)

把p(y(n)=k|x(n);λ)取最大值時(shí)對(duì)應(yīng)的類別k作為當(dāng)前樣本的分類結(jié)果，并與樣本實(shí)際標(biāo)簽比較，若一致，則分類正確，否則分類錯(cuò)誤。

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練目標(biāo)是通過(guò)隨機(jī)梯度下降法(Stochastic gradient descent，SGD)使得損失函數(shù)達(dá)到最小，損失函數(shù)計(jì)算公式為：

(7)

隨機(jī)梯度下降法權(quán)重迭代表達(dá)式[15]為：

(8)

(9)

式中：η為學(xué)習(xí)率，用于控制反向傳播的強(qiáng)度。

1.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)的目標(biāo)是從一個(gè)場(chǎng)景中學(xué)習(xí)到的知識(shí)應(yīng)用到新場(chǎng)景中。定義為：給定源域DS和源任務(wù)TS，目標(biāo)域DT和目標(biāo)任務(wù)TT，遷移學(xué)習(xí)是用DS和TS中獲取的知識(shí)幫助提高DT到TT的學(xué)習(xí)，且Ds≠DT或Ts≠TT[16]。具體分為：① 樣本遷移：將DS的樣本融入到DT當(dāng)作DT的加權(quán)樣本直接用于訓(xùn)練，通過(guò)一些算法調(diào)整DS樣本的權(quán)重。② 關(guān)系遷移：DS與DT盡管不同，但存在相關(guān)性，將該關(guān)聯(lián)遷移到TT中。③ 特征遷移，凍結(jié)網(wǎng)絡(luò)的最后一個(gè)全連接分類層，將前面層網(wǎng)絡(luò)提取的特征輸入相應(yīng)分類器進(jìn)行分類訓(xùn)練。④ 參數(shù)遷移，又稱模型遷移是應(yīng)用其他大批量數(shù)據(jù)集(如：ImageNet)訓(xùn)練得到的模型保存權(quán)重，將新數(shù)據(jù)集輸入該模型進(jìn)行Fine-tune(參數(shù)調(diào)優(yōu))進(jìn)而達(dá)到新任務(wù)的分類目的。本文采用的第四種遷移學(xué)習(xí)方式。

2 方法設(shè)計(jì)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

Vgg19[17]模型是牛津大學(xué)Karen等于2014在ILSVRC(ImageNet Large-Scale Visual Recognition Challenge)大賽上取得第二名的網(wǎng)絡(luò)模型。從網(wǎng)絡(luò)結(jié)構(gòu)層面上來(lái)看，Vgg19采用的是早期卷積神經(jīng)網(wǎng)絡(luò)常用的無(wú)分支模型。

Inceptionv3[18]模型采用了一種模塊堆疊的結(jié)構(gòu)對(duì)網(wǎng)絡(luò)進(jìn)行加深加寬，使用(1×n和n×1)的形式代替n×n卷積，實(shí)現(xiàn)在增加網(wǎng)絡(luò)規(guī)模的同時(shí)保證計(jì)算高效率。Inceptionv3的網(wǎng)絡(luò)模塊如圖2所示。

圖2 Inceptionv3網(wǎng)絡(luò)模塊

Xception[19]是Inceptionv3基礎(chǔ)上發(fā)展的網(wǎng)絡(luò)模型，是先進(jìn)行通道合并再進(jìn)行空間卷積，而Xception相反，Xception網(wǎng)絡(luò)模塊如圖3所示。

ResNet[20]網(wǎng)絡(luò)模型解決了深層網(wǎng)絡(luò)的退化問(wèn)題，ResNet由多個(gè)殘差塊堆疊而成，網(wǎng)絡(luò)引入Identity mapping(恒等映射)，將原始網(wǎng)絡(luò)所要學(xué)習(xí)的H(x)轉(zhuǎn)換成F(x)+x。殘差塊的表示如圖4所示。

針對(duì)傳統(tǒng)特征提取方法的局限性，提出利用上述優(yōu)異的網(wǎng)絡(luò)預(yù)訓(xùn)練模型分別在指靜脈、指關(guān)節(jié)紋數(shù)據(jù)集上進(jìn)行參數(shù)調(diào)優(yōu)再進(jìn)行相應(yīng)類目識(shí)別。啟用無(wú)分支網(wǎng)絡(luò)模型Vgg19；加入Inception結(jié)構(gòu)加寬網(wǎng)絡(luò)的Inceptionv3、Xception；引入殘差塊進(jìn)一步加深網(wǎng)絡(luò)的Resnet等網(wǎng)絡(luò)模型進(jìn)行此次學(xué)習(xí)任務(wù)的遷移。

2.2 分?jǐn)?shù)級(jí)融合

如圖5所示，指靜脈與指關(guān)節(jié)紋數(shù)據(jù)分別通過(guò)Vgg19、Inceptionv3、Xception、ResNet50等網(wǎng)絡(luò)經(jīng)softmax分類器得到匹配分?jǐn)?shù)再通過(guò)分?jǐn)?shù)級(jí)融合得到最終的匹配分?jǐn)?shù)，分?jǐn)?shù)級(jí)融合方案是基于指靜脈與指關(guān)節(jié)紋模型的加權(quán)和，S1為指靜脈相應(yīng)類別的匹配分?jǐn)?shù)，S2為指關(guān)節(jié)紋相應(yīng)類別的匹配分?jǐn)?shù)，ωv為手指靜脈占的分?jǐn)?shù)融合權(quán)重，ωp為手指關(guān)節(jié)紋占的分?jǐn)?shù)融合權(quán)重，且ωv+ωp=1，分?jǐn)?shù)融合計(jì)算公式為：

圖5 網(wǎng)絡(luò)模型

S=ωv×S1+ωp×S2

(10)

3 實(shí) 驗(yàn)

本文算法實(shí)驗(yàn)環(huán)境的內(nèi)存為32 GB，CPU為Inter Core i7-6850k，GPU為GeForce GTX Titan-X，編程語(yǔ)言為Python2.7，深度學(xué)習(xí)框架為keras。

3.1 數(shù)據(jù)集介紹

由于目前尚無(wú)來(lái)自同一個(gè)體的手指靜脈與手指關(guān)節(jié)紋的雙模態(tài)數(shù)據(jù)集，因此實(shí)驗(yàn)中考慮將兩種模態(tài)的數(shù)據(jù)集以一一對(duì)應(yīng)的方式作為同一主體的判別依據(jù)。

本文采用了FV-USM指靜脈數(shù)據(jù)集[21]和IIT Delhi finger-knuckle-print指關(guān)節(jié)紋數(shù)據(jù)集[22-23]。FV-USM指靜脈數(shù)據(jù)集中包括123人(83名男性和40名女性)共492個(gè)不同手指的指靜脈圖像樣本，每個(gè)手指有6幅分辨率為640×480的bmp格式圖片，且已進(jìn)行感興趣區(qū)域提取。IIT Delhi finger-knuckle-print指關(guān)節(jié)紋數(shù)據(jù)集包含158人的158個(gè)不同手指的指關(guān)節(jié)紋圖像樣本，每個(gè)手指有5幅分辨率為80×100的bmp格式圖片，且已進(jìn)行感興趣區(qū)域提取。

為了有效防止網(wǎng)絡(luò)過(guò)擬合，增加網(wǎng)絡(luò)的泛化性能，在進(jìn)行網(wǎng)絡(luò)訓(xùn)練前，需先使用python腳本語(yǔ)句對(duì)指靜脈和指關(guān)節(jié)紋圖像通過(guò)翻折變換和旋轉(zhuǎn)變換[24]方法進(jìn)行數(shù)據(jù)擴(kuò)充。擴(kuò)充后的數(shù)據(jù)集樣本總數(shù)達(dá)60 300。之后為了適應(yīng)不同微調(diào)網(wǎng)絡(luò)的輸入限制，需將數(shù)據(jù)集處理為224×224以及299×299大小。數(shù)據(jù)集預(yù)處理結(jié)果如圖6所示。

圖6 數(shù)據(jù)集預(yù)處理結(jié)果

數(shù)據(jù)集劃分方式分為兩個(gè)部分：第一部分為識(shí)別，第二部分為帶拒絕識(shí)別閾值判定的識(shí)別。這兩部分在進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練時(shí)均使用150類圖像。第一部分，識(shí)別實(shí)驗(yàn)的測(cè)試部分使用訓(xùn)練過(guò)的150類圖像的測(cè)試集部分；第二部分，在拒絕識(shí)別閾值判定的識(shí)別實(shí)驗(yàn)過(guò)程中除去網(wǎng)絡(luò)模型的訓(xùn)練外還要進(jìn)行閾值選定的訓(xùn)練，該部分需加入一部分未知類別圖像。如表1、表2所示。

（1）高職院校仍然沿用傳統(tǒng)講授式教學(xué)，由于高數(shù)課程的困難，很難構(gòu)建討論式、學(xué)生活動(dòng)式、探究式、發(fā)現(xiàn)式課程體系。微積分難度較高，本科學(xué)生尚且望而生畏，清華大學(xué)的學(xué)生甚至都存在不感興趣的情況，更不用說(shuō)高職院校的學(xué)生了。（2）應(yīng)試教育的評(píng)價(jià)方式讓專業(yè)課程難以建立，高職高數(shù)課時(shí)相對(duì)知識(shí)體系較少，學(xué)生為了通過(guò)考試只能硬背題型，照葫蘆畫(huà)瓢，既不能宏觀理解，也不能應(yīng)用，在畢業(yè)以后也很少應(yīng)用到高數(shù)。（3）教材脫離專業(yè)，枯燥繁瑣，傳統(tǒng)高數(shù)教材的特點(diǎn)就是虛，沒(méi)有服從專業(yè)的內(nèi)在需求，過(guò)度緊張的教學(xué)和功利化的傾向，加上學(xué)而不用，造成了高數(shù)學(xué)習(xí)的焦慮。

表1 指靜脈數(shù)據(jù)集描述及劃分

表2 指關(guān)節(jié)紋數(shù)據(jù)集描述及劃分

3.2 實(shí)驗(yàn)方案

數(shù)據(jù)集劃分方案分為兩種：第一種訓(xùn)練及測(cè)試數(shù)據(jù)集全部為已知類別；第二種訓(xùn)練及測(cè)試數(shù)據(jù)集是在已知類別的基礎(chǔ)上加入未知類別，未知類別部分用來(lái)尋找不同網(wǎng)絡(luò)模型下的最優(yōu)拒絕識(shí)別閾值。

在啟用第一種數(shù)據(jù)集劃分方案時(shí)，實(shí)驗(yàn)分為三個(gè)部分：?jiǎn)沃胳o脈模型，單指關(guān)節(jié)紋模型，指靜脈與指關(guān)節(jié)紋分?jǐn)?shù)級(jí)融合模型的識(shí)別準(zhǔn)確率測(cè)試。將測(cè)試集部分輸入到訓(xùn)練好的網(wǎng)絡(luò)模型中，經(jīng)過(guò)Softmax函數(shù)返回所有類別的概率值，其中最大概率值對(duì)應(yīng)的標(biāo)識(shí)類別就是網(wǎng)絡(luò)認(rèn)定的匹配對(duì)象，分別記錄在不同的網(wǎng)絡(luò)模型下這兩種生物特征的識(shí)別準(zhǔn)確率，以及經(jīng)過(guò)分?jǐn)?shù)級(jí)融合后的識(shí)別準(zhǔn)確率。

在啟用第二種數(shù)據(jù)集劃分方案時(shí)，為了模擬真實(shí)情境非注冊(cè)用戶入侵系統(tǒng)的情況，引入了一個(gè)拒絕識(shí)別閾值，若Softmax輸出最大匹配概率小于該閾值，就將該測(cè)試圖像視為“拒絕識(shí)別的”。不同網(wǎng)絡(luò)模型的閾值設(shè)定依據(jù)是y取最大值：

(11)

式中：T_illegal_users為正確阻隔的非法用戶數(shù)；All_illegal_users為全部的非法用戶數(shù)；F_illegal_users為錯(cuò)誤阻隔的合法用戶數(shù)；All_valid_users為全部的合法用戶數(shù)。這里的合法是指進(jìn)行過(guò)網(wǎng)絡(luò)訓(xùn)練的類別用戶。在訓(xùn)練集上找到y(tǒng)取最大值時(shí)對(duì)應(yīng)的閾值即為最優(yōu)拒絕識(shí)別閾值，用選定的該閾值在測(cè)試集進(jìn)行識(shí)別準(zhǔn)確率測(cè)定。

3.3 實(shí)驗(yàn)結(jié)果及分析

根據(jù)3.2節(jié)實(shí)驗(yàn)方案的敘述可知，實(shí)驗(yàn)分為兩個(gè)部分。采用第一種數(shù)據(jù)集劃分方式時(shí)，衡量系統(tǒng)好壞的指標(biāo)是識(shí)別準(zhǔn)確率，識(shí)別準(zhǔn)確率越高反映系統(tǒng)性能越好。采用第二種數(shù)據(jù)集劃分方式時(shí)，衡量系統(tǒng)性能好的指標(biāo)不僅要求識(shí)別準(zhǔn)還要求拒絕準(zhǔn)。

指靜脈的交叉驗(yàn)證數(shù)據(jù)集通過(guò)各個(gè)網(wǎng)絡(luò)模型訓(xùn)練過(guò)程的準(zhǔn)確率與損失如圖7、圖8所示。隨迭代次數(shù)增高，模型的準(zhǔn)確率與損失均達(dá)到收斂，且Resnet50網(wǎng)絡(luò)模型準(zhǔn)確率始終高于其他三種模型，損失低于其他三種模型，且收斂速度更快，表現(xiàn)出更加優(yōu)異的性能。

圖7 指靜脈數(shù)據(jù)集訓(xùn)練準(zhǔn)確率圖示

圖8 指靜脈數(shù)據(jù)集訓(xùn)練損失圖示

指關(guān)節(jié)紋的交叉驗(yàn)證數(shù)據(jù)集通過(guò)各個(gè)網(wǎng)絡(luò)模型訓(xùn)練過(guò)程的準(zhǔn)確率與損失如圖9、圖10所示。與指靜脈數(shù)據(jù)集的訓(xùn)練圖示相比，指關(guān)節(jié)紋的訓(xùn)練結(jié)果波動(dòng)略大，且最終達(dá)到收斂時(shí)的準(zhǔn)確率也略低，這與數(shù)據(jù)集本身質(zhì)量有關(guān)。隨迭代次數(shù)增高，模型的準(zhǔn)確率與損失均達(dá)到收斂，盡管Resnet50網(wǎng)絡(luò)模型達(dá)到收斂速度更快，但I(xiàn)nceptionV3網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程更加穩(wěn)定。

圖9 指關(guān)節(jié)紋數(shù)據(jù)集訓(xùn)練準(zhǔn)確率圖示

圖10 指關(guān)節(jié)紋數(shù)據(jù)集訓(xùn)練損失圖示

表3 不同網(wǎng)絡(luò)模型下單模態(tài)識(shí)別準(zhǔn)確率 %

根據(jù)2.2節(jié)可知，指靜脈權(quán)重參數(shù)為ωv，指關(guān)節(jié)紋權(quán)重參數(shù)為ωp，二者權(quán)重和為1。表4記錄的是這兩種特征在不同的權(quán)重占比下對(duì)分?jǐn)?shù)級(jí)融合識(shí)別準(zhǔn)確率的影響。

表4 不同分?jǐn)?shù)融合權(quán)重參數(shù)下各網(wǎng)絡(luò)模型的識(shí)別率比較

由表3、表4的實(shí)驗(yàn)結(jié)果可以得出，分?jǐn)?shù)級(jí)融合指靜脈與指關(guān)節(jié)紋特征較單指靜脈特征、單指關(guān)節(jié)紋特征更具識(shí)別準(zhǔn)確率的優(yōu)勢(shì)。當(dāng)ωv=0.5與ωp=0.5時(shí)有兩個(gè)網(wǎng)絡(luò)達(dá)到識(shí)別準(zhǔn)確率最高，在ωv=0.6與ωp=0.4時(shí)均有三個(gè)網(wǎng)絡(luò)達(dá)到識(shí)別準(zhǔn)確率最高，但Vgg19網(wǎng)絡(luò)模型準(zhǔn)確率較ωv=0.5與ωp=0.5時(shí)下降兩個(gè)百分比，反觀其余三個(gè)網(wǎng)絡(luò)模型準(zhǔn)確率波動(dòng)不大，為了統(tǒng)一起見(jiàn)，將所有網(wǎng)絡(luò)模型下的兩特征權(quán)重均設(shè)置為ωv=0.5與ωp=0.5。本文提出的方法與應(yīng)用超小波域圖像級(jí)融合[25]和采用NBP算子提取多模態(tài)特征進(jìn)行識(shí)別對(duì)比如表5所示。

表5 本文方法與其他方法識(shí)別能力對(duì)比

在提高系統(tǒng)識(shí)別準(zhǔn)確率的同時(shí)，又應(yīng)考慮到實(shí)際生活中身份識(shí)別系統(tǒng)一方面要求準(zhǔn)確識(shí)別，一方面要求準(zhǔn)確拒絕。如果對(duì)未知類別的“非法用戶”直接進(jìn)行識(shí)別會(huì)對(duì)系統(tǒng)準(zhǔn)確率影響較大。針對(duì)這一情況，本文提出用拒絕識(shí)別閾值來(lái)控制這類用戶進(jìn)入系統(tǒng)，對(duì)不同網(wǎng)絡(luò)模型的閾值選定原則按照式(10)取最大值時(shí)對(duì)應(yīng)的閾值為最優(yōu)閾值。圖11的橫軸為閾值，縱軸為設(shè)定不同閾值時(shí)式(10)的取值。

圖11 拒絕識(shí)別閾值選定

拒絕識(shí)別閾值從0至0.8，以0.01為步長(zhǎng)進(jìn)行測(cè)定，得到在不同網(wǎng)絡(luò)模型下的拒絕識(shí)別閾值。應(yīng)用選定出的閾值在測(cè)試集上進(jìn)行測(cè)定，結(jié)果如表6所示。第一行實(shí)驗(yàn)結(jié)果含義為：識(shí)別正確的用戶占系統(tǒng)接納可以進(jìn)行識(shí)別用戶個(gè)數(shù)的百分比。第二行實(shí)驗(yàn)結(jié)果整體準(zhǔn)確率包含正確識(shí)別與正確拒絕，即識(shí)別正確的用戶與正確拒絕的用戶數(shù)之和占所有測(cè)試用戶個(gè)數(shù)的百分比。

表6 帶拒絕識(shí)別閾值的實(shí)驗(yàn)結(jié)果 %

可以看出，加入拒絕識(shí)別閾值對(duì)阻隔非法用戶有一定的積極意義，但存在一部分合法用戶被錯(cuò)誤拒絕導(dǎo)致整體準(zhǔn)確率下降的情況。

4 結(jié) 語(yǔ)

多模態(tài)生物特征識(shí)別能夠克服單模態(tài)生物特征識(shí)別的局限，近年來(lái)成為生物特征識(shí)別領(lǐng)域的研究熱門(mén)。指靜脈與指關(guān)節(jié)紋是兩種典型手部的生物特征，它們優(yōu)劣互補(bǔ)，并且可以實(shí)現(xiàn)同時(shí)采集，這兩種特征的融合必將成為本領(lǐng)域的研究熱點(diǎn)。本文提出了一種基于遷移學(xué)習(xí)的指靜脈與指關(guān)節(jié)紋分?jǐn)?shù)級(jí)融合的雙模態(tài)生物識(shí)別方法。通過(guò)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別分類分別得到手指靜脈和手指關(guān)節(jié)紋識(shí)別的匹配分?jǐn)?shù)，再經(jīng)過(guò)分?jǐn)?shù)級(jí)融合得到最終的匹配分?jǐn)?shù)進(jìn)行決策。實(shí)驗(yàn)表明，將手指靜脈與手指關(guān)節(jié)紋分?jǐn)?shù)級(jí)融合后的識(shí)別性能比手指靜脈或手指關(guān)節(jié)紋單一特征識(shí)別性能有明顯提高。同時(shí)本文還提出了如何尋找拒識(shí)閾值的方法對(duì)“非法用戶”進(jìn)行有效的拒絕，在測(cè)試集上的測(cè)試結(jié)果證實(shí)提出方法有效。但通過(guò)設(shè)定拒絕識(shí)別閾值，可以有效阻隔大部分的“非法用戶”同時(shí)也有一部分合法用戶被錯(cuò)誤拒絕，這就是下一步仍需繼續(xù)思考和解決的重點(diǎn)。