許赫庭，木特力甫·馬木提，阿力木江·艾沙，3，努爾畢亞·亞地卡爾，3，庫(kù)爾班·吾布力，3

(1.新疆大學(xué)信息科學(xué)與工程學(xué)院，新疆 烏魯木齊 830046；2.新疆大學(xué)圖書館，新疆 烏魯木齊 830046；3.新疆大學(xué)新疆多語種信息技術(shù)重點(diǎn)實(shí)驗(yàn)室，新疆 烏魯木齊 830046)

0 引言

在社會(huì)和科技不斷發(fā)展的大時(shí)代背景下，身份鑒別技術(shù)的準(zhǔn)確性和安全性逐漸引起人們的關(guān)注.而實(shí)用性恰恰是身份鑒別技術(shù)不可忽視的一部分.生物特征識(shí)別技術(shù)正好具備這幾種特性，因而它在近幾年身份鑒別技術(shù)的研究中變得十分熱門，其中掌紋識(shí)別所具有的便捷性和穩(wěn)定性更是當(dāng)下人們所需要的，所以掌紋識(shí)別成為廣大學(xué)者的研究熱點(diǎn)之一.掌紋擁有更豐富且穩(wěn)定的紋理信息，它的采集方式更便捷且廉價(jià).此外非接觸式掌紋的采集方式非常衛(wèi)生，它無接觸的采集方式受到人們的廣泛認(rèn)可和喜愛，被更多人所接受.掌紋特征具有很強(qiáng)的分類性，該特征十分穩(wěn)定，紋理信息又十分豐富，所以非接觸式掌紋研究更具價(jià)值和意義.

相較于傳統(tǒng)方法，卷積神經(jīng)網(wǎng)絡(luò)的深度卷積層在特征提取方面有著更好的表現(xiàn).文獻(xiàn)[1]用在ImageNet上進(jìn)行過預(yù)訓(xùn)練的AlexNet提取深層特征，然后用Hausdorff距離進(jìn)行匹配；Svoboda等[2]將一種判別式的損失函數(shù)引入到掌紋識(shí)別中，并使用Siamese網(wǎng)絡(luò)進(jìn)行訓(xùn)練，目的是區(qū)分兩個(gè)掌紋圖像是否來源于同一個(gè)人；Tarawneh等[3]使用了3個(gè)模型(VGG16、VGG19和AlexNet)提取掌紋圖像中的深層特征，最后送入SVM進(jìn)行分類；Zhang等[4]使用Inception-ResNetV1模型，通過中心損失和交叉熵的組合來計(jì)算損失；Matkowski等[5]提出了EE-PRnet，該模型用于提取掌紋特征，它是一種端到端的識(shí)別模型；陸展鴻等[6]針對(duì)接觸式掌紋ROI的提取，提出了一種U-Net的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu).

目前國(guó)內(nèi)外對(duì)非接觸式掌紋的研究相對(duì)較少.這是由于非接觸式掌紋圖像的不確定因素(如采集設(shè)備、光照、手掌姿勢(shì)、采集距離、采集角度等)較多.本文提出使用深度卷積網(wǎng)絡(luò)來提取非接觸式掌紋特征的識(shí)別方法，該方法的識(shí)別性能更好，更具魯棒性.

1 相關(guān)模型和數(shù)據(jù)集介紹

1.1 本文使用的模型

1.1.1 ResNet

He等[7]提出的殘差網(wǎng)絡(luò)(ResNet)解決了隨網(wǎng)絡(luò)深度增加而導(dǎo)致梯度消失和梯度爆炸的問題.ResNet榮獲了2015年ImageNet比賽分類任務(wù)上的冠軍，準(zhǔn)確率達(dá)到了95.51%，且計(jì)算效率遠(yuǎn)超VGG.ResNet在結(jié)構(gòu)方面做出了創(chuàng)新，引入了殘差模塊(Residual Block)，如圖1所示，該模塊減少了網(wǎng)絡(luò)參數(shù)，同時(shí)增加了網(wǎng)絡(luò)的非線性表達(dá)能力.圖1(a)用于更深層次的網(wǎng)絡(luò)中(50層以上的ResNet).本文使用的ResNet18的殘差模塊如圖1(b)所示.

圖1 ResNet中的兩種殘差模塊

1.1.2 DenseNet

2016年，Huang等[8]提出了DenseNet，該模型是對(duì)ResNet中旁路通道思想延伸，它提出了一種密集連接的思想，如圖2所示.在Dense Block中，每一層的輸出都連接到后續(xù)層，讓后面的層能更好地復(fù)用前面層的特征.DenseNet改善了整個(gè)網(wǎng)絡(luò)中的梯度和信息流，更易于訓(xùn)練.此外Dense Block還具有正則化的效果，它有效地降低了小數(shù)據(jù)集過擬合現(xiàn)象的發(fā)生.

圖2 密集模塊結(jié)構(gòu)

1.1.3 MobileNetV2

MobileNetV2[9]屬于輕量級(jí)網(wǎng)絡(luò)，是對(duì)MobileNetV1的改進(jìn).MobileNetV2的創(chuàng)新點(diǎn)是引入Inverted Residual Block(如圖3所示)和ReLU6(如圖4所示).

圖3 倒殘差模塊

圖4 ReLU6函數(shù)圖像

InvertedResidual Block是先升維再降維，其結(jié)構(gòu)像柳葉，兩邊寬中間窄.值得注意的是Inverted Residual Block中使用的卷積操作是Depthwise卷積.Depthwise卷積是從Xception網(wǎng)絡(luò)發(fā)明而來的.它首先對(duì)每個(gè)通道都進(jìn)行各自卷積的操作.所以有多少個(gè)通道就用多少個(gè)過濾器.在得到新通道的特征圖后，再對(duì)這些新通道特征圖進(jìn)行標(biāo)準(zhǔn)的1×1跨通道卷積操作降維，這樣大大減少了計(jì)算量.

1.1.4 RegNet

RegNet[10]的基本結(jié)構(gòu)主要由3部分組成：stem、body和head，如圖5所示.其中：stem是一個(gè)包含bn和relu的普通卷積層，卷積核大小為3×3，步長(zhǎng)為2，卷積核個(gè)數(shù)為32.body由4個(gè)stage堆疊，每經(jīng)過一個(gè)stage都會(huì)將輸入特征矩陣縮為原來的一半.每個(gè)stage又由若干個(gè)block堆疊而成，每個(gè)stage的第一個(gè)block中存在步距為2的組卷積(主分支上)和普通卷積(捷徑分支上)，剩下的block中的卷積步長(zhǎng)都是1，兩種block見圖6.head就是分類網(wǎng)絡(luò)中常見的分類器，由一個(gè)全局平均池化層和全連接層構(gòu)成.

(a)網(wǎng)絡(luò)；(b)主體；(c)階段i

(a)步長(zhǎng)為1；(b)步長(zhǎng)為2

RegNet分為RegNetX和RegNetY，兩者的區(qū)別在于RegNetY在block中的Group Conv后接了個(gè)SE(Squeeze-and-Excitation)模塊.

1.1.5 Siamese Network

Siamese Network是1993年Bromley提出來的，當(dāng)時(shí)用來驗(yàn)證美國(guó)支票簽名.孿生網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)框架的一種.它包含有兩個(gè)分支.這兩個(gè)分支具有相同的結(jié)構(gòu)而且共享參數(shù).但這兩個(gè)分支有著不同的輸入，這兩個(gè)分支最終的輸出會(huì)被連接，并通過距離度量的方式計(jì)算這兩個(gè)分支輸入的相似度.Taigman等[11]將該網(wǎng)絡(luò)用于人臉的驗(yàn)證.

本文提出的Siamese Network網(wǎng)絡(luò)模型見圖7.該模型由兩部分組成，第一部分是特征描述器，有兩個(gè)參數(shù)共享的DenseNet網(wǎng)絡(luò)構(gòu)成，見圖7(a)；第二部分是決策網(wǎng)絡(luò)，見圖7(b)，它由兩個(gè)全連接層構(gòu)成.決策網(wǎng)絡(luò)的輸入是特征描述器提取到特征差值的絕對(duì)值.

1.2 評(píng)估所使用的數(shù)據(jù)集

IITD數(shù)據(jù)集[12]的全稱為IIT Delhi Touchless Palmprint Database(Version 1.0)，IITD數(shù)據(jù)集用非接觸式的設(shè)備采集，且在室內(nèi)穩(wěn)定的環(huán)境下進(jìn)行的，采集的對(duì)象是學(xué)校里的學(xué)生和工作人員，一共采集了230人的左、右手掌，即460個(gè)手掌，采集要求志愿者在規(guī)定呈像區(qū)以不同的手姿變化獲得7張圖片，志愿者均來自12～57歲年齡組.圖8是IITD數(shù)據(jù)集中不同手掌的4幅ROI圖像，用于非接觸式掌紋的識(shí)別.圖9是IITD數(shù)據(jù)集中掌紋原圖像，用于非接觸式掌紋的驗(yàn)證.

圖8 IITD數(shù)據(jù)集掌紋ROI圖像

圖9 IITD數(shù)據(jù)集掌紋原圖像

Tongji數(shù)據(jù)集[13]的目標(biāo)是建立一個(gè)大規(guī)模的、公共的、高質(zhì)量的數(shù)據(jù)集.此數(shù)據(jù)集總共收集了300人志愿者的掌紋圖像，共600個(gè)不同的手掌，每個(gè)手掌有20張，總共12 000幅圖像.其中的志愿者192人男性，108人女性，年齡均在20～50歲之間.圖10是Tongji數(shù)據(jù)集中不同手掌的4幅ROI圖像.

圖10 Tongji數(shù)據(jù)集掌紋ROI圖像

MPD數(shù)據(jù)集[14]的全稱是Tongji Mobile Palmprint Dataset.該數(shù)據(jù)集由手機(jī)的內(nèi)置攝像頭采集，包含了400個(gè)手掌，每個(gè)手掌40張.圖11是Tongji數(shù)據(jù)集中不同手掌的4幅ROI圖像.

圖11 MPD數(shù)據(jù)集ROI圖像

2 實(shí)驗(yàn)部分

2.1 實(shí)驗(yàn)設(shè)置

由于非接觸式掌紋數(shù)據(jù)集較小，又考慮到減少訓(xùn)練時(shí)間，本文使用遷移學(xué)習(xí)的思想，將在ImageNet上預(yù)訓(xùn)練好的模型參數(shù)遷移至本文所使用的卷積神經(jīng)網(wǎng)絡(luò)模型中.

由于IITD數(shù)據(jù)集每個(gè)掌紋的實(shí)際數(shù)據(jù)參差不齊(一般每個(gè)手掌有5～7張)，為了卷積神經(jīng)網(wǎng)絡(luò)能更好進(jìn)行識(shí)別訓(xùn)練，本文從IITD數(shù)據(jù)集中統(tǒng)一選取了每類包含有6張圖片的手掌，共299個(gè)手掌，1 794張手掌圖像.其中每個(gè)手掌4張用于訓(xùn)練，2張用于測(cè)試.對(duì)于Tongji和MPD數(shù)據(jù)集，本文選取了全部的數(shù)據(jù).其中Tongji共12 000張圖片，600個(gè)手掌，每個(gè)手掌20張圖片，其中16張用于訓(xùn)練，4張用于測(cè)試.MPD數(shù)據(jù)集共400個(gè)手掌，共16 000張掌紋圖像，每個(gè)手掌有40張，其中32張用于訓(xùn)練，8張用于測(cè)試.

Siamese Network的特征描述器和決策網(wǎng)絡(luò)在IITD數(shù)據(jù)集上的訓(xùn)練是分開的.特征描述器DenseNet的訓(xùn)練任務(wù)是識(shí)別，使用的是IITD原圖像，共460個(gè)手掌，2 601張掌紋圖像.訓(xùn)練好后特征描述器凍結(jié)該模型參數(shù)，再對(duì)決策網(wǎng)絡(luò)進(jìn)行訓(xùn)練.此次驗(yàn)證使用的是IITD數(shù)據(jù)集2 601張?jiān)瓐D像，并不是掌紋ROI圖像，因?yàn)楹罄m(xù)非接觸式掌紋驗(yàn)證系統(tǒng)使用的也是掌紋原圖像(用小米10手機(jī)拍攝的，不限定環(huán)境和手勢(shì)).該網(wǎng)絡(luò)首先利用DenseNet網(wǎng)絡(luò)提取兩張掌紋圖片的特征，特征維數(shù)為1×1 024.然后將兩幅掌紋圖像的特征作差，并取絕對(duì)值，形成新的特征向量：維數(shù)還是1×1 024，并打上標(biāo)簽(用以表示是否來自于同一類別).在決策網(wǎng)絡(luò)訓(xùn)練的過程中，隨機(jī)從訓(xùn)練集里選取兩幅非接觸式掌紋圖像，若其來自于不同類別(負(fù)樣本)，則標(biāo)簽為0，否則為1(正樣本)，同時(shí)將正負(fù)樣本的比例置為1∶1.

本文實(shí)驗(yàn)的配置如下：CPU處理器為Intel(R)Core(TM)i5-8300H @ 2.30 GHz；運(yùn)行內(nèi)存為16 GB內(nèi)存；顯卡為NVIDIA GeForce GTX 1060；Python版本為3.7.此外本文使用了Pytorch(1.7.1)深度學(xué)習(xí)框架對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行構(gòu)建，選取交叉熵?fù)p失和Adam優(yōu)化器對(duì)參數(shù)進(jìn)行優(yōu)化更新.經(jīng)過實(shí)驗(yàn)，本文選取了最適合非接觸式掌紋的學(xué)習(xí)率為5×10-5.為了更好地提取特征，將非接觸式掌紋圖像進(jìn)行了縮放，卷積神經(jīng)網(wǎng)絡(luò)的輸入統(tǒng)一為224×224像素大小的圖片.通過數(shù)據(jù)增強(qiáng)的方式對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充，將隨機(jī)旋轉(zhuǎn)、翻轉(zhuǎn)、平移和裁剪等應(yīng)用于動(dòng)態(tài)補(bǔ)償不同圖像中手掌特征的差異.

2.2 實(shí)驗(yàn)結(jié)果與分析

2.2.1 不同結(jié)構(gòu)CNN的識(shí)別結(jié)果

不同結(jié)構(gòu)CNN的識(shí)別結(jié)果見圖12—14.從圖12—14可以看出，RegNet在Tongji、MPD兩個(gè)數(shù)據(jù)集上的收斂速度明顯快于另外3個(gè)網(wǎng)絡(luò).RegNet在3個(gè)數(shù)據(jù)集上的識(shí)別率均最高(見表1).

圖12 不同網(wǎng)絡(luò)在IITD上識(shí)別率隨迭代次數(shù)變化關(guān)系

圖13 不同網(wǎng)絡(luò)在Tongji上識(shí)別率隨迭代次數(shù)變化關(guān)系

圖14 不同網(wǎng)絡(luò)在MPD上識(shí)別率隨迭代次數(shù)變化關(guān)系

表1 不同結(jié)構(gòu)CNN在不同數(shù)據(jù)集上的識(shí)別率 %

2.2.2 與現(xiàn)有方法識(shí)別性能的對(duì)比

本文提出用深度卷積網(wǎng)絡(luò)提取非接觸式掌紋特征的方法在3個(gè)數(shù)據(jù)集上均有較好的識(shí)別效果，見表2—4，實(shí)驗(yàn)證明了本文方法的有效性.

表2 IITD數(shù)據(jù)集現(xiàn)有方法對(duì)比 %

表3 Tongji數(shù)據(jù)集現(xiàn)有方法對(duì)比 %

表4 MPD數(shù)據(jù)集現(xiàn)有方法對(duì)比 %

3.2.3 Siamese Network非接觸式掌紋驗(yàn)證方法

驗(yàn)證不同于識(shí)別，驗(yàn)證只是通過生物特征來判斷是否為已存有個(gè)體的身份.這只是一個(gè)二分類的問題，即輸入的生物特征跟目標(biāo)特征是否屬于一個(gè)類別.在驗(yàn)證問題中，通常會(huì)計(jì)算輸入特征與目標(biāo)特征之間的相似度，并根據(jù)實(shí)際的訓(xùn)練情況設(shè)置一個(gè)閾值.當(dāng)相似度高于閾值時(shí)，表明二者是屬于同一類的，匹配成功，反之是不同類別，匹配失敗.驗(yàn)證問題一般使用等誤率(Equal Error Rate，EER)作為評(píng)判標(biāo)準(zhǔn)，EER越小，表明系統(tǒng)的驗(yàn)證性能越好.通過對(duì)閾值的調(diào)整，使得FAR等于FRR.此時(shí)的FRR和FAR稱為等誤率EER.

錯(cuò)誤拒絕率(False Rejection Rate，F(xiàn)RR)的計(jì)算公式為

(1)

錯(cuò)誤接受率(False Acceptance Rate，F(xiàn)AR)的計(jì)算公式為

(2)

其中：TTP(True Positive)是正樣本正確預(yù)測(cè)的個(gè)數(shù)；TTN(True Negative)負(fù)樣本正確預(yù)測(cè)的個(gè)數(shù)；TFN(False Negative)是正樣本錯(cuò)誤預(yù)測(cè)的個(gè)數(shù)；TFP(False Positive)是負(fù)樣本錯(cuò)誤預(yù)測(cè)的個(gè)數(shù).

本文提出的Siamese Network非接觸式掌紋驗(yàn)證方法在IITD數(shù)據(jù)集上進(jìn)行了訓(xùn)練和驗(yàn)證.驗(yàn)證結(jié)果EER為3.461 4%，EER圖見圖15.

圖15 隨機(jī)取樣時(shí)的EER圖

導(dǎo)致EER較大的原因：IITD數(shù)據(jù)集中單類掌紋的樣本數(shù)太少(只有5～6張)，為了提高實(shí)用性，并沒有使用掌紋ROI圖像，而是使用原圖像進(jìn)行訓(xùn)練.

本文根據(jù)該非接觸式掌紋驗(yàn)證方法，實(shí)現(xiàn)了一個(gè)非接觸式掌紋驗(yàn)證系統(tǒng)，該系統(tǒng)可用于驗(yàn)證智能手機(jī)拍攝的掌紋圖像.使用小米10手機(jī)采集掌紋圖像進(jìn)行了驗(yàn)證，具體實(shí)驗(yàn)結(jié)果如圖16所示.在IITD數(shù)據(jù)集上選取的閾值為0.65，即相似度大于0.65則判斷這兩個(gè)圖像來源于同一手掌，低于0.65則為不同手掌.實(shí)驗(yàn)說明該系統(tǒng)對(duì)自然場(chǎng)景下的掌紋圖像有較好的驗(yàn)證結(jié)果，且對(duì)光照和手姿態(tài)具有一定的魯棒性.

圖16 小米10手機(jī)拍攝掌紋圖片的驗(yàn)證結(jié)果

3 結(jié)束語

本文提出使用深度卷積網(wǎng)絡(luò)來提取非接觸式掌紋特征的識(shí)別方法，并選用了ResNet、DenseNet、MobileNetV2和RegNet 4個(gè)較為流行的卷積神經(jīng)網(wǎng)絡(luò)模型，在IITD、Tongji和MPD 3個(gè)非接觸式掌紋數(shù)據(jù)集上做了識(shí)別性能的評(píng)估實(shí)驗(yàn).結(jié)果表明，RegNet提取非接觸式掌紋特征的性能最好，且較傳統(tǒng)方法有所提高.還運(yùn)用遷移學(xué)習(xí)的思想，在一定程度上提高了在小數(shù)據(jù)集上的識(shí)別率，縮短了訓(xùn)練時(shí)間.提出的基于Siamese Network的非接觸式掌紋驗(yàn)證方法，可以對(duì)智能手機(jī)在自然場(chǎng)景下采集的掌紋圖像進(jìn)行驗(yàn)證，對(duì)光照和手姿態(tài)具有一定的魯棒性.