徐文貴，沈 雷，王智霖，李 琦

(杭州電子科技大學(xué)通信工程學(xué)院，浙江 杭州 310018)

0 引 言

目前，生物識別技術(shù)因其較高的安全性和便利性受到青睞。與指紋識別、人臉識別、掌紋識別等生物識別技術(shù)相比，手指靜脈識別具有獨特優(yōu)勢，比如更高的穩(wěn)定性、極難被盜取和偽造以及識別精度高、速度快等優(yōu)點，廣泛應(yīng)用于銀行、門禁等對安全性能要求較高的場合[1]。指靜脈識別算法主要分為傳統(tǒng)指靜脈識別算法和深度學(xué)習(xí)指靜脈算法。傳統(tǒng)指靜脈識別算法主要通過提取指靜脈的紋路、紋理以及端點和分叉點等細節(jié)點作為指靜脈特征進行識別。如文獻[2]提出一種融合手指靜脈圖像的靜脈曲率灰度特征、背景灰度曲率特征以及靜脈曲率細線特征的閾值識別算法；文獻[3]先提取手指靜脈紋路，再提取指靜脈紋路的端點和分叉點作為指靜脈紋路的拓撲結(jié)構(gòu)進行指靜脈識別；文獻[4]在韋伯局部描述子(Webber Local Descriptor，WLD)的基礎(chǔ)上，采用局部方向碼(Local Directional Code，LDC)對局部梯度方向信息進行編碼，取得了不錯的識別效果。雖然傳統(tǒng)指靜脈識別算法能較好地提取指靜脈紋路、紋理等特征，但魯棒性不夠強，當(dāng)手指發(fā)生平移、軸旋轉(zhuǎn)等姿態(tài)變化時，容易出現(xiàn)識別率較低甚至無法識別等情況。近年來，隨著深度學(xué)習(xí)的迅速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)因其強大的自動學(xué)習(xí)能力廣泛應(yīng)用于圖像分割[5]、圖像識別[6]以及目標(biāo)檢測[7]等領(lǐng)域。許多研究人員運用卷積神經(jīng)網(wǎng)絡(luò)來自動學(xué)習(xí)并提取具有較高判別力的指靜脈特征，提高了指靜脈特征對特殊姿態(tài)手指的魯棒性，改善了傳統(tǒng)人工設(shè)計特征的局限性。如文獻[8]提出一種基于改進卷積神經(jīng)網(wǎng)絡(luò)的指靜脈識別算法，在較少訓(xùn)練樣本下也能取得不錯的識別效果；文獻[9]提出一種基于改進殘差網(wǎng)絡(luò)的指靜脈識別算法，采用中心損失和交叉熵損失共同約束網(wǎng)絡(luò)，提高了特征的區(qū)分力。但是，這些算法均通過提取指靜脈全局特征進行識別，僅靠網(wǎng)絡(luò)的學(xué)習(xí)能力來適應(yīng)手指放置姿態(tài)的變化，沒有考慮正常姿態(tài)手指及其特殊姿態(tài)手指之間的全局靜脈結(jié)構(gòu)差異較大，而局部顯著靜脈相似度較高的特點，特殊姿態(tài)手指的識別率仍然較低。本文提出一種融合全局與局部特征網(wǎng)絡(luò)的指靜脈識別算法。充分利用指靜脈的全局信息與局部信息，融合全局與局部特征網(wǎng)絡(luò)，在損失項中加入CurricularFace損失[10]，在擴大指靜脈特征向量類間差，縮小內(nèi)類差距離的同時，在線挖掘特殊姿態(tài)手指樣本進行重點訓(xùn)練，并采用Mish激活函數(shù)[11]作為網(wǎng)絡(luò)激活層，提高了網(wǎng)絡(luò)提取指靜脈結(jié)構(gòu)信息的能力。

1 融合全局與局部特征網(wǎng)絡(luò)

本文提出的融合全局與局部特征網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，主要包括基于改進殘差網(wǎng)絡(luò)的主干網(wǎng)絡(luò)和全局特征與局部特征提取模塊。主干網(wǎng)絡(luò)采用ResNet50結(jié)構(gòu)，包含5層卷積結(jié)構(gòu)，Conv_1包含1個卷積核大小為3×3的卷積層、BN層以及Mish激活層，Conv_2至Conv_5分別由3個、4個、14個、3個改進殘差塊組成。為了更好地學(xué)習(xí)不同粒度下的局部特征和全局特征，主干網(wǎng)絡(luò)在Conv_5分為3個獨立分支，分別為Branch-1，Branch-2，Branch-3，每個分支均包含3個改進殘差塊，其中，為了獲得更高分辨率的特征圖，進行特征分塊，Branch-2和Branch-3均取消了下采樣操作。全局特征與局部特征提取模塊中，分別采用全局平均池化(Global Average Pooling，GAP)和全局最大池化(Global Max Pooling，GMP)來提取全局特征向量和局部特征向量，經(jīng)過一層1×1卷積進行降維，并通過特征拼接得到融合特征向量。5個256維的局部特征向量L分別經(jīng)過一層全連接層(Full Connected Layers，F(xiàn)C)后計算交叉熵損失值，3個256維的全局特征向量G以及2 048維的融合特征向量F分別通過CurricularFace損失計算CurricularFace損失值，將所有損失值相加后，進行反向傳播來更新網(wǎng)絡(luò)參數(shù)。在測試階段，將2 048維融合特征向量作為指靜脈特征，通過計算指靜脈特征之間的歐式距離進行指靜脈識別。

圖1 融合全局與局部特征網(wǎng)絡(luò)結(jié)構(gòu)圖

1.1 全局特征與局部特征提取模塊

基于深度學(xué)習(xí)的指靜脈識別算法通常通過GAP提取全局特征進行識別。GAP提取指靜脈的全局靜脈結(jié)構(gòu)信息，保證全局靜脈信息的完整性。而特殊姿態(tài)手指與其正常姿態(tài)手指之間的全局靜脈結(jié)構(gòu)差異較大，僅使用全局特征進行識別效果不佳。因此，本文通過全局特征與局部特征提取模塊提取局部特征輔助全局特征進行識別，獲得魯棒性更強的指靜脈融合特征。

圖1中，全局特征與局部特征提取模塊有3個分支，分別與主干網(wǎng)絡(luò)3個分支相對應(yīng)。本文將來自主干網(wǎng)絡(luò)的特征圖水平均勻分割成若干個大小相等的特征塊，進行局部特征的提取。分塊越多，學(xué)習(xí)到的靜脈特征越精細，但也會因手指平移過大出現(xiàn)分塊不對齊等問題。因此，本文將特征圖分為原始特征圖、二等分特征圖、三等分特征圖。第1個分支為原始分支，僅提取全局特征；第2和第3個分支分別對各自分支特征圖進行水平分塊，提取不同尺度的局部特征，獲取各自分支全局特征，避免割裂全局特征與局部特征的學(xué)習(xí)。將3個分支的特征通過1×1卷積進行降維后拼接到一起，得到辨別力更強的融合特征。

在本文提出的全局特征與局部特征提取模塊中，通過GAP提取全局特征，通過GMP提取局部特征，GMP能夠保留特征圖中響應(yīng)最強烈的靜脈結(jié)構(gòu)信息，去除易受手指平移、軸旋轉(zhuǎn)等姿態(tài)變化影響的不明顯靜脈信息干擾，提高局部顯著靜脈特征的平移不變性，強化全局特征中與之對應(yīng)的靜脈信息，這樣，不僅提高了全局特征的判別力，而且保證了靜脈結(jié)構(gòu)信息的完整性。

1.2 激活函數(shù)

在網(wǎng)絡(luò)中，激活函數(shù)發(fā)揮重要作用，影響網(wǎng)絡(luò)的非線性表達能力。傳統(tǒng)的殘差網(wǎng)絡(luò)通常采用線性修正單元(Rectified linear unit，ReLU)[12]作為激活層。ReLU激活函數(shù)具有降低計算量、防止梯度消失、緩解過擬合等優(yōu)點。但是，當(dāng)神經(jīng)元輸入x≤0時，梯度被置為0，則該神經(jīng)元已經(jīng)死亡，不再對任何輸入有響應(yīng)，此時網(wǎng)絡(luò)無法有效學(xué)習(xí)指靜脈結(jié)構(gòu)信息，模型無法提取具有強辨別力的指靜脈特征。學(xué)習(xí)率設(shè)置較大時，也會導(dǎo)致大量神經(jīng)元的死亡。所以，本文采用Mish激活函數(shù)作為網(wǎng)絡(luò)的激活函數(shù)：

(1)

圖2 改進殘差塊

式中，x為前一層網(wǎng)絡(luò)的輸出。Mish激活函數(shù)和ReLU激活函數(shù)均無上界，避免了梯度消失的問題。但Mish在神經(jīng)元輸入x≤0時，允許較小的負梯度流入，有效緩解了神經(jīng)元死亡問題，使得網(wǎng)絡(luò)能夠?qū)W習(xí)到更多的靜脈結(jié)構(gòu)信息。此外，Mish是一個平滑的激活函數(shù)，平滑過渡使得激活后的靜脈結(jié)構(gòu)信息更加清晰連貫。采用Mish激活函數(shù)的改進殘差塊如圖2所示。

1.3 損失函數(shù)

網(wǎng)絡(luò)訓(xùn)練過程中，為了提高網(wǎng)絡(luò)的學(xué)習(xí)表征能力，本文采用交叉熵損失和CurricularFace損失聯(lián)合監(jiān)督網(wǎng)絡(luò)，計算公式如下：

L=LCrossEntropy+LCurricularFace

(2)

式中，LCrossEntropy為交叉熵損失，LCurricularFace為CurricularFace損失。

(3)

式中，N為訓(xùn)練集中一個批次圖像的數(shù)量，n為訓(xùn)練集中靜脈圖像的類別數(shù)，fi為第i個樣本對應(yīng)的特征向量，yi表示fi對應(yīng)的類別，Wj表示權(quán)重矩陣W的第j列，bj為偏置項。

在采集指靜脈圖像的過程中，特殊姿態(tài)手指與其對應(yīng)的正常姿態(tài)手指的靜脈圖像之間存在類內(nèi)距離遠的問題，交叉熵僅約束類間距離，未對類內(nèi)距離進行約束。同時，訓(xùn)練過程中，由于特殊姿態(tài)手指的類內(nèi)距離遠導(dǎo)致網(wǎng)絡(luò)無法很好收斂，影響網(wǎng)絡(luò)的學(xué)習(xí)能力和泛化能力。本文引入CurricularFace損失，旨在擴大指靜脈特征向量的類間差，縮小類內(nèi)差，同時在線自適應(yīng)挖掘特殊姿態(tài)手指樣本，使得網(wǎng)絡(luò)能夠更好地適應(yīng)平移、軸旋轉(zhuǎn)等姿態(tài)變化，計算公式如下：

(4)

(5)

t(k)=αr(k)+(1-α)t(k-1)

(6)

式中，t為自適應(yīng)估計參數(shù)，t(0)=0，α為動量，r(k)為第k個mini-batch的正余弦相似度的平均值。當(dāng)樣本分類正確時，樣本為正常手指，此時N(t,cosθj)=cosθj；當(dāng)樣本分類錯誤時，樣本為特殊姿態(tài)手指，N(t,cosθj)=(t+cosθj)cosθj。在訓(xùn)練前期，t趨近于0，(t+cosθj)<1時，正常手指權(quán)重大于特殊姿態(tài)手指權(quán)重，網(wǎng)絡(luò)更加關(guān)注正常手指，這有利于加速模型收斂；隨著不斷訓(xùn)練，樣本的正余弦相似度不斷增大，即r(k)不斷增大，t(k)不斷增大，最終(t+cosθj)>1，即特殊姿態(tài)手指的權(quán)重大于正常手指權(quán)重，網(wǎng)絡(luò)更加關(guān)注特殊姿態(tài)手指的訓(xùn)練，使得網(wǎng)絡(luò)更好地適應(yīng)手指平移、軸旋轉(zhuǎn)等姿態(tài)的變化。

本文融合全局與局部特征網(wǎng)絡(luò)中3個全局特征向量G以及融合特征向量F均保留全局信息，采用CurricularFace進行約束，考慮到分塊局部特征可能存在的不對齊問題，5個局部特征向量L僅采用交叉熵進行約束。

2 仿真實驗及分析

實驗所用服務(wù)器GPU為NVIDIA TITAN RTX，CUDA版本為10.1，操作系統(tǒng)為64位Ubuntu16.04，使用的深度學(xué)習(xí)框架是PyTorch1.7.1，編程語言為Python3.7.9。訓(xùn)練階段的批次大小為16，初始學(xué)習(xí)率為0.000 1，每5輪衰減為原來的1/10，共訓(xùn)練16輪。通過自適應(yīng)矩估計(Adaptive Momentum Estimation，ADAM)優(yōu)化器對網(wǎng)絡(luò)參數(shù)進行優(yōu)化，指靜脈特征向量維度為2 048維。

2.1 數(shù)據(jù)集

實驗數(shù)據(jù)集包括3部分，分別是馬來西亞理工大學(xué)指靜脈集FV-USM、課題組通過實驗采集的正常圖像庫FV-Normal和特殊圖像庫FV-Special。

FV-USM數(shù)據(jù)集來自123名志愿者，每人采集4根手指的信息，分別為左食指、左中指、右食指、右中指，采集過程分為2個階段，每根手指在每個階段采集6次，共有5 904張圖像。將2個階段數(shù)據(jù)集進行合并，得到492類，每類12張圖像。按照4∶1劃分訓(xùn)練集與測試集，選取前392根手指圖像作為原始訓(xùn)練集，經(jīng)過旋轉(zhuǎn)、平移、縮放等方式進行擴充，得到擴充訓(xùn)練集。后100根手指圖像作為測試集。

FV-Normal數(shù)據(jù)集由課題組自主研發(fā)的850 nm波長紅外攝像頭的小型指靜脈模塊進行采集，共有4 600根正常放置姿態(tài)下的手指靜脈信息，每根手指有6張圖像，總共24 000張圖像。其中，前4 000根手指來自500人，每人采集8根手指信息，后600根手指來自100人，每人采集6根手指信息。訓(xùn)練集與測試集按照人數(shù)進行5∶1劃分，選取前4 000根手指的靜脈圖像作為原始訓(xùn)練集，經(jīng)過旋轉(zhuǎn)、平移、縮放等方式擴充，得到擴充訓(xùn)練集，選取后600根手指的靜脈圖像作為測試集。

FV-Special數(shù)據(jù)集通過課題組自主研發(fā)的850 nm波長紅外攝像頭的小型指靜脈模塊進行采集，采集16人的4根手指靜脈信息，每根手指包含正常、重壓、彎曲、上移、下移、平面左旋轉(zhuǎn)、平面右旋轉(zhuǎn)、軸左旋轉(zhuǎn)和右軸旋轉(zhuǎn)共9種放置姿態(tài)，每種放置姿態(tài)采集10張圖像，總共5 760張圖像，均作為測試集，用于測試指靜脈識別算法在不同手指放置姿態(tài)下的識別性能。

2.2 消融實驗

在FV-USM數(shù)據(jù)集上進行消融實驗。FV-USM測試集包含100指×12=1 200張圖像，統(tǒng)計識別率時，同類匹配次數(shù)為6 600次，不同類匹配次數(shù)為712 800次。

為了解決ReLU帶來的問題，本文融合全局與局部特征網(wǎng)絡(luò)采用Mish作為激活層。為了驗證其效果，采用本文融合全局與局部特征網(wǎng)絡(luò)(Branch-1)作為基線模型，模型激活函數(shù)分別使用ReLU和Mish，采用CurricularFace損失進行訓(xùn)練。結(jié)果如表1所示。

表1 不同激活函數(shù)模型的性能對比 單位：%

從表1可以看出，相比于ReLU，采用Mish作為激活層后，零誤識識別率提高了3.46%，Top1排序性能提升了0.63%，說明Mish激活函數(shù)能有效緩解ReLU激活函數(shù)帶來的神經(jīng)元死亡問題。

Branch-1網(wǎng)絡(luò)下，不同激活函數(shù)的激活特征圖可視化結(jié)果如圖3所示。由于深層網(wǎng)絡(luò)為高級語義信息，不利于觀察，因此本文只展示Conv_2最后一層激活特征圖，限于篇幅，均取前4個通道特征圖。從圖3(b)和(c)可以看出，相比于ReLU激活函數(shù)，Mish激活函數(shù)提取的靜脈結(jié)構(gòu)信息更加豐富準確、連貫清晰，說明Mish激活函數(shù)更適合指靜脈特征的提取。

圖3 不同激活函數(shù)的基線模型的激活特征圖

表2 不同分支組合的零誤識識別率與Top1排序 單位：%

本文融合全局與局部特征網(wǎng)絡(luò)采用多分支結(jié)構(gòu)獨立學(xué)習(xí)不同尺度下的局部特征與全局特征，為了驗證各個分支的效果，設(shè)置不同分支組合進行實驗，結(jié)果如表2所示。從表2可以看出，3個單分支中，Branch-2分支的零誤識識別率和Top1排序性能最高。較Branch-2分支，Branch-3分支的識別性能出現(xiàn)下降，可能是因為Branch-3分支分塊較多，手指平移較大帶來的分塊不對齊問題對其影響較大，但與Branch-1分支相比依舊有提升，說明本文網(wǎng)絡(luò)的局部特征的分塊策略較為合理。從3組二分支組合來看，相比單獨分支均有提升，三分支組合的零誤識識別率和Top1排序性能最好，說明本文網(wǎng)絡(luò)的3個分支能夠獨立學(xué)習(xí)不同尺度下的指靜脈局部和全局靜脈結(jié)構(gòu)信息，相互補充，共同提高模型的表征能力。

2.3 對比試驗

分別使用VGG-16[13]、指靜脈改進殘差網(wǎng)絡(luò)[9]、本文Branch-1網(wǎng)絡(luò)、本文融合全局與局部特征網(wǎng)絡(luò)進行提取特征，得到ROC曲線如圖4所示，Top1排序如表3所示。ROC曲線中，橫坐標(biāo)為誤識率(False Acceptance Rate，F(xiàn)AR)，縱坐標(biāo)為識別率(True Acceptance Rate，TAR)。

圖4 不同網(wǎng)絡(luò)在不同數(shù)據(jù)集上ROC曲線

從圖4可以看出，當(dāng)FAR為0時，本文融合全局與局部特征網(wǎng)絡(luò)TAR最高，在FV-USM測試集和FV-Normal測試集上，較VGG-16、指靜脈改進殘差網(wǎng)絡(luò)、本文Branch-1網(wǎng)絡(luò)分別提高了13.18%，18.59%，11.33%和8.11%，4.17%，4.32%。

表3 不同網(wǎng)絡(luò)在不同數(shù)據(jù)集上的Top1排序 單位：%

從表3可以看出，本文融合全局與局部特征網(wǎng)絡(luò)Top1排序性能最高，在FV-USM測試集和FV-Normal測試集上較VGG-16、指靜脈改進殘差網(wǎng)絡(luò)、本文Branch-1網(wǎng)絡(luò)分別提升4.31%，8.26%，4.00%和4.96%，1.55%，0.50%。

為了驗證本文融合全局與局部特征網(wǎng)絡(luò)在不同手指放置姿態(tài)下的有效性，采用FV-Special測試集進行測試，得到4種網(wǎng)絡(luò)的零誤識識別率和Top1排序如表4所示。

表4 不同網(wǎng)絡(luò)在FV-Special測試集上的零誤識識別率與Top1排序 單位：%

從表4可以看出，在不同手指放置姿態(tài)下，本文融合全局與局部特征網(wǎng)絡(luò)零誤識識別率以及Top1排序性能均明顯高于其他網(wǎng)絡(luò)，說明本文融合全局與局部特征網(wǎng)絡(luò)有效提高了特殊姿態(tài)手指的識別性能。

為了驗證本文融合全局與局部特征網(wǎng)絡(luò)的實時性能，選取FV-Normal測試集作為測試樣本，共計3 600張指靜脈圖像，分別統(tǒng)計VGG-16、指靜脈改進殘差網(wǎng)絡(luò)、本文Branch-1網(wǎng)絡(luò)、本文融合全局與局部特征網(wǎng)絡(luò)進行提取特征的平均識別時間，結(jié)果如表5所示。

表5 不同網(wǎng)絡(luò)的平均識別時間 單位：s

從表5可以看出，VGG-16網(wǎng)絡(luò)結(jié)構(gòu)較簡單，平均識別時間最短，而本文Branch-1網(wǎng)絡(luò)和融合全局與局部特征網(wǎng)絡(luò)結(jié)構(gòu)較復(fù)雜，平均識別時間要長一些。

3 結(jié)束語

本文提出一種融合全局與局部特征網(wǎng)絡(luò)的指靜脈識別算法。通過多分支網(wǎng)絡(luò)學(xué)習(xí)不同粒度下的指靜脈全局特征與局部特征，并運用特征拼接技術(shù)進行特征融合，顯著提高了特殊姿態(tài)手指的識別率與Top1排序性能。下一步將重點進行融合全局與局部特征網(wǎng)絡(luò)的輕量化研究，在降低模型復(fù)雜度的同時保證網(wǎng)絡(luò)的識別性能。