林坤 雷印杰

摘 ?要： 在手掌靜脈圖像采集的過程中易受手掌擺放姿勢、光源條件等外界因素的影響，造成識別準確度欠佳。為了提高手掌靜脈圖像識別的精準度和魯棒性，提出一種基于改進AlexNet深度卷積神經(jīng)網(wǎng)絡(luò)的手掌靜脈識別方法。該方法首先通過圖像分割、指根關(guān)鍵點定位、感興趣區(qū)域圖像提取等三個階段對采集的手掌靜脈圖像進行預(yù)處理;其次，針對人體手掌靜脈識別的應(yīng)用場景，通過適當調(diào)整經(jīng)典的AlexNet卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)并對卷積層的輸出進行批標準化操作，同時，將深度學習理論中的注意力機制應(yīng)用到該網(wǎng)絡(luò)中，進而優(yōu)化AlexNet神經(jīng)網(wǎng)絡(luò)，使用優(yōu)化后的AlexNet神經(jīng)網(wǎng)絡(luò)對預(yù)處理后的圖像自動進行特征提取、分類和識別;最后，在公開的Polyu和CASIA多光譜掌紋數(shù)據(jù)集上進行大量的實驗，達到的最佳識別率分別為99.93%和99.51%，實驗驗證了所提方法的有效性。

關(guān)鍵詞： 手掌靜脈識別; AlexNet神經(jīng)網(wǎng)絡(luò)優(yōu)化; 圖像特征提取; 圖像預(yù)處理; 注意力機制應(yīng)用; 有效性驗證

中圖分類號： TN911.73?34; TP391.4 ? ? ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）07?0052?05

Research on palm vein recognition algorithm based on

improved AlexNet convolution neural network

LIN Kun， LEI Yinjie

（Institute of Intelligent Control， College of Electronics & Information Engineering， Sichuan University， Chengdu 610036， China）

Abstract： In the process of palm vein image acquisition， palm vein images are susceptible to external factors like palm posture and light source conditions， which will result in poor recognition accuracy. Therefore， a palm vein recognition method based on improved AlexNet depth convolution neural network is proposed to improve the accuracy and robustness of the image recognition. Firstly， the collected palm vein image is preprocessed by image segmentation， finger root key point location and image extraction in the region of interest （ROI）. Secondly， according to the application context of palm vein recognition， the classical AlexNet convolution neural network structure is adjusted appropriately， and the output of convolution layer is standardized in batches. The attention mechanism in deep learning theory is applied to the above?mentioned network to optimize the AlexNet neural network. The optimized AlexNet neural network is used to automatically extract， classify and identify the features of the preprocessed images. A large number of experiments were performed on public PolyU and CASIA multispectral palmprint datasets. The optimal recognition rates are 99.93% and 99.51% respectively. The experiments verify the effectiveness of this method.

Keywords： palm vein recognition; AlexNet neural network optimization; image feature extraction; image preprocessing; attention mechanism application; effectiveness verification

0 ?引 ?言

隨著社會的進步和經(jīng)濟的不斷發(fā)展，基于特征物品（如身份證、鑰匙等）和特定知識（如用戶名和密碼、U盾、IC卡等）的傳統(tǒng)身份鑒別方法面臨著挑戰(zhàn)。特別是在網(wǎng)絡(luò)社會的今天，人們對于身份鑒別技術(shù)的可靠性、安全性有了更高的要求。而基于人的一個或多個身體特征（如人臉、指紋、虹膜、靜脈、DNA等）和行為特征（如筆跡、步態(tài)、聲紋等）的生物特征識別技術(shù)[1]（Biometrics）為身份鑒別領(lǐng)域提供了一個有效、可靠的解決方法。

手掌靜脈識別[2]是利用隱藏在人體手掌表皮下的靜脈紋理進行身份鑒別?；谑终旗o脈的生物特征識別具有廣泛的應(yīng)用前景，也得到了相關(guān)研究人員的廣泛關(guān)注?；谌斯ぬ崛D像特征和機器學習的思路取得了很多成果，其大多數(shù)方法可分為以下三類：基于結(jié)構(gòu)特征的方法、基于子空間特征方法和基于紋理特征方法?；诮Y(jié)構(gòu)特征的方法對圖像質(zhì)量的依賴性較大，容易因圖像質(zhì)量的下降而丟失大量結(jié)構(gòu)信息;基于紋理特征的方法易受手掌靜脈紋理的豐富度和清晰度的影響;基于子空間特征的方法目前研究相對較少，其準確性和魯棒性有待進一步探討。

近年來，深度卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用到計算機視覺任務(wù)中，與基于人工提取手掌靜脈圖像特征和使用機器學習算法進行識別的思路不同，深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network，DCNN）不需要人工提取圖像特征信息，可以從大量的訓(xùn)練樣本學習到合適的網(wǎng)絡(luò)參數(shù)。使用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)可以對輸入圖像提取深層次特征信息，并進行分類和識別。

基于此，本文提出一種基于改進AlexNet深度卷積神經(jīng)網(wǎng)絡(luò)的手掌靜脈識別方法。通過在基準數(shù)據(jù)集上的實驗，該方法具有很好的有效性和魯棒性。

1 ?手掌靜脈圖像預(yù)處理

受手掌擺放姿勢、光照條件等因素的影響，采集到的原始手掌靜脈圖像質(zhì)量不一，需要對原始圖像進行預(yù)處理以方便后續(xù)的特征提取和識別。手掌的中心區(qū)域集中了手掌靜脈圖像的大部分有效特征，該區(qū)域即手掌靜脈圖像的感興趣區(qū)域（Region of Interest，ROI）[3]。圖像預(yù)處理主要是對手掌靜脈圖像的感興趣區(qū)域進行提?。阂环矫嫱ㄟ^圖像預(yù)處理消除了全局幾何變換對識別的影響;另一方面，選取預(yù)處理后的ROI圖像進行處理和識別，將大大減小圖像處理部分的運算量和神經(jīng)網(wǎng)絡(luò)的深度。

本文提出一種詳細的ROI提取方案，包括手掌圖像分割、關(guān)鍵點定位和ROI提取三個階段，具體包括圖像剪裁、高斯平滑濾波、二值化、手掌分割、輪廓提取、質(zhì)心定位、輪廓到質(zhì)心距離計算、關(guān)鍵點定位、方向矯正、坐標系重建、ROI提取等11個步驟，如圖1所示。

1.1 ?手掌圖像分割

首先剪裁掉原始手掌靜脈圖像中對識別并不需要的手腕區(qū)域，加快預(yù)處理速度;而后進行高斯平滑濾波去除噪聲;最后對去噪后的圖像進行二值化得到二值圖像，并將二值化后圖像與二值化前的圖像進行與操作，從而分割出手掌圖像。

1.2 ?關(guān)鍵點定位

通過輪廓提取、質(zhì)心定位、輪廓到質(zhì)心的距離計算等步驟進行關(guān)鍵點定位。

1） 輪廓提?。簩Χ祷蟮膱D像做輪廓檢測。檢測出的輪廓中取最大輪廓，即手掌輪廓。

2） 質(zhì)心定位：根據(jù)手掌輪廓圖像的矩計算出輪廓的質(zhì)心，其計算公式如下：

[M00=ijVi，jM10=iji?Vi，j， ? ? ?i∈I，j∈JM01=ijj?Vi，j] ? ?（1）

[x=M10M00， ? ? y=M01M00 ] （2）

式中：[I]，[J]分別代表圖像的橫縱坐標集;[Vi，j]表示圖像在點[i，j]上的灰度值;[M00]，[M10]，[M01]分別代表輪廓圖像的零階矩、一階矩和一階矩;（[x]，[y]）為質(zhì)心坐標。

3） 關(guān)鍵點定位：逆時針方向計算輪廓上的每個點到質(zhì)心的距離，并以此作幅值圖。由手掌圖像的特點可知，幅值圖像的三個波谷即食指與中指、中指與無名指、無名指與小指之間的指根點。取食指與中指、無名指與小指之間的指根點作為兩個關(guān)鍵點。

1.3 ?ROI提取

通過方向矯正、坐標系重建等步驟進行ROI提取。

1） 方向矯正：以直線連接兩個關(guān)鍵點，旋轉(zhuǎn)圖像至該直線的角度為0°。

2） 坐標系重建：兩個關(guān)鍵點連線為[x]軸，連線中點為原點，垂直平分線為[y]軸重建坐標系。在重建后的坐標系中在[x]軸上方，[y]軸兩側(cè)提取出固定大小的矩形ROI區(qū)域。

2 ?改進的AlexNet卷積神經(jīng)網(wǎng)絡(luò)

2.1 ?AlexNet神經(jīng)網(wǎng)絡(luò)

AlexNet是深度學習經(jīng)典的基礎(chǔ)網(wǎng)絡(luò)之一，由Hinton和他的學生Alex Krizhevsky于2012年提出，其主要結(jié)構(gòu)為8層深度神經(jīng)網(wǎng)絡(luò)，包括5層卷積層和3層全連接層，不計入激活層和池化層。

AlexNet卷積層中使用ReLU函數(shù)作為激活函數(shù)，而不是之前網(wǎng)絡(luò)中廣泛使用的Sigmoid函數(shù)，ReLU函數(shù)的公式為：

[fx=0， ? ? x≤0x， ? ? x>0] （3）

ReLU函數(shù)的引入解決了在神經(jīng)網(wǎng)絡(luò)較深時的梯度彌散問題。此外，AlexNet神經(jīng)網(wǎng)絡(luò)在卷積層中使用最大池化的方法對卷積層輸出的特征圖進行下采樣，而不是此前普遍使用的平均池化。因此，AlexNet神經(jīng)網(wǎng)絡(luò)比之前的神經(jīng)網(wǎng)絡(luò)具有更優(yōu)異的性能。

2.2 ?注意力機制

計算機視覺中的注意力機制（Attention Mechanism）[4?5]借鑒了人類的大腦在處理視覺信息時的注意力集中機制，即能夠忽略無關(guān)信息而更多地關(guān)注重點信息。深度學習中可以通過讓神經(jīng)網(wǎng)絡(luò)對輸入數(shù)據(jù)或特征圖上的不同部分學習不同權(quán)重分布的思路來實現(xiàn)注意力機制，權(quán)重不同所對應(yīng)的專注度也不同。

SE?Block （Squeeze?and?Excitation Block）[6]是深度學習中常用的一個實現(xiàn)注意力機制的神經(jīng)網(wǎng)絡(luò)模塊，其通過學習的方式來自動獲取到每個圖像特征通道的重要程度，讓神經(jīng)網(wǎng)絡(luò)利用全局信息有選擇地增強有益特征圖通道并抑制無用特征圖通道，其原理如圖2所示。SE?Block模塊可以嵌入到當前流行的大部分經(jīng)典深度學習網(wǎng)絡(luò)中。

在圖2中，[H]，[W]，[C]為經(jīng)過卷積層之后特征圖的尺寸，為特征圖的通道數(shù);[Fsq]為特征壓縮（Squeeze）過程;[Fex]為特征激勵（Excitation）過程;[Fscale]為特征融合過程。

2.3 ?AlexNet神經(jīng)網(wǎng)絡(luò)的改進

1） 將深度學習中的注意力機制理論應(yīng)用在AlexNet深度卷積神經(jīng)網(wǎng)絡(luò)中，使神經(jīng)網(wǎng)絡(luò)在訓(xùn)練和識別的過程中更多地關(guān)注輸入圖像中對識別有益的靜脈脈絡(luò)部分，進而加快神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，提高識別精度。本文將SE?Block嵌入到AlexNet神經(jīng)網(wǎng)絡(luò)的卷積層和全連接層之間。

2） 由于神經(jīng)網(wǎng)絡(luò)輸入的是對原始手掌靜脈圖像進行預(yù)處理后的ROI圖像，而非采集到的原始圖像，大大降低了對卷積神經(jīng)網(wǎng)絡(luò)深度的需求。在保證神經(jīng)網(wǎng)絡(luò)識別效果的前提下，可以考慮對經(jīng)典的AlexNet卷積神經(jīng)網(wǎng)絡(luò)進行調(diào)整和精簡。根據(jù)大量實驗的實際效果，本文將經(jīng)典的AlexNet神經(jīng)網(wǎng)絡(luò)中的3個全連接層調(diào)整為1個全連接層，并調(diào)整了全連接層的參數(shù)。全連接層的調(diào)整很大程度上減少了神經(jīng)網(wǎng)絡(luò)的參數(shù)，讓網(wǎng)絡(luò)更易訓(xùn)練。

與此同時，為了抑制神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中的過擬合問題，對每個卷積層的輸出進行批標準化（Batch Normalization）操作。其定義如下：

[xi=xi-1mi=1mxi1mi=1mxi-1mi=1mxi2+ε， ? ?i=1，2，…，m] （4）

式中：[xi]表示輸入第[i]個數(shù)據(jù);[xi]表示輸出的結(jié)果;[ε]表示偏置項。批標準化操作在一定程度上能夠加快卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

通過將深度學習中的注意力機制應(yīng)用到AlexNet卷積神經(jīng)網(wǎng)絡(luò)中，同時，根據(jù)手掌靜脈識別的應(yīng)用場景，調(diào)整了AlexNet網(wǎng)絡(luò)的部分結(jié)構(gòu)，并對卷積層的輸出進行批標準化操作，進而優(yōu)化了經(jīng)典的AlexNet卷積神經(jīng)網(wǎng)絡(luò)。改進后的AlexNet神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)如圖3所示。

3 ?實 ?驗

3.1 ?數(shù)據(jù)集

香港理工大學的Polyu多光譜掌紋數(shù)據(jù)庫（V2）是手掌靜脈識別領(lǐng)域廣泛使用的基準數(shù)據(jù)庫之一，該數(shù)據(jù)集包括紅、綠、藍、近紅外4個不同波長光線下的手掌圖像，其中，近紅外光下拍攝的是手掌靜脈圖像。采集來自250名志愿者左右手掌共6 000張手掌靜脈圖像，其中，195名男性和55名女性，志愿者年齡分布為20～60歲，每個手掌每次采集6張圖像，分兩次采集，平均間隔9天。

中國科學院的CASIA多光譜掌紋數(shù)據(jù)集是以非接觸方式采集的，該數(shù)據(jù)集包含來自100位志愿者的7 200張手掌圖像，每個手掌包含了460 nm，630 nm，700 nm，850 nm，940 nm和白光6個光譜下采集的圖像，每個波段采集6次，其中，850 nm，940 nm波長下采集的是手掌靜脈圖像，一共3 200張圖像。

3.2 ?評價指標

本文選取準確度（Accuracy，Acc）和損失函數(shù)（Loss Function，Loss）來分別衡量模型的準確性和魯棒性。準確率的計算公式如下：

[Acc=TRTR+FA] （5）

式中：TR（True），F(xiàn)A（False）分別是被正確分類的樣本數(shù)、錯誤分類的樣本數(shù)。

損失函數(shù)使用交叉熵（Cross?entropy）損失函數(shù)，其計算公式如下：

[Loss=-1Ni=0N-1k=0K-1yi，klog pi，k] （6）

式中：[K]代表多分類任務(wù)中的類別數(shù);[N]代表樣本數(shù);[y]代表樣本真實的類別;[pi，k]是第[i]個樣本預(yù)測為第[k]個類別的概率;[yi，k]代表第[i]個樣本預(yù)測為第[k]個類別。

3.3 ?實驗環(huán)境和參數(shù)設(shè)置

實驗設(shè)備為一臺 Intel[?] Xeon[?] E5處理器、NVIDIA1080Ti顯卡、64 GB內(nèi)存的系統(tǒng)、操作系統(tǒng)為Linux Ubuntu 16.04的微型服務(wù)器。使用的程序語言為Python 3.7，深度學習框架為Pytorch 1.0。

神經(jīng)網(wǎng)絡(luò)的初始學習率設(shè)置為0.001，并在訓(xùn)練的過程中采用指數(shù)衰減策略，動態(tài)調(diào)整學習率。優(yōu)化器為Adam，Batch Size設(shè)置為50，一共訓(xùn)練500個Epoch。

3.4 ?實驗結(jié)果和分析

本文實驗采用Polyu多光譜掌紋庫和CASIA多光譜掌紋庫中近紅外光下拍攝的手掌靜脈圖像。其中，Polyu庫訓(xùn)練集有3 600張圖像，測試集有1 200張圖像，驗證集有1 200張圖像;CASIA庫訓(xùn)練集有1 920張圖像，測試集有640張圖像，驗證集有640張圖像。對所有圖像進行預(yù)處理，提取出ROI區(qū)域后，全部歸一化為127×127大小，并將其作為神經(jīng)網(wǎng)絡(luò)的輸入。在3.3節(jié)中的環(huán)境和參數(shù)下進行實驗，實驗結(jié)果如圖4，表1和表2所示。

從圖4的實驗結(jié)果可以看出，相比經(jīng)典AlexNet神經(jīng)網(wǎng)絡(luò)，使用注意力機制后的網(wǎng)絡(luò)和在此基礎(chǔ)上調(diào)整部分結(jié)構(gòu)并對卷積層輸出進行批標準化后的改進AlexNet網(wǎng)絡(luò)，識別效果均得到了明顯提升，其中，注意力機制的使用對識別準確度的提高貢獻較大。上述實驗結(jié)果也表明了本文改進措施的合理性。

表1和表2的實驗結(jié)果表明，和PCA，LDP等基于機器學習的方法以及經(jīng)典的AlexNet深度卷積神經(jīng)網(wǎng)絡(luò)相比，本文基于改進AlexNet卷積神經(jīng)網(wǎng)絡(luò)的方法進一步提高了手掌靜脈識別的準確度，具有更高的識別性能。識別準確度分別在Polyu和CASIA庫上獲得了0.92%和1.28%的提升。同時，更小Loss值表明該方法具有更好的魯棒性，實驗驗證了本文方法的有效性和魯棒性。

相比之下，本文方法對Polyu庫中手掌靜脈圖像識別效果更好，主要原因是，CASIA庫中的圖像是以非接觸方式采集的，采集受更多光照、距離等條件的影響，同時也存在更多的旋轉(zhuǎn)和平移等情況。

4 ?結(jié) ?語

手掌靜脈識別技術(shù)因靜脈特征的可靠性、高安全性使其成為生物特征識別技術(shù)中迅速發(fā)展的一員。相比經(jīng)典的手掌靜脈識別方法，本文使用改進后的AlexNet深度神經(jīng)網(wǎng)絡(luò)在基準數(shù)據(jù)集上取得了更好的識別效果。

與此同時，該領(lǐng)域還存在待進一步研究的方向，如與其他生物特征融合識別、防止利用尸體或斷掌進行識別等。

參考文獻

[1] 張富友，王瓊霄，宋利.基于生物特征識別的統(tǒng)一身份認證系統(tǒng)研究[J].信息網(wǎng)絡(luò)安全，2019（9）：86?90.

[2] BHANUSHALI N， NIKAM P， TRIPATHI P. High security using palm vein recognition technology [J]. International journal of computer applications， 2015， 119（1）： 170?175.

[3] SUN Xiongwei， XU Qingshan， WANG Chunyi， et al. ROI extraction for online touchless palm vein based on concavity analysis [C]// 2017 32nd Youth Academic Annual Conference of Chinese Association of Automation （YAC）. Hefei， China： IEEE， 2017： 1123?1126.

[4] WANG Fei， JIANG Mengqing， QIAN Chen， et al. Residual attention network for image classification [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu， USA： IEEE， 2017： 6450?6458.

[5] JADERBERG M， SIMONYAN K， ZISSERMAN A， et al. Spatial transformer networks [C]// Advances in Neural Information Processing Systems. Montreal， Canada： [s.n.]， 2015： 2017?2025.

[6] HU Jie， SHEN Li， ALBANIE Samuel. Squeeze and excitation networks [C]// IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2018： 7132?7141.

[7] 林森，徐天揚，王穎.基于Gabor小波和NBP算法的手掌靜脈識別[J].激光與光電子學進展，2017，54（5）：142?150.

[8] 楊曉鳳.掌紋和靜脈特征融合算法的研究[D].北京：北京交通大學，2017：19?45.

[9] 徐笑宇，姚鵬.基于HOG與改進的SVM的手掌靜脈識別算法[J].計算機工程與應(yīng)用，2016，52（11）：175?180.