劉雪微，王 磊，章 強(qiáng)，王繼帥，李選普

(1.哈爾濱工業(yè)大學(xué)(威海)信息科學(xué)與工程學(xué)院 山東 威海 264209；2.中國(guó)科學(xué)院 蘇州生物醫(yī)學(xué)工程技術(shù)研究所 江蘇 蘇州 215163；3.中南大學(xué) 自動(dòng)化學(xué)院 湖南 長(zhǎng)沙 410083)

0 引言

隨著社會(huì)的飛速發(fā)展，生物特征識(shí)別技術(shù)作為身份辨認(rèn)的重要支撐技術(shù)逐漸發(fā)展起來(lái)，除了已經(jīng)大規(guī)模進(jìn)入市場(chǎng)使用的人臉識(shí)別和指紋識(shí)別技術(shù)，基于掌紋圖像識(shí)別的生物特征識(shí)別研究正在興起。掌紋識(shí)別技術(shù)的發(fā)展可以解決人臉識(shí)別依賴(lài)采集環(huán)境以及指紋識(shí)別無(wú)法全面覆蓋等問(wèn)題，為身份識(shí)別提供了更加適用于市場(chǎng)的方法。掌紋識(shí)別的核心在于提取特征，文獻(xiàn)[1]利用形態(tài)學(xué)算子結(jié)合遞歸過(guò)程的兩級(jí)提取方法提取掌紋線；文獻(xiàn)[2]對(duì)Hilditch算法進(jìn)行細(xì)化，采用邊緣跟蹤的方法去除細(xì)枝和短線；文獻(xiàn)[3]提出基于改進(jìn)有限Radon變換(MFRAT)的主線提取算法。這些算法主要針對(duì)掌紋線進(jìn)行提取，而對(duì)掌紋特征提取不夠全面。近年來(lái)，隨著深度學(xué)習(xí)的發(fā)展，文獻(xiàn)[4]利用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)(CNN)對(duì)掌紋進(jìn)行識(shí)別，在部分公開(kāi)掌紋數(shù)據(jù)庫(kù)中可達(dá)到99%以上的識(shí)別率，且不同CNN的識(shí)別效果有較大差別。此外，在自然光下所能提取的掌紋特征有限，且皮膚在不同波長(zhǎng)光的照射下所反映的信息是不同的[5]。因此，本文提出一種基于CNN的多光譜掌紋識(shí)別方法，使用ResNet-18網(wǎng)絡(luò)進(jìn)行特征提取，并將融合后的特征送入SVM分類(lèi)器，提高了掌紋識(shí)別的準(zhǔn)確率。

1 相關(guān)工作

掌紋識(shí)別主要對(duì)手指末端到手腕部分的手掌圖像進(jìn)行特征提取及分析，因?yàn)檎萍y采集設(shè)備采集的圖片是整張手掌的圖片，所以在特征提取前要進(jìn)行感興趣區(qū)域(ROI)的提取。目前掌紋的定位分割方法主要分為基于正方形的定位分割方法和基于內(nèi)切圓的定位分割方法兩類(lèi)[6]?；谡叫蔚亩ㄎ环指罘椒▽?duì)于定位點(diǎn)的要求較高，需要先對(duì)圖像進(jìn)行平滑濾波去噪、二值化處理、輪廓跟蹤等基本操作，再對(duì)處理過(guò)的圖像進(jìn)行關(guān)鍵點(diǎn)定位，并提取感興趣掌紋中心區(qū)域，文獻(xiàn)[7]實(shí)現(xiàn)了基于Harris角點(diǎn)檢測(cè)和聚類(lèi)算法確定關(guān)鍵點(diǎn)并畫(huà)出正方形區(qū)域。本文使用基于內(nèi)切圓的定位分割方法，首先用邊緣檢測(cè)算法求得手掌圖像的邊緣輪廓圖，依據(jù)手指角度對(duì)掌紋圖像進(jìn)行旋轉(zhuǎn)，通過(guò)計(jì)算各點(diǎn)到手指的距離求取手掌內(nèi)最大內(nèi)切圓，進(jìn)而獲得其內(nèi)切正方形，分割出掌紋的ROI。掌紋特征提取屬于圖像處理方向，可以使用CNN進(jìn)行掌紋圖像的特征提取。近年來(lái)，研究者在人臉識(shí)別中應(yīng)用CNN，其識(shí)別性能有較大提升，使人臉識(shí)別技術(shù)在市場(chǎng)上有了較大規(guī)模的發(fā)展。掌紋識(shí)別作為生物特征識(shí)別的熱門(mén)研究方向，基于CNN的掌紋識(shí)別研究也陸續(xù)開(kāi)展起來(lái)。對(duì)于一組單光譜掌紋圖片，利用CNN通過(guò)卷積層、池化層和連接層的組合以及網(wǎng)絡(luò)參數(shù)的變化，并通過(guò)反向傳播和權(quán)重訓(xùn)練最終得到特征向量，在單光譜掌紋數(shù)據(jù)中識(shí)別率較高。但因?yàn)閱喂庾V下可提取的掌紋信息有限，需要對(duì)多個(gè)光譜下的掌紋進(jìn)行特征提取后完成特征級(jí)融合，從而提高識(shí)別率。

(1)

其中：a、b、c、d、e、f為融合系數(shù)。

2 關(guān)鍵技術(shù)實(shí)現(xiàn)

2.1 ROI的提取

CASIA多光譜掌紋圖像數(shù)據(jù)庫(kù)包含7 200張手掌圖片，100個(gè)人使用非接觸式多光譜成像設(shè)備對(duì)雙手在460 nm、630 nm、700 nm、850 nm、940 nm和白光中各采集6張手掌圖片。在采集過(guò)程中沒(méi)有限定手掌的位置和方向，因此需要對(duì)原始圖像進(jìn)行ROI的提取?；趦?nèi)切圓的定位分割方法的圖像預(yù)處理過(guò)程如圖1所示，具體步驟如下。1)對(duì)掌紋圖像進(jìn)行灰度化，同時(shí)為了更好地將掌紋圖像和背景圖像分離開(kāi)，獲取原始圖像的灰度直方圖，采用雙峰法對(duì)灰度圖像進(jìn)行二值化處理。2)通過(guò)對(duì)目標(biāo)邊緣進(jìn)行跟蹤處理，順序找出邊緣點(diǎn)，進(jìn)而得到掌紋輪廓圖。根據(jù)掃描圖像時(shí)方向變量的不同，可以分為基于四連通或八連通區(qū)域的輪廓跟蹤。定義方向變量為7，進(jìn)行基于八連通區(qū)域的輪廓跟蹤。3)根據(jù)獲得的輪廓點(diǎn)生成輪廓圖片，并得到一個(gè)近似的橢圓，將原圖片根據(jù)橢圓角度進(jìn)行旋轉(zhuǎn)以盡可能地將手掌放為豎直。4)基于距離變換得到手掌中心，并根據(jù)最大半徑畫(huà)出手掌的內(nèi)切圓，已知圓的半徑和圓心坐標(biāo)，可以根據(jù)ROI提取出內(nèi)切正方形。

圖1 基于內(nèi)切圓的定位分割方法的圖像預(yù)處理過(guò)程

本文使用基于內(nèi)切圓的定位分割方法進(jìn)行ROI圖像的提取，通過(guò)雙峰法圖像灰度化、輪廓跟蹤、圖像旋轉(zhuǎn)、距離變換和圓內(nèi)切正方形等步驟，可以得到每個(gè)光譜下的ROI圖像，同一手掌在不同光譜下的ROI圖像如圖2所示。

圖2 同一手掌在不同光譜下的ROI圖像

2.2 經(jīng)典CNN的對(duì)比

自1998年LeNet網(wǎng)絡(luò)被提出，應(yīng)用基本的卷積層、池化層和全連接層進(jìn)行圖像處理，CNN開(kāi)始發(fā)展起來(lái)，隨后出現(xiàn)了AlexNet、ResNet、DenseNet、VGG系列等CNN，其中AlexNet是早期CNN的代表。近年來(lái)，很多學(xué)者結(jié)合其他算法進(jìn)行掌紋識(shí)別，文獻(xiàn)[10]使用AlexNet提取特征，結(jié)合豪斯多夫距離進(jìn)行匹配識(shí)別，等錯(cuò)誤率在PolyU II數(shù)據(jù)庫(kù)中為0.04%。ResNet可以將CNN加深到100層以上，在獲取到較深掌紋信息的同時(shí)可以很好地訓(xùn)練；DenseNet是在ResNet基礎(chǔ)上的進(jìn)一步擴(kuò)展，充分利用了ResNet的跳躍連接，但為了網(wǎng)絡(luò)可以更好地復(fù)用特征，DenseNet中每一層輸出都直接在通道維進(jìn)行連接，再連接到之后的所有層。CASIA白光光譜數(shù)據(jù)庫(kù)在AlexNet、DenseNet、ResNet-18、ResNet-34、ResNet-50上訓(xùn)練的識(shí)別準(zhǔn)確率如圖3所示。使用CASIA多光譜掌紋數(shù)據(jù)庫(kù)中的白光光譜掌紋圖片在不同CNN中進(jìn)行80次訓(xùn)練，記錄后5次的平均值，實(shí)驗(yàn)結(jié)果如表1所示?？梢钥闯?，AlexNet在訓(xùn)練次數(shù)較少時(shí)，識(shí)別率基本為0，在訓(xùn)練次數(shù)達(dá)15次左右時(shí)，識(shí)別率開(kāi)始緩慢增長(zhǎng)；DenseNet的識(shí)別率較低，且在訓(xùn)練過(guò)程中達(dá)到最佳效果所需次數(shù)較多，耗時(shí)長(zhǎng)；ResNet的識(shí)別率均在50%以上，訓(xùn)練20次左右時(shí)可以達(dá)到最佳訓(xùn)練效果，其中ResNet-34的識(shí)別率最高，可達(dá)56.46%，比ResNet-18的識(shí)別率高0.22%，單次訓(xùn)練時(shí)間長(zhǎng)10 s。在三種經(jīng)典CNN中，ResNet的識(shí)別率較高，且層數(shù)越深，提取的特征越全面，但是當(dāng)特征提取過(guò)于細(xì)致，在數(shù)據(jù)集較小的情況下容易造成過(guò)擬合的問(wèn)題。綜合考慮訓(xùn)練時(shí)間和識(shí)別率，ResNet-18更適用于在CASIA數(shù)據(jù)集中進(jìn)行特征提取。

圖3 CASIA白光光譜數(shù)據(jù)庫(kù)在不同網(wǎng)絡(luò)上訓(xùn)練的識(shí)別準(zhǔn)確率

表1 不同CNN在CASIA白光光譜數(shù)據(jù)庫(kù)的訓(xùn)練數(shù)據(jù)

2.3 特征提取

通過(guò)CNN構(gòu)建的圖像處理系統(tǒng)不僅能夠有效地減小過(guò)擬合，還可以對(duì)大像素圖像有很好的識(shí)別效果，本文主要應(yīng)用CNN在圖像領(lǐng)域的優(yōu)勢(shì)進(jìn)行掌紋識(shí)別。通過(guò)文獻(xiàn)[4]中不同CNN在多種公開(kāi)掌紋數(shù)據(jù)庫(kù)的識(shí)別率對(duì)比，選擇ResNet-18對(duì)6個(gè)光譜掌紋的圖片進(jìn)行訓(xùn)練，并保存每張圖片經(jīng)過(guò)訓(xùn)練好的網(wǎng)絡(luò)后所提取的特征向量。ResNet-18的第一層是輸出通道數(shù)為128、步幅為2、填充為3的7×7卷積層，批量歸一化后連接一個(gè)步幅為2的3×3最大池化層，接下來(lái)的殘差塊使用步幅為2的3×3卷積層對(duì)數(shù)據(jù)進(jìn)行長(zhǎng)和寬的減半。ResNet-18共使用4個(gè)殘差塊結(jié)構(gòu)，每次為2個(gè)殘差塊的連接。由于在進(jìn)入殘差塊時(shí)數(shù)據(jù)已經(jīng)減半，所以對(duì)第一個(gè)殘差塊不需要減少長(zhǎng)和寬，其余部分都會(huì)對(duì)長(zhǎng)和寬進(jìn)行減半。在殘差塊之后得到1 024個(gè)特征輸出，再加入全局平均池化層，然后接上全連接層進(jìn)行輸出。一般在全連接層前加入dropout函數(shù)，數(shù)值設(shè)為0.5。

由于計(jì)算機(jī)硬件的限制，統(tǒng)一使用124×124像素圖片作為網(wǎng)絡(luò)的輸入。實(shí)驗(yàn)均在Pytorch下進(jìn)行，系統(tǒng)配置為i5 1.6 GHz處理器，Nvidia GeForce MX250顯卡，16 GB內(nèi)存以及Windows10操作系統(tǒng)。默認(rèn)使用Cross-EntropyLoss函數(shù)，Adam優(yōu)化器，學(xué)習(xí)率為5×10-5，訓(xùn)練次數(shù)為30。對(duì)6組單光譜掌紋圖像在ResNet-18中進(jìn)行訓(xùn)練，并將網(wǎng)絡(luò)參數(shù)保存，再重載網(wǎng)絡(luò)參數(shù)，輸入多光譜圖片，可以得到7 200張掌紋照片的特征向量。

2.4 多光譜融合并分類(lèi)

特征級(jí)融合是圖像融合的一種，將提取獲得的特征融合產(chǎn)生一幅擁有更加完整可靠信息的圖像，可以更精準(zhǔn)地反映掌紋信息。特征級(jí)數(shù)據(jù)融合原理如圖4所示。文獻(xiàn)[11-12]中介紹的像素級(jí)融合和決策級(jí)融合不能同時(shí)滿(mǎn)足實(shí)時(shí)性和最大程度保留掌紋信息的要求。本文采用特征級(jí)融合方法，將單光譜下的掌紋圖片輸入到訓(xùn)練好的6個(gè)ResNet-18中，進(jìn)行全連接層之前的特征提取，每張圖片提取1 024個(gè)特征。對(duì)同一張掌紋在不同光譜下的圖片特征進(jìn)行并行融合，融合系數(shù)設(shè)為a=0.1,b=0.1,c=0.2,d=0.2,e=0.2,f=0.2，可以得到1 200個(gè)融合過(guò)的特征向量。

圖4 特征級(jí)數(shù)據(jù)融合原理

將融合過(guò)的特征向量輸入SVM中進(jìn)行分類(lèi)，SVM的核函數(shù)使用poly核，degree參數(shù)為3，gamma參數(shù)為1，coef0參數(shù)為0。打亂并劃分?jǐn)?shù)據(jù)集，使用數(shù)據(jù)集中80%的數(shù)據(jù)進(jìn)行訓(xùn)練，其余20%的數(shù)據(jù)進(jìn)行驗(yàn)證。單光譜數(shù)據(jù)為測(cè)試集在ResNet-18中后5次準(zhǔn)確率的平均值，460 nm、630 nm、700 nm、850 nm、940 nm和白光光譜的準(zhǔn)確率分別為48.18%、34.08%、49.16%、52.66%、56.08%和56.24%。多光譜數(shù)據(jù)為測(cè)試集進(jìn)行10組預(yù)訓(xùn)練后的平均值，準(zhǔn)確率可達(dá)98.37%。可以看出，CASIA數(shù)據(jù)庫(kù)中單光譜掌紋圖片在ResNet-18中的準(zhǔn)確率結(jié)果總體不高，而使用多光譜掌紋識(shí)別技術(shù)的平均準(zhǔn)確率為98.37%，相比于沒(méi)有進(jìn)行多光譜融合時(shí)有大幅度提高。因此，多光譜融合之后的分類(lèi)效果很好, 基于多光譜融合技術(shù)的掌紋識(shí)別可以滿(mǎn)足市場(chǎng)需求。單光譜識(shí)別率較低主要有以下原因：一是每類(lèi)圖片只有6張，數(shù)據(jù)集較小，訓(xùn)練網(wǎng)絡(luò)過(guò)程中存在過(guò)擬合的問(wèn)題；二是單光譜圖片中所包含的信息少，不能提取到全面的特征進(jìn)行身份驗(yàn)證，導(dǎo)致識(shí)別率較低?；贑NN的多光譜掌紋識(shí)別技術(shù)將單光譜中的信息通過(guò)卷積核提取并進(jìn)行特征級(jí)融合，然后使用SVM進(jìn)行分類(lèi)，將識(shí)別率提高到98%以上。但是在代碼運(yùn)行中發(fā)現(xiàn)，制作一套完整的多光譜掌紋識(shí)別系統(tǒng)，需要提前對(duì)各個(gè)光譜下的圖片進(jìn)行訓(xùn)練，得到網(wǎng)絡(luò)參數(shù)并保存，實(shí)現(xiàn)過(guò)程比較復(fù)雜，所需時(shí)間較長(zhǎng)。使用本文技術(shù)進(jìn)行身份識(shí)別時(shí)，在當(dāng)前硬件設(shè)備條件下需要10 s左右得到對(duì)應(yīng)掌紋的身份信息，在實(shí)際應(yīng)用中可以使用更好的硬件設(shè)備進(jìn)行識(shí)別。

3 基于多光譜掌紋識(shí)別的打卡機(jī)設(shè)計(jì)

目前指紋識(shí)別、人臉識(shí)別廣泛應(yīng)用于上班打卡中。指紋識(shí)別存在以下不足：對(duì)環(huán)境的要求很高，對(duì)手指的濕度、清潔度等很敏感，臟、油、水都會(huì)造成識(shí)別不了或影響識(shí)別結(jié)果；每次使用指紋時(shí)都會(huì)在指紋采集頭上留下用戶(hù)的指紋印痕，而這些指紋痕跡存在被用來(lái)復(fù)制指紋的可能性；使用指紋識(shí)別會(huì)存在通過(guò)偽造指紋膜進(jìn)行打卡的情況。而對(duì)于人臉識(shí)別，識(shí)別精度較低，其自然性、不易察覺(jué)性以及非接觸性也使人臉識(shí)別技術(shù)在一些特定領(lǐng)域面臨環(huán)境復(fù)雜性[13]。相對(duì)于這兩種識(shí)別方法，基于多光譜的掌紋識(shí)別受環(huán)境影響小、識(shí)別率高且不易偽造。通過(guò)將掌紋采集和掌紋識(shí)別兩者相結(jié)合，實(shí)現(xiàn)了基于多光譜的掌紋識(shí)別打卡機(jī)。其中掌紋采集系統(tǒng)由SCMOS、攝像機(jī)、激光產(chǎn)生器三部分組成，采集過(guò)程中對(duì)手掌照射不同波長(zhǎng)的光，并通過(guò)攝像機(jī)拍攝得到同一個(gè)手掌的不同光譜圖像，以得到CNN訓(xùn)練所需的數(shù)據(jù)集。掌紋識(shí)別是在嵌入式計(jì)算機(jī)上搭建Pytorch深度學(xué)習(xí)平臺(tái)，并對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練以得到掌紋識(shí)別模型。在實(shí)際應(yīng)用過(guò)程中，需要采集每一位打卡者的多光譜掌紋信息，且重復(fù)采集多次。在采集過(guò)程中，需要求打卡者將手掌進(jìn)行不同程度的傾斜以實(shí)現(xiàn)更高的準(zhǔn)確率，因?yàn)樵谧R(shí)別時(shí)打卡者的手掌會(huì)有隨機(jī)的傾斜；當(dāng)采集完所有打卡者的掌紋信息后，嵌入式計(jì)算機(jī)將采集到的信息用于訓(xùn)練，最終得到所需要的掌紋識(shí)別模型。

在測(cè)試過(guò)程中采集了10個(gè)人的掌紋信息，光譜數(shù)量為7(波長(zhǎng)分別為438 nm、472 nm、500 nm、535 nm、624 nm、655 nm、775 nm)，每個(gè)光譜采集掌紋的數(shù)量為12，因此數(shù)據(jù)集總共包括840張圖片。同一手掌在不同光譜下的原始圖像如圖5所示。通過(guò)使用采集到的掌紋圖片進(jìn)行訓(xùn)練和測(cè)試，其測(cè)試準(zhǔn)確率能夠達(dá)到98%以上。在硬件配置為GeForce GTX 1080 Ti/PCIe/SSE2的電腦上，對(duì)采集的多光譜掌紋數(shù)據(jù)進(jìn)行ROI的提取、特征提取、特征融合和SVM分類(lèi)等步驟，平均經(jīng)過(guò)4.2 s即可獲得檢測(cè)結(jié)果。

圖5 同一手掌在不同光譜下的原始圖像

4 小結(jié)

本文提出一種基于CNN的多光譜掌紋圖像識(shí)別方法，該方法通過(guò)獲取ROI、CNN特征訓(xùn)練、特征提取與特征融合以及基于SVM的特征分類(lèi)等操作實(shí)現(xiàn)身份識(shí)別，可以為醫(yī)療、刑偵等領(lǐng)域提供技術(shù)支持。仿真結(jié)果表明，在CASIA多光譜掌紋數(shù)據(jù)庫(kù)中使用多光譜掌紋識(shí)別技術(shù)的識(shí)別率明顯比單光譜方法高，平均可以達(dá)到98%以上，相比相關(guān)研究中使用的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法，性能亦有顯著提升。未來(lái)將進(jìn)一步針對(duì)其他的掌紋識(shí)別算法進(jìn)行性能比較和技術(shù)應(yīng)用等工作。