李 菲, 李小霞,2, 周穎玥,2, 劉銀輝
(1.西南科技大學 信息工程學院,四川 綿陽 621010; 2.特殊環(huán)境機器人技術四川省重點實驗室,四川 綿陽 621010;3.電子科技大學 光電信息學院,四川 成都 610000)
手指靜脈識別提取的是手指內(nèi)部特征,具有非接觸性、活體性、唯一性和穩(wěn)定性的優(yōu)點[1]。手指外部狀況變化不易影響靜脈識別的準確性,且難以偽造,使其在銀行和監(jiān)獄等安全等級要求高的場合有著極大的優(yōu)勢。手指靜脈識別系統(tǒng)主要包括圖像獲取、圖像預處理、特征提取以及匹配四個部分。靜脈圖像獲取可以分為反射式成像、透射式成像以及側透式成像[1,2]。圖像預處理包括圖像增強和感興趣區(qū)域提取[3,4],可以在一定程度上解決圖像光照不均、對比度低和噪聲干擾等問題,但易造成靜脈紋路提取不全或生成偽特征點,可能影響到識別精度。
手指靜脈識別中最重要的特征提取技術主要分為人工設計特征、統(tǒng)計特性分析以及神經(jīng)網(wǎng)絡三種。人工設計特征包括尺度不變特征變換[5]、局部二值模式(local binary pattern,LBP)[6,7]和方向梯度直方圖(histogram of oriented gradient,HOG)等;統(tǒng)計特性分析方法有主成分分析(principal component analysis,PCA)、線性判別分析(linear discriminant analysis,LDA)[8]和稀疏表示(sparse representation,SR)[9]等;神經(jīng)網(wǎng)絡常用的有反向傳播(back propagation,BP)神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)絡[10,11]等。2017年,Lu Y 等人[6]提出基于LBP和Gabor濾波器的新的融合描述算子,該方法識別效果較好,但所得特征多達 190維,使得特征提取和匹配時間較長。由于手指靜脈脈絡結構具有明顯的紋理和方向特性,LBP和HOG等局部特征能在識別過程中區(qū)分性較好,但局部特征提取通常會耗費較長的時間。Wu J D等人[8]采用PCA和LDA實現(xiàn)手指靜脈分類,Xin Y等人[9]也將SR成功應用于手指靜脈識別任務中。然而,PCA,LDA和SR等方法從全局角度提取特征,對局部特征信息描述不足。Fang Y等人[10]設計了三個卷積層來訓練手指靜脈特征,Liu Y等人[11]基于深度學習和隨機投影實現(xiàn)了手指靜脈識別?;谏窠?jīng)網(wǎng)絡的方法主要的優(yōu)點是不需要人工提取特征,而是根據(jù)已有的數(shù)據(jù)自適應地學習到有價值的特征信息,但對數(shù)據(jù)量要求比較高,在樣本數(shù)據(jù)較小的情況下,所訓練出的網(wǎng)絡效果欠佳。
鑒于以上分析,本文基于HOG方法提出了一種融合邊緣梯度信息的手指靜脈圖像識別方法,在SDUMLA 數(shù)據(jù)庫、polyU數(shù)據(jù)庫和自建數(shù)據(jù)庫等不同手指靜脈數(shù)據(jù)庫上均有較高且穩(wěn)定的識別率,算法用時較短,實用性強。
手指靜脈結構分布具有獨特的紋理和方向信息。HOG描述子可以有效提取圖像局部梯度和方向信息,從而描述手指靜脈圖像脈絡結構關鍵特點。傳統(tǒng)HOG特征提取過程為金字塔結構,包含單元格、塊和全圖像三層,由頂及底步驟依次為:1)構建單元格的特征向量;2)構建塊的特征向量;3)構建全圖的特征向量。傳統(tǒng)HOG算子單元格直方圖構建過程中未考慮鄰域像素梯度的影響,易出現(xiàn)“混疊效應”,針對此問題,Dalal N[12]采用塊重疊法來解決,但計算量較大;Pang Y 等人[13]采用線性插值法來調(diào)整塊內(nèi)區(qū)域像素點的投票權,但未考慮塊鄰域像素的影響,實際基于單元格來講,只利用了其部分鄰域的梯度信息,存在信息利用不充分的問題。
受文獻[13]啟發(fā),本文以單元格為基準,規(guī)劃單元格鄰域范圍,進一步改進了鄰域像素的投票方式,利用單元格鄰域內(nèi)所有像素點的梯度幅值對原單元格的直方圖進行修正。
1)采用[-1,0,1]和[1,0,-1]T梯度算子對圖像進行卷積運算,得到各像素點的梯度
(1)
式中Gh(x,y)和Gv(x,y)分別為水平和垂直方向的梯度,f(x,y)為像素點(x,y)的灰度值。
計算各像素點的梯度幅值G(x,y)和方向θ(x,y),并統(tǒng)計各單元格9個方向塊的直方圖向量值,故維數(shù)為9維
(2)
(3)
2)對原始直方圖向量值進行修正,以任意單元格Ci以及其鄰域內(nèi)任意像素點M1為例,修正原理如圖1所示。圖1(a)為所要修正的任意單元格Ci及其鄰近8個單元格C1~C8,如Ci區(qū)域大小為d×d,中點坐標為(xi,yi),即圖中斜線區(qū)域,每個單元格被劃分為4個小區(qū)域,與Ci鄰近的小區(qū)域被視為鄰域,即點狀區(qū)域,用M1表示其中任意像素點;圖1(b)為單元格Ci統(tǒng)計出的9個方向塊的方向梯度直方圖,dθ為相鄰方向塊的角度差,并利用M1的梯度信息對其進行修正,像素點M1的坐標為(x,y,θ),其中,θ為M1的梯度方向值,梯度幅值為G(x,y),假設θ位于Ci的方向塊θl和θr之間,斜線部分表示原始直方圖,豎線部分表示M1的修正貢獻值。
圖1 單元格方向梯度直方圖修正原理
ngHOG獲取過程為:
設像素點M1對θl,θr方向塊直方圖的修正系數(shù)分別為wl,wr,θl,θr的原始直方圖向量值分別為h(xi,yi,θl),h(xi,yi,θr),采用三線性插值法進行修正,修正系數(shù)wl與wr為
(4)
修正后Ci直方圖向量h(xi,yi,θl),h(xi,yi,θr)分別為
(5)
根據(jù)式(5),依次利用圖1(a)中所有Ci鄰域像素點的梯度信息對Ci的直方圖進行修正。同理,對原圖的其他單元格HOG進行修正,得到修正后的ngHOG向量,然后將塊內(nèi)4個單元格的ngHOG向量串聯(lián),得到塊特征向量,維數(shù)為36維。采用L2范數(shù)對向量進行歸一化以增強塊特征向量對光照、邊緣和陰影變化的魯棒性,即
(6)
式中v和v′為歸一化前后的36維塊特征向量,‖v‖2為向量v的L2范數(shù),ε為一個很小的常值,避免分母為0。
3)將全圖所有塊特征向量進行串聯(lián),得到全圖的ngHOG特征向量。
PCA方法可以在最大程度保留特征主成份的同時快速降維,SR方法對圖像缺損信息不敏感,有助于提升對遮擋和陰影等原因?qū)е滦畔⑷睋p圖像的識別,故結合PCA和SR設計稀疏表示分類器(sparse representation classifier,SRC),其關鍵步驟如下:
1)采用ngHOG特征提取算法得特征矩陣為A∈Rm×n,采用PCA方法取前k維得到降維后的特征矩陣B∈Rk×n,待測樣本特征向量為y∈R×1,將y在B下進行稀疏表示
y=Bx+ε
(7)
式中x∈Rn×1為所求稀疏系數(shù)向量,ε為相應噪聲強度。
2)利用L1范數(shù)最小化問題來求解稀疏系數(shù)向量
(8)
3)根據(jù)所求得的稀疏系數(shù)來計算y與每一類的重構誤差,根據(jù)最小誤差進行分類,得最終分類類別l
(9)
各方法的性能通過如下兩個指標來衡量:
1)識別率A:識別率是判斷算法識別準確性的指標
A=Ts/Mt×100 %
(10)
式中Ts為匹配正確的測試樣本數(shù),Mt為測試樣本總數(shù)。
2)單幅圖像平均匹配時間:Inter(R) Core(TM)i3—3240 CPU(3.40 GHz,2 GB RAM),MATLAB2015a環(huán)境下,從輸入大小為128×64待測圖像到輸出識別結果的總時間的均值。
實驗1 為了驗證本文改進的ngHOG特征以及分類器設計的有效性,將所提算法與PCA,PCA+LDA,LBPH,HOG,PCA+SRC,HOG+PCA+SRC 6種經(jīng)典算法進行比較:
1.1 項目審批及實施進展情況 全市堅持“四個到位”有序推進“創(chuàng)投”項目,取得了階段性成果。截至2017年12月上旬,全市立項項目共96個,建設高標準農(nóng)田1.902萬hm2,總投資14.25億元,其中擔?;蜚y行貸款10.63億元,自籌資本金3.62億元。正式落地“創(chuàng)投”項目28個。見表1。
1)PCA:采用PCA分析主成分,用最近鄰分類器判別;
2)PCA+LDA:采用PCA降維,用LDA提取特征,用最近鄰分類器分類;
3)LBP:采用LBP提取特征,用最近鄰分類器分類;
4)HOG:用HOG提取特征,用最近鄰分類器分類;
5)PCA+SRC:結合PCA和SRC進行分類;
6)HOG+PCA+SRC:采用HOG提取特征,PCA降維,用SRC分類。
識別結果如表1所示,不同方法識別時間列在表1中。
表1 不同方法識別率和識別時間比較
表中前3個數(shù)據(jù)庫是PCA前50維的識別結果,自建數(shù)據(jù)庫是PCA前18維的識別結果。根據(jù)表中的數(shù)據(jù)可知,PCA和LDA+PCA方法速度優(yōu)勢大,但在不同的數(shù)據(jù)集上識別率差別太大,穩(wěn)定性不強;對于局部特征HOG和LBP,HOG在不同數(shù)據(jù)下識別率更高、更穩(wěn)定,用時更短;表格最后3行展示了PCA+SRC,HOG+PCA+SRC以及ngHOG+PCA+SRC的識別結果,可以看出,沒有使用HOG算子提取特征的PCA+SRC算法識別率波動較大,穩(wěn)定性較弱,加入HOG特征識別率較穩(wěn)定;HOG+PCA+SRC模型的識別率與HOG算法相近,但識別時間較短;而本文提出的ngHOG+PCA+SRC的方法識別率在不同數(shù)據(jù)庫均有提升,且識別率都保持在93 %以上,穩(wěn)定性較強,用時較短。
為了更直觀地評價以上方法的性能,本文在polyU數(shù)據(jù)庫上采用每類12個樣本的圖像進行實驗,每類取不同數(shù)量樣本進行訓練,記錄以上方法的識別率和單幅圖像識別時間,結果如圖2所示。
圖2 不同算法識別率和識別時間與樣本個數(shù)關系
可出看出:只用HOG特征進行識別,效果低于本文算法,但明顯高于不使用HOG特征的PCA+SRC算法,本文所提算法對HOG特征進行了優(yōu)化,得到修正后的ngHOG特征,具有更高的描述能力,使得在不同數(shù)量樣本下的識別率都要高于其他6種算法,并結合PCA和SRC分類方法,使算法匹配時間一直穩(wěn)定在100 ms左右,低于LBP和未降維的HOG方法。
實驗2 為了更直觀評估本文方法對于存在亮度不均、位置偏移、旋轉和遮擋等復雜圖像的識別性能,從polyU 數(shù)據(jù)庫1選取程度較為嚴重的亮度不均圖像18類,216張;位置偏移圖像23類,276張;旋轉圖像29類,348張;遮擋圖像9類,108張。訓練與測試圖像比例為1︰1,與實驗1中的各方法比較,識別結果如表2所示。
表2 不同手指靜脈識別算法性能比較 %
可以看出:在復雜圖像實驗中,本文方法與其他方法比較,在不同類別復雜圖像上的識別率都最高。且結合表1結果可知,與PCA,LDA+PCA等方法相比,本文方法在數(shù)據(jù)庫數(shù)量為350張以內(nèi)的小樣本和2 520張大樣本情況下,都有更為穩(wěn)定的表現(xiàn),充分證明了本文所提方法對亮度不均、位置偏移、旋轉和遮擋等復雜圖像識別的性能優(yōu)勢。
實驗3 將本文所提算法與近2年其他文獻所提算法進行對比,文獻[5,15]所用數(shù)據(jù)庫和訓練方式與本文所用SDUMLA數(shù)據(jù)庫相同,故將本文所提算法與這兩篇文獻中的方法進行比較,文獻[5]算法為基于尺度不變特征變換位移變形信息匹配算法;文獻[15]為雙倍二元模式(dual binary pattern,DBP)。上述方法比較結果為文獻[5],DBP[16]和本文方法的識別率分別為94 %,94.10 %,98.64 %??芍?,在SDUMLA數(shù)據(jù)庫的實驗中,本文所提方法識別率最高,達到了98.64 %,比其他兩種方法提高了約4.5 %。
綜合以上3次實驗結果可知本文方法具有高且穩(wěn)定的識別率,單幅圖像識別時間較短:
1)采用HOG特征提取的分塊局部特征,對旋轉圖像識別性能更好,ngHOG特征的塊內(nèi)歸一化算法降低了光照和陰影對識別的影響,采用ngHOG方法得到的修正的直方圖能夠充分利用鄰域像素點梯度信息,進一步提升了識別率;
2)采用PCA方法可以對高維的HOG特征進行降維,提升了算法運行效率;
3)采用SRC方法增強了圖像對一定量高斯噪聲魯棒性,提升了對存在遮擋和陰影等信息缺損圖像的識別性能。
4)該方法識別率受圖像偏轉角度限制,無法識別偏轉角度過大的圖像,因此,下一步的研究目標將是在預處理過程中對圖像進行增強和旋轉矯正等方法來提升對大角度偏轉圖像的識別性能。