王一凡,魯慧民,高若然,李 陽(yáng)
長(zhǎng)春工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,長(zhǎng)春130102
在生物信息識(shí)別領(lǐng)域,識(shí)別系統(tǒng)的安全性與便利性是至關(guān)重要的,并且還必須具備高準(zhǔn)確度與高識(shí)別速率。目前主流的生物特征識(shí)別技術(shù)主要有指紋識(shí)別、臉部識(shí)別、聲音識(shí)別、虹膜識(shí)別、步態(tài)識(shí)別等,但它們均有一定的缺陷,如易偽造、生物特征不穩(wěn)定等。2000 年,Kono 等人[1]提出了一種新的利用手指靜脈紋路進(jìn)行個(gè)體識(shí)別的方法,很好地解決了這些問(wèn)題。
手指靜脈識(shí)別是一種基于生物生理特征的身份識(shí)別技術(shù),手指被近紅外光(波長(zhǎng)700~1 000 nm)照射后,由于靜脈血液中的血紅蛋白會(huì)比鄰近組織吸收更多的近紅外光而產(chǎn)生陰影,從而形成了靜脈圖像[2]。對(duì)比其他生物識(shí)別技術(shù),指靜脈識(shí)別具有十分明顯的優(yōu)勢(shì):活體識(shí)別,指靜脈圖像只能在人類活體上獲得;唯一性:每個(gè)人的手指靜脈紋路是獨(dú)一無(wú)二的;穩(wěn)定性,每個(gè)人的指靜脈特征分布在成年后終生不變;安全性,手指靜脈分布在皮膚之下且紋路復(fù)雜度較高,難偽造。因此近年來(lái),指靜脈識(shí)別憑借其優(yōu)勢(shì)引起了學(xué)術(shù)界與工業(yè)界的廣泛關(guān)注并取得了巨大發(fā)展。
一般來(lái)說(shuō),指靜脈識(shí)別包括圖像采集、預(yù)處理、特征提取與匹配認(rèn)證四個(gè)步驟[3]。在指靜脈識(shí)別研究中,許多特征提取的方法如最大曲率法[4]、重復(fù)線跟蹤法[5]、寬限檢測(cè)器[6]、Gober-filter[7]等被提出,但無(wú)論使用哪一種特征提取方法,由于指靜脈采集設(shè)備不同、手指位移與旋轉(zhuǎn),以及光照等因素,會(huì)導(dǎo)致同一個(gè)體的手指采集出的靜脈圖像不同。此外,全球爆發(fā)的疫情將公共衛(wèi)生安全問(wèn)題上升至前所未有的高度,識(shí)別時(shí)要盡量避免人員觸摸,實(shí)現(xiàn)無(wú)接觸識(shí)別,則無(wú)約束手指采集到的圖像會(huì)存在更大誤差,從而引起匹配識(shí)別性能下降。針對(duì)此類問(wèn)題,一般通過(guò)預(yù)處理操作進(jìn)行解決,主要分為感興趣區(qū)域提取、靜脈圖像增強(qiáng)、靜脈圖像歸一化三個(gè)步驟,而感興趣區(qū)域的準(zhǔn)確提取又是靜脈圖像增強(qiáng)和歸一化的前提。
在圖像處理領(lǐng)域,感興趣區(qū)域(Region of Interest,ROI)是從圖像中提取的一個(gè)目標(biāo)區(qū)域,該區(qū)域是后續(xù)進(jìn)行圖像分析所關(guān)注的重點(diǎn)。使用ROI 定位來(lái)確定所需要目標(biāo)區(qū)域可以減少處理時(shí)間,提高識(shí)別精度。一般地,ROI 定位是以方框、圓、橢圓、不規(guī)則多邊形等方式在原始圖像上進(jìn)行確定,借助ROI定位對(duì)靜脈區(qū)域進(jìn)行提取可以有效減少同一個(gè)體不同條件下采集的指靜脈之間的差異,提高識(shí)別系統(tǒng)的性能。
目前,并未有綜述性文章對(duì)此類工作進(jìn)行梳理。本文第1 章從商業(yè)角度與科研角度分析對(duì)比了指靜脈采集設(shè)備的優(yōu)缺點(diǎn),并對(duì)已有的商業(yè)產(chǎn)品與科研用采集設(shè)備進(jìn)行了匯總;第2章梳理總結(jié)了指靜脈研究使用的公共數(shù)據(jù)集;第3 章介紹了指靜脈圖像預(yù)處理工作,重點(diǎn)論述了手指靜脈圖像ROI提取的相關(guān)理論與方法,并對(duì)水平參考線搜索、圖像矯正、垂直參考線搜索三個(gè)步驟的代表性方法進(jìn)行了詳細(xì)評(píng)述;第4 章與第5 章概述了指靜脈識(shí)別中的特征提取與匹配認(rèn)證工作;第6章對(duì)本文工作進(jìn)行總結(jié),并對(duì)未來(lái)研究進(jìn)行展望。
圖像采集作為手指靜脈識(shí)別的第一步是至關(guān)重要的,采集出的圖像質(zhì)量直接影響手指靜脈識(shí)別的準(zhǔn)確度。由于采集設(shè)備與采集條件不同,手指大小與位置不同或發(fā)生了旋轉(zhuǎn)與形變等一系列影響識(shí)別的問(wèn)題,使得需要對(duì)采集到的圖像進(jìn)行預(yù)處理操作。
在進(jìn)行圖像采集時(shí)使用近紅外光照射手指,靜脈中的血紅蛋白吸收了大量近紅外光,靜脈紋路的灰度值低于非靜脈區(qū)域,致使手指內(nèi)的靜脈紋路更加突出,其橫剖面呈谷狀。光照射方式對(duì)于采集設(shè)備能否獲取高質(zhì)量的圖像起著至關(guān)重要的作用。通常,光照方式可以分為兩類:反射式(圖1(a))和透射式(圖1(b))。反射式的設(shè)備因其采集的圖像質(zhì)量差、功耗大等缺點(diǎn)而未得到廣泛應(yīng)用,透射式的設(shè)備可以得到高對(duì)比度的圖像,質(zhì)量較好,因此目前大多數(shù)采集設(shè)備使用該方式。透射式可進(jìn)一步劃分為頂部穿透(頂透)式(圖1(c))與側(cè)部穿透(側(cè)透)式(圖1(d))。頂透采集設(shè)備,發(fā)光二極管置于手指上方,攝像機(jī)置于手指下方;側(cè)透式采集設(shè)備,發(fā)光二極管置于手指兩側(cè),攝像機(jī)同樣置于手指下方。觀察兩種方式采集出的圖像,頂透式采集到的圖像靜脈區(qū)域與鄰近組織對(duì)比度更高,相應(yīng)的手指區(qū)域與背景區(qū)域的對(duì)比度也更高,圖像質(zhì)量更好。但在被采集者可接受度方面,側(cè)透式可以允許手指處于一個(gè)可直接觀察的狀態(tài),減少了被采集者因手指處于封閉狀態(tài)下而產(chǎn)生的抵觸情緒。
圖1 光照方式
指靜脈識(shí)別技術(shù)在20 世紀(jì)90 年代興起于日本,如今許多技術(shù)與產(chǎn)品已經(jīng)成熟,韓國(guó)及一些歐美國(guó)家在該領(lǐng)域也有許多產(chǎn)品。2000 年后,我國(guó)高校、研究所、企業(yè)等開始對(duì)指靜脈技術(shù)進(jìn)行研究,雖起步較晚,但發(fā)展十分迅速[8],近年來(lái),部分國(guó)內(nèi)公司的技術(shù)產(chǎn)品已達(dá)到世界前列水平。國(guó)內(nèi)產(chǎn)品大多為頂透式,這樣可以獲得更高質(zhì)量的指靜脈圖像,從而得到更好的識(shí)別性能。圖2展示了國(guó)內(nèi)外代表性商用指靜脈識(shí)別產(chǎn)品,表1 展示了商用指靜脈識(shí)別產(chǎn)品在硬件和組件設(shè)計(jì)方面的特性。
表1 國(guó)內(nèi)外部分商用手指靜脈識(shí)別產(chǎn)品特性
圖2 國(guó)內(nèi)外商用指靜脈識(shí)別產(chǎn)品
研究發(fā)現(xiàn),為得到質(zhì)量高的圖像,科研人員所設(shè)計(jì)的采集設(shè)備絕大多數(shù)使用頂透式,相比商用指靜脈采集設(shè)備,其結(jié)構(gòu)和傳感器的種類更加多樣化,整體體積也更加龐大且成像原理多種多樣,例如近紅外成像、激光成像、熱成像、水紋-聲波成像等。表2展示了科研人員設(shè)計(jì)的指靜脈圖像采集設(shè)備在硬件和組件方面的特性[9-21],圖3展示了科研人員所設(shè)計(jì)的采集設(shè)備。
圖3 科學(xué)研究使用的采集設(shè)備
表2 部分科研人員開發(fā)的手指靜脈圖像采集設(shè)備特性
為使科研人員可以在指靜脈識(shí)別領(lǐng)域順利開展研究,許多優(yōu)秀的國(guó)內(nèi)外研究機(jī)構(gòu)制作并公開發(fā)布了指靜脈圖像數(shù)據(jù)集。2010年,山東大學(xué)尹義龍教授團(tuán)隊(duì)發(fā)布的多模態(tài)特征數(shù)據(jù)集SDUMLA-HMT[22],香港理工大學(xué)Kumar 等人[23]發(fā)布的指靜脈數(shù)據(jù)集HKPU-FV,2013 年特文特大學(xué)發(fā)布的指靜脈數(shù)據(jù)集UTFVP[10],同年韓國(guó)全北國(guó)立大學(xué)Lu等人[16]發(fā)布的指靜脈數(shù)據(jù)集MMCBNU_6000,馬來(lái)西亞理工大學(xué)發(fā)布的指靜脈數(shù)據(jù)集FVUSM[24],2014 年瑞士Idiap 研究所發(fā)布的指靜脈數(shù)據(jù)集VERA[25],同年北京大學(xué)發(fā)布的THU-FV數(shù)據(jù)集[26]。2017年,薩爾茨堡大學(xué)發(fā)布了一個(gè)多模態(tài)生物特征數(shù)據(jù)集PMMDB-FV[27],并在后續(xù)發(fā)布了新的指靜脈數(shù)據(jù)集PLUSVein-FV3[28]。表3 總結(jié)了各個(gè)指靜脈圖像數(shù)據(jù)集的詳細(xì)信息,其中UTFVP 與FV-USM 數(shù)據(jù)集相對(duì)來(lái)說(shuō)圖像質(zhì)量較高,SDUMLA-HMT 數(shù)據(jù)集存在復(fù)雜的背景,HKPU-FV 數(shù)據(jù)集存在大量的光照不均勻因素。這些數(shù)據(jù)集涵蓋了在各種不同情況下采集的圖像,這為手指靜脈識(shí)別相關(guān)研究工作在實(shí)際應(yīng)用場(chǎng)景中是否具備有效、高效、魯棒的性能,提供了很好的驗(yàn)證數(shù)據(jù)基礎(chǔ),圖4展示了部分?jǐn)?shù)據(jù)集不同的指靜脈圖像。
圖4 部分指靜脈數(shù)據(jù)集
表3 指靜脈數(shù)據(jù)集詳細(xì)信息
采集的圖像包含背景區(qū)域和有價(jià)值的手指區(qū)域,被用來(lái)當(dāng)作特征提取關(guān)鍵部位的手指區(qū)域即指靜脈圖像ROI。ROI 提取即是從圖像中分割出識(shí)別所需要的區(qū)域,并刪除其余區(qū)域,實(shí)現(xiàn)在增大不同個(gè)體間靜脈區(qū)域差異的同時(shí),減小同一個(gè)體不同條件采集的靜脈區(qū)域的差異。通常,指靜脈圖像ROI 提取分為水平參考線搜索、手指形變、旋轉(zhuǎn)的矯正與垂直參考線搜索三個(gè)步驟,利用水平參考線與垂直參考線及矯正后的圖像提取出所需要的指靜脈圖像ROI。
3.1.1 水平參考線搜索
手指靜脈圖像ROI 提取的第一步往往是尋找手指邊緣,由此得到水平方向上的參考線,確定手指區(qū)域部分,為下一步的圖像矯正提供基礎(chǔ)。手指邊緣提取方法可分為四種:
(1)基于固定窗口的提取方法。Wang 等人[29]通過(guò)計(jì)算手指質(zhì)心,并利用手指輪廓最大水平外切線分割出手指區(qū)域;Rosdi等人[30]使用OTSU[31]方法對(duì)手指靜脈圖像進(jìn)行二值化,然后定位二值化圖像中手指區(qū)域中心點(diǎn),選擇一個(gè)尺寸為480×160大小的固定窗口作為ROI;Yang等人[32]先采用預(yù)定的固定大小窗口去除部分背景,然后利用關(guān)節(jié)腔定義一個(gè)固定大小的窗口作為ROI;Ahmad 等人[33]計(jì)算手指中心并將指靜脈圖像裁剪得到一個(gè)70×130 區(qū)域作為手指ROI。此類方法預(yù)定義的窗口大小通常是固定的,這就決定了其不能適應(yīng)圖像的各種變化,但由于所需時(shí)間最少,因此該類方法配合特殊的圖像采集方式,可以在兼顧圖像質(zhì)量的同時(shí)達(dá)到對(duì)手指區(qū)域的準(zhǔn)確提取。
(2)基于閾值的提取方法。Kumar 等人[23]利用230固定閾值得到二值圖像,從二值化圖像中減去利用Sobel 算子得到的二值邊緣圖像,然后做連通域分析得到掩膜,實(shí)現(xiàn)手指區(qū)域分割;Brindha等人[34]對(duì)圖像進(jìn)行二值化處理,并對(duì)得到的二值化圖像進(jìn)行開閉操作,得到完整的手指區(qū)域掩膜;Gupta 等人[35]利用全局閾值得到二值化圖像,并運(yùn)用形態(tài)學(xué)操作獲取完整邊緣,最終得到手指區(qū)域掩膜;文獻(xiàn)[36]提出采用Kapur 熵閾值法分割出手指區(qū)域。理想情況下,手指區(qū)域的像素值均高或低于背景區(qū)域,但實(shí)際上由于不同采集設(shè)備的光照條件不同,很難避免手指局部區(qū)域像素值分布與背景區(qū)域相似。雖然此類方法并不魯棒,但若對(duì)某固定采集設(shè)備使用固定閾值,則該類方法將十分簡(jiǎn)單高效。
(3)基于掩膜的提取方法。Lee 等人[37]將圖像分為上下兩部分,設(shè)計(jì)兩個(gè)水平邊緣檢測(cè)掩膜分別對(duì)圖像進(jìn)行卷積操作,選擇最大響應(yīng)值作為手指邊緣;Lu 等人[38]受文獻(xiàn)[37]啟發(fā),對(duì)水平Pweett算子進(jìn)行擴(kuò)展,再利用方向角修正錯(cuò)誤邊緣得到完整的手指邊緣;Wang等人[39]結(jié)合文獻(xiàn)[37]中提出的算子和Sobel 算子進(jìn)行邊緣檢測(cè),并對(duì)得到的邊緣做連通域分析,去除長(zhǎng)度小于一定閾值的線段;Yang 等人[26]提出了一種新的邊緣檢測(cè)算子,并配合硬件設(shè)施上的控制點(diǎn)對(duì)ROI進(jìn)行定位;Song等人[40]利用Laplace 算子檢測(cè)邊緣,并使用平均曲率對(duì)手指邊緣進(jìn)行補(bǔ)全;Wang 等人[41]對(duì)水平Sobel 算子進(jìn)行擴(kuò)展,將指靜脈圖像分為上下兩部分,分別進(jìn)行卷積,利用最大響應(yīng)值作為手指邊緣。許多邊緣提取算子對(duì)噪點(diǎn)十分敏感,而不同設(shè)備采集的圖像背景區(qū)域的噪聲分布均具有很大差異,易將噪聲作為最大響應(yīng),檢測(cè)出錯(cuò)誤的邊緣。一般,在利用邊緣檢測(cè)算子來(lái)檢測(cè)手指邊緣時(shí),使用均值濾波或高斯濾波等方法對(duì)采集到的圖像進(jìn)行去噪處理,以此提高邊緣檢測(cè)精度。
(4)基于精細(xì)邊緣檢測(cè)的提取方法。Yang等人[42]結(jié)合超像素方法與硬件對(duì)手指邊緣進(jìn)行檢測(cè);Yao 等人[43]首次將Kirsch 邊緣檢測(cè)器引入指靜脈邊緣搜索分割得到較完整的手指區(qū)域。此類方法通過(guò)進(jìn)一步對(duì)提取到的邊緣進(jìn)行處理,得到較完整的手指區(qū)域,因此該類方法分割精度最高,但定制化的精細(xì)處理魯棒性較差,且提取效率較低。
以上四種手指區(qū)域提取方法適用于不同的使用場(chǎng)景:若使用固定窗口方法或閾值法,結(jié)合特定的采集設(shè)備,可以在保證質(zhì)量的同時(shí)實(shí)現(xiàn)快速采集;基于掩膜的方法主要使用各類梯度算子及其改進(jìn)算子,提取時(shí)間花費(fèi)較少,但易受到各種噪聲的影響;當(dāng)對(duì)手指區(qū)域分割精度有較高要求時(shí),可使用精細(xì)邊緣檢測(cè)方法,雖需要花費(fèi)較長(zhǎng)時(shí)間,但隨著計(jì)算機(jī)算力的不斷提升,此類方法的時(shí)間成本也大大降低。隨著應(yīng)用場(chǎng)景的多變,許多方法無(wú)法從采集到的圖像中直接獲取手指區(qū)域,需對(duì)手指邊緣進(jìn)一步處理,因此精細(xì)化邊緣提取方法將會(huì)是未來(lái)主要的發(fā)展趨勢(shì)。
一部分研究者通過(guò)手指邊緣檢測(cè)對(duì)手指區(qū)域進(jìn)行分割,利用分割后的圖像作為ROI,增強(qiáng)了不同個(gè)體間靜脈區(qū)域的差異,但無(wú)法解決手指形變與旋轉(zhuǎn)等問(wèn)題。因此另一部分研究者將手指邊緣最小內(nèi)切線作為水平方向分割參考線的同時(shí),利用檢測(cè)到的邊緣繼續(xù)進(jìn)行靜脈圖像矯正與垂直方向分割參考線搜索,進(jìn)一步減小了同一個(gè)體不同條件下采集的指靜脈之間的差異。
3.1.2 手指圖像矯正
不同設(shè)備存在不同的采集特性與開放程度。在手指靜脈識(shí)別中,為提高采集個(gè)體的可接受程度,并且疫情期間更應(yīng)該避免直接接觸,采集設(shè)備一般是無(wú)約束成像,手指隨機(jī)放置在采集設(shè)備上,則會(huì)導(dǎo)致在不同條件下獲取的同一個(gè)體的指靜脈圖像不完全相同,存在圖像形變,表現(xiàn)為一定程度上的手指位移、旋轉(zhuǎn)、扭曲,嚴(yán)重影響了指靜脈識(shí)別系統(tǒng)的性能,因此需要圖像矯正,最大程度對(duì)手指區(qū)域進(jìn)行修復(fù),保證同一個(gè)體的手指形狀與位置相同,從而進(jìn)行準(zhǔn)確的特征提取與匹配識(shí)別。無(wú)約束指靜脈成像的圖像形變概括為四種:平面手指位移、平面內(nèi)手指旋轉(zhuǎn)、平面外手指旋轉(zhuǎn)、手指彎曲。針對(duì)這些問(wèn)題,根據(jù)識(shí)別的不同步驟,解決方法一般分為三類[44]。
第一類是在特征提取的過(guò)程中進(jìn)行圖像對(duì)齊。其又包括兩種方法:(1)抗形變的特征提取方法,能在一定程度上解決目標(biāo)的旋轉(zhuǎn)、縮放與平移等問(wèn)題,并對(duì)光照與噪聲有較好的抗干擾性。代表性方法如尺度不變特征變換(Scale Invariant Feature Transform,SIFT)[45]、正交鄰域保持投影(Orthogonal Neighborhood Preserving Projections,ONPP)[46]和矩不變量(Moment Invariants,MI)[47]。(2)將特征進(jìn)行歸一化處理方法,主要將二維或三維空間中發(fā)生形變的特征進(jìn)行校正,實(shí)現(xiàn)特征的歸一化。代表性方法如基于橢圓投影系數(shù)的歸一化[48]和基于偽橢圓采樣的歸一化[49]。
第二類是在匹配的過(guò)程中進(jìn)行圖像對(duì)齊。其也包括兩種方法:(1)利用相似度來(lái)矯正形變,在多次匹配中獲得與匹配模板的相似度,并以最大相似度作為最終分?jǐn)?shù)來(lái)克服圖像形變,代表性方法如雙向變形空間金字塔匹配(Bidirectional Deformable Spatial Pyramid Matching,BDSPM)[50]和基于最大像素比的模板匹配[23,39]。(2)利用薄板樣條(Thin-Plate Spline,TPS)模型通過(guò)非剛性變換方法克服形變。
第三類是在預(yù)處理的過(guò)程中進(jìn)行圖像對(duì)齊。大多數(shù)方法均在以上兩類過(guò)程中進(jìn)行,然而預(yù)處理中的圖像對(duì)齊方法能夠有針對(duì)性、有效地處理圖像形變問(wèn)題,對(duì)指靜脈識(shí)別性能提升更大,因此在預(yù)處理階段對(duì)圖像進(jìn)行形變檢測(cè)和矯正十分必要。常用的糾正手指平移與旋轉(zhuǎn)的做法是計(jì)算手指傾斜角度[51]。Lee等人[37]提出利用細(xì)節(jié)點(diǎn)將圖像對(duì)齊;Chen等人[44]通過(guò)分析手指形狀來(lái)檢測(cè)不同類型的手指形變,并通過(guò)對(duì)形變圖像進(jìn)行線性或非線性變換來(lái)矯正圖像;Normakristagaluh 等人[52]使用迭代最近點(diǎn)(Iterative Closest Point,ICP)方法對(duì)手指輪廓進(jìn)行對(duì)齊;Prommegger等人[53]采用硬件上的物理設(shè)計(jì),通過(guò)添加控制點(diǎn)防止手指發(fā)生形變;Kauba等人[54]設(shè)計(jì)了一種指靜脈掃描儀,可同時(shí)獲取有三根手指的靜脈圖像,其要求手指放在一個(gè)具有手指形狀的引導(dǎo)面上,以保證獲取的手指靜脈圖像發(fā)生的形變較小。
研究發(fā)現(xiàn),在特征提取與匹配認(rèn)證的過(guò)程中解決手指對(duì)齊問(wèn)題具有較好的魯棒性且研究較成熟,但某些特定的形變現(xiàn)象無(wú)法得到很好解決,這就需要在預(yù)處理的過(guò)程中有針對(duì)性地設(shè)計(jì)手指對(duì)齊方法,實(shí)現(xiàn)對(duì)識(shí)別性能的進(jìn)一步提升。通過(guò)對(duì)手指圖像形變和旋轉(zhuǎn)的檢測(cè)與矯正,可進(jìn)一步減小同一個(gè)體不同條件下采集的指靜脈之間的差異,很大程度上解決由于采集過(guò)程中設(shè)備或個(gè)人因素產(chǎn)生的識(shí)別性能下降問(wèn)題。
3.1.3 垂直參考線搜索
手指靜脈圖像ROI 提取的目的是快速?gòu)耐桓种冈诓煌瑮l件下采集到的靜脈圖像中提取出相同的區(qū)域。部分研究者在對(duì)指靜脈ROI 定位時(shí)僅使用水平參考線對(duì)圖像進(jìn)行劃分,該方法不滿足不同個(gè)體間靜脈區(qū)域差異最大且同一個(gè)體靜脈區(qū)域差異最小,因此在通過(guò)手指邊緣的內(nèi)切線得到ROI的水平分割參考線后,仍需要解決的問(wèn)題即是在垂直方向上找到一個(gè)分割參考線,將ROI限制在手指的某固定區(qū)域,以進(jìn)一步減小同一個(gè)體不同條件下采集的靜脈圖像之間的差異。
起初,大多數(shù)研究者選擇使用固定大小窗口對(duì)垂直參考線進(jìn)行劃分。文獻(xiàn)[7]與文獻(xiàn)[39]使用固定大小的矩形框?qū)κ种高M(jìn)行劃分;Rosdi 等人[30]在尋找二值化圖像的質(zhì)心后,利用質(zhì)心作為矩形框的中心對(duì)手指進(jìn)行劃分。近年來(lái),關(guān)注到手指的構(gòu)造特性,手指軟骨之間的間隙會(huì)透過(guò)更多的紅外光,在手指靜脈圖像中關(guān)節(jié)腔處會(huì)顯示為兩個(gè)較亮區(qū)域(在數(shù)字圖像上表現(xiàn)為像素值較高,如圖5所示),因此研究人員一般選擇基于手指關(guān)節(jié)腔作為垂直方向上的分割參考線,并提出了許多關(guān)節(jié)腔搜索算法。最初的方法是基于區(qū)域像素的累計(jì)值,文獻(xiàn)[32]提出了計(jì)算每列像素累計(jì)值,選擇最大的累計(jì)值定位關(guān)節(jié)腔,并在后續(xù)研究中發(fā)現(xiàn),由于采集設(shè)備光照不均勻影響關(guān)節(jié)腔搜索,為改進(jìn)其單列像素累計(jì)值關(guān)節(jié)腔定位方法,提出了基于滑動(dòng)窗口計(jì)算多列像素累計(jì)值并用極大值來(lái)定位手指關(guān)節(jié)腔[55-56],2019年,又提出了結(jié)合指紋與靜脈雙模態(tài)對(duì)關(guān)節(jié)腔進(jìn)行定位[57];此外,在對(duì)手指關(guān)節(jié)腔進(jìn)行定位后,可以得到一條垂直方向上的分割參考線,利用得到的水平與垂直方向分割參考線在經(jīng)過(guò)矯正后的指靜脈圖像上提取出ROI,此時(shí),不同個(gè)體間指靜脈特征差異最大且相同個(gè)體不同條件下采集的指靜脈之間的差異最小,為下一步靜脈圖像增強(qiáng)奠定基礎(chǔ),提高了最終的匹配與識(shí)別性能。
圖5 手指區(qū)域灰度值3D分布
采集設(shè)備性能、光照、采集者手指條件與采集姿勢(shì)等均會(huì)影響圖像質(zhì)量,存在對(duì)比度低、噪聲大等問(wèn)題的低質(zhì)量圖像會(huì)影響識(shí)別性能。圖像增強(qiáng)用來(lái)解決由各方面外部因素導(dǎo)致的圖像質(zhì)量差的問(wèn)題。指靜脈圖像增強(qiáng)方法一般分為兩類:提高對(duì)比度方法與紋理特征增強(qiáng)方法。提高對(duì)比度方法一般使用直方圖均衡化、Gabor 濾波等技術(shù);紋理特征增強(qiáng)方法一般使用濾波與閾值分割技術(shù)。在對(duì)圖像增強(qiáng)后需要將圖像放縮至統(tǒng)一尺寸,稱之為歸一化。若將圖像歸一化至一個(gè)合適的大小,將有效提升系統(tǒng)的整體識(shí)別效率。
現(xiàn)有的圖像增強(qiáng)方法僅對(duì)圖像進(jìn)行增強(qiáng),并未考慮圖像本身的質(zhì)量,而這易造成對(duì)不同質(zhì)量圖像的欠增強(qiáng)或過(guò)度增強(qiáng);對(duì)于圖像歸一化,則需兼顧特征提取后模板圖像的大小與系統(tǒng)識(shí)別率,或使用深度學(xué)習(xí)時(shí)需考慮圖像大小對(duì)模型參數(shù)規(guī)模的影響等等。
靜脈圖像進(jìn)行預(yù)處理后,需要提取手指靜脈的某些特殊屬性作為模板,供匹配認(rèn)證使用。指靜脈特征提取方法大致分為三種:基于局部特征的方法、基于全局特征的方法與基于機(jī)器學(xué)習(xí)的方法。
基于局部特征的方法是興起最早、發(fā)展最成熟的一類方法。指靜脈局部特征包括:紋理特征、線特征與細(xì)節(jié)點(diǎn)特征等,其中紋理特征使用最廣泛,Miura等人[4]先后提出了最大曲率法、重復(fù)線跟蹤法[5]對(duì)紋理特征進(jìn)行提取,Huang等人[6]將寬線檢測(cè)器引入指靜脈識(shí)別之中,并且局部二值模式(Local Binary Pattern,LBP)[58]、局部方向模式(Local Directional Pattern,LDP)[59]以及其改進(jìn)算子在指靜脈特征提取中也取得了很好的效果;Gabor濾波器[7]等一系列邊緣檢測(cè)算子提取出靜脈紋理的方向信息作為線特征;文獻(xiàn)[44]和[60-62]對(duì)細(xì)節(jié)點(diǎn)特征進(jìn)行提取,利用一些細(xì)小的關(guān)鍵點(diǎn)作為特征存儲(chǔ)下來(lái)。
基于全局特征方法的主要思想是運(yùn)用降維,對(duì)靜脈圖像進(jìn)行空間投影,將高維圖像映射為低維向量,利用提取出的特征向量進(jìn)行匹配[63]。主要方法包括:主成分分析(Principal Component Analysis,PCA)[64]、2DPCA[65]、線性判別分析(Linear Discriminant Analysis,LDA)[66]、獨(dú)立成分分析(Independent Components Analysis,ICA)[67]等。
基于機(jī)器學(xué)習(xí)的方法:起初,傳統(tǒng)機(jī)器學(xué)習(xí)工具如支持向量機(jī)(Support Vector Machine,SVM)等在特征提取與匹配認(rèn)證中均起到很好的效果,隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展,利用深度學(xué)習(xí)進(jìn)行特征提取被廣泛應(yīng)用,代表的網(wǎng)絡(luò)模型有LeNet、VggNet等。
綜上所述,采用降維得到的全局特征具有較低的維度,因此具有較高的識(shí)別速率,但對(duì)于相似的圖像卻難以區(qū)分,所以識(shí)別準(zhǔn)確度無(wú)法保證;利用機(jī)器學(xué)習(xí)得到的特征有較高的擬合程度,可以保證較好地對(duì)特征進(jìn)行提取,但其缺點(diǎn)也十分明顯,此類方法需要大量的訓(xùn)練數(shù)據(jù)對(duì)模型進(jìn)行充分訓(xùn)練,效率并不高;手指靜脈中具有大量的紋理特征、線特征與細(xì)節(jié)點(diǎn)特征,利用局部特征提取方法可以提取出較完整的局部信息,故此類方法提取的特征進(jìn)行識(shí)別時(shí)準(zhǔn)確度相對(duì)較高,但需要對(duì)局部特征進(jìn)行存儲(chǔ),相對(duì)于降維的方法需要更大的存儲(chǔ)空間。
匹配認(rèn)證是使用提出的生物特征進(jìn)行身份認(rèn)證,不同的特征提取方法對(duì)應(yīng)不同的匹配認(rèn)證方法。在匹配認(rèn)證過(guò)程中,一般利用兩幅手指靜脈圖像特征的相似度來(lái)進(jìn)行判別[51]。提取出的局部特征選擇使用漢明距離(Hamming Distance,HD)[37]進(jìn)行匹配認(rèn)證,而對(duì)于細(xì)節(jié)點(diǎn)特征可以使用豪斯多夫距離(Hausdorff Distance)進(jìn)行匹配認(rèn)證[68];提取出的全局特征一般使用模板匹配進(jìn)行認(rèn)證[23]。隨著深度學(xué)習(xí)的發(fā)展,大量研究者將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到指靜脈匹配識(shí)別之中,得到較高的識(shí)別精度。
傳統(tǒng)匹配認(rèn)證方法作為識(shí)別系統(tǒng)中的分類器,需要對(duì)原始數(shù)據(jù)做大量特征工程處理,而使用卷積神經(jīng)網(wǎng)絡(luò)則只需進(jìn)行少量預(yù)處理即可得到很高的識(shí)別精度,但神經(jīng)網(wǎng)絡(luò)模型龐大、時(shí)間開銷高等缺點(diǎn)限制了系統(tǒng)的應(yīng)用場(chǎng)景。
本文對(duì)手指靜脈圖像感興趣區(qū)域提取研究進(jìn)行了綜述,整理并對(duì)比了商用指靜脈產(chǎn)品與科研用采集設(shè)備;總結(jié)了已公開發(fā)布的國(guó)內(nèi)外指靜脈數(shù)據(jù)集;詳細(xì)闡述了指靜脈圖像ROI提取整個(gè)過(guò)程中的代表性方法:首先將手指邊緣提取的四類方法做了精細(xì)匯總并分析了其優(yōu)缺點(diǎn),其次概括了手指圖像形變現(xiàn)象在不同步驟中的矯正方法,重點(diǎn)分析了在預(yù)處理階段如何對(duì)其進(jìn)行矯正,然后對(duì)關(guān)節(jié)腔搜索方法進(jìn)行了詳細(xì)梳理;最后,概述了指靜脈識(shí)別特征提取與匹配認(rèn)證。
近幾年,全球發(fā)生的疫情引導(dǎo)著以指靜脈識(shí)別為代表的第二代生物信息識(shí)別技術(shù)向著非接觸式采集識(shí)別方向發(fā)展,未來(lái)的指靜脈圖像ROI提取將需要更高的精度與速率,同時(shí)需要增強(qiáng)應(yīng)對(duì)不同采集設(shè)備、不同應(yīng)用場(chǎng)景的魯棒性。