崔靜靜 王海霞 陳 朋 蔣 莉 張怡龍

(?浙江工業(yè)大學計算機科學與技術學院 杭州 310000)

(??浙江工業(yè)大學信息工程學院 杭州 310000)

0 引言

隨著個人身份認證越來越受到重視,生物特征識別技術得到了迅猛的發(fā)展。指紋由于其獨特性和終身不變性[1],成為當前個體識別或認證中使用最多的生物識別特征。傳統(tǒng)的指紋采集設備,例如光學設備[2]、電容性設備[3]等,能夠快速采集到對比度較高的指紋圖像。然而當手指表皮存在污垢、磨損或疤痕時,獲取的指紋圖像會出現(xiàn)信息模糊與缺失等現(xiàn)象,對指紋的匹配識別造成影響。此外,表皮指紋易遭受硅膠指紋膜等的欺騙攻擊[4]。事實上,手指指尖皮膚主要由表皮與真皮構(gòu)成,在兩者的交界處存在活性表皮層。生理學家發(fā)現(xiàn)表皮層構(gòu)成的外部指紋與活性表皮層構(gòu)成的內(nèi)部指紋結(jié)構(gòu)相同[4]。內(nèi)部指紋位于指尖皮下2 mm 內(nèi)[5],不易受外部皮膚狀態(tài)影響[5-6],且能夠有效地防止偽造指紋的欺騙。外部指紋與內(nèi)部指紋之間的一致性也已經(jīng)得到驗證[6]。光學相干斷層掃描(optical coherence tomography,OCT)成功從指尖活性表皮層采集內(nèi)部指紋數(shù)據(jù)[7]。OCT 是一種無損、高分辨、非侵入式的成像技術,基于低相干干涉成像原理,對活體組織進行高分辨率成像,獲取指尖皮下的3D 體數(shù)據(jù)。文獻[8]利用輕量級神經(jīng)網(wǎng)絡精確提取OCT 內(nèi)外指紋。文獻[9]證明了OCT 指紋可以抵抗假指紋攻擊和惡劣的指尖情況。

通過光學設備采集的外部指紋圖像,有效面積大,圖像清晰度高,但抗干擾性不強。通過OCT 技術采集得到指尖皮膚的體數(shù)據(jù),利用指紋提取算法獲取到內(nèi)部指紋圖像,抗干擾性強。然而受傳感器與提取算法等影響,內(nèi)部指紋圖像通常包含噪聲和較低的對比度。通過上述采集方式獲取的內(nèi)外指紋圖像,是本文的主要研究對象。

內(nèi)外指紋圖像融合是將多張指紋圖像信息相互結(jié)合,使融合指紋圖像包含更多的細節(jié)紋理信息,便于后續(xù)識別研究。關于指紋圖像融合的研究較少,文獻[10]提出了將不同傳感器采集得到的外部指紋進行融合,但當外部指紋出現(xiàn)磨損等情況時,外部指紋圖像均存在相同的信息缺失的情況,融合不會有助于信息的補充。文獻[11]利用OCT 獲取指尖皮膚體數(shù)據(jù),由指紋提取算法同步得到內(nèi)外指紋圖像,按照多尺度規(guī)則計算指紋圖像的方向確定度(orientation certainty level,OCL)分數(shù),利用偏置算法將OCT 內(nèi)外指紋圖像進行融合。該融合方法得到的融合指紋圖像,不受指尖表皮狀態(tài)的影響,但OCT 指紋圖像存在噪聲、對比度較低的問題,無法解決。目前,沒有關于多傳感器內(nèi)外指紋圖像融合的研究,現(xiàn)有的多傳感器圖像融合的研究主要是針對醫(yī)學圖像和遙感圖像融合?；谙∈璞硎?sparse representation,SR)的方法已成功應用于許多圖像處理領域,文獻[12]提出了基于稀疏表示的多傳感器圖像融合方法。文獻[13]提出了基于SR的形態(tài)成分分析(morphological component analysis,MCA)的融合方法,解決了單分量表示的問題。文獻[14]提出了基于卷積稀疏表示(convolutional sparse representation,CSR)的全局圖像融合方法,解決了基于局部區(qū)域編碼的細節(jié)保存能力有限以及對誤配準不敏感的缺點。文獻[15]把基于卷積稀疏的形態(tài)成分分析(convolutional sparsity based morphological component analysis,CSMCA)引入圖像融合領域,該方法將MCA 模型和CSR 模型集成到統(tǒng)一的優(yōu)化框架中,能夠同時實現(xiàn)源圖像的多分量和全局稀疏表示。

本文所研究的內(nèi)外指紋圖像,外部指紋圖像受指尖狀態(tài)影響,存在部分局部脊谷紋理信息缺失、模糊等情況;內(nèi)部指紋圖像受傳感器與手指皮層深度差異的影響,局部信息可能出現(xiàn)缺失或模糊等。若直接進行融合,可能造成融合指紋比內(nèi)外指紋的質(zhì)量均差的情況。本文基于CSMCA 融合框架,結(jié)合像素級OCL 指紋質(zhì)量評估,提出基于OCL-CSMCA的內(nèi)外指紋融合方法,本文提出的方法具有以下兩點創(chuàng)新:(1)將內(nèi)外指紋圖像進行融合,使融合指紋圖像包含更多的指紋細節(jié)紋理信息,便于識別匹配等操作;(2)將內(nèi)外指紋圖像的OCL 質(zhì)量圖作為約束條件添加到融合過程中,保證融合指紋能保留內(nèi)外指紋質(zhì)量較好的區(qū)域,降低或避免指紋較差和異常區(qū)域給融合帶來的影響。

1 指紋數(shù)據(jù)準備

本文研究的內(nèi)外指紋圖像分別由全反射(total internal reflection,TIR)設備和OCT 設備采集,不同設備之間存在系統(tǒng)畸變無法對齊,且OCT 采集的內(nèi)部指紋需要從體數(shù)據(jù)中提取。多傳感器設備采集在灰度分布、噪聲水平、脊谷對比度以及脊谷厚度比等方面具有差異,稱之為指紋風格差異,會影響指紋配準,進而導致指紋融合結(jié)果不佳。因此,為避免上述影響,在指紋融合前需要進行三步必要操作:(1)內(nèi)外指紋同步采集與去畸變;(2)內(nèi)部指紋提取;(3)內(nèi)外指紋風格轉(zhuǎn)換與配準。整體流程圖如圖1 所示,本節(jié)將對這3 個預處理步驟進行簡要介紹。

圖1 整體流程圖

1.1 指紋數(shù)據(jù)采集

多傳感器內(nèi)外指紋由不同設備采集。時間、按壓力度以及手指皮膚變化等因素造成指紋不同變形,造成內(nèi)外指紋差異較大。為了減少差異影響,本文通過文獻[6]提出的內(nèi)外指紋同步采集系統(tǒng),其通過梯形棱鏡組合TIR 和OCT 光路系統(tǒng),同時獲取同一區(qū)域的外部指紋和指尖皮膚體數(shù)據(jù)。由于該同步采集系統(tǒng)組合了兩個不同的光路系統(tǒng),采集的指紋圖像不處于同一坐標系下且具有不同的畸變,采用基于網(wǎng)格標定板的薄板樣條差值(thin plate spline,TPS)算法對內(nèi)外指紋進行了校正與坐標系的統(tǒng)一。

1.2 內(nèi)部指紋提取

OCT 系統(tǒng)采集到的是指尖皮膚體數(shù)據(jù),利用內(nèi)部指紋提取算法獲取到內(nèi)部指紋。精度較高的提取方法將使指紋圖像的細節(jié)紋理信息更加清晰,包含較少的錯誤指紋信息,質(zhì)量更好。本文采用文獻[16]提出的基于BCL-U Net 的內(nèi)部指紋提取方法。該提取方法實現(xiàn)了對存在噪聲和對比度較低的OCT 體數(shù)據(jù)的準確分割,從而實現(xiàn)了內(nèi)部指紋的準確提取。其實驗部分驗證了內(nèi)外指紋的一致性,并對內(nèi)外指紋的識別能力進行了全面的評估,在指尖皮膚狀態(tài)較差的情況下,內(nèi)部指紋的識別能力高于外部指紋。

1.3 風格轉(zhuǎn)換與配準

內(nèi)外指紋由不同傳感器在手指不同皮層深度得到,圖像風格、圖像質(zhì)量等會存在較大的差異,此外,采集OCT 體數(shù)據(jù)大約需要30 s,比TIR 采集時間要長,在采集期間不可避免地會有手指抖動等現(xiàn)象的發(fā)生,會造成內(nèi)外指紋位置發(fā)生錯位或局部扭曲等現(xiàn)象。為了降低內(nèi)外指紋風格差異與指紋間的相對形變給后續(xù)指紋圖像融合帶來的影響,本文采用文獻[17]提出的基于多傳感器差異最小化的內(nèi)外指紋配準方法,實現(xiàn)指紋圖像融合前的配準工作。該方法提出具有結(jié)構(gòu)約束的生成對抗網(wǎng)絡(generative adversarial network,GAN)用以實現(xiàn)內(nèi)部指紋圖像的風格轉(zhuǎn)換,使其風格接近于外部指紋圖像;設計了快速數(shù)字圖像相關(fast digital image correlation,F-DIC)與離群排斥(outlier rejection,OR)相結(jié)合的兩步配準方法實現(xiàn)內(nèi)外指紋全局和局部的精準對齊。

1.4 融合必要性分析

同步采集等步驟實現(xiàn)了內(nèi)外指紋圖像的對齊,但無法消除指紋自身問題的影響。圖2 展示3 組經(jīng)過配準后的內(nèi)外指紋圖像,a(i)～a(iii)為TIR 采集到的外部指紋圖像,受指尖皮膚狀態(tài)等影響,有褶皺、汗?jié)n、缺失等情況影響指紋質(zhì)量。b(i)～b(iii)為基于BCL-U Net 的內(nèi)部指紋提取方法提取到的OCT 內(nèi)部指紋圖像,對比度較低,局部指紋圖像信息較為模糊。c(i)～c(iii)為對應的經(jīng)過風格轉(zhuǎn)換與精細配準后的內(nèi)部指紋圖像,對比度較高,脊谷結(jié)構(gòu)較清晰,與外部指紋風格較為相似,但有局部信息缺失、模糊以及脊谷結(jié)構(gòu)斷裂等特點。若直接利用內(nèi)部或外部指紋圖像進行識別匹配等操作,會受到指紋局部信息缺失等影響。指紋圖像融合能將內(nèi)外指紋圖像信息互相結(jié)合、補充,減少局部較差區(qū)域帶來的影響,提高指紋圖像質(zhì)量,便于后續(xù)的識別匹配等操作。

圖2 配準后的內(nèi)外指紋圖像對比圖

2 基于OCL-CSMCA 的內(nèi)外指紋圖像融合

本文提出基于OCL-CSMCA 的內(nèi)外指紋圖像融合方法,將指紋圖像的像素級OCL 質(zhì)量評估與CSMCA 融合模型相結(jié)合,確保融合過程中保留指紋質(zhì)量較好區(qū)域,降低質(zhì)量較差與異常區(qū)域帶來的影響。本節(jié)分為3 個部分,即CSMCA 融合模型概述,像素級質(zhì)量指標OCL 和指紋圖像融合過程。

2.1 CSMCA 融合模型

基于CSMCA[15]的圖像融合模型將MCA 模型和CSR 模型集成到統(tǒng)一的優(yōu)化框架中,可以同時實現(xiàn)內(nèi)外圖像的多分量和全局稀疏表示,保留內(nèi)外指紋圖像紋理結(jié)構(gòu)較為完整的區(qū)域,減少由于磨損造成的指紋紋理信息模糊的影響。

MCA 模型將源指紋圖像分解為一個卡通分量和一個紋理分量,卡通分量主要包含指紋圖像平滑的脊線谷線結(jié)構(gòu);紋理分量主要包含脊谷紋理結(jié)構(gòu)重復變化的部分。通過將指紋圖像分解,能夠在融合過程中根據(jù)實際需求設計適合指紋圖像融合的策略,降低局部脊谷結(jié)構(gòu)不清晰給融合造成的影響。CSR 模型是一種有效的圖像融合模型,克服了基于稀疏表示SR 融合方法的細節(jié)保存能力有限以及對圖像誤配準不敏感的缺點。CSR 模型是在整個圖像上進行了優(yōu)化而不是將源圖像分解為重疊的局部塊,其有較好的圖像細節(jié)保存能力,另外該模型具有位移不變性,顯著提高了圖像誤配準區(qū)域的融合質(zhì)量。將CSR 模型應用于指紋圖像融合,能夠保留內(nèi)外指紋圖像的細節(jié)、紋理等信息,降低局部誤配準給指紋圖像融合造成的影響。

通過將基于MCA 的方法和基于CSR 的方法集成到統(tǒng)一的優(yōu)化框架,來促進基于SR 的指紋圖像融合,得到融合模型CSMCA,該模型被定義為

式(1)中,Y表示待分解的單幅指紋源圖像。dc,m和dt,m是兩種分量對應的兩組字典過濾器,其數(shù)量分別是Mc和Mt,值皆為常數(shù)6。該過濾器由卷積稀疏表示的字典學習方法[18]從卡通圖像和紋理圖像中預先學習獲取得到。Xc,m和Xt,m分別表示源圖像分解后的卡通和紋理分量稀疏系數(shù)圖。·代表卷積運算符。λc和λt分別表示卡通和紋理分量的正則化參數(shù),值皆為常數(shù)0.6;‖·‖1表示l1-范數(shù),‖·‖2表示l2-范數(shù),根據(jù)相關的基于SR 的融合方法[12-13],使用l1-范數(shù)用于約束稀疏性,使用l2-范數(shù)用于防止過擬合。

2.2 像素級質(zhì)量指標OCL

指紋圖像受手指皮膚狀態(tài)與采集設備等影響質(zhì)量不均勻。質(zhì)量較好的指紋圖像由清晰的脊線、谷線沿相同方向均勻組成。質(zhì)量較差的指紋圖像則存在脊線谷線模糊不清或脊線斷裂等情況。OCL[19]是一種重要的指紋質(zhì)量檢測方法。它通過對圖像塊中的圖像梯度進行主成分分析,尋找其特征向量和特征值來形成正交基。兩個向量分別指向平均脊線流向的法線和切線方向。兩個特征值之間的比值表示沿主導方向能量集中的強度,來判斷指紋圖像質(zhì)量。

傳統(tǒng)的OCL 計算方式是將指紋圖像劃分為大小相等的局部塊,計算每個局部塊的OCL 值,然后通過加權平均得到指紋圖像的OCL 值,用OCL 值的大小判斷指紋圖像整體的好壞。本文中,為實現(xiàn)像素級的內(nèi)外指紋圖像融合,本文需要對指紋圖像進行像素級OCL 評估。因而,對指紋的每個像素點(x,y),以其為中心,取含N個像素的圖像塊P,構(gòu)建協(xié)方差矩陣如式(2)所示。

其中,(dxi,dyi)表示i處圖像的方向和方向強度,c1～c3是矩陣元素的簡單表述。從協(xié)方差矩陣中C計算得到較小特征值λmin和較大特征值λmax。

求解公式為式(3)。

當λmax大而λmin接近于0 時,方向確定性高而指紋質(zhì)量好;當λmin和λmax的值接近,方向確定性不高而指紋質(zhì)量較差。為使OCL 值能直接代表指紋質(zhì)量,本文將OCL 值計算如下。

最終獲取的OCL 值分布在[0,1]的范圍之間。OCL=1 表示一個區(qū)塊中的山脊和山谷在同一方向上一致地變化。OCL=0 表示山谷和山脊的方向垂直。通過對每一個像素進行OCL 值的計算,對每個指紋圖,可獲取到相同大小的OCL 質(zhì)量圖。

2.3 內(nèi)外指紋融合過程

本文的內(nèi)外指紋圖像融合包括4 個步驟。(1)將內(nèi)外指紋圖像分別進行分解,分別得到其卡通和紋理分量的稀疏系數(shù)圖;(2)將內(nèi)外指紋的OCL 作為約束條件分別融入到卡通和紋理分量的稀疏系數(shù)圖中;(3)采用最大值策略獲得卡通融合系數(shù)圖和紋理融合系數(shù)圖;(4)對卡通和紋理融合系數(shù)圖進行重建,得到融合指紋圖像。指紋融合流程圖如圖3所示。

圖3 指紋融合流程圖

2.3.1 源指紋圖像分解

本節(jié)將基于CSMCA 模型的稀疏編碼分別應用于一組配準好的待融合的內(nèi)外指紋圖像,得到內(nèi)外指紋圖像的卡通分量與紋理分量的稀疏系數(shù)圖,分別表示外部指紋圖像分解后獲得的卡通分量和紋理分量的稀疏系數(shù)圖,分別表示內(nèi)部指紋圖像分解后獲得的卡通分量和紋理分量的稀疏系數(shù)圖。

2.3.2 融入OCL 質(zhì)量評估

傳統(tǒng)指紋圖像OCL 評估只得到單一的OCL 值評估圖像的整體質(zhì)量,不能對指紋細節(jié)質(zhì)量進行體現(xiàn),不符合本文添加OCL 約束的要求。本文利用滑動窗口技術,逐像素移動窗口遍歷整個指紋圖像進行像素級OCL 評估。窗口過大會忽略局部細節(jié),過小包含的指紋信息不全,因此窗口過大或過小均不能很好地表示指紋圖像的質(zhì)量,本文指紋圖像大小為300×260,窗口大小設置為10×10。其中指紋及其對應的OCL 質(zhì)量圖如圖4 所示。

其中,圖4 所示的質(zhì)量圖灰度值較大表示該區(qū)域指紋質(zhì)量較好,灰度值較小表示該區(qū)域指紋質(zhì)量較差。a(i)～a(iiii)分別為外部指紋圖像局部區(qū)域褶皺、磨損、較干以及較濕4 種情況,能夠看到,其對應的b(i)～b(iiii)OCL 質(zhì)量圖在指紋較差區(qū)域灰度值較小,能夠很好地表征指紋的局部區(qū)域質(zhì)量。所以將指紋的OCL 質(zhì)量圖作為約束條件融入到指紋圖像融合過程,能保留內(nèi)外指紋較好的區(qū)域,降低或避免內(nèi)外指紋較差區(qū)域給融合指紋帶來的影響。

圖4 指紋OCL 質(zhì)量圖

指紋的卡通分量和紋理分量的稀疏系數(shù)圖和指紋圖像的大小相同,紋理結(jié)構(gòu)相同,且質(zhì)量好壞區(qū)域像素一一對應,因此指紋圖像的質(zhì)量圖同樣適用于其分量圖。本文通過構(gòu)建結(jié)合OCL 質(zhì)量評估的卡通與紋理分量稀疏系數(shù)圖,在融合過程中降低低質(zhì)量區(qū)域的影響。為簡化符號,本文使用n(n∈{c,t})通用地表示卡通與紋理分量,新的內(nèi)外指紋卡通與紋理分量表示如下。

其中,Ws為外部指紋權重,Wi為內(nèi)部指紋權重,Ws和Wi均分布在[0,1]的范圍之間;(x,y)為圖像坐標,OCLs(x,y)和OCLi(x,y)分別表示外部指紋和內(nèi)部指紋在(x,y)處的OCL 值;分別為外部指紋圖像添加權重Ws后的卡通分量與紋理分量稀疏系數(shù)圖;分別為內(nèi)部指紋圖像添加權重Wi后的卡通分量與紋理分量稀疏系數(shù)圖。

2.3.3 稀疏系數(shù)圖的融合

利用最大值融合策略對外部指紋與內(nèi)部指紋的卡通分量或紋理分量的稀疏系數(shù)圖進行融合,需要對指紋的活度進行測量。指紋圖像的初始活度圖采用稀疏系數(shù)向量的l1-范數(shù)實現(xiàn)如下。

為提高活度測量對指紋圖像噪聲和誤配準的魯棒性,采用基于窗口的平均策略獲得內(nèi)外指紋的最終活度圖:

其中rc和rt分別為卡通分量和紋理分量的窗口半徑,在本文中設為相同的值5?；谧畲笾等诤喜呗?卡通或紋理分量的融合系數(shù)圖的表達式為

2.3.4 稀疏系數(shù)圖的重建

使用得到的卡通融合系數(shù)圖和紋理融合系數(shù)圖,對指紋圖像進行重建,重建表達式如式(13)所示。

其中If是最終的融合指紋圖像。

2.4 OCL 融合方式驗證

指紋的卡通分量和紋理分量的稀疏系數(shù)圖和指紋圖像的大小相同,紋理結(jié)構(gòu)相同,且質(zhì)量好壞區(qū)域像素一一對應,因此指紋圖像的質(zhì)量圖同樣適用于其分量圖。如圖5 所示,a(i)～a(iii)為同一組外部指紋,b(i)～b(iii)為對應的內(nèi)部指紋,c(i)～c(iii)為CSMCA 融合指紋,d(i)～d(iii)為OCL-CSMCA融合指紋。通過設置一個全黑的150×150 局部小塊分別遮擋內(nèi)部指紋b(i)、外部指紋a(ii),遮擋區(qū)域沒有指紋脊谷結(jié)構(gòu),故該局部區(qū)域OCL 值為0,則受遮擋的指紋在OCL-CSMCA 融合過程中不起作用。通過c(i)和c(ii)能夠看到,受全黑局部塊影響,CSMCA 融合指紋在局部塊內(nèi)融合結(jié)果整體偏黑,通過d(i)和d(ii)能夠看到,OCL-CSMCA 融合指紋在局部塊內(nèi)融合結(jié)果與未受遮擋指紋保持一致。未添加遮擋的OCL-CSMCA 融合指紋d(iii)比CSMCA 融合指紋c(iii)紋理結(jié)構(gòu)更加清晰。像素級OCL 質(zhì)量評估不僅能對指紋圖像質(zhì)量有很好的體現(xiàn),也能作為指紋質(zhì)量約束條件融入到CSMCA融合算法中,保證融合指紋圖像的質(zhì)量。

圖5 OCL 融合方式對比圖

融合算法偽代碼如算法1 所示。

3 實驗與結(jié)果分析

本節(jié)將進行指紋質(zhì)量對比實驗來驗證本文所提出指紋圖像融合方法的性能及融合指紋匹配情況。

3.1 指紋數(shù)據(jù)情況

在本實驗中,指紋數(shù)據(jù)是經(jīng)過預先采集、提取、風格轉(zhuǎn)換與配準的320 組內(nèi)外指紋圖像。按照外部數(shù)據(jù)情況將指紋數(shù)據(jù)庫分為以下4 種情況:(1)外部指紋有褶皺,指紋脊線局部斷裂缺失的情況;(2)外部指紋有磨損,指紋信息缺失的情況;(3)外部指紋較干,脊線斷裂的情況;(4)外部指紋較濕,指紋脊谷結(jié)構(gòu)模糊的情況。以上4 種情況的外部指紋對應的內(nèi)部指紋具有不同程度的缺失、指紋信息模糊等。情況(1)、(2)、(3)中的指紋數(shù)據(jù)各占數(shù)據(jù)總量的20%,情況4 約占數(shù)據(jù)總量的40%。圖6 中a(i)～a(iiii)所示的指紋圖像分別為以上描述的4 種內(nèi)外指紋,b(i)～b(iiii)為與a(i)～a(iiii)相對應的風格轉(zhuǎn)換與配準后的內(nèi)部指紋圖像。b(i)存在局部信息缺失和模糊,b(ii)的脊谷結(jié)構(gòu)相對較完整,b(iii)局部缺失較嚴重,b(iiii)有效區(qū)域較小。

圖6 內(nèi)外指紋圖像對比

3.2 指紋質(zhì)量對比實驗

本節(jié)對內(nèi)、外與融合指紋的質(zhì)量進行評估與對比,采用指紋圖像質(zhì)量評估指標NFIQ 分數(shù)[20]、有效面積si[21]以及傳統(tǒng)的方向確定度OCL[19]。NFIQ2.0綜合了一系列指紋評估指標,獲得了0～100 之間的指紋圖像質(zhì)量得分。分數(shù)越高,指紋圖像質(zhì)量越好。NFIQ2.0 專為500 dpi 的圖像開發(fā),因此,本文的指紋圖像均被壓縮至500 dpi。OCL 的計算采用傳統(tǒng)的將指紋圖像分塊計算加權平均值的形式,值越接近于1,指紋圖像質(zhì)量越好。有效面積si 是前景區(qū)域面積與指紋圖像面積的比值,指紋有效面積越大,指紋包含的紋理、細節(jié)點信息更多,有利于識別匹配操作,si 的范圍為0～1 之間,值越大,指紋有效面積越大。

3.2.1 指紋質(zhì)量分數(shù)對比

為了驗證本文融合方法,本部分將對比320 組內(nèi)外指紋以及融合指紋圖像的質(zhì)量。融合指紋圖像由本文融合方法(OCL-CSMCA)、CSMCA 方法及Darlow 融合方法[13]獲得。為進行公平的對比,上述融合方法所使用的指紋數(shù)據(jù)皆來自3.1 節(jié)的數(shù)據(jù)庫。圖7 展示了其中一些內(nèi)外和融合指紋圖像,a(i)～a(iiii)為外部指紋褶皺、磨損、較干以及較濕的4 種情況,b(i)～b(iiii)為對應的內(nèi)部指紋圖像,c(i)～c(iiii)、d(i)～d(iiii)、e(i)～e(iiii)分別為Darlow 融合方法、CSMCA 融合方法、本文方法得到的融合指紋圖像。其中,Darlow 融合指紋對褶皺、磨損、較干以及較濕4 種情況的指紋彌補效果相對較差。CSMCA 融合指紋比Darlow 融合指紋的視覺效果要好,其對褶皺效果的彌補與本文方法相差不大,但在外部指紋出現(xiàn)磨損、較濕等情況時,脊谷紋理清晰度稍差于OCL-CSMCA 融合指紋。總的來說,本文方法較好地保留了內(nèi)外指紋紋理清晰的區(qū)域,脊谷清晰情況與融合前較好的指紋圖像保持一致。

圖7 指紋圖像對比圖

將NFIQ2.0[20]應用于320 組內(nèi)部、外部以及3種融合指紋圖像,5 種指紋圖像的NFIQ2.0 得分統(tǒng)計箱線圖如圖8 所示。

由圖8 能夠看到,內(nèi)部指紋圖像的整體質(zhì)量最差,外部指紋圖像整體質(zhì)量高于內(nèi)部指紋圖像。3種融合方法得到的融合指紋圖像質(zhì)量均高于內(nèi)外單種指紋圖像,本文融合方法得到的融合指紋圖像的質(zhì)量分數(shù)高于其他兩種融合指紋圖像。這一對比結(jié)果表明本文融合方法得到的融合指紋圖像較好地保留了內(nèi)外指紋質(zhì)量較好區(qū)域的指紋信息,降低了局部指紋質(zhì)量較差區(qū)域帶來的影響,質(zhì)量相對于內(nèi)外指紋圖像和其他融合指紋圖像皆有提升。

圖8 指紋質(zhì)量對比圖

3.2.2 指紋方向確定度對比

將傳統(tǒng)的方向確定度[19]應用于評估320 組內(nèi)部、外部以及3 種融合指紋圖像,5 種指紋圖像的方向確定度統(tǒng)計箱線圖如圖9 所示。

由圖9 能夠看出,內(nèi)部指紋圖像的OCL 值最小,方向確定性最差,其次依次是外部指紋、CSMCA融合指紋、Darlow 融合指紋與OCL-CSMCA 融合指紋。這一對比結(jié)果表明本文融合方法得到的融合指紋圖像局部方向確定性最好,包含更少的噪聲影響,脊谷紋理結(jié)構(gòu)更加清晰。

圖9 方向確定度對比圖

3.2.3 指紋有效面積對比

將有效面積si[2]應用于評估320 組內(nèi)部、外部以及3 種融合指紋圖像,5 種指紋圖像的有效面積統(tǒng)計箱線圖如圖10 所示。

圖10 指紋有效面積對比圖

由圖10 能夠看到,內(nèi)部指紋圖像的有效面積大于外部指紋圖像。3 種融合方法得到的融合指紋圖像的有效面積均大于內(nèi)外指紋圖像,依次是CSMCA最大,本文融合方法次之,Darlow 融合方法最小。這一對比結(jié)果表明本文融合方法在提高融合指紋圖像質(zhì)量和方向確定性的同時,保留了內(nèi)外指紋圖像的大部分有效面積。

3.3 指紋結(jié)構(gòu)相似性對比實驗

結(jié)構(gòu)相似性指標SSIM[22]基于圖像亮度、對比度、結(jié)構(gòu)3 個指標測量2 張圖像的相似性,SSIM 的范圍為0～1 之間,SSIM 的值越高,說明圖像越相似。為了驗證融合指紋依然保留與源指紋相似的紋路信息,本節(jié)將SSIM 指標應用于評估320 組內(nèi)外指紋與融合指紋圖像的相似性。評估分兩部分進行。

首先,對內(nèi)外指紋圖像以及OCL-CSMCA 融合指紋進行評估,3 種結(jié)構(gòu)相似性統(tǒng)計箱線圖如圖11所示,內(nèi)部與外部指紋的SSIM 值最低,OCL-CSMCA融合指紋與內(nèi)部指紋SSIM 值最高,與外部指紋的SSIM 值位于前兩者之間。這一對比結(jié)果表明,本文OCL-CSMCA 融合指紋圖像提高了與內(nèi)外指紋圖像的結(jié)構(gòu)相似性,能與內(nèi)外指紋圖像達到較好的互相兼容效果。

其次,將SSIM 應用于計算CSMCA 融合指紋、Darlow 融合指紋以及本文OCL-CSMCA 融合指紋與內(nèi)外指紋圖像的結(jié)構(gòu)相似性。3 種融合指紋圖像與外部以及內(nèi)部指紋圖像的結(jié)構(gòu)相似性箱線圖如圖12(a)與圖12(b)所示。

由圖12 能夠看到,Darlow 融合指紋與外部指紋的SSIM 值最高,與內(nèi)部指紋的SSIM 值最低,CSMCA 融合指紋與外部指紋SSIM 值最低,與內(nèi)部指紋SSIM 值最高,OCL-CSMCA 與內(nèi)外指紋的SSIM值位于前兩種融合指紋之間。

圖12 融合與源指紋相似性對比圖

本文所采用的外部指紋多受指尖外部褶皺、汗?jié)n、缺失等影響,風格轉(zhuǎn)換后的內(nèi)部指紋會有局部信息缺失與模糊等情況。OCL-CSMCA 方法將內(nèi)外指紋紋理結(jié)構(gòu)區(qū)域進行結(jié)合,不易受內(nèi)部或外部指紋單獨質(zhì)量的影響,降低了指紋質(zhì)量較差區(qū)域的影響,所以OCL-CSMCA 融合指紋圖像與外部以及內(nèi)部指紋的SSIM 值位于其他兩種融合方法中間。

3.4 指紋匹配實驗

為了驗證本文融合指紋的匹配性能,本小節(jié)將對比融合、外部與內(nèi)部指紋的匹配分數(shù)。本文采用的匹配工具是VeriFinger 11.1 SDK[23],該工具可以提取兩組待匹配指紋各自的細節(jié)點并得出兩者的匹配分數(shù),匹配分數(shù)越高,說明匹配性能越好。由于本文指紋數(shù)據(jù)庫量較少,無法做批量匹配實驗,后續(xù)將采集大批量內(nèi)外指紋數(shù)據(jù),進一步驗證融合指紋圖像匹配的效果。

3.4.1 指紋匹配

本節(jié)對內(nèi)部、外部以及融合指紋的匹配能力進行討論。首先,本節(jié)對同一種指紋的不同次采集進行匹配測試。如圖13 所示,(a～c)與(d～f)分別為2 個不同手指的匹配結(jié)果,而(i)與(ii)分別為該手指第1 次與第2 次采集獲得的指紋圖像。以(a～c)為例,(a～c)分別對應同一組指紋的外部、內(nèi)部以及融合指紋。通過指紋(i)與指紋(ii)的匹配,即同種指紋不同次采集的匹配,其匹配結(jié)果與匹配分數(shù)表明,本文的融合指紋圖像相對于內(nèi)外指紋圖像細節(jié)點皆有所增加,融合指紋圖像的匹配能力有所提升。

圖13 指紋匹配結(jié)果圖

其次,本節(jié)對不同類型指紋的匹配能力進行測試。如圖14 所示,(a～c)與(d～f)分別為2 個不同手指的匹配結(jié)果。以(a～c)為例,a(i)～c(i)分別對應第1 個手指在第1 次采集時獲得的外部、內(nèi)部以及融合指紋,而a(ii)～c(ii)皆為第1 個手指在第2 次采集時獲得的融合指紋。通過指紋(i)與指紋(ii)的匹配,即外部、內(nèi)部與融合指紋與不同次采集的融合指紋的匹配,其匹配結(jié)果與匹配分數(shù)表明,本文融合指紋圖像與內(nèi)部、外部以及融合指紋圖像能夠較好地匹配兼容。

圖14 指紋兼容匹配結(jié)果圖

3.4.2 內(nèi)外指紋細節(jié)點討論

為了驗證指紋褶皺、缺失、斷裂以及模糊等對指紋細節(jié)點提取造成的影響,以及融合后的指紋圖像對細節(jié)點正確提取的改善作用,本節(jié)選取4 組內(nèi)外指紋和融合指紋圖像,對比融合前后的細節(jié)點情況,指紋細節(jié)點對比圖如圖15 所示。a(i)～a(iiii)為外部指紋圖像的4 種情況,b(i)～b(iiii)、c(i)～c(iiii)分別為對應的內(nèi)部指紋與OCL-CSMCA 融合指紋圖像。a(i)有效面積較小,受噪聲影響,邊緣存在錯誤提取的細節(jié)點,b(i)有效面積較大,細節(jié)點較為完整,c(i)結(jié)合了內(nèi)外指紋的正確細節(jié)點,減少了錯誤細節(jié)點的影響。a(ii)較為完整提取了正確的細節(jié)點,但b(ii)受缺失和噪聲影響,存在較多錯誤細節(jié)點,c(ii)彌補了內(nèi)部指紋的缺失,細節(jié)點提取的較為準確完整。a(iii)存在褶皺缺失造成的指紋細節(jié)點錯誤提取,b(iii)存在由于模糊造成的細節(jié)點錯誤提取,c(iii)提取的細節(jié)點相對較為準確。a(iiii)受濕度影響造成指紋脊谷模糊,細節(jié)點提取出現(xiàn)錯誤,b(iiii)脊谷結(jié)構(gòu)清晰,指紋細節(jié)點比較準確,c(iiii)提取的指紋細節(jié)點比較準確完整。通過以上4 種情況能夠看到融合指紋圖像提取的細節(jié)點比較準確,極大地改善了外部指紋褶皺、模糊以及內(nèi)部指紋缺失、斷裂造成的細節(jié)點提取錯誤等情況。

圖15 指紋細節(jié)點對比圖

4 結(jié)論

本文提出了基于卷積稀疏表示與方向確定度質(zhì)量評估相結(jié)合的內(nèi)外指紋圖像融合方法。針對外部指紋易受磨損、劃傷、污染等影響,抗干擾能力較差以及內(nèi)部指紋易受噪聲影響,局部信息缺失模糊等問題,本文將指紋OCL 質(zhì)量圖作為約束條件融入CSMCA 模型,通過將內(nèi)外指紋圖像進行分解、加約束、融合、重建等操作得到融合指紋圖像。通過實驗證明,本文方法得到的融合指紋圖像相對于其他指紋圖像,脊谷結(jié)構(gòu)清晰完整,在視覺效果、NFIQ 質(zhì)量分數(shù)以及OCL 質(zhì)量分數(shù)上均有所提升,局部紋理更加清晰,指紋的有效面積也有所增大。本文方法得到的融合指紋圖像在匹配能力和細節(jié)點正確提取方面表現(xiàn)良好,有利于指紋后續(xù)的匹配識別等操作。同時本文的工作為殘缺指紋的識別奠定了基礎,未來可以將殘缺指紋的內(nèi)外指紋圖像進行融合,研究融合后的殘缺指紋的識別匹配能力。