馮起良,韓叢英,2?,趙彤,2

(1 中國科學院大學數(shù)學科學學院,北京 100049;2 中國科學院大數(shù)據(jù)挖掘與知識管理重點實驗室,北京 100190) (2021年12月6日收稿; 2022年2月28日收修改稿)

隨著計算機技術、物聯(lián)網技術、智能設備的逐漸普及,傳統(tǒng)的身份認證方式易丟失、易復制、易冒用,在諸多場景下已經不能滿足現(xiàn)實需求。生物特征識別技術是基于生物特征進行身份認證的,比傳統(tǒng)的身份認證方式更安全可靠。常見的能夠用于身份認證的生物特征包括生理特征(指紋、掌紋、虹膜、DNA、靜脈、人臉等)和行為特征(聲音、步態(tài)等)。指紋因為具有唯一性、持久性、普遍性以及易于采集等特點,在眾多生物特征中占據(jù)優(yōu)勢地位[1-2]。經過不斷的技術革新,自動指紋識別系統(tǒng)已經在刑事偵查、法庭科學、安全檢查和金融支付等領域有著廣泛應用。尤其在刑事偵查和法庭科學領域,隨著指紋采集條件逐漸完善,億萬級的指紋圖像數(shù)據(jù)采集、預處理、特征提取、特征比對已經成為現(xiàn)實。指紋圖像質量直接影響指紋鑒定結論的準確性和可靠性,關乎有效證據(jù)的形成和刑事案件的偵破。好的指紋圖像質量評價算法不僅有助于指紋專家對指紋進行分析和鑒定,還能夠提升自動指紋識別系統(tǒng)(automatic fingerprint identification system,AFIS)的性能:有助于減少設備資源消耗、緩解數(shù)據(jù)處理的壓力、縮短任務執(zhí)行時間、提高指紋匹配算法的準確率等。因此,指紋圖像質量評價算法的研究一直是指紋領域專家學者關注的熱點。

1 指紋圖像質量評價

有關指紋圖像質量的研究,最早可追溯到20世紀90年代。Bolle等[3]根據(jù)方向場的強度分割出有效區(qū)域與無效區(qū)域,并計算二者面積占比來評估指紋圖像質量。Shen等[4]使用Gabor濾波的方法區(qū)分有無明顯方向特征的指紋小塊并以此計算質量分值。這些算法參考的特征因子過于單一,而且對復雜背景的指紋圖像質量評價缺乏魯棒性,容易受噪聲影響。2004年,美國國家標準與技術研究院(National Institute of Standards and Technology,NIST)研發(fā)出NIFQ1.0[5]指紋圖像質量評價算法。該算法依靠傳統(tǒng)的指紋特征提取算法提取11個特征因子,將正則化后的指紋匹配分數(shù)作為監(jiān)督信息訓練感知機分類網絡,最終將指紋質量分為5個等級。但該算法無法提供高精度的質量分數(shù),因此適用場景受到極大限制。隨著ISO/IEC29794系列標準文獻[6-8]對生物特征樣本質量的明確,NIST進一步研發(fā)出NFIQ2.0[9]指紋圖像質量評價算法。但該算法仍然部分延續(xù)NFIQ1.0的實現(xiàn)思路,即依靠傳統(tǒng)的指紋特征提取算法提取特定的特征因子,然后利用傳統(tǒng)的機器學習算法實現(xiàn)質量分類。雖然NFIQ2.0算法可以提供高精度的評估分數(shù)(0～100分),也符合ISO相關標準基本要求[7-8],并受到國內外專家學者的廣泛關注,但是該方法仍然缺乏評價指紋圖像局部區(qū)域質量的能力,而此項能力對于刑事偵查和法庭科學的指紋鑒定任務是極為重要的。另外,NFIQ2.0算法相關報告中提供的案例指紋的質量分數(shù)與指紋專家的質量評價結果存在較大偏差,其分數(shù)存在畸高、畸低和不合理下滑的現(xiàn)象。近年來,國內外關于指紋圖像質量的研究不斷有新方法被提出。2016年,Li等[10]針對不同曲率的指紋區(qū)域提取不同的特征因子,提出一種混合的指紋圖像質量評價方法。2019年,Richter等[11]推薦一種基于污點噪聲(smudge noise)的指紋圖像質量評價方法,并在部分公開數(shù)據(jù)集上有突出表現(xiàn)。2020年,Chen等[12]針對移動設備傳感器獲取的部分指紋圖像,提出融合紋理和幾何特征的混合指紋圖像評價方法。2021年,Agarwal和Bansal[13]結合脊線清晰度特征、紋理特征和細節(jié)點特征提出針對現(xiàn)場指紋(latent fingerprint image)的圖像質量評價方法。2021年,Hendre等[14]通過對比已有的多種質量評價方法對部分采集指紋的評價能力,認為現(xiàn)有的方法中 NFIQ2.0算法和基于Gabor濾波的方法能夠對部分采集指紋進行有效的低質量檢測。近年來對指紋圖像質量評價問題的研究大多延續(xù)傳統(tǒng)圖像處理和機器學習的方法,盡管在一些數(shù)據(jù)集上能夠有效降低指紋匹配算法拒識率(false non-match rate,FNMR),但仍然缺乏對指紋圖像局部區(qū)域質量的評價能力。

從文獻來看,目前國際較為通用的指紋圖像質量評價算法是NFIQ2.0算法。在我國,現(xiàn)有的國家標準[15-17]在指紋數(shù)據(jù)交換格式中定義了圖像質量域,但還沒有解釋和定義評價指紋圖像質量的方法,相應的評價策略仍主要參考美國的NIST_NFIQ算法[5,9]及ISO/IEC-29794標準[6-8],因此本文主要針對NFIQ2.0算法實施對比實驗。

深度學習技術尤其是卷積神經網絡(convolutional neural network,CNN)在指紋領域的應用已有先例。2016年,江璐等[18]提出基于卷積神經網絡的指紋紋型分類算法。2017年,Qin等[19]提出基于全卷積神經網絡的多尺度奇異點檢測算法。2018年,Li等[20]提出基于卷積神經網絡的現(xiàn)場指紋增強方法,Liu等[21]對指紋奇異點檢測問題提出基于Faster-RCNN的新思路。2020年,Zhou等[22]基于卷積神經網絡提出兩階段的快速細節(jié)點特征提取算法,Liu等[23]基于深度學習技術提出對齊指紋匹配算法。這說明深度學習尤其是CNN的方法在解決指紋領域問題方面有很好的前景,因此本文嘗試將CNN的方法應用于指紋圖像質量評價算法的設計中。一般而言,CNN的深度越深,特征提取能力越強,但會導致訓練難度增加和計算資源過度消耗。2016年,He等[24]提出殘差學習的網絡模型,有效解決了訓練深層CNN的難題。同年,Huang等[25]提出的DenseNet網絡模型能夠在參數(shù)更少、計算成本更小的情況下,實現(xiàn)比前者更優(yōu)的性能。

針對刑事偵查和法庭科學領域指紋圖像鑒定的應用場景,本文將指紋圖像質量評價問題拓展到二維質量空間上,學習指紋專家對紋線局部區(qū)域的質量感知策略,提出一種基于視覺感知模型的指紋圖像質量評價算法。首先介紹算法的整體框架;接著準備訓練數(shù)據(jù)、構建和訓練CNN感知分類網絡,目的是使CNN網絡學習指紋專家對紋線局部區(qū)域的質量感知策略,這是本文算法在訓練階段的核心任務;然后給出感興趣區(qū)域(region of interest,ROI)提取算法和高斯賦權模型;最后結合ROI區(qū)域提取算法、CNN感知分類網絡和高斯賦權模型完成基于視覺感知模型的指紋圖像質量評價算法設計。本文在二維空間中對指紋圖像局部區(qū)域的質量分布進行表示,這符合刑事偵查和法庭科學領域指紋鑒定應用場景的需求。為了驗證本文算法的合理性,本文從質量分值合理性、質量空間表達合理性、指紋匹配算法拒識率FNMR指標3個方面做出實驗分析。

2 視覺感知模型

指紋圖像質量評價問題可以描述為2個映射過程,如下所示

(1)

其中:w、h分別是圖像的寬和高;fs是從w×h的圖像空間到標量分數(shù)的映射,表示對指紋圖像整體的評價過程;fq是從圖像空間到二維質量空間的映射,體現(xiàn)了對指紋圖像局部區(qū)域質量評價?，F(xiàn)有的指紋圖像質量評價問題的相關文獻均僅是研究指紋圖像整體的質量評價問題(即研究fs的映射問題),缺少對fq的探索研究。事實上,fs、fq并非兩個獨立的映射過程,即指紋圖像局部區(qū)域質量鑒定可以為指紋圖像整體質量評價提供依據(jù)。這意味著可以在統(tǒng)一的基礎模型中實現(xiàn)fs、fq兩個指紋圖像質量評價的映射過程。本文從仿生學的角度出發(fā),分析指紋專家對指紋圖像質量的評價過程,并設計出同時實現(xiàn)fs、fq兩個指紋圖像質量評價任務的指紋圖像質量評價算法。

指紋專家通過視覺感知行為對指紋圖像質量做出評價是其視覺神經系統(tǒng)高度復雜的活動過程。在此過程中,指紋專家首先快速定位指紋圖像的ROI區(qū)域,然后對ROI局部區(qū)域在主觀意識的指導下進行細致分析。前者快速定位ROI區(qū)域是受指紋圖像內容驅動的自底而上的視覺關注模式;后者對紋理局部區(qū)域的細致分析是在主觀意識命令下的自頂而下的視覺關注模式。視覺感知結論的形成還需要指紋專家視覺神經系統(tǒng)內在的推導機制,即指紋專家視覺神經系統(tǒng)并非直接去理解進入眼睛的視覺信號,而是會根據(jù)大腦中的先驗知識來推導預測其視覺內容。

本文模擬指紋專家對指紋圖像的視覺感知質量評價過程,提出基于視覺感知模型的指紋圖像質量評價算法。該算法以原始指紋圖像為輸入,最終輸出指紋圖像的整體質量分數(shù)和二維質量空間分布。在該模型中,模擬指紋專家自底而上的視覺關注模式,設計ROI區(qū)域提取算法引導視覺感知模型關注指紋圖像的紋理區(qū)域;模擬指紋專家自頂而下的視覺關注模式,以視覺窗口采樣的方式對指紋圖像進行細致分析;訓練CNN感知分類網絡,學習指紋專家大腦中對指紋圖像局部質量認知的先驗知識,以模擬指紋專家對指紋局部區(qū)域做出質量評價的推導決策機制。此外,設計高斯賦權模型,模擬指紋專家對不同指紋區(qū)域特征重要性的一般認知規(guī)律,使得本文視覺感知模型對指紋圖像質量評價的推導決策機制更加匹配指紋專家對指紋圖像質量的視覺感知原理。視覺感知模型質量評價算法與指紋專家視覺感知質量評價對應過程如圖 1所示。

算法具體實施分為視覺感知模型的訓練階段和預測階段。在訓練階段,主要設計CNN感知分類網絡算法,通過數(shù)據(jù)驅動的方式引導CNN網絡學習專家對指紋圖像局部紋理質量感知的先驗知識,以使得本文視覺感知模型在預測階段能夠模擬指紋專家對指紋圖像局部紋理質量評價的神經推導機制。預測階段,設計ROI區(qū)域提取算法,提取指紋圖像的紋理區(qū)域,并以視覺窗口采樣的方式生成CNN感知分類網絡的預測數(shù)據(jù),并通過訓練完成的CNN網絡參數(shù)獲得預測數(shù)據(jù)的分類結果。最終既可以將預測結果進行坐標回溯生成指紋圖像的二維質量空間分布,也可以結合高斯賦權模型生成指紋圖像的質量分數(shù)。視覺感知模型質量評價算法具體實施框架如圖 2所示。

2.1 訓練階段

2.1.1 訓練數(shù)據(jù)

本文數(shù)據(jù)來源于國內某省刑偵十指指紋數(shù)據(jù),共計7 000枚指紋圖像。從中隨機選取6 500枚指紋圖像用作準備訓練數(shù)據(jù),另外500枚指紋圖像用于質量空間分布合理性驗證。首先組織指紋專家對6 500枚指紋圖像實施視覺感知質量標記實驗,即專家對指紋圖像局部紋理區(qū)域做出質量好、質量中等和質量差的質量判定,為CNN感知分類網絡的訓練提供監(jiān)督信息。

形狀不規(guī)則的大面積質量標記區(qū)域不能體現(xiàn)自頂而下的視覺感知模式,且不利于CNN感知分類網絡的訓練,因此需要設定統(tǒng)一尺寸的視覺感知窗口對專家質量標記區(qū)域進行采樣。若設定視覺感知窗口尺寸過小,會導致單位窗口內只有單條紋線或沒有紋線,從而無法提供用來進行質量評價的依據(jù);若設定視覺感知窗口尺寸過大,與專家細致分析局部紋理的視覺感知過程相悖。對于分辨率為500 dpi的指紋圖像,紋線周期一般為10～12個像素,因此為確保單位視覺感知窗口內存在2條以上的指紋紋線,同時便于引導模型細致分析指紋圖像局部紋理,本文設定32像素×32像素的視覺感知窗口在專家標記的質量區(qū)域內進行采樣,所得采樣圖像作為CNN感知分類網絡的訓練數(shù)據(jù)。為進一步增廣訓練數(shù)據(jù)集,設定16像素的采樣間隔,并在(-30°,+30°)范圍內對采樣視覺感知窗口進行隨機旋轉。最終共計將305 667枚采樣所得指紋小塊用于CNN感知網絡訓練。按專家質量標記信息,將指紋小塊分為3個類別(Class a,Class b,Class c ):

Class a:質量好的指紋小塊,紋線清晰,基本無噪聲;Class b:質量中等的指紋小塊,紋線模糊,有噪聲但經過處理基本可恢復;Class c:質量差的指紋小塊,無明顯紋線信號特征的區(qū)域,完全不可用。3種類別指紋圖像小塊質量差異對比示意圖,見圖 3。

進一步按照8∶1∶1的比例,將305 667枚指紋圖像小塊隨機分成訓練集(244 533枚,Class a:81 503,Class b:122 215,Class c:40 815)、測試集(30 566枚,Class a: 10 200,Class b:15 283,Class c:5 083)和驗證集(30 568枚,Class a: 10 189,Class b:15 213,Class c:5 166),作為CNN訓練、測試和驗證的數(shù)據(jù)。

2.1.2 CNN感知分類網絡

CNN結構機制與人類視覺系統(tǒng)對圖像的認知原理具有先天的相似性,并且CNN應用于圖像領域已得到廣泛認可。本文設計CNN感知分類網絡模擬專家視覺感知指紋圖像局部紋理質量的推導機制,并以專家質量標記的數(shù)據(jù)驅動網絡學習專家質量感知的先驗知識。

CNN感知分類網絡的輸入尺寸與訓練數(shù)據(jù)的采樣窗口尺寸(32像素×32像素)保持一致。一般而言,越深層的CNN網絡非線性表達能力越強,可以學習更復雜的變換,從而可以模擬更復雜的神經推導機制。但隨著網絡深度的增加,網絡參數(shù)量也隨之增加,容易帶來模型難以訓練和過擬合問題。理論上從感受野的角度,2個3×3的卷積核等同于1個5×5的卷積核,3個3×3的卷積核等同于1個7×7的卷積核;從參數(shù)的角度,2個或3個3×3小尺寸卷積核參數(shù)量(分別是18,27)比單個5×5和7×7卷積核的參數(shù)量(分別是25,49)要少得多。因此,本文在網絡設計中,采用3×3 和1×1兩種小尺寸的卷積核構建深層感知分類網絡既可以盡可能地減少訓練參數(shù)量,又可以保持深層網絡的優(yōu)勢。

本文設計的CNN感知分類網絡結構和參數(shù)如圖 4所示。圖 4(a)說明網絡主體結構和特征維度變化,圖 4(b)說明網絡主體的關鍵子結構。其中3×3 Conv和1×1 Conv分別表示卷積核為3和1的卷積層。BN+LRELU是BatchNorm層和LRELU非線性激活函數(shù)的簡化表示;VPG(×N)表示是由N個VPU構成的子結構,其中VPU是由卷積層、激活函數(shù)、批正則化層構成的基礎結構單元;REDU是由核為2×2(k=2),步長為2(s=2)的最大值池化(max pool)層和1×1 Conv為主要構成的特征降維子結構。AMP表示自適應最大池化(adaptive max pool)層,作用是將c個通道特征圖采用非極大值抑制的池化方法降維為c維的特征向量;FC表示全連接層。CNN感知分類網絡最終輸出一個3維向量,經過softmax歸一化指數(shù)激活函數(shù)(未在網絡中標注)可以代表CNN感知分類網絡將輸入預測為3個質量類別的概率。

在每個VPU中,本文設計3×3 Conv加強網絡對特征圖不同空間位置的感知能力,設計1×1 Conv實現(xiàn)跨通道的視覺信息組合,進一步將VPU輸出固定為12個特征通道,并與輸入尺寸(w×h)保持一致,便于多層VPU之間的特征融合。簡單的VPU線性疊加無法融合多層次的視覺感知信息,且會導致網絡難以得到有效的訓練。因此本文在網絡主體的不同階段,分別引入3、6、12個VPU組成的VPG。每個VPG內部采用特征復用的方式連接VPU,即VPG內部前面各級VPU的特征輸出以特征通道維度拼接的方式作為下一級VPU的輸入,并以此類推。網絡深度的增加使得卷積層提取的特征圖更加全局和抽象,但特征空間也急劇膨脹。本文在VPG之間引入REDU結構的目的是以非極大值抑制的方法選擇典型突出特征并將特征圖尺寸(w×h)縮小1/2,同時利用1×1 Conv整合通道信息并進一步將特征圖通道數(shù)減少1/2。REDU結構既可以有效減少計算資源的消耗,又可以進一步選擇出有代表性的視覺特征。在網絡中,BatchNorm層和LRELU分段線性激活函數(shù)能夠加快網絡收斂速度,同時緩解訓練過程中梯度消失和爆炸的現(xiàn)象。圖4(b)詳細說明了VPG、VPU、REDU和BN+LRELU的關鍵結構。

2.1.3 網絡訓練

本文所用硬件實驗環(huán)境為Intel(R) Core(TM) i9-10900KF CPU、32 G內存、Nvidia RTX3090顯卡。軟件環(huán)境為Python3.8、Pytorch1.9。

專家標記的6 500枚刑偵指紋圖像中3種不同質量區(qū)域的面積分布差別很大,導致經過視覺感知窗口采樣生成的訓練樣本存在嚴重的樣本不均衡問題。在生成的305 667枚訓練樣本中,Class b的樣本數(shù)量遠遠大于Class a、Class c的樣本數(shù)量(a∶b∶c?1∶2∶1),如果不加干涉地直接用于網絡訓練容易導致網絡無法學習到有效的視覺特征,網絡更傾向于將輸入預測為Class b。為解決樣本不均衡問題對CNN感知分類網絡的影響,在訓練過程設定交叉熵分類損失函數(shù),并對不同類別訓練樣本所得的計算損失設置不同的權重(Wa∶Wb∶Wc?2∶1∶2),相對增強a、c兩類樣本在分類損失函數(shù)中提供的損失信息,從而提高CNN感知分類網絡的分類準確率。

設yi,i=1,2,3 表示CNN感知分類網絡輸出每個維度的值。ci,i=1,2,3表示網絡輸入數(shù)據(jù)對應的真實類別標簽,取值為0或1。并設w1=Wa,w2=Wb,w3=Wc。則網絡預測輸入為每個類別的概率、訓練過程分類損失的計算如下

(2)

(3)

進一步,采用Kingma和Ba[26]提出的Adam優(yōu)化器作為網絡權重參數(shù)的更新策略。在訓練過程中,設定Adam一階矩的指數(shù)衰減率β1=0.9,二階矩的指數(shù)衰減率為β2=0.99。

此外,采用多階段的學習率衰減策略,設定初始學習率l=0.01,衰減間隔為100個訓練周期(epoch),衰減率為0.1。隨著迭代次數(shù)增加,網絡分類準確率先上升后趨于穩(wěn)定,損失先下降后趨于穩(wěn)定,說明網絡權重參數(shù)在逐漸收斂。最終經過300 epoch,模型在驗證集上的預測準確率達到96.4%。隨著訓練過程迭代周期數(shù)增加,在驗證集上CNN感知分類網絡的損失和預測準確率的收斂情況如圖5所示。

進一步將訓練好的CNN感知分類網絡在測試數(shù)據(jù)集上測試最終得到96.2%的平均預測準確率,這說明該模型得到了有效訓練,沒有過擬合和欠擬合的現(xiàn)象。

2.2 預測階段

2.2.1 ROI區(qū)域提取算法

本文需要快速引導視覺感知模型的注意力關注到指紋圖像的紋理區(qū)域,以近似模擬專家視覺感知過程的自底而上視覺關注模式。值得注意的是,任何有效的ROI區(qū)域提取算法都可嵌入本文視覺感知模型的框架中,本文僅在算法2.1中就一種可行的ROI區(qū)域提取算法進行說明。一般而言,指紋圖像的ROI區(qū)域比背景和噪聲區(qū)域具有明顯的局部方向性,可以作為判別ROI區(qū)域的依據(jù)。在算法設計中,首先使用直方圖均衡化算法[27]提高圖像對比度,然后對增強后的指紋圖像計算其方向可靠性強度[28],得到強度分布矩陣r。然后,最大類間方差法[29]計算r的最佳分割閾值并完成初步分割。進一步,對初步分割結果進行形態(tài)學處理[27]以抑制面積較小的邊界噪聲區(qū)域和連通距離較近的目標區(qū)域。最后,為了保 證ROI區(qū)域的提取結果能夠近似保留指紋形態(tài),利用凸包檢查[30]算法保留面積最大的凸包區(qū)域作為最終所得ROI區(qū)域。在具體實現(xiàn)中,借助OpenCV圖像處理算法庫,并盡可能地將迭代計算過程轉換成二維卷積和矩陣Hadamard乘積以提高算法的執(zhí)行效率。以FVC2000[31]Db1 中兩幅的指紋圖像為例,ROI區(qū)域提取效果如圖 6所示。

算法2.1 ROI區(qū)域提取算法輸入:指紋圖像灰度值矩陣I,并做如下初始化: K3×3=ones(3),K7×7=ones(7),K9×9=ones(9)sobelx=10-120-210-1é?êêêù?úúú,sobely=121000-1-2-1é?êêêù?úúú1: 直方圖均衡化I(灰度增強),結果記為I′。2: Sobel算子對I′做二維卷積運算(☉表示),計算I′在x,y方向的梯度矩陣Sx、Sy:Sx=sobelx☉I′,Sy=sobely☉I′3: 計算Sx、Sy之間的Hadamard乘積(表示):XX=SxSx,XY=SxSy,YY=SySy4:K3×3分別對XX、XY、YY進行二維卷積:Gxx=K3×3☉XX,Gxy=K3×3☉XY,Gyy=K3×3☉YY5: 計算方向可靠性矩陣:r=sqrt((Gxx-Gyy)(Gxx-Gyy)+4GxyGxy))/(Gxx+Gyy)6: 最大類間方差法對r進行閾值分割,大于閾值的位置灰度值設為255,否則設為0,所得二值分割矩陣記為Ib。7: 以K7×7為結構元對Ib進行形態(tài)學開運算,再以K9×9為結構元對Ib進行形態(tài)學閉運算,所得結果記為Im。8: 對Im進行凸包檢查,并填充最大面積的凸包區(qū)域灰度值為255,其他區(qū)域灰度值設為0,所得結果為IR。輸出:ROI區(qū)域提取結果IR(灰度值為255的區(qū)域)。

2.2.2 高斯賦權模型

不同的指紋采集區(qū)域在指紋鑒定過程中不具有同等重要性,低質量的指紋中心區(qū)域往往要比低質量的指紋邊緣區(qū)域損失更多的有價值特征是指紋專家的一般性先驗認知。依據(jù)對指紋局部特征重要性衰減分布認知的一般規(guī)律,提出自適應圖像尺寸的高斯賦權模型,對不同位置的指紋局部質量預測結果適配合理的權值,從而提高最終評估分值的合理性。如下所示

(4)

式中:w0、h0分別等于圖像的寬度和高度,σw=w0/3,σh=h0/3,w∈[0,2w0),h∈[0,2h0) 。

由式(4)可以得到特征重要性權值矩陣G。以300像素×300像素的圖像為例,得到G的權值分布情況如圖 7所示。

2.2.3 視覺感知模型的質量評價算法

利用ROI區(qū)域提取算法模擬專家快速定位指紋紋理區(qū)域的自底而上視覺關注模式,然后設定32像素×32像素的視覺感知窗口對ROI區(qū)域進行采樣,以模擬專家主動視覺注意指紋局部紋理的自頂而下視覺關注模式。前述CNN感知分類的網絡構建和訓練過程使得CNN感知分類網絡獲得模擬專家對指紋圖像局部紋理進行質量感知的能力,可以對局部視覺感知窗口的指紋圖像紋理做出質量預測。進一步,本文設計高斯賦權模型以模擬指紋專家對指紋局部特征重要性衰減認知的一般規(guī)律。將ROI區(qū)域內每個視覺感知窗口的指紋圖像小塊輸入CNN感知分類網絡,經過前向傳播得到質量預測結果,再經過高斯賦權模型的適配權重,可以計算指紋圖像整體質量分數(shù)。進一步,將CNN感知分類網絡的預測結果進行坐標回溯和統(tǒng)計分析,可以得到指紋圖像質量的二維空間分布。具體算法設計見算法2.2。指紋圖像質量的二維空間分布可視效果如圖8所示。

算法2.2 質量分值與二維空間分布預測算法輸入:原始指紋圖像Iw←I的寬度,h←I的高度,M=A=Q=zeros((w,h))1: 算法2.1提取I的ROI區(qū)域,輸出IR。2: XB=0,YB=0,SB=03: fori=0∶1∶hdo4: for j=0∶1∶wdo5: if IR[i,j]==255then6: YB+=i,XB+=j,SB+=17: end if8: end for9: end for10: XC=XB/SB,YC=YB/SB11: XO=XC-w/2,YO=YC-h/212: SSum=0,S=013: fori=0∶16∶hdo14: forj=0∶16∶w do15: Bij=I[i:i+32,j:j+32]16: RBij=sum(IR[i:i+32,j:j+32])/25517: r=h/2+i-YO,c=w/2+j-XO18: GW(Bij)=sum(G[r:r+32,c:c+32])/1024 #G是特征重要性權值矩陣19: ifRBij<0.75 then20: SSum+=GW(Bij)21: else22: _,idx=max(CNN(Bij)) #CNN 預測23: CBij()=3-idx24: S+=GW(Bij)C(Bij)25: SSum+=3GW(Bij)26: M[i:i+32,j:j+32]+=C(Bij)27: A[i:i+32,j:j+32]+=128: end if29: end for30: end for31: S=S/SSum×10032: Q=M/A # M和A矩陣對應元素相除33: 進步對Q進行閾值分割,Q≥2.5標記為白色,2.5>Q≥1.5標記為藍色,1.5>Q≥1標記為紅色,其它位置標記為黑色?？梢缘玫劫|量二維空間分布Q的可視效果。(閾值可根據(jù)實際需要調整)輸出:指紋圖像質量分數(shù)S; 指紋圖像質量二維空間分布Q。

3 實驗驗證與分析

3.1 質量分值合理性分析

本文針對NFIQ2.0算法關于FVC2000 Db1/Db3、FVC2002[32]Db1公開數(shù)據(jù)集的測試指紋圖像案例,分別給出 NFIQ2.0算法質量評分和視覺感知模型質量評價算法質量評分,進一步給出本文算法對每幅指紋圖像二維質量空間分布的評價結果,如圖9所示。

國家公安部物證鑒定中心的指紋專家認為原有NFIQ2.0算法存在明顯不合理的評分估值。比如:圖 9(a)、9(b)兩幅指紋圖像存在捺印采集不全的質量缺陷,會導致在刑事偵查等部分指紋應用場景下存在漏比風險,因此NFIQ2.0算法評分估值偏高(分別是91、81分),而本文的方法給出的評分估值(分別是77、71分)相對合理;圖9(c)～9(h)指紋圖像并不存在質量上的顯著性差異,而NFIQ2.0算法給出的質量分數(shù)存在明顯下滑的現(xiàn)象(分別是:71、61、51、41、31、21分),這種不合理的分數(shù)分布,不僅無法與專家視覺感知指紋圖像質量的評價結果相匹配,而且很難被眾多的指紋采集民警所理解和認同,如果以此評分估值作為指導法庭科學指紋檢驗和違法犯罪人員指紋采集的質量指標,合理性存疑。反觀本文算法給出的質量分數(shù)分布更加合理(分別是84、81、78、74、60、56分),且從指紋圖像二維質量空間分布圖可以直觀驗證本文算法對指紋圖像局部區(qū)域質量評價的合理性;圖9(i)、9(j)兩幅指紋圖像,在刑事偵查的應用場景下存在明顯的應用價值,而NFIQ2.0算法給出明顯的畸低質量分數(shù)(分別是11、1分),這會導致大量有鑒定價值的指紋數(shù)據(jù)被排除。反觀本文算法給出的質量分數(shù)更加合理(分別是40、45分)。

本文算法提供的指紋圖像質量空間分布,將單一的質量評估分數(shù)分散到二維空間中表達,從而可以清楚地定位指紋的低質量區(qū)域,方便指紋采集和AFIS有針對性的優(yōu)化。因此,無論從質量評分估值合理性角度還是質量空間分布的直觀性角度,本文的方法都具有很強的優(yōu)越性。

3.2 質量空間表達合理性分析

本文首次將指紋圖像質量評價問題拓展到二維質量空間上,現(xiàn)有文獻并未找到相似算法,因此無法進行橫向對比實驗。為說明本文算法在二維質量空間中對指紋圖像質量評價結果的合理性,將2.1.1節(jié)中所提及的剩余500枚指紋圖像進行專家質量感知標記,測試本文視覺感知模型算法與專家視覺感知的質量評估結果在二維空間上的一致性。

本次共組織15名專家進行有重復的質量標記實驗,具體從500枚指紋圖像中進行有放回的采樣,每次抽取其中200枚指紋圖像交給其中一名指紋專家進行標記,共計重復采樣15次,也即平均每枚指紋圖像有6名指紋專家進行視覺感知標記。為排除專家個體的視覺感知偏差,將有3次以上專家視覺感知結果一致的區(qū)域視為確定性區(qū)域,記為C3,其他區(qū)域統(tǒng)一視為不確定區(qū)域。在指紋應用場景中,一般認為Class a和Class b區(qū)域都為指紋圖像的有效區(qū)域,其對指紋鑒定過程存在有價值的信息,Class c區(qū)域為無效區(qū)域,基本不存在任何有價值的特征信息。因此,從特征有無價值的角度出發(fā),將Class a和 Class b合并作為有效區(qū)域,Class c作為無效區(qū)域。統(tǒng)計500枚指紋圖像中本文算法預測和專家標記有效性一致的區(qū)域面積(都為有效或都為無效)占確定性區(qū)域C3總面積的比例,以此作為衡量本文算法預測與專家視覺感知結果的一致性程度。最終統(tǒng)計計算結果為99%,說明本文的感知模型與專家的視覺感知結果具有高度一致性。

本文算法預測與專家視覺感知一致性實驗可視化結果如圖 10所示。其中紅色區(qū)域為模型預測為無效(Class c)的區(qū)域,白色區(qū)域為模型預測為有效(Class a、 Class b)的區(qū)域;黃色區(qū)域為C3中專家標記為無效的區(qū)域,藍色區(qū)域為C3中專家標記為有效的區(qū)域。從圖中可以看出,藍色區(qū)域基本落入白色區(qū)域,黃色區(qū)域基本落入紅色區(qū)域,從而直觀地驗證了本文模型與專家視覺感知結果的一致性。

3.3 FNMR指標分析

在AFIS系統(tǒng)中,質量較差的指紋圖像更容易造成FNMR的升高,有效地排除低質量指紋,會導致FNMR下降。因此,隨著低質量指紋排除率上升,FNMR的下降情況對比是質量評價算法效果的指標之一。在此實驗中,使用基于細節(jié)點特征的開源指紋算法庫NBIS[33]在FVC2000 Db1/Db3、NIST SD4[34]3個指紋庫上進行指紋匹配,其中的MINDTCT算法用于特征提取,BOZORTH3算法用于特征匹配,并設定匹配閾值為45分。因此,在45分的固定匹配分數(shù)閾值下,FNMR以下式定義

FNMR=P(TPMS<45|TP),

(5)

其中TP表示同一根手指采集的真實指紋對,TPMS表示真實指紋對的匹配分數(shù)(此處為BOZORTH3所得分值)。相同的低質量指紋排除率,FNMR的值越低說明指紋質量評價算法越有效。

視覺感知模型質量評價算法與NFIQ2.0算法分別排除低質量指紋帶來的FNMR下降情況如圖11所示。結果表明,FVC2000 Db1的數(shù)據(jù)集上本文算法和NFIQ2.0算法互有勝負,在FVC2000 Db3數(shù)據(jù)集和NIST SD4數(shù)據(jù)集上本文算法比NFIQ2.0算法更有優(yōu)勢。盡管NBIS是基于細節(jié)點的指紋算法庫,且NFIQ2.0算法直接將細節(jié)點相關特征作為質量評估的關鍵特征,而本文視覺感知模型并沒有直接將這種匹配特征(細節(jié)點)作為質量評估依據(jù),但在此對比實驗中本文算法仍然比NFIQ2.0算法有優(yōu)異表現(xiàn)。

圖1 視覺感知模型質量評價算法與專家視覺感知質量評價對應過程Fig.1 The corresponding process of visual perception model quality evaluation algorithm and expert visual perception quality evaluation

圖2 視覺感知模型質量評價算法具體實施框架Fig.2 The implementation framework of visual perception model quality evaluation algorithm

圖3 不同質量類別的指紋圖像小塊Fig.3 Fingerprint image blocks of different quality classes

圖4 CNN感知分類網絡結構Fig.4 CNN perception classification network structure

圖5 驗證數(shù)據(jù)集上模型預測損失和準確率曲線Fig.5 Model prediction loss and accuracy curve on validation data set

圖6 ROI區(qū)域提取效果Fig.6 Extraction effect of ROI region

圖7 高斯賦權模型權重分布Fig.7 Weight distribution of Gaussian weighting model

圖9 視覺感知模型質量評價算法與NFIQ2.0算法關于質量評價分數(shù)的對比Fig.9 The comparison of quality evaluation score between visual perception model quality evaluation algorithm and NFIQ2.0 algorithm

圖10 視覺感知模型質量評價算法與專家視覺感知結果的一致性Fig.10 The consistency of visual perception model quality evaluation algorithm with the expert visual perception results

圖11 視覺感知模型質量評價算法與NFIQ2.0算法關于FNMR指標的對比實驗Fig.11 Comparison experiment of visual perception model quality evaluation algorithm with NFIQ2.0 algorithm on FNMR index

4 結論

本文提出基于視覺感知模型的指紋圖像質量評價算法,包括設計ROI提取算法模擬指紋專家快速定位指紋紋理區(qū)域自底而上的視覺關注模式,設計32像素×32像素的視覺感知采樣窗口模擬指紋專家關注局部紋理自頂而下的視覺關注模式,設計CNN感知分類網絡和高斯賦權模型模擬指紋專家對指紋圖像質量視覺感知過程的神經推導機制。進一步,從質量分值合理性分析、質量二維空間分布合理性分析和FNMR指標分析3個角度驗證本文算法的優(yōu)越性。

本文主要貢獻包括:提供更加合理的指紋圖像質量評分算法;將指紋圖像質量評價問題拓展到二維質量空間上,對于刑事偵查和法庭科學領域的指紋鑒定任務有較高的應用價值;從模擬指紋專家視覺感知的角度設計指紋圖像質量評價算法,所得質量評價分數(shù)和二維質量空間分布結果更容易被指紋專家所理解和認同,可以作為指紋入庫采集的質量衡量參照;FNMR指標分析的結果表明,本文算法對于提高AFIS性能也具有優(yōu)異表現(xiàn);本文脫離現(xiàn)有指紋圖像質量評價算法設計思路,無需依賴傳統(tǒng)特征提取算法,而是利用CNN提取指紋局部紋理的視覺感知特征,進而從局部到整體地完成質量評價。

本文從指紋專家視覺感知指紋圖像質量原理的原理出發(fā)設計指紋圖像質量評價算法,實驗表明,該算法無論是指紋圖像質量整體評價的分數(shù)還是二維質量空間分布均和指紋專家的質量評價一致,且能夠有效降低FNMR。不過對于少部分背景復雜的指紋圖像,本文ROI區(qū)域提取結果存在一定偏差,所以后續(xù)會嘗試設計更加有效的ROI區(qū)域提取算法。此外,我們將進一步關注對現(xiàn)場遺留指紋的質量評定,爭取將本文算法改進泛化到用于解決現(xiàn)場遺留指紋的質量評定問題。