戴曉薇，趙啟軍

(四川大學 計算機學院 視覺合成圖形圖像技術國防重點學科實驗室，四川 成都 610065)

基于回歸的指紋方向場估計

戴曉薇，趙啟軍

(四川大學 計算機學院 視覺合成圖形圖像技術國防重點學科實驗室，四川 成都 610065)

指紋方向場對指紋的奇異點檢測、特征提取和匹配、分類識別等至關重要?？煽康毓烙嬛讣y方向場至今為止仍是一個具有挑戰(zhàn)性的問題?，F(xiàn)有方法一般先估計初始方向場，再對其進行去噪或者正則化處理。受最新的深度學習技術的啟發(fā)，提出一種基于回歸的端到端指紋方向場估計算法。該算法直接建立指紋圖像塊的紋理特征與其中心位置的脊線方向之間的映射關系。利用總變差模型分解指紋圖像，以去除噪音的干擾；將指紋圖像分成若干塊，并利用深度卷積神經(jīng)網(wǎng)絡學習這些塊的紋理特征與其中心位置脊線方向之間的回歸函數(shù)。為評估文中算法的有效性，使用NIST SD14數(shù)據(jù)庫中的指紋作為訓練數(shù)據(jù)，在FVC2002和FVC2004數(shù)據(jù)庫上進行測試。實驗結(jié)果表明：與已有的算法相比，該算法不僅簡單易操作，而且具備較好的抗噪能力，可以準確地估計出奇異點及其周圍的方向場，能夠有效提高指紋識別率。

指紋方向場；卷積神經(jīng)網(wǎng)絡；回歸；總變差模型

0 引 言

隨著身份識別的電子化和移動化，傳統(tǒng)的身份表示(如密碼、卡等)已經(jīng)不足以確認其真實身份。卡可能會丟失或者被盜取，密碼在大多數(shù)情況下也可以被猜測到，兩者均不具備不可復制性。生物特征識別是指利用個體獨特的生理特征(比如指紋、人臉、虹膜等)和獨特的行為特征(比如語音等)進行個體身份的自動識別[1-2]。這些生物特征由于在身份識別上具有唯一性和不可復制性等優(yōu)勢，近年來受到廣泛的研究和關注。

自動指紋識別[1-2]作為一種重要的生物特征識別技術，因其易獲取、可操作性強、成本低和可靠性強等優(yōu)點，在司法、政府、商業(yè)、金融等各個領域得到了越來越廣泛的應用。自動指紋識別系統(tǒng)[1](Automated Fingerprint Identification Systems,AFISs)一般包括：指紋獲取、圖像增強、特征提取和匹配等多個部分。指紋方向場是指紋的一種基礎特征，描述了脊線和谷線的方向信息，可用于圖像增強、指紋匹配等，對后續(xù)的識別至關重要。因此，正確地估計方向場是指紋自動識別系統(tǒng)中最重要的環(huán)節(jié)之一。

研究人員已經(jīng)提出了大量的指紋方向場估計方法。這些方法主要可以分成以下4類：基于梯度的方法[1]、基于模型的方法[3-6]、基于字典的方法[7-9]和基于學習的方法[10]。

基于梯度的方法通常是在圖像上進行差分運算，所以對圖像質(zhì)量很敏感。因為指尖表面會有污垢、潮濕、折皺和傷痕等，所以采集到的指紋圖像會產(chǎn)生噪聲，該方法就會隨著指紋圖像質(zhì)量的退化而變得困難。

基于模型的方法主要是考慮指紋方向場的全局約束條件對方向場進行數(shù)學建模。Sherlock等[3]提出零極模型，該模型基于奇異點(也就是core點和delta點)的位置對指紋方向場進行建模。可是，當指紋沒有奇異點或者不能準確地檢測奇異點時，該方法就會失效。Zhou等[4]提出聯(lián)合模型，該方法集成了多項式模型和點變化模型來重構(gòu)方向場。多項式用于描述全局方向場，點變化模型則用于細化奇異點周圍的方向場。Li等[5]使用高階相位模型建模方向場。首先，將指紋圖像劃分為幾個不同的區(qū)域。然后，在不同的區(qū)域使用分段線性相位重構(gòu)方向場。上述這些模型存在著一個共同的限制：為了細化模型算子，要求提供奇異點。但是，從含有噪聲的指紋圖像中可靠地檢測奇異點本身就是一項困難的工作。更重要的是，現(xiàn)有的奇異點檢測算法絕大部分是基于方向場的。Wang等[6]提出了基于三角多項式的方向場模型(FOMFE)，該模型不需要提供奇異點。在奇異點周圍，階數(shù)越高越準確。然而，如果階數(shù)設置太高，圖像噪聲也會引起FOMFE產(chǎn)生不合理的估計。

相比較基于模型的方法，基于字典的方法具有更好的泛化能力。首先，使用傳統(tǒng)的方法估計初始方向場。接著，利用字典對初始方向場進行糾正。然而，這類方法的性能依賴于大規(guī)模多樣化的字典，往往計算代價較高。

Cao等[10]提出基于學習的方法，訓練卷積神經(jīng)網(wǎng)絡作為分類模型，預測方向場的類別。因為方向場的類別是通過聚類得到的，所以，在高曲率區(qū)域的方向場并不能準確估計。

上述方法有一個共同點就是：首先估計指紋初始方向場，然后再對初始方向場進行正則細化(或去噪)。常用的估計方法有梯度方法[1]和傅里葉分析[11]等，這些初始估計方法對圖像質(zhì)量很敏感，而后續(xù)處理的效果又很大程度上依賴于初始估計的準確性?？紤]到這些問題，文中嘗試在指紋圖像到方向場之間建立端到端的回歸關系，不受估計初始方向場的約束。

1 基于回歸的指紋方向場估計

1.1 算法概述

卷積神經(jīng)網(wǎng)絡可以直接從輸入圖像學習到各種不同的特征。近年來，卷積神經(jīng)網(wǎng)絡在處理各類問題上均表現(xiàn)出了優(yōu)越的性能[12-13]。受到這些啟發(fā)，選用卷積神經(jīng)網(wǎng)絡作為回歸函數(shù)。在這個回歸函數(shù)中，自變量是圖像patch，而非整張圖像。原因是：

(1)通常指紋方向場的分辨率都以塊(block)為單位；

(2)考慮更多的上下文信息，可以更準確有效地估計方向場；

(3)對于給定的網(wǎng)絡結(jié)構(gòu)，能接收的輸入圖像大小是固定的，不同的指紋圖像其大小可能不同，而把圖像劃分成大小固定的patch，逐patch估計其方向場則可以避免這個問題。

該回歸函數(shù)的因變量是(sin2θ,cos2θ),其中θ表示patch中心位置的方向值。

卷積神經(jīng)網(wǎng)絡作為回歸函數(shù)，很明顯該算法由兩部分組成，即訓練階段和測試階段，如圖1所示。訓練階段的主要任務是通過訓練樣本對模型進行訓練，以得到可用于方向場估計的回歸模型。測試階段則是利用已有的模型，對指紋圖像進行方向場估計。

圖1 算法流程圖

訓練階段：首先，應用總變差模型(TotalVariation，TV)[14-15]對數(shù)據(jù)集中的指紋圖像進行預處理(即卡通紋理分解)。因為卡通圖像包含了大部分不相關的內(nèi)容和結(jié)構(gòu)噪聲，所以，選擇紋理圖像用于后續(xù)步驟。接著，紋理圖像按預定的大小劃分patch。最后，將這些劃分好的patch以及對應的方向值作為回歸模型的輸入和監(jiān)督信息，進行訓練。

測試階段：對待測試的數(shù)據(jù)與訓練數(shù)據(jù)做同樣的預處理，不同的是其方向值未知，也就是需要通過回歸模型解得。首先，對待估計的指紋圖像進行卡通紋理分解；接著，對生成的紋理圖像劃分patch，并將這些patch輸入到已訓練好的回歸模型估計其方向場。

1.2 總變差模型

對于給定的圖像函數(shù)y，可以分解成y=u+v形式。其中，u表示分段光滑的卡通圖像；v表示振動的紋理圖像。通常來說，該圖像分解通過極小化總變差得到[14-15]：

min{TV(u)|‖u-y‖B≤ε}

(1)

其中，TV(u)表示u的總變差；‖·‖B是范數(shù)，保真項‖u-y‖B使得u盡可能接近原圖像y。

在指紋圖像中，指紋圖案是由脊線和谷線交錯組成，符合紋理圖像v的振動特性。非指紋成分通常含有平滑的內(nèi)表面，這些特性與卡通圖像u相似。原始圖像以及其對應的紋理和卡通圖像如圖2所示。

圖2 指紋圖像

可以觀察到：卡通圖像含有大量的背景噪聲，指紋的谷脊線信息大部分被包含在紋理圖像中，所以使用紋理圖像進行后續(xù)的工作，而把卡通圖像丟棄。

1.3 構(gòu)建回歸模型

待估計方向場的紋理圖像按大小np×np像素(pixel)、非重疊地進行分塊(block)。假設紋理patch的大小是nb×nb塊(block)，估計該patch的中心塊(centerblock)的方向。文中用卷積神經(jīng)網(wǎng)絡(ConvolutionalNeutralNetwork)作為回歸函數(shù)。該函數(shù)的輸入是方向場待估計的紋理patch，輸出是(sin2θR,cos2θR)。其中，θR表示估計的方向值。為了避免0?π之間的不連續(xù)性，在實際的指紋方向場表示通常采用二倍角2θ的形式[16]。

訓練卷積神經(jīng)網(wǎng)絡需要的輸入是紋理patch和(sin2θg,cos2θg)，θg表示真實的方向值，(sin2θg,cos2θg)是回歸目標值。訓練網(wǎng)絡采用的損失函數(shù)是估計值(sin2θR,cos2θR)和(sin2θg,cos2θg)目標值之間的距離，如式(2)：

(2)

1.4 卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)

文中回歸模型采用的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)如圖3所示。

圖3 卷積神經(jīng)網(wǎng)絡的結(jié)構(gòu)

圖中，大小為56×56像素的紋理patch作為卷積神經(jīng)網(wǎng)絡的輸入，第一個卷積層(Convolutionallayer，C1)有96個大小為11×11的卷積核，卷積步長為2。激活函數(shù)采用ReLU函數(shù)(f(x)=max(0,x)),該函數(shù)已經(jīng)被證明在模擬神經(jīng)元輸出時，比Sigmoid函數(shù)有更好的擬合效果[17]。除了最后的全連接層(Fully-connectedlayer，F(xiàn))外，每個卷積層后都接有ReLU函數(shù)。

第一個卷積層產(chǎn)生96個特征譜(大小23×23)分別進入池化層(pooling)。常用的池化操作有平均池化和最大池化，文中采用最大池化(Max-poolinglayer，M1)。把每一個特征譜分割成不重疊的區(qū)域，每一個子區(qū)域(3×3矩形區(qū)域)都輸出最大值，池化的步長為2。C2、M2和C3由此類推。該網(wǎng)絡結(jié)構(gòu)是在MatConvNet工具箱上實現(xiàn)的。

1.5 方向場估計

給定一張指紋灰度圖像。首先，對其按1.2描述的方法進行預處理；然后，通過回歸模型(已訓練的卷積神經(jīng)網(wǎng)絡)逐patch地估計其中心塊的方向場；最后，將這些估計的方向場結(jié)合起來，就是這張指紋圖像對應的方向場。由網(wǎng)絡輸出的結(jié)果計算方向場，公式如下：

(3)

2 實驗設計與分析

2.1 訓練數(shù)據(jù)

文中回歸模型的訓練樣本來自NIST(National Institute of Standard and Technology) Special Database 14，簡稱NIST SD14。NIST SD14是由滾動指紋圖像組成的數(shù)據(jù)庫，該庫中的圖像是800×768像素的灰度圖像。從NISTSD14中取前1 000張指紋圖像(即F0000001～F0001000)，對每張圖像進行如下處理：

(1)使用TV模型[14-15]對指紋圖像進行卡通紋理分解，得到紋理圖像。

(2)紋理圖像分塊：大小為np×np像素，非重疊的分塊。

(3)以塊為單位，對紋理圖像劃分patch：大小為nb×nb塊，步長為1塊，重疊地劃分紋理patch(即patch的大小(nb×np)×(nb×np)像素，np=8)。

由此產(chǎn)生約2 000 000紋理patch用于卷積神經(jīng)網(wǎng)絡的訓練。

2.2 評估標準

FAR(False Acceptance Rate，錯誤接受率)和FRR(False Rejection Rate，錯誤拒絕率)是用來評估生物特征識別算法性能的主要參數(shù)。FAR是由于輸入的生物特征與數(shù)據(jù)庫中已注冊的模板錯誤地匹配，把非授權(quán)人錯誤授權(quán)的概率。FAR通常用百分比表示，描述的是無效輸入被接收的概率。FRR是由于輸入的生物特征與數(shù)據(jù)庫中已注冊的模板匹配失敗，把授權(quán)人錯誤拒絕的概率。FRR通常也用百分比表示，描述的是有效輸入被拒絕的概率。一個生物特征識別系統(tǒng)應該具有較低的FAR和FRR，但這兩者呈反比關系。因此，系統(tǒng)研發(fā)者通常要對它們進行平衡。

2.3 評估與分析

文中算法分別在數(shù)據(jù)庫FVC2002 DB1、FVC2002 DB2、FVC2004 DB1和FVC2004 DB2四個數(shù)據(jù)庫上進行測試。每個數(shù)據(jù)庫均含有a、b兩個子庫，a庫有100個不同ID的手指，每個手指注冊有8張指紋圖像，所以a庫有8×100=800張指紋圖像；b庫有10個不同ID的手指，每個手指也注冊有8張指紋圖像，故有8×10=80張指紋圖像。

由于指紋本身和采集等原因，得到的指紋圖像不可避免地存在或多或少的噪聲，如圖4(a)。梯度方法[1]對噪聲較為敏感，在缺乏紋理信息的黑色粘連區(qū)域，估計出的方向場錯亂無章，如圖4(b)所示。而FOMFE[6]模型和文中算法仍可以估計出粘連區(qū)域的方向場(見圖4(c)、(d))。FOMFE模型想要準確地估計高曲率區(qū)域(特別是，奇異點周圍)的方向場需要設置較高的階數(shù)，但高階數(shù)也會帶來其他區(qū)域的錯誤估計。因此，恰當?shù)膮?shù)設置就變得很關鍵。文中算法則不存在類似的問題，即使在奇異點及其周圍也可以準確地估計出方向值。如圖5所示，在奇異點及其周圍，F(xiàn)OMFE模型存在明顯的偏差。

文中從兩個方面進行評估：一方面是考慮patch大小對文中算法的影響(nb取值分別為3、5和7)，由于不同大小的patch作為卷積神經(jīng)網(wǎng)絡的輸入，網(wǎng)絡的結(jié)構(gòu)會有微小的差別，大體的網(wǎng)絡結(jié)構(gòu)如圖3所示。另一方面，比較僅使用FOMFE和匹配分數(shù)融合(文中算法與FOMFE模型各自處理得到的兩組匹配分數(shù)進行融合)這兩種策略對識別性能的影響。

圖4 實驗對比(1)

圖5 實驗對比(2)

評估實驗的步驟為：

(1)估計指紋圖像的方向場。

(2)根據(jù)已估計出的方向場，使用Gabor濾波器[18]對指紋圖像進行增強。

(3)使用現(xiàn)有的指紋識別商業(yè)軟件VeriFingerSDK6.6為基準，評估增強后的指紋圖像的識別率，從而反映出指紋方向場估計的準確程度。利用ROC(ReceiverOperatingCharacteristic)曲線[19]描述算法的性能。

如圖6所示，F(xiàn)OMFE在四個數(shù)據(jù)庫上的FAR和FRR值均大于匹配分數(shù)融合得到的結(jié)果。由此可見，文中算法有效地提高了自動指紋識別系統(tǒng)的識別率，且不同的patch大小對于算法性能沒有明顯的影響。

3 結(jié)束語

文中提出一種基于卷積神經(jīng)網(wǎng)絡的回歸模型用于指紋方向場的估計。相比于傳統(tǒng)的梯度算法和FOMFE模型，該算法可以更好地估計指紋的方向場，表明了回歸模型在指紋方向場估計方面的可行性。下一步的工作可以模擬指紋圖像中常見的噪聲，并把這些噪聲疊加在訓練樣本上，提高模型的泛化能力。

圖6 ROC曲線

[1]MaltoniD,MaioD,JainA,etal.Handbookoffingerprintrecognition[M].[s.l.]:SpringerScience&BusinessMedia,2009.

[2] 王蘊紅,譚鐵牛.現(xiàn)代身份鑒別新技術—生物特征識別技術[J].中國基礎科學,2000(9):4-10.

[3]SherlockBG,MonroDM.Amodelforinterpretingfingerprinttopology[J].PatternRecognition,1993,26(7):1047-1055.

[4]GuJ,ZhouJ,ZhangD.Acombinationmodelfororientationfieldoffingerprints[J].PatternRecognition,2004,37(3):543-553.

[5]LiJ,YauWY,WangH.Constrainednonlinearmodelsoffingerprintorientationswithprediction[J].PatternRecognition,2006,39(1):102-114.

[6]WangY,HuJ,PhillipsD.Afingerprintorientationmodelba-sedon2DFourierexpansion(FOMFE)anditsapplicationtosingular-pointdetectionandfingerprintindexing[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2007,29(4):573-585.

[7]FengJ,ZhouJ,JainAK.Orientationfieldestimationforlatentfingerprintenhancement[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2013,35(4):925-940.

[8]YangX,FengJ,ZhouJ.Localizeddictionariesbasedorientationfieldestimationforlatentfingerprints[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2014,36(5):955-969.

[9]CaoK,LiuE,JainAK.Segmentationandenhancementoflatentfingerprints:acoarsetofineridgestructuredictionary[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2014,36(9):1847-1859.

[10]CaoK,JainAK.Latentorientationfieldestimationviaconvolutionalneuralnetwork[C]//Internationalconferenceonbiometrics.[s.l.]:IEEE,2015:349-356.

[11]ChikkerurS,CartwrightAN,GovindarajuV.FingerprintenhancementusingSTFTanalysis[J].PatternRecognition,2007,40(1):198-211.

[12]KrizhevskyA,SutskeverI,HintonGE.Imagenetclassificationwithdeepconvolutionalneuralnetworks[C]//Advancesinneuralinformationprocessingsystems.[s.l.]:[s.n.],2012:1097-1105.

[13]SunY,ChenY,WangX,etal.Deeplearningfacerepresentationbyjointidentification-verification[C]//Advancesinneuralinformationprocessingsystems.[s.l.]:[s.n.],2014:1988-1996.

[14] 王際朝.一種組合總變差和4階偏微分方程的圖像去噪模型[J].中國圖象圖形學報,2008,13(8):1443-1446.

[15]ChambolleA.Analgorithmfortotalvariationminimizationandapplications[J].JournalofMathematicalImagingandVision,2004,20(1-2):89-97.

[16]ZhangN,ZangY,YangX,etal.Adaptiveorientationmodelfittingforlatentoverlappedfingerprintsseparation[J].IEEETransactionsonInformationForensicsandSecurity,2014,9(10):1547-1556.

[17]DahlGE,SainathTN,HintonGE.ImprovingdeepneuralnetworksforLVCSRusingrectifiedlinearunitsanddropout[C]//IEEEinternationalconferenceonacoustics,speechandsignalprocessing.[s.l.]:IEEE,2013:8609-8613.

[18]HongL,WanY,JainA.Fingerprintimageenhancement:algorithmandperformanceevaluation[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1998,20(8):777-789.

[19]RossA,JainA.Informationfusioninbiometrics[J].PatternRecognitionLetters,2003,24(13):2115-2125.

Fingerprint Orientation Field Estimation Based on Regression

DAI Xiao-wei，ZHAO Qi-jun

(National Key Laboratory of Fundamental Science on Synthetic Vision,School of Computer Science, Sichuan University,Chengdu 610065,China)

Fingerprint orientation filed is crucial for fingerprint singularity detection,feature extraction and matching,classification and recognition,etc..Many methods have been proposed for estimating fingerprint orientation field,mostly in two steps:estimation and regularization (or de-noising).Yet,motivated by emerging deep learning techniques,a regression-based end-to-end fingerprint orientation field estimation method is proposed.It directly estimates the ridge orientation at the center of a fingerprint image patch through a regression function from the texture feature of the image patch.Given a fingerprint image,the total variation model is applied to decompose it into cartoon and texture components.Then the texture component is divided into patches,using a Deep Convolutional Neural Network (DCNN) to estimate the ridge orientation at the center of each patch.The fingerprint images in NIST SD14 are adopted as training data to learn the DCNN-based regression function,and evaluate the proposed method on the FVC2002 and FVC2004 databases.The experimental results indicate that compared with the existing algorithms,the algorithm is simple and easy to operate,and has better anti-noise ability,which can accurately estimate the orientation field of singular point and its surroundings,and effectively raise the fingerprint recognition rate.

fingerprint orientation field;convolutional neural network;regression;total variation model

2016-03-25

2016-06-29

時間：2017-01-04

國家自然科學基金資助項目(61202161)

戴曉薇(1991-)，女，碩士研究生，研究方向為圖像處理與合成；趙啟軍，副教授，碩士生導師，研究方向為生物特征識別、視頻監(jiān)控與分析等。

http://www.cnki.net/kcms/detail/61.1450.TP.20170104.1039.064.html

TP301

A

1673-629X(2017)01-0001-05

10.3969/j.issn.1673-629X.2017.01.001