吳元春，趙 彤

1.中國科學院大學 計算機科學與技術學院，北京100049

2.中國科學院大學 數(shù)學科學學院，北京100049

3.中國科學院大數(shù)據(jù)挖掘和知識管理重點實驗室，北京100190

在生物特征識別領域，指紋作為最具獨特性與持久性的特征之一，被廣泛應用于身份認證[1]。隨著越來越多的用戶注冊到指紋識別系統(tǒng)，指紋庫的規(guī)模也呈現(xiàn)出爆炸式增長。在這種基數(shù)巨大的指紋庫中，較短的響應時間內完成檢索任務成為一個極具挑戰(zhàn)性的任務。

目前針對大規(guī)模指紋庫中的指紋檢索，主流做法分為兩階段：粗篩選階段與精匹配階段。第一階段快速粗篩，縮小檢索范圍得到小候選集，第二階段在候選集上選取某種精確度更高的方法進行精細匹配得到檢索結果。完成第一步通常需要選擇合適的預選技術。預選技術主要可以分為兩類：獨有分類（exclusive classification）和索引[2]。指紋的獨有分類包括五大類[3-4]：左旋、右旋、斗、拱、支拱，但是根據(jù)統(tǒng)計93.4%的指紋屬于左旋、右旋、斗這三類[5]。過少的類別以及類別上極度不均勻分布導致這類方法很難有效縮減檢索范圍，而基于指紋索引的方法能有效解決這個問題?；谒饕姆椒ㄊ褂锰卣飨蛄慷请x散類別來代表一枚指紋。目前基于索引的方法包括：基于紋理、基于細節(jié)點、基于MCC、基于深度學習的方法。盡管這些方法利用到不同層次的指紋特征，但是它們的共同點是獲取實數(shù)值的指紋特征向量，這也帶來了如下問題：

（1）在大規(guī)模的指紋庫中，實數(shù)值特征向量在存儲與運算上都會耗費巨大資源。通過這種方式完成檢索任務無法實時響應，需要漫長的等待。

（2）這些方法很容易受指紋質量的影響，例如噪聲、失真、手指狀況以及指紋采集設備等。當指紋質量較低的時候得到的特征向量不可靠，會嚴重影響檢索系統(tǒng)的準確率。

目前基于深度哈希的方法能有效解決這些問題。深度哈希的主要思想是借助深度神經網絡模型將數(shù)據(jù)從原始空間映射到漢明空間得到二進制表示，同時保留原始空間的語義相似性。得益于二進制編碼按位存儲與異或運算的特性，這類方法具有運算高效與存儲低耗的巨大優(yōu)勢。以64 位編碼為例，假設對指紋圖像分別生成64 維二進制特征向量與64 維實數(shù)值特征向量，計算兩張指紋圖像的相似度時，64維二進制特征按位存儲僅僅需要16 Byte的臨時存儲空間，并僅需1次異或運算得到漢明距離，而64維實數(shù)值特征則需要512 Byte的臨時存儲空間，并進行128次加法運算與64次乘法運算得到歐式距離。因此二進制編碼在運算速度與存儲效率上都遠優(yōu)于實數(shù)值編碼，當執(zhí)行大規(guī)模的檢索任務時，能大幅度減少檢索粗篩階段所需時間，提高響應實時性。

但是指紋圖像是一類特殊的圖像，它具有高度的自相似性，即不同指紋之間差異細微，只能通過細節(jié)特征來區(qū)分，而現(xiàn)有的深度哈希相關研究大多基于自然圖像，直接遷移應用到指紋檢索領域效果往往不盡人意。為了能有效學習這種細微特征，本文借助了自注意力模型。自注意力模型最初被廣泛應用于自然語言處理（NLP）領域，其中以Transformer[6]結構最為出名。Transformer 結構利用了自注意力機制，取代了傳統(tǒng)的CNN與RNN網絡結構并取得了SOTA結果。近幾年來，計算機視覺相關領域研究逐漸開始把目光投向Transformer并將其改善應用于CV 領域[7-9]，受文獻[9]的啟發(fā)，將Transformer 結構嫁接到深度哈希模型中取代傳統(tǒng)卷積模塊，得到一種自注意力深度哈希模型，并命名為FHANet。

FHANet主要由三個模塊構成，自動對齊模塊、預處理模塊、自注意力哈希模塊。

在指紋圖像匹配過程中，對齊是至關重要的一個環(huán)節(jié)。傳統(tǒng)的指紋匹配系統(tǒng)中大多是基于參考點（例如core 點）完成對齊，這類方法往往速度較慢且對指紋質量有著較高要求，而FHANet中的自動對齊模塊借鑒了文獻[10]中提出的空間變換網絡結構，依靠卷積神經網絡自動學習一個仿射變換矩陣來完成同類指紋的對準達到自動對齊的效果，較之傳統(tǒng)方法，其優(yōu)勢在于能輕易利用GPU 進行加速，在實際工業(yè)生產應用中意義重大。此外，本文設計了一個STN-AE的網絡結構來輔助訓練自動對齊模塊?，F(xiàn)有的一些研究如文獻[11]也利用到空間變換網絡完成指紋對齊，但該研究中將對齊模塊集成到端到端的卷積神經網絡中，依賴下游學習任務更新空間變換網絡，這樣不僅引入了額外的超參數(shù)，增加了原有任務的訓練難度，而且沒有明確空間變換網絡的學習目標，大大降低了對齊任務的可解釋性。STN-AE的結構是由一個空間變換網絡（STN）后接一個淺層卷積自編碼器（AE）組成，由淺層自編碼器作為空間變換網絡的下游網絡，然后對同類指紋的隱藏層特征向量余弦距離及自編碼器的重構誤差加以約束達到對齊效果。通常來說，卷積神經網絡的層數(shù)越深，所抽象出來的特征越高級。深層卷積神經網絡往往提取出全局的高層特征，而淺層的卷積神經網絡更多地提取局部的低層特征，如圖像紋理、姿態(tài)等相關特征。所以在本研究中，使用淺層卷積自編碼器使得編碼器所提取的隱向量包含更多姿態(tài)紋理信息，從而在訓練過程中，約束同類指紋隱藏層特征向量余弦距離小間接地限制了同類指紋姿態(tài)相近，即使得空間變換網絡具備了對齊指紋的能力。STN-AE網絡整體參數(shù)少、輕量級、易于訓練，優(yōu)化目標與對齊任務關聯(lián)更加緊密，使得空間變換網絡學習目標的可解釋性更強。

指紋預處理模塊利用了現(xiàn)有的領域知識，將對齊后的指紋圖像處理得到二值骨架圖作為后續(xù)模塊的輸入，此過程中消除了背景噪聲與按壓力度等干擾因素的影響，大大降低了后續(xù)自注意力哈希模塊的訓練難度，提高了編碼質量。

自注意力哈希模塊則是利用Transformer 結構，對指紋二值骨架圖進行特征提取，然后對特征向量進行哈希映射，得到二進制編碼。傳統(tǒng)的卷積結構具有平移不變性與局部敏感性，但缺少對于圖像的宏觀感知，它擅長提取局部特征而無法提取全局數(shù)據(jù)之間的長距離特征。通常為了使卷積神經網絡提取跟蹤長距離相關特征，模型需要加大卷積核尺寸同時加深網絡層數(shù)來增大感受野。但是這樣往往會讓模型復雜度急劇上升，給模型的訓練與使用帶來諸多負面影響。本文使用Transformer結構，將原始圖像進行均勻分塊并進行展開和線性轉換得到序列數(shù)據(jù)作為輸入。Transformer 結構中將輸入序列中的每個特征項都映射到三個空間：查詢（query）空間、鍵（key）空間、值（value）空間。通過計算每一特征項的query向量與其他所有項的key向量之間的內積得到一個權重向量來度量特征項之間的關聯(lián)度，然后將權重向量與所有value向量相乘并加和得到對應位置的新輸出。在這個過程中，每個輸入特征項的對應輸出中既包含自身信息，也包含其他所有特征項的信息，即包含了全局信息。具體到本文中所用的指紋數(shù)據(jù)來說，每個輸入的指紋圖像子塊通過Transformer 結構處理，既提取到了自身的局部信息（如細節(jié)點信息），又包含了一部分全局信息（如方向場信息），這樣得到的信息更加全面，最終提取到的特征也更具區(qū)分力。

簡而言之，本文的貢獻可以總結為如下幾點：

（1）首次將深度哈希模型應用到指紋檢索領域，并引入自注意力機制中的Transformer結構替代傳統(tǒng)的卷積結構，設計了更契合指紋圖像的深度哈希網絡，從而得到更高效的二進制編碼，大大提升了海量指紋庫中的檢索效率。

（2）設計了STN-AE 網絡，借助淺層自編碼器來輔助訓練得到指紋自動對齊網絡，克服了端到端集成訓練中空間變換網絡難以調參優(yōu)化的問題，同時也消除了對齊過程中對于參考點的依賴，在工業(yè)生產中更容易進行并行加速，更加貼近大規(guī)模指紋檢索場景需求。

（3）首次提出使用指紋二值骨架圖代替指紋原圖用于神經網絡特征提取，消除了指紋背景噪聲及采集過程的不確定因素帶來的干擾，大大降低了自注意力深度哈希網絡的特征提取難度，加速了訓練收斂過程。

1 自注意力深度哈希模型

首先簡單地對FHANet 的結構與原理進行概述；然后介紹自動對齊模塊的機理與實現(xiàn)細節(jié)；接著分析預處理模塊的作用與可行性；最后詳細介紹自注意力哈希模塊的結構與優(yōu)化目標。

1.1 模型概述

圖1 描述了FHANet 的基本框架。在本研究中，使用了一個100 000 規(guī)模的指紋數(shù)據(jù)庫來進行模型訓練，其中采集自同一枚手指的重復按壓指紋屬于同一類，整個指紋庫采集自20 000 枚手指，每枚手指5 枚重復按壓。FHANet 的主要任務是學習指紋圖像的二進制編碼，確保同類指紋漢明距離足夠小，異類指紋漢明距離足夠大。

圖1 FHANet流程圖Fig.1 Flow diagram of FHANet

FHANet主要由三個模塊組成：自動對齊模塊、預處理模塊、自注意力深度哈希模塊。模型的輸入為320×320的指紋灰度圖像If。If首先被傳入自動對齊模塊，進行姿態(tài)上的調整。經過此模塊以后，同類指紋被調整到相近的姿態(tài)達到對齊的效果。然后對齊后的指紋被傳入預處理模塊得到二值骨架圖。最后二值骨架圖傳入自注意力哈希模塊得到二進制編碼用于索引。接下來將詳細介紹各個模塊。

1.2 自動對齊模塊

指紋對齊在幾乎所有現(xiàn)存的指紋識別系統(tǒng)中都是必不可少的，傳統(tǒng)的方法往往基于參考點（如core點）完成對齊。盡管這類方法在實際應用中表現(xiàn)優(yōu)異，但往往需要耗費大量算力，不適用于大規(guī)模檢索場景。受到文獻[11]的啟發(fā)，采用自動對齊模塊來解決這個問題。FHANet中的自動對齊模塊本質上是一個預先訓練好的STN（空間變換網絡）。STN 由兩部分組成：localization network 和gird sampler。圖像輸入到STN 中，由localization network 估計出一個仿射變換矩陣Aθ，然后由grid sampler完成逐點位置變換：

（1）STN 隨下游任務（如分類任務）進行迭代更新，并沒有自己獨立的目標函數(shù)，其優(yōu)化目標的可解釋性與優(yōu)化方向的可控性都大大降低。

（2）STN 集成到端到端的網絡中，將引入額外超參數(shù)，大大增加訓練難度。

因此，在本研究中，提出了一種全新的名為STN-AE的結構來訓練STN。在此結構中，由淺層自編碼器來輔助STN的訓練。STN-AE中，淺層自編碼器由一個三層的卷積神經網絡構成，之所以選取淺層卷積自編碼器是因為這樣的結構能提取到對指紋像素位置及姿態(tài)更敏感的低層特征，從而得到富含指紋紋理及姿態(tài)信息的隱向量，同時這種簡單結構也更加易于訓練。STN-AE的結構如圖2所示。

圖2 STN-AE流程圖Fig.2 Flow diagram of STN-AE

在該目標函數(shù)中，有兩個約束：

（1）同類指紋隱向量的余弦距離要足夠小。

（2）自編碼器的重建誤差要足夠小。

其中，第一個約束得到滿足則會間接約束自編碼器輸入指紋圖像具有相近的姿態(tài)，即讓STN具備對齊指紋的能力。第二個約束則是確保足夠多的原始圖像信息被編碼到隱向量中，避免自編碼器學習到平凡解。只有在這個前提得到滿足的條件下，第一個約束才是有效的。

在訓練階段，參考了文獻[11]的做法，將STN 估計的仿射變換矩陣平移和旋轉參數(shù)的上界設為±100像素和±45°，這些限制是基于用戶手指放置在指紋采集器上時旋轉或平移的最大范圍的實際領域知識。除此之外，還在這些約束條件下進行了隨機旋轉和平移來擴充訓練數(shù)據(jù)。表1 顯示了STN-AE 的具體結構組成，圖3 顯示了對齊模塊之前和之后的圖像。

圖3 指紋對齊前后對比Fig.3 Comparison of unaligned fingerprint images with aligned ones

表1 STN-AE架構Table 1 STN-AE architecture

1.3 預處理模塊

大部分現(xiàn)有的基于深度學習的模型多是使用端到端的網絡架構，即純粹利用神經網絡完成特征提取。但是對指紋圖像來說，領域知識在許多應用場景中都是至關重要的。

在本文中，提出依據(jù)現(xiàn)有領域知識來對指紋進行預處理后再送入網絡中進行特征提取。整個預處理過程包括二值化與細化。圖4 中展示了幾個預處理效果的示例。通過完成這種轉換，許多干擾因素，如背景噪聲、指紋采集設備差異等都將被消除。盡管這樣會導致部分的信息丟失，但大多傳統(tǒng)的指紋識別算法[1]都是在二值骨架圖的基礎上進行細節(jié)點提取完成匹配，因此二值骨架圖中保留的信息完全足夠區(qū)分不同指紋。在本文的實驗中，預處理模塊降低了自注意力哈希模塊的學習難度，實際訓練過程中缺乏預處理模塊甚至導致自注意力哈希模型無法收斂。

圖4 指紋原圖與骨架圖對比Fig.4 Comparison of row fingerprint images with binary skeleton images

1.4 自注意力哈希模塊

1.4.1 模型原理及優(yōu)化目標

自注意力哈希模塊是FHANet 的核心模塊。具體結構組成如表2 所列出。假設I表示圖像的原始特征空間，K表示二進制編碼的長度，自注意力哈希模塊本質是學習一個映射：F:I→{0,1}K，同時又要保留原始空間的相似性，即原始空間距離小的圖像，映射到漢明空間后，漢明距離也要小，反之亦然。整個模塊由特征提取與哈希映射兩個子模塊構成。其中特征提取模塊的結構如圖5所示。

表2 自注意力哈希模塊架構Table 2 Self-attention hash module architecture

圖5 特征提取子模塊流程圖Fig.5 Flow diagram of feature extraction submodule

標準Transformer的輸入為1維序列數(shù)據(jù)，為了將輸入圖像轉換為對應格式，自注意力哈希模塊首先將輸入的指紋骨架圖S∈RH×W×1分割為固定大小的圖像塊并展開得到一維向量序列Sp∈，其中H與W為輸入圖像分辨率（本文H與W均為320），P為圖像塊分辨率（本文P為80），N為圖像塊個數(shù)（本文N為16）。然后將Sp進行線性映射并在頭部連接一個可學習的“class”嵌入向量Xclass∈RD得到塊嵌入向量序列Ex∈然后加上對應的位置嵌入向量Epos∈得到M層Transformer編碼器的最底層輸入Z0：

在多層Transformer編碼器中，其第i層中的多頭自注意力模塊輸出為：

第i層中多層感知機輸出為：

其中，MSA表示多頭自注意力（multi-head self-attention）模塊，MLP 表示多層感知機（multi-layer perceptron）模塊，LN表示Layernorm。

Xclass向量在Transformer編碼器最后一層對應輸出為，用于生成特征向量y：

哈希映射模塊本質結構為一個兩層的線性映射外接一個符號函數(shù)。特征向量y通過哈希模塊得到二進制編碼b∈{-1,1}K：

其中，H(? )表示哈希映射模塊中的多層線性映射，sgn(?)代表符號函數(shù)。為了方便數(shù)學運算，在訓練階段使用-1 代替編碼中的0。

從上式中可知，二進制編碼的漢明距離與內積成反比，因此可以用內積來量化二進制編碼相似度。在本文中，參考了文獻[12]，成對相似性標簽Sij的似然概率有如下定義：

其中zi∈RK作為bi的連續(xù)松弛，1 ∈{ 1}K為全1 向量，Θij=之所以進行連續(xù)松弛是因為直接優(yōu)化離散的二進制編碼是一個NP-hard 問題[13]，因此在訓練階段對編碼進行連續(xù)松弛，在測試階段使用符號函數(shù)得到二進制離散編碼。在該優(yōu)化目標中，L1項本質上是一個最大后驗估計（MAP），具體推導過程可參考文獻[14]。其主要目的是在得到編碼B的條件下，最大化相似度信息S的概率從而使得編碼成對相似性被最大化保留。這樣得到的編碼充分學習到類別監(jiān)督信息，具有高度區(qū)分性。L2項表示量化誤差，該項是為了約束二進制編碼b與其連續(xù)松弛z之間距離盡可能小，使訓練過程模型輸出盡可能貼近真實二進制編碼，增強模型泛化能力。

1.4.2 超參數(shù)設置

量化罰項超參數(shù)λ作為損失函數(shù)中最大后驗估計誤差與二值碼量化誤差之間的平衡因子，其選擇至關重要。λ取值過小，則L1項處于主導地位，導致量化誤差過大，實數(shù)編碼二值化后泛化能力差；λ取值過大，則L2項處于主導地位，導致編碼不能充分學習到類別相似度信息，編碼缺乏區(qū)分力。本文中通過交叉驗證加網格搜索的方式來進行量化罰項超參數(shù)的選擇，整個搜索過程由粗粒度搜索與細粒度搜索兩個階段組成。首先在10-5到102之間進行粗粒度網格搜索，從10-5開始，逐次乘10，每次在訓練數(shù)據(jù)上進行10-folds 交叉驗證，在此輪搜索過程中得到一個λ的最優(yōu)取值，本文得到結果為0.01。然后在首輪最優(yōu)取值附近取一個區(qū)間，進行細粒度網格搜索，本文中取區(qū)間[]0.005,0.015，每次遞增0.001 并進行10-folds 交叉驗證，最終得到最優(yōu)取值為0.01。因此經過兩輪網格搜索與交叉驗證，最終確定了量化罰項超參數(shù)λ取值為0.01。

1.4.3 復雜度分析

在自注意力深度哈希模塊中，主要計算復雜度集中在Transformer中的多頭自注意力子模塊上。假設對指紋圖像分塊數(shù)為N，Transformer 編碼器輸出特征維度為d,Transformer 編碼器的層數(shù)為L。每層中計算query空間與key空間的相似度得到權重矩陣，本質上即N×d的矩陣與d×N的矩陣相乘，得到N×N的矩陣W1，時間復雜度為O(N2d)。然后對W1每行做softmax，復雜度為O(N2)，得到歸一化權重矩陣W2。最后依據(jù)得到的權重矩陣W2在value空間計算加權和，本質上為N×N的矩陣與N×d的矩陣相乘，時間復雜度為O(N2d)。故綜上所述每層Transformer的時間復雜度為O(N2d)，對于L層Transformer，其時間復雜度為O(LN2d)。故自注意力深度哈希模塊的計算復雜度為O(LN2d)。

2 實驗

將通過實驗來評估本文的模型性能，并與其他現(xiàn)有方法進行比較。下面詳細介紹實驗過程和結果。

2.1 數(shù)據(jù)集

在FVC2000[15]、FVC2002[16]、FVC2004[17]、NIST DB4[18]、NIST DB14[19]等公開數(shù)據(jù)集上進行了實驗。數(shù)據(jù)集的詳細信息如表3所示，其中包括尺寸、重復采集數(shù)、個體數(shù)等。此外，訓練過程中使用一個10萬規(guī)模的320×320的指紋數(shù)據(jù)庫進行訓練，該數(shù)據(jù)集采集自20 000枚不同手指。

表3 公開數(shù)據(jù)集詳細信息Table 3 Detailed information of pubic datasets

2.2 評估尺度

在本文實驗中，使用了穿透率（penetration rate，PR）與錯誤率（error rate，ER）兩種指標來評估指紋索引算法的表現(xiàn)。假設N、X、T、ni分別代表識別過程中進行的查詢次數(shù)、指紋庫中圖像的總數(shù)、正確識別的查詢樣本的數(shù)量，以及第i次查詢。則以上兩種指標有如下定義：

穿透率與錯誤率分別代表著指紋索引的效率與準確率。通常來說，一個優(yōu)秀的指紋檢索系統(tǒng)需要同時保證較低的穿透率與錯誤率，但通常這兩個指標是此消彼長的關系。因此在本文中，采用“穿透率-錯誤率”（PR-ER）曲線來評估本文的模型。此外，為了比較FHANet與實際商用軟件的速度差異，平均檢索時間也被用來評估模型的效率。

2.3 指紋索引實驗

在本節(jié)，評估了FHANet 在公開數(shù)據(jù)集上進行索引任務的表現(xiàn)，并與現(xiàn)有的基于二進制編碼的索引方法進行了對比，包括MCC-LSH[20]、PMCC-MIH[21]、CBMCCMIH[22]。實驗中分別實現(xiàn)了32 bit、64 bit 以及128 bit 版本的FHANet并與384 bit的MCC-LSH、64 bit CBMCCMIH、128 bit CBMCC-MIH 進行了對比。公共數(shù)據(jù)集上的圖像將進行一些合適的裁剪與放縮來滿足FHANet的輸入尺寸要求。詳細的實驗結果如下文所示。

圖6～9展示了在FVC2000、FVC2002、FVC2004、NIST DB4和NIST DB14上的PR-ER曲線。在FVC系列的數(shù)據(jù)集上，選擇第一張指紋作為查詢指紋，剩下七張指紋作為目標指紋。類似地，在NIST系列的數(shù)據(jù)集上，選取第一張指紋作為查詢指紋，剩余的一張作為目標指紋。通過觀察這些PR-ER 曲線可以發(fā)現(xiàn)，F(xiàn)HANet（128）的PR-ER曲線在所有對比實驗中都處于最低位置，即效率與準確率都超過其他模型，相反FHANet（32）在所有 實驗中都基本得到最差的表現(xiàn)。當編碼長度從32位增加到64 位的時候，F(xiàn)HANet 的表現(xiàn)得到大幅度提升，當編碼長度64 位增加到128 位的時候，F(xiàn)HANet 的性能依然提升，但提升幅度大大降低。根據(jù)這些結果可以得出結論：在選取合適的編碼長度的前提下，F(xiàn)HANet有能力遠超過現(xiàn)有的基于二進制編碼的索引方法，這證明了自注意力深度哈希模型的有效性與可行性。另一方面，編碼越長通常包含的信息也越多，但實驗結果顯示編碼長度與索引表現(xiàn)并非線性相關的。推測當編碼長度達到某個閾值，即編碼能包含足夠的指紋關鍵信息時，繼續(xù)增加編碼長度會導致編碼中會包含大量冗余信息，對模型的性能提升十分微弱。這也指導在實際應用哈希模型中并非盲目選擇長編碼提高性能，選擇合適編碼長度才能發(fā)揮模型最優(yōu)性能。

圖6 FVC2000上各算法索引表現(xiàn)對比Fig.6 Indexing performance of different algorithms on FVC2000

圖7 FVC2002上各算法索引表現(xiàn)對比Fig.7 Indexing performance of different algorithms on FVC2002

為了說明Transformer 結構相對于傳統(tǒng)卷積結構的優(yōu)勢，本文中設計了對比實驗，分別使用本文中的6 層Transformer 編碼器網絡與Inception-v4[23]網絡作為特征提取網絡進行模型訓練并對比索引性能。其中Inception-v4 網絡曾在ImageNet 競賽上取得了3.08%的top5錯誤率，其基礎網絡組件Inception模塊基于多尺度卷積結構。因此用這種結構與本文Transformer編碼器結構進行對比更能說明在指紋數(shù)據(jù)上Transformer結構相對于傳統(tǒng)卷積結構的優(yōu)勢。本文在兩個最大的公開指紋數(shù)據(jù)集NIST DB4 與NIST DB14 對兩種模型分別進行了64 bit 與128 bit 編碼進行了索引實驗，實驗結果如圖10 所示。由結果可知，在同樣編碼長度的情況下，F(xiàn)HANet的PR-ER曲線總遠低于Inception-v4，這說明了針對指紋數(shù)據(jù)，F(xiàn)HANet中的Transformer結構比傳統(tǒng)卷積結構更勝一籌。

此外，為了展示FHANet 在時間與存儲效率上的優(yōu)勢，在NIST DB14上進行了檢索時間測試。NIST DB14是規(guī)模最大的公開指紋庫。在這個實驗中，實現(xiàn)了FHANet的128 bit版本并選取了東方金指公司提供的商用指紋軟件作為對比，這套商用系統(tǒng)已經被廣泛應用在公安部指紋系統(tǒng)中，因此其性能是成熟可靠且具備行業(yè)競爭力的?；贔HANet的檢索實驗中，在粗篩階段使用了FHANet生成的二進制編碼，然后在精匹配階段使用了金指公司的指紋軟件，對比實驗中完全使用金指公司指紋軟件，這樣以有無FHANet參與作為唯一變量來探究FHANet對檢索效率的影響。為了保證公平性，所有實驗都在同一臺配備了Intel Core i7-9700K CPU@ 3.60 GHz 的機器上進行且不加額外的優(yōu)化策略（例如多線程、并行計算）。在測試中首先選取第一枚指紋作為查詢，第二枚指紋作為目標，然后反過來重復此過程，計算平均檢索時間與平均臨時存儲消耗。表4展示了實驗結果，可以看出FHANet模型生成的二進制編碼能大幅提升檢索速度，其平均檢索時間遠低于東方金指公司所提供的商業(yè)軟件，并消耗更少的存儲空間，在大規(guī)模指紋檢索應用中前景遼闊。

圖8 FVC2004上各算法索引表現(xiàn)對比Fig.8 Indexing performance of different algorithms on FVC2004

圖9 NIST上各算法索引表現(xiàn)對比Fig.9 Indexing performance of different algorithms on NIST

表4 FHANet與商用軟件檢索對比結果Table 4 Retrieval comparison results of FHANet and commercial software

圖10 NIST上FHANet與Inception-v4索引表現(xiàn)對比Fig.10 Indexing performance of FHANet and Inception-v4 on NIST

3 結論

在本文中，提出了一種全新的指紋索引方法FHANet，它能夠生成具備高度區(qū)分力的二進制指紋編碼來進行索引。整個模型包括三個部分：自動對齊模塊、預處理模塊和自注意力哈希模塊。首先，介紹了對齊模塊的機理，并介紹了如何利用所提出的STN-AE網絡對其進行訓練。然后，分析了預處理模塊的優(yōu)點及其可行性。最后，介紹了自注意力哈希的結構以及其學習二進制編碼的機理，并與之前的幾種基于二進制編碼的方法進行了對比實驗。實驗中以穿透率、錯誤率和平均搜索時間等指標來評價本文的方法，大量的實驗表明本文所提出的方法在指紋索引方面具有良好的性能，在大規(guī)模指紋檢索場景具備廣闊的應用前景。