李伯男，趙彤，吳敏

(1 中國科學院大學計算機與控制學院， 北京 101408； 2 中國科學院大學數(shù)學科學學院， 北京 100049； 3 中國科學院大數(shù)據挖掘與知識管理重點實驗室， 北京 100049)

在過去的100多年里，由于指紋具有生物特征識別系統(tǒng)中特征所必需的唯一性和不變性，使其在公安、海關及國防等領域擔任了極其重要的角色。現(xiàn)代指紋識別相關理論最早是由Henry[1]提出的，之后學者便投入大量精力研發(fā)自動指紋識別系統(tǒng)(automatic fingerprint identification system，AFIS)，并不斷地提高其精度和速度。目前基本各類AFIS均使用1V1匹配模式，即將模板指紋與數(shù)據庫中所有指紋逐一比對，當指紋數(shù)據庫體積爆發(fā)式增長時，識別速度過慢便成為一個極為棘手的問題，所以很有必要利用精度高且速度快的指紋索引算法減少識別海量指紋數(shù)據庫時的匹配次數(shù)。指紋紋型是人們最易觀察且不會發(fā)生形變的指紋特征，所以自然成為研究指紋索引算法的首選特征。在文獻[1]的指紋分類體系中，紋型被分成5類，即弓(arch)、帳弓(tented arch)、左箕(left loop)、右箕(right loop)和斗(whorl)，如圖1所示。然而在自然分布情況下，這5種類型的分布是不均勻的，分別為3.7%、2.9%、33.8%、31.7% 和 27.9%，所以目前大部分AFIS的系統(tǒng)將弓和帳弓歸為一類，只有弓、左箕、右箕和斗4類紋型。在指紋紋型分類領域，已有很多研究者做出了十分突出的貢獻，目前國內外的大多數(shù)主流指紋分類算法均是基于人工預定義的傳統(tǒng)指紋特征進行分類，如方向場[2-4]、脊線流[5-7]和奇異點[7-8]等，還有一些學者將以上兩種或者多種特征結合在一起對紋型進行分類[9-10]，也取得了較好的效果。但是由于這些算法都嚴重依賴人工預定義特征，當圖像噪聲較大時便不能有效提取出人工預定義特征，從而使得準確率嚴重下降，最終導致識別效果很差。因此，利用指紋其他不易被人為定義的特征以及將特征提取和紋型分類步驟結合在一起的方法，將大幅度提高該問題的準確率。在早些年的時候，就有學者利用神經網絡(neural networks，NN)[9-11]對指紋紋型進行分類,但都沒有取得令人滿意的成果，因此將此方法用于指紋分類的工作便停滯了。直到2012年深度卷積網絡(deep convolution neural networks，DCNN)在圖像識別[12-13]、圖像分割[14-15]、人臉識別[16-18]以及語音識別[19-20]等領域獲得前所未有的成功，研究人員才將DCNN用于處理指紋分類問題并取得98.3%的準確率[21-22]。即使DCNN在各個領域已經取得巨大的成功，但科技的進步依然沒有停止。

圖1 NIST-DB04中5種常見指紋類型Fig.1 Five fingerprint images from NIST-DB04

最近，學界首次提出利用“膠囊”(capsule)的概念解決圖像識別問題。膠囊是一種可以代表多屬性特征的高維度向量，即向量的每一維度可以代表特征的一種屬性信息，如位置、方向、大小及顏色等，利用膠囊構成的網絡被稱為膠囊網絡(capsule networks，CapsNet)[23]。多個低級膠囊通過路由(routing-by-agreement)的方式組合成高級膠囊，因此高級膠囊一般維度較高，并且能表示更加復雜的特征信息。在膠囊網絡中，普遍利用膠囊的模長作為此膠囊真實存在于圖像中的概率，所以需要利用壓縮函數(shù)(squashing)將模長壓縮在0～1之間。網絡最終輸出與類別個數(shù)相同的膠囊，計算其概率值并得出最后預測結果。在最新的研究結果中，基于膠囊網絡的EM-Routing算法[24]在一些簡單數(shù)據集上取得了更優(yōu)良的結果。

在本文中，我們針對指紋圖像在Caps-FingerNet中添加了注意力模型機制，使其較原有膠囊網絡有更強的特征提取能力，特別是對細節(jié)特征的有效提取，從而獲得更為出色的性能，目前還沒有文獻表明已有研究者在膠囊網絡中添加了類似于注意力膠囊的方法。與此同時，利用Batch-Normalization[25]解決復雜膠囊網絡所引入的梯度消失及梯度爆炸問題，使得網絡可以有效訓練。文中所提出的基于全局的膠囊壓縮算法可以更加準確且快速地篩選出有效膠囊，普遍適用于各種膠囊網絡模型，使模型獲得更好的泛化性能。經過反復大量實驗，Cap-FingerNet在指紋分類任務上獲得99.63%的準確率，較基于DCNN的網絡模型[21-22]有了很大提升，是目前我們所查相關文獻中的最優(yōu)結果。

1 膠囊網絡

膠囊網絡利用多個神經元組成一個基本單元(膠囊)代替單個神經元解決圖像識別問題。膠囊可以代表圖像中某些物體或物體部分的多維信息，如姿態(tài)、變形、色調、紋理等，而某一類型膠囊屬于特定物體的概率是由膠囊的模長來衡量的。與DCNN具有低級神經元和高級神經元相似，膠囊網絡也包括低級膠囊和高級膠囊，與之不同的是膠囊網絡的低級膠囊通過路由協(xié)議構成可以表示更多信息的高級膠囊。每一個層的低級膠囊都需要乘一個變換矩陣Wyx獲得預測向量uyx,每一個預測向量都有概率cyx構成+1層的高級膠囊具體公式如下所示:

因為在膠囊網絡中需使用膠囊模長衡量膠囊存在的概率，所以要將膠囊長度壓縮在0～1之間，文獻[24]中利用壓縮函數(shù)解決此問題。在此，qy代表壓縮前膠囊，vy代表壓縮后膠囊，具體可數(shù)學表示為

(3)

對于MNIST任務來說，膠囊網絡對輸入的每一張手寫數(shù)字圖片都會輸出10個膠囊，從而對輸入圖像進行預測。

2 用于指紋分類的膠囊網絡算法的構建

本文創(chuàng)新點可總結如下：

1)目前大部分基于DCNN構造的網絡結構均具有池化層，特征在經過池化層后會損失特征的方向及位置信息，這對于處理指紋紋型這類嚴重依賴特征間相互位置關系的任務是極為致命的，所以采用使用路由迭代算法保留更多特征信息的膠囊網絡來解決指紋分類問題會更為有效。在我們所調研的文獻中，本文首次將膠囊網絡用于處理指紋分類問題。

2)指紋圖像較其他圖像數(shù)據更為特殊，其分類結果不僅依賴于圖像的全局特征信息，還與更為細致的局部特征信息有著密切的聯(lián)系。所以本文在原始膠囊網絡中添加了注意力膠囊機制，通過在淺層的卷積層中提取可以有效表示局部信息的注意力膠囊，使得網絡更加關注指紋圖像的細節(jié)信息而非僅通過全局特征對圖像進行預測，此方法有助于幫助網絡更好地區(qū)分一些特殊圖像(如曲率較大的左箕)，從而提高算法準確率。

3)提出一種基于全局的膠囊壓縮方法，讓每一個膠囊與全局范圍內的所有膠囊進行比較，而不是僅與自身相關。本文提出的全局壓縮算法使得在全局表現(xiàn)較好的膠囊能夠更快獲得更大的模長，反之在全局表現(xiàn)較差的膠囊模長將迅速被壓縮到0。

膠囊網絡問世以來便備受各領域學者關注，我們也對其概念及網絡結構進行了深入研究，并實踐完成大量相關實驗。在實驗過程中發(fā)現(xiàn)，具有大量背景信息的圖像會嚴重影響膠囊網絡的性能，比如CIFAR-10[26]，PASCAL-VOC[27]等數(shù)據集。相反，將膠囊網絡用于前景信息較多而背景信息較少的數(shù)據集，如MNIST[28]，F(xiàn)ashion-MNIST[29]和smallNorb[30]等，則會取得十分優(yōu)秀的成績，這個實驗現(xiàn)象使我們產生如下疑問，“膠囊網絡相對于DCNN是否保留了過多的冗余信息，從而使得分類效果下降？”。為了繼續(xù)探索這個問題，我們利用白色像素點從4邊將MNIST數(shù)據集中大小為28×28的圖像擴充為36×36的圖像，并在不遮蓋數(shù)字的情況下在周圍添加一些噪聲，從而構造出一個特殊數(shù)據集。在驗證實驗時，同時利用膠囊網絡及DCNN對此特殊數(shù)據集進行訓練并測試，發(fā)現(xiàn)DCNN對這些噪聲并不是很敏感，準確率依然較高，而膠囊網絡卻損失了較多的精度。因此我們認為由于膠囊網絡利用路由迭代算法代替了傳統(tǒng)DCNN中的池化層而讓圖像內的一些冗余信息得以保留，所以在膠囊網絡對實驗圖像進行分類時準確率會有所下降。結合大部分指紋圖像具有背景冗余信息較少，且前景信息較多的優(yōu)良特性，指紋分類問題很適合利用能保留更多特征信息的膠囊網絡來解決，以下章節(jié)將詳細說明如何構建用于處理指紋分類任務的膠囊網絡模型。

2.1 Caps-FingerNet構建

文章中所構建的模型可分為3部分，分別為特征提取、初級膠囊以及由低級膠囊生成高級膠囊。在模型中還添加了許多優(yōu)化算法，使其在指紋分類任務上的性能顯著優(yōu)于最早提出的膠囊網絡。大致流程為在輸入端輸入大小為512×512的圖像，為了獲得維度較低且具有代表性的初級膠囊，模型利用5個卷積層對原始圖像進行特征提取，并在第3及第4卷積層中的特定位置提取出一定數(shù)量的注意力膠囊，以期獲得更為細致的特征信息。之后利用路由迭代算法將初級膠囊聚合成更具有代表性的高級膠囊，與文獻[23]不同的是，模型中的膠囊壓縮算法采用更有效的全局壓縮算法。最后在輸出端獲得4個16維向量即4個膠囊，并根據向量長度進行類別預測。模型示意圖如圖2所示，以下將對模型的3部分分別進行詳細說明。

圖2 Caps-FingerNet網絡架構Fig.2 Caps-FingerNet structure

2.1.1 Caps-FingerNet特征提取

首先使用5個卷積層提取特征，并在多次實驗后選用較小的卷積核，因為較大的卷積核會導致網絡過擬合，所以在網絡中使用了較少且較小的卷積核。由于提取原始特征的卷積層數(shù)較多，所以在每一個卷積層后面均添加一個Batch-Normalization(BN)層[25]以避免梯度消失及梯度爆炸而導致的損失函數(shù)不收斂問題，從而使網絡能正常訓練。

2.1.2 初級膠囊

最初試驗時，我們直接利用最初膠囊網絡構造膠囊的方法構造膠囊，雖然能獲得還算不錯的性能，但是通過對實驗結果的仔細觀察和分析，發(fā)現(xiàn)其在一些人類很容易分辨的樣本上卻做出了錯誤判斷，我們認為是因為網絡過于關注全局特征信息而忽略了那些穩(wěn)定且重要的局部信息。為解決這一問題，將注意力膠囊機制引入到模型中。注意力膠囊即從非最后一層卷積層中提取特征而構成的膠囊，如本文中利用第3及第4卷積層中特征所構造的膠囊。根據經驗，穩(wěn)定性高、分辨度強的細節(jié)特征一般分布在中心點周圍，而中心點很大概率落在如圖3所示的4個方框內，所以構造模型時本文使用此部分區(qū)域的特征構造注意力膠囊。

圖3 注意力膠囊位置Fig.3 Attention capsule location in fingerprint images

由于圖中方框大小是根據人為經驗設定，所以大概率會存在冗余特征，在此利用一個精煉矩陣Wi去除冗余信息，最后得到有效的注意力膠囊Zi，如下

Zi=Wi×Di，

(4)

式中：Di代表形狀為[Qi,Ni]并帶有冗余信息的注意力膠囊，Qi代表膠囊總個數(shù)，Ni表示膠囊維度；Wi的形狀為[Ti,Qi]，Ti表示模型要保留的注意力膠囊個數(shù)。

2.1.3 低級膠囊與高級膠囊之間的交互

圖4 原始膠囊壓縮算法Fig.4 Capsule squashed algorithm

全局壓縮方法可以有效解決這一問題，將相似膠囊之間的距離變得更大，使得全局范圍內表現(xiàn)較好的膠囊被有效利用而較差的膠囊被舍棄，算法性能比較見圖5，具體算法可表達為

(5)

圖5 原始壓縮算法與全局壓縮算法Fig.5 Squashed and global squashed algorithms

Caps-FngerNet算法流程如表1所示。

2.2 損失函數(shù)

在實驗過程中，選用圖像三元組{Ix,Iy,Iz}共同訓練，其中Ix與Iy為同類指紋圖像，Iz為其他類指紋圖像。為使同類指紋輸出膠囊更為相似，不同類別特征間距更加明顯，我們在交叉熵函數(shù)中引入正則項ζ。正則項ζ要求相同類別圖像間特征更為相似，但是不要求其絕對相似，這將在一定程度上解決網絡的過擬合問題。與此同時，ζ要求不同類別圖像特征間距足夠大，以使得網絡提取的指紋特征更具有區(qū)分力，但正如人所直觀看到的，不同類別指紋紋型依然具有某些相似的特征，所以當不同類別特征間隔達到一定大小時，便不會對網絡損失產生任何影響。

表1 Caps-FingerNet算法Table 1 Caps-FingerNet algorithm

ξ=max(0,0.9-tanh(GxGy))+

max(0,0.9+tanh(GxGz))+

max(0,0.9+tanh(GyGz))，

(6)

式中：Gx、Gy、Gz分別代表Ix、Iy、Iz輸出類別的膠囊。

最終損失函數(shù)由交叉熵損失函數(shù)與正則項ζ共同構成，具體形式可寫為

(7)

式中：yi為訓練標簽，ai為預測結果。

3 仿真結果及分析

訓練數(shù)據取自公安部指紋數(shù)據庫(640×640)及NIST-DB4數(shù)據庫(512×512)。NIST-DB4是國際公開指紋數(shù)據庫，其中5類指紋圖像共2 000張，每類400張。由于目前實用指紋數(shù)據庫中數(shù)據較多，指紋之間差異較大，所以需要更多數(shù)據對網絡進行訓練，使得網絡泛化性能更好。在實驗過程中，我們在公安部指紋數(shù)據庫中每類數(shù)據隨機獲取指紋6 000張，其中5 000張為訓練數(shù)據，剩余1 000作為測試數(shù)據(實驗中將弓與帳弓歸為一類，所以公安部訓練庫容量為20 000，測試庫容量為4 000)。為了統(tǒng)一指紋圖像尺寸并擴充數(shù)據集，我們對公安部指紋圖像分別在左上角、左下角、中心、右上角及右下角進行裁剪，最終得到100 000張訓練數(shù)據，20 000張測試數(shù)據。同時值得注意的是，即使此批公安部數(shù)據存在0.5%的錯誤標簽，Caps-FingerNet依然表現(xiàn)出良好的性能，并對錯誤標簽有一定的辨別能力，具體實驗結果在后面的分析中會詳細介紹。

首先，分別測試注意力膠囊機制與全局壓縮算法對膠囊網絡的影響。在此構建3個模型，分別為僅加入注意力膠囊機制的膠囊網絡(A)，僅加入全局壓縮算法的膠囊網絡(B)及原始膠囊網絡(C)。實驗結果如圖6所示，雖然注意力膠囊機制與全局壓縮算法對膠囊網絡影響程度略有不同，但顯然均對膠囊網絡性能有著不錯的提升效果。

圖6 注意力膠囊和全局壓縮算法對膠囊網絡的影響Fig.6 Effects of attention capsule and global squashed algorithm on capsule network

接下來的實驗共構建4種模型，分別為結構如圖2所示的Caps-FingerNet(模型A)，基于文獻[23]構建的膠囊網絡模型，基于文獻[24]構建的膠囊網絡模型，及基于文獻[21]所構建的指紋分類網絡作為對比模型。

圖7(a)～7(c)和表2為路由迭代分別為1、2、3時對網絡分類準確率的影響，在圖中可以看出路由迭代次數(shù)對模型A、文獻[23]及文獻[24]中模型有著不同程度的影響。模型A和文獻[23]均在路由迭代為2時分別獲得最大分辨準確率99.63%和98.51%，但是文獻[24]卻在路由迭代為1時取得最高準確率98.29%，并且當?shù)鸀?時出現(xiàn)隨機猜測的情況。實驗從側面驗證了當?shù)螖?shù)較小時，低級膠囊不能進行有效的聚類，即不能生成具有代表性的高級膠囊，而當?shù)螖?shù)過多時，低級膠囊著重對訓練樣本進行聚類而喪失了泛化能力，從而導致分類準確率降低。

圖7 不同路由次數(shù)對網絡模型的影響Fig.7 Performance of three models with different numbers of iterations

由于注意力膠囊所在區(qū)域面積大小是人為規(guī)定的，所以最后所使用的注意力膠囊即AP-Caps個數(shù)依然是超參數(shù)。如圖8及表3所示，實驗中在第3和第4卷積層分別取32、64及128個注意力膠囊，實驗結果與預測大致相同，膠囊較多會導致冗余特征，而膠囊過少則不能提取出有效的細節(jié)特征。

表2 不同路由次數(shù)下3種網絡模型準確率Table 2 Results of three models with different numbers of iterations

圖8 不同數(shù)目注意力膠囊對Caps- FingerNet準確率影響Fig.8 Results of Caps-FingerNet with different numbers of AP-Caps

模型路由次數(shù)注意力膠囊數(shù)目準確率/%A23298.21A26499.63A212898.69

為了更好地說明注意力膠囊對分類準確率的影響，我們在不能被文獻[23]正確分類而Caps-FingerNet可以正確分類的樣本中隨機取出200張圖像，部分圖像如圖9(a)～9(c)所示。實驗中首先根據初級膠囊對高級膠囊的影響程度(即cyx) 對初級膠囊進行降序排序，之后每個樣本取出其影響程度最高的150個膠囊，最后計算注意力膠囊在其中的比例。從圖10中可以明顯看出，Caps-FingerNet在處理那些難以被文獻[23]正確分類的圖片時利用了大量注意力膠囊所提供的細節(jié)特征。

圖9 部分指紋圖像Fig.9 Some fingerprint images

圖10 注意力膠囊所占比例Fig.10 The proportion of attention capsules

經過一系列試驗后，文獻[23]和文獻[24]分別得到98.51%和98.29%的準確率。模型A是文獻[23]的改進模型，在加入優(yōu)化算法之后達到99.63%的準確率，具有約1%的性能提升，而作為對比實驗的文獻[21]僅達到97.11%的準確率。

圖9(d)～9(f)所示為可以被基于膠囊網絡所構模型正確分類而無法被文獻[21]正確分類的圖像，此類樣本的共同點均為在中心點處有較高曲率，且具有非常清晰的三角點。在利用文獻[21]對其進行識別時，網絡均將其識別為弓型，我們認為是因為文獻[21]雖然也有效地提取出了弓型指紋的特征(中心點有較高曲率，且有三角點)，但卻忽略了特征間的位置關系，即三角點應該在中心點下方，所以造成了類別誤分。與之相反，包含指紋全部特征且無姿態(tài)信息損失的膠囊網絡在這些樣本上的表現(xiàn)尤為出色。

在實驗結果及表4的分析過程中，我們發(fā)現(xiàn)Caps-FingerNet在對指紋紋型進行識別時更像是一個具有弱先驗知識的人去觀察指紋圖像，它會根據全局特征和細節(jié)特征判斷圖像類別，但卻不會和傳統(tǒng)算法一樣因為個別細節(jié)特征模糊而將圖像劃分到錯誤類別，如傳統(tǒng)算法經常會把一個三角點模糊的斗型圖像誤分為左箕或右箕。

表4 不同網絡模型在指紋分類任務上的最佳準確率Table 4 The best performance of four models in fingerprint dataset

如上文所說，這些公安部指紋圖像存在錯誤標簽，所以我們在測試集中隨機反復選取圖像以觀察錯誤標簽對不同模型的影響。為了更好地說明錯誤標簽對模型的影響，本文提出FIC和TII兩個指標以便更好地對其進行量化。FIC被定義為將錯誤標簽分類到錯誤類別的概率，錯誤標簽分類到錯誤類別，即如某樣本在數(shù)據庫中被錯誤標記為左箕，模型對其分類為左箕，但樣本的真實標簽為斗。TII則定義為將錯誤標簽分類到正確類別的概率，錯誤標簽分類到正確類別，即如某樣本在數(shù)據庫中被錯誤標記為左箕，模型對其分類為右箕，并且樣本的真實標簽也為右箕。如表5所示，模型A的TII值顯著高于文獻[23]和文獻[24]并且FIC值低于這兩者而文獻[21]在TII和FIC兩項指標的表現(xiàn)均不如其他3個模型。此實驗可以說明膠囊網絡在指紋分類上對錯誤標簽的分辨能力較DCNN更強，并在加入本文所提出的優(yōu)化算法后分辨能力會進一步提高。

表5 不同模型的FIC和TIITable 5 The FIC and TII of four models in the fingerprint dataset

由于NIST-DB04數(shù)據集數(shù)據較少，所以做了相應的數(shù)據增強處理。首先，將數(shù)據10等分，其中9份用做訓練集，剩下一份作為測試集，之后將訓練數(shù)據隨機裁剪為400×400的圖像并隨機調整亮度、對比度及飽和度，測試數(shù)據則從中心位置裁剪成同樣為400×400的圖像。本文在NIST-DB04數(shù)據集上分別進行了4分類(將弓和帳弓劃分為1類)及5分類實驗，從表6、表7和表8中可看出Caps-FingerNet在兩組實驗中均獲得了令人滿意的性能，準確率分別為96.25%和94.5%，反之，文獻[21]僅僅獲得82.5%和80.5%的準確率，說明Caps-FingerNet在數(shù)據量較少的情況下依然可以保持良好的性能，而基于DCNN的文獻[21]則會損失較大精度。

表6 不同算法在NIST-DB04上4分類和5分類準確率Table 6 Four-class and five-class classification accuracies on NIST-DB04 using different algorithms

表7 Caps-FingerNet和Res-FingerNet在NIST-DB04上4分類準確率Table 7 Four-class classification results on NIST-DB04 with Caps-FingerNet and Res-FingerNet

經過大量實驗反復驗證，基于膠囊網絡架構的Caps-FingerNet在指紋紋型分類任務上具有極其優(yōu)越的性能，已經達到目前我們所調研文獻中的最高準確率。首先，膠囊網絡能很好地提取出指紋圖像的全局特征，在加入注意力膠囊后則能更精確地提取出中心點附近的細節(jié)特征信息，同時全局壓縮方法也使得表現(xiàn)優(yōu)異的膠囊可以被更有效地使用，所以準確率進一步提高。

表8 Caps-FingerNet和Res-FingerNet在NIST-DB04上5分類準確率Table 8 Five-class classification results on NIST-DB04 with Caps-FingerNet and Res-FingerNet

4 結束語

綜上所述，本文首先提出將膠囊網絡用于處理指紋分類任務并將其實現(xiàn)，之后加入注意力膠囊及全局壓縮的優(yōu)化算法使得分類準確率進一步提高，最終在公安部指紋數(shù)據集及NIST-DB04數(shù)據集上均獲得了令人滿意的結果。不過實驗結果也表明左箕與斗、右箕與斗特征之間的距離依然較小，所以接下來的實驗中應嘗試更好的損失函數(shù)及正則項來避免這一問題。

最近，越來越多的學者開始關注膠囊網絡，在不遠的將來一定會融入更多的創(chuàng)新與技術，我們也會持續(xù)關注并將最新的模型用于指紋分類任務，以期獲得更好的結果。