賈丁丁，沈文忠

上海電力大學(xué) 電子與信息工程學(xué)院，上海 201200

虹膜識(shí)別是基于虹膜豐富的紋理特征進(jìn)行身份鑒別的一種生物識(shí)別技術(shù)，具有穩(wěn)定性、普遍性、安全性的優(yōu)點(diǎn)。

完整的虹膜識(shí)別流程一般包括虹膜圖像采集、圖像預(yù)處理、特征提取和識(shí)別驗(yàn)證四部分，其中特征提取是虹膜識(shí)別算法的核心部分?，F(xiàn)在應(yīng)用較廣泛的虹膜特征提取方法是由Daugman開創(chuàng)的技術(shù)：通過(guò)將個(gè)體的虹膜投影到Gabor小波上并將向量響應(yīng)轉(zhuǎn)換為二進(jìn)制代碼，再基于漢明碼距計(jì)算向量的相似度，根據(jù)一定閾值對(duì)相似度分?jǐn)?shù)進(jìn)行歸類，最終達(dá)到鑒別身份的目的[1]。這種特征提取策略因其具有計(jì)算復(fù)雜度低、較高的匹配效率和準(zhǔn)確率的特點(diǎn)而占據(jù)了虹膜識(shí)別的主導(dǎo)地位。在Daugman開創(chuàng)性研究的啟發(fā)下，近10年來(lái)，基于一維Log-Gabor[2]、離散余弦變換（discrete cosine transform，DCT）[3]、離散傅立葉變換（discrete Fourier transform，DFT）[4]、序數(shù)度量[5]等多種特征描述方法在虹膜識(shí)別任務(wù)上均表現(xiàn)出不俗的性能。但是這些方法多基于特定的特征提取器，即需要進(jìn)行繁瑣的人工調(diào)節(jié)參數(shù)來(lái)適應(yīng)不同的識(shí)別對(duì)象，并且對(duì)虹膜采集的圖像有較高的約束要求，存在靈活性和困難樣本效果差的問題。

近些年來(lái)，隨著深度學(xué)習(xí)和計(jì)算機(jī)視覺的深入發(fā)展，許多研究結(jié)果表明，使用卷積神經(jīng)網(wǎng)絡(luò)提取的通用描述符能夠更好地表達(dá)復(fù)雜的圖像特征。近些年來(lái)，在虹膜特征提取方面已經(jīng)有不少出色的研究結(jié)果。Boyd等人[6]提出問題：Gabor內(nèi)核是否是虹膜編碼的最佳選擇?作者使用單層卷積網(wǎng)絡(luò)，模擬基于虹膜代碼的算法，試圖通過(guò)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方法尋找出用于虹膜識(shí)別的內(nèi)核。最終發(fā)現(xiàn)：網(wǎng)絡(luò)不會(huì)收斂于Gabor內(nèi)核，而是收斂于邊緣檢測(cè)器、斑點(diǎn)檢測(cè)器和簡(jiǎn)單波的混合體。Gangwar等人[7]對(duì)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于虹膜識(shí)別的一系列問題（CNN網(wǎng)絡(luò)輸入尺寸、CNN網(wǎng)絡(luò)規(guī)模、不同虹膜分割方法的影響、跨數(shù)據(jù)集測(cè)試等）進(jìn)行了詳細(xì)的實(shí)驗(yàn)和討論，為CNN應(yīng)用在虹膜識(shí)別領(lǐng)域做了很好的開創(chuàng)性工作。Gangwar等人[8]提出了一個(gè)用于表達(dá)可見光和近紅外光虹膜圖像的CNN框架DeepIrisNet2，并且應(yīng)用Spatial Transformer對(duì)虹膜圖像進(jìn)行了數(shù)據(jù)增強(qiáng)，并提出了一種二進(jìn)制編碼策略。Nguyen等人[9]探索了當(dāng)時(shí)比較流行的CNN模型（VGG、Inception、ResNet、DenseNet等）在虹膜識(shí)別方面的性能表現(xiàn)，最終在CASIA-Iris-Thousand上訓(xùn)練并測(cè)試，結(jié)果最佳的網(wǎng)絡(luò)模型是DenseNet，在錯(cuò)誤接受率（false accept rate，F(xiàn)AR）為0.001的條件下，達(dá)到了TAR=98.8%的水平。Radimpetlík等人[10]介紹了一種新穎的“UnitCircle層”，它取代了CNN管道中的特征提取步驟，并通過(guò)網(wǎng)絡(luò)訓(xùn)練更新參數(shù)，在多個(gè)數(shù)據(jù)集上均超越了多個(gè)傳統(tǒng)的虹膜識(shí)別算法。Boyd等人[11]從網(wǎng)絡(luò)訓(xùn)練的角度出發(fā)，基于ResNet50在下面三種訓(xùn)練方式下探索最佳的網(wǎng)絡(luò)訓(xùn)練策略：（1）僅使用預(yù)訓(xùn)練參數(shù)；（2）使用預(yù)訓(xùn)練參數(shù)并微調(diào)虹膜數(shù)據(jù)集；（3）僅在虹膜數(shù)據(jù)集上訓(xùn)練。最終，通過(guò)實(shí)驗(yàn)證明最佳的訓(xùn)練策略是第二種。

在以上研究成果的啟發(fā)下，本文設(shè)計(jì)了結(jié)合Additive Margin Softmax Loss[12]的新的虹膜特征編碼網(wǎng)絡(luò)IrisCodeNet。為了說(shuō)明該網(wǎng)絡(luò)突出的虹膜識(shí)別性能，本文在虹膜圖像預(yù)處理輸入形式、網(wǎng)絡(luò)輸入圖像分辨率、數(shù)據(jù)增強(qiáng)以及損失函數(shù)參數(shù)設(shè)置等方面對(duì)提出的IrisCodeNet進(jìn)行了細(xì)致的研究和討論。

1 IrisCodeNet和AM-Softmax Loss

近些年來(lái)，基于深度學(xué)習(xí)的虹膜識(shí)別研究工作大多基于神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)，比如文獻(xiàn)[9-10，13]均使用了殘差網(wǎng)絡(luò)并取得了一定的虹膜識(shí)別效果，而在損失函數(shù)的選取和設(shè)計(jì)方面沒有太多的研究。本文考慮到基于深度學(xué)習(xí)的虹膜識(shí)別的特殊性——并不只是經(jīng)典的分類任務(wù)而是以計(jì)算特征向量距離或相似度的策略來(lái)進(jìn)行身份鑒別的任務(wù)，對(duì)Additive Margin Softmax進(jìn)行了研究，并成功應(yīng)用到虹膜特征編碼網(wǎng)絡(luò)IrisCodeNet。

1.1 IrisCodeNet網(wǎng)絡(luò)模型設(shè)計(jì)

IrisCodeNet和ResNet18[14]同樣采用18層設(shè)計(jì)，但針對(duì)虹膜識(shí)別任務(wù)的特殊性，在以下方面做了創(chuàng)新和改進(jìn)：

（1）首個(gè)卷積層采用更小的卷積核和移動(dòng)步長(zhǎng)；

（2）激活函數(shù)用Mish[15]代替ReLU；

（3）使用改進(jìn)的BasicBlock；

（4）使用Additive Margin Softmax Loss；

（5）對(duì)IrisCodeNet進(jìn)行了可視化分析。

IrisCodeNet的一個(gè)卷積層使用了具有小感受野的3×3卷積核，而不是采用原始?xì)埐罹W(wǎng)絡(luò)的7×7大核，移動(dòng)步長(zhǎng)也從2個(gè)像素減小為1個(gè)像素。這意味著首個(gè)卷積操作對(duì)輸入圖像的每一個(gè)像素進(jìn)行了卷積運(yùn)算。由于虹膜紋理豐富且細(xì)微，采用以上策略可以避免在網(wǎng)絡(luò)一開始就因過(guò)大的卷積核和步長(zhǎng)丟失過(guò)多的虹膜紋理信息。

無(wú)論是在IrisCodeNet的主干通道還是在殘差塊內(nèi)，激活函數(shù)均采用Mish，其表達(dá)式見式（1）。和ReLU函數(shù)相比，Mish對(duì)負(fù)值的輕微允許會(huì)通過(guò)更好的梯度流，而不是像ReLU中那樣存在硬性的零邊界。不同于ReLU，Mish在零處的導(dǎo)數(shù)存在，平滑的函數(shù)曲線允許更好的信息進(jìn)入神經(jīng)網(wǎng)絡(luò)，從而得到更好的準(zhǔn)確性和泛化性[15]。

IrisCodeNet采用改進(jìn)的殘差塊。如圖1（b）所示，將BasicBlock中的激活函數(shù)ReLU替換為Mish，并且在第一個(gè)卷積層前面增加了一個(gè)Batch Normalization層來(lái)加速網(wǎng)絡(luò)收斂。設(shè)置第二個(gè)卷積層中的卷積核的移動(dòng)步長(zhǎng)為2，進(jìn)行下采樣，不同的是，一般BasicBlock的下采樣過(guò)程設(shè)置在第一個(gè)卷積層。改進(jìn)的BasicBlock被稱為ImprovedBlock。

IrisCodeNet詳細(xì)的網(wǎng)絡(luò)結(jié)構(gòu)見表1，其對(duì)應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)如圖1（c）所示。訓(xùn)練階段，IrisCodeNet對(duì)虹膜做一般的分類任務(wù)；測(cè)試階段，去掉最后的分類層，加載訓(xùn)練好的網(wǎng)絡(luò)權(quán)重，輸入虹膜圖像，從全連接層輸出并保存512維的特征向量，即使用IrisCodeNet對(duì)該幅虹膜圖像完成了一次特征編碼。

圖1 IrisCodeNet網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 IrisCodeNet network structure diagram

表1 IrisCodeNet網(wǎng)絡(luò)結(jié)構(gòu)細(xì)節(jié)Table 1 Network structure details of IrisCodeNet

1.2 Additive Margin Softmax Loss

Additive Margin Softmax Loss和Softmax Loss相比具有更大的優(yōu)勢(shì)：在分類任務(wù)中，改進(jìn)后的AM-Softmax Loss可以更好地聚合同類樣本，縮小同類距離，在客觀上分離異類樣本，擴(kuò)大異類距離。

近些年來(lái)，AM-Softmax Loss在人臉識(shí)別中已經(jīng)有很好的應(yīng)用，而虹膜識(shí)別和人臉識(shí)別同屬身份驗(yàn)證的生物識(shí)別技術(shù)，即本質(zhì)上是以計(jì)算特征向量相似度的策略來(lái)鑒別身份，本文首次在虹膜識(shí)別中應(yīng)用margin函數(shù)AM-Softmax Loss。接下來(lái)對(duì)此函數(shù)做簡(jiǎn)要說(shuō)明。

AM-Softmax Loss是對(duì)Softmax Loss的改進(jìn)，原始的Softmax Loss公式如下：

其中，f i是最后一個(gè)全連接層的輸入（f i表示第i個(gè)樣本），W j是最后一個(gè)全連接層參數(shù)矩陣W的第j列。WTyi f i稱為第i個(gè)樣本的目標(biāo)邏輯[16]。

文獻(xiàn)[12]提出了一個(gè)特殊的函數(shù)φ(θ)，它為Softmax Loss引入了一個(gè)附加的間隔，公式如下：

值得注意的是，在這個(gè)Margin方案中，因?yàn)棣贰?x)=1，即自變量的導(dǎo)數(shù)為1，所以并不需要計(jì)算反向傳播的梯度，在訓(xùn)練過(guò)程中參數(shù)的更新易于實(shí)現(xiàn)。

總的來(lái)說(shuō)，在Softmax Loss的基礎(chǔ)上，將特征歸一化和權(quán)重歸一化同時(shí)應(yīng)用到內(nèi)積層構(gòu)建了一個(gè)余弦層，然后使用超參數(shù)s縮放余弦值，最終形成了AM-Softmax Loss，公式為：

2 實(shí)驗(yàn)過(guò)程和結(jié)果分析

為了說(shuō)明IrisCodeNet突出的虹膜識(shí)別性能，本章將對(duì)損失函數(shù)參數(shù)設(shè)置、圖像預(yù)處理輸入形式、網(wǎng)絡(luò)輸入尺寸、數(shù)據(jù)增強(qiáng)等幾個(gè)方面做細(xì)致的實(shí)驗(yàn)和分析。

首先簡(jiǎn)要介紹實(shí)驗(yàn)所涉及到的評(píng)價(jià)指標(biāo)、數(shù)據(jù)集、分割工具、可視化工具、向量匹配等幾個(gè)概念。

評(píng)價(jià)指標(biāo)：本文采用等錯(cuò)誤率（EER）和在錯(cuò)誤接受率（FAR）為0.001水平下的真實(shí)陽(yáng)性率（即TAR@FAR=1E-3）以及類內(nèi)類間相似度分?jǐn)?shù)分離度指標(biāo)作為評(píng)價(jià)IrisCodeNet性能的依據(jù)。另外，根據(jù)需要，部分實(shí)驗(yàn)采用了更加嚴(yán)格的TAR@FAR=1E-5。

CASIA-Iris-Thousand：該數(shù)據(jù)集[17]是中國(guó)科學(xué)院自動(dòng)化研究所虹膜數(shù)據(jù)庫(kù)中的一個(gè)子集。該子集一共有1 000個(gè)受試者的20 000張虹膜圖像，左眼虹膜和右眼虹膜看作兩類虹膜，即該數(shù)據(jù)庫(kù)總共有2 000個(gè)虹膜類別。

CASIA-Iris-Distance：該數(shù)據(jù)集[17]包含來(lái)自142個(gè)對(duì)象的2 446個(gè)臉部圖像，每個(gè)圖像包含兩只眼睛。由于原始圖像是上半部分的人臉信息，需要使用眼睛檢測(cè)算法對(duì)人眼及其周圍區(qū)域進(jìn)行定位。

IITD：該數(shù)據(jù)集[18]由印度理工學(xué)院德里分校提供，一共包括來(lái)自224個(gè)受試者的2 240個(gè)虹膜圖像。

分割工具：選擇OSIRIS[19]作為虹膜圖像的分割工具。開源工具OSIRIS能夠?qū)Σ杉降娜搜蹐D像進(jìn)行預(yù)處理，定位瞳孔和虹膜邊界，分割出圓環(huán)狀的虹膜區(qū)域，并生成尺寸為512×64的歸一化虹膜。

Grad-CAM[20]：通過(guò)生成視覺解釋可以使任何基于CNN的模型更加透明，突出顯示圖像中用于預(yù)測(cè)概念的重要像素區(qū)域。本文采用Grad-CAM來(lái)驗(yàn)證IrisCodeNet是否真正關(guān)注于虹膜細(xì)致的紋理特征以區(qū)分不同類別。

特征向量匹配：窮舉測(cè)試集中所有虹膜圖像兩兩之間的匹配對(duì)情況并標(biāo)定每對(duì)的同異源，使用訓(xùn)練好的IrisCodeNet對(duì)所有匹配對(duì)做編碼，之后使用余弦相似度計(jì)算匹配對(duì)中兩個(gè)編碼向量的相似度?；谒型春彤愒聪嗨贫确?jǐn)?shù)可以得到不同閾值下的FRR和FAR，進(jìn)而得到EER。

2.1 AM-Softmax Loss參數(shù)設(shè)置實(shí)驗(yàn)

為了證明IrisCodeNet和AMS-Softmax Loss在虹膜數(shù)據(jù)集上的有效性。在不同的實(shí)驗(yàn)組合下，測(cè)試在CASIA-Iris-Thousand上的EER和TAR水平。

數(shù)據(jù)處理方式或?qū)嶒?yàn)方法為：虹膜數(shù)據(jù)集CASIAIris-Thousand沒有進(jìn)行數(shù)據(jù)增強(qiáng)；使用OSIRISv4.1分割并歸一化虹膜，網(wǎng)絡(luò)輸入尺寸為112×112，有效虹膜的訓(xùn)練集和測(cè)試集的比例為13 992∶5 999。經(jīng)實(shí)驗(yàn)測(cè)試，IrisCodeNet和AM-Softmax與ResNet18和Softmax在CASIA-Iris-Thousand數(shù)據(jù)集上的EER和TAR水平如表2所示。

表2 不同實(shí)驗(yàn)方法的EER和TAR水平Table 2 EER and TAR levels of different experimental methods %

實(shí)驗(yàn)1對(duì)比實(shí)驗(yàn)2、實(shí)驗(yàn)3對(duì)比實(shí)驗(yàn)4說(shuō)明使用了改進(jìn)殘差塊的IrisCodeNet比使用了BasicBlock的ResNet18有更高的虹膜識(shí)別水平。實(shí)驗(yàn)1對(duì)比實(shí)驗(yàn)3、實(shí)驗(yàn)2對(duì)比實(shí)驗(yàn)4說(shuō)明結(jié)合AMS-Softmax Loss比Softmax Loss有更好的實(shí)驗(yàn)效果。

由式（5）可以看出，AM-Softmax Loss有s和m兩個(gè)參數(shù)。為了加速并穩(wěn)定loss的優(yōu)化過(guò)程，參考文獻(xiàn)[12]的設(shè)置，s被固定為30.0；并且文獻(xiàn)[12]在人臉數(shù)據(jù)集上對(duì)m的取值進(jìn)行了實(shí)驗(yàn)并得出結(jié)論，m最佳取值區(qū)間為0.35到0.40。但是為了更好地應(yīng)用于虹膜領(lǐng)域，本文對(duì)m的取值做了相應(yīng)的實(shí)驗(yàn)。使用沒有進(jìn)行數(shù)據(jù)增強(qiáng)的虹膜數(shù)據(jù)集IITD、CASIA-Iris-Thousand、CASIA-Iris-Distance進(jìn)行評(píng)估，m的取值從0.25到0.75，取值變化間隔為0.10。

由表3可以看出，實(shí)驗(yàn)結(jié)果并沒有像文獻(xiàn)[12]的實(shí)驗(yàn)結(jié)果那樣隨著m的增大，評(píng)價(jià)指標(biāo)整體上先是變好再變差，而是出現(xiàn)了飽和現(xiàn)象：EER和TAR水平在m增加的后期基本不再變化。出現(xiàn)這種現(xiàn)象的可能原因是：無(wú)論是類別的多樣性還是單個(gè)類別樣本的豐富程度，這三個(gè)虹膜數(shù)據(jù)集均遜于規(guī)模可觀的人臉數(shù)據(jù)集。所以在本文的實(shí)驗(yàn)中，即使設(shè)置更大的margin裕度，在相對(duì)較少的類別和圖像總數(shù)下，AM-Softmax Loss依然可以優(yōu)化得很好。不過(guò)，經(jīng)過(guò)反復(fù)實(shí)驗(yàn)，發(fā)現(xiàn)m大于等于0.55情況下，損失函數(shù)曲線會(huì)有較大的震蕩，且需要較長(zhǎng)時(shí)間才能收斂，因此為了訓(xùn)練的穩(wěn)定性和快速收斂，在后面的實(shí)驗(yàn)設(shè)置中，AM-Softmax Loss的參數(shù)m均設(shè)置為0.45。

表3 三個(gè)數(shù)據(jù)集上不同m設(shè)置下的EER和TAR水平Table 3 EER and TAR levels under different m settings on three datasets %

為了進(jìn)一步說(shuō)明損失函數(shù)AM-Softmax Loss的優(yōu)勢(shì)，統(tǒng)計(jì)了表2的IrisCodeNet+AM-Softmax和IrisCodeNet+Softmax兩組不同的實(shí)驗(yàn)設(shè)置分別在CASIA-Iris-Thousand測(cè)試集上5 998個(gè)類內(nèi)相似度分?jǐn)?shù)和17 985 003個(gè)類間相似度分?jǐn)?shù)的分布圖，如圖2。

圖2 兩種損失函數(shù)對(duì)應(yīng)的相似度分?jǐn)?shù)分布情況Fig.2 Distribution of similarity scores corresponding to two loss functions

在圖2中，紅色部分對(duì)應(yīng)于AM-Softmax Loss的相似度分布；紫色部分對(duì)應(yīng)于Softmax Loss的相似度分布。由于采用余弦距離來(lái)評(píng)估向量相似度，兩個(gè)向量相似度越高，夾角越小，余弦值就越大，圖2中的右半部分區(qū)域表示的是類內(nèi)相似度分?jǐn)?shù)的分布情況。

可以明顯看出，使用AM-Softmax Loss的紅色類內(nèi)的相似度分?jǐn)?shù)在0.7到1.0區(qū)間內(nèi)的輪廓更加“陡峭”，分?jǐn)?shù)集中分布在0.8以上。而紫色類內(nèi)部分，即對(duì)應(yīng)于Softmax Loss的類內(nèi)分?jǐn)?shù)分布，則多集中在0.5到0.9區(qū)間內(nèi)，分布相對(duì)均勻，并且仍有不少分?jǐn)?shù)分布在0.3到0.4區(qū)間內(nèi)，模糊的“邊界”將增加異類被判斷為同類的風(fēng)險(xiǎn)，從而導(dǎo)致更大的誤識(shí)率。而紅色類內(nèi)區(qū)域的分?jǐn)?shù)分布更加“緊湊”，極少的類間分?jǐn)?shù)分布在右邊界，AMSoftmax Loss把類內(nèi)和類間的邊界控制得更加清晰。

另外，分別計(jì)算了在兩種損失函數(shù)下，類內(nèi)、類間相似度分?jǐn)?shù)的均值μ和標(biāo)準(zhǔn)差σ，并通過(guò)式（6）計(jì)算了二者的分離度d′，表達(dá)式如下：

其中，μ1和σ1分別表示在某個(gè)損失函數(shù)下類內(nèi)相似度分?jǐn)?shù)的均值和標(biāo)準(zhǔn)差；μ2和σ2表示類間相似度分?jǐn)?shù)的均值和標(biāo)準(zhǔn)差。

由表4可知，AM-Softmax Loss的分離度8.74大于Softmax的6.03，d′越大，不同類別分開得越明顯，分類效果就越好。

表4 在AM-Softmax Loss和Softmax Loss下匹配分?jǐn)?shù)的分離度Table 4 Degree of separation of matching scores under AM-Softmax Loss and Softmax Loss

2.2 圖像預(yù)處理輸入形式

虹膜預(yù)處理是將傳感器采集到的包含人眼和眼周的原始圖像進(jìn)行信息處理的過(guò)程：先把虹膜ROI定位出來(lái)，再把虹膜與眼瞼、睫毛、鞏膜等干擾信息分割開來(lái)，一般還要將分離出來(lái)的虹膜圓環(huán)進(jìn)行歸一化處理。圖像預(yù)處理是虹膜識(shí)別系統(tǒng)中的關(guān)鍵步驟，在虹膜識(shí)別系統(tǒng)中，圖像預(yù)處理的好壞將直接影響特征提取算法的有效性，進(jìn)而影響虹膜識(shí)別的準(zhǔn)確率。

為了探究IrisCodeNet在不同虹膜圖像預(yù)處理程度下的性能表現(xiàn)，本文把預(yù)處理結(jié)果分為“ROI裁剪”“ROI掩碼”“虹膜歸一化”三種形式，為表述方便，分別用ROICrop、ROIMasked、IrisNormalized表示。

ROICrop是指僅僅定位并裁剪出虹膜ROI區(qū)域。如圖3（a）所示，該矩形區(qū)域除了含有能夠用來(lái)提取特征的虹膜有效信息，還包含有瞳孔、鞏膜，以及一些眼瞼等干擾信息，ROICrop本質(zhì)上是對(duì)眼球的一種初步定位。

ROIMasked是指在ROICrop的基礎(chǔ)上加上了掩碼。如圖3（b），掩碼遮擋住了瞳孔、鞏膜、眼瞼等非重要信息，其意義在于在一定程度上“幫助”IrisCodeNet更加專注于對(duì)虹膜紋理進(jìn)行特征提取。

IrisNormalized對(duì)應(yīng)于傳統(tǒng)算法中必不可少的歸一化步驟。首先使用霍夫變換圓等方法把瞳孔和虹膜之間的內(nèi)橢圓以及虹膜和鞏膜之間的外橢圓檢測(cè)出來(lái)，之后使用彈性模型將包含有虹膜的橢圓環(huán)映射到極坐標(biāo)下，掩碼也做相應(yīng)的變換。最終，歸一化的圓環(huán)區(qū)域結(jié)合歸一化的掩碼生成歸一化虹膜。歸一化虹膜圖像如圖3（c）所示。

圖3 不同預(yù)處理程度下的虹膜圖像及Grad-CAMFig.3 Iris images and Grad-CAM under different preprocessing levels

2.2.1 ROICrop和ROIMasked識(shí)別實(shí)驗(yàn)

經(jīng)過(guò)上述實(shí)驗(yàn)和討論，網(wǎng)絡(luò)輸入尺寸設(shè)置為112×112，并且使用本文提出的數(shù)據(jù)增強(qiáng)方式，最后在數(shù)據(jù)庫(kù)CASIA-Iris-Thousand上評(píng)估。

實(shí)驗(yàn)結(jié)果如表5所示，ROICrop和ROIMasked的EER和TAR水平相當(dāng)，各自分別為0.25%和99.65%、0.22%和99.72%。從評(píng)價(jià)指標(biāo)上可以得出結(jié)論：即使存在干擾信息，IrisCodeNet依然可以很好地關(guān)注虹膜的紋理區(qū)域。為了進(jìn)一步直觀體現(xiàn)IrisCodeNet的特征提取效果，使用Grad-CAM對(duì)ROICrop和ROIMasked進(jìn)行可視化，如圖3所示，顏色冷暖程度代表了圖像像素被特征提取器索引的頻率，索引頻率從高到低對(duì)應(yīng)的顏色依次為紅色>黃色>綠色>藍(lán)色。可以發(fā)現(xiàn)，在瞳孔周圍的虹膜區(qū)域，紅色斑塊較多，而綠色或藍(lán)色斑塊多分布于虹膜和鞏膜圓形邊界和邊界以外的區(qū)域。Grad-CAM從可視化的角度再次證明了即使識(shí)別的是初步定位的虹膜ROI，IrisCodeNet依然可以很好地對(duì)虹膜特征進(jìn)行表達(dá)。這在一定程度上降低了對(duì)分割精度的要求，甚至可能沒有必要再進(jìn)行更為細(xì)致的分割步驟。這具有深遠(yuǎn)的意義，將大大減少圖像預(yù)處理時(shí)間，從而提高整個(gè)虹膜識(shí)別系統(tǒng)的工作效率。同時(shí)還發(fā)現(xiàn)，如圖3（b），ROIMasked的熱力圖顏色的輪廓更加清晰，紅色區(qū)域即索引較多的像素密集分布在靠近瞳孔邊緣側(cè)，這和掩碼對(duì)干擾信息的遮擋有密不可分的關(guān)系。

2.2.2 IrisNormalized和ROIMasked識(shí)別實(shí)驗(yàn)

為探究不同分辨率的歸一化虹膜圖像對(duì)識(shí)別精度的影響，遵循文獻(xiàn)[7]的歸一化圖像處理方法：先使用OSIRISv4.1工具將虹膜歸一化為160×40、224×56、320×80的不同尺寸的圖像，再將圖像裁剪并拼接為80×80、112×112和160×160三種尺寸，如圖4所示。

圖4 不同歸一化尺寸圖像的處理過(guò)程Fig.4 Processing process of different IrisNormalized size images

實(shí)驗(yàn)結(jié)果如表5所示。在三個(gè)網(wǎng)絡(luò)輸入尺寸中，IrisNormalized-80的效果最差，這可以解釋為過(guò)度的下采樣丟失了大量的虹膜信息；相反的，為了送入網(wǎng)絡(luò)更多的虹膜紋理信息，試圖增大網(wǎng)絡(luò)的輸入分辨率，但是實(shí)驗(yàn)發(fā)現(xiàn)，更大分辨率的IrisNormalized-160和IrisNormalized-112相比虹膜識(shí)別效果卻稍微變差，這個(gè)現(xiàn)象和文獻(xiàn)[7]關(guān)于網(wǎng)絡(luò)輸入尺寸實(shí)驗(yàn)所得結(jié)果一致。對(duì)IrisCodeNet來(lái)說(shuō)，可以認(rèn)為112×112是相對(duì)最優(yōu)的歸一化尺寸。

表5 Thousand不同實(shí)驗(yàn)方法下的實(shí)驗(yàn)結(jié)果Table 5 Experimental results under different experimental methods of Thousand %

IrisNormalized-112和IrisNormalized-160實(shí)驗(yàn)組的EER均低于ROIMasked的0.22%；TAR均高于ROIMasked的99.72%。網(wǎng)絡(luò)輸入尺寸為112×112時(shí)，即IrisNormalized-112取得了最佳的虹膜識(shí)別水平：EER=0.12%，TAR=99.88%。這和ROIMasked相比性能水平有了較大的提升，說(shuō)明基于CNN的特征提取算法和傳統(tǒng)虹膜識(shí)別算法一樣，在預(yù)處理階段非常有必要對(duì)虹膜圖像進(jìn)行歸一化處理。這可以解釋為：在虹膜圖像采集過(guò)程中，瞳孔因光照會(huì)發(fā)生縮放，并且按照放射方向較大范圍地影響虹膜紋理的分布，將會(huì)影響在相似度匹配時(shí)卷積核沿水平方向進(jìn)行濾波的結(jié)果，而虹膜歸一化將沿瞳孔邊緣呈放射狀分布的虹膜紋理映射為沿著水平軸分布的細(xì)帶狀紋理，在很大程度上解決了因瞳孔縮放帶來(lái)的相似度匹配時(shí)存在的配準(zhǔn)問題。

2.2.3 和現(xiàn)有算法的比較

實(shí)驗(yàn)組IrisNormalized-112達(dá)到了EER=0.12%，TAR=99.88%的最高識(shí)別水平。無(wú)論是和基于Gabor的IrisCode[13]傳統(tǒng)算法相比較，還是近些年來(lái)同樣使用卷積神經(jīng)網(wǎng)絡(luò)的新型算法相比較，IrisCodeNet-IrisNormalized-112均具有更低的EER和更高的TAR水平。特別地，即使不進(jìn)行歸一化步驟，單純考慮ROIMasked和ROICrop，其虹膜水平都遠(yuǎn)遠(yuǎn)優(yōu)于傳統(tǒng)算法，甚至也優(yōu)于使用歸一化虹膜圖像的ResNet50[11]、DeepIris[21]、FeatNet[22]、ResNet18[13]等深度神經(jīng)網(wǎng)絡(luò)算法。

2.3 虹膜數(shù)據(jù)增強(qiáng)

在虹膜采集過(guò)程中，往往因?yàn)楣庹?、被拍攝者頭部的移動(dòng)和一定角度的旋轉(zhuǎn)等非協(xié)作因素導(dǎo)致圖像質(zhì)量參差不齊；另外現(xiàn)有的虹膜數(shù)據(jù)集的豐富程度和體量規(guī)模受到一定限制，因此，非常有必要針對(duì)訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)，以滿足神經(jīng)網(wǎng)絡(luò)參數(shù)的訓(xùn)練。

本文沒有使用線上增強(qiáng)對(duì)歸一化的虹膜圖像直接進(jìn)行圖像增強(qiáng)操作，因?yàn)檫@并不符合實(shí)際；而是對(duì)未進(jìn)行任何預(yù)處理的人眼原圖進(jìn)行本地?cái)?shù)據(jù)增強(qiáng)，選擇了改變亮度、增加噪聲、圖像模糊、角度旋轉(zhuǎn)四種變換方式來(lái)模擬圖像采集的真實(shí)場(chǎng)景。增強(qiáng)后樣本再使用OSIRISv4.1工具進(jìn)行預(yù)處理，根據(jù)網(wǎng)絡(luò)訓(xùn)練任務(wù)的需要，生成不同預(yù)處理程度的虹膜圖像。表6展示了三種不同預(yù)處理形式的數(shù)據(jù)集統(tǒng)計(jì)信息。

表6 Thousand不同預(yù)處理形式下的統(tǒng)計(jì)信息Table 6 Statistics under different preprocessing levels of Thousand

下面展示了在CASIA-Iris-Thousand上詳細(xì)的數(shù)據(jù)處理流程：

（1）遵循文獻(xiàn)[10]的做法，將CASIA-Iris-Thousand數(shù)據(jù)集的20 000張?jiān)己缒D像按類別7∶3分割為原始訓(xùn)練集和測(cè)試集，總數(shù)比例為14 000∶6 000。

（2）原始訓(xùn)練集經(jīng)過(guò)本地?cái)?shù)據(jù)增強(qiáng)，每個(gè)樣本擴(kuò)增5張，最終得到有60 000張圖像的增強(qiáng)訓(xùn)練集。

（3）把60 000張?jiān)鰪?qiáng)訓(xùn)練集圖像、14 000張?jiān)加?xùn)練集圖像、6 000張測(cè)試集圖像送入OSIRISv4.1工具，進(jìn)行圖像預(yù)處理，并剔除掉預(yù)處理失敗的樣本，分別生成有效增強(qiáng)訓(xùn)練集、有效原始訓(xùn)練集和有效測(cè)試集。

（4）將有效的增強(qiáng)訓(xùn)練集和有效的原始訓(xùn)練集合并為有效訓(xùn)練集，用于網(wǎng)絡(luò)特征提取器的訓(xùn)練；6 000張測(cè)試樣本經(jīng)過(guò)OSIRISv4.1工具預(yù)處理并經(jīng)過(guò)篩選之后，生成了用于匹配測(cè)試的有效測(cè)試集。由測(cè)試集生成的類內(nèi)匹配對(duì)以及類間匹配對(duì)的數(shù)量信息見表6。

最終的實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)于表5中，對(duì)比進(jìn)行了樣本數(shù)據(jù)增強(qiáng)的IrisNormalized-112和沒有進(jìn)行樣本數(shù)據(jù)增強(qiáng)的IrisNormalized-NoAug，發(fā)現(xiàn)前者有更好的識(shí)別性能，證明了本文提出的本地?cái)?shù)據(jù)增強(qiáng)方式的有效性。

值得注意的是，無(wú)論是含有大量干擾信息的ROICrop還是在其基礎(chǔ)上加了掩碼的ROIMasked以及進(jìn)一步歸一化的IrisNormalized，甚至沒有數(shù)據(jù)增強(qiáng)的IrisNormalized-NoAug，所有的實(shí)驗(yàn)指標(biāo)均優(yōu)于本文所列出的傳統(tǒng)算法和新型的神經(jīng)網(wǎng)絡(luò)算法。對(duì)應(yīng)于表6的ROC曲線如圖5所示。其中，符號(hào)“×”是文獻(xiàn)[11]使用ResNet50網(wǎng)絡(luò)得到的最佳識(shí)別結(jié)果，TAR=99.38%；符號(hào)“*”是文獻(xiàn)[9]使用DenseNet網(wǎng)絡(luò)得到的最佳識(shí)別結(jié)果，TAR=98.80%。其他算法的TAR水平均低于本文所有實(shí)驗(yàn)方法得到的結(jié)果，由于坐標(biāo)限制，并沒有在圖中體現(xiàn)。

圖5 Thousand不同實(shí)驗(yàn)方法下的ROCFig.5 ROC under different experimental methods of Thousand

2.4 在其他數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

對(duì)于CASIA-Iris-Distance、IITD數(shù)據(jù)集，本文遵循文獻(xiàn)[22]的實(shí)驗(yàn)設(shè)置：全部的右眼虹膜用于訓(xùn)練，全部的左眼用于測(cè)試。因?yàn)镃ASIA-Iris-Distance原始圖像是整張人臉，所以先使用文獻(xiàn)[23]的定位算法定位眼睛及其眼周區(qū)域，再使用本文提出的本地?cái)?shù)據(jù)增強(qiáng)方法進(jìn)行數(shù)據(jù)增強(qiáng)，然后送入OSIRISv4.1進(jìn)行歸一化，并剔除掉預(yù)處理失敗的樣本。

在兩個(gè)數(shù)據(jù)集上，用于訓(xùn)練和測(cè)試的有效樣本數(shù)量以及測(cè)試集產(chǎn)生的同類驗(yàn)證對(duì)、異類驗(yàn)證對(duì)信息如表7所示。

表7 Distance、IITD分配和驗(yàn)證對(duì)統(tǒng)計(jì)信息Table 7 Allocation and verification pair statistics of Distance and IITD

實(shí)驗(yàn)結(jié)果如表8所示，在CASIA-Iris-Distance、IITD數(shù)據(jù)上，無(wú)論EER還是TAR，IrisCodeNet和傳統(tǒng)算法OSIRIS和log-Gabor以及Ordinal相比顯示出更加優(yōu)異的分?jǐn)?shù)。唯一的是，在兩個(gè)數(shù)據(jù)集上的EER好于ICCV17的算法，TAR水平略低于其算法。

表8 在Distance、IITD上的實(shí)驗(yàn)結(jié)果Table 8 Experimental results on Distance and IITD%

3 結(jié)束語(yǔ)

為了實(shí)現(xiàn)對(duì)虹膜紋理準(zhǔn)確的特征表達(dá)，針對(duì)虹膜識(shí)別任務(wù)的特點(diǎn)，提出了一種新的虹膜特征編碼網(wǎng)絡(luò)IrisCodeNet。該網(wǎng)絡(luò)結(jié)合了改進(jìn)BasicBlock網(wǎng)絡(luò)結(jié)構(gòu)和可以擴(kuò)大決策邊界的margin損失函數(shù)AM-Softmax Loss。

本文進(jìn)行了多組對(duì)比實(shí)驗(yàn)，評(píng)估了損失函數(shù)AMSoftmax Loss參數(shù)m、虹膜圖像預(yù)處理輸入形式、網(wǎng)絡(luò)輸入尺寸、數(shù)據(jù)增強(qiáng)等多個(gè)因素對(duì)IrisCodeNet性能的影響。結(jié)果發(fā)現(xiàn)，IrisCodeNet在多個(gè)數(shù)據(jù)集上均取得了卓越的虹膜識(shí)別效果。本文得出結(jié)論：

（1）由于可以增加擴(kuò)大決策邊界，聚合同類樣本，AM-Softmax Loss比Softmax Loss更加適用于基于特征向量相似度匹配的虹膜識(shí)別任務(wù)。

（2）IrisCodeNet在預(yù)處理程度為ROICrop的CASIAIris-thousand數(shù)據(jù)庫(kù)上，表現(xiàn)出了比傳統(tǒng)經(jīng)典算法和新型算法更高的性能水平，并結(jié)合梯度熱力圖，說(shuō)明了IrisCodeNet生成的特征提取器對(duì)粗略定位的虹膜ROI也有很強(qiáng)的特征描述能力。另外，因?yàn)槠ヅ潋?yàn)證存在模板間的配準(zhǔn)問題，所以無(wú)論是傳統(tǒng)算法的Gabor算法還是基于CNN訓(xùn)練的特征提取器，虹膜歸一化依然是最佳的預(yù)處理方式。

（3）適當(dāng)?shù)貙?duì)歸一化圖像進(jìn)行降采樣，即減小網(wǎng)絡(luò)輸入尺寸，將提高IrisCodeNet的特征提取性能。

（4）為了增加訓(xùn)練樣本的豐富性，模擬實(shí)際采集場(chǎng)景，采用改變亮度、增加噪聲和模糊、平移和旋轉(zhuǎn)圖像的方式豐富了訓(xùn)練數(shù)據(jù)，在一定程度上提高了IrisCodeNet的虹膜識(shí)別效果。

（5）IrisCodeNet在CASIA-Iris-Thousand、IITD、CASIA-Iris-Distance三個(gè)虹膜數(shù)據(jù)集上的EER和TAR@FAR=1E-3水平均優(yōu)于傳統(tǒng)算法和一些深度神經(jīng)網(wǎng)絡(luò)的算法。