尤軒昂，趙 鵬，慕曉冬，朱永清，沈丹瑤

中國人民解放軍火箭軍工程大學 作戰(zhàn)保障學院，西安 710025

虹膜識別作為安全穩(wěn)定的生物特征識別技術之一，已被廣泛應用于智能解鎖、戶籍管理、法醫(yī)取證等領域[1]。隨著身份識別應用場景的日趨復雜，虹膜識別技術正朝著遠距離、低照度的方向發(fā)展。

當前，虹膜識別在消費類移動設備上的推廣使可見光虹膜識別正逐漸成為研究熱點。但傳統(tǒng)商用虹膜識別系統(tǒng)大多仍采用850 nm 單一波長的近紅外照明，這是由于近紅外成像易穿透虹膜色素，能清晰地顯示出其結(jié)構(gòu)紋理且有助于減輕暗光條件下人眼對補光燈的不適感[2]。不過相比于高信噪比的近紅外圖像，可見光虹膜圖像具有采集距離遠、顏色紋理信息豐富、部署容易等不可替代的優(yōu)勢。研究表明，可見光圖像中豐富的顏色紋理特征有助于提高虹膜識別的精度。淺色虹膜在可見光成像下結(jié)構(gòu)紋理清晰、成像效果好，識別性能優(yōu)于近紅外虹膜圖像[3]。然而，深色虹膜區(qū)域因存在廣泛分布的黑色素而呈現(xiàn)黑色或深褐色，導致其在可見光圖像中的結(jié)構(gòu)紋理不明顯。并且深色虹膜的紋理區(qū)域狹窄，包含的結(jié)構(gòu)紋理信息較少，還普遍存在眼瞼和睫毛干擾等影響。另外，可見光成像自身還易受環(huán)境光照影響，存在角膜反射光斑、欠曝光等問題。以上因素都給可見光虹膜識別帶來了巨大挑戰(zhàn)。Hosseini等人[4]提出一種基于形狀分析的可見光虹膜特征提取方法，并通過融合同一人的近紅外和可見光虹膜特征提高了識別精度。融合多光譜虹膜圖像還可有效編碼互補信息以更好的對抗欺騙[5]。綜上，近紅外和可見光虹膜圖像各有所長，研究可見光-近紅外圖像融合技術對于遠距離、低照度識別場景下的虹膜質(zhì)量增強具有重要應用價值。

1 相關研究

傳統(tǒng)的可見光-紅外圖像融合算法可分為稀疏表示、多尺度變換、子空間分析等[6]。高雪琴等人[7]提出利用FPDE將源圖像分解成高頻分量和低頻分量，再通過PCA獲取高頻細節(jié)和基于期望最大規(guī)則處理低頻分量，重構(gòu)后的融合結(jié)果邊緣清晰、顯著。Zhao等人[8]將融合任務看作回歸問題，引入全變差懲罰和最大化期望算法，提出了一種基于分層貝葉斯方法的融合模型，突出了紅外目標區(qū)域、改善了紋理細節(jié)。

傳統(tǒng)的可見光-紅外融合算法以人工精心設計的復雜融合規(guī)則為主，準確性和魯棒性易受中間環(huán)節(jié)的影響[9-10]。近年來，深度學習技術如火如荼的發(fā)展極大促進了可見光-紅外圖像融合領域的進步。Chen等人[11]提出了一種基于改進U-net 和生成對抗網(wǎng)絡（generative adversarial network，GAN）的圖像融合模型，有效提升了融合結(jié)果的紋理細節(jié)與輪廓清晰度，凸顯了紅外目標，但在亮度均衡方面略有不足。Li 等人[12]針對傳統(tǒng)DCNN 融合模型中的特征提取不足和退化問題提出了一種雙融合層密集連接網(wǎng)絡，提高了在融合多種任務上的性能，但所需大量配對標注的訓練數(shù)據(jù)難以獲取，近紅外圖像采用灰度代替一定程度上影響了訓練效果。Jian 等人[13]提出了一種用于夜間環(huán)境的殘差編-解碼融合網(wǎng)絡，該網(wǎng)絡先在融合層利用殘差塊與前兩個卷積層產(chǎn)生的中間特征和補償特征進行融合，再通過元素選擇得到重要特征輸入解碼器進行圖像特征重建，降低計算量的同時有效減少了細節(jié)損失和偽影現(xiàn)象，但是當融合任務改變則需要手動調(diào)整超參數(shù)并重新訓練。

綜上，深度學習融合方法較傳統(tǒng)算法在特征提取和數(shù)據(jù)表示能力方面更強，但同時需要提供的標簽數(shù)據(jù)量也更大。然而，實際中獲取標注數(shù)據(jù)較為困難且低用戶配合度下采集的可見光虹膜圖像可能同時存在多聚焦、多曝光等問題，使得以往被設計用于特定融合任務的模型顯得捉襟見肘。本文基于順序訓練的多任務學習框架提出一種端到端可見光-近紅外虹膜融合網(wǎng)絡MTIris-Fusion。本文的主要內(nèi)容如下：

首先，采用基于U-Net的編碼-解碼結(jié)構(gòu)的融合主干網(wǎng)絡，并在編碼器部分加入設計的Dense Block，增強了特征融合能力。其次，針對實際虹膜樣本曝光范圍寬且存在離焦模糊的問題，采用多融合任務輔助訓練并將預訓練的ResNet50引入特征提取環(huán)節(jié)，提高了虹膜融合的魯棒性。然后，著重設計了采用結(jié)構(gòu)相似度損失（SSIM）、平均絕對誤差損失（MAE）、梯度損失共同約束的單任務損失函數(shù)，并通過正則化方法減少網(wǎng)絡訓練過擬合。任務間采用彈性權重鞏固（EWC）機制更新總損失函數(shù)在提高泛化能力的同時避免網(wǎng)絡遺忘舊任務。最后，在PolyU_Cross-Spectral-Iris 數(shù)據(jù)集上的測試結(jié)果表明，本文提出的融合網(wǎng)絡在兼顧可見光虹膜的顏色紋理與近紅外高信噪比的結(jié)構(gòu)紋理信息的同時，對可見光虹膜中的較大反射光斑有較好抑制作用。

2 虹膜融合網(wǎng)絡設計

針對傳統(tǒng)多模態(tài)圖像融合方法紋理細節(jié)不清晰和重要信息保留不佳的問題。結(jié)合虹膜圖像質(zhì)量增強中消除反射光斑的實際需求，提出基于多任務學習的可見光-近紅外虹膜圖像融合方法。

2.1 多任務學習架構(gòu)

在傳統(tǒng)的深度學習圖像融合方法中，實現(xiàn)多個任務的圖像融合通常采用相同的網(wǎng)絡結(jié)構(gòu)對不同的任務訓練各自的模型或?qū)⒍嗳蝿盏臄?shù)據(jù)聯(lián)合訓練的方式。然而，這兩種方式增加了網(wǎng)絡學習參數(shù)的冗余度和調(diào)參成本，計算和存儲開銷大。高照度圖像比低照度圖像包含更多的紋理細節(jié)與形狀等淺層特征，低照度圖像中的空間結(jié)構(gòu)等深層次信息占比更高。對于過曝和欠曝的虹膜圖像，多曝光融合能很好地聚合兩類圖像中的淺層特征與深層特征?？紤]到不同的圖像融合任務（多模態(tài)、多曝光、多聚焦）之間既存在差異又隱含著聯(lián)系且虹膜圖像常包含多曝光與多聚焦數(shù)據(jù)，存在相互促進學習的可能。本文采用順序訓練的多任務架構(gòu)[11]，即將多個融合任務的數(shù)據(jù)按一定順序輸入網(wǎng)絡依次訓練，本文采用的多任務學習架構(gòu)如圖1所示。

2.2 彈性權重鞏固EWC

在多任務學習網(wǎng)絡中，訓練新的任務時會造成對前序任務學習知識的丟失，即“災難性遺忘”[13]，進而導致網(wǎng)絡性能下降。通常在不額外增加模型的前提下，解決“災難性遺忘”問題存在以下幾種不同思路。（1）利用新數(shù)據(jù)與舊數(shù)據(jù)信息競爭在減少對重要參數(shù)影響的同時促進網(wǎng)絡對新知識的學習。（2）在多任務訓練時，利用網(wǎng)絡對新任務進行預測生成虛擬數(shù)據(jù)，在目標函數(shù)中設計約束項實現(xiàn)通過新數(shù)據(jù)約束舊參數(shù)來抑制遺忘。（3）引入概率分布思想，采用正則化方式約束參數(shù)更新。前2類方法多需要多分支網(wǎng)絡實現(xiàn)，不適用本文單分支順序訓練的架構(gòu)與數(shù)據(jù)。

因此，本文采用第3 種思路將彈性權重鞏固損失（elastic weight consolidation，EWC）[13]引入虹膜融合網(wǎng)絡，使模型可在不同任務間自適應學習參數(shù)，從而避免了模型遺忘舊任務學到的知識，實現(xiàn)持續(xù)學習。EWC的核心思想是利用正則化將前序任務中的重要參數(shù)保護起來，使其不易在新的訓練任務中被更新。其表達式為：

式中，λ為調(diào)節(jié)權重更新的超參數(shù)，θi、θ*i分別代表網(wǎng)絡在當前任務與前序任務學習的參數(shù)。新任務學習的每個參數(shù)都會受到前序任務學習到的參數(shù)值約束。Ωi表示網(wǎng)絡學習到的重要權重，其理論推導為Fisher信息矩陣的對角線項，化簡得：

2.3 網(wǎng)絡設計細節(jié)

所提出的多任務虹膜融合網(wǎng)絡（MTIris-Fusion）由編碼器、解碼器和融合模塊三部分組成。為改善實驗中出現(xiàn)的低照度可見光虹膜圖像噪聲干擾，導致融合結(jié)果中出現(xiàn)的顏色噪聲問題，融合主干網(wǎng)絡采用基于U-Net的編-解碼網(wǎng)絡架構(gòu)。編碼部分是由卷積層和最大池化層堆疊而成的下采樣網(wǎng)絡。逐步縮小特征圖，增加通道數(shù)，使網(wǎng)絡充分學習到全局和局部特征。解碼器部分利用反卷積操作逐步擴大特征圖并減少通道數(shù)從而上采樣至原始尺寸。

在此基礎上進一步改進網(wǎng)絡。首先，取消最大池化操作以減少信息丟失。將編碼-解碼網(wǎng)絡中所有的卷積層的濾波器大小設置3×3，步長為1。為減少訓練過程中ReLU 在負半軸時因梯度為零而導致的局部神經(jīng)元失效現(xiàn)象，將激活函數(shù)由ReLU替換成帶泄露的修正線性單元（leaky rectified linear units，leaky ReLU），使神經(jīng)元在負半軸區(qū)域更偏向于被激活。其公式如下：

式中，xi為輸入，fi(xi)為輸出。激活函數(shù)所固有的非線性因素決定了其負半軸的斜率過大反而會降低效果。因此，在實際訓練中Leaky ReLU在負半軸的斜率ai通常取較小值，本文借鑒文獻[14]中的設計將其斜率設置為0.2。由于輸入圖片歸一化區(qū)間在[-1，1]，在網(wǎng)絡最后一層加入tanh 激活函數(shù)。在編碼部分下采樣層之間插入了密集連接塊Dense Block，實現(xiàn)在層與層之間建立前饋快捷連接，從而在緩解梯度消失的同時促進了特征信息在網(wǎng)絡中的流動。

文中的Dense Block 的結(jié)構(gòu)如圖2 所示，在內(nèi)部每個3×3卷積前設置一個1×1卷積，在減少輸入特征圖的通道數(shù)的同時，通過先降維再升維的過程減少了參數(shù)與計算量，提升了訓練的實時性。不同條件下參數(shù)量計算如表1所示，設輸入特征圖為H×W×C、經(jīng)3×3卷積后輸出通道數(shù)為C″，經(jīng)1×1卷積后輸出通道數(shù)為C′。在加入1×1卷積后參數(shù)量減少了90%左右。

表1 不同條件下參數(shù)量計算Table 1 Calculation of number of parameters under different conditions

另外，在卷積操作之前加入鏡像填充（reflection padding）操作，實驗顯示這有利于減少輸出結(jié)果的邊緣偽影。解碼器為4 層16 倍上采樣，每層由卷積層（convolutional layer）、批標準化層（batch normalization，BN）、反卷積操作組成。在編碼器與解碼器的對應層間建立跳躍連接（skip connection），增強了多尺度的特征融合，不同層間的密集連接在訓練中具有一定的正則化的作用，減少了過擬合的發(fā)生。

文獻[12-18]指出，在可見光虹膜識別中有效特征主要來源于R 通道，與單個R 通道相比，RGB 三通道圖像的識別精度反而有所降低。因此，本文僅選擇可見光虹膜圖像R通道分量與NIR圖像輸入網(wǎng)絡進行融合。

本文設計的融合模塊由特征提取網(wǎng)絡、自適應信息權重生成2部分組成。首先，受遷移學習思想啟發(fā)，特征提取部分采用在ImageNet數(shù)據(jù)集上預訓練的ResNet50網(wǎng)絡對輸入的單通道可見光和近紅外圖像進行特征提取。其次，計算網(wǎng)絡輸出特征圖的梯度值并對其進行Softmax 操作以衡量信息保留度，得到兩個自適應權重ω1、ω2，由自適應權重決定了網(wǎng)絡從不同源圖像學習到的重要特征占比，考慮到可見光與近紅外圖像波長較近，使用常數(shù)c作為縮放因子來放大梯度gI1、gI2的差異。最終自適應權重ω1、ω2計算表達式如下：

上式中，gI1、gI2分別為可見光圖像與近紅外圖像相應特征圖的梯度。最終設計的多任務學習虹膜融合網(wǎng)絡結(jié)構(gòu)如圖3所示。

2.4 損失函數(shù)設計

目前，圖像融合網(wǎng)絡的損失函數(shù)多采用結(jié)構(gòu)相似度損失函數(shù)（SSIM）、MSE或SSIM+MSE的方式[19]。SSIM通過度量亮度、對比度及結(jié)構(gòu)等信息的相似性程度來評價融合圖像的失真程度，它能更好地保留細節(jié)紋理從而使融合結(jié)果更真實，更符合人類視覺感知。

梯度損失函數(shù)能夠更好地保留近紅外圖像中的邊緣和細節(jié)等高頻信息。MAE損失函數(shù)在降噪效果上要優(yōu)于MSE，但二者都忽視了圖像的細節(jié)紋理。而對于虹膜識別來說，紋理細節(jié)的清晰程度決定了特征提取到的關鍵信息數(shù)量。因此，本文設計的損失函數(shù)綜合考慮對可見光圖像的降噪及近紅外豐富高頻信息的保留，將SSIM、MAE、梯度損失函數(shù)三者組合，最終的損失函數(shù)Ls如下：

其中，Lmae為平均絕對誤差損失；Lgrad為梯度損失；Lssim為結(jié)構(gòu)相似性損失；α為比例系數(shù)。

設輸出圖像為O，輸入圖像為I，可見光與近紅外虹膜圖像分別為I1、I2?？偟腟SIM損失Lssim、總的梯度損失Lgrad、總的MAE損失Lmae三項是對輸出圖像與可見光、近紅外圖像各自的SSIM損失、梯度損失、MAE損失分別賦予的上文中的自適應權值，并求其數(shù)學期望得到。表達式如下：

上式中，E[]· 表示求數(shù)學期望，ω1、ω2為根據(jù)源圖像計算得到的自適應權值；SO,I1和SO,I2分別為輸出與可見光圖像的相似度損失、輸出與近紅外圖像的相似度損失。其定義式如下：

式中，I=I1,I2，μI、μO為輸入與融合圖像的均值；σI、σO為輸入圖像與融合圖像的方差；σOI表示輸出結(jié)果與輸入圖像的協(xié)方差；常數(shù)C1、C2為穩(wěn)定系數(shù)。

輸出與輸入的平均絕對誤差損失（MAE）為輸出與原圖的之差的L1范數(shù)，表達式如下：

式中，N代表訓練樣本數(shù)；GO、GI為實際中為提高計算效率通過Sobel 算子計算得到的輸出、輸入圖像的梯度。其定義式如下：

式中，第一項矩陣為水平方向上的Sobel算子，第二項矩陣為垂直方向上的Sobel算子。

因此，結(jié)合前文介紹的多任務融合網(wǎng)絡EWC 損失更新機制，通過最小化損失函數(shù)L 來訓練編碼-解碼網(wǎng)絡，總損失函數(shù)表達式如下：

3 實驗與結(jié)果分析

為驗證融合模型的實際效果，本章分別從主觀視覺效果與客觀質(zhì)量指標兩方面對多組不同光照強度下的虹膜圖像進行實驗和評價。

3.1 實驗設置與網(wǎng)絡訓練

本文實驗的軟硬件環(huán)境為：CPU為Intel?Xeon?Gold 6132 CPU@2.60 GHz；GPU為NVIDIA?T4 16 GB。操作系統(tǒng)為Ubuntu 18.04.5 LTS 64 bit；CUDA版本為10.1；深度學習框架為Tensorflow1.14；Python環(huán)境為3.6。

實驗數(shù)據(jù)選擇香港理工大學提供的可見光與近紅外虹膜數(shù)據(jù)集PolyU Cross Spectral Iris。該數(shù)據(jù)集由209 名東亞個體的6 270 對可見光-近紅外虹膜圖像組成，所有數(shù)據(jù)均已配準和對齊。該數(shù)據(jù)集中包含大量相似樣本，故僅選擇其中168 人的336 組可見光與近紅外配對圖像作為訓練集，其余82組圖像用于測試。另外，還采用文獻[20]提供的多曝光配對圖像數(shù)據(jù)與文獻[21]中的多聚焦配對圖像用于后兩個輔助任務的訓練。

網(wǎng)絡訓練及超參數(shù)設置：由于可用于訓練的圖像對較少，本文將訓練數(shù)據(jù)切割成大小為128×128 的補丁塊，并進行隨機翻轉(zhuǎn)和放大的數(shù)據(jù)增強處理，最后，為便于數(shù)據(jù)轉(zhuǎn)移與讀取，將其打包成HDF5格式讀取。初始學習率lr設置為0.001 并采用自適應策略更新，采用RMSProp 優(yōu)化器更新網(wǎng)絡的權值，損失函數(shù)中控制平衡的超參數(shù)α=20，λ=80 000、batch size 為32、訓練的epoch參數(shù)分別設置為[3，2，2]。

為證明本文提出的引入自適應權重與EWC的損失函數(shù)的有效性，將所提網(wǎng)絡與采用傳統(tǒng)的MAE 損失函數(shù)的網(wǎng)絡進行對比（傳統(tǒng)的MAE 損失函數(shù)無自適應權重機制），訓練過程中的不同損失函數(shù)下降曲線比較如圖4 所示，采用本文損失函數(shù)的網(wǎng)絡明顯收斂速度更快，損失值更低，訓練過程更穩(wěn)定，更具優(yōu)勢。

3.2 主觀質(zhì)量評價

本節(jié)分別對比了高照度、低照度場景下的可見光與近紅外虹膜圖像在5 種不同方法下的視覺融合效果。部分實驗樣本分為3 組展示，如圖5～7 所示。為更直觀地展示，在圖中對重點區(qū)域進行標注。

觀察圖5 和圖6 可知，算法ADF、GFF、CBF 融合結(jié)果的眼部結(jié)構(gòu)形態(tài)更接近可見光圖像，與可見光原圖相比，虹膜紋理在主觀視覺上顯著程度均有一定提升，過曝光現(xiàn)象得到不同程度的改善。這也在一定程度上反映了雙光譜虹膜融合對圖像質(zhì)量的增強作用。然而，圖5和圖6中（c）～（f）的圖像融合結(jié)果大多存在局部模糊，其中CBF算法的融合結(jié)果中的噪點較多甚至出現(xiàn)大面積失真現(xiàn)象。由圖7 的第三組低照度樣本實驗結(jié)果可知，本文方法還較好地均衡了可見光與近紅外虹膜圖像的亮度，起到了補光作用。

如圖5～7 所示，相比于其他算法，本文方法的結(jié)果不僅在形態(tài)上與近紅外虹膜圖像相似而且虹膜區(qū)域的結(jié)構(gòu)紋理在徑向與軸向分布上呈現(xiàn)更加清晰、細膩的特點。與近紅外源圖像相比，經(jīng)本文方法融合后的虹膜邊緣部分的顏色紋理信息更加豐富，輪廓更深，層次感更強。由此可見，本方法充分融合了可見光虹膜圖像中所包含的顏色紋理信息。另外，其他融合算法結(jié)果中均存在可見光與近紅外虹膜圖像中的反射光斑，本文方法在可見光光斑區(qū)域融入了近紅外圖像對應區(qū)域的信息，進而較好地抑制了可見光圖像中的補光燈反射光斑。綜上所述，本文提出的方法比其他融合算法在主觀視覺評價上效果更好，更具優(yōu)勢。

3.3 客觀質(zhì)量評價

結(jié)構(gòu)紋理與顏色信息是影響融合后虹膜圖像質(zhì)量的關鍵因素，因此，融合結(jié)果中包含源圖像信息量的豐富程度是衡量虹膜融合質(zhì)量的重點。此外，許多融合算法視覺效果較為接近，僅考慮主觀評價結(jié)果易受人為因素影響。因此，本文選擇信息熵、標準差、峰值信噪比、空間頻率、互信息5種評價指標對融合結(jié)果進行客觀質(zhì)量評價，其計算公式如下：

以上5種評價指標均為正指標，即值越大反映融合效果愈優(yōu)。表2～3 分別為虹膜圖像的高照度組與低照度組的不同融合方法在上述5 個指標上的客觀評價對比結(jié)果。其中，標注加粗的數(shù)據(jù)為相應指標的最優(yōu)值，標注下劃線的數(shù)據(jù)為次優(yōu)值。

表2 高照度組對比實驗的客觀評價結(jié)果Table 2 Objective evaluation results of contrast experiment in high illumination group

分析表2、表3可知，本文方法在高照度虹膜圖像上的融合MI 指標明顯優(yōu)于其他融合方法，SD 指標和EN指標取得了次好值，接近最好值。由于CBF算法融合結(jié)果出現(xiàn)噪聲和失真其SF 指標遠高于其他幾種方法，將其作為異常值考慮，比較時予以剔除。因此，本文方法的SF 指標實際為第二，略低于GFF 算法。對于暗光環(huán)境的低照度虹膜圖像，本文方法在EN 指標達到最優(yōu)且在SD、SF、MI 三個指標上均取得了第二。結(jié)合主客觀質(zhì)量評價結(jié)果分析，PSNR 指標衡量原圖與融合結(jié)果的接近程度，值越大越接近清晰度越高。本文方法在PSNR指標上未優(yōu)于其他幾種方法可能是由于可見光虹膜圖像中的反射光斑面積相對較大，融合后該區(qū)域信息由近紅外圖像的對應信息填補，進而導致了融合圖像重建信息與原圖的差異。另一方面，在存在光斑差異的前提下所提方法在PSNR 指標上仍取得了較好值。反映出算法對于原圖的整體還原度較高且有效地去除了可見光虹膜圖像中的光斑，相對于其他方法優(yōu)勢明顯。

表3 低照度組對比實驗的客觀評價結(jié)果Table 3 Objective evaluation results of contrast experiment in low illumination group

為客觀評價本文所提出方法的計算效率，如表4所示，分別統(tǒng)計5種方法在本文采用的虹膜圖像數(shù)據(jù)上的平均單張融合時間。

分析表4可知，本文提出的方法在可見光-近紅外虹膜圖像融合任務上的單張平均計算時間為3.27 s，略高于ADF 算法和基于深度學習的Densefuse 方法，比GFF算法和CBF算法的計算復雜度更低，具有一定的優(yōu)勢。

表4不同方法在虹膜圖像上的計算復雜度Table 4 Computational complexity of different methods on iris images

4 結(jié)束語

本文提出了一種基于多任務學習的端到端圖像融合網(wǎng)絡MTIris-Fusion并將其用于可見光-近紅外虹膜圖像融合。首先，將源圖像中包含的信息量作為基準獲取自適應的信息量指標，并且該自適應指標可學習，即可隨著網(wǎng)絡的訓練而更新，從而保證了融合結(jié)果與原圖的相似度。其次，在多任務框架下借助學習多曝光、多聚焦任務輔助可見光與近紅外圖像融合任務，實驗結(jié)果表明，本文方法融合結(jié)果在多數(shù)客觀評價指標上表現(xiàn)靠前，紋理細節(jié)更加豐富清晰，輪廓顏色紋理更深，虹膜邊緣層次分明，較好抑制了可見光圖像中存在的反射光斑噪聲。通過對可見光與近紅外兩種不同頻段成像條件下的虹膜圖像進行雙光譜融合，使兩種虹膜圖像互補的結(jié)構(gòu)紋理信息與色素紋理信息，增加融合圖像中包含的總信息量，增強了虹膜圖像質(zhì)量。下一步的工作可研究如何消除近紅外圖像中的小光斑目標，還可研究結(jié)合多任務學習雙光譜融合的虹膜識別系統(tǒng)構(gòu)建問題。