摘 要：為了提高生物特征識(shí)別系統(tǒng)的準(zhǔn)確性和魯棒性，本文研究基于計(jì)算機(jī)視覺的虹膜—人臉多特征融合識(shí)別方法。本文對(duì)面部圖像中虹膜區(qū)域進(jìn)行提取以及預(yù)處理，采用對(duì)比度增強(qiáng)和歸一化操作，加強(qiáng)了特征提取的一致性，提升了圖像質(zhì)量。為了獲取豐富的深度特征，本文使用Vision Transformer模型對(duì)預(yù)處理后的虹膜和面部圖像進(jìn)行特征提取。利用多頭注意力機(jī)制將虹膜和面部的多模態(tài)特征信息進(jìn)行融合，再利用全連接層進(jìn)行分類識(shí)別。試驗(yàn)結(jié)果表明，該方法識(shí)別性能優(yōu)秀，識(shí)別準(zhǔn)確性顯著提升。

關(guān)鍵詞：計(jì)算機(jī)視覺；Vision Transformer；多特征融合；虹膜識(shí)別；人臉識(shí)別

中圖分類號(hào)：TP 319" " " " " " 文獻(xiàn)標(biāo)志碼：A

生物特征識(shí)別技術(shù)在現(xiàn)代信息安全和身份認(rèn)證方面發(fā)揮了重要的作用，其廣泛應(yīng)用于個(gè)人身份識(shí)別、訪問控制和電子支付等領(lǐng)域。傳統(tǒng)的人臉識(shí)別和虹膜識(shí)別技術(shù)各有其優(yōu)勢(shì)和不足，在單獨(dú)使用的過程中不能在復(fù)雜環(huán)境中保持高精度[1-2]。人臉識(shí)別應(yīng)用廣泛，但是易受光照、姿態(tài)和表情變化影響。虹膜識(shí)別具有高唯一性和穩(wěn)定性，在準(zhǔn)確性和防偽性方面表現(xiàn)優(yōu)異，但是其使用環(huán)境要求較高。

為了彌補(bǔ)單一生物特征識(shí)別方法的不足，本文提出虹膜與人臉的多特征融合識(shí)別方法，該方法可以提升系統(tǒng)的魯棒性和識(shí)別精度，已成為研究熱點(diǎn)[3-5]。本文提出了一種基于計(jì)算機(jī)視覺的虹膜—人臉多特征融合識(shí)別方法。對(duì)面部圖像和虹膜圖像進(jìn)行預(yù)處理和特征提取，使用Vision Transformer模型來獲取深度特征表示，利用多頭注意力機(jī)制融合多模態(tài)特征信息，完成高效的分類識(shí)別。試驗(yàn)結(jié)果表明，該方法表現(xiàn)優(yōu)異，識(shí)別系統(tǒng)的性能顯著提升。

1 圖像獲取與預(yù)處理

1.1 虹膜區(qū)域圖像獲取

本研究采用預(yù)訓(xùn)練好的YOLO模型進(jìn)行人眼檢測(cè)。YOLO模型具有高效的目標(biāo)檢測(cè)能力，能夠在復(fù)雜背景和多種光照條件下準(zhǔn)確定位人眼區(qū)域。使用YOLO模型輸出人眼邊界框，從原始圖像中裁剪人眼區(qū)域。在檢測(cè)的人眼區(qū)域內(nèi)使用Daugman微積分算子精確定位虹膜的內(nèi)外圓邊界。Daugman計(jì)算圖像中像素值變化最大的圓形邊界來確定虹膜的內(nèi)外邊界，對(duì)虹膜區(qū)域進(jìn)行有效分割。具體來說，Daugman求解積分—微分方程來確定最佳圓形邊界，采用這種方法不僅能夠準(zhǔn)確分割虹膜區(qū)域，還能夠解決光照和噪聲引起的圖像失真問題。基于Vision Transformer的虹膜—人臉多特征融合識(shí)別結(jié)構(gòu)如圖1所示。

1.2 預(yù)處理階段

在預(yù)處理階段，對(duì)虹膜區(qū)域圖像和面部區(qū)域圖像分別進(jìn)行詳細(xì)的預(yù)處理操作，提高圖像質(zhì)量，為后續(xù)特征提取和識(shí)別提供更好的數(shù)據(jù)基礎(chǔ)。對(duì)虹膜區(qū)域圖像的預(yù)處理主要包括灰度化、對(duì)比度增強(qiáng)和歸一化等步驟?；叶然瘜⒃疾噬珗D像轉(zhuǎn)換為灰度圖像以減少計(jì)算復(fù)雜度，并專注于亮度信息的處理?；叶然幚韺⒚總€(gè)像素的紅、綠和藍(lán)（RGB）三色通道值按照一定比例（例如加權(quán)平均法）轉(zhuǎn)換為單一的灰度值，簡(jiǎn)化了圖像的表示形式。經(jīng)過灰度化處理后，圖像的數(shù)據(jù)維度從三維（RGB）降至二維（灰度），降低了處理復(fù)雜度?；叶葓D像保留原始圖像的亮度信息，對(duì)后續(xù)的圖像處理和分析來說非常重要。

經(jīng)過灰度化處理后使用自適應(yīng)直方圖均衡化（Contrast Limited Adaptive Histogram Equalization，CLAHE）的方法增強(qiáng)虹膜圖像的對(duì)比度，使虹膜紋理更加清晰可見，提高在不同光照條件下獲取的圖像質(zhì)量。傳統(tǒng)的直方圖均衡化方法重新分配圖像的灰度值，使灰度值分布更加均勻，增強(qiáng)圖像的對(duì)比度。但是其有一個(gè)缺點(diǎn)，就是在光照不均勻的圖像中可能導(dǎo)致噪聲變大和過度增強(qiáng)。因此，本文采用CLAHE將輸入圖像劃分為多個(gè)不重疊的小塊（tiles），對(duì)每個(gè)小塊單獨(dú)進(jìn)行直方圖均衡化處理，計(jì)算其直方圖并調(diào)整像素值。這樣可以在局部區(qū)域內(nèi)增強(qiáng)對(duì)比度，不會(huì)影響其他區(qū)域。當(dāng)均衡化后的小塊再拼接回整體圖像時(shí)，為避免區(qū)域邊界出現(xiàn)偽影，采用雙線性插值進(jìn)行平滑處理。對(duì)每個(gè)像素進(jìn)行插值計(jì)算，結(jié)合相鄰小塊的均衡化結(jié)果，使過渡更自然。這種方法有效增強(qiáng)了圖像對(duì)比度，同時(shí)避免過度增強(qiáng)帶來的噪聲放大問題。CLAHE能夠調(diào)整不同小塊的對(duì)比度增強(qiáng)程度，在光照不均勻的情況下也能提高圖像質(zhì)量。

歸一化處理是圖像預(yù)處理中的關(guān)鍵步驟，將像素值縮放至標(biāo)準(zhǔn)范圍內(nèi)（例如0～1），以減少光照變化和其他環(huán)境因素對(duì)圖像處理的影響，使后續(xù)特征提取算法能夠在統(tǒng)一的尺度中工作，提高處理的一致性和魯棒性。具體的歸一化過程包括以下2個(gè)步驟。1）遍歷圖像的所有像素，找到圖像的最小像素值（min）和最大像素值（max），這些值的作用是確定圖像中像素值的范圍。2）利用線性變換將原始像素值縮放至0～1，如公式（1）所示。

Inormalized=（I-min）/（max-min） " " " " "（1）

式中： Inormalized為歸一化后的像素值；I為原始像素值；min和max分別為圖像的最小和最大像素值。將所有像素值標(biāo)準(zhǔn)化，保證輸入特征提取算法的圖像數(shù)據(jù)在同一個(gè)尺度中，減少由不同圖像間亮度和對(duì)比度差異引起的特征提取偏差，提升算法的穩(wěn)定性。

面部區(qū)域圖像預(yù)處理也采取類似的處理步驟。首先，將面部圖像轉(zhuǎn)換為灰度圖像，保留亮度信息以減少處理復(fù)雜度。其次，使用CLAHE方法提高面部圖像的對(duì)比度，不僅突出了面部特征（例如眼睛、鼻子和嘴巴等）的細(xì)節(jié)，使其在不同光照條件下更容易檢測(cè)和識(shí)別，而且避免過度增強(qiáng)帶來的噪聲放大問題，特別適用于光照不均勻的圖像。歸一化處理將像素值調(diào)整至統(tǒng)一范圍，減少光照、陰影和反射等因素帶來的影響，提高圖像處理的一致性和魯棒性。

2 模型構(gòu)成

在預(yù)處理階段后，模型主要包括特征提取、特征融合和分類識(shí)別3個(gè)關(guān)鍵部分。下面將詳細(xì)介紹這些部分的原理。

采用Vision Transformer（ViT）模型對(duì)預(yù)處理后的虹膜和面部圖像進(jìn)行特征提取。Vision Transformer是一種基于Transformer架構(gòu)的圖像處理模型，能夠有效捕捉圖像中的全局特征。其特征提取過程如下。

將輸入圖像（大小為H×W×C，C為輸入圖像的通道數(shù)）劃分為固定大小的非重疊小塊（patches），每個(gè)小塊展平為一個(gè)向量。假設(shè)每個(gè)小塊的大小為P×P（P為patches的邊長(zhǎng)），輸入圖像可以劃分為N=H×W/P2個(gè)小塊，H和W分別為輸入圖像的高度和寬度。對(duì)每個(gè)小塊進(jìn)行線性變換，將其映射至高維特征空間。如公式（2）所示。

z0=[x1E；x2E；…；xNE]+Epos " " " " " " " " "（2）

式中：x1為第i個(gè)小塊；E為可訓(xùn)練的線性投影矩陣；Epos為位置編碼，其作用是保留位置信息。將線性嵌入后的特征向量輸入Transformer編碼器中進(jìn)行多層處理。每層包括多頭自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)。注意力機(jī)制的計(jì)算過程如公式（3）所示。

（3）

式中：Q為查詢向量；K為鍵向量；V為值向量；Softmax為歸一化函數(shù)，其作用是將輸入的值轉(zhuǎn)換為概率分布；為縮放因子，其作用是調(diào)節(jié)點(diǎn)積結(jié)果的數(shù)值范圍。

為了充分利用虹膜和面部的多模態(tài)特征信息，采用多頭注意力機(jī)制進(jìn)行特征融合。多頭注意力機(jī)制可以捕捉不同特征之間的相互關(guān)系，并將其綜合，形成更為全面的特征表示。將虹膜和面部圖像的特征向量進(jìn)行連接，形成綜合特征向量Z。對(duì)Z應(yīng)用多頭注意力機(jī)制，多頭注意力機(jī)制的計(jì)算過程如公式（4）所示。

MultiHead（Q，K，V）=Concat（head1，…，headi）W O" " " " " " " " " （4）

式中：MultiHead為多頭注意力機(jī)制；Concat為拼接操作；headi為注意力頭，其計(jì)算方式與單頭注意力相同；W O為一個(gè)線性變換矩陣，通常稱為輸出權(quán)重矩陣。

完成特征融合后，將融合后的特征輸入至全連接層進(jìn)行分類識(shí)別。全連接層的作用是將高維特征映射至類別空間，并輸出每個(gè)類別的概率。融合特征向量 Zf輸入全連接層，進(jìn)行線性變換和激活函數(shù)處理，如公式（5）所示。

y=Softmax（ZfW+b） " " " " " "（5）

式中：y為輸出向量，表示經(jīng)過模型處理后的最終輸出；W為權(quán)重矩陣；b為偏置向量；Softmax函數(shù)的作用是將輸出映射至概率分布。

上述步驟構(gòu)建了1個(gè)基于Vision Transformer的模型，該模型能夠有效提取和融合虹膜與面部的多模態(tài)特征信息，并利用全連接層進(jìn)行分類識(shí)別。

3 試驗(yàn)設(shè)置與分析

3.1 數(shù)據(jù)集

本文采用中科院發(fā)布的CASIA-Iris-Distance數(shù)據(jù)集，在感興趣的圖像區(qū)域內(nèi)，該數(shù)據(jù)集同時(shí)包括雙眼虹膜和人臉。該數(shù)據(jù)集包括142個(gè)樣本類，共2 567張圖像。在試驗(yàn)中將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，按8∶ 2的比例進(jìn)行分割，即訓(xùn)練集包括2 054張圖像，測(cè)試集包括513張圖像。為了增強(qiáng)模型的泛化能力，在訓(xùn)練集中采取數(shù)據(jù)增強(qiáng)操作，包括隨機(jī)旋轉(zhuǎn)、水平翻轉(zhuǎn)、光照變化和噪聲添加等。隨機(jī)旋轉(zhuǎn)操作過程是隨機(jī)選擇角度對(duì)圖像進(jìn)行旋轉(zhuǎn)，使模型能夠更好地適應(yīng)不同角度的虹膜和面部特征。水平翻轉(zhuǎn)操作能夠增加數(shù)據(jù)的多樣性，防止模型依賴圖像的某些固定方向。光照變化是調(diào)整圖像的亮度和對(duì)比度，使模型在不同光照條件下具有更好的魯棒性。噪聲添加是在圖像中加入隨機(jī)噪聲，增強(qiáng)模型在處理低質(zhì)量圖像過程中的表現(xiàn)能力。

3.2 試驗(yàn)細(xì)節(jié)

本文采用批次大小為32、初始學(xué)習(xí)率為0.001的配置對(duì)模型進(jìn)行訓(xùn)練。訓(xùn)練過程共進(jìn)行100個(gè)輪次，優(yōu)化器采用Adam算法。采用8層Transformer編碼器，每層包括8個(gè)多頭注意力機(jī)制。多頭注意力機(jī)制可以捕捉輸入特征的不同維度和模式，增強(qiáng)模型對(duì)復(fù)雜特征的建模能力。為了防止過擬合，在研究中使用了早停技術(shù)。在驗(yàn)證集中，模型性能連續(xù)10個(gè)輪次不提升，訓(xùn)練過程將提前停止。這個(gè)策略能夠有效避免模型在過長(zhǎng)時(shí)間的訓(xùn)練過程中陷入過擬合。在訓(xùn)練過程中，本文采用學(xué)習(xí)率衰減策略，在驗(yàn)證集中，模型性能在一定輪次內(nèi)不再提升，模型的學(xué)習(xí)率將按一定比例進(jìn)行衰減，以保證模型能夠更好地收斂到最優(yōu)解。為了提高模型的魯棒性和泛化能力，在訓(xùn)練過程中，本文引入L2正則化技術(shù)，在損失函數(shù)中加入權(quán)重的平方和，限制模型參數(shù)的大小，防止過擬合。

3.3 評(píng)價(jià)指標(biāo)

在模型的性能評(píng)估指標(biāo)方面，本文采用準(zhǔn)確率（Accuracy）和F1得分 （F1 Score）。準(zhǔn)確率是最常用的分類性能指標(biāo)之一，表示模型預(yù)測(cè)正確的樣本數(shù)占總樣本數(shù)的比例。F1 Score綜合了精確率（Precision）和召回率（Recall），精確率表示模型預(yù)測(cè)為正類的樣本中實(shí)際為正類的比例，召回率表示實(shí)際為正類的樣本中被正確預(yù)測(cè)為正類的比例。結(jié)合這2個(gè)指標(biāo)進(jìn)行分析，在數(shù)據(jù)集存在類別不平衡的情況下，F(xiàn)1 Score能夠更全面地評(píng)估模型在分類任務(wù)中的表現(xiàn)。F1 Score高表明模型不僅具有較高的精確率，還具有較高的召回率，保證分類結(jié)果的準(zhǔn)確性和全面性。

3.4 結(jié)果分析

不同模型的Accuracy和F1 Score測(cè)試結(jié)果見表1?！昂缒ぁ北硎灸Ｐ蛢H使用虹膜特征進(jìn)行識(shí)別；“人臉”表示模型僅使用人臉特征進(jìn)行識(shí)別。由表1可知，單獨(dú)使用虹膜特征或人臉特征的模型在識(shí)別性能方面存在差異，但是均顯示各自特征在身份識(shí)別中的有效性。當(dāng)僅使用一種生物特征時(shí)，模型的識(shí)別性能有限，不能充分利用多模態(tài)特征的優(yōu)勢(shì)。

“無多頭注意力”表示當(dāng)融合虹膜和人臉特征時(shí)，模型未使用多頭注意力機(jī)制，僅進(jìn)行簡(jiǎn)單拼接。盡管這種方法已經(jīng)顯著提高了模型的識(shí)別性能，Accuracy為94.24%，F(xiàn)1 Score為95.26%，但是缺乏對(duì)不同特征之間復(fù)雜交互關(guān)系的深度挖掘，特征融合的效果比較差。簡(jiǎn)單拼接的方法無法充分捕捉虹膜和人臉特征之間的互補(bǔ)信息，導(dǎo)致模型未能充分利用多模態(tài)特征的優(yōu)勢(shì)?！巴暾Ｐ汀北硎驹谌诤虾缒ず腿四樚卣鞯倪^程中使用了多頭注意力機(jī)制。多頭注意力機(jī)制捕捉不同特征之間的深層次交互關(guān)系，提升了模型的識(shí)別性能。使用多頭注意力機(jī)制的模型Accuracy為98.47%，F(xiàn)1 Score為98.58%，與其他模型配置相比明顯更強(qiáng)。這個(gè)結(jié)果表明，多頭注意力機(jī)制不僅能夠充分利用虹膜和人臉特征各自的優(yōu)勢(shì)，還能夠有效整合兩者之間的信息。在融合過程中，多頭注意力機(jī)制能夠觀察不同特征的細(xì)節(jié)和全局信息，提升模型在各種復(fù)雜場(chǎng)景中的識(shí)別能力和魯棒性。

綜上所述，試驗(yàn)結(jié)果驗(yàn)證了多模態(tài)生物特征融合的有效性。將虹膜和人臉特征進(jìn)行結(jié)合，利用多頭注意力機(jī)制進(jìn)行深度融合，模型在識(shí)別任務(wù)中表現(xiàn)最佳，準(zhǔn)確性較高，魯棒性較強(qiáng)。在識(shí)別任務(wù)中，單獨(dú)使用虹膜特征或人臉特征的模型均具有一定有效性，但是性能受限于單一特征的信息量和穩(wěn)定性；簡(jiǎn)單拼接虹膜和人臉特征的方法能夠顯著提升識(shí)別性能，但是不足以充分挖掘多模態(tài)特征之間的復(fù)雜關(guān)系；引入多頭注意力機(jī)制的完整模型在特征融合過程中能夠有效捕捉虹膜和人臉特征之間的深層次交互關(guān)系，顯著提升模型的Accuracy和F1 Score，性能更優(yōu)越。

4 結(jié)語(yǔ)

本文提出了一種虹膜—人臉多特征融合識(shí)別方法，使用Vision Transformer模型和多頭注意力機(jī)制對(duì)虹膜和人臉特征進(jìn)行高效提取和融合。試驗(yàn)結(jié)果表明，采用多模態(tài)特征融合和多頭注意力機(jī)制的完整模型在Accuracy和F1 Score方面均取得了最佳表現(xiàn)，與使用單一特征或不采用多頭注意力機(jī)制的模型相比，性能更優(yōu)越。本文為生物特征識(shí)別領(lǐng)域提供了新的思路和方法，為實(shí)際應(yīng)用提供更可靠和高效的解決方案。未來將致力于進(jìn)一步優(yōu)化模型結(jié)構(gòu)，提高實(shí)時(shí)性能，探索更多的多模態(tài)融合方法，以應(yīng)對(duì)更廣泛的應(yīng)用場(chǎng)景。

參考文獻(xiàn)

[1]ALAY N，ALBAITY H H.Deep learning approach for multimodal"biometric recognition system based on fusion of iris， face， and finger vein traits [J]. Sensors，2020，20（19）：5523-5539.

[2]DINCA L M，HANCKE G.The fall of one， the rise of many：A survey on multi-biometric fusion methods[J].IEEE Access，2017，5（99）：6247-6289.

[3]王風(fēng)華，韓九強(qiáng)，姚向華.一種基于虹膜和人臉的多生物特征融合方法[J].西安交通大學(xué)學(xué)報(bào)，2008，42（2）：133-137.

[4]肖珂，汪訓(xùn)昌，何云華，等.基于深度學(xué)習(xí)的虹膜人臉多特征融合識(shí)別[J].計(jì)算機(jī)工程與設(shè)計(jì)，2020，41（4）：1070-1073.

[5]汪訓(xùn)昌.基于人臉和虹膜融合的身份識(shí)別技術(shù)研究[D].北京：北方工業(yè)大學(xué)，2019.

基金項(xiàng)目：公安部科技計(jì)劃項(xiàng)目“涉毒重點(diǎn)人員數(shù)字化物聯(lián)監(jiān)測(cè)設(shè)備”（項(xiàng)目編號(hào)：2023YY21）。