摘 要：本文基于ISO/IEC TR 24722：2015《信息技術(shù)—生物特征識(shí)別—多模態(tài)和其他多生物特征融合》，針對(duì)當(dāng)下單一生物特征識(shí)別技術(shù)的局限性，對(duì)多模態(tài)和其他多生物特征識(shí)別技術(shù)及其分類進(jìn)行了研究，給出了通用的多生物特征識(shí)別系統(tǒng)模型，比較了不同生物識(shí)別特征呈現(xiàn)方法，并對(duì)不同生物識(shí)別特征的相關(guān)性進(jìn)行了探討。

關(guān)鍵詞：信息技術(shù)；生物特征識(shí)別；多模態(tài)

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2018）05-0189-03

Research on Multimodal and Multi Biometric Fusion of Biometrics System

PEI Lunpeng，GAO Jian

（China Electronics Standardization Institute，Beijing 100007，China）

Abstract：This paper is based on the ISO/IEC TR 24722：2015“information technology—biometric identification—multimodal and other multi biological feature fusion”. Aiming at the limitations of the present single biometric identification technology，this paper researches on the multi-modal and other multi biological feature recognition technology and its classification，and gives the universal multi biological feature recognition system model. This paper compares different biometric feature presentation methods and discusses the correlation of different biometric features.

Keywords：information technology；biometrics；multimodality

0 引 言

隨著信息技術(shù)的不斷發(fā)展，生物特征識(shí)別技術(shù)已經(jīng)被廣泛地用于金融支付、個(gè)人多重身份認(rèn)證排查和航空安全檢查等領(lǐng)域。對(duì)于某些生物特征識(shí)別具體的應(yīng)用場(chǎng)景，我們現(xiàn)階段還很難通過(guò)使用單一生物特征識(shí)別技術(shù)來(lái)滿足它們對(duì)身份識(shí)別技術(shù)性能的要求。

利用完全獨(dú)立的生物特征識(shí)別傳感器、不同的識(shí)別算法或多種生物特征類型采集得到的多模態(tài)生物特征測(cè)量數(shù)據(jù)，通?？梢蕴岣呱锾卣髯R(shí)別的技術(shù)性能并降低風(fēng)險(xiǎn)。也就是說(shuō)性能水平的提高并不完全需要獲取所有的生物特征測(cè)量值，而是接受/拒絕閾值的整體決策下僅根據(jù)任意數(shù)量的生物特征測(cè)量值即可得到識(shí)別結(jié)果。

多模態(tài)生物特征識(shí)別系統(tǒng)為眾多生物特征識(shí)別系統(tǒng)類型中的一種，特點(diǎn)在于各模態(tài)對(duì)應(yīng)各自不同的測(cè)量方法并給出一個(gè)分?jǐn)?shù)值。實(shí)現(xiàn)分?jǐn)?shù)級(jí)的結(jié)果融合，通常需要生物特征的真實(shí)與虛假分布信息，比如：在一個(gè)手機(jī)的移動(dòng)支付場(chǎng)景中，使用指紋和本地驗(yàn)證作為前置驗(yàn)證，而使用人臉識(shí)別作為后置驗(yàn)證，通過(guò)這一方法，我們可以根據(jù)生物特征的真實(shí)與虛假信息的分布，提升手機(jī)移動(dòng)支付的安全級(jí)別。

ISO/IEC TR 24722：2015《信息技術(shù)—生物特征識(shí)別—多模態(tài)和其他多生物特征融合》[1]給出了描述和分析多模態(tài)和其他生物特征融合的概念以及方法，討論了建立多生物特征識(shí)別系統(tǒng)的必要性、可行途徑及其標(biāo)準(zhǔn)化。

本文以ISO/IEC TR 24722：2015為基礎(chǔ)進(jìn)行了相應(yīng)的研究。

1 多模態(tài)和其他多生物特征識(shí)別系統(tǒng)的概述

多模態(tài)或多生物特征識(shí)別通常是指以某種組合形式使用多生物特征類型、多傳感器、多實(shí)例或（和）多算法，并得到一個(gè)特定的生物特征識(shí)別或驗(yàn)證結(jié)果。多樣本、多匹配分?jǐn)?shù)或多匹配決策的組合方法可以非常簡(jiǎn)單也可以特別復(fù)雜。

多生物特征識(shí)別的概念出現(xiàn)于20世紀(jì)70年代，并在當(dāng)時(shí)已完成部署和測(cè)試。那時(shí)，融合方法被視為未來(lái)生物特征識(shí)別系統(tǒng)必須滿足的一項(xiàng)需求。

人們廣泛認(rèn)為，多生物特征融合方法不僅可以通過(guò)降低錯(cuò)誤接受率來(lái)提高安全性，而且可以通過(guò)降低錯(cuò)誤拒絕率來(lái)提高使用便捷性。不過(guò)，在當(dāng)時(shí)看來(lái)這些多模態(tài)系統(tǒng)無(wú)法投入實(shí)際應(yīng)用。

然而，始于20世紀(jì)80年代的指紋自動(dòng)識(shí)別系統(tǒng)（AFISs）之所以成功獲得大規(guī)模推廣應(yīng)用，多生物特征融合概念及其相關(guān)方法的提出功不可沒。至今為止，多模態(tài)技術(shù)仍沒有真正用于AFIS系統(tǒng)。然而標(biāo)準(zhǔn)中討論的大多數(shù)已經(jīng)成功實(shí)現(xiàn)的融合方法僅使用了指紋數(shù)據(jù)的融合。AFISs中采用的部分融合方法如下：

——圖像（AKA樣本）融合：由掃描設(shè)備上的一系列平壓圖像生成單一的“滾動(dòng)”圖像；

——提取每幅指紋圖像的多重特征進(jìn)行模板融合；

——多實(shí)例融合：融合十根手指的指紋；

——多呈現(xiàn)融合：融合滾動(dòng)和平壓指紋；

——面向高效率（成本、計(jì)算復(fù)雜度及吞吐率）的算法融合；比較器一般用作計(jì)算復(fù)雜度逐漸遞增的一系列過(guò)濾器，作為決策和分?jǐn)?shù)級(jí)融合的混合實(shí)現(xiàn)；

——面向高精度（降低錯(cuò)誤接受率/錯(cuò)誤拒絕率，將敏感度降至低質(zhì)量數(shù)據(jù)級(jí)別）的算法融合；匹配器與分?jǐn)?shù)融合并行使用。

融合方法能提高精度和效率，從而得以促成指紋自動(dòng)識(shí)別系統(tǒng)的應(yīng)用。

迄今為止，多生物特征識(shí)別研究的重點(diǎn)在于改善錯(cuò)誤接受率及錯(cuò)誤拒絕率。也可以提高識(shí)別技術(shù)的可用性、安全性或精確度。此外，多生物特征識(shí)別旨在降低無(wú)用戶配合的生物識(shí)別系統(tǒng)（如：視頻監(jiān)控系統(tǒng)）的注冊(cè)失敗率。多生物特征識(shí)別在即使只獲取所需生物識(shí)別特征樣本子集的情況下也能做出識(shí)別決策。

為進(jìn)一步闡明多生物特征各類別之間的區(qū)別，表1說(shuō)明了這些類別之間本質(zhì)上的差別。關(guān)于各類識(shí)別技術(shù)其融合對(duì)象的關(guān)鍵設(shè)計(jì)以加粗方式表示。

（1）多特征類型。從單一或多個(gè)傳感器捕獲兩個(gè)或更多不同的生物識(shí)別特征模態(tài)的生物特征識(shí)別系統(tǒng)。例如，一個(gè)結(jié)合人臉和虹膜信息的生物特征識(shí)別的系統(tǒng)可看作是一個(gè)“多特征類型”系統(tǒng)，無(wú)論人臉和虹膜圖像是否由不同的成像設(shè)備采集。不過(guò)，并非一定要將識(shí)別方式進(jìn)行數(shù)量上的組合疊加。例如，一個(gè)結(jié)合聲音和指紋識(shí)別的系統(tǒng)可看作是“多特征類型”，即使完成識(shí)別只需要用到其中任意一種模態(tài)特征類型。

（2）多算法。通過(guò)一個(gè)傳感器采集樣本，使用兩個(gè)或兩個(gè)以上算法進(jìn)行樣本處理。這種技術(shù)可以應(yīng)用于任何特征類型。其理論上最大的好處是利用了完全不同且原理獨(dú)立的多種算法。例如，生物樣本的特征提?。ㄖ讣y與手指細(xì)節(jié)）或比對(duì)方法（比對(duì)細(xì)節(jié)的不同算法）。

（3）多實(shí)例。使用一種或多種傳感器獲取同一生物識(shí)別特征的兩個(gè)或更多不同的實(shí)例。例如來(lái)自不同手指的圖像應(yīng)被稱作多實(shí)例（而不是多模態(tài)）。然而不同的采樣對(duì)象，如面部和虹膜圖像序列幀應(yīng)被稱作多呈現(xiàn)（而不是多實(shí)例）。

（4）多傳感器。使用兩個(gè)或多個(gè)不同的傳感器采集一個(gè)生物識(shí)別特征的相同實(shí)例。此處，多樣本的處理可采用一種算法或多種算法的融合。例如，人臉識(shí)別可以使用可見光和紅外攝像機(jī)，并配合特定頻率（或多頻率）的紅外光源。

針對(duì)具體應(yīng)用，需考慮和權(quán)衡許多系統(tǒng)設(shè)計(jì)方面的內(nèi)容，如性能改進(jìn)因素（例如，識(shí)別或驗(yàn)證的準(zhǔn)確性、系統(tǒng)速度和吞吐量、魯棒性和資源需求）、接受度、法律規(guī)避、易用性、運(yùn)營(yíng)成本、環(huán)境適應(yīng)性和群體彈性。

對(duì)于一個(gè)大型的人臉識(shí)別系統(tǒng)尤其如此，系統(tǒng)設(shè)計(jì)方面要考慮的更多，如運(yùn)維、可靠性、系統(tǒng)購(gòu)置成本、生命周期成本以及系統(tǒng)對(duì)已識(shí)別常見攻擊手段的預(yù)定響應(yīng)。這些都會(huì)影響系統(tǒng)的整體部署。[2]

2 通用多生物特征識(shí)別系統(tǒng)模型

圖1給出了通用多生物特征識(shí)別系統(tǒng)的模型。除了在特別說(shuō)明的地方，該模型均以3個(gè)不同特征類型下的樣本（P1，P2，P3）為例進(jìn)行闡明。模型頂層給出了生物識(shí)別特征。根據(jù)系統(tǒng)設(shè)計(jì)，系統(tǒng)支持兩種生物特征呈現(xiàn)方法：（1）同時(shí)，（2）依次。

特征呈現(xiàn)方法（同時(shí)或依次）不同于融合過(guò)程本身。此處之所以提到融合方法，目的在于列出可能會(huì)影響多生物特征識(shí)別系統(tǒng)設(shè)計(jì)的各方面。

3 同時(shí)呈現(xiàn)

（在成功捕獲前提下的）同時(shí)呈現(xiàn)提供從單次采集事件中獲取的多生物模態(tài)下特征樣本（例如，從相同攝像頭采集的人臉和虹膜數(shù)據(jù)）。同時(shí)采集設(shè)計(jì)常用于以增加復(fù)雜度（同步樣本采集）或犧牲易用性（雙傳感器交互，用戶多任務(wù)處理）為代價(jià)的高吞吐量應(yīng)用場(chǎng)景。

4 依次呈現(xiàn)

依次采集是從相互獨(dú)立的事件中的一個(gè)或多個(gè)特征類型下獲取生物特征樣本。文獻(xiàn)中討論的依次采集可應(yīng)用于三個(gè)方面。其一為多實(shí)例，它利用一個(gè)主體的單個(gè)生物模態(tài)中兩個(gè)或兩個(gè)以上的實(shí)例，如指紋（左手食指）+指紋（右手的食指）。此例中，單個(gè)指紋閱讀器依次使用兩次。其二為多特征類型，使用一個(gè)或多個(gè)傳感器采集一個(gè)主體的多個(gè)不同生物模態(tài)，如依次采集手形+人臉特征數(shù)據(jù)。其三為多傳感器，使用兩個(gè)或多個(gè)獨(dú)立的傳感器獲取一個(gè)主體的相同生物特征。為了避免與多模態(tài)混淆，可以從兩個(gè)或多個(gè)獨(dú)立傳感器分別獲取生物特征，因此多傳感器被看作“單模態(tài)多傳感器”。例如，人臉識(shí)別：紅外光譜，可見光譜，二維圖像，三維圖像；指紋識(shí)別：光，電和聲學(xué)傳感器。

5 相關(guān)性

多模態(tài)生物特征識(shí)別系統(tǒng)中，融合的信息可能在多個(gè)不同層次相互關(guān)聯(lián)[3]，如下例所示：

（1）特征類型之間的相關(guān)性：這里是指存在物理相關(guān)性的生物特征，如用戶的聲音和唇動(dòng)；

（2）相同生物特征樣本的相關(guān)性：多算法系統(tǒng)中，相同的生物特征樣本（例如，指紋圖像）或生物特征樣本的子集（例如，聲音。整個(gè)樣本由一個(gè)算法處理，樣本的一部分由另一個(gè)算法處理）對(duì)應(yīng)不同的特征提取與對(duì)比算法（例如，細(xì)節(jié)比較器和紋理比較器）；

（3）特征值之間的相關(guān)性：構(gòu)成不同特征類型的特征向量其特征值的子集可能相互關(guān)聯(lián)。例如，用戶手掌（手的幾何形狀）的面積可能與人臉的寬度相關(guān)聯(lián)；

（4）由普通操作流程引起的實(shí)例相關(guān)性（例如，普通的采集設(shè)備和操作員培訓(xùn)）；

（5）由于主體行為引起的實(shí)例相關(guān)性（例如，兩個(gè)眼睛佩戴彩色隱形眼鏡）。

然而，為了確定相關(guān)聯(lián)的程度，需要檢查此融合方案下關(guān)于匹配器的匹配分?jǐn)?shù)（或接受/拒絕決策）。多分類器系統(tǒng)[3]已證明融合不相關(guān)的分類器能夠顯著提升匹配性能。

對(duì)于融合方案中兩個(gè)精度合理的分類器，同一主體的匹配分?jǐn)?shù)可能相關(guān)但并非必須相關(guān)。因此，對(duì)分類器錯(cuò)誤之間相關(guān)性的描述更為恰當(dāng)[4]。相關(guān)系數(shù)pnc定義如下：

其中n是被測(cè)分類器的個(gè)數(shù)，N是序列總數(shù)，Ncf是閾值為C時(shí)，所有分類器錯(cuò)誤輸出的序列數(shù)目，Nct是閾值為C時(shí)，所有分類器正確輸出的序列數(shù)目（注：此公式與決策級(jí)下計(jì)算錯(cuò)誤相關(guān)性有關(guān)）。

6 結(jié) 論

生物特征識(shí)別多模態(tài)和其他多生物特征融合除了考慮上述內(nèi)容，還需考慮組合層級(jí)以及用于多生物特征識(shí)別系統(tǒng)的特征化數(shù)據(jù)的內(nèi)容?，F(xiàn)階段生物特征識(shí)別多模態(tài)和其他多生物特征融合的標(biāo)準(zhǔn)正在制訂中，有些內(nèi)容還需在實(shí)際應(yīng)用中驗(yàn)證。但感知信息融合以便進(jìn)行決策的方法對(duì)其他領(lǐng)域的應(yīng)用有借簽作用。

參考文獻(xiàn)：

[1] 國(guó)際標(biāo)準(zhǔn)化組織ISO/IEC TR 24722：2015.信息技術(shù)—生物特征識(shí)別—多模態(tài)和其他多生物特征融合 [S].技術(shù)委員會(huì)：ISO/IEC JTC1/SC37生物識(shí)別技術(shù)，2015.

[2] G.L.Marcialis and F.Roli. Fusion of LDA and PCA for face recognition [EB/OL].[2002-05-28].https：//link.springer.com/chapter/10.1007%2F3-540-47917-1_4.

[3] 識(shí)別技術(shù)研究中心.生物特征模態(tài)獨(dú)立性，進(jìn)度報(bào)告 [R].2004.

[4] K. Goebel，W. Yan，and W. Cheetham. Method to Calculate Classifier Correlation for Decision Fusion [C].IEEE，2002.

作者簡(jiǎn)介：裴倫鵬（1980.12-），男，漢族，山東滕州人，工程師，碩士。研究方向：信息技術(shù)與標(biāo)準(zhǔn)化研究；高健（1967.10-），男，漢族，北京人，高級(jí)工程師，本科。研究方向：信息技術(shù)與標(biāo)準(zhǔn)化研究。