張旭東 尹德森 丁增喜 祁衛(wèi)煒 姜文瀚 公安部第一研究所

一、概述

隨著我國(guó)社會(huì)經(jīng)濟(jì)活動(dòng)的蓬勃發(fā)展，假、偽行為也不斷出現(xiàn)，并在不同時(shí)期表現(xiàn)為不同的手法和方式，目前，有些假、偽行為已滲透到經(jīng)濟(jì)和社會(huì)活動(dòng)的多個(gè)領(lǐng)域，給社會(huì)安全和民眾的身心健康和財(cái)產(chǎn)安全造成了一定程度的損害，防偽、防假越來(lái)越成為惠民利國(guó)的一項(xiàng)重要工作。在證件領(lǐng)域，為防止證件被冒領(lǐng)、冒用，快速有效地進(jìn)行“人證同一性”認(rèn)定是需要解決的重要問(wèn)題。長(zhǎng)期以來(lái)，“人證同一性”認(rèn)定主要通過(guò)人臉相片等證件表面信息，采用人工比對(duì)確認(rèn)的方式來(lái)實(shí)現(xiàn)，由于此種方式在獨(dú)特性、安全性、準(zhǔn)確性等方面的不足，已經(jīng)不能完全滿足信息化時(shí)代日益增強(qiáng)的自動(dòng)比對(duì)認(rèn)證需求。目前，指紋識(shí)別技術(shù)由于其獨(dú)特性、穩(wěn)定性、準(zhǔn)確性、安全性等方面的優(yōu)勢(shì)，被越來(lái)越廣泛地作為證件“人證同一性”認(rèn)定的手段加以利用。

近年來(lái)，隨著我國(guó)指紋識(shí)別技術(shù)的不斷發(fā)展，指紋算法應(yīng)用的深度和廣度也獲得長(zhǎng)足進(jìn)步，針對(duì)不同應(yīng)用模式及應(yīng)用領(lǐng)域，眾多指紋廠商紛紛推出了不同的指紋算法。但是，由于指紋算法缺少統(tǒng)一的評(píng)價(jià)體系及測(cè)試平臺(tái)，指紋算法性能指標(biāo)參差不齊，各種產(chǎn)品的宣傳往往偏重商業(yè)目的，這些問(wèn)題為證件指紋算法評(píng)測(cè)、選型造成了困難，迫切需要相關(guān)部門建立統(tǒng)一的性能評(píng)測(cè)體系、確定指紋算法的性能評(píng)測(cè)技術(shù)指標(biāo)，以對(duì)指紋算法進(jìn)行客觀的性能評(píng)測(cè)。本文針對(duì)證件指紋算法的性能評(píng)測(cè)方法，提出了一種全面的指紋算法評(píng)測(cè)體系建設(shè)方案，并對(duì)關(guān)鍵性能技術(shù)指標(biāo)的作用、意義和測(cè)試方法進(jìn)行了介紹和分析。

二、指紋系統(tǒng)性能評(píng)測(cè)現(xiàn)狀

在我國(guó)，從國(guó)家科技政策的角度對(duì)生物特征識(shí)別技術(shù)評(píng)測(cè)中介機(jī)構(gòu)給予高度重視，在科技工作重點(diǎn)項(xiàng)目規(guī)劃中也特別強(qiáng)調(diào)科研工作基礎(chǔ)條件的平臺(tái)建設(shè)，指紋技術(shù)評(píng)測(cè)體系的建立可以為國(guó)內(nèi)從事相關(guān)研究的科研機(jī)構(gòu)提供寶貴的基礎(chǔ)資源。目前，指紋系統(tǒng)性能評(píng)測(cè)方面的研究和相關(guān)標(biāo)準(zhǔn)的制定在國(guó)際上處于快速發(fā)展階段，美國(guó)、意大利、德國(guó)、加拿大等國(guó)都在從事這方面的評(píng)測(cè)與標(biāo)準(zhǔn)制定工作，關(guān)于生物特征識(shí)別技術(shù)評(píng)測(cè)的國(guó)際標(biāo)準(zhǔn)也已經(jīng)出版發(fā)行。同時(shí)，我國(guó)在指紋系統(tǒng)，特別是民用指紋系統(tǒng)評(píng)測(cè)體系的制定與相關(guān)標(biāo)準(zhǔn)起草工作還相對(duì)滯后，權(quán)威的針對(duì)指紋系統(tǒng)的性能評(píng)測(cè)體系還沒(méi)有出現(xiàn)。在國(guó)內(nèi)，公安部第一研究所是我國(guó)最大的專門從事社會(huì)公共安全相關(guān)技術(shù)研究的機(jī)構(gòu)，從20世紀(jì)90年代初期便開始組織專門的技術(shù)團(tuán)隊(duì)進(jìn)行模式識(shí)別及相關(guān)技術(shù)的研究工作。近年來(lái)，研究所在安防領(lǐng)域指紋技術(shù)評(píng)測(cè)體系方面作了大量的基礎(chǔ)研究，不僅取得了初步的研究成果，同時(shí)也培養(yǎng)了一支長(zhǎng)期從事指紋系統(tǒng)研究的技術(shù)隊(duì)伍，為開展指紋技術(shù)性能評(píng)測(cè)體系的研究工作創(chuàng)造了良好條件。公安部第一研究所從1996年開始對(duì)指紋識(shí)別技術(shù)進(jìn)行研究，采集了12000多人的活體指紋，收集的指紋樣本圖像近10萬(wàn)幅；完成了國(guó)內(nèi)第一套民用指紋標(biāo)準(zhǔn)的制訂，建立了一套科學(xué)完整的指紋識(shí)別系統(tǒng)評(píng)測(cè)平臺(tái)。2001年，公安部第一研究所組織了大規(guī)模的指紋識(shí)別算法性能評(píng)測(cè)活動(dòng)，國(guó)內(nèi)外共有22家公司的23個(gè)算法參加了此次評(píng)測(cè)。這些工作的開展，不僅加深了對(duì)指紋系統(tǒng)、指紋算法評(píng)測(cè)方法的理解和掌握，也為科學(xué)、完整地進(jìn)行指紋識(shí)別應(yīng)用系統(tǒng)算法評(píng)測(cè)方法的制定工作提供了良好的基礎(chǔ)條件。

三、證件指紋算法評(píng)測(cè)方法

在生物特征識(shí)別技術(shù)領(lǐng)域，注冊(cè)和注冊(cè)失敗均為常用術(shù)語(yǔ)。GA/T 893-2010將注冊(cè)定義為“采集已知人的人體生物特征，抽取其特征并存儲(chǔ)的過(guò)程”，將注冊(cè)失敗定義為“生物特征識(shí)別系統(tǒng)不能成功地為已知人進(jìn)行注冊(cè)”。與注冊(cè)失敗相對(duì)應(yīng)，生物特征識(shí)別系統(tǒng)在實(shí)際應(yīng)用中，使用人群也存在一定的注冊(cè)失敗的比例，即注冊(cè)失敗率，該值是描述系統(tǒng)及其算法性能的重要技術(shù)指標(biāo)之一。在國(guó)際標(biāo)準(zhǔn)（ISO/IEC 19795-1:2006）中，將注冊(cè)失敗率定義為系統(tǒng)不能完成注冊(cè)過(guò)程的人數(shù)的比例（Proportion of the population for whom the system fails to complete the enrolment process）。根據(jù)該標(biāo)準(zhǔn)，產(chǎn)生“注冊(cè)失敗”的原因有三個(gè)方面：

1．使用者不能提供生物特征樣本。

2．使用者不能提供一個(gè)滿足質(zhì)量要求的生物特征樣本。

3．使用者提供的生物特征樣本，在樣本比對(duì)以確認(rèn)身份時(shí)，不能給出穩(wěn)定、準(zhǔn)確的比對(duì)結(jié)果。

對(duì)應(yīng)指紋技術(shù)，將上述三個(gè)原因具體化為：第一，因手指殘缺、殘疾等生理原因無(wú)法采集手指的指紋圖像；第二，因手指磨損、蛻皮等原因，雖然能夠提供指紋，但指紋不滿足圖像質(zhì)量要求；第三，能夠采集符合圖像質(zhì)量要求的指紋，但由于指紋技術(shù)局限等其他原因，使用該指紋進(jìn)行特征比對(duì)時(shí)，無(wú)法給出穩(wěn)定、準(zhǔn)確的比對(duì)結(jié)果，即指紋不符合特征比對(duì)要求。這三個(gè)方面原因的存在，造成了實(shí)際使用中有部分人群無(wú)法使用指紋系統(tǒng)，即指紋系統(tǒng)對(duì)使用人群客觀上存在一定的注冊(cè)失敗率。在指紋系統(tǒng)性能評(píng)測(cè)中，注冊(cè)失敗率測(cè)試方法設(shè)計(jì)均需考慮上述因素。

（一）注冊(cè)失敗率測(cè)試方案

指紋算法性能評(píng)測(cè)中，注冊(cè)失敗率也是需要測(cè)試的重要指標(biāo)之一，該指標(biāo)能夠反映算法對(duì)指紋的處理能力。在識(shí)別精度一定的前提下，注冊(cè)失敗率越低，說(shuō)明算法對(duì)指紋的處理能力越強(qiáng)；在注冊(cè)失敗率一定的前提下，識(shí)別精度越高，說(shuō)明算法對(duì)指紋的處理能力越強(qiáng)。同時(shí)，在指紋算法性能評(píng)測(cè)中，注冊(cè)失敗率的測(cè)試方法又有其特殊性。一般情況下，指紋算法測(cè)試時(shí)，通常由測(cè)試方提供測(cè)試用指紋樣本庫(kù)，因此，指紋算法測(cè)試的注冊(cè)失敗率不是由第一類原因產(chǎn)生的，在測(cè)試方法設(shè)計(jì)時(shí)僅需要考慮第二類和第三類原因。

首先從第三類原因進(jìn)行分析。證件指紋在注冊(cè)階段，一般對(duì)注冊(cè)用指紋圖像進(jìn)行特征提取，將特征數(shù)據(jù)作為模板存儲(chǔ)于證件芯片中，在證件應(yīng)用時(shí)，需要現(xiàn)場(chǎng)采集持證人指紋與特征模板進(jìn)行比對(duì)，此類方式為“一對(duì)一”比對(duì)，如果比對(duì)結(jié)果高于某一門限，便認(rèn)可持證人與證件“人證同一”。但是，在指紋注冊(cè)階段，如果因忽略注冊(cè)失敗率第三類原因而將指紋特征數(shù)據(jù)存入證件，則會(huì)因?yàn)楸葘?duì)結(jié)果不穩(wěn)定而給證件使用者帶來(lái)極大不便。在指紋測(cè)試庫(kù)中，一般情況下，每枚手指會(huì)采集多枚指紋圖像，將同指指紋進(jìn)行交叉比對(duì)并計(jì)算平均值，這種同指比對(duì)可以模擬實(shí)際使用過(guò)程中的“一對(duì)一”比對(duì)，相似度平均值可以從一個(gè)角度反映指紋用于特征比對(duì)的有效性。

再看注冊(cè)失敗率第二類原因。在指紋技術(shù)中，確實(shí)存在有些算法首先對(duì)指紋圖像質(zhì)量進(jìn)行評(píng)測(cè)，之后再根據(jù)評(píng)測(cè)結(jié)果判斷是否進(jìn)行后續(xù)工作。然而，如果根據(jù)指紋圖像質(zhì)量評(píng)測(cè)結(jié)果計(jì)算注冊(cè)失敗率，將會(huì)產(chǎn)生以下問(wèn)題：

1．有些算法并不對(duì)指紋圖像進(jìn)行質(zhì)量判斷，此類算法無(wú)法根據(jù)指紋質(zhì)量進(jìn)行注冊(cè)失敗率測(cè)試。

2．指紋算法的實(shí)際應(yīng)用效果最終體現(xiàn)在比對(duì)性能方面，但是，由于受到指紋質(zhì)量判斷方法的技術(shù)水平限制，指紋質(zhì)量分?jǐn)?shù)與比對(duì)結(jié)果的一致性還不盡如人意，有時(shí)質(zhì)量判斷結(jié)果與算法對(duì)指紋圖像的處理能力存在較大差異。

2003年，美國(guó)NIST進(jìn)行了大規(guī)模的指紋評(píng)測(cè)工作。在測(cè)試報(bào)告《FpVTE 2003 ANALYSIS REPORT》中5.1.3 Effect of Fingerprint Quality on Matcher Accuracy 部分，對(duì)比對(duì)分?jǐn)?shù)能夠反映指紋圖像質(zhì)量的內(nèi)容進(jìn)行了說(shuō)明。測(cè)試結(jié)論為：對(duì)于同一算法，通過(guò)同一手指指紋圖像之間的比對(duì)分?jǐn)?shù)可以反映指紋圖像質(zhì)量的分布。因此，我們可以根據(jù)同一手指不同指紋圖像之間比對(duì)分?jǐn)?shù)的平均值進(jìn)行“注冊(cè)失敗”與否的判斷，該方式兼顧了注冊(cè)失敗率第二類和第三類原因。

（二）注冊(cè)失敗率計(jì)算方法

考慮到人體手指的生理特點(diǎn)和指紋技術(shù)的局限性，為保障證件后期使用的有效性，在證件辦理過(guò)程中，需要對(duì)指紋注冊(cè)人員進(jìn)行限制。指紋算法評(píng)測(cè)時(shí)，由于在算法對(duì)指紋處理能力方面沒(méi)有先驗(yàn)知識(shí)，一般應(yīng)首先設(shè)定注冊(cè)失敗率，再在此基礎(chǔ)上通過(guò)其他技術(shù)指標(biāo)對(duì)指紋算法的性能進(jìn)行描述。具體操作時(shí)，將采集的同指指紋圖像進(jìn)行交叉比對(duì)并計(jì)算平均值，對(duì)平均值低于某一門限值的手指不予以注冊(cè)。該門限值的計(jì)算方法如下：基于指紋測(cè)試庫(kù)，利用被測(cè)試算法將所有同指指紋進(jìn)行交叉比對(duì)并計(jì)算平均值，并統(tǒng)計(jì)所有手指平均值分布情況，對(duì)應(yīng)不同平均值，按從低到高的順序計(jì)算小于該平均值手指數(shù)占手指總數(shù)的百分比，當(dāng)該百分比達(dá)到注冊(cè)失敗率設(shè)定要求時(shí)，對(duì)應(yīng)的平均值即為應(yīng)設(shè)置的門限值，平均值低于該門限值的指紋為注冊(cè)失敗指紋，不再進(jìn)行后續(xù)測(cè)試任務(wù)。此種計(jì)算方法的優(yōu)點(diǎn)有：

1．不同算法對(duì)應(yīng)的注冊(cè)失敗手指有所不同。這種方法體現(xiàn)了算法對(duì)指紋處理能力的不同；同時(shí)，由算法選擇進(jìn)行后續(xù)測(cè)試操作的指紋樣本，也在兼顧公平的前提下，給了指紋算法展示自身特點(diǎn)的最大空間。

2．設(shè)置方式靈活，算法測(cè)試工作更加細(xì)致。這種方法可以根據(jù)不同應(yīng)用需求設(shè)置注冊(cè)失敗率，使得盡管后續(xù)測(cè)試工作的指紋樣本可能有所不同，但指紋樣本數(shù)量相同，將后續(xù)測(cè)試指標(biāo)建立在相同的指紋樣本基數(shù)之上。

（三）準(zhǔn)確性指標(biāo)計(jì)算方法

除注冊(cè)失敗率之外，對(duì)指紋算法進(jìn)行性能評(píng)測(cè)的指標(biāo)還有多種，國(guó)際多將其分為錯(cuò)誤率（Error Rates）類指標(biāo)與吞吐率（Throughput Rates）類指標(biāo)，其中錯(cuò)誤率可以反映算法的準(zhǔn)確性，吞吐率可以反映算法的處理速度。一般而言，準(zhǔn)確性是衡量證件指紋技術(shù)的關(guān)鍵因素，準(zhǔn)確性指標(biāo)也是指紋算法的主要技術(shù)指標(biāo)。目前，描述算法準(zhǔn)確性的指標(biāo)主要包括：等錯(cuò)誤率、錯(cuò)誤拒絕率、錯(cuò)誤接受率、ROC曲線和DET曲線等。其中，ROC曲線和DET曲線可以體現(xiàn)指紋算法全相似度空間的整體性能，但在對(duì)指紋算法性能進(jìn)行描述時(shí)，與具體應(yīng)用特點(diǎn)相對(duì)應(yīng)的等錯(cuò)誤率、錯(cuò)誤拒絕率和錯(cuò)誤接受率等數(shù)值技術(shù)指標(biāo)則更為常用。

在GA/T 893-2010中，將錯(cuò)誤拒絕率定義為“將來(lái)自真實(shí)人的測(cè)試樣本誤認(rèn)作冒充者拒絕的比率”，將錯(cuò)誤接受率定義為“將來(lái)自冒充者的測(cè)試樣本誤認(rèn)為真實(shí)人的比率”。對(duì)于同一算法，錯(cuò)誤接受率和錯(cuò)誤拒絕率具有高度關(guān)聯(lián)性，等錯(cuò)誤率是錯(cuò)誤接受率和錯(cuò)誤拒絕率曲線的相交點(diǎn)對(duì)應(yīng)的錯(cuò)誤率，在該點(diǎn)處錯(cuò)誤接受率和錯(cuò)誤拒絕率相等，等錯(cuò)誤率是最為常用的指紋算法性能指標(biāo)之一。同時(shí)，由于錯(cuò)誤接受率和錯(cuò)誤拒絕率具有高度關(guān)聯(lián)性，通常將“錯(cuò)誤接受率為某值時(shí)的錯(cuò)誤拒絕率”和“錯(cuò)誤拒絕率為某值時(shí)的錯(cuò)誤接受率”作為準(zhǔn)確性指標(biāo)。證件使用指紋的主要目的是“人證同一性”認(rèn)定，證件持有人通過(guò)指紋比對(duì)可以很方便地確認(rèn)“人”與“證”的一致性，這種比對(duì)方式的主體為同指比對(duì)，為保障證件使用的方便性，同指比對(duì)發(fā)生錯(cuò)誤拒絕的概率（錯(cuò)誤拒絕率）必須得到限制，在此前提下，再通過(guò)錯(cuò)誤接受率反映指紋算法的性能優(yōu)劣。因此，在證件指紋算法性能評(píng)測(cè)中，應(yīng)該將“錯(cuò)誤拒絕率為某值時(shí)的錯(cuò)誤接受率”作為技術(shù)指標(biāo)進(jìn)行測(cè)試。錯(cuò)誤拒絕率、錯(cuò)誤接受率、等錯(cuò)誤率等指標(biāo)比較常用，本文不再對(duì)其計(jì)算方法進(jìn)行描述，具體定義和測(cè)試方法可參見(jiàn)相關(guān)文獻(xiàn)。

（四）響應(yīng)時(shí)間計(jì)算方法

國(guó)際標(biāo)準(zhǔn)對(duì)生物特征識(shí)別系統(tǒng)進(jìn)行評(píng)測(cè)時(shí)，存在吞吐率指標(biāo)，GA/T 893-2010將其定義為“單位時(shí)間內(nèi)生物特征識(shí)別系統(tǒng)可以完成的生物特征識(shí)別操作的數(shù)目”，該指標(biāo)可以反映系統(tǒng)的處理速度，識(shí)別系統(tǒng)多方面的因素，包括硬件設(shè)備、識(shí)別算法和軟件策略等，均可對(duì)該指標(biāo)產(chǎn)生重要影響。在指紋算法方面，通常用響應(yīng)時(shí)間來(lái)反映算法對(duì)指紋的處理速度。GA/T 893-2010將響應(yīng)時(shí)間定義為“生物特征識(shí)別系統(tǒng)完成某種規(guī)格的生物特征識(shí)別所需要的時(shí)間”，對(duì)系統(tǒng)而言，響應(yīng)時(shí)間應(yīng)該包括圖像采集、特征提取、信息搜索、特征比對(duì)等時(shí)間，但對(duì)于側(cè)重于“一比一”比對(duì)的指紋算法評(píng)測(cè)而言，可以將特征提取和特征比對(duì)的平均時(shí)間之和作為響應(yīng)時(shí)間，以描述指紋算法的處理速度。

四、結(jié)論

本文在對(duì)國(guó)內(nèi)指紋算法評(píng)測(cè)現(xiàn)狀及指紋在證件中的應(yīng)用特點(diǎn)進(jìn)行介紹的基礎(chǔ)上，對(duì)注冊(cè)失敗率產(chǎn)生原因、測(cè)試思路和計(jì)算方法等進(jìn)行了分析，說(shuō)明了注冊(cè)失敗率及其測(cè)試方法在算法性能評(píng)測(cè)方面的重要意義。在此基礎(chǔ)上，針對(duì)證件指紋應(yīng)用的具體特點(diǎn)，又對(duì)等錯(cuò)誤率、錯(cuò)誤拒絕率為某值下的錯(cuò)誤接受率、響應(yīng)時(shí)間等技術(shù)指標(biāo)的意義和計(jì)算方法進(jìn)行了分析。由注冊(cè)失敗率、等錯(cuò)誤率、錯(cuò)誤拒絕率為某值下的錯(cuò)誤接受率、響應(yīng)時(shí)間等技術(shù)指標(biāo)為主體的指紋算法性能評(píng)測(cè)體系，其公平性、有效性、可執(zhí)行性等，均已得到多項(xiàng)證件指紋算法性能測(cè)試工作的實(shí)踐驗(yàn)證。

[1]盧朝陽(yáng), 張崗山, 劉琳．指紋識(shí)別系統(tǒng)性能評(píng)價(jià)方法．西安電子科技大學(xué)學(xué)報(bào)[J], 2002, 29(6): 804-808.

[2]李勇平, 汪勇旭, 牟曉生, 等．指紋識(shí)別技術(shù)應(yīng)用產(chǎn)品拒真率與認(rèn)假率測(cè)試方法研究, 防偽技術(shù)[J], 2005, 8(2): 98-104.

[3]ISO/IEC 19795-1, Information technology-Biometric performance testing and reporting-Part 1: Principles and framework.

[4]GA/T 893－2010 安防生物特征識(shí)別應(yīng)用術(shù)語(yǔ).

[5]GA/T 894.6－2010 安防指紋識(shí)別應(yīng)用系統(tǒng) 第6部分:指紋識(shí)別算法評(píng)測(cè)方法.

[6]Fingerprint Vendor Technology Evaluation 2003: Summary of Results and Analysis Report: Summary of Results.