張旭東 尹德森 丁增喜 祁衛(wèi)煒 姜文瀚 公安部第一研究所

一、概述

隨著我國社會經濟活動的蓬勃發(fā)展，假、偽行為也不斷出現(xiàn)，并在不同時期表現(xiàn)為不同的手法和方式，目前，有些假、偽行為已滲透到經濟和社會活動的多個領域，給社會安全和民眾的身心健康和財產安全造成了一定程度的損害，防偽、防假越來越成為惠民利國的一項重要工作。在證件領域，為防止證件被冒領、冒用，快速有效地進行“人證同一性”認定是需要解決的重要問題。長期以來，“人證同一性”認定主要通過人臉相片等證件表面信息，采用人工比對確認的方式來實現(xiàn)，由于此種方式在獨特性、安全性、準確性等方面的不足，已經不能完全滿足信息化時代日益增強的自動比對認證需求。目前，指紋識別技術由于其獨特性、穩(wěn)定性、準確性、安全性等方面的優(yōu)勢，被越來越廣泛地作為證件“人證同一性”認定的手段加以利用。

近年來，隨著我國指紋識別技術的不斷發(fā)展，指紋算法應用的深度和廣度也獲得長足進步，針對不同應用模式及應用領域，眾多指紋廠商紛紛推出了不同的指紋算法。但是，由于指紋算法缺少統(tǒng)一的評價體系及測試平臺，指紋算法性能指標參差不齊，各種產品的宣傳往往偏重商業(yè)目的，這些問題為證件指紋算法評測、選型造成了困難，迫切需要相關部門建立統(tǒng)一的性能評測體系、確定指紋算法的性能評測技術指標，以對指紋算法進行客觀的性能評測。本文針對證件指紋算法的性能評測方法，提出了一種全面的指紋算法評測體系建設方案，并對關鍵性能技術指標的作用、意義和測試方法進行了介紹和分析。

二、指紋系統(tǒng)性能評測現(xiàn)狀

在我國，從國家科技政策的角度對生物特征識別技術評測中介機構給予高度重視，在科技工作重點項目規(guī)劃中也特別強調科研工作基礎條件的平臺建設，指紋技術評測體系的建立可以為國內從事相關研究的科研機構提供寶貴的基礎資源。目前，指紋系統(tǒng)性能評測方面的研究和相關標準的制定在國際上處于快速發(fā)展階段，美國、意大利、德國、加拿大等國都在從事這方面的評測與標準制定工作，關于生物特征識別技術評測的國際標準也已經出版發(fā)行。同時，我國在指紋系統(tǒng)，特別是民用指紋系統(tǒng)評測體系的制定與相關標準起草工作還相對滯后，權威的針對指紋系統(tǒng)的性能評測體系還沒有出現(xiàn)。在國內，公安部第一研究所是我國最大的專門從事社會公共安全相關技術研究的機構，從20世紀90年代初期便開始組織專門的技術團隊進行模式識別及相關技術的研究工作。近年來，研究所在安防領域指紋技術評測體系方面作了大量的基礎研究，不僅取得了初步的研究成果，同時也培養(yǎng)了一支長期從事指紋系統(tǒng)研究的技術隊伍，為開展指紋技術性能評測體系的研究工作創(chuàng)造了良好條件。公安部第一研究所從1996年開始對指紋識別技術進行研究，采集了12000多人的活體指紋，收集的指紋樣本圖像近10萬幅；完成了國內第一套民用指紋標準的制訂，建立了一套科學完整的指紋識別系統(tǒng)評測平臺。2001年，公安部第一研究所組織了大規(guī)模的指紋識別算法性能評測活動，國內外共有22家公司的23個算法參加了此次評測。這些工作的開展，不僅加深了對指紋系統(tǒng)、指紋算法評測方法的理解和掌握，也為科學、完整地進行指紋識別應用系統(tǒng)算法評測方法的制定工作提供了良好的基礎條件。

三、證件指紋算法評測方法

在生物特征識別技術領域，注冊和注冊失敗均為常用術語。GA/T 893-2010將注冊定義為“采集已知人的人體生物特征，抽取其特征并存儲的過程”，將注冊失敗定義為“生物特征識別系統(tǒng)不能成功地為已知人進行注冊”。與注冊失敗相對應，生物特征識別系統(tǒng)在實際應用中，使用人群也存在一定的注冊失敗的比例，即注冊失敗率，該值是描述系統(tǒng)及其算法性能的重要技術指標之一。在國際標準（ISO/IEC 19795-1:2006）中，將注冊失敗率定義為系統(tǒng)不能完成注冊過程的人數(shù)的比例（Proportion of the population for whom the system fails to complete the enrolment process）。根據(jù)該標準，產生“注冊失敗”的原因有三個方面：

1．使用者不能提供生物特征樣本。

2．使用者不能提供一個滿足質量要求的生物特征樣本。

3．使用者提供的生物特征樣本，在樣本比對以確認身份時，不能給出穩(wěn)定、準確的比對結果。

對應指紋技術，將上述三個原因具體化為：第一，因手指殘缺、殘疾等生理原因無法采集手指的指紋圖像；第二，因手指磨損、蛻皮等原因，雖然能夠提供指紋，但指紋不滿足圖像質量要求；第三，能夠采集符合圖像質量要求的指紋，但由于指紋技術局限等其他原因，使用該指紋進行特征比對時，無法給出穩(wěn)定、準確的比對結果，即指紋不符合特征比對要求。這三個方面原因的存在，造成了實際使用中有部分人群無法使用指紋系統(tǒng)，即指紋系統(tǒng)對使用人群客觀上存在一定的注冊失敗率。在指紋系統(tǒng)性能評測中，注冊失敗率測試方法設計均需考慮上述因素。

（一）注冊失敗率測試方案

指紋算法性能評測中，注冊失敗率也是需要測試的重要指標之一，該指標能夠反映算法對指紋的處理能力。在識別精度一定的前提下，注冊失敗率越低，說明算法對指紋的處理能力越強；在注冊失敗率一定的前提下，識別精度越高，說明算法對指紋的處理能力越強。同時，在指紋算法性能評測中，注冊失敗率的測試方法又有其特殊性。一般情況下，指紋算法測試時，通常由測試方提供測試用指紋樣本庫，因此，指紋算法測試的注冊失敗率不是由第一類原因產生的，在測試方法設計時僅需要考慮第二類和第三類原因。

首先從第三類原因進行分析。證件指紋在注冊階段，一般對注冊用指紋圖像進行特征提取，將特征數(shù)據(jù)作為模板存儲于證件芯片中，在證件應用時，需要現(xiàn)場采集持證人指紋與特征模板進行比對，此類方式為“一對一”比對，如果比對結果高于某一門限，便認可持證人與證件“人證同一”。但是，在指紋注冊階段，如果因忽略注冊失敗率第三類原因而將指紋特征數(shù)據(jù)存入證件，則會因為比對結果不穩(wěn)定而給證件使用者帶來極大不便。在指紋測試庫中，一般情況下，每枚手指會采集多枚指紋圖像，將同指指紋進行交叉比對并計算平均值，這種同指比對可以模擬實際使用過程中的“一對一”比對，相似度平均值可以從一個角度反映指紋用于特征比對的有效性。

再看注冊失敗率第二類原因。在指紋技術中，確實存在有些算法首先對指紋圖像質量進行評測，之后再根據(jù)評測結果判斷是否進行后續(xù)工作。然而，如果根據(jù)指紋圖像質量評測結果計算注冊失敗率，將會產生以下問題：

1．有些算法并不對指紋圖像進行質量判斷，此類算法無法根據(jù)指紋質量進行注冊失敗率測試。

2．指紋算法的實際應用效果最終體現(xiàn)在比對性能方面，但是，由于受到指紋質量判斷方法的技術水平限制，指紋質量分數(shù)與比對結果的一致性還不盡如人意，有時質量判斷結果與算法對指紋圖像的處理能力存在較大差異。

2003年，美國NIST進行了大規(guī)模的指紋評測工作。在測試報告《FpVTE 2003 ANALYSIS REPORT》中5.1.3 Effect of Fingerprint Quality on Matcher Accuracy 部分，對比對分數(shù)能夠反映指紋圖像質量的內容進行了說明。測試結論為：對于同一算法，通過同一手指指紋圖像之間的比對分數(shù)可以反映指紋圖像質量的分布。因此，我們可以根據(jù)同一手指不同指紋圖像之間比對分數(shù)的平均值進行“注冊失敗”與否的判斷，該方式兼顧了注冊失敗率第二類和第三類原因。

（二）注冊失敗率計算方法

考慮到人體手指的生理特點和指紋技術的局限性，為保障證件后期使用的有效性，在證件辦理過程中，需要對指紋注冊人員進行限制。指紋算法評測時，由于在算法對指紋處理能力方面沒有先驗知識，一般應首先設定注冊失敗率，再在此基礎上通過其他技術指標對指紋算法的性能進行描述。具體操作時，將采集的同指指紋圖像進行交叉比對并計算平均值，對平均值低于某一門限值的手指不予以注冊。該門限值的計算方法如下：基于指紋測試庫，利用被測試算法將所有同指指紋進行交叉比對并計算平均值，并統(tǒng)計所有手指平均值分布情況，對應不同平均值，按從低到高的順序計算小于該平均值手指數(shù)占手指總數(shù)的百分比，當該百分比達到注冊失敗率設定要求時，對應的平均值即為應設置的門限值，平均值低于該門限值的指紋為注冊失敗指紋，不再進行后續(xù)測試任務。此種計算方法的優(yōu)點有：

1．不同算法對應的注冊失敗手指有所不同。這種方法體現(xiàn)了算法對指紋處理能力的不同；同時，由算法選擇進行后續(xù)測試操作的指紋樣本，也在兼顧公平的前提下，給了指紋算法展示自身特點的最大空間。

2．設置方式靈活，算法測試工作更加細致。這種方法可以根據(jù)不同應用需求設置注冊失敗率，使得盡管后續(xù)測試工作的指紋樣本可能有所不同，但指紋樣本數(shù)量相同，將后續(xù)測試指標建立在相同的指紋樣本基數(shù)之上。

（三）準確性指標計算方法

除注冊失敗率之外，對指紋算法進行性能評測的指標還有多種，國際多將其分為錯誤率（Error Rates）類指標與吞吐率（Throughput Rates）類指標，其中錯誤率可以反映算法的準確性，吞吐率可以反映算法的處理速度。一般而言，準確性是衡量證件指紋技術的關鍵因素，準確性指標也是指紋算法的主要技術指標。目前，描述算法準確性的指標主要包括：等錯誤率、錯誤拒絕率、錯誤接受率、ROC曲線和DET曲線等。其中，ROC曲線和DET曲線可以體現(xiàn)指紋算法全相似度空間的整體性能，但在對指紋算法性能進行描述時，與具體應用特點相對應的等錯誤率、錯誤拒絕率和錯誤接受率等數(shù)值技術指標則更為常用。

在GA/T 893-2010中，將錯誤拒絕率定義為“將來自真實人的測試樣本誤認作冒充者拒絕的比率”，將錯誤接受率定義為“將來自冒充者的測試樣本誤認為真實人的比率”。對于同一算法，錯誤接受率和錯誤拒絕率具有高度關聯(lián)性，等錯誤率是錯誤接受率和錯誤拒絕率曲線的相交點對應的錯誤率，在該點處錯誤接受率和錯誤拒絕率相等，等錯誤率是最為常用的指紋算法性能指標之一。同時，由于錯誤接受率和錯誤拒絕率具有高度關聯(lián)性，通常將“錯誤接受率為某值時的錯誤拒絕率”和“錯誤拒絕率為某值時的錯誤接受率”作為準確性指標。證件使用指紋的主要目的是“人證同一性”認定，證件持有人通過指紋比對可以很方便地確認“人”與“證”的一致性，這種比對方式的主體為同指比對，為保障證件使用的方便性，同指比對發(fā)生錯誤拒絕的概率（錯誤拒絕率）必須得到限制，在此前提下，再通過錯誤接受率反映指紋算法的性能優(yōu)劣。因此，在證件指紋算法性能評測中，應該將“錯誤拒絕率為某值時的錯誤接受率”作為技術指標進行測試。錯誤拒絕率、錯誤接受率、等錯誤率等指標比較常用，本文不再對其計算方法進行描述，具體定義和測試方法可參見相關文獻。

（四）響應時間計算方法

國際標準對生物特征識別系統(tǒng)進行評測時，存在吞吐率指標，GA/T 893-2010將其定義為“單位時間內生物特征識別系統(tǒng)可以完成的生物特征識別操作的數(shù)目”，該指標可以反映系統(tǒng)的處理速度，識別系統(tǒng)多方面的因素，包括硬件設備、識別算法和軟件策略等，均可對該指標產生重要影響。在指紋算法方面，通常用響應時間來反映算法對指紋的處理速度。GA/T 893-2010將響應時間定義為“生物特征識別系統(tǒng)完成某種規(guī)格的生物特征識別所需要的時間”，對系統(tǒng)而言，響應時間應該包括圖像采集、特征提取、信息搜索、特征比對等時間，但對于側重于“一比一”比對的指紋算法評測而言，可以將特征提取和特征比對的平均時間之和作為響應時間，以描述指紋算法的處理速度。

四、結論

本文在對國內指紋算法評測現(xiàn)狀及指紋在證件中的應用特點進行介紹的基礎上，對注冊失敗率產生原因、測試思路和計算方法等進行了分析，說明了注冊失敗率及其測試方法在算法性能評測方面的重要意義。在此基礎上，針對證件指紋應用的具體特點，又對等錯誤率、錯誤拒絕率為某值下的錯誤接受率、響應時間等技術指標的意義和計算方法進行了分析。由注冊失敗率、等錯誤率、錯誤拒絕率為某值下的錯誤接受率、響應時間等技術指標為主體的指紋算法性能評測體系，其公平性、有效性、可執(zhí)行性等，均已得到多項證件指紋算法性能測試工作的實踐驗證。

[1]盧朝陽, 張崗山, 劉琳．指紋識別系統(tǒng)性能評價方法．西安電子科技大學學報[J], 2002, 29(6): 804-808.

[2]李勇平, 汪勇旭, 牟曉生, 等．指紋識別技術應用產品拒真率與認假率測試方法研究, 防偽技術[J], 2005, 8(2): 98-104.

[3]ISO/IEC 19795-1, Information technology-Biometric performance testing and reporting-Part 1: Principles and framework.

[4]GA/T 893－2010 安防生物特征識別應用術語.

[5]GA/T 894.6－2010 安防指紋識別應用系統(tǒng) 第6部分:指紋識別算法評測方法.

[6]Fingerprint Vendor Technology Evaluation 2003: Summary of Results and Analysis Report: Summary of Results.