溫苗利，張洪才

1.西安科技大學 電氣與控制工程學院，西安 710054

2.西北工業(yè)大學 自動化學院，西安 710072

改進證據(jù)理論的多生物特征融合方法

溫苗利1，張洪才2

1.西安科技大學 電氣與控制工程學院，西安 710054

2.西北工業(yè)大學 自動化學院，西安 710072

1 引言

通過多生物特征識別融合來提高識別的正確率是目前生物特征識別研究的熱點之一。Nandakumar等使用有限混合高斯模型（Gaussian Mixture Model，GMM）求取匹配分數(shù)進行多生物特征識別融合，獲得了較好的效果[1]。劉紅毅等提出了將匹配分數(shù)先降維，然后進行分類的改進ENN多生物特征融合算法[2]。Wang等研究了基于支持向量機的多生物牲識別融合問題[3]。證據(jù)理論是Dempster于1967年提出的，是一種不確定的數(shù)值推理方法。它最大的特點是對不確定信息的描述采用“區(qū)間估計”，而不是“點估計”的方法，用信任區(qū)間代替概率，用集合表示命題，在區(qū)分不知道與不確定方面以及精確反映證據(jù)收集方面顯示出很大的靈活性，因而D-S證據(jù)理論已被成功地應用于多生物特征識別[4-8]。在證據(jù)理論方法中，基本概率指派函數(shù)（Basic Probability Assignment，BPA）起決定性的作用[9-10]。如何構(gòu)成BPA是實現(xiàn)證據(jù)理論融合方法的關鍵。目前的構(gòu)成BPA方法主要有：根據(jù)各分類器的識別率和誤識率來計算BPA[11]；Rogova根據(jù)各分類器的相對分類能力計算其BPA[12]；而Ng等人則通過估計樣本的后驗概率來形成分類器的BPA[10]；根據(jù)分類器輸出的不確定性度量形成BPA，從而可以有效地拒絕不確定性較高的樣本[9]。

2 基于識別率和誤識率的BPA構(gòu)造

在多生物特征識別中，各識別專家對輸入模式的信任程度應當考慮到它對各個模式類的識別能力，所以可利用識別專家的性能指標來表征其不確定性，則基于識別率和誤識率的BPA構(gòu)造方法[11]可描述如下：

設多生物特征識別的模式空間由N個不相交的用戶構(gòu)成，An表示第n個用戶類別n=1，2，…，N，AN+1表示不屬于模板庫中的類別，則證據(jù)理論的辨識框架P=A1∪A2∪…∪AN+1。設識別專家的集合為E={e1，e2，…，eK}，識別專家ek的輸出標號uk=jk∈{1，2，…，N+1}。通過每個識別專家ek的混淆矩陣（Confusion Matrix）PTk來表示它們的識別情況，該矩陣通過對訓練樣本進行統(tǒng)計獲得。PTk是N×(N+1)的矩陣，表示為：

其中，第i行表示第i用戶類的樣本，第j列表示標記為uk=j的判斷，表示第i類的樣本有個樣本被識別專家ek標識為j。

由混淆矩陣可得識別專家ek的訓練樣本總數(shù)為：

則識別專家ek的識別率為：

識別專家ek的拒識率為：

識別專家ek的誤識率分別為：

識別專家ek的可靠性為：

用證據(jù)理論解決上述多生物特征識別問題時，把各個用戶類及所有這些用戶類的集合作為辨識框架，表示為：Θ={A1，A2，…，AN}，則每個識別專家的輸出就是一個證據(jù)，根據(jù)識別專家ek的性能指標，則證據(jù)的BPA定義為：

3 存在的問題及解決方法

對于多生物特征識別問題，識別專家輸出的匹配值有以下特點：匹配值越大，則輸入模式為真實用戶類的可能性越大；匹配值越小，則輸入模式為偽用戶的可能性能越大?；谧R別率和誤識率的BPA構(gòu)造方法是在統(tǒng)計訓練集的偽用戶匹配值和真實用戶匹配值分布的基礎上進行的。

如果識別專家的匹配值滿足高斯分布，偽用戶的均值為2，真實用戶的均值為7，則匹配值的偽用戶和真實用戶匹配值的分布如圖1所示。圖1為匹配值頻率分布圖，虛線為偽用戶的分布曲線，實線為真實用戶的分布曲線。在圖1中，當匹配值在2～7之間時，由偽用戶和真實用戶匹配值頻率分布估計得到的識別率和誤識率很好地體現(xiàn)以上特點，但在匹配值小于2時，匹配值變小，偽用戶的正確拒絕率明顯降低，而真實用戶的正確接受率卻增加得不明顯，導致識別率明顯降低，此時偽用戶的FAR誤差明顯增高，而真實用戶的FRR誤差卻降低得不明顯，導致誤識率明顯增大，由式（3）～（7）可知，此情況下使用識別率和誤識率構(gòu)造BPA函數(shù)存在一定問題，它不能體現(xiàn)出匹配值越小為偽用戶的可能性越大這一特點。同樣，在匹配值大于7時，使用識別率和誤識率構(gòu)造的BPA函數(shù)也不能體現(xiàn)出匹配值越大則輸入模式為真實用戶的可能性越大這一特點。

圖1 匹配值頻率分布

累積頻率是從另一角度反映了一組數(shù)據(jù)的頻率分布情況，它與頻率分布起著相互補充的作用，圖1相應的累積頻率分布如圖2所示。圖中虛線為偽用戶匹配值的“不低于”累積頻率曲線，實線為真實用戶匹配值的“低于”累積頻率分布曲線。由圖2可以看出，累積頻率能很好地體現(xiàn)匹配值越小為偽用戶的可能性越大，匹配值越大為真實用戶的可能性越大。本文根據(jù)這一特征進行研究，提出CFDS的多生物特征識別方法。

圖2 匹配值累積頻率分布

對于多生物特征識別的模式空間由兩個不相交的子集構(gòu)成，Si表示第i個類別，i=1時表示偽用戶類，i=2時表示真實用戶類。設識別專家的集合為E={e1，e2，…，eK}，識別專家ek，k=1，2，…，K，輸出標號uk=jk∈{1，2}，其中K表示識別專家總數(shù)。

通過對第k個識別專家ek的累積混淆矩陣（Cumulative Confusion Matrix）CCMk來表示它們的累積識別情況，該矩陣通過對訓練樣本進行統(tǒng)計獲得。CCMk是2×2的矩陣，表示為：

其中，為偽用戶被正確判斷為偽用戶類的“不低于”累積頻數(shù)，為偽用戶被錯誤地判斷為真實用戶類的“不低于”累積頻數(shù)，為真實用戶被錯誤地判斷為偽用戶類的“低于”累積頻數(shù)為真實用戶被正確地判斷為真實用戶類的“低于”累積頻數(shù)。

設各識別專家ek訓練樣本的總數(shù)為Μk，則識別專家ek的累積識別率為：

識別專家ek的累積誤識率為：

則識別專家ek的可靠性可定義為：

使用累積識別率和累積誤識率來解決多生物特征識別問題時，把各用戶類的集合作為辨識框架，表示為：Θ={A1，A2，…，AN}，其中N表示用戶類數(shù)。根據(jù)各識別專家的可靠性如式（11）所示，構(gòu)造基本概率指派函數(shù)表示為：

4 實驗結(jié)果

XM2VTS數(shù)據(jù)庫[12-13]包含了295人在4個不同時間段的圖像和聲音錄像。每次，每個人被記錄了2段聲音錄像和2段頭部旋轉(zhuǎn)錄像。聲音錄像包括了人臉正面和聲音信號。

XM2VTS數(shù)據(jù)庫分為三個數(shù)據(jù)庫集：訓練集（Train）、估計集（Evaluation）、測試集（Test）。訓練集用于建立真實用戶的識別模型，估計集用于估計分類器參數(shù)和決策閾值，而測試集用于測試性能。295個用戶分成200個真實用戶，25個估計偽用戶和70個測試偽用戶。其中存有兩種不同的分割訓練集、估計集和測試集方法，稱為協(xié)議1（Lausanne Protocol 1，LP1）和協(xié)議2（Lausanne Protocol 2，LP2）。

聲音識別采用MFCC（The Phase Auto-Correlation Mel Filter-bank Cepstral Coefficient）特征[14]，采用GMM分類器進行識別。實驗中，MFCC特征由采樣窗長度為20 ms，20個DCT（Discrete Cosine Transform）系數(shù)由MFCC的30個傅里葉系數(shù)解相關計算得到。本文中將每一種識別方法稱之為一個識別專家，從而構(gòu)成一個聲音識別專家：（MFCC，GMM）。

人臉識別分別采用GH（Gray Feature and Red-Green-Blue Histogram）特征[15]和DCTD（Discrete Cosine Transform Feature&Delta Feature）特征[16]進行特征表征，分別采用MLP（Multi-Layer Perceptrons）分類器進行分類，最后，對DCTD特征采用GMM（Bayes Classifier using Gaussian Mixture Models）分類器進行人臉識別。實驗中，根據(jù)規(guī)范化圖像大小，DCTD特征可分為兩類：（1）DCTDs特征：規(guī)范化人臉圖像大小為40像素×32像素，得到35個特征向量；（2）DCTDb特征：規(guī)范化人臉圖像大小為80像素×64像素，得到221個特征向量。共構(gòu)成五個識別專家：（GH，MLP）；（DCTDs，MLP）；（DCTDb，MLP）；（DCTDs，GMM）；（DCTDb，GMM）。

在LP1測試集上有5組實驗，在LP2測試集上有2組實驗，表1分別對采用樸素Bayes[17]、mean[17]、FLD[18]和MLP[18]融合方法與本文中DS方法和CFDS方法的HTER誤差進行比較。

表1 人臉識別專家和（LFCC，GMM）聲音識別專家融合后的誤差率 （%）

表1分別為各人臉識別專家與聲音識別專家（LFCC，GMM）、（MFCC，GMM）和（SSC，GMM）融合后的HTER誤差。表1中加重的HTER值，表示該融合方法的HTER誤差最小，即該融合方法在此實驗中取得的識別率最高。

由表1可知，在XM2VTS數(shù)據(jù)庫上LP1和LP2的7組融合人臉和聲音識別的實驗中，有5組實驗CFDS方法取得了最小HTER誤差，1組實驗是DS方法取得了最小的HTER誤差，1組實驗是mean方法取得了最小的HTER誤差。DS方法在融合人臉和聲音兩種生物特征時，對于LP1和LP2測試集的平均HTER誤差為0.686%，而此時CFDS方法平均HTER誤差為0.335%，CFDS方法相對于DS方法使HTER誤差降低了0.351%，因而CFDS方法在融合兩種生物特征時的識別率高于DS方法的識別率。

5 結(jié)論

主要研究了基于證據(jù)理論的多生物特征融合識別方法。通過對利用各生物特征輸出進行基本概率指派函數(shù)構(gòu)造方法的分析，結(jié)合統(tǒng)計學中累積頻率的原理，提出了一種基于累積頻率和證據(jù)理論的多生物特征融合方法（CFDS）。該方法充分體現(xiàn)了各識別專家的匹配值越大，輸入模式是真實用戶的可能性越大，匹配值越小，輸入模式是偽用戶的可能性越大這一特點。在XM2VTS數(shù)據(jù)庫上的實驗結(jié)果表明，CFDS方法的HTER誤差小于基于誤識率和識別率的證據(jù)理論方法。

[1]Nandakumar K，Chen Y，Dass S C，et al.Likelihood ratio-based biometric score fusion[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30（2）.

[2]劉紅毅，王蘊紅，譚鐵牛.基于改進ENN算法的多生物特征融合的身份驗證[J].自動化學報，2004，30（1）：78-85.

[3]Wang F，Han J.Multimodal biometric authentication based on score levelfusion using supportvectormachine[J]. Opto-Electronics Review，2009，17（1）：59-64.

[4]Gao X J，Yao H X，Gao W，et al.Fusion of biometrics based on D-S theory[C]//Proceedingsof2nd IEEE Pacific-Rim Conference on Multimedia，2001：1120-1125.

[5]Jin A T B，Samad S A，Hussain A.Theoretic evidencek-nearest neighbourhood classifiers in a bimodal biometric verification system[C]//Proceedings of 4th International Conference on Audio-and Video-Based Biometric Person Authentication，2003：778-786.

[6]楊帆，浦昭邦，劉國棟.基于D-S證據(jù)理論的多指紋數(shù)據(jù)融合[J].儀器儀表學報增刊，2003，24（4）：282-283.

[7]趙春娜.基于D-S證據(jù)理論的面像識別和指紋識別融合[D].沈陽：東北大學，2004.

[8]邱亞丹，敬忠良，陳雪榮，等.基于決策級的多源人臉融合識別[J].計算機工程與應用，2006，42（27）：219-221.

[9]劉志言，童樹鴻，王艷.基于證據(jù)理論的多分類器集成方法研究[J].電機與控制學報，2001，5（3）：208-212.

[10]Ng G，Singh H.Data equalization with evidence combination for pattern recognition[J].Pattern Recognition Letters， 1998，19（3/4）：227-235.

[11]孫懷江，胡鐘山，楊靜宇.基于證據(jù)理論的多分類器融合方法研究[J].計算機學報，2001，24（3）：231-235.

[12]Messer K，Matas J，Kittler J，et al.XM2VTSDB：the extended M2VTS database[C]//Proceedings of the 2nd International Conference on Audio-and Video-based Person Authentication，1999：72-77.

[13]Norman P，Samy B.Database，protocols and tools for evaluating score-level fusion algorithms in biometric authentication[J].Pattern Recognition，2006，39：223-233.

[14]Ikbal S，Misra H，Bourlard H.Phase Auto-Correlation（PAC）derived robust speech features[C]//Proceedings of IEEE International Conference on Acoustics，Speech，and Signal Processing，2003：133-136.

[15]Marcel S，Bengio S.Improving face verification using skin color information[C]//Proceedings of 16th International Conference on Pattern Recognition，2002：278-281.

[16]Sanderson C，Paliwal K K.Fast features for face authentication under illumination direction changes[J].Patter Recognition Letters，2003，24（14）：2409-2419.

[17]Verlinde P，DruytsP，CholletG，etal.Applying Bayes based classifier for decision fusion in a multi-modal identity verification system[C]//InternationalSymposium on Pattern Recognition in Memoriam Prof Pierre Devijiver，1999.

[18]Ross A，Jain A K.Information fusion in biometrics[J].Pattern Recognition Letters，2003，24（13）：2115-2125.

WEN Miaoli1,ZHANG Hongcai2

1.College of Electrical and Control Engineering,Xi’an University of Science and Technology,Xi’an 710054,China
2.College of Automation,Northwestern Polytechnical University,Xi’an 710072,China

Multi-modal biometrics techniques have shown more accurately due to the presence of multiple physiological or behavioral characteristics.Multimodal biometrics has become one of inevitable trends in the future.In this paper,D-S fusion algorithm using the recognition rate and the error rate of training set,is proposed.Then through analyzing the recognition rate and error rate,it proposes a modified multi-biometric recognition algorithm based on cumulative frequency and D-S fusion method, named CFDS.The modified D-S algorithm is applied to fusing multi-biometric.Experimental results demonstrate that the modified D-S algorithm is efficient and can improve the reliability of the combination results.

cumulative frequency;modified D-S theory;multi-modal biometrics recognition

多生物特征融合考慮了個體的多種生理或行為特征，因而能顯著地改善系統(tǒng)的識別性能，成為生物特征識別技術未來發(fā)展趨勢之一。利用訓練樣本的識別率和誤識率，提出了基于證據(jù)理論的多生物特征融合識別方法；對各識別專家的識別率和誤識率進行分析，提出了一種基于累積頻率和證據(jù)理論（Cumulative Frequency based D-S，CFDS）的多生物特征融合方法；通過幾個實驗證明了改進的D-S算法的有效性，提高了合成結(jié)果的可靠性。

累積頻率；改進證據(jù)理論；多生物特征識別

A

TP391

10.3778/j.issn.1002-8331.1112-0186

WEN Miaoli,ZHANG Hongcai.Fusion of multi-modal biometrics based on modified D-S theory.Computer Engineering and Applications,2013,49（18）：176-179.

溫苗利（1978—），女，博士，講師，主要研究領域為圖像處理、模式識別、生物特征識別、信息融合等；張洪才（1939—），男，教授，博士生導師。E-mail：wenml78@163.com

2011-12-12

2012-02-13

1002-8331（2013）18-0176-04

CNKI出版日期：2012-05-21 http://www.cnki.net/kcms/detail/11.2127.TP.20120521.1142.067.html

book=179,ebook=184