陳 俊, 趙子愷, 朱梁俊

(中國(guó)計(jì)量大學(xué) 機(jī)電工程學(xué)院, 杭州310018)

0 引 言

近些年來(lái),傳統(tǒng)的單模態(tài)生物特征識(shí)別技術(shù)的應(yīng)用非常廣泛,例如人臉識(shí)別、虹膜識(shí)別、掌紋識(shí)別等,但僅靠單模態(tài)的生物特征識(shí)別技術(shù),不能滿足日益提高的安全性等要求［1］。 而多模態(tài)融合技術(shù)是將同一個(gè)生物的不同生物特征按照某種算法進(jìn)行融合,具有更強(qiáng)的區(qū)分性和安全性,可以做出準(zhǔn)確度更高的識(shí)別［2］。 1998 年,Hong 等人［3］首次嘗試將指紋和人臉的生物特征融合規(guī)則融合成一個(gè)整體進(jìn)行識(shí)別,識(shí)別精度有了很大幅度的提高。 Jain 等人［4］提出了基于指紋、人臉和手型的多生物特征識(shí)別技術(shù)。 Jing 等人［5］首次嘗試了基于人臉和掌紋圖像的融合識(shí)別技術(shù)。

本文選擇人臉和掌紋兩種生物特征進(jìn)行融合。首先,這兩個(gè)特征具有唯一性,每個(gè)人的特征都有所不同；其次,在被采集和識(shí)別的過(guò)程中,對(duì)用戶都沒有隱私性,更加容易被接受。 同時(shí),兩個(gè)特征可以采用相同的采集裝置,例如一個(gè)普通攝像機(jī)就可以實(shí)現(xiàn)人臉和掌紋特征的采集,成本較低。 在特征融合方面,采用在決策層使用改進(jìn)的線性加權(quán)的方法將各分類器的識(shí)別結(jié)果融合,得出最終的識(shí)別結(jié)果。

1 識(shí)別算法

1.1 生物特征提取

在圖像處理和模式識(shí)別領(lǐng)域中,主成分分析(principal component analysis, PCA),又稱為K-L 變換,被認(rèn)為是最成功的線性鑒別分析方法之一［6］。 因?yàn)橛脭z像頭采集到的人臉和掌紋特征都是基于圖像的提取,所以對(duì)這兩個(gè)生物特征都利用PCA 來(lái)進(jìn)行降維處理,完成生物特征提取,供后續(xù)比對(duì)識(shí)別［7-8］。

首先將一幅M*N 的人臉或掌紋圖像變換成一個(gè)大小為M*N 維的列向量。 假設(shè)我們的訓(xùn)練圖像庫(kù)中有n 個(gè)訓(xùn)練樣本,xi為第i 個(gè)圖像形成的圖像向量,則測(cè)試樣本的協(xié)方差矩陣為公式(1)：

由K-L 變換原理可知,新的特征空間坐標(biāo)系由協(xié)方差矩陣Sr的非零特征值對(duì)應(yīng)的特征向量所組成。 假設(shè)協(xié)方差矩陣Sr的秩為R,特征值為λ1, λ2,…,λR(λ1≥λ2≥…≥λR),對(duì)應(yīng)的特征向量分別為ω1,ω2,…,ωR。 如果直接使用所有的特征向量來(lái)構(gòu)建特征空間,會(huì)導(dǎo)致計(jì)算過(guò)于復(fù)雜,影響系統(tǒng)運(yùn)行速度,所以只要選擇包含信息量較大的特征向量來(lái)構(gòu)建即可。 本文選擇前m(m ＜＜R) 個(gè)較大的特征值對(duì)應(yīng)的特征向量來(lái)構(gòu)建新的投影矩陣Wm= ［ω1,ω2,…,ωm］,來(lái)完成數(shù)據(jù)降維。 通過(guò)計(jì)算信息量的方法來(lái)確定m 的大小,保證剩余的特征向量所包含的信息大于一定的閾值e。 一般e 為85%到95%之間。 計(jì)算公式(3)：

得出了的投影矩陣Wm后,將訓(xùn)練樣本向量與平均圖像向量的差值矢量投影到新構(gòu)建的特征空間上,計(jì)算公式(4)：

識(shí)別某張人臉或掌紋時(shí),首先將人臉或掌紋圖像μ 投影到已構(gòu)建的特征空間,得到待識(shí)別的圖像的特征向量,計(jì)算公式(5)。 再根據(jù)投影后的特征向量進(jìn)行分類。

1.2 最近鄰分類器分類

利用PCA 從原始圖像提取出特征向量后,再利用最近鄰分類器進(jìn)行分類,即待測(cè)人臉特征向量ΩT與每類訓(xùn)練樣本的均值向量的歐式距離來(lái)進(jìn)行分類,距離越小,置信度越高。 由于后續(xù)需要進(jìn)行各生物特征分類結(jié)果的融合操作,傳統(tǒng)的最近鄰分類器輸出的結(jié)果無(wú)法進(jìn)行運(yùn)算。 因此進(jìn)行了如下改進(jìn)：將歐式距離轉(zhuǎn)換為后驗(yàn)概率,對(duì)人臉特征和掌紋特征分別計(jì)算出識(shí)別類別的后驗(yàn)概率,進(jìn)行加權(quán)融合操作,再根據(jù)Bayes 判決規(guī)則,后驗(yàn)概率最大的樣本分類即為最終的判決結(jié)果。

假設(shè)訓(xùn)練樣本庫(kù)中共有M類,每類有N張訓(xùn)練圖片。 首先計(jì)算訓(xùn)練樣本庫(kù)中每類訓(xùn)練樣本的特征向量的均值向量,公式(6)：

再計(jì)算待測(cè)圖像的特征向量與上述每類的均值向量的歐式距離dk,公式(7)：

根據(jù)文獻(xiàn)［9］提出的后驗(yàn)概率的估計(jì)公式(8)將歐式距離轉(zhuǎn)換成后驗(yàn)概率。

后驗(yàn)概率即待測(cè)圖像屬于第k 類的置信度。

經(jīng)過(guò)上述運(yùn)算,可以得出對(duì)單個(gè)生物特征進(jìn)行驗(yàn)證的置信度。 而后將對(duì)上述計(jì)算的結(jié)果進(jìn)行線性加權(quán)融合,得出最終的識(shí)別結(jié)果。

2 基于進(jìn)化策略的融合算法

2.1 進(jìn)化策略簡(jiǎn)介

進(jìn)化策略是一種模擬自然進(jìn)化過(guò)程搜索最優(yōu)解的方法,其在使用過(guò)程中無(wú)需依賴于問(wèn)題的具體領(lǐng)域,并且不受目標(biāo)函數(shù)形式的約束［10-11］。 進(jìn)化策略和神經(jīng)網(wǎng)絡(luò)方法相比,計(jì)算量小,訓(xùn)練時(shí)間短。 和遺傳算法相比,有很多方面(如編碼,幾個(gè)函數(shù)的選取)的靈活性。 因此利用進(jìn)化策略對(duì)權(quán)值參數(shù)進(jìn)行自適應(yīng)調(diào)整,可以提高識(shí)別的準(zhǔn)確性和環(huán)境適應(yīng)性。 適應(yīng)度越高的個(gè)體獲得保留下來(lái)進(jìn)行下一次循環(huán)機(jī)會(huì)的幾率就越大［12］。 通過(guò)循環(huán),種群中的個(gè)體將一直向著適應(yīng)度越來(lái)越高的方向進(jìn)化繁殖,直到達(dá)到終止條件,獲取到滿足條件的最優(yōu)解。

2.2 進(jìn)化策略在多生物特征融合中的應(yīng)用

采用線性加權(quán)的方法在決策層對(duì)多生物特征的識(shí)別結(jié)果進(jìn)行融合,輸出最終的結(jié)果,但權(quán)值選取的合適與否對(duì)結(jié)果的準(zhǔn)確性有著巨大的影響。 現(xiàn)有的線性加權(quán)法一般的權(quán)值選取都是固定的,在識(shí)別環(huán)境發(fā)生變化或者某種生物特征信息不夠準(zhǔn)確的情況下,識(shí)別結(jié)果的準(zhǔn)確性會(huì)受到很大的限制。 因此采用進(jìn)化策略的方法,根據(jù)反饋訓(xùn)練來(lái)權(quán)值參數(shù),使權(quán)值達(dá)到最適應(yīng)識(shí)別條件的狀態(tài)。

首先,要確定種群中每個(gè)個(gè)體的表達(dá)方式。 因?yàn)橛腥四樅驼萍y兩種生物特征,所以每個(gè)個(gè)體選用2*1 的向量來(lái)表示。 向量中的兩個(gè)值分別代表人臉和掌紋作為識(shí)別特征進(jìn)行分類的分類器的權(quán)值,這兩個(gè)權(quán)值都在0 到1 之間并且和為1。 設(shè)定初始種群中有K 個(gè)個(gè)體。 這K 個(gè)個(gè)體中第一個(gè)的權(quán)值都是0 到1 之間的隨機(jī)數(shù),后一個(gè)權(quán)值通過(guò)1 減去第一個(gè)權(quán)值得出。 這樣就得到了初代種群R0。

其次,是適應(yīng)度函數(shù)的選取。 系統(tǒng)最終要做到通過(guò)人臉和掌紋兩種生物特征進(jìn)行準(zhǔn)確識(shí)別出對(duì)應(yīng)的人,所以采用在訓(xùn)練集合上的準(zhǔn)確率作為適應(yīng)度函數(shù)。 例如對(duì)于某個(gè)個(gè)體mi,ni的適應(yīng)度Fi,從訓(xùn)練集合中的每一類中取出N 個(gè)樣本作為測(cè)試樣本,用mi和ni作為分類器權(quán)值,對(duì)測(cè)試樣本進(jìn)行分類,統(tǒng)計(jì)分類結(jié)果的準(zhǔn)確率作為適應(yīng)度。

最后,需要通過(guò)重組和變異從初始種群中產(chǎn)生新的子代。 重組算子采用中值重組的方法。 從父代中隨機(jī)取M 對(duì)個(gè)體,例如：(mp,np)、(mq,nq),則經(jīng)過(guò)重組產(chǎn)生新的個(gè)體((mp＋mq)／2,(np＋nq)／2)。 接下來(lái)是變異過(guò)程,在重組產(chǎn)生的新個(gè)體加上父代種群中再隨機(jī)取多個(gè)個(gè)體執(zhí)行變異,對(duì)取出來(lái)的個(gè)體的第一個(gè)權(quán)值加上一個(gè)-0.1 到＋0.1 之間的隨機(jī)數(shù),第二個(gè)權(quán)值加上第一個(gè)權(quán)值加的值的相反數(shù),保證權(quán)值的和為1,這樣就完成了重組和變異的過(guò)程,產(chǎn)生了新的個(gè)體。 將新產(chǎn)生的個(gè)體和父代種群放到一起,對(duì)每個(gè)個(gè)體計(jì)算適應(yīng)度,按照適應(yīng)度大小進(jìn)行排序,保留適應(yīng)度較高的K 個(gè)個(gè)體作為新的一代,繼續(xù)進(jìn)行重組和變異的過(guò)程,直至達(dá)到需要達(dá)到的準(zhǔn)確率或達(dá)到設(shè)定的循環(huán)次數(shù)。 上述算法的時(shí)間復(fù)雜度為O(n2)。通過(guò)進(jìn)化策略算法的迭代,達(dá)到最優(yōu)的權(quán)值(me,ne)后,對(duì)人臉和掌紋特征通過(guò)最近鄰分類器輸出的置信度進(jìn)行線性加權(quán)融合,得到最終的結(jié)果,即樣本T屬于類別k 的置信度為：

其中, me,ne分別為人臉和掌紋對(duì)應(yīng)的權(quán)值,Pf(T ∈k) 和Pp(T ∈k) 分別為通過(guò)人臉特征和掌紋特征的比對(duì)輸出的樣本T 屬于k 的置信度。

假設(shè)置信度閾值為0.8。若測(cè)試樣本T屬于類別k 的置信度超過(guò)0.8,則我們認(rèn)為樣本T 屬于k。

3 實(shí)驗(yàn)結(jié)果與分析

為了測(cè)試本方法在實(shí)現(xiàn)身份驗(yàn)證中的性能,采用ORL 人臉數(shù)據(jù)庫(kù)和香港理工大學(xué)的掌紋公開庫(kù)(PolyU Palmprint database) 進(jìn)行融合識(shí)別實(shí)驗(yàn)。ORL 人臉庫(kù)包含40 人,共400 張面部圖像。 ORL人臉數(shù)據(jù)庫(kù)中一個(gè)采集對(duì)象的全部樣本庫(kù)中,每個(gè)采集對(duì)象包含10 幅經(jīng)過(guò)歸一化處理的灰度圖像,圖像尺寸均為92×112,圖像背景為黑色。 采集對(duì)象的面部表情和細(xì)節(jié)均有變化,所以可以比較好的作為測(cè)試集和訓(xùn)練集,部分圖片見圖1。 香港理工大學(xué)掌紋公開庫(kù)是掌紋識(shí)別領(lǐng)域里廣泛使用的基準(zhǔn)數(shù)據(jù)庫(kù),部分圖片見圖2。 從掌紋公開庫(kù)中也取40 人,每人6 幅掌紋圖像與ORL 人臉庫(kù)中40 個(gè)人的6 幅人臉圖像進(jìn)行綁定,作為測(cè)試集合和訓(xùn)練集合。

選取40 人120 個(gè)記錄用于訓(xùn)練,通過(guò)訓(xùn)練得到生物特征融合函數(shù),即人臉和掌紋對(duì)應(yīng)的兩個(gè)最優(yōu)權(quán)值(me,ne)。 剩余的40 人120 個(gè)記錄用來(lái)測(cè)試。測(cè)試集合中,類間匹配的次數(shù)即匹配的總次數(shù)為120×119=14 280 次,類內(nèi)匹配的次數(shù)為3×2×40=240 次。 根據(jù)訓(xùn)練得出的權(quán)值對(duì)兩種特征進(jìn)行融合,得出最終的置信度即匹配得分,利用設(shè)定的閾值來(lái)對(duì)最后融合得出的匹配得分進(jìn)行判斷,得出最終的識(shí)別結(jié)果。 通過(guò)調(diào)整閾值可以得到多組實(shí)驗(yàn)結(jié)果。 同時(shí)利用單生物特征即掌紋識(shí)別和人臉識(shí)別方法在上述測(cè)試集合中進(jìn)行同樣的測(cè)試。

圖1 ORL 中的部分人臉樣本圖像Fig. 1 Some face image samples in ORL

圖2 香港理工大學(xué)掌紋公開庫(kù)中的部分樣本圖像Fig. 2 Some image samples in PolyU Paimprint database

圖3 是根據(jù)測(cè)試結(jié)果得出的受試者工作特征曲線,可以直觀的表達(dá)本文所提出的算法與其他單生物特征識(shí)別算法的表現(xiàn)對(duì)比。 表1 是本文的融合算法與單掌紋識(shí)別和單人臉識(shí)別算法的等錯(cuò)誤率(Equal Error Rate,EER)對(duì)比。

圖3 融合算法與單生物特征方法的ROC 特性比較Fig. 3 Comparison of ROC characteristics between fusion algorithm and single biometric method

表1 融合算法與單生物特征方法的EER 比較Tab. 1 Comparison of EER between fusion algorithm and single biometric method

分析圖3 和表1 的結(jié)果可以看出,融合方法使得識(shí)別系統(tǒng)的等錯(cuò)誤率下降至1.05%,較單人臉和單掌紋識(shí)別分別下降了0.88%和2.07%,表明多生物特征融合識(shí)別方法在識(shí)別性能上較單生物特征有明顯的提高。

4 結(jié)束語(yǔ)

利用融合算法對(duì)人臉和掌紋生物特征融合進(jìn)行身份識(shí)別,可以提高身份識(shí)別的準(zhǔn)確性。 利用線性加權(quán)對(duì)人臉和掌紋的匹配得分進(jìn)行融合時(shí),利用進(jìn)化策略的方法通過(guò)訓(xùn)練對(duì)權(quán)值進(jìn)行自適應(yīng)調(diào)整相比于固定權(quán)值有更強(qiáng)的環(huán)境適應(yīng)性,可以有效提高系統(tǒng)的魯棒性和身份識(shí)別的準(zhǔn)確率。