袁 理，陳慶虎

(1.武漢紡織大學(xué) 電子與電氣工程學(xué)院，湖北 武漢430073;2.武漢大學(xué) 電子信息學(xué)院，湖北 武漢430079)

責(zé)任編輯:時(shí) 雯

近年來(lái)，心理學(xué)與模式識(shí)別的相關(guān)研究表明，人類視覺(jué)系統(tǒng)在理解和識(shí)別物體時(shí)，使用了大量的基于視覺(jué)的深度信息[1-2]。因此，對(duì)于復(fù)雜環(huán)境下的人臉識(shí)別而言，可以從人臉的深度信息出發(fā)，研究基于深度圖像的人臉識(shí)別系統(tǒng)，從而克服二維人臉識(shí)別系統(tǒng)對(duì)姿態(tài)、表情和光照變化較為敏感的問(wèn)題。但值得注意的是，在應(yīng)用統(tǒng)計(jì)方法解決人臉深度圖像的識(shí)別問(wèn)題時(shí)，都是針對(duì)特定的訓(xùn)練樣本集設(shè)計(jì)特征提取算法[3-7]，而這些特征提取算法一旦設(shè)計(jì)好后，就再也不會(huì)有任何改進(jìn)。因此會(huì)導(dǎo)致特征提取算法的普適性較差，即在由訓(xùn)練集中的樣本擴(kuò)展到非訓(xùn)練集時(shí)，算法的有效性和穩(wěn)定性會(huì)顯著下降，并最終影響識(shí)別系統(tǒng)的性能。

本文針對(duì)特征提取算法的普適性問(wèn)題展開(kāi)研究，首次將反饋學(xué)習(xí)理論與3DLBP特征提取過(guò)程相結(jié)合，提出了一種自適應(yīng)性的3DLBP特征提取算法。實(shí)驗(yàn)結(jié)果表明，利用自適應(yīng)3DLBP特征提取算法獲取的人臉深度圖像特征對(duì)訓(xùn)練樣本集的變化具有較好的有效性和穩(wěn)定性，在FRGCv2.0人臉數(shù)據(jù)庫(kù)上取得了理想的識(shí)別性能。

1 機(jī)器學(xué)習(xí)理論與特征提取算法

1.1 機(jī)器學(xué)習(xí)理論

機(jī)器學(xué)習(xí)就是要使計(jì)算機(jī)能模擬人類的學(xué)習(xí)行為，通過(guò)主動(dòng)的學(xué)習(xí)來(lái)獲取知識(shí)和技能，并不斷改善其性能，最終實(shí)現(xiàn)自我完善。目前，在機(jī)器學(xué)習(xí)研究領(lǐng)域中被普遍接受和認(rèn)同的一個(gè)觀點(diǎn)是:學(xué)習(xí)應(yīng)該是系統(tǒng)運(yùn)行過(guò)程中的某種改進(jìn)。而這種改進(jìn)使得系統(tǒng)在進(jìn)行重復(fù)或類似的工作時(shí)，能夠具有更好的性能[8]。

對(duì)于特征提取而言，機(jī)器學(xué)習(xí)系統(tǒng)應(yīng)遵循學(xué)習(xí)的增量性以及學(xué)習(xí)的自適應(yīng)性標(biāo)準(zhǔn)[9]。其中，自適應(yīng)性體現(xiàn)了反饋的觀點(diǎn)，即學(xué)習(xí)結(jié)果反作用于學(xué)習(xí)過(guò)程。因此，對(duì)低質(zhì)量的訓(xùn)練具有理想的魯棒性，能夠使學(xué)習(xí)過(guò)程向平衡狀態(tài)發(fā)展。

1.2 自適應(yīng)特征提取算法

自適應(yīng)特征提取算法是將反饋學(xué)習(xí)理論與統(tǒng)計(jì)學(xué)習(xí)過(guò)程相結(jié)合，即在特征的提取過(guò)程中，利用測(cè)試樣本對(duì)算法的關(guān)鍵參數(shù)進(jìn)行不斷的修正和優(yōu)化，從而提高特征提取算法的普適性。以經(jīng)典的Fisherface特征提取算法為例進(jìn)行分析。首先通過(guò)對(duì)訓(xùn)練樣本集的學(xué)習(xí)可以獲得一組最佳鑒別矢量集;系統(tǒng)將該鑒別矢量集作為初始知識(shí)并對(duì)測(cè)試樣本進(jìn)行特征提取和分類識(shí)別;當(dāng)?shù)谝淮畏诸惤Y(jié)束后，并不立刻對(duì)結(jié)果進(jìn)行判斷和輸出，而是利用該分類結(jié)果對(duì)鑒別矢量集進(jìn)行動(dòng)態(tài)優(yōu)化，具體過(guò)程如圖1所示。

圖1 具有學(xué)習(xí)功能的Fisherface方法

該特征提取算法的主要特點(diǎn)是:利用訓(xùn)練樣本獲得的鑒別矢量集僅作為系統(tǒng)的初始知識(shí);而將優(yōu)化鑒別矢量集的過(guò)程視為系統(tǒng)的學(xué)習(xí)功能。但是，在上述學(xué)習(xí)過(guò)程中尚存有明顯不足，即對(duì)錯(cuò)分類樣本的學(xué)習(xí)會(huì)引起鑒別矢量集出現(xiàn)較大的偏差和不穩(wěn)定。針對(duì)該問(wèn)題，本文進(jìn)一步提出采用多分類器來(lái)提高預(yù)分類的正確率，從而盡量避免系統(tǒng)對(duì)錯(cuò)分樣本的學(xué)習(xí)。因此，自適應(yīng)特征提取過(guò)程如圖2所示。

圖2 基于多分類器的特征提取過(guò)程

2 自適應(yīng)3DLBP特征的提取

2.1 人臉深度圖像的獲取

人臉深度圖像不同于普通的二維紋理圖像。在深度圖像中，像素值代表了一個(gè)相對(duì)的深度信息。因此，每個(gè)像素都包含了三維坐標(biāo)系下各個(gè)坐標(biāo)值的空間信息。人臉深度圖像數(shù)據(jù)反映了人臉表面的三維信息，獲取過(guò)程具體包括:

1)獲取3D人臉數(shù)據(jù)

3D人臉數(shù)據(jù)既可以通過(guò)各種三維掃描設(shè)備主動(dòng)獲取，也可以通過(guò)三維重建的方法間接獲取。本文所使用的3D人臉數(shù)據(jù)主要來(lái)自于FRGCv2.0[10]人臉數(shù)據(jù)庫(kù)。

2)3D人臉數(shù)據(jù)的方位歸一化

獲取的3D人臉數(shù)據(jù)可以具有不同的尺寸、位置和方向，由于人臉深度圖像反映了人臉表面在三維坐標(biāo)系下的空間信息，所以在提取深度圖像之前需要將3D人臉數(shù)據(jù)置于一個(gè)標(biāo)準(zhǔn)的坐標(biāo)系中，即方位歸一化。方位歸一化一般包括以下過(guò)程:旋轉(zhuǎn)歸一化、平移歸一化和尺度歸一化等處理[11]。

3)基于正交投影的人臉深度圖像

將3D人臉數(shù)據(jù)投影為平面圖像的方法有很多。其中，最具代表性的是基于正交投影的處理方法。該方法首先計(jì)算3D人臉模型的最小包圍立方體，如圖3所示。然后，將立方體的深度空間均分為256個(gè)像素單元，即像素灰度級(jí)別為0～255;最后選取與Z軸垂直的平面為坐標(biāo)面進(jìn)行投影，投影的基本原則是:距離坐標(biāo)面越遠(yuǎn)像素灰度越大，顏色越深。

圖3 不同視角下的最小包圍立方體

2.2 自適應(yīng)3DLBP特征

對(duì)于獲取的人臉深度圖像而言，由于其本身已經(jīng)包含有完整的人臉空間結(jié)構(gòu)信息，且對(duì)光照變化具有穩(wěn)定性。因此，本文提出直接利用3DLBP算子[11]對(duì)人臉深度圖像進(jìn)行特征提取。同時(shí)，將3DLBP特征圖譜劃分成多個(gè)不重疊的區(qū)域從而保留其空間結(jié)構(gòu)信息;最后，提取區(qū)域直方圖并連接成完整的直方圖序列，作為該對(duì)象的3DLBP特征表示。當(dāng)采用(8，2)鄰域算子時(shí)的處理結(jié)果如圖4所示。

圖4 3DLBP特征圖譜及區(qū)域劃分

加入空間信息后的直方圖，即為區(qū)域3DLBP直方圖(Regional 3DLBP Histogram，R3DLBPH)。當(dāng)3DLBP特征圖譜的灰度級(jí)范圍為[0，L-1]時(shí)，R3DLBPH直方圖定義為

其中，

式中:i=0，…，m-1，j=0，…，L-1。將所有R3DLBPH直方圖連接成一個(gè)直方圖序列作為人臉的3DLBP直方圖特征表示，即

然而，提取的3DLBP直方圖特征維數(shù)非常高，且含有大量的冗余信息。為了能夠在低維空間中表示3DLBP直方圖特征，本文提出一種基于集成分段FDA(Ensemble of Piecewise FDA，EPFDA)的自適應(yīng)處理方法。該處理方法不僅能夠較好地融合直方圖序列的全局與局部特征，并且還能夠針對(duì)測(cè)試樣本進(jìn)行動(dòng)態(tài)調(diào)整，使特征提取過(guò)程具有自適應(yīng)性。因此，自適應(yīng)3DLBP特征提取過(guò)程如圖5所示。

圖5 自適應(yīng)3DLBP特征提取過(guò)程

3DLBP直方圖特征是由所有R3DLBPH直方圖連接成一個(gè)直方圖序列，在對(duì)3DLBP圖譜的劃分過(guò)程中，可以保留特征圖譜的局部空間信息。直方圖特征的集成分段就是將全局與局部特征相互融合，即將3DLBP直方圖特征進(jìn)行分段，對(duì)不同的集成分段直方圖分別進(jìn)行特征提取。因此，式(3)可表示為

式中:n=c×j為R2DHaarLBPH數(shù)量;L為3DLBP圖譜中箱格的數(shù)量;p=0，1，…，n-1。將n個(gè)R3DLBPH分成K個(gè)片段，所以3DLBP直方圖特征可表示為

式中:Gq為第q個(gè)包含特定數(shù)量(nq)R3DLBPH的特征片段。對(duì)每個(gè)特征片段Gq建立FDA模型，將其變換到第q個(gè)判別子空間的低維表示Fq，即

3 實(shí)驗(yàn)結(jié)果及其分析

3.1 實(shí)驗(yàn)數(shù)據(jù)庫(kù)介紹

FRGCv2.0人臉數(shù)據(jù)庫(kù)包含有不同對(duì)象在不同表情和光照條件下的二維人臉圖像與三維結(jié)構(gòu)數(shù)據(jù)。其中，三維結(jié)構(gòu)數(shù)據(jù)采用結(jié)構(gòu)光三維掃描儀在受控環(huán)境下進(jìn)行拍攝。獲取的人臉深度數(shù)據(jù)為三維點(diǎn)云數(shù)據(jù)，而與之配準(zhǔn)的彩色圖像分辨率為640×480。

本文采用其中275位對(duì)象的943個(gè)樣本(每個(gè)樣本包括深度數(shù)據(jù)和與之配準(zhǔn)的彩色圖像)作為實(shí)驗(yàn)樣本。同時(shí)，對(duì)三維人臉數(shù)據(jù)進(jìn)行姿態(tài)矯正、平滑、切割等預(yù)處理，并最終生成150×130像素的深度圖像。預(yù)處理后的部分人臉深度圖像如圖6所示。

圖6 預(yù)處理后的人臉深度圖像示例

在該實(shí)驗(yàn)數(shù)據(jù)庫(kù)中，不同對(duì)象所包含的樣本數(shù)量并不完全相同，具體分布情況如表1所示。本文取出86位對(duì)象的529個(gè)樣本數(shù)據(jù)用于實(shí)驗(yàn)(每位對(duì)象的樣本數(shù)不少于5個(gè))。

表1 不同對(duì)象所包含的樣本數(shù)量

3.2 算法性能比較分析

大量文獻(xiàn)和實(shí)驗(yàn)結(jié)果[12-13]均表明像素鄰域(P，R)對(duì)基于LBP算子的識(shí)別方法有直接影響，在相同實(shí)驗(yàn)條件下，(8，2)鄰域比(8，1)鄰域的效果要好。因此，本文采用圓形的(8，2)鄰域提取3DLBP直方圖特征;對(duì)150×130像素的人臉深度圖像進(jìn)行3DLBP特征提取后，大小為146×126像素。每位對(duì)象隨機(jī)取3幅圖像用于訓(xùn)練，其他圖像用于測(cè)試，即訓(xùn)練集樣本數(shù)為258，測(cè)試集樣本數(shù)為271。實(shí)驗(yàn)采用等錯(cuò)誤率(EER)作為算法性能的評(píng)價(jià)指標(biāo)，并取5次運(yùn)行結(jié)果的平均值作為最后的等錯(cuò)誤率(等錯(cuò)誤率越低，算法性能越好)。

3.2.1 實(shí)驗(yàn)1:基于自適應(yīng)3DLBP特征的性能比較測(cè)試

本實(shí)驗(yàn)重點(diǎn)分析自適應(yīng)3DLBP特征與3DLBP特征在分類識(shí)別測(cè)試中的性能差異。先將人臉特征圖譜分成2×2個(gè)大小相同的區(qū)域，即EP=4;然后，再將每個(gè)區(qū)域分成分成k×k(k=7，9，…，21)個(gè)大小相同的不重疊區(qū)域，并分別提取自適應(yīng)3DLBP(Adaptive 3DLBP)特征與3DLBP特征。自適應(yīng)3DLBP特征提取算法的關(guān)鍵步驟是對(duì)測(cè)試樣本進(jìn)行學(xué)習(xí)，即在第一次分類識(shí)別后，將訓(xùn)練樣本與測(cè)試樣本一起構(gòu)成新的訓(xùn)練樣本，完成對(duì)鑒別矢量集的優(yōu)化與自適應(yīng)學(xué)習(xí)。其中，對(duì)測(cè)試樣本的正確分類將直接影響整個(gè)算法的穩(wěn)定性和有效性。本實(shí)驗(yàn)利用最小距離和最近鄰分類器對(duì)測(cè)試樣本進(jìn)行分類識(shí)別，并將具有相同分類結(jié)果的測(cè)試樣本與原訓(xùn)練樣本一起構(gòu)成新的訓(xùn)練樣本集，實(shí)現(xiàn)對(duì)鑒別矢量集的動(dòng)態(tài)優(yōu)化，實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 基于自適應(yīng)3DLBP與3DLBP特征的識(shí)別結(jié)果

通過(guò)圖7可以看出利用自適應(yīng)3DLBP特征提取算法可以在一定程度上改善特征的可鑒別性，但是這種改變并不明顯，對(duì)于最低等錯(cuò)誤率甚至略微上升。究其原因，是在利用兩分類器對(duì)測(cè)試樣本進(jìn)行分類學(xué)習(xí)的過(guò)程中，對(duì)錯(cuò)誤分類樣本的學(xué)習(xí)導(dǎo)致了自適應(yīng)3DLBP特征鑒別矢量集出現(xiàn)偏差，影響了后續(xù)的性能表現(xiàn)。

同時(shí)，值得注意的是隨著k值的增大，兩種特征的等錯(cuò)誤率均有所上升。本實(shí)驗(yàn)同樣嘗試了將3DLBP標(biāo)記圖像分成不同數(shù)量的區(qū)域，但其效果都不如EP=4時(shí)的實(shí)驗(yàn)結(jié)果。當(dāng)EP=4時(shí)，基于兩種特征的最低等錯(cuò)誤率及相應(yīng)的區(qū)域劃分k如表2所示。

表2 基于3DLBP與自適應(yīng)3DLBP特征的最低等錯(cuò)誤率

3.2.2 實(shí)驗(yàn)2:基于少量訓(xùn)練樣本集的性能比較測(cè)試

自適應(yīng)特征提取算法的最大特點(diǎn)在于特征提取過(guò)程中的自適應(yīng)學(xué)習(xí)和動(dòng)態(tài)優(yōu)化調(diào)整。為了驗(yàn)證這一特性，本實(shí)驗(yàn)對(duì)訓(xùn)練樣本集進(jìn)行調(diào)整。每人隨機(jī)取2幅圖像用于訓(xùn)練，其他圖像用于測(cè)試，即訓(xùn)練集樣本數(shù)為172，測(cè)試集樣本數(shù)為357。利用自適應(yīng)3DLBP與3DLBP特征分別進(jìn)行分類識(shí)別。在EP=4時(shí)，不同區(qū)域數(shù)目下的等錯(cuò)誤率如圖8所示。

圖8 基于少量訓(xùn)練樣本集的性能比較測(cè)試結(jié)果

通過(guò)對(duì)比圖7、圖8可以看出，當(dāng)訓(xùn)練樣本數(shù)量減少的情況下，基于3DLBP特征提取算法的識(shí)別性能有所下降，等錯(cuò)誤率顯著上升;而基于自適應(yīng)3DLBP特征的人臉識(shí)別系統(tǒng)性能基本保持穩(wěn)定。通過(guò)對(duì)比實(shí)驗(yàn)可以看出，自適應(yīng)特征提取算法對(duì)于低質(zhì)量的訓(xùn)練樣本具有較好的魯棒性，能夠在分類識(shí)別的過(guò)程中對(duì)系統(tǒng)的關(guān)鍵參數(shù)進(jìn)行動(dòng)態(tài)優(yōu)化，使提取的特征更加符合測(cè)試樣本的特征變化，因此具有一定自適應(yīng)性。

4 總結(jié)與展望

本文針對(duì)人臉深度圖像的識(shí)別問(wèn)題展開(kāi)研究，提出了一種自適應(yīng)3DLBP特征提取算法。該特征提取算法以機(jī)器學(xué)習(xí)理論為基礎(chǔ)，首次將反饋學(xué)習(xí)與3DLBP特征提取過(guò)程相結(jié)合，即利用測(cè)試樣本對(duì)算法的關(guān)鍵參數(shù)進(jìn)行修正和優(yōu)化;然后再使用優(yōu)化后的算法進(jìn)行特征提取及分類識(shí)別;同時(shí)，為了提高自適應(yīng)特征提取算法的穩(wěn)定性，本文提出在預(yù)分類處理中使用多分類器對(duì)反饋學(xué)習(xí)過(guò)程進(jìn)行優(yōu)化。實(shí)驗(yàn)結(jié)果表明，自適應(yīng)3DLBP特征對(duì)訓(xùn)練樣本集的變化具有較好的有效性和穩(wěn)定性，在FRGCv2.0人臉數(shù)據(jù)庫(kù)上取得了理想的識(shí)別效果。如何將該自適應(yīng)特征提取算法進(jìn)行擴(kuò)展以適合不同模態(tài)的人臉特征將是下一步研究的重點(diǎn)。

[1]王利明.機(jī)器視覺(jué)中物體識(shí)別方法的研究與探討[D].上海:復(fù)旦大學(xué)，2009.

[2]楊雄.圖像介紹數(shù)據(jù)庫(kù)與物體識(shí)別的計(jì)算機(jī)研究[D].武漢:華中科技大學(xué)，2010.

[3]周娟，李勇平，黃躍峰.基于強(qiáng)度圖和深度圖的多模態(tài)人臉識(shí)別[J].計(jì)算機(jī)工程與應(yīng)用，2012，48(25):5-8.

[4]葉劍華，劉正光.多模態(tài)人臉識(shí)別融合方法比較研究[J].計(jì)算機(jī)工程與應(yīng)用，2009，45(19):153-156.

[5]WANG L，DING L，DING X，et al.2D face fitting-assisted 3D face reconstruction for pose-robust face recognition[J].Soft Computing，2010，15(3):417-428.

[6]葉長(zhǎng)明，蔣建國(guó)，詹曙，等.不同姿態(tài)人臉深度圖識(shí)別的研究[J].電子測(cè)量與儀器學(xué)報(bào)，2011，25(10):870-878.

[7]YUAN Li，CHEN Qinghu.2D face recognition based on 3D data and complex illumination model[C]//Proc.2nd International Symposium on Computer Network and Multimedia Technology(CNMT).Wuhan，China:[s.n.]，2010:81-84.

[8]賈彗星，張毓晉.智能視頻監(jiān)控中基于機(jī)器學(xué)習(xí)的自動(dòng)人數(shù)統(tǒng)計(jì)[J].電視技術(shù)，2009，33(4):78-81.

[9]張旭亞.基于特征提取和機(jī)器學(xué)習(xí)的醫(yī)學(xué)圖像分析[D].南京:南京郵電大學(xué)，2011.

[10]PHILLIPS P，F(xiàn)LYNN P，SCRUGGS T，et al.Overview of the face recognition grand challenge[C]//Proc.CVPR 2005.San Diego，CA，USA:IEEE Press，2005:947-954.

[11]胡永利，尹寶才，程世銓，等.創(chuàng)建中國(guó)人三維人臉庫(kù)關(guān)鍵技術(shù)研[J].計(jì)算機(jī)研究與發(fā)展，2005，42(4):622-628.

[12]SHAN C，GONG S，MCOWAN P.Facial expression recognition based on local binary patterns a comprehensive study[J].Image and Vision Computing，2009(27):803-816.

[13]王衎，胡金演，楊慧，等.基于Gabor小波變換復(fù)頻域響應(yīng)的人臉識(shí)別研究[J].電視技術(shù)，2010，34(7):104-106.