黃 孝 平

(南寧學(xué)院　廣西 南寧 530200)

?

基于Gabor-PCA的人臉遮擋區(qū)域重建算法

黃 孝 平

(南寧學(xué)院廣西 南寧 530200)

針對(duì)遮擋人臉重建和識(shí)別問題，提出一種基于Gabor濾波和主成分分析相融合的人臉遮擋區(qū)重建算法。首先通過構(gòu)建5維8方向的Gabor直方圖信息分類器，從人臉庫中選擇Gabor直方圖信息與待重建原始人臉圖像在外形輪廓等粗信息更為接近的圖像組成訓(xùn)練樣本集，然后采用主成分分析對(duì)奇異值分解重建協(xié)方差矩陣進(jìn)行投影形成重建圖像，最后進(jìn)行仿真實(shí)驗(yàn)。結(jié)果表明，該算法可以得到平滑自然的重建人臉圖像，而且具有較強(qiáng)的適應(yīng)性。

人臉重建訓(xùn)練樣本主成分分析遮擋人臉

0　引　言

人臉識(shí)別特指利用分析比較人臉視覺特征信息進(jìn)行身份鑒別的計(jì)算機(jī)技術(shù)，是一種重要的生物特征識(shí)別技術(shù)，其在公共安全監(jiān)測(cè)、身份鑒定、門禁系統(tǒng)等領(lǐng)域得到了廣泛的應(yīng)用[1]。在人臉識(shí)別應(yīng)用中，人臉圖像的遮擋(如眼鏡、口罩、圍巾等)會(huì)經(jīng)常出現(xiàn)，而遮擋對(duì)人臉識(shí)別的性能影響很大，因此，對(duì)人臉遮擋進(jìn)行區(qū)域重建，提高人臉識(shí)別率成為圖像處理研究中的熱點(diǎn)問題[2]。

由于遮擋人臉識(shí)別具有十分重要的實(shí)用價(jià)值，國內(nèi)外學(xué)者對(duì)進(jìn)行了大量研究，提出了一些許多有效的遮擋人臉重建和識(shí)別算法[3]。遮擋人臉圖像分為無意和有意遮擋，無意遮擋包括帽子、圍巾、眼鏡等，有意遮擋為墨鏡口罩或是其它物體擋住面部五官，其有意遮擋通常由于特征變化過大，容易造成識(shí)別失敗，較低幾率造成誤識(shí)別。而無意遮擋通常僅僅遮擋小部分面部特征，導(dǎo)致特征提取過程中引入過多干擾特征，使其它重要特征置信度降低，有較高的幾率造成誤識(shí)別[4]。人臉遮擋區(qū)域重建屬于高維矩陣計(jì)算范疇，當(dāng)前主要有主成分分析法PCA(PrincipalComponentAnalysis)、核主成分分析法KPCA(KernelPrincipalComponentAnalysis)、局部保持投影LPP(LocalityPreservingProject)、模糊主分量(FuzzyPCA)等[5-8]。這些方法通過對(duì)比遮擋人臉與非遮擋人臉子空間上的絕對(duì)誤差來判斷遮擋區(qū)域，然后對(duì)遮擋區(qū)域進(jìn)行重建，并提出人臉特征；當(dāng)投影矩陣或協(xié)方差矩陣直接滿足局部正交時(shí)，它們函數(shù)不會(huì)陷入局部最大化，但是訓(xùn)練樣本多樣性使重建人臉容易陷入局部最大化以及協(xié)方差矩陣分解耗時(shí)嚴(yán)重問題，而且它們默認(rèn)函數(shù)符合局部正交，這不符合人臉識(shí)別實(shí)際應(yīng)用實(shí)際情況[9]。Gabor濾波器可以從同方向、不同尺度對(duì)人臉圖像局部結(jié)構(gòu)信息進(jìn)行捕捉，對(duì)人臉姿態(tài)和光照變化不敏感，在人臉識(shí)別應(yīng)用最為廣泛，然而Gabor濾波器存在計(jì)算量，而且特征維數(shù)很高等難題[10]。

針對(duì)當(dāng)前遮擋人臉重建算法存在的缺陷，為了改善人臉重建效果，提出一種基于Gabor濾波和主成分分析(PCA)相融合的人臉遮擋區(qū)重建算法(Gabor-PCA)。首先通過構(gòu)建Gabor直方圖信息分類器，并根據(jù)待重建原始人臉圖像相應(yīng)的Gabor直方圖信息，從人臉庫中選擇輪廓信息更為接近的圖像作為訓(xùn)練樣本集，然后在PCA進(jìn)行降維，最后通過仿真實(shí)驗(yàn)測(cè)試算法的有效性。

1　Gabor-PCA的人臉重建算法

1.1Gabor-PCA的工作原理

在人臉圖像中，五官結(jié)構(gòu)、人臉長寬比例等信息比較固定，和而表情、姿態(tài)、發(fā)型、膚色、飾物等細(xì)節(jié)信息變化比較大，為此在人臉重建之前，對(duì)人臉圖像樣本進(jìn)行分類，選擇重構(gòu)人臉相似度比較大的人臉組成訓(xùn)練集。為此，首先構(gòu)建Gabor直方圖信息，對(duì)訓(xùn)練樣本進(jìn)行分類，然后根據(jù)待重建人臉相應(yīng)的Gabor直方圖信息從人臉庫中選擇細(xì)節(jié)信息更為匹配的圖像作為訓(xùn)練樣本集，最后采用PCA重建協(xié)方差矩陣來降維，提高了人臉識(shí)別效果具體如圖1所示。

圖1　Gabor-PCA的工作流程

1.2Gabor和PCA算法

1.2.1Gabor算法

用Gabor濾波器人臉圖像處理，具有優(yōu)良的空間局部性和方向選擇性，能夠抓住圖像局部區(qū)域內(nèi)多個(gè)方向的空間頻率(尺度)和局部性結(jié)構(gòu)特征。當(dāng)有光照變量、姿態(tài)和表情的變化時(shí)，不僅能夠增強(qiáng)人臉中一些關(guān)鍵特征，并且對(duì)圖像的局部形變具有良好的魯棒性[11]。Gabor濾波器定義如下：

(1)

式中，z=(x,y)表示像素點(diǎn)；kμ,ν=kvejφμ，kv=kmax/fv，φμ=πμ/8。

Gabor濾波器的方向和尺度分別為μ和ν，采用5個(gè)尺度(ν=0,1,…,4)，8個(gè)方向(μ=0,1,…,7)的Gabor濾波器組對(duì)人臉圖像進(jìn)行濾波處理。令I(lǐng)(x,y)表示人臉圖像，對(duì)其做Gabor濾波處理即為下面的卷積運(yùn)算：

Gμ,ν(x,y)=I(x,y)*ψμ,ν(z)

(2)

選用5個(gè)尺度、8個(gè)方向的Gabor濾波器組，v∈{0,1,2,3,4}，u∈{0,1,2,…,7}，提取的人臉圖像的Gabor特征如圖2所示。

圖2　人臉圖像的Gabor特征表征

每個(gè)像素點(diǎn)Z=(x,y)的多尺度和多方向特征表示為Gu,v(z)，那么人臉圖像特征向量為：

{Gu,v(z):u∈(0,1,…,7),v∈(0,1,…,4)}

(3)

1.2.2PCA算法

主成分分析(PCA)通過K-L變換抑制具有較少信息量的系數(shù)來實(shí)現(xiàn)數(shù)據(jù)維度的減少，PCA將多維人臉圖像信息轉(zhuǎn)換成少數(shù)幾個(gè)主成分，這些成分包含了大多數(shù)的圖像信息，提高人臉識(shí)加緊效率。假定現(xiàn)有N個(gè)樣本特征{x1,x2,…,xN}，每個(gè)特征是一個(gè)n維空間且屬于類別{X1,X2,…,Xc}的某一類?？紤]一種線性變換，從n維空間映射到m維空間滿足m

yn=WTxkk=1,2,…,N

(4)

式中，WT是一個(gè)帶有正交列的矩陣。

假定總樣本散點(diǎn)矩陣定義如下：

(5)

式中，N為樣本數(shù)量；μ∈Rn是所有樣本的均值。

接著可以采用線性變換：

(6)

式中，{wi|i=1,2,…,m}是n維特征空間散點(diǎn)集ST對(duì)應(yīng)的m個(gè)最大特征向量，也成為模型的映射特征。

1.3Gabor-PCA的工作步驟

(1) 收集人臉圖像，并對(duì)其進(jìn)行歸一化處理。

(2) 構(gòu)建Gabor函數(shù)，主要設(shè)置Gabor濾波器方向以及頻率參數(shù)，提取了人臉特征，共得到的40組Gabor信號(hào)，特征構(gòu)建矩陣G5×8=[G0,…,Gi,…,G7]。

(3) 對(duì)Gi進(jìn)行求模，得到S=[‖G0‖,…,‖Gi‖,…,‖G7‖]。

(4) 根據(jù)式(7)計(jì)算人臉庫第i個(gè)圖像的輪廓值：

(7)

(6) 構(gòu)建人臉特征的協(xié)方差矩陣，并計(jì)算該人臉與訓(xùn)練樣本集平均值的差，構(gòu)建協(xié)方差矩陣C=AAT/c，其中A=(d0,…,di,…,dN-1)，并正交歸一化特征向量vi。

(7) 按式(8)計(jì)算特征值的貢獻(xiàn)率：

(8)

式中，p為有效的特征值個(gè)數(shù)。

(9) 按式(8)計(jì)算重建人臉圖像特征。

(9)

(10) 采用最支持向量機(jī)對(duì)重建人臉圖像進(jìn)行識(shí)別。

1.4人臉圖像分類器設(shè)計(jì)

支持向量機(jī)分類目標(biāo)就是在滿足所有約束制條件下，尋找一個(gè)最優(yōu)分類超平面，把全部數(shù)據(jù)點(diǎn)分開，且盡可能使點(diǎn)與超平面之間的距離最遠(yuǎn)，見圖3[12]所示。

圖3　最優(yōu)分類平面圖

給定數(shù)據(jù)集{xi,yi}，xi∈Rn，i=1,2,…,n，xi表示提取人臉圖像特征；yi表示人臉圖像的類級(jí)別。根據(jù)風(fēng)險(xiǎn)最小化的原理，SVM的最優(yōu)該超平面表示為：

y=ωTΦ(x)+b

(10)

式中，ω為權(quán)向量；b為偏移向量。

對(duì)于一個(gè)線性不可分問題，直接采用SVM對(duì)其進(jìn)行求解比較困難，通過引入非負(fù)的松弛因子將其轉(zhuǎn)變成二次優(yōu)化問題，即有：

(11)

式中，ξi第i個(gè)樣本的訓(xùn)練誤差；C為懲罰參數(shù)。

式(11)是一個(gè)典型的凸二次優(yōu)化問題，因此通過引入Lagrange乘子可轉(zhuǎn)化為其對(duì)偶問題式(12)來解決。

(12)

式中，αi表示Lagrange乘子。

對(duì)式(12)進(jìn)行求解，可以得到αi的值，那么權(quán)向量(ω)可表示為：

ω=∑αiyiΦ(xi)·Φ(x)

(13)

這樣SVM分類決策函數(shù)變?yōu)椋?/p>

f(x)=sgn(αiyiΦ(xi)·Φ(x)+b)

(14)

在高維空間中直接點(diǎn)積運(yùn)算比較困難，利用核函數(shù)代替點(diǎn)積Φ(xi)·Φ(xj)，人臉圖像的分類函數(shù)轉(zhuǎn)化成為：

f(x)=sgn(αiyik(x,xi)+b)

(15)

2　仿真試驗(yàn)

2.1仿真環(huán)境

為了檢Gabor-PCA算法的人臉重建和識(shí)別性能，在Intel雙核2.8GBCPU、4GB內(nèi)存，WindowsXP平臺(tái)上，采用Matlab2012編程實(shí)現(xiàn)仿真實(shí)驗(yàn)，采用多個(gè)人臉圖像檢驗(yàn)算法魯棒性和通用性。

2.2結(jié)果與分析

圖4(a)為待重建的原始圖像，圖4(a)-(c)為重建的人臉圖像，對(duì)圖4(b)-(d)進(jìn)行分析，可以得到如下結(jié)論：

(1) 圖4(b)表示PCA算法的人臉圖像重建結(jié)果。從圖4(b)可以清楚看出，由于沒有經(jīng)過Gabor算法選擇訓(xùn)練集，直接采用PCA選擇特征，重建人臉圖像完全被噪聲淹沒。

(2) 圖4(c)為Gabor算法的人臉圖像重建結(jié)果。從圖4(c)可以看出，由于經(jīng)過訓(xùn)練樣本的篩選，構(gòu)建的訓(xùn)練樣本集在輪廓上大致符合長發(fā)、面孔居于圖像中上位置情況息，得到的重建人臉圖像視覺上和原始人臉有一定的相似性，但是由于沒有經(jīng)過PCA進(jìn)行降低處理，部分重建人臉有陷入局部最大化缺陷。

(3) 圖4(d)為Gabor-PCA重建人臉圖像。從視覺上看，人臉面部信息完整、清晰，和原始圖像沒有太大差別，只是包含少量噪聲。實(shí)驗(yàn)結(jié)果表明，采用Gabor-PCA算法對(duì)人臉圖像樣本集的選擇是合理。

圖4　不同處落地的重建人臉效果對(duì)比

2.3迭代次數(shù)對(duì)人臉重建效果的影響

為了測(cè)試迭代次數(shù)對(duì)于Gabor-PCA算法性能影響，選擇圖5(a)作為待重建原始圖像(眼鏡遮擋)，不同迭代次數(shù)重建的人臉圖像如圖5(b)-(d)所示。對(duì)結(jié)果進(jìn)行分析可得，經(jīng)過一次迭代后，重建后的人臉圖像視覺效果還比較差，經(jīng)過10次迭代后，圖像細(xì)節(jié)信息比較清楚，視覺效果比好，很好地達(dá)到了“遮擋物清除”的目的，可以滿足人臉圖像重建的實(shí)時(shí)性應(yīng)用需求。

圖5　迭代次數(shù)對(duì)Gabor-PCA性能的影響

2.4算法的魯棒性測(cè)試

為了測(cè)試Gabor-PCA的魯棒性，選取幾個(gè)典型的遮擋人臉進(jìn)行實(shí)驗(yàn)，圖6分為“胡須”、“眼鏡”、“耳墜”、“側(cè)臉””以及“長頭發(fā)”遮擋人臉。圖7為Gabor-PCA重建后的人臉圖像，從圖7可以看出，Gabor-PCA可以較好地去掉人臉中遮擋區(qū)域，重建的人臉圖像視覺效果相當(dāng)好，最終達(dá)到清除人臉遮擋物的目的。

圖6　遮擋人臉

圖7　Gabor-PCA的重建建

2.5人臉識(shí)別率比較

為了測(cè)試Gabor-PCA的優(yōu)越性，選擇PCA、Gabor、LPP算法進(jìn)行對(duì)比實(shí)驗(yàn)，分類器均采用支持向量機(jī)進(jìn)行構(gòu)建。首先采用AR人臉庫中的遮擋圖像部分，共采用其中的80人560張測(cè)試圖像，1張正常圖像，3張墨鏡圖像，3張圍巾圖像，如圖8所示。以無遮擋人臉圖像為基準(zhǔn)圖像進(jìn)行識(shí)別。

圖8　AR人臉庫

所有算法的AR人臉庫的識(shí)別率和誤識(shí)率如圖9所示，其中，識(shí)別率是指能夠正確識(shí)別出遮擋人臉的身份信息，誤識(shí)率是指識(shí)別出遮擋區(qū)域，但人臉身份識(shí)別錯(cuò)誤，其余則為拒絕識(shí)別。

圖9　不同算法在AR庫上的識(shí)別率和誤識(shí)率

為了測(cè)試算法的通用性，采用自行采集的人臉擴(kuò)大測(cè)試，共43人，387張圖像，分為兩組進(jìn)行測(cè)試，圖像均為正向，面部區(qū)域大小以AR庫的大小為準(zhǔn)，去除背景信息，其中A組為自然遮擋物體組，即圍巾，帽子，眼鏡。如圖10所示。不同處落地的識(shí)別率和誤識(shí)率為如圖11所示。

圖10　擴(kuò)展遮擋人臉A

圖11　不同算法在擴(kuò)展遮擋人臉A上的識(shí)別率和誤識(shí)率

B組為故意遮擋物體組，包括書籍遮擋和惡意圖像修改，如圖12所示。對(duì)于B組，不同算法的人臉圖像識(shí)別率和誤識(shí)率如圖13所示。

圖12　擴(kuò)展遮擋人臉B

圖13　不同算法在擴(kuò)展遮擋人臉B的識(shí)別率和誤識(shí)率

3　結(jié)　語

為了提高遮擋人臉識(shí)別的效果，提出一種基于Gabor-PCA的人臉遮擋區(qū)域重建算法。仿真實(shí)驗(yàn)結(jié)果表明，本文算法能夠較好地重建遮擋人臉區(qū)域，與同類遮擋識(shí)別算法相比，本文算法獲得了更高的人臉識(shí)別率，有效降低人臉的誤識(shí)率，具有更廣泛的應(yīng)用范圍。

[1]ParkJS,OhYH,AhnSC,etal.Glassesremovalfromfacialimageusingrecursiveerrorcompensation[J].IEEETransonPatternAnalysisandMachineIntelligence,2005,27(5):805-811.

[2] 王志明,陶建華.人臉遮擋區(qū)域檢測(cè)與重建[J].計(jì)算機(jī)研究與發(fā)展,2010,47(1):16-22.

[3] 蘇煜,山世光,陳熙霖,等.基于全局和局部特征集成的人臉識(shí)別[J].軟件學(xué)報(bào),2010,21(8):1849-1862.

[4] 田玉敏,云艷娥,馬天駿.判別近鄰保持嵌入人臉識(shí)別[J].西安電子科技大學(xué)學(xué)報(bào),2011,38(3):24-28.

[5]RoweisST,SaulLK.Nonlineardimensionalityreductionbylocallylinearembedding[J].Science,2000,290(22):2323-2326.

[6]BartlettMS,MovellanJR,SejnowskiTJ.Facerecognitionbyindependentcomponentanalysis[J].IEEETransactionsonNeuralNetworks,2002,13(6):1450-1464.

[7]WrightJ,YangY,GaneshA,etal.Robustfacerecognitionviasparserepresentation[J].patternanalysisandmachineintelligence,2009,31(2):10-227.

[8]OjalaT,PietikainenM,MaenpaaM.Multiresolutiongray-scaleandrotationinvarianttextureclassificationwidthlocalbinarypatterns[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2002,24(7):971-987.

[9]WuCY,LiuC,ShunHY.Automaticeyeglassesremovalfromfaceimages[J].IEEETransactiononPatternAnalysisandMachineIntelligence,2004,26(30):322-336.

[10]VishwakarmaVP,PandeyS,GuptaMN.AnilluminationinvariantaccuratefacerecognitionwithdownscalingofDCTcoefficients[J].JournalofComputingandInformationTechnology,2010,18(1):53-67.

[11]YangM,ZhangL.GaborfeaturebasedsparserepresentationforfacerecognitionwithGaborocclusiondictionary[M].ComputerVision-ECCV2010.SpringerBerlinHeidelb-erg,2010:448-461.

[12]HuangCL,WangCJ.AGA-basedfeatureselectionandparametersoptimizationforsupportvectormachines[J].ExpertSystemswithApplications,2011,31(2):231-240.

GABOR-PCABASEDRECONSTRUCTIONALGORITHMOFOCCLUDEDFACEREGION

HuangXiaoping

(Nanning University,Nanning 530200,Guangxi,China)

Aimingattheoccludedfacereconstructionandrecognitionproblem,weproposedaGaborandPCAfusion-basedreconstructionalgorithmforoccludedregionofface.First,byconstructingGaborhistograminformationclassifierwithfivedimensionalitiesandeightdirectionsweselectedtheimagesfromdatabasewhichhavetheGaborhistograminformationmuchclosetothecoarseinformationsuchastheoutlineoftheprimitivefaceimagestobereconstructedtoformtrainingsampleset,andthenadoptedPCAtodecomposesingularvalueandtoreconstructcovariancematrixaswellastoprojecttofromthereconstructedimage,andfinallythesimulationexperimentwascarriedout.Resultsshowedthattheproposedalgorithmcouldobtainsmoothandnaturalreconstructedfaceimages,andhadstrongeradaptability.

FacereconstructionTrainingsamplePrincipalcomponentanalysis(PCA)Occludingface

2014-07-01。2012廣西高校特色專業(yè)及課程一體化建設(shè)項(xiàng)目(GXTSZY305)。黃孝平，高工，主研領(lǐng)域：人臉識(shí)別，智能控制，嵌入式系統(tǒng)應(yīng)用。

TP391.4

ADOI:10.3969/j.issn.1000-386x.2016.03.048