王　迪， 陳岳林， 蔡曉東， 甘凱今

(桂林電子科技大學(xué) 機械工程學(xué)院，廣西 桂林 541004)

?

CPEF：一種用于人臉識別的圖像擇優(yōu)方法

王迪， 陳岳林， 蔡曉東， 甘凱今

(桂林電子科技大學(xué) 機械工程學(xué)院，廣西 桂林 541004)

針對人臉識別的輸入圖像信息量高低不均的問題，提出了一種多參數(shù)圖像擇優(yōu)的評分機制CPEF主要有三點貢獻(xiàn)：第一點是提出了一種新穎的基于主動形狀模型(ASM)定位的人臉?biāo)叫D(zhuǎn)程度評估方法；第二點是采用遞歸的方式計算權(quán)重；第三點是提出了一組參數(shù)定量地描述了圖像擇優(yōu)方法。過程如下：首先，計算圖像質(zhì)量；其次基于二分類器判斷人眼是否處于睜開狀態(tài)；然后以顏色直方圖信息判定人是否處于張嘴狀態(tài)；最后，綜合水平旋轉(zhuǎn)程度及其他參數(shù)，配合權(quán)重，給出評分。在FERET人臉庫上的實驗結(jié)果證明，CPEF有效地將人臉圖像按照人主觀感受做出排名，準(zhǔn)確率高達(dá)92%。并且按得分高低排序采用Gabor配合SVM做人臉識別對比測試，對比實驗證明，經(jīng)CPEF處理后的圖像在人臉識別中的準(zhǔn)確率顯著提升。

ASM； CPEF； 旋轉(zhuǎn)； 遞歸

人臉識別是模式識別領(lǐng)域中活躍的研究方向之一，傳統(tǒng)流程是在一段大約10 s左右的視頻中，獲取單個人物的一組人臉圖像，將它們帶入后期的人臉識別階段。而人臉識別大量采用特征提取的方法，所以圖像的信息量高低會影響識別效果。目前該領(lǐng)域主要研究的是圖像自身質(zhì)量，諸如客觀質(zhì)量評價中的全參考型、部分參考型、無參考型等。這些只是作為圖像擇優(yōu)的一部分，對于信息量以及是否便于特征提取沒有做考慮。

本文提出CPEF，它是在獲取圖像客觀參數(shù)的基礎(chǔ)上，采用遞歸給出權(quán)重，作出符合人主觀感受的評分。具體過程為：首先，基于ASM[1]定位計算人臉?biāo)叫D(zhuǎn)程度；其次，計算圖像的LS值[2]以及輪廓[3]數(shù)量評估圖像質(zhì)量；然后使用haar[4]配合adaboost[5]定位人眼，基于HOG[6]配合SVM[7]訓(xùn)練出的二分類器判斷人眼是否處于睜開狀態(tài)；接下來ASM定位人嘴，以顏色直方圖信息判定人是否處于張嘴狀態(tài)；最后，綜合以上參數(shù)，配上遞歸得到的權(quán)重，計算最終評分。CPEF的框架如圖1所示。

圖1　CPEF框架圖

1　一種新穎的人臉?biāo)叫D(zhuǎn)程度評估方法

人臉?biāo)叫D(zhuǎn)程度是圖像擇優(yōu)的一個重要參數(shù)，旋轉(zhuǎn)程度過大，會丟失很多人臉上的有用信息，在之后的人臉識別階段，會有很多特征無法進(jìn)行匹配。因此，旋轉(zhuǎn)程度的評定至關(guān)重要。本文提出一種新穎有效的基于ASM定位的人臉?biāo)叫D(zhuǎn)程度評估方法。

1.1ASM定位三處關(guān)鍵點

ASM要定位準(zhǔn)確，后續(xù)工作都是建立在ASM定位到的三點上進(jìn)行的。ASM是基于統(tǒng)計學(xué)習(xí)模型[8]的特征點提取方法。包括train和test兩部分，即形狀建模與形狀匹配，其中建模部分在本文研究前期已經(jīng)完成，如圖2所示，一張人臉上標(biāo)定了76個特征點。

圖2　ASM人臉形狀建模圖

本書需要定位圖2中第38點和第39點作為雙眼中心點，以及第52點作為鼻尖點，之后就是通過計算這三個點之間角度來衡量人臉?biāo)叫D(zhuǎn)程度。

1.2計算水平旋轉(zhuǎn)程度

通過定位到的雙眼中心點以及鼻尖點，三點連線后得到人臉上的一個倒三角形，如圖3所示。

圖3　人臉旋轉(zhuǎn)角度對比

2　基于實驗的遞歸式參數(shù)權(quán)重確定

判斷一張人臉圖像上可用信息量的多少，唯一的標(biāo)準(zhǔn)就是，該方法獲得的客觀質(zhì)量評價結(jié)果與人的主觀感受是否一致。

2.1人主觀評定準(zhǔn)則

本文在使用CPEF之前，首先明確人對于圖像的主觀評定準(zhǔn)則，在此基礎(chǔ)上反復(fù)做遞歸測試獲得權(quán)重值。如圖4所示給出各參數(shù)重要性優(yōu)先級。

圖4　參數(shù)優(yōu)先級

人臉旋轉(zhuǎn)程度重要性要高于其他參數(shù)，一旦失效，其他特征無法準(zhǔn)確提取，如圖5所示。

圖5　水平旋轉(zhuǎn)程度過大導(dǎo)致ASM定位不準(zhǔn)

圖5中，同一個人目標(biāo)人物，左圖中人臉較正，ASM定位準(zhǔn)確，右圖中人臉旋轉(zhuǎn)大于20°，ASM可能會定位錯誤。

2.2遞歸實驗獲取權(quán)重

首先視各參數(shù)權(quán)重初始值相同{0.25，0.25，0.25，0.25}，每次實驗都將FERET數(shù)據(jù)庫中200組人按照當(dāng)前權(quán)重值計算得分，測試結(jié)束后，用主觀感受去對實驗結(jié)果作出評價，獲得一個準(zhǔn)確率。而評分失敗的人臉要給出兩個指標(biāo)，即導(dǎo)致評分失敗的原因中，哪一項參數(shù)權(quán)重高出最多，哪一項參數(shù)權(quán)重低出最多。

樣本總數(shù)：total_num

失敗個數(shù)：fail_num

權(quán)重高的參數(shù)：high_max，對應(yīng)的個數(shù)：high_num

權(quán)重低的參數(shù)：low_max，對應(yīng)的個數(shù)：low_num

評分準(zhǔn)確率：rate

遞歸流程如下所示：

While(rate>0.01)

帶入FERET做測試；

forj=0，…，total_num

對圖像評分，排序；

end；

統(tǒng)計fail_num；

計算rate，high_num，low_num；

end；

多次遞歸之后準(zhǔn)確率趨于平穩(wěn)，遞歸前后準(zhǔn)確率相差1%以內(nèi)。此時準(zhǔn)確率高達(dá)92%。CPEF評分公式為

(1)

3　基于一組參數(shù)定量的描述圖像擇優(yōu)的方法

3.1人臉圖像LS值與輪廓數(shù)量評估圖像質(zhì)量

圖像擇優(yōu)，首先就要考慮圖像質(zhì)量，包括人臉上清晰程度以及輪廓數(shù)量的多少。

3.1.1計算LS值

本文采用了拉普拉斯算子計算LS值評估圖像的清晰度，計算公式為

(2)

一個M×N大小的圖像，其中，g(i，j)表示圖像在(i，j)點的像素值，LS值越大，說明圖像輪廓越清晰，圖像質(zhì)量越好。

3.1.2輪廓數(shù)量

通過圖像具有的輪廓數(shù)量進(jìn)行擇優(yōu)，即輪廓越多的人臉，它所含的信息量越大。因此，本文使用cvContours獲取每張人臉圖像輪廓，輪廓數(shù)量越多，圖像質(zhì)量越高。

3.2睜眼和閉嘴狀態(tài)的判定

人臉表情會影響人臉特征信息的提取，為人臉識別帶來一定困難，而表情的變化常常表現(xiàn)在人眼和人嘴的狀態(tài)上，本章采用訓(xùn)練的方式判斷人是否處于睜眼閉嘴的狀態(tài)。

3.2.1人眼檢測和判定

采用haar配合adaboost檢測人眼，計算人眼的HOG特征，并帶入SVM訓(xùn)練二分類器，判斷是睜眼還是閉眼狀態(tài)。

3.2.2人嘴檢測和判定

如圖6所示，左側(cè)是ASM定位到的76個特征點標(biāo)號，本文取從第66點起，逆時針經(jīng)第67、68、69、70點最終至第71點所圍成的近似矩形框。

圖6　ASM定位人嘴中心

圖6中，右側(cè)上圖為ASM檢測出的效果圖，右側(cè)下圖為定位到的人嘴位置，通過大量實驗可獲悉，水平旋轉(zhuǎn)20°范圍內(nèi)的人臉都可以由ASM模板精準(zhǔn)定位到人嘴位置。

把第66點至第71點所圍成區(qū)域圖像轉(zhuǎn)化為灰度圖，白色區(qū)域大于一定面積判定為露齒，即視為張嘴，如圖7所示。

圖7　張嘴閉嘴顏色直方圖信息對比

圖7中對比出張嘴狀態(tài)下的人嘴附近顏色直方圖在高灰度值區(qū)域分布較廣。這種直接的判定方法準(zhǔn)確、簡單、有效。

本章是對人臉是否處于睜眼閉嘴狀態(tài)的判斷，映射了該人臉是否存在表情變化。下面給出實驗過程和結(jié)論。

4 實驗及結(jié)果分析

4.1實驗?zāi)繕?biāo)及過程

本文實驗分為兩個階段，第一階段是測試CPEF評

分準(zhǔn)確率，第二階段是測試CPEF的評分效果提升人臉識別準(zhǔn)確率的程度。

第一階段，實驗采用FERET數(shù)據(jù)庫，內(nèi)涵200人，每個人有7張圖像。之所以采用FERET人臉庫做測試，原因如下：1)包括水平旋轉(zhuǎn)、睜眼閉眼、張嘴閉嘴、明暗對比等多種狀態(tài)下的人臉圖像，CPEF采用的各項參數(shù)在FERET數(shù)據(jù)庫中都有體現(xiàn)。2)圖像的清晰度滿足了人臉特征提取的要求。3)近似于實際環(huán)境下的人臉檢測效果，在室內(nèi)實際環(huán)境下有可推廣性。本文提出的CPEF致力于應(yīng)用在室內(nèi)環(huán)境下，在反復(fù)遞歸測試之后，排序準(zhǔn)確率趨于平穩(wěn)，即遞歸前后準(zhǔn)確率在1%之內(nèi)，實驗停止。CPEF的計算流程如圖8所示。

圖8　CPEF計算流程圖

第二階段，是對CPEF評分后的人臉圖像做識別，目的是證明得分高的人臉圖像識別率高于得分低的人臉圖像。實驗采用FERET人臉庫做測試，共200人，每人有7張不同狀態(tài)圖像(圖9)，經(jīng)過CPEF評分后，每個人的這7張圖像按得分由高到低排序，如圖8所示，得分越高，排名越靠前。FERET人臉重新組合，每個人排名序號相同的人臉組成一個集合，排名序號為i的人臉集合為fi，則FERET可由7個集合構(gòu)成。F={f1,f2,f3,f4,f5,f6,f7}，fi=每個人排名第i的人臉共計200張。i越大，對應(yīng)的集合中的人臉圖像得分越高，即得分排序為Scorefi>Scoref2>Scoref3>Scoref4>Scoref5>Scoref6>Scoref7，每次將一個集合作為識別輸入圖像。每張圖像提取Gabor特征[9]，其中Gabor濾波器有5個尺度8個方向，共計40個。將濾波后的圖像降采樣，像素值按序排成一個行向量帶入SVM訓(xùn)練分類器，一個集合中有200張人臉即分為200類，輸入測試圖像，SVM中的predict函數(shù)會給出一個歸類標(biāo)簽號，這個標(biāo)簽號就對應(yīng)了測試圖像識別到的樣本序號。測試圖像共計200張，作為每個集合的測試數(shù)據(jù)，序號和數(shù)量保持不變。每個集合最終會得到一個識別準(zhǔn)確率，比較7個集合的準(zhǔn)確率如圖10所示，其中CPEF處理后得分最高的人臉集合f1的識別準(zhǔn)確率高達(dá)94%，而得分最低的集合f7識別準(zhǔn)確率僅為62%。

圖9　FERET數(shù)據(jù)庫多組人臉圖像

圖10　不同得分級別的人臉圖像識別準(zhǔn)確率對比圖

4.2實驗結(jié)論

經(jīng)CPEF計算后的一組人臉圖像按評分由高到低排序如圖11所示。

圖11　評分效果圖

圖11中從左向右是同一個人檢測到的7張人臉經(jīng)過CPEF得分從高到低排位的結(jié)果，符合人的主觀感受，其中水平旋轉(zhuǎn)程度低、睜眼、閉嘴、無顯著表情變化的人臉圖像得分最高，即左側(cè)第一張。

CPEF的評分準(zhǔn)確率如圖12所示，實驗證明：CPEF可以有效地對人臉給出符合人主觀感受的評分，在FERET人臉庫中準(zhǔn)確率高達(dá)92%。

圖12　CPEF在FERET數(shù)據(jù)庫上的準(zhǔn)確率

CPEF評分后，按得分高低排序帶入做人臉識別，F(xiàn)ERET人臉庫F={f1,f2,f3,f4,f5,f6,f7}，fi=每個人排名第i的人臉共計200張，識別準(zhǔn)確率如圖10所示。

實驗證明：CPEF評分越高的人臉圖像識別準(zhǔn)確率越高，F(xiàn)ERET數(shù)據(jù)庫中的人臉圖像近似于室內(nèi)環(huán)境下檢測到的人臉，識別率有如此高的提升，說明CPEF在室內(nèi)環(huán)境下有實際可推廣性。

5　結(jié)束語

本文采用CPEF對檢測到的人臉進(jìn)行評分供后期人臉識別使用，該方法：1)提出一個多參數(shù)模型，在FERET這個公共人臉庫中做遞歸測試，得到一組優(yōu)化的參數(shù)，使這個模型對人臉圖像擇優(yōu)準(zhǔn)確率達(dá)到92%以上。2)提出一種新穎的基于ASM的評估人臉?biāo)叫D(zhuǎn)程度的算法，在水平旋轉(zhuǎn)20°范圍內(nèi)有效。3)本文致力于在室內(nèi)環(huán)境下對檢測到的人臉進(jìn)行評分，對比識別準(zhǔn)確率的實驗證明，CPEF在室內(nèi)實際環(huán)境下具有可推廣性。未來進(jìn)一步的改進(jìn)方向是對ASM定位側(cè)臉準(zhǔn)確性的提升，以及人臉表情多樣化的算法適應(yīng)性。

[1]COOTES T，TAYLOR C，COOPER D，et al.Active shape models-their training and application[J].Computer vision and image understanding，1995，61(1)：38-59.

[2]楊露，蘇秀琴，陸陶，等.基于Controurlet變換和形態(tài)學(xué)的圖像去噪方法[J].光電子，2008，19(11)：1558-1560.

[3]王映輝. 人臉識別——原理、方法與技術(shù)[M].北京：科學(xué)出版社，2010.

[4]劉曉克. 基于新Haar-like特征的多角度人臉檢測[J]. 計算機工程， 2009， 35(19)： 195-197.

[5]GUO B F，LAM K M，LIN K H，et al.Human face recognition based on spatially weighted Hausdorff distance[J].Pattern recognition letters，2003，24(3)：499-507.

[6]王慶軍，張汝波.基于Log-Gabor和正交等度規(guī)映射的人臉識別[J].計算機科學(xué)，2011，38(2)：274-276.

[7]肖政宏，基于PCA和GMM的圖像分類算法[J].計算機工程與設(shè)計，2007，11(27)：1951-1952.

[8]王晶，蘇光大.確定區(qū)域的人臉彩色傳遞[J].光電子，2010(1)：116-119.

[9]梁路宏，艾海舟，肖習(xí)攀.基于模板匹配與支持矢量機的人臉檢測[J].計算機學(xué)報，2002，25(1)：22-29.

王迪(1988— )，碩士生，主研智能視頻分析與模式識別；

陳岳林(1968— )，碩士生導(dǎo)師，主要研究方向為機制、機電等；

蔡曉東(1971— )，碩士生導(dǎo)師，主要研究方向為并行化圖像和視頻處理、模式識別與智能系統(tǒng)、基于云構(gòu)架的智能傳感器網(wǎng)絡(luò)；

甘凱今(1992— )，碩士生，主研智能視頻分析與模式識別。

責(zé)任編輯：閆雯雯

Evaluation method based on CPEF for face recognition

WANG Di，CHEN Yuelin，CAI Xiaodong，GAN Kaijin

(SchoolofInformationandCommunication，GuilinUniversityofElectronicTechnology，GuangxiGuilin541004，China)

A novel mechanism named CPEF(Composite Parameters for Evaluating Face images) for selecting an image to conduct the best result for face recognition applications from an image sequence is presented. Firstly， an method based on ASM positioning for the evaluationof image rotation is provided. Then a recursive scheme for parameters weighing is utilized. Finally， a composite parameter model is proposed to rate the appropriate degree of an image for face recognition. The experimental results show that the proposed method produces similar results to subjective evaluation and the accuracy is 92%. Furthermore，the effectiveness of this work is proved by face recognition applications using Gabor feature and SVM classifier.

ASM；CPEF；rotate；recursive function

TN911

ADOI：10.16280/j.videoe.2016.07.025

國家科技支撐計劃項目(2014BAK11B02)；2014年廣西科學(xué)研究與技術(shù)開發(fā)計劃項目(桂科攻14122007-5)

2015-09-10

文獻(xiàn)引用格式：王迪， 陳岳林， 蔡曉東，等. CPEF：一種用于人臉識別的圖像擇優(yōu)方法[J].電視技術(shù)，2016，40(7)：113-117.

WANG D， CHEN Y L， CAI X D，et al. Evaluation method based on CPEF for face recognition [J].Video engineering，2016，40(7)：113-117.