童 瑩

（南京工程學院 通信工程學院，江蘇 南京211167）

0 引 言

人臉表情識別 （facial expression recognition，F(xiàn)ER）由預處理、人臉檢測與區(qū)域分割、表情特征提取和分類3部分組成，其中表情特征提取是研究的重點，表情特征描述是否合適將直接影響分類準確性。目前常用的表情特征提取方法有局部二值模式 （local binary pattern，LBP）、Gabor小波變換和尺度不變特征轉(zhuǎn)換 （scale－invariant feature transform，SIFT）等。LBP 算子是一種有效的紋理描述子，Heikkil等［1］提出了CS－LBP算子，通過對圖像中關(guān)于中心像素點對稱的鄰域像素的灰度值變化進行二值編碼，獲取特征向量；Zhang 等［2］提出了高階局部模式描述子，采用二階局部導數(shù)進行人臉識別。Gabor小波變換是一種公認的優(yōu)秀頻域變換算子，能夠很好地模擬哺乳動物視覺皮層簡單細胞的感受域，符合人眼視覺特點，可以多尺度多方向檢測人臉表情變化，具有較好的識別效果。但由于Gabor小波核數(shù)量多，特征提取時間冗長，特征維數(shù)巨大，后期特征選擇與降維處理將直接影響識別結(jié)果。Marios Kyperountas等［3］采用Gabor濾波器獲取表情特征，針對多個一對一的二分類器選擇有效Gabor特征進行分類，不熟悉人臉表情識別率有明顯提高，但運算開銷巨大，不適合實時應用。SIFT 算子是Lowe在2004年提出的，是一種基于空間多尺度的局部不變量描述子，對尺度縮放、圖像旋轉(zhuǎn)甚至仿射變換保持不變性，在場景匹配、目標識別等領(lǐng)域都有出色的表現(xiàn)［4－5］。雖然LBP、Gabor和SIFT 算子均可以描述人臉表情特征，但由于LBP編碼受鄰域灰度值變化影響較大，對噪聲敏感；Gabor小波變換和SIFT 算法計算量大，特征維數(shù)太高，不具有實時性，因此這些特征提取算法仍有局限性。

針對這些不足，Dalal在SIFT 基礎(chǔ)上提出了梯度方向直方圖 （histograms of oriented gradients，HOG）算法，它是一種邊緣形狀描述子，近幾年被廣泛應用研究。O.Dénizd等［6］采用規(guī)則網(wǎng)格和不同尺度的HOG 特征進行人臉識別，在4個數(shù)據(jù)庫上均取得理想實驗效果；Rodrigo Minetto等［7］采用THOG 算子進行文本特征提取，采用SVM 分類器進行字符識別，在2種公共數(shù)據(jù)上的仿真結(jié)果表明，THOG 算子是一種有效的文本描述子。可以看出，HOG 算子通過計算梯度方向分布可以很好地描述圖像的邊緣信息，受灰度分布、光照變化和噪聲影響較小。同時，相比傳統(tǒng)特征算子 （如LBP、Gabor、SIFT 等），HOG 特征維數(shù)大大降低，具有實時性。因此，本文選擇HOG 算子進行人臉表情特征提取有實際意義。但由于經(jīng)典HOG 算子忽略了局部特征之間重要的空間排列信息，同樣的梯度信息可能對應著完全不一樣的邊緣結(jié)構(gòu)，因此存在著特征描述不夠精細的問題。鑒于此，本文提出了空間多尺度HOG 模型，首先逐層將圖像從粗到細分割成一系列不同尺度的子區(qū)域，然后采用改進HOG 算子分別計算各個子區(qū)域的梯度方向分布，用直方圖表示，最后按順序?qū)⒏鲗痈鲏K的梯度方向直方圖連接起來，獲得整幅圖像的 “空間多尺度”HOG 特征。在JAFFE 數(shù)據(jù)庫上的大量實驗結(jié)果表明，該方法是一種表達能力較強的形狀描述子，在把握圖像邊緣信息的同時也引入了空間信息，相比LBP、Gabor、SIFT 等傳統(tǒng)特征算子，無論在識別率還是運行時間上均具有顯著優(yōu)勢。

1 HOG 算法基本理論及改進

1.1 HOG 算法基本理論［10］

HOG 算法的基本思想是通過計算目標的梯度方向分布來描述目標的形狀，其具體實現(xiàn)步驟如下：

步驟1 遍歷圖像每個像素點，以其為中心取8×8像素鄰域作為網(wǎng)格 （block）區(qū)域。

步驟2 將每個網(wǎng)格 （block）區(qū)域平均分成4 個大小相等的塊單元 （cell），每個單元的大小是4×4個像素。

步驟3 利用一維微分模板 ［－1，0，1］計算所有單元 （cell）中的每一個像素的梯度幅值和梯度方向，如式（1）、式 （2）所示，其中I（x，y）代表圖像（x，y）坐標的像素值，m（x，y）為梯度幅值，θ（x，y）為梯度方向。圖1 （a）描述了一個網(wǎng)格 （block）區(qū)域中4個單元 （cell）的所有像素點的梯度方向分布，箭頭代表梯度方向

m（x，y）＝

步驟4 將梯度方向θ（x，y）限定在［0，π］范圍內(nèi)，平均分成8個區(qū)間，用有符號的8個方向表示。根據(jù)圖1 （a）中橢圓圈的高斯加權(quán)范圍將單元 （cell）上所有相同梯度方向的像素點的梯度幅值按照權(quán)重累加，組成該單元的8維梯度方向直方圖，如圖1 （b）所示。

圖1 HOG 特征提取過程

步驟5 計算得到單元 （cell）的8維梯度方向直方圖后，將一個網(wǎng)格 （block）區(qū)域中4個單元 （cell）的梯度方向直方圖連接起來，得到一個網(wǎng)格 （block）區(qū)域的4×8＝32維的梯度方向直方圖特征。連接所有網(wǎng)格 （block）區(qū)域的直方圖特征，并采用L2－norm 歸一化，得到最終HOG特征。一幅大小為128×128 的圖像，可以分為16×16＝256個無重疊網(wǎng)格 （block）區(qū)域，其HOG 特征向量長度為256×32＝8192。

1.2 本文改進算法

考慮原始梯度算子的單一性，本文采用canny模板計算梯度幅值和梯度方向，如式 （3）～式 （6）所示

另一方面，由于使用不同尺寸大小和縱橫比的cell和block取值參數(shù)會影響HOG 捕獲目標特征的能力，本文選用32×32大小的矩形block區(qū)域進行HOG 特征計算，在一個block區(qū)域中仍然包含4 個cell單元。同時，為了增加HOG 特征描述表情變化的能力，本文將［0，π］區(qū)間平均分成10個等分，這樣可以更加精細的描述人臉中額頭、眼睛、嘴巴等部位的方向變化，有效區(qū)分不同人臉表情。最后，研究表明高斯加權(quán)窗口僅對特征的性能有1%的提高，為了簡化計算，提高運行速度，本文不考慮高斯加權(quán)，每一個梯度方向的取值即為各像素點的梯度幅值的累加。

從圖2可以看出，采用canny算子計算的梯度幅值圖像相比傳統(tǒng)梯度算子的幅值圖像邊緣更清晰，細節(jié)更豐富，因此實驗效果更理想。并且本文對block、cell和bin的參數(shù)設置進行改進，一方面可以提高HOG 捕獲目標特征的能力，另一方面也可以大大降低特征向量長度。對于一幅128×128大小的圖像，采用改進參數(shù)，得到HOG 特征向量長度為4×4 （block）×4 （cell）×10 （bin）＝640，相比傳統(tǒng)HOG 特征向量，其長度下降了近93%，因此可以大大分類時間，具有實時性。

圖2 不同算子梯度幅值圖像

2 空間多尺度HOG 模型

HOG 算子是一種有效的形狀描述子，但它有一個重要的不足，即丟棄了局部特征之間的空間排列信息。研究發(fā)現(xiàn)，這種局部特征之間空間位置關(guān)系對提高圖像表示性能是非常重要的，因此本文提出了空間多尺度HOG 模型，它是一種能同時對物體的形狀以及空間布局進行良好描述的算子。具體步驟如下：

（2）采用上述改進HOG 算子，分別逐層計算每個網(wǎng)格（block）子區(qū)域的梯度方向直方圖。梯度方向的取值范圍仍限定在［0，π］內(nèi)，量化區(qū)間數(shù)k個。

圖3 空間多尺度HOG 特征提取過程

3 實驗結(jié)果與分析

本文采用KNN 最近鄰分類器對JAFFE數(shù)據(jù)庫進行實驗仿真。JAFFE數(shù)據(jù)庫由10位日本女性在憤怒、厭惡、恐懼、高興、悲傷、驚訝6種情況下自發(fā)產(chǎn)生的表情圖像組成。部分人臉表情圖像如圖4所示，每人每種表情約3幅，共180幅，圖像尺寸大小128×128。此數(shù)據(jù)庫完全開放，且表情標定標準，現(xiàn)為大多數(shù)研究者仿真使用。本文采用文獻 ［3］中 “l(fā)eave－one－sample－out”和 “l(fā)eave－one－subject－out”這2種樣本選擇方式進行仿真實驗?！發(fā)eave－one－sample－out”是一種熟悉人臉樣本選擇方式，選取1幅圖像作為測試樣本，剩余179幅圖像作為訓練樣本，交叉驗證180次。采用這種樣本選擇方式可以最大程度選擇所有數(shù)據(jù)作為測試樣本，以確保每幅圖像的表情特征都被考慮到，實驗結(jié)果更具有真實性?！發(fā)eave－one－subject－out”是一種不熟悉人臉樣本選擇方式，選取同一個人的所有表情作為測試樣本，剩余人的所有表情圖像作為訓練樣本，交叉驗證10次。這種樣本選擇方式可以用來評價分析人臉識別時不同表情變化對識別系統(tǒng)的影響。下面本文將從多個方面分析空間多尺度HOG算法的優(yōu)越性。

圖4 JAFFE數(shù)據(jù)庫人臉表情圖像

3.1 改進HOG 算子與傳統(tǒng)HOG 算子［10］的性能比較

根據(jù)本文1.1和1.2描述，采用改進HOG 算子和傳統(tǒng)HOG 算子在JAFFE 數(shù)據(jù)庫上進行實驗仿真，樣本選擇采用文獻 ［3］中 “l(fā)eave－one－sample－out”（縮寫為 “L－O－Sap－O”）和 “l(fā)eave－one－subject－out” （縮寫為 “L－O－Sub－O”）2種方式進行，實驗結(jié)果見表1。可以看出，相比傳統(tǒng)HOG算子，改進HOG 算子采用canny模板計算梯度幅值和方向，且增大cell區(qū)域范圍和bin值，可以有效描述人臉表情變化，在2種樣本選擇方式下分類效果均優(yōu)于傳統(tǒng)HOG 算子，且分類時間大大降低，具有實時性。

表1 改進HOG 算子和傳統(tǒng)HOG 算子的性能比較

3.2 不同金字塔層數(shù)和梯度方向量化區(qū)間的影響

實驗研究了不同金字塔層數(shù)L和梯度方向量化區(qū)間bin值對空間多尺度HOG 特征的分類準確率的影響。仍采用“L－O－Sap－O”和 “L－O－Sub－O”這2 種 樣 本 選 擇 方 式 在JAFFE 數(shù)據(jù)庫上進行仿真實驗，實驗結(jié)果如圖5、圖6所示。

空間多尺度模型考慮了局部特征之間的空間位置關(guān)系，相比基本特征算子具有優(yōu)越性。但是隨著分級層數(shù)的增加，這種加入位置信息的策略對目標在圖像中的位置、姿態(tài)越來越敏感，當分層到一定深度，該策略相對于基本算子優(yōu)勢就消失了。從圖5可以看出，當金字塔層數(shù)增加至4時，無論 是 “l(fā)eave－one－sample－out”樣 本 選 擇 方 式 和 “l(fā)eaveone－subject－out”樣本選擇方式，均達到識別率最優(yōu)，若繼續(xù)增加層數(shù)，則會增加背景塊的概率，造成信息冗余，降低識別率。

圖5 不同分層下空間多尺度HOG算子的分類效果比較

圖6 不同梯度方向量化區(qū)間下空間多尺度HOG 算子的分類效果比較

同時，空間多尺度模型不再對局部區(qū)域進行block 和cell劃分，而是直接計算各層各個子區(qū)域的梯度方向，并統(tǒng)計分布。從圖6可以看出，將［0，π］角度范圍平均劃分為10個區(qū)域和20區(qū)域時效果最佳，這是因為梯度方向量化區(qū)間的取值數(shù)目過多或過少都會對識別率造成影響，量化區(qū)間數(shù)目過少無法準確描述目標的形狀變化，量化區(qū)間數(shù)目過多則會造成信息冗余?？紤]特征維數(shù)增加會造成分類時間加長，對算法實時性有影響，因此本文選用參數(shù)bin＝10進行角度區(qū)間劃分。由此可見，本文提出的空間多尺度HOG 模型的最佳參數(shù)設置為層數(shù)L＝4，梯度方向量化區(qū)間數(shù)bin＝10，且梯度模板為canny算子。

3.3 空間多尺度HOG 算子與傳統(tǒng)特征描述子的性能比較

比較空間多尺度HOG 算子與LBP 算子、Gabor特征算子［11］以及金字塔梯度方向直方圖算子 （pyramid histogram of oriented gradients，PHOG）［12］的分類效果。這里空間多尺度HOG 算子采用3.2中的最佳參數(shù)設置，Gabor特征采用文獻 ［11］中的方式進行特征降維，PHOG 算子參考文獻 ［12］的方法實現(xiàn)。仍采用文獻 ［3］提出的2種樣本選擇方式對JAFFE數(shù)據(jù)庫進行實驗仿真，4種算子的分類結(jié)果見表2。

表2 LBP算子、Gabor特征算子、SIFT 算子、PHOG 算子與本文算子的識別率比較／%

結(jié)合表1分析可得，本文算子和HOG 算子與傳統(tǒng)特征算子 （LBP、Gabor）相比，無論是對熟悉人臉樣本還是不熟悉人臉樣本分類，識別率均有明顯提高，這說明邊緣形狀描述子更能準確表征人臉表情變化。另一方面，本文算子又考慮了局部特征之間的空間位置信息，因此相比表1中改進HOG 算子分類效果，識別率也有提高，尤其是對不熟悉人臉樣本的分類，識別率提高近5%。由于改進HOG算子的細胞單元大小是16×16，而本文算子的最小尺度子區(qū)域 （即最后一層子區(qū)域）大小也是16×16，提取細節(jié)特征的處理單元一致，分類結(jié)果具有可比性。因此空間多尺度HOG 算子是一種能同時對物體的形狀以及空間布局進行良好描述的算子，對不同人臉的不同表情變化具有較好的識別能力。再與PHOG 算子比較，雖然PHOG 算子也引入了空間信息，但僅考慮了圖像邊緣的梯度方向分布，表情信息不充分，因此分類效果不理想。

為了說明空間多尺度HOG 算子具有實時性，本文從特征提取時間與分類時間2個方面與傳統(tǒng)特征算子 （LBP、Gabor）進行比較，仿真結(jié)果見表3。

表3 本文算子與傳統(tǒng)特征算子的運行時間比較

表3中LBP算子采用LBP （8，1）模板對圖中8×8＝64個子區(qū)域分別進行局部二值模式計算，得到256×64＝16384大小的特征向量；Gabor特征采用文獻 ［11］中的降維方法得到132維大小的特征向量。而本文提出的空間多尺度HOG 算子則將梯度方向取值范圍限定在［0，π］內(nèi)，最佳參數(shù)bin＝10和L＝4，特征向量長度大小為850。由于KNN 最近鄰分類器的運行時間與特征向量大小呈線性關(guān)系，因此由表3 可以看出，本文算子分類時間高于Gabor算子，但若考慮特征向量的提取和降維時間，Gabor算子耗時巨大，本文算子的平均運行時間最短，實時性最佳。

4 結(jié)束語

人臉表情識別是一個跨學科富挑戰(zhàn)性的前沿課題，其中表情特征提取是否準確，將直接影響分類效果。本文針對這一關(guān)鍵步驟進行改進，將空間多尺度概念應用到HOG算子中，提出空間多尺度HOG 模型，指出局部特征之間的空間排列信息在模式分類中具有重要性。本文采用熟悉人臉和不熟悉人臉2種樣本選擇方式，在JAFFE 數(shù)據(jù)庫上進行仿真實驗，實驗結(jié)果表明，本文算子的識別性能遠高于LBP、Gabor和PHOG 等算子，最大限度地提取人臉表情的有效特征，尤其對陌生人臉表情具有較好的分類效果。并且平均時間也低于傳統(tǒng)特征算子，具有實時性。

［1］HeikkilM，Pietikinen M，Schmid C.Description of interest regions with local binary patterns ［J］.Pattern Recognition，2009，42 （3）：425－436.

［2］Zhang Baochang，Gao Yongsheng，Zhao Sanqing，et al.Local derivative pattern versus local binary pattern：Face recognition with high－order local pattern descriptor ［J］.IEEE Transactions on Image Processing，2010，19 （2）：533－544.

［3］Marios Kyperountas，Anastasios Tefas，Ioannis Pitas.Salient feature and reliable classifier selection for facial expression classification ［J］.Pattern Recognition，2010，43 （3）：972－986.

［4］ZHENG Yongbin，HUANG Xinsheng，F(xiàn)ENG Songjiang.An image matching algorithm based on combination of SIFT and the rotation invariant LBP ［J］.Journal of Computer 2 Aided Design ＆Computer Graphics，2010，22 （2）：286－292 （in Chinese）.［鄭永斌，黃新生，豐松江.SIFT 和旋轉(zhuǎn)不變LBP 相結(jié)合的圖像匹配算法 ［J］.計算機輔助設計與圖形學學報，2010，22 （2）：286－292.］

［5］Pan Xunyu，Siwei Lyu.Detecting image region duplication using SIFT features ［C］／／IEEE International Conference on Acoustics Speech and Signal Processing，2010：1706－1709.

［6］Déniz O，Bueno G，Salido J，et al.Face recognition using histograms of oriented gradients ［J］.Pattern Recognition Letters，2011，32 （12）：1598－1603.

［7］Rodrigo Minetto，Nicolas Thome， Matthieu Cord，et al.THOG：An effective gradient－based descriptor for single line text regions ［J］.Pattern Recognition，2013，46 （3）：1078－1090.

［8］Bosch A，Zisserman A，Munoz X.Representing shape with a spatial pyramid kernel ［C］／／International Conference on Image and Video Retrieval，2007：401－408.

［9］Kobayashi T.BFO meets HOG：Feature extraction based on histograms of oriented p.d.f.gradients for image classification［C］／／CVPR，2013：747－754.

［10］XIANG Zheng，TAN Hengliang，MA Zhengming.Performance comparison of improved HOG，Gabor and LBP ［J］.Journal of Computer－Aided Design ＆ Computer Graphics，2012，24 （6）：787－792 （in Chinese）. ［向征，譚恒良，馬爭鳴.改進的HOG 和Gabor，LBP 性能比較 ［J］.計算機輔助設計與圖形學學報，2012，24 （6）：787－792.］

［11］Ruan Jinxin.Study on key technology for multi－pose face dection and facial expression recognition ［D］.Guangzhou：South China University of Technology，2010：64－83 （in Chinese）.［阮錦新.多姿態(tài)人臉檢測與表情識別關(guān)鍵技術(shù)研究［D］.廣州：華南理工大學，2010：64－83］

［12］ZHOU Xia，QIN Lei，WANG Xian，et al.The face recognition algorithm based on improved PHOG and KPCA ［J］.Opto－Electronic Engineering，2012，39 （12）：143－150（in Chinese）.［周霞，秦磊，王憲，等.融合改進PHOG 與KPCA 的人臉識別算法［J］.光電工程，2012，39 （12）：143－150.］