李立賽，應自爐

?

基于改進LTP算子和稀疏表示的人臉表情識別

李立賽，應自爐

（五邑大學 信息工程學院，廣東 江門 529020）

為了提高實際應用中的人臉表情識別率，本文提出了改進局部三值模式算法（ILTP），并結合稀疏表達分類器（SRC）組成新的算法應用于人臉表情識別. 該算法首先利用ILTP算法對人臉表情圖像進行特征提取，然后將得到的圖像頂層特征數(shù)據(jù)和圖像底層特征數(shù)據(jù)作為SRC的輸入，從而完成人臉表情分類. 基于JAFFE數(shù)據(jù)的實驗結果表明：改進算法的人臉表情識別率達70.48%，具有較高的可行性.

表情識別；紋理特征；改進局部三值模式算法；稀疏表達分類器

隨著人工智能和模式識別技術的快速發(fā)展，生物識別技術已經成為人機交互研究的重要領域之一. 表情作為一種特殊的生物特征，是人與人之間交流與互動的重要手段，也是了解他人主觀心理狀態(tài)的客觀指標. 近幾十年來，人臉表情識別在不同的領域獲得了很多成果，如人機交互、智能監(jiān)控、身份驗證、行為科學等. 但由于年齡、膚色、性別、發(fā)型等差異和眼鏡等飾物的遮掩，人臉表情識別技術仍然是一個極富挑戰(zhàn)性的研究課題.

人臉表情識別的特征提取算法和分類器優(yōu)劣對識別效果有著重要的影響. 最常見的特征提取算法和識別算法有主成分分析法[1]、Gabor小波法[2]、基于特征點的跟蹤方法[3]、局部二值量化、局部相位量化等. 被廣泛應用的識別算法有SVM、AdaBoost、SRC（Sparse Representation-based Classification）和人工神經網(wǎng)絡等. 這些算法都不斷被研究者們改進和應用[4]，使得人臉表情識別取得了很多成果. 本文提出的改進局部三值模式算法（Improved Local Ternary Patterns，ILTP）是在局部三值模式（Local Ternary Patterns，LTP）[5]的基礎上獲得的，局部三值模式是局部二值模式（Local Binary Pattern，LBP）的一種優(yōu)化算法. 雖然LTP在圖像均勻的區(qū)域比LBP具有更強的區(qū)分能力和對噪聲、光源變化的強魯棒性等特點，但是，其在圖像的多尺度變化和局部遮擋問題的處理上還有一些不足，容易因圖像特征不易提取而導致識別率較低. 考慮到這些不足，本文希望對LTP做進一步的優(yōu)化，并將其應用于人臉表情識別.

1 ILTP特征描述算子

1.1 基本LTP特征描述算法

局部三值模型是由Tan[6]提出的，該算法是對局部二值模型的一種改進與泛化. LTP算法[7]引入了閾值區(qū)間，即將LBP算子以中心值為閾值變?yōu)橐灾行闹档膮^(qū)間為閾值. 鄰域值在中心值區(qū)間內編碼值將為0；鄰域值比中心值區(qū)間大編碼將為1；鄰域值比中心值區(qū)間小編碼將為. 其具體編碼規(guī)則如式（1）所示：

圖1 基本LTP編碼示意圖

通過LTP編碼可以得到三值編碼，如圖1中得到的LTP編碼為1100（-1）（-1）00. 為了降低編碼的復雜度，編碼時往往會將三值模式轉換為2個二值模式，然后分別統(tǒng)計直方圖信息. 如100（-1）（-1）00將會被分為頂層模式（11000000）和底層模式（00001100）這2種二值模式，如圖2所示.

圖2 LTP拆分編碼

1.2 ILTP特征描述算法

盡管在圖像均勻區(qū)域LTP算子用于人臉表情識別比LBP具有更強的判別能力，但LTP仍然存在不足. 其一是產生的直方圖維數(shù)過大；其二是LTP在圖像的多尺度變化和局部遮擋等問題的處理上還有一定局限. 同時，傳統(tǒng)LTP算子在編碼的過程中只是簡單將中心像素點值與鄰域值進行比較，丟失了一些局部結構信息. 針對LTP算子的缺點，編碼過程中將會給中心像素和鄰域值分配不同的權重以得到新的值，并將獲得的新的值用于后期編碼，從而得到ILTP算子，如圖3所示.

圖3 ILTP編碼過程中中心值的確定

圖4 ILTP編碼圖像

2 稀疏表達分類器

近年來，SRC作為一種新的識別算法不斷被應用到表情識別中并且取得了不錯的效果[8-9]. 只要信號是可壓縮的或在某個變換域是稀疏的，就可以運用一個與變換基不相關的觀測矩陣將所得高維信號投影到低維空間，并通過求解一個優(yōu)化問題從少量投影中重構原始信號. SRC的基本思想為，假設有類的幅訓練樣本，可將其重構排列為，其中，，為圖像大小. 那么，的每一個列向量就是第類對應的訓練樣本. 假設有足夠的測試樣本，那么一個屬于類的測試樣本可用訓練樣本線性表達為

3 基于ILTP和SRC的人臉表情識別

本文提出的人臉表情識別方法是基于ILTP和SRC，即利用ILTP算法對訓練樣本和測試樣本分別進行處理得到表情特征數(shù)據(jù)，將這些數(shù)據(jù)作為SRC的輸入，從而得到識別結果. 本實驗在JAFFE（Japanese Female Facial Expression）數(shù)據(jù)庫中進行. 該庫中包含10個人7種表情（生氣、厭惡、害怕、傷心、高興、吃驚、中性）的共210張人臉表情圖像，其中，每種表情含3幅圖像.

4）輸出步驟3）的結果.

圖5 基本LTP+SRC算法識別率與ILTP+SRC算法識別率對比圖

圖6 ILTP+SRC算法分別拆分（頂層模式，底層模式）后的識別效果對比圖

圖7 ILTP+SRC算法和特征融合算法識別效果對比圖

4 總語

人臉表情分類的準確性很大程度上依賴于所提取特征的有效性，因而表情特征的高效提取與應用是提高表情識別率的一個關鍵步驟. 本文在基本算法的基礎上得到了算法，并通過實驗與相關分析證明了改進算法的有效性. 改進了在人臉表情識別算法上的不足，提出了與融合的算法，使得識別率提高到70.48%. 由于該識別率是在一個特定的條件下獲得的（即JAFFE數(shù)據(jù)庫下非相關人臉的表示識別率），其普遍性和實用性還有待在后期的工作實驗中加以證明，如何提高其在實際運用中的時效性和識別率還有待在后期實驗中不斷的改進.

[1] RAHULAMATHAVAN Y, PHAN R C W, CHAMBERS J A, et al. Facial expression recognition in the encrypted domain based on local fisher discriminant analysis [J]. IEEE Transactions on Affective Computing, 2013, 4(1): 83-92.

[2] 張娟，詹永照，毛啟容，等. 基于Gabor小波和稀疏表示的人臉表情識別[J]. 計算機工程，2012, 38(6): 207-209.

[3] LI Yongqiang, WANG Shangfei, ZHAO Yongping, et al. Simultaneous facial feature tracking and facial expression recognition [J]. IEEE Trans Image Process, 2013, 22(7): 2559-2573.

[4] 徐杜功，丁召，劉橋. 基于稀疏表示和改進的LBP算子的人臉表情識別[J]. 計算機應用與軟件，2013, 30(4): 246-248.

[5] 宋克臣，顏云輝，陳文輝，等. 局部二值模式方法研究與展望[J]. 自動化學報，2013, 39(6): 730-744.

[6] TAN X, TRIGGS B. Enhanced local texture feature sets for face recognition under difficult lighting conditions [C]//Proc of Analysis and Modeling of Faces and Gestures. [S.I.]: Springer, 2007: 168-182.

[7] SATPATHY A, JIANG Xudong, ENG Howlung. LBP-based edge-texture features for object recognition [J]. IEEE Trans Image Process, 2014, 23(5): 1953-1964.

[8] ZHI Ruicong, RUAN Qiuqi, WANG Zhifei. Facial expression recognition via sparse representation [J]. IEICE TRANSACTIONS on Information and Systems, 2012, E95-D(9): 2347-2350.

[9] WANG Jing, SU Guangda, XIONG Ying, et al. Sparse representation for face recognition based on constraint sampling and face alignment [J]. Tsinghua Science and Technology, 2013, 18(1): 62-67.

[責任編輯：韋 韜]

Facial Expression Recognition Based on Improved LTP and Sparse Representation

LILi-sai, YINGZi-Lu

(School of Information Engineering, Wuyi University, Jiangmen 529020, China)

In order to improve the facial expression recognition rate in practical application, an improved local ternary patterns (ILTP) algorithm was proposed on the basis of the local ternary patterns (LTP) algorithm，and was combined with sparse representation-based classifier (SRC) to form a new algorithm to be applied to human facial expression recognition. Then facial expression features are extracted by ILTP algorithm, and the features are treated as the input of the SRC to complete facial expressions recognition. Experimental results based on JAFFE database prove that the new algorithm can get a facial expression recognition rate of 70.48% and is highly feasible.

facial expression recognition; texture features; ILTP; SRC

1006-7302（2015）02-0049-06

TP 391.41

A

2014-09-25

國家自然科學基金資助項目（61072127，61372193）；廣東省自然科學基金資助項目（S2011010001085，1052902001000002）

李立賽（1989—），女，湖北天門人，在讀碩士生，主要研究方向為人臉表情識別；應自爐，教授，博士，碩士生導師，通信作者，主要研究方向為信號與信息處理、通信與信息系統(tǒng).