劉清泉， 張亞飛， 李華鋒， 李 勃

(1.昆明理工大學 信息工程與自動化學院，云南 昆明 650500; 2.昆明理工大學 智能信息處理重點實驗室，云南 昆明 650500)

基于協(xié)作低秩分層稀疏和LC-KSVD的人臉表情識別*

劉清泉1,2， 張亞飛1,2， 李華鋒1,2， 李 勃1,2

(1.昆明理工大學信息工程與自動化學院，云南昆明650500;2.昆明理工大學智能信息處理重點實驗室，云南昆明650500)

為了降低人臉表情識別對待識別個體的依賴程度，控制識別字典規(guī)模，增加識別準確度，提出了一種基于協(xié)作低秩和分層稀疏的表情識別字典構(gòu)建方法。通過協(xié)作低秩和分層稀疏表示(C-HiSLR)有效分離與待識別個體相關(guān)部分，保留表情變化部分，并結(jié)合標簽一致區(qū)分字典學習(LC-KSVD)算法，進行相應待訓練表情序列的重構(gòu)識別和對應類別字典的區(qū)分程度的優(yōu)化學習。該方法在CK+數(shù)據(jù)集上進行驗證，識別效果較一般基于稀疏表示模型算法有明顯的提升。

協(xié)作低秩； 分層稀疏； 標簽一致區(qū)分字典學習算法； 稀疏表示； 表情識別

0 引 言

目前,用于表情識別的方法主要有主成分分析[1]、Gabor小波變換[2]、局部二值模式[3]、流型方法[4]和主動外觀模型等。相較于傳統(tǒng)方法，稀疏表示分類(sparse representation classification,SRC)，在模式識別領(lǐng)域獲得了較好的效果[5～8]，可以有效減少光照、姿態(tài)等因素對人臉表情識別的影響[9]。但稀疏表示需要構(gòu)建一個超完備字典，而一般的表情識別字典和待識別表情的對應人相關(guān)程度較大，導致表情字典規(guī)模較大。

影片租賃公司Netflix推薦系統(tǒng)提出了著名的低秩矩陣填充問題，并因此延伸出了協(xié)作低秩和分層稀疏(C-HiSLR)，核心為假定觀測矩陣分解成稀疏和低秩2個矩陣。人臉表情中變化部分對應稀疏的部分，而與待識別人物相關(guān)部分對應于低秩部分，可以有效地將與人物相關(guān)，但與表情識別無關(guān)的低秩部分排除、提高了字典的有效性，使字典更加緊湊，并有效降低了字典規(guī)模。

表征臉可由中性正臉和相關(guān)的表情變化疊加而成，反之，有效的表情變化也可以通過表征臉減去中性正臉得到。在觀測人臉表征圖像序列減去中性正臉所得到的表情變化序列時，發(fā)現(xiàn)，在該表情變化中，與待識別個體相關(guān)的人臉干擾因素被有效排除，大大提高了識別效果。

針對一般的表情分類不能有效地將與表情識別無關(guān)的低秩因素排除，導致識別字典規(guī)模較大的問題,采用標簽一致區(qū)分(label consistent KSVD,LC-KSVD)字典學習算法[10],利用大量的訓練樣本，學習出一個在識別和分類領(lǐng)域有明顯優(yōu)勢的字典。因此，結(jié)合協(xié)作低秩分層稀疏表示和標簽一致區(qū)分字典學習算法的算法用于人臉表情識別十分有必要。

1 相關(guān)算法簡述

1.1 LC-KSVD字典學習算法

采用能夠有效提升分類效果LC-KSVD算法。相比KSVD[11]算法，LC-KSVD算法加入了類別標識因素作為監(jiān)督學習條件。LC-KSVD算法在考慮字典表示能力的同時，兼顧了對于字典分類性能的加強，在考慮對當前訓練樣本序列表示能力和分類能力的同時，保持了之前樣本對字典的訓練效果，具體的表達形式

s.t.?i,‖xi‖0≤T

(1)

式中Y=[y1…yN]∈Rn×N為N個n維輸入信號集;D=[d1…dK]∈Rn×K(n>K即字典過完備)為一個待學習的字典；X=[x1,…,xN]∈RK×N為輸入信號Y的稀疏數(shù)表示系數(shù);T為稀疏閾值(每個信號個數(shù)比T更小);α和β控制對應項之間的貢獻度。

為了便于計算，將式(1)轉(zhuǎn)換成式(2)形式，借用KSVD算法求解式(2)

s.t.?i,‖xi‖0≤T

(2)

KSVD算法主要利用給定的數(shù)據(jù)集，找到全局最優(yōu)的字典。但這是一個NP問題，只能分步逐漸逼近以求得最優(yōu)解，主要的操作可以簡化成以下2步：

1)固定字典Dnew求解稀疏表示系數(shù)矩陣X。

2)根據(jù)求解的稀疏表示系數(shù)矩陣逐列更新字典原子，即當字典在非最優(yōu)情況下，經(jīng)過稀疏表示后，必然與待表示樣本存在表示誤差。在滿足稀疏度的情況下，將表示誤差緩慢包含到原始字典中，即逐行、逐列更新優(yōu)化，以減小整體誤差，逼近最優(yōu)解字典，更新字典的核心步驟如式(3)

(3)

(4)

1.2 協(xié)作低秩分層稀疏表示算法

C-HiSLR根據(jù)低秩矩陣分解(RPCA)和協(xié)作分層表示(C-HiLasso)[10]算法演變而來,主要思想是從測試樣本矩陣中分離低秩矩陣的同時，將分解后的稀疏矩陣通過C-HiLasso進行相應的稀疏表示，以達到最佳的分類效果。C-HiSLR的公式如下

s.t.Y=DX+L

(5)

Γ(X,L,Λ)=f(X)+λL‖L‖*+〈Λ,Y-AX-L〉+

(6)

(7)

(8)

Λk+1=Λk+β(Y-AXk+1-Lk+1)

(9)

式(6)參考非精確求解RPCA問題進行求解。

(10)

2 本文算法

2.1 協(xié)作低秩分層稀疏表示和LC-KSVD算法

為了減少表情識別字典與待識別個體的相關(guān)程度，提高各表情類子字典區(qū)分程度，在分層稀疏和協(xié)作低秩表示的基礎(chǔ)上加入了有助于分類的監(jiān)督學習條件。如下

s.t.Y=DX+L

(11)

(12)

〈Λ,Ynew-L-DnewX〉

(13)

2.2 表情圖像分類

通過求得相應的稀疏表示系數(shù)和分解的低秩部分(X,L)。然后參照稀疏表示分類模型，利用式(14)計算相應的類別的殘差，在各類別子字典進行分組驗證后，所得到的該類別最小殘差即為該表情序列類別

(14)

式中D[Gc]為第Gc類子字典;X[Gc]為相應稀疏表示系數(shù)。

2.3 算法求解

類似于KSVD算法求解過程，為了學習一個有效的分類字典，可以通過交替更新方法進行求解[11]，即在固定字典的情況下通過利用C-HiSLR[12]中方法求解稀疏系數(shù)和低秩矩陣，然后通過求解的稀疏系數(shù)和低秩矩陣進行字典原子的更新，在不斷迭代過程中，獲得最佳的分類字典。

將式(13)的求解算法簡單描述為以下2步：

1)利用C-HiSLR求解稀疏表示系數(shù)X和低秩分解矩陣Lnew;

2)根據(jù)求解后的(X,Lnew)利用式(13)、式(14)進行字典學習。

3 實驗結(jié)果

所有實驗均選用CK+數(shù)據(jù)集，由321組被標記的情感序列夠成(生氣、蔑視、厭惡、害怕、開心、悲傷、驚訝)，從每類表情中隨機選取10個序列初始化字典，5個用于測試。為了比較實驗效果，利用為C-HiSLR和C-HiLasso算法進行對比實驗。圖2給出了通過學習后的部分字典，橫向為相同表情類，縱向為不同表情類。選取出3類表情，即生氣、輕蔑、厭惡。從圖1可以發(fā)現(xiàn)，有利于分類表示的部分為圖像中高亮的部分，表情變化共同特性主要集中在眉、眼、鼻和嘴等五官部位，而其他特征對表情識別貢獻并不大，甚至對識別造成干擾。

圖2 經(jīng)過本文算法獲取的驚訝類表情序列恢復

實驗過程中，從每類表情隨機選取10個序列初始化字典，5個用于測試，其余用于訓練字典，初始字典時采用減去第一幀的方式進行表情變化的提取，為了便于比較訓練算法與其他算法的識別率，本文算法和C-HiSLR的測試樣本和訓練樣本均采用原始序列進行驗證，C-HiLasso算法的測試樣本和訓練樣本均采用減去第一幀的方式。

圖2為經(jīng)過本文算法獲取的表情序列恢復。由圖2(c)發(fā)現(xiàn)該表情變化主要部分被有效分離和表示。

表1為本文算法在CK+數(shù)據(jù)集驗證的混淆矩陣，其中生氣、輕蔑、開心、悲哀、驚訝等表情識別較準確，而其他類別表情主要干擾是和‘生氣’類表情變化近似。對照表2可以發(fā)現(xiàn)，相對而言在表情變化細微的(生氣、輕蔑、厭惡)表

表1 本文算法在CK+數(shù)據(jù)集驗證的混淆矩陣

情類別上，本文學習算法相比對比算法有較好的改善，在總的識別率上也達到了一定的提升,平均識別率為0.885 7,加強了各類表情的區(qū)分度，并明顯增強了有利于識別表征的主要表情變化，由圖2可以發(fā)現(xiàn)，經(jīng)過本文算法學習后的字典相較其他人臉特征區(qū)域，該表情類別的主要區(qū)分因子被凸顯(如眉、眼、鼻和嘴等五官)。由圖2(c)圖像序列可以發(fā)現(xiàn)，與表情識別相關(guān)的主要人臉部位通過訓練字典被有效表示，因而,算法能夠較好提升表情識別。

表2 各類算法在各表情分類的識別正確率比較

4 結(jié) 論

提出了基于協(xié)作低秩分層稀疏表示和LC-KSVD的人臉表情識別。實驗數(shù)據(jù)在中性正臉被有效提供的情況下，減去中性正臉得到表情變化的部分，以提高識別效率。通過協(xié)作低秩分層稀疏表示，分離與待識別人物相關(guān)的低秩部分，所得的表情變化稀疏矩陣，能夠在訓練好的表情識別字典上進行有效分類。為了增加訓練字典的分類效果，結(jié)合LC-KSVD算法能夠有效加強分類效果的優(yōu)勢，將類別標記條件作為有效的監(jiān)督學習約束，提升識別效果。未來需要優(yōu)善的部分在于如何在訓練樣本未給定中性正臉的情況下有效構(gòu)建表情變化矩陣，如何在非強約束情況下(光照、姿態(tài)等變化)，提升識別率。

[1] Calder A J,Burton A M,Miller P,et al.A principal component analysis of facial expressions[J].Vision Research,2001,41(9):1179-208.

[2] Saabni R.Facial expression recognition using multi radial bases function networks and 2D Gabor filters[C]∥Proceedings of the Digital Information Processing and Communications,2015.

[3] Shan C,Gong S,Mcowan P W.Robust facial expression recognition using local binary patterns[C]∥Proceedings of the IEEE International Conference on Image Processing,2005.

[4] Wang L,Wang K,Li R.Unsupervised feature selection based on spectral regression from manifold learning for facial expression recognition[J].Iet Computer Vision,2015,9(5):655-662.

[5] Donoho D L.Compressed sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289-1306.

[6] 陳 柘,鐘曉榮,張曉博.壓縮傳感及其在醫(yī)學圖像融合中的應用[J].傳感器與微系統(tǒng),2013,32(9):149-152.

[7] 韓 震,王紅斌,余正濤,等.雙邊非局部均值濾波圖像去噪算法[J].傳感器與微系統(tǒng),2016,35(6):124-127,131.

[8] 龔 靜,陳向東,時子青.基于CS和神經(jīng)網(wǎng)絡(luò)的傳感器網(wǎng)絡(luò)模式識別研究[J].傳感器與微系統(tǒng),2011,30(12):62-65.

[9] 張驚雷,姜松濤.基于改進壓縮感知的運動目標跟蹤[J].傳感器與微系統(tǒng),2016,35(6):120-122.

[10] Sprechmann P,Ramirez I,Sapiro G,et al.C-HiLasso:A collaborative hierarchical sparse modeling framework[J].IEEE Transactions on Signal Processing,2011,59(9):4183-4198.

[11] 杜向龍,伍健榮,邢 濤.一種基于場景區(qū)分算法的背景抽取方法[J].傳感器與微系統(tǒng),2011,30(11):39-42.

Facialexpressionrecognitionbasedoncollaborativelow-rankandhierarchicalsparseandLC-KSVD*

LIU Qing-quan1,2, ZHANG Ya-fei1,2, LI Hua-feng1,2, LI Bo1,2

(1.SchoolofInformationEngineeringandAutomation,KunmingUniversityofScienceandTechnology,Kunming650500,China;2.KeyLaboratoryofIntelligentInformationProcessing,KunmingUniversityofScienceandTechnology,Kunming650500,China)

To reduce dependence of individual on facial expression recognition,control scale of recognition dictionary,increase recognition accuracy,propose a dictionary recognition construction method based on collaborative low-rank and hierarchical sparse representation.Effective separation the relevant characteristics of the individual to be identified by collaboration lowvrank and hierarchical sparse model(C-HiSLR),keep expression variation characteristics,combined with label consist KSVD(LC-KSVD),to identify and reconstruct the sequence of expression to be trained and optimization study of distinction between corresponding category dictionary.The methods is verified on data set in CK+,recognition effect is significantly improved than general model algorithm based on sparse representation.

collaborative low-rank; hierarchical sparse; label consistent(LC)-KSVD algorithm; sparse representation; facial expression recognition

10.13873/J.1000—9787(2017)11—0056—04

TP 751

A

1000—9787(2017)11—0056—04

2016—10—19

國家自然科學基金資助項目(61562053，61302041，61363043)； 昆明理工大學引進人才基金資助項目(KKSY201403116)

劉清泉(1990 - )，男，碩士研究生，研究方向為圖像處理。

張亞飛，通訊作者，E—mail：76326474@qq.com。