陳炳權(quán) ,劉宏立
(1. 湖南大學(xué) 電氣與信息工程學(xué)院,湖南 長(zhǎng)沙,410082;2. 吉首大學(xué) 信息科學(xué)與工程學(xué)院,湖南 吉首,416000)
人臉表情是人類情感信息傳播與人際關(guān)系協(xié)調(diào)的重要方式,是機(jī)器視覺、模式識(shí)別和智能控制等領(lǐng)域的重要內(nèi)容。相關(guān)研究結(jié)果表明,6 類(生氣、厭惡、恐懼、高興、傷心和驚訝)基本的人臉表情在人類日常交流中傳遞的信息占信息總量的55%[1],由此可見,作為高端的生物特征人臉表情識(shí)別,其潛在的應(yīng)用前景巨大。特征提取和表情的分類是人臉表情識(shí)別的主要研究?jī)?nèi)容。用于人臉表情識(shí)別的特征提取方法通常包括整體法、局部法、光流法、模型法和幾何法,前2 種用于靜態(tài)圖像特征的提取,后3 種用于動(dòng)態(tài)圖像特征的提取。在整體法中,經(jīng)典算法包括主元分析法(PCA)[2]、獨(dú)立分量分析法(ICA)[3]和線性判別分析法(LDA)[4];局部法的經(jīng)典算法主要包括Gabor 小波法和LBP 算子法。Gabor 小波在特征提取方面具有良好的視覺特性和生物學(xué)背景,然而,該算法需要計(jì)算不同尺度和方向的小波核函數(shù),由此產(chǎn)生的高維特征向量既不利于算法的實(shí)時(shí)處理,又在一定程度上造成了信息冗余。與Gabor 小波相比,LBP 算子法雖能有效地提取人臉表情特征,但傳統(tǒng)的LBP 算子法存在直方圖維數(shù)大、算法魯棒性差等缺陷[5-6]。傳統(tǒng)局部二元模式(LBP)算子是一種有效的紋理算子,應(yīng)用于人臉表情識(shí)別,存在以下不足:傳統(tǒng)的LBP 人臉表情識(shí)別方法采用 χ2度量直方圖間差異,由于 χ2度量以及高維空間的判別過程的復(fù)雜性,影響了算法的實(shí)時(shí)性[7],同時(shí),子區(qū)域尺寸越大,其識(shí)別率越低[8];在特定情形下遺漏局部結(jié)構(gòu)信息,主要是由于沒考慮中心位置像素點(diǎn)的作用;該算子對(duì)噪聲也很敏感,從而限制了LBP 算子提取特征的效果,究其原因是LBP 算子過多地考慮了像素點(diǎn)間的相互關(guān)系。稀疏表示理論為高維數(shù)據(jù)的降維處理提供了數(shù)學(xué)理論依據(jù)。該理論將信號(hào)投影到變換空間上,從而更準(zhǔn)確地表示信號(hào)。Baraniuk 等[9-10]將稀疏理論應(yīng)用于人臉識(shí)別,很好地解決了二值數(shù)據(jù)對(duì)噪聲敏感問題,能更好地容忍圖像的干擾和噪聲,提高了人臉識(shí)別率。稀疏理論能成功地應(yīng)用于模式識(shí)別,其主要原因是該理論中有一個(gè)能夠準(zhǔn)確地刻畫圖像信號(hào)內(nèi)在結(jié)構(gòu)信息和本質(zhì)屬性的超完備字典,用盡可能少的數(shù)據(jù)表示圖像信息,直方圖維數(shù)得到了有效降低。本文在文獻(xiàn)[6, 11-15]的基礎(chǔ)上,提出一種稀疏表示與基于修正的LBP 人臉表情相融合的識(shí)別算法,采用小波包分解算法將人臉表情圖像分解為4 個(gè)不同頻段的圖像,有效地解決LBP 算法中數(shù)據(jù)量不足;人臉表情圖像采用稀疏表示法,由此構(gòu)建合適的超完備字典,為高維數(shù)據(jù)的降維提供理論依據(jù);建立基于神經(jīng)網(wǎng)絡(luò)的集成分類器模型,完成3 個(gè)分類器對(duì)表情類型分類。
傳統(tǒng)LBP 算子能對(duì)灰度圖像中局部鄰近區(qū)域的紋理信息進(jìn)行有效度量與提取,是一種描述紋理的有效算子。采用LBP 算子對(duì)圖像f( x,y)的像素進(jìn)行標(biāo)識(shí)時(shí),其像素的環(huán)形領(lǐng)域由半徑為r 的圓周上對(duì)稱分布的m 個(gè)鄰點(diǎn)構(gòu)成,由插值方法確定近鄰點(diǎn)的位置不在像素點(diǎn)中心的灰度,LBP 算子描述的紋理定義如下[5]。將環(huán)形領(lǐng)域內(nèi)紋理圖像描述為
其中:gc為窗口的中心點(diǎn)灰度; g0, …, gm-1是半徑為r 的圓周上對(duì)稱分布的m 個(gè)領(lǐng)點(diǎn)的灰度。
當(dāng)不考慮中心點(diǎn)的灰度時(shí),其紋理圖像表示為
通常周圍點(diǎn)的灰度和中心點(diǎn)的灰度往往獨(dú)立的,則式(2)可寫為
即
通過給每個(gè)s(x)函數(shù)賦予一個(gè)權(quán)重因子2m,就可以得到描述局部圖像紋理的空間結(jié)構(gòu)特性的窗口LBP數(shù)值為
點(diǎn)數(shù)和半徑的大小分別用M 和r 表示。當(dāng)M=8,r=1 時(shí),LBP 算子如圖1 所示,LBP 編碼圖像如圖2所示。
圖1 LBP 計(jì)算示意圖Fig.1 Diagram of LBP calculation
圖2 LBP 編碼圖Fig.2 LBP code diagram
在人臉表情特征提取過程中,其傳統(tǒng)的識(shí)別流程如下[11]:分割人臉→求解分割人臉圖像的直方圖→求解人臉的特征直方圖→求解人臉聯(lián)合直方圖。即取合適大小的窗口,并對(duì)該合適窗口內(nèi)部的LBP 編碼進(jìn)行統(tǒng)計(jì),最終求得LBP 直方圖。由此可知,整個(gè)人臉表情圖像在合適大小窗口條件下的聯(lián)合直方圖就是要識(shí)別的人臉表情特征。
由LBP 編碼與人臉特征提取的過程可知:要準(zhǔn)確地提取出圖像中差別小的特征,提高差別圖像的數(shù)據(jù)是有效方法之一。在傳統(tǒng)的LBP 算法中,若數(shù)字模式的個(gè)數(shù)越多,則局部紋理結(jié)構(gòu)能夠細(xì)膩地描述出來,但該模式所含有的平均數(shù)據(jù)量越少,統(tǒng)計(jì)意義越差;相反,模式個(gè)數(shù)越少,該模式所含有的平均數(shù)據(jù)量越大,統(tǒng)計(jì)意義越好,但每種表情差別越小,反映在表情特征數(shù)據(jù)就更少。
本文在文獻(xiàn)[9]的基礎(chǔ)上,根據(jù)小波包理論,采用分解與重構(gòu)相結(jié)合的方法,將1 幅表情圖像變換成許多張圖像,且每張圖像包含了人臉的不同表情數(shù)據(jù),打破了傳統(tǒng)采用單一圖像表達(dá)其人臉表情數(shù)據(jù)的缺陷,可以有效地增強(qiáng)人臉表情圖像的數(shù)據(jù)量。
由小波包的相關(guān)理論可知:首先可以將人臉表情分成相互關(guān)聯(lián)的4 幅圖像即垂直高頻圖像、低頻圖像、對(duì)角高頻圖像和橫向高頻圖像,每幅圖像大小為原圖像的1/4,并包含不同頻率上的不相關(guān)信息,然后進(jìn)行重構(gòu)。在重構(gòu)每種頻率的圖像時(shí),將其他頻率圖像置為零,最后得到的圖像大小與原來的一樣,但表達(dá)信息完全不同。完成LBP 編碼圖像計(jì)算后,對(duì)相應(yīng)圖像塊數(shù)據(jù)進(jìn)行疊加,采用這種疊加方式可以有效地保證原圖像信息不會(huì)丟失,特別是嘴巴、眼睛和眉毛等特征會(huì)更細(xì)膩地表達(dá)出來。其分解與重構(gòu)過程分別如圖3 和圖4 所示。
圖3 小波包的分解過程Fig.3 Decomposition process of wavelet packet
圖4 小波包的重構(gòu)過程Fig.4 Reconstruction process of wavelet packet
完成重構(gòu)圖像后,對(duì)相應(yīng)的LBP 特征進(jìn)行提取,對(duì)LBP 圖像進(jìn)行編碼計(jì)算采用統(tǒng)一模式。令窗口重疊度為1,M=8,r=1。本文將圖像分為2i個(gè)塊,并令圖像塊的層數(shù)i=4,其圖像編碼計(jì)算流程如下:(1) 對(duì)每個(gè)小方塊中的直方圖數(shù)據(jù)進(jìn)行計(jì)算;(2) 逐一合并上述中的每一個(gè)小方塊,并對(duì)合并的直方圖數(shù)據(jù)進(jìn)行計(jì)算,直到整個(gè)人臉表情直方圖特征合并計(jì)算完成為止;(3) 逐一串聯(lián)所有直方圖特征,從而求解出整幅圖像的識(shí)別特征。可見,采用該方式提取的特征兼顧了局部與全局的紋理信息,表情識(shí)別中整體不同但局部相似的難題便得到有效解決。圖5 所示為上述直方圖塊的合并流程。
圖5 LBP 直方圖塊的合并過程Fig.5 Union process of LBP histogram block
二次修正的LBP 人臉表情識(shí)別算法如下:
(1) 根據(jù)小波包相關(guān)理論分解原人臉表情圖像為橫向高頻圖像、垂直高頻圖像、低頻圖像和對(duì)角高頻圖像這4 幅圖像,其大小分別為原圖像的1/4,之后對(duì)每種特定頻率圖像進(jìn)行重構(gòu)(其他頻率圖像置零);(2) 在第i 層圖像中,將每種頻率圖像分解為2i-1塊,求解其LBP 編碼值;(3) 將橫向高頻圖像、垂直高頻圖像、低頻圖像和對(duì)角高頻圖像這4 幅圖像的對(duì)應(yīng)塊進(jìn)行串聯(lián),并求解其LBP 直方圖特征;(4) 提取修正的LBP 直方圖特征。
稀疏表示已成功地應(yīng)用于人臉表情識(shí)別[14-15],能準(zhǔn)確地表達(dá)人臉表情圖像的本質(zhì)屬性和內(nèi)在結(jié)構(gòu)信息,這主要得益于超完備字典的構(gòu)建,體現(xiàn)在用盡可能少的數(shù)據(jù)來表示人臉表情圖像信息。
將上述基于二次修正的LBP 算法提取的人臉表情圖像特征作為表情圖像的初始特征,建立訓(xùn)練樣本LBP 特征的超完備字典。所采用的稀疏表示模型優(yōu)化人臉表情圖像的特征向量,從而有效地提高了自然交互環(huán)境下的人臉表情識(shí)別率和算法的魯棒性。
將稀疏表示模型應(yīng)用于基于二次修正的LBP 算法提取的人臉表情特征的選擇與優(yōu)化,將人臉表情測(cè)試對(duì)象看作訓(xùn)練圖像集的線性組合,求解最稀疏解,從而保證人臉表情圖像中視覺特征的內(nèi)在結(jié)構(gòu)及特征信息之間關(guān)聯(lián)性被有效提取。
設(shè)目標(biāo)類別集C ={c1, c2, …, cl},人臉表情圖像特征即為k 維二次修正的LBP 算子提取的特征向量,本文將二次修正的LBP 算提取的人臉表情特征向量作為超完備的列集,并記為 di,1,di,2, …,di,n∈Rk,由此得到的矩陣為Di=( di,1,di,2, …,di,n)∈Rk×n。
將來自類別ci的待識(shí)別人臉表情圖像作為訓(xùn)練樣本的線性組合,記為
其中:T ∈Rk×n;αi,j∈R,i=1, 2, 3, …, l;j=1, 2, 3, …,ni。于是,將所有已知類別訓(xùn)練樣本的特征向量構(gòu)成的矩陣設(shè)為
用已標(biāo)記類別的訓(xùn)練表情圖像線性組合表示人臉表情圖像的Gabor 特征向量,即
其中:ψ 為系數(shù)向量;Δ為噪聲向量。稀疏表示的根本出發(fā)點(diǎn)就是從求解所有的系數(shù)向量ψ=(α1,α2,α3, …,αn)T中尋找最稀疏的一個(gè)表示。對(duì)于確定的列向量 T,若 k <n,則超完備字典D={d1, d2, d3, …, dn}的元素dj線性不相關(guān),其系數(shù)向量有多種形式。
對(duì)于零均值的列向量T=( t1, t2, t3, …, tk),超完備字典D={d1, d2, d3, …, dn}的元素dj具有零均值,并且單位化的l2范數(shù)為
本文考慮噪聲的稀疏表示模型為
令目標(biāo)類別集合C={c1, c2, …, cl},已知類別的表情圖像樣本數(shù)目設(shè)為 n1, n2, …, nl;di,1,di,2, …,di,j∈Rk(i=1, 2, …, k,j=1, 2, …, ni)表示類別ci第j 幅入臉表情圖像的LBP 特征向量。本文表情特征提取算法如下。
(1) 對(duì)已知類別的每幅表情圖像進(jìn)行2 次修正LBP 變換,由式(3)求解人臉表情圖像特征值LBP(M,r),其值構(gòu)成列向量di,j(i=1, 2, …, k;j=1, 2, …,ni),從而得到每幅人臉表情圖像的LBP 特征向量。
(2) 超完備字典對(duì)應(yīng)的矩陣D由式(5)將di,j列向量依次連接而成。
(3) 對(duì)每幅待識(shí)別的人臉表情圖像進(jìn)行LBP 編碼,由式(3)得到的LBP(P,R)排列形成列向量T ∈Rk,即待識(shí)別人臉表情圖像的特征向量。
(4) 對(duì)超完備字典對(duì)應(yīng)的矩陣D 進(jìn)行零均值化、向量T 零均值化和l2范數(shù)單位化。
(5) 根據(jù)式(8)求解向量T 的稀疏系數(shù)向量,人臉表情圖像的稀疏表示特征向量就是該系數(shù)向量ψ。
選擇人臉表情分類器通常考慮以下幾個(gè)因素[16-17]:人臉表情細(xì)微的形變;表情的各種特征表達(dá)方法需要進(jìn)行比較和選擇,尋求最佳表達(dá)方式;圖像預(yù)處理要剔除外界因素的干擾,有用信息要盡量保留。
單一的分類器識(shí)別結(jié)果具有許多不確定性,通常只能從某一個(gè)層面描述待識(shí)別樣本的屬性,多分類器融合方法克服了單分類器此弱點(diǎn),具有如下優(yōu)點(diǎn):整體和局部特征的優(yōu)勢(shì)得到體現(xiàn);增大了各單分類器的差異,有利于各單分類器的互補(bǔ);在神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上,利用系統(tǒng)的決策誤差調(diào)整各層間的權(quán)值和閾值,能實(shí)現(xiàn)融合規(guī)則的自動(dòng)調(diào)整和優(yōu)化。本文采用非線性的神經(jīng)網(wǎng)絡(luò)集成分類器作為表情識(shí)別的分類器,其輸入為人臉特征的灰度值及其坐標(biāo)位置,保證了分類的準(zhǔn)確性和穩(wěn)定性,提高了人臉表情識(shí)別效果。所設(shè)計(jì)的基于神經(jīng)網(wǎng)絡(luò)的集成分類器模型如圖6 所示。
圖6 基于神經(jīng)網(wǎng)絡(luò)的集成分類器模型Fig.6 Integrated classifier model based on neural network
圖6 所示為所描述的模型由輸出層、隱含層和輸入層構(gòu)成,其中:輸入層中的每個(gè)節(jié)點(diǎn)的輸入是單分類器對(duì)同一個(gè)樣本的決策向量,其向量的長(zhǎng)度等于類別數(shù)目;單分類器判定樣本所對(duì)應(yīng)類別的概率即為分量,在某設(shè)定規(guī)則條件下運(yùn)算分量及其對(duì)應(yīng)的權(quán)值,隱含層的輸入值就是該運(yùn)算結(jié)果。根據(jù)經(jīng)驗(yàn)公式對(duì)隱含層節(jié)點(diǎn)數(shù)m 進(jìn)行計(jì)算,該層的輸入經(jīng)過某激勵(lì)函數(shù)計(jì)算后就是每個(gè)節(jié)點(diǎn)的輸出,輸出層的輸入就是該輸出與權(quán)值的運(yùn)算結(jié)果。
從上述分析可知:人臉表情的類別數(shù)就是輸出層節(jié)點(diǎn)數(shù)n,系統(tǒng)判定輸入樣本屬于某類別的概率就是該節(jié)點(diǎn)的輸出值,集成分類器模型的最終輸出就是該值,且由激勵(lì)函數(shù)運(yùn)算得到,其中最接近1 的那個(gè)分量就是樣本預(yù)測(cè)的類別,節(jié)點(diǎn)輸出值大于等于0 但不會(huì)超過1。
設(shè) z={z1, z2, …, zl} 為該模型的輸入,zi=( zi1, zi2, …, zin)T為分類器i 對(duì)樣本圖像的輸出,該輸出值以新的特征作為輸入層節(jié)點(diǎn)i 的輸入。模型的實(shí)際輸出向量為O={o1, o2, …, on},集成分類器最終判定輸入樣本屬于類別ck的概率就是輸出向量的分量ok。
設(shè)隱含層節(jié)點(diǎn)j 的輸出為yj,輸出層節(jié)點(diǎn)k 的期望輸出值為dk,隱含層節(jié)點(diǎn)j 與輸入層節(jié)點(diǎn)i 的連接權(quán)值為wij,輸出層節(jié)點(diǎn)k 與隱含層節(jié)點(diǎn)j 的連接權(quán)值設(shè)tjk,學(xué)習(xí)率為η,激勵(lì)函數(shù)為 f ( x) =1/(1 +e-x),閾值為θ,則輸出層神經(jīng)元和隱含層神經(jīng)元的輸出分別為:
輸出層和隱含層權(quán)值修正為:
輸出層和隱含層閾值修正為
由輸出向量中的最大分量所在的位置確定了輸入樣本所屬類別,從而實(shí)現(xiàn)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)完成從輸入到輸出的映射。其實(shí)現(xiàn)步驟如下。
(1) 將樣本分為測(cè)試集和訓(xùn)練集2 部分,并將后者再次細(xì)分為l 組,以訓(xùn)練l 個(gè)單分類器。
(2) 在一定的學(xué)習(xí)率η 下,將權(quán)值wij,tjk和閾值θ初始化。
(3) 輸入層節(jié)點(diǎn)i 的輸入zi即為計(jì)算分類器i 對(duì)訓(xùn)練 集 中 的 每 個(gè) 樣 本 圖 像 X 的 輸 出zi=( zi1, zi2, …, zin)T。
(4) 計(jì)算輸出層和隱含層節(jié)點(diǎn)的凈輸入量和凈輸出量,根據(jù)輸出層節(jié)點(diǎn)的誤差,修正輸出層和隱含層的閾值和權(quán)值,之后轉(zhuǎn)向步驟(3)。
(5) 當(dāng)?shù)拇螖?shù)大于閾值時(shí),停止其修正,并記錄該時(shí)刻的權(quán)值與閾值。
所用人臉表情數(shù)據(jù)庫(kù)為日本的JAFFE 表情庫(kù),包括10 個(gè)日本婦女的7 種正面表情:平靜、憤怒、恐懼、高興、悲傷、厭惡、驚奇,每種表情有3~4 張圖像,灰度人臉表情圖像大小為128×128,格式為bmp。為了減少圖像中諸如人臉大小,關(guān)鍵點(diǎn)位置和灰度等因素的影響,先歸一化處理人臉表情圖像,從而保證歸一化處理后的圖像方差、大小、灰度均值相等,如圖7 所示??紤]到包含信息的比率與處理數(shù)據(jù)量的關(guān)系,本文將所有的人臉表情圖像歸一化為64×64。
圖7 JAFFE 表情庫(kù)原始圖像與預(yù)處理后的圖像Fig.7 Original image and preprocessing image in JAFFE expression library
為驗(yàn)證本方法的有效性,在Windows XP 環(huán)境下的Intel(R) Core(TM)2 Duo CPU 機(jī)器上進(jìn)行試驗(yàn)。將所有人臉表情圖像分成測(cè)試集和訓(xùn)練集,其中測(cè)試樣本為每個(gè)人每種表情中的任意一幅圖像,訓(xùn)練樣本就是剩下的圖像。為訓(xùn)練單分類器,將訓(xùn)練集細(xì)分成 3組,每一組用來提取其中某1 個(gè)特征,整個(gè)訓(xùn)練集訓(xùn)練基于神經(jīng)網(wǎng)絡(luò)的多分類器。
本文方法與文獻(xiàn)[16]中經(jīng)典LBP 算法對(duì)人臉表情圖像的識(shí)別率比較見表1。從表1 可知:除了“傷心”表情外,所有表情都被較準(zhǔn)確地識(shí)別出來。其原因是人臉表情庫(kù)中“悲傷”得不厲害,常常與“平靜”混淆,但就總的識(shí)別率而言,本文方法與經(jīng)典LBP 算法和單一的二次修正的LBP 算法相比,平均識(shí)別率分別提高11.0%和3.7%左右,單個(gè)樣本識(shí)別時(shí)間分別減少0.010 s 和0.014 s,提高了識(shí)別速度。
表1 本文算法與傳統(tǒng)LBP 算法識(shí)別率和識(shí)別時(shí)間的比較Table 1 Recognition rate’s comparison between traditional LBP algorithm and proposed algorithm
(1) 將傳統(tǒng)LBP 算法從以下幾個(gè)方面進(jìn)行了二次修正:將原圖像經(jīng)過小波包分解和重構(gòu),得到了不同頻段圖像,有效地增加了原圖像的數(shù)據(jù)量,改進(jìn)了原算法數(shù)據(jù)量不足的問題;采用修正的LBP 算法對(duì)表情圖像進(jìn)行特征提取,建立訓(xùn)練樣本LBP 特征的超完備字典,通過稀疏表示模型優(yōu)化了人臉表情的特征向量,由于稀疏表示中采用所有表情訓(xùn)練圖像的信息來構(gòu)建超完備字典,這樣能夠很好地描述表情圖像特征內(nèi)在的結(jié)構(gòu)細(xì)節(jié)信息及其內(nèi)在關(guān)聯(lián)性,較好地去除不相關(guān)的部分信息并保留重要的視覺特征信息,有效地提高了識(shí)別率,算法具有一定的魯棒性;將多特征集成分類器的輸出進(jìn)行融合,構(gòu)建基于神經(jīng)網(wǎng)絡(luò)的多分類器模型,表情特征分類的準(zhǔn)確性和穩(wěn)定性得到提高。
(2) 與經(jīng)典LBP 算法對(duì)比,本文算法具有一定的魯棒性,人臉表情的識(shí)別率提高約15%,識(shí)別速度也得到一定提高。
[1] Mehrabian A, Russell J A. An approach to environmental psychology[M]. Cambridge: MIT Press, 1974: 101-156.
[2] Andrew J, Calder A, Burton M, et al. A principal component analysis of facial expressions[J]. Vision Research, 2004, 41:1179-1208.
[3] 周曉彥, 鄭文明, 鄒采榮, 等. 基于特征融合和模糊核判別分析的面部表情識(shí)別方法[J]. 中國(guó)圖像圖形學(xué)報(bào), 2009, 14(8):1615-1620.ZHOU Xiaoyan, ZHENG Wenming, ZOU Cairong, et al. Facial expression recognition based on feature fusion and fuzzy kernel discriminant analysis[J]. Journal of Image and Graphics, 2009,14(8): 1615-1620.
[4] 支瑞聰, 阮秋琦. 基于多尺度分析矩特征的人臉表情識(shí)別[J].信號(hào)處理, 2009, 25(5): 692-696.ZHI Ruicong, RUAN Qiuqi. Facial expression recognition based on multi-scale analysis and invariant moments[J]. Signal Processing, 2009, 25(5): 692-696.
[5] HAN Hu, SHAN Shiguang, CHEN Xilin, et al. A comparative study on illumination preprocessing in face recognition[J].Pattern Recognition, 2013, 46(6): 1691-1699.
[6] 付曉峰. 基于二元模式的人臉識(shí)別與表情識(shí)別研究[D]. 杭州:浙江大學(xué)電氣工程學(xué)院, 2008: 25-40.FU Xiaofeng. Research on face recognition and expression recognition based on the local binary pattern[D]. Hangzhou:Zhejiang University. College of Electrical Technology, 2008:25-40.
[7] XIE Xudong, Lam K M. Facial express recognition based on shape and texture[J]. Pattern Recognition, 2009, 42: 1003-1011.
[8] Wright J, Ma Yi, Mairal J, et al. Sparse Representation for computer vision and pattern recognition[J]. Proceedings of the IEEE, 2010, 98(6): 1031-1044.
[9] Baraniuk R, Candes E, Elad M. Applications of sparse representation and compressive sensing[J]. Proceedings of the IEEE, 2010, 98(6): 906-909.
[10] Wright J, Yang A Y, Ganesh A, et al. Robust face recognition via sparse representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(2): 210-227.
[11] 張娟, 詹永照, 毛啟容, 等. 基于Gabor 小波和稀疏表示的人臉表情識(shí)別[J]. 計(jì)算機(jī)工程, 2012, 38(6): 207-209.ZHANG Juan, ZHAN Yongzhao, MAO Qirong, et al. Facial expression recognition based on gabor wavelet and sparse representation[J]. Computer Engineering, 2012, 38(6): 207-209.
[12] 何良華. 人臉表情識(shí)別中苦干關(guān)鍵技術(shù)的研究[D]. 南京: 東南大學(xué)信息科學(xué)與工程學(xué)院, 2005: 1-10.HE Lianghua. Several key technologies research on facial expression recognition[D]. Nanjing: Southeast University.School of Information Science and Engineering, 2005: 1-10.
[13] 傅由甲, 相入喜, 黃鴻, 等. 基于支持向量機(jī)的多姿態(tài)人臉特征定位[J]. 計(jì)算機(jī)工程, 2011, 37(17): 7-10.FU Youjia, XIANG Ruxi, HUANG Hong, et al. Multi- view face features localization based on support vector machine[J].Computer Engineering, 2011, 37(17): 7-10.
[14] 胡正平, 李靜. 基于低秩子空間恢復(fù)的聯(lián)合稀疏表示人臉識(shí)別算法[J]. 電子學(xué)報(bào), 2013, 41(5): 987-991.HU Zhengping, LI Jing. Face recognition of joint sparse representation based on low-rank subspace recovery[J]. Acta Eletronica Sinica, 2013, 41(5): 987-991.
[15] 殷俊, 楊萬扣. 核稀疏保持投影及生物特征識(shí)別應(yīng)用[J]. 電子學(xué)報(bào), 2013, 41(4): 639-645.YIN Jun, YANG Wankou. Kernel sparsity preserving projections and its application to biometrics[J]. Acta Eletronica Sinica, 2013, 41(4): 639-645.
[16] Shan C, Gong S, Mcowan P. Robust facial expression recognition using local binary patterns[C]// IEEE International Conference on Image Processing. ICIP, 2005, 2: 370-373.
[17] 呂興會(huì). 基于多特征集成分類器的人臉表情識(shí)別研究[D]. 青島: 中國(guó)石油大學(xué)計(jì)算機(jī)與通信工程學(xué)院, 2010: 37-42.Lü Xinghui. Research on facial expression recognition based on multi-feature integrated classifier[D]. Qingdao: China University of Petroleum. College of Computer & Communication Engineering, 2010: 37-42.