伊力哈木?亞爾買買提，張 偉

(新疆大學(xué)電氣工程學(xué)院，新疆 烏魯木齊 830047)

最近幾年，隨著人類與機(jī)器之間的交互技術(shù)的迅猛發(fā)展，人臉面部表情識別問題越來越得到眾多科學(xué)研究者的重視[1－3]，尤其是在智能化模式領(lǐng)域內(nèi)人臉面部表情辨識己成為現(xiàn)在熱點(diǎn)研究內(nèi)容之一。雖然當(dāng)前在合理的受控條件下的人臉面部表情識別的研究已獲得了長足進(jìn)步，但是在非受控的自然環(huán)境條件下，人臉面部表情圖像存在著很多不可預(yù)知的因素，這就導(dǎo)致現(xiàn)有的人臉面部表情辨識算法的性能效果不理想，尤其是利用現(xiàn)有的單一識別算法對于人臉面部表情的辨識不能體現(xiàn)出其優(yōu)勢，所以現(xiàn)在眾多人臉面部表情識別領(lǐng)域內(nèi)的學(xué)者開始注重多元化多特征融合算法方向的研究。

當(dāng)前，人臉面部表情識別特征的主要提取方法有基于活動外觀模型(AMM)[4]，Gabor 小波變換[5]，線性判別分析(LDA)[6]以及局部二元模式(LBP)[7－8]等。在這些方法中，基于活動外觀模型(AMM)能夠闡述人臉面部表情對象的紋理特征和形狀特征兩種特征屬性，但是對于確定其初始參數(shù)來說比較困難，而且讓計(jì)算變得復(fù)雜；Gabor 小波算法提取的是針對多尺度多方向人臉面部表情信息，這樣就會產(chǎn)生高維數(shù)的表情特征向量，就會最終導(dǎo)致算法的實(shí)時處理不夠完美；線性判別分析(LDA)可以加快人臉面部表情識別，但它對訓(xùn)練和檢測人臉面部表情圖像的灰度相關(guān)性有很大的依賴性，這就會導(dǎo)致具有很大局限；對于Gabor 小波特征來說，局部二元模式(LBP)具有灰度性和回轉(zhuǎn)不變性，同時基本上可以排除非均勻光照的影響因素，且計(jì)算比較簡單，屬于有效的局部紋理特征描述算法。在識別人類面部表情時，單一的局部二元模式(LBP)算法很難準(zhǔn)確定位不同方位的關(guān)鍵人臉面部表情的灰度變化趨向，導(dǎo)致其分類效果不盡如意。

雙編碼局部二值模式(Double Coding Local Binary Pattern，DCLBP)算子進(jìn)行人臉面部表情圖像局部紋理特征提取[9]，并獲得了良好的效果。

局部敏感直方圖(Locality Sensitive Histograms，LSH)通過統(tǒng)計(jì)像素與周圍像素的相關(guān)性得到人臉面部表情圖像的光照不變特征[10]，由于該特征具有較好的光照魯棒性，從而在計(jì)算機(jī)視覺領(lǐng)域得到了廣泛的應(yīng)用。

受到文獻(xiàn)[9]和[10]的啟發(fā)，本文提出融合局部特征與深度置信網(wǎng)絡(luò)的人臉面部表情識別。算法通過局部敏感質(zhì)量分布圖(LSH)的非均勻光照不變性特征優(yōu)勢以及雙編碼局部二值模式(DCLBP)算法的邊緣局部細(xì)節(jié)紋理特征詳細(xì)信息，通過估算各自特征的基本標(biāo)準(zhǔn)差后將兩者提取的各自特征進(jìn)行自適應(yīng)融合來構(gòu)造出更為合理有效的人臉面部表情特征信息，最后將融合后的人臉面部表情特征輸入到深度置信網(wǎng)絡(luò)(DBN)模型中進(jìn)行相關(guān)具體訓(xùn)練，將訓(xùn)練后的深度置信網(wǎng)絡(luò)(DBN)模型進(jìn)行面部表情識別。該算法可以很好地運(yùn)用到人臉面部表情識別當(dāng)中，具有頑強(qiáng)的魯棒性和有效性。

1 局部敏感質(zhì)量分布圖(LSH)特征提取

傳統(tǒng)的圖像質(zhì)量分布圖是將固定灰度值出現(xiàn)的次數(shù)進(jìn)行統(tǒng)計(jì)，而LSH 傳統(tǒng)質(zhì)量分布圖或傳統(tǒng)局部質(zhì)量分布圖的估算方式都不同，它先用等間距的亮度間隔(bin)對人臉面部表情圖像分層，然后在每個層次中的每個像素的具體位置都進(jìn)行估算，其通過權(quán)衡那些亮度值并隸屬于該層的像素對相同位置的干擾，得出一個具體浮點(diǎn)值，再把這些具體浮點(diǎn)值通過疊加到該層中的具體位置上，從而獲得具體位置在該層的LSH 值。由于這些具體浮點(diǎn)值與估算LSH 的像素具體位置的間距不成正比，且是指數(shù)級降低，因此在估算每個具體位置的LSH 值時須要斟酌每個具體像素點(diǎn)，但是由于那些離這個具體位置遠(yuǎn)的像素由于權(quán)重值較小，因此可以省略不計(jì)。

位置p處的局部敏感質(zhì)量分布圖可以表達(dá)為:

式中:W表達(dá)為人臉面部表情圖像的總像素值，bin為灰度級數(shù)，α∈(0，1)為控制參數(shù)，具體表達(dá)為像素遠(yuǎn)離中心像素而降低的權(quán)值。Q(Iq，b)用來判定具體位置q處的像素灰度值Iq是否與像素b相等，其表達(dá)式為:

由式(1)可以看出，具體浮點(diǎn)權(quán)重值與間距具有很緊密的關(guān)聯(lián):若p與q之間的間距越近，則｜p－q｜表現(xiàn)的越小，那么α｜p－q｜就越大；反之，若p與q之間的間距越遠(yuǎn)，｜p－q｜則越大，那么α｜p－q｜就越小。這樣，間距中心具體像素距離較近的像素值基于其權(quán)值較大被考慮在內(nèi)，而間距中心具體像素較遠(yuǎn)的像素值基于權(quán)值較小而被省略不計(jì)。

經(jīng)過利用局部敏感質(zhì)量分布圖能夠計(jì)算并構(gòu)建人臉面部表情圖像非均勻光照不變特征(Illumination Invariant Feature，IFF)，其表達(dá)式定義為:

式中:rp≈kIp，k為一個常數(shù)量。bp代表p處具體像素的像素值所隸屬的間距，整個人臉面部表情圖像總共有bin個具體灰度間距級。根據(jù)文獻(xiàn)[9]的學(xué)者He 等證明，在非光照強(qiáng)烈改變的形勢下，式(3)中的人臉面部表情圖像非均勻光照不變特征IFF 的具體值基本保持原樣，因此可以認(rèn)為人臉面部表情圖像非均勻光照不變特征IFF 作為LSH 算法中的人臉面部表情圖像非均勻光照不變特征，即fLSH。

2 雙編碼局部二值模式(DCLBP)特征提取

2.1 傳統(tǒng)LBP 算法

對圖像重新編碼，是根據(jù)中心像素點(diǎn)與其領(lǐng)域像素點(diǎn)的灰度差異來實(shí)現(xiàn)的。編碼方式如下:

式中:

ω×ω代表選取的鄰域大小(3×3 的矩形塊)。round()為四舍五入的計(jì)算結(jié)果；p(k，l)表示鄰域內(nèi)所有像素點(diǎn)預(yù)定義的權(quán)重矩陣；f為映射函數(shù)；g(k，l)鄰域像素點(diǎn)的灰度值；g(i，j)中心像素點(diǎn)的灰度值；B特征直方圖的區(qū)間數(shù)(28＝256)。p(k，l)權(quán)重矩陣取值為:

傳統(tǒng)的LBP 算子對于光線變化具有很強(qiáng)的魯棒性，在人臉表情識別上效果比較明顯。由于忽略鄰域像素點(diǎn)的聯(lián)系，存在結(jié)構(gòu)信息遺失，導(dǎo)致識別率下降。

2.2 雙編碼局部二值模式(DCLBP)

傳統(tǒng)LBP 算法有8 個采樣點(diǎn)，而DCLBP 算法有4 個采樣點(diǎn)，如圖1 所示。

圖1 DCLBP 的采樣點(diǎn)

了解各個采樣點(diǎn)的像素值之間的關(guān)系，引入幅度閾值θ和差值閾值δ這兩個變量，其計(jì)算如下:

式中:ic為人臉面部表情圖像中心像素點(diǎn)的具體灰度值；ik為其鄰域中第k個人臉面部表情圖像采樣點(diǎn)的灰度值；p為人臉面部表情圖像采樣點(diǎn)的數(shù)量。

獲取最佳人臉面部表情特征信息，需把一位二進(jìn)制編碼的傳統(tǒng)LBP 算子改進(jìn)為具有兩位二進(jìn)制編碼的LBP 算子。第一位二進(jìn)制碼與鄰域像素和中心像素的灰度值的差異值有關(guān)，若差值閾值(δ)小于差值，那么二進(jìn)制數(shù)碼為1，否則就標(biāo)注為0。第二位二進(jìn)制數(shù)碼與鄰域像素灰度值和中心像素灰度值之間的差值的絕對值相關(guān)聯(lián)，若幅度閾值(θ)小于差值絕對值，則二進(jìn)制代碼數(shù)記為1，否則為0。則DCLBP 的人臉面部表情編碼特征方式如式(10)所示。

式中:

圖2 所示為3×3 灰度圖，p＝4 時，根據(jù)式(8)和式(9)，可得:

由式(11)可得圖2 灰度圖所對應(yīng)的DCLBP 編碼為DCLBP ＝01101100 ＝108。

圖2 DCLBP 編碼示意圖

3 深度置信網(wǎng)絡(luò)(DBN)模型描述

深度置信網(wǎng)絡(luò)(DBN)由多層或多層受限玻爾茲曼機(jī)(RBM)和一層反向傳播(BP)神經(jīng)網(wǎng)絡(luò)疊加組成。其中RBM 為DBN 的重要組成部分。RBM是擁有二元結(jié)構(gòu)的圖模型，具體由可視層v和隱含層h組合而成，可視層與隱含層之間具體為全相連狀態(tài)，并將相連的權(quán)重具體設(shè)為ω。

RBM 的能量函數(shù)可表達(dá)定義為:

式中:θ＝(ωij，ai，bj)是RBM 所表達(dá)的參數(shù)。ai為可見層結(jié)構(gòu)的特定偏差值，bj為隱藏層結(jié)構(gòu)的特征偏差值，ωij表示成為可見層與隱藏層之間的具體連接權(quán)值，n和m分別表示為可見層與隱藏層的特定神經(jīng)元數(shù)值。由具體能量函數(shù)可以獲得可見層與隱藏層之間的聯(lián)合分布概率為:

當(dāng)隱含層節(jié)點(diǎn)狀態(tài)為已知情況下，則可視層節(jié)點(diǎn)的激活機(jī)率公式為:

RBM 通常采用迭代訓(xùn)練的方法來訓(xùn)練特定參數(shù)θ，此參數(shù)可以通過擬合來確定。如果計(jì)算訓(xùn)練集中的最大對數(shù)似然函數(shù)值，則獲得特定參數(shù)θ，通過比較散度(CD)算法，獲得特定參數(shù)θ的改進(jìn)標(biāo)準(zhǔn):

式中:ε表示為學(xué)習(xí)概率，?·?data代表具體數(shù)據(jù)的期望分布值，?·?recon表示通過CD 算法得到的分布期望。

深度置信網(wǎng)絡(luò)DBN 模型的具體訓(xùn)練一般需要經(jīng)歷兩個重要階段:預(yù)訓(xùn)練和微調(diào)。首先采用無監(jiān)督貪婪方法自下而上進(jìn)行訓(xùn)練RBM，然后將底層RBM 隱藏層的具體輸出當(dāng)作向上一層RBM 的可見層輸入。經(jīng)過逐層訓(xùn)練，我們可以從高維特定數(shù)據(jù)中提取出更具差異性的低維人臉面部表情圖像特征。其次經(jīng)過有監(jiān)督的方法利用BP 神經(jīng)網(wǎng)絡(luò)對其具體數(shù)據(jù)進(jìn)行分類，并將偏差由頂層向下層傳播，對RBM 網(wǎng)絡(luò)進(jìn)行具體微調(diào)，最終讓RBM 整個網(wǎng)絡(luò)的參數(shù)值達(dá)到最優(yōu)化。

4 LSH 算法與DCLBP 算子的特征融合

首先對于人臉面部表情辨識，深度學(xué)習(xí)僅僅能夠提取人臉面部表情圖像的整個特征信息，而不能充分提取局部的具體特征信息。局部敏感質(zhì)量分布圖(LSH)算法能夠提取出人臉面部圖像中的非均勻光照不變特征信息，但其人類面部表情圖像特征亮度值整體偏高，則導(dǎo)致失去了部分人臉面部表情邊緣細(xì)節(jié)特征信息；雙編碼局部二值模式(DCLBP)算子雖然能夠較好地獲取人臉面部表情圖像的邊緣局部細(xì)節(jié)紋理特征信息，但對非均勻光照所表現(xiàn)的陰影部分處理效果不理想。其次由LSH 算法所提取出來的人臉面部表情圖像中，所對應(yīng)的灰度值部分表現(xiàn)不高，而DCLBP 算子提取出來的人臉面部表情特征圖像中的高灰度值部分則比較明顯。這樣如果直接將LSH 算法與DCLBP 算子的各自特征信息進(jìn)行加權(quán)融合，就必然會喪失部分有用特征信息，最終導(dǎo)致人臉面部表情識別效果不理想。因此為了更好地利用兩者特征信息的優(yōu)勢，我們在融合之前，先對DCLBP 算子所提取出的人臉面部表情圖像特征信息進(jìn)行取反操作，這樣兩種算法基本上將人臉面部表情像素灰度值通過不同映射生成人臉面部表情圖像特征，由于兩種特征信息具有類似的分布形式，因此可以支配適當(dāng)?shù)臋?quán)重將兩者特征信息進(jìn)行融合，這樣就可以很好地表現(xiàn)出兩種特征信息的優(yōu)點(diǎn)，讓兩者融合后的特征信息涵蓋了更多有用的人臉面部表情識別信息。其LSH 算法與DCLBP 算子的特征融合的步驟為:

(1)設(shè)I(i，j)表示像素大小為M×N的人臉面部表情圖像I在像素點(diǎn)(i，j)處的具體灰度值。定義人臉面部表情特征圖像I的標(biāo)準(zhǔn)差σI表示為:

式中:I∈Ic＝{ILSH，ILOG}代表不同算法提取的人臉面部表情特征圖像集合。

(2)利用式(21)和式(22)，分別計(jì)算出ILSH和IDCLBP的標(biāo)準(zhǔn)差σLSH與σDCLBP

(3)計(jì)算融合系數(shù)ω1和ω2

LSH 和DCLBP 算法提取的人臉面部表情特征分別為fLSH與fDCLBP，其兩者融合后的有效特征為:

式中:F即為計(jì)算局部敏感質(zhì)量分布圖(LSH)算法和雙編碼局部二值模式(DCLBP)算子各自人臉面部表情特征的標(biāo)準(zhǔn)差，并將兩者人臉面部表情特征通過自適應(yīng)融合來構(gòu)造出更為有效的人臉面部表情信息特征。

5 融合局部特征與深度置信網(wǎng)絡(luò)(DBN)的人臉面部表情識別算法

計(jì)算局部敏感質(zhì)量分布圖(LSH)算法和雙編碼局部二值模式(DCLBP)算子的各自特征信息的基本標(biāo)準(zhǔn)差并將兩者特征進(jìn)行自適應(yīng)融合來構(gòu)造出更為合理的人臉面部表情特征，最后，將融合后的人臉面部表情特征輸入深度置信網(wǎng)絡(luò)(DBN)模型中進(jìn)行訓(xùn)練，利用訓(xùn)練好的深度置信網(wǎng)絡(luò)(DBN)模型識別人臉面部表情，這樣不僅可以有利于獲取人臉面部表情圖像的局部特征信息，而且能夠減少其網(wǎng)絡(luò)訓(xùn)練的耗時。網(wǎng)絡(luò)結(jié)構(gòu)的聯(lián)合分布為:

式中:H代表LSH 算法與DCLBP 算子兩者各自特征自適應(yīng)融合構(gòu)造出的有效人臉面部表情特征F。h(1)，h(2)…h(huán)(l)表示其深度信念網(wǎng)絡(luò)(DBN)對其輸入的特征H學(xué)習(xí)到差異層次的高級人臉面部表情特征信息。

訓(xùn)練前首先對人臉面部表情圖像的訓(xùn)練集樣本數(shù)據(jù)和人臉面部表情圖像測試集樣本數(shù)據(jù)采用雙線性內(nèi)插方法來進(jìn)行質(zhì)量分布圖協(xié)調(diào)處理。訓(xùn)練階段的具體步驟如下:

(1)由式(1)計(jì)算出原人臉面部表情圖像中每個具體點(diǎn)的質(zhì)量分布圖，并由式(3)獲得非均勻光照不變特征fLSH，其人臉面部表情特征圖像為ILSH；

(2)采用DCLBP 算子對原人臉面部表情圖像實(shí)行具體處理，并由式(10)獲得人臉面部表情編碼特征圖像IDCLBP并對其進(jìn)行取反處理，獲取其邊緣細(xì)節(jié)特征fDCLBP；

(3)由式(21)、式(22)分別計(jì)算獲得人臉面部表情特征圖像ILSH和IDCLBP的具體標(biāo)準(zhǔn)差σLSH與σDCLBP，進(jìn)而由式(23)明確自適應(yīng)融合系數(shù)值ω1和ω2，并經(jīng)融合式(24)獲取到局部敏感質(zhì)量分布圖(LSH)算法和雙編碼局部二值模式(DCLBP)算子各自特征信息的標(biāo)準(zhǔn)差值，并將兩者人臉面部表情特征進(jìn)行自適應(yīng)融合來構(gòu)造出最終更為有效的人臉面部表情特征F；

(4)將LSH 算法與DCLBP 算子經(jīng)過自適應(yīng)融合而架構(gòu)出來的有效人臉面部表情特征F作為具體訓(xùn)練數(shù)據(jù)輸入到DBN 可視層進(jìn)行訓(xùn)練；

(5)采用對比散度算法(CD)具體訓(xùn)練第一層RBM 模型，從而得到最佳參數(shù)；

(6)在多層RBM 網(wǎng)絡(luò)中，前一層RBM 網(wǎng)絡(luò)隱藏層的輸出當(dāng)作后一層RBM 網(wǎng)絡(luò)的可見層的輸入信息，通過對比散度算法(CD)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到最低動力能量函數(shù)以及RBM 的最優(yōu)化的具體參數(shù)值；

(7)重復(fù)步驟(5)和步驟(6)，然后按序迭代循序訓(xùn)練每個RBM 層，一直到訓(xùn)練結(jié)束所有RBM 網(wǎng)絡(luò)為止；

(8)訓(xùn)練結(jié)束所有RBM 網(wǎng)絡(luò)并得到每個RBM層具體最優(yōu)參數(shù)值后，最終將RBM 的參數(shù)當(dāng)作BP神經(jīng)網(wǎng)絡(luò)的輸入，不停的改善調(diào)節(jié)RBM 參數(shù)直到最后獲得最優(yōu)化DBN 模型。

在人臉面部表情圖像測試階段過程中，測試樣本過程與訓(xùn)練樣本過程的操作相同，即通過LSH 算法與DCLBP 算子通過自適應(yīng)融合構(gòu)造出有效人臉面部表情特征F輸入到訓(xùn)練好的DBN 模型中，并通過網(wǎng)絡(luò)學(xué)習(xí)獲取可以用來分類識別的人臉面部表情深層次的本質(zhì)特征信息，最后通過具體分類器將其分類并對模型性能進(jìn)行識別分析。本算法的流程圖3所示。

圖3 人臉面部表情識別基本流程

6 實(shí)驗(yàn)分析

6.1 人臉表情數(shù)據(jù)庫

本文采用了JAFFE 人臉面部表情數(shù)據(jù)庫和自建的新疆維吾爾族人臉面部表情數(shù)據(jù)庫來進(jìn)行算法的驗(yàn)證。經(jīng)典的JAFFE 人臉面部表情數(shù)據(jù)庫是由來自10 位日本女性志愿者構(gòu)建的人臉面部表情圖像數(shù)據(jù)庫，每位志愿者的人臉面部表情擁有6 類基本人臉面部表情圖像和1 類中性人臉面部表情圖像，每個人臉面部表情含有3～4 幅人臉面部表情圖像，這樣數(shù)據(jù)庫中就共有213 幅面部表情圖像。本文選擇每例人臉面部表情張量最大的表情圖像作為樣本，待檢測出人臉面部表情后再歸一化成大小為64×64 的表情圖像，然后裁剪其大小為60×60 的子圖像并通過鏡像翻轉(zhuǎn)將人臉面部表情樣本數(shù)量擴(kuò)大至原來的50 倍，并進(jìn)行非均勻光照的預(yù)處理。同時，為了將實(shí)驗(yàn)的準(zhǔn)確性進(jìn)行進(jìn)一步的提升，我們在進(jìn)行實(shí)驗(yàn)時對采用的相互不同個體的7 類表情的3張人臉面部表情圖像，然后隨機(jī)采納1 張人臉面部表情圖像當(dāng)作測試集數(shù)據(jù)，剩下的兩張人臉面部表情圖像則當(dāng)作訓(xùn)練集數(shù)據(jù)，在進(jìn)行實(shí)驗(yàn)驗(yàn)證時我們利用3 折交叉驗(yàn)證的方法，并將最后的人臉面部表情識別結(jié)果為3 次驗(yàn)證實(shí)驗(yàn)均值。JAFFE 人臉面部表情經(jīng)非均勻光照處理后的數(shù)據(jù)庫如圖4 所示。

圖4 非均勻光照下的JAFFE 人臉面部表情庫

維吾爾族人臉面部表情數(shù)據(jù)庫為課題組成員通過新疆大學(xué)學(xué)生以及社會自愿者收集而來，具有真實(shí)有效性。包含100 位維吾爾族人臉面部表情圖像，包含中性表情和六種基本表情(高興、生氣、害怕、厭惡、悲哀、吃驚)。維吾爾族人臉面部表情圖像處理過程與JAFFE 人臉面部表情數(shù)據(jù)庫處理程序一樣。先將已檢測出的維吾爾族人臉面部表情圖像進(jìn)行大小歸一化為64×64 的圖像，再擴(kuò)大到原來的50 倍，并進(jìn)行非均勻光照的預(yù)處理。同樣為了將實(shí)驗(yàn)的準(zhǔn)確性進(jìn)行進(jìn)一步的提升，我們在進(jìn)行實(shí)驗(yàn)時對采用的相互不同個體的6 類維吾爾族人臉面部表情的3 張人臉面部表情圖像，然后隨機(jī)采納1 張人臉面部表情圖像當(dāng)作測試集數(shù)據(jù)，剩下的兩張人臉面部表情圖像則當(dāng)作訓(xùn)練集數(shù)據(jù)，在進(jìn)行實(shí)驗(yàn)驗(yàn)證時我們利用3 折交叉驗(yàn)證的方法，并將最后的人臉面部表情識別結(jié)果為3 次驗(yàn)證實(shí)驗(yàn)均值。維吾爾族人臉面部表情經(jīng)非均勻光照處理后的數(shù)據(jù)庫如圖5所示。

圖5 非均勻光照下的維吾爾族人臉面部表情庫

6.2 DBN 層數(shù)和RBM 迭代次數(shù)的確定

為了探究不同層數(shù)DBN 和RBM 不同迭代次數(shù)對識別準(zhǔn)確率的影響，本文通過實(shí)驗(yàn)方式確定DBN模型網(wǎng)絡(luò)中RBM 的層數(shù)。設(shè)DBN 的RBM 層數(shù)為1～4，RBM 隱含層節(jié)點(diǎn)數(shù)設(shè)置為50。不同RBM 網(wǎng)絡(luò)層數(shù)的DBN 模型表情識別率如圖6 所示。

圖6 不同RBM 網(wǎng)絡(luò)層數(shù)的DBN 模型表情識別率

由圖6 與表1 結(jié)果可知，當(dāng)DBN 模型中RBM的層數(shù)為1 時，模型的訓(xùn)練與人臉面部表情的辨識時間較多，且人臉面部表情識別率整體較低，導(dǎo)致這一問題是因?yàn)镽BM 的層數(shù)太少致使其重構(gòu)偏差稍大。當(dāng)RBM 的層數(shù)為2 時，在在JAFFE 人臉面部表情數(shù)據(jù)庫和維吾爾族人臉面部表情數(shù)據(jù)庫這兩種數(shù)據(jù)庫中進(jìn)行表情識別實(shí)驗(yàn)的辨識率均為最高，且模型訓(xùn)練與人臉面部表情識別耗時最短。當(dāng)RBM的層數(shù)緊接著繼續(xù)增加時，DBN 模型的人臉面部表情識別率下降，與此同時訓(xùn)練與識別的耗時逐漸增加。鑒于以上因素，本文DBN 模型最終使用2 層RBM 結(jié)構(gòu)。

表1 不同層數(shù)RBM 的DBN 模型訓(xùn)練與識別時間

6.3 基于DBN 模型不同特征提取方法識別率對比仿真實(shí)驗(yàn)

為了驗(yàn)證本文所提出的方法對于人臉面部表情分類識別的合理性，在局部人臉面部表情圖像中分別提取LBP 特征、HOG 特征、Gabor 特征、LSH 特征、DCLBP 特征以及LSH ＋DCLBP 的融合算法特征。然后再根據(jù)提取得到的不同特征使用DBN 深度模型在JAFFE 人臉面部表情數(shù)據(jù)庫和維吾爾族人臉面部表情數(shù)據(jù)庫上進(jìn)行人臉面部表情識別實(shí)驗(yàn)。不同特征的人臉面部表情識別率對比仿真結(jié)果如表2 所示。

表2 基于DBN 模型不同特征提取方法識別率單位:%

由表2 可知，與單獨(dú)采用LBP 特征、HOG 特征、Gabor 特征、LSH 特征、DCLBP 特征提取算法相比后可知，本文所提出的LSH＋DCLBP 的融合算法，在JAFFE人臉面部表情庫及維吾爾族人臉面部表情數(shù)據(jù)庫上具有很高的識別率，其辨識率分別達(dá)到了94.78%和98.03%，其結(jié)果驗(yàn)證了多特征提取算法融合后的有效性，提高了其人臉面部表情特征提取能力。

6.4 不同分類算法識別率對比

為了驗(yàn)證DBN 該模型在人臉面部表情辨識的成效性，將DBN 與經(jīng)典模式算法SVM 和KNN 算法進(jìn)行了比較工作。在人臉面部表情圖像中提取人臉面部表情圖像中的局部敏感質(zhì)量分布圖(LSH)光照不變特征和雙編碼局部二值模式(DCLBP)提取人臉面部表情的邊緣局部細(xì)節(jié)紋理特征后并進(jìn)行兩者特征融合，之后采取不同的分類算法都以LSH 光照不變特征與DCLBP 邊緣局部細(xì)節(jié)紋理特征的融合特征為輸入，分別在JAFFE 人臉面部表情數(shù)據(jù)庫和維吾爾族人臉面部表情數(shù)據(jù)庫上進(jìn)行表情面部識別，對比實(shí)驗(yàn)結(jié)果如表3 所示。

表3 基于LSH＋DCLBP 融合特征不同分類算法識別率 單位:%

由表3 可知，當(dāng)分別以LSH＋DCLBP 為融合特征信息，并分別輸人進(jìn)SVM、KNN 和DBN 分類算法時，該DBN 模型對于人臉面部表情識別在不同的人臉面部表情數(shù)據(jù)庫中識別準(zhǔn)確率均高于傳統(tǒng)的學(xué)習(xí)算法SVM 和KNN。DBN 模型將無監(jiān)督的訓(xùn)練學(xué)習(xí)和有監(jiān)督的微調(diào)結(jié)合，能夠自主從高維度低層次的圖像特征中學(xué)習(xí)到高層次的特征信息，最終學(xué)習(xí)到適合表情識別的特征，在人臉面部表情識別中取得了良好的效果。

6.5 不同算法識別率對比實(shí)驗(yàn)

為了驗(yàn)證本文所提出的LSH＋DCLBP 融合特征和深度置信網(wǎng)絡(luò)DBN 模型結(jié)合的人臉面部表情算法的優(yōu)越性，將本文所提出的算法與其他算法Log-Gabor[11]、Gabor ＋LBP[12]、Gabor ＋Gist[13]、LBP ＋DCT[14]四種算法分別在JAFFE 人臉面部表情數(shù)據(jù)庫和維吾爾族人臉面部表情數(shù)據(jù)庫上進(jìn)行對比驗(yàn)證實(shí)驗(yàn)，結(jié)果如表4 和表5 所示。

表4 不同算法在JAFFE 人臉面部表情數(shù)據(jù)庫實(shí)驗(yàn)對比 單位:%

表5 不同算法在維吾爾族人臉面部表情數(shù)據(jù)庫實(shí)驗(yàn)對比 單位:%

由表4 和表5 可以看到，本文所提出的算法無論是在JAFFE 人臉面部表情數(shù)據(jù)庫還是在維吾爾族人臉面部表情數(shù)據(jù)庫上的人臉面部表情識別率為最高。其中在JAFFE 人臉面部表情數(shù)據(jù)庫中本文算法與其他四種算法對比，可以看出來人臉面部表情識別率至少提高了2.08%，尤其是與Log-Gabor 算法相比較，識別率提高了10.93%，具有很強(qiáng)的算法優(yōu)勢。在維吾爾族人臉面部表情數(shù)據(jù)庫識別中，五種算法的識別率均高于JAFFE 人臉面部表情數(shù)據(jù)庫中的識別率，尤其是本文算法人臉面部表情識別率在其他四種算法中為最高，至少提高了3.42%，尤其是與Log-Gabor 算法相比較，識別率提高了9.46%。本次實(shí)驗(yàn)中可以很好地體現(xiàn)出本文算法的識別率為最高，主要是因?yàn)楸疚乃惴ň哂泻芨叩娜四槺砬樘卣魈崛”憩F(xiàn)力，其他四種算法雖然也是屬于兩種算法的特征融合，但是本文算法除了兩種算法的特征融合之外，還在深度置信網(wǎng)絡(luò)DBN 模型中進(jìn)行訓(xùn)練并識別，這就使得人臉面部表情特征更加凸顯。其次在對自建的維吾爾族人臉面部表情表情識別中的辨識率均高于JAFFE 人臉面部表情識別率，尤其是本文提出的算法，這主要就是因?yàn)镴AFFE 人臉面部表情數(shù)據(jù)庫代表的是亞洲女性，其五官不是很明顯，而維吾爾族人臉表情面部表情特征明顯，表現(xiàn)張力比較大，不易與其他表情混淆，故辨識率高于JAFFE 人臉面部表情數(shù)據(jù)庫。通過實(shí)驗(yàn)再次表明本文提出的算法在對人臉面部表情的識別具有很好的特征提取及識別率。

6.6 不同算法時間消耗對比

最后，為了驗(yàn)證本文算法的實(shí)時性，我們在JAFFE人臉面部表情數(shù)據(jù)庫上對不同算法在不同隱藏節(jié)點(diǎn)數(shù)上進(jìn)行了時間消耗的對比，其結(jié)果如表6 所示。

由表6 可知，當(dāng)對JAFFE 人臉面部表情數(shù)據(jù)庫中的人臉圖像進(jìn)行融合特征(LSH＋DCLBP)進(jìn)行初次識別提取時，在深度置信網(wǎng)絡(luò)DBN 中的訓(xùn)練時間和分類時間都會有不同程度的減少。其中，當(dāng)隱藏節(jié)點(diǎn)數(shù)為300 時，本文算法消耗的總時間比單獨(dú)深度置信網(wǎng)絡(luò)DBN 消耗的總時間減少了6.27%，當(dāng)隱藏節(jié)點(diǎn)數(shù)為500 時，本文算法消耗的總時間比單獨(dú)深度置信網(wǎng)絡(luò)DBN 消耗的總時間減少了4.6%，這是因?yàn)槲覀儗⑷四樏娌勘砬閳D像的局部融合特征(LSH＋DCLBP)作為深度置信網(wǎng)絡(luò)DBN 的輸入時，由于局部融合特征(LSH＋DCLBP)所提取的非均勻光照下的人臉面部表情紋理信息特征會產(chǎn)生很強(qiáng)的魯棒性，進(jìn)而當(dāng)深度置信網(wǎng)絡(luò)DBN 在對人臉面部表情圖像進(jìn)行特征學(xué)習(xí)時能夠很好地去除重復(fù)多余信息的干擾；其次，深度置信網(wǎng)絡(luò)DBN 對初次特征信息進(jìn)行學(xué)習(xí)時，是對有效的人臉面部表情特征性數(shù)據(jù)進(jìn)行學(xué)習(xí)，而不是無用信息。因此，深度置信網(wǎng)絡(luò)DBN 通過融合局部融合特征(LSH＋DCLBP)，能很好地削弱深度置信網(wǎng)絡(luò)DBN 的學(xué)習(xí)及分類時間和運(yùn)行計(jì)算量，從而達(dá)到預(yù)期的實(shí)時性要求，提高了人臉面部表情的識別率。

表6 不同算法訓(xùn)練和識別所消耗的時間表

7 結(jié)論

本文提出一種融合局部特征與深度置信網(wǎng)絡(luò)(DBN)的相結(jié)合人臉面部表情辨識算法，該算法通過局部敏感質(zhì)量分布圖(LSH)的非均勻光照不變性特征優(yōu)勢以及雙編碼局部二值模式(DCLBP)算法的邊緣局部細(xì)節(jié)紋理特征詳細(xì)信息，通過估算各自特征的基本標(biāo)準(zhǔn)差后將兩者提取的各自特征進(jìn)行自適應(yīng)融合來構(gòu)造出更為合理有效的人臉面部表情特征信息，融合特征的提取方法可以對人臉面部表情產(chǎn)生時的面部結(jié)構(gòu)和細(xì)節(jié)的變化實(shí)現(xiàn)更全面的描述，對于人臉面部表情的類別具有更好的表征作用。最后將融合后的合理有效人臉面部表情特征輸入到深度置信網(wǎng)絡(luò)(DBN)模型中進(jìn)行相關(guān)訓(xùn)練，能夠有效地將更加深層次的人臉面部表情特征提取出來，進(jìn)一步提高了人臉面部表情的識別率。無論是在JAFFE 人臉面部表情數(shù)據(jù)庫還是在維吾爾族人臉面部表情數(shù)據(jù)庫上的人臉面部表情識別率為最高，驗(yàn)證了本文算法的優(yōu)越性。