(四川城市職業(yè)學(xué)院，四川 達(dá)縣 635000)

弱光照環(huán)境下人臉表情圖像識(shí)別方法研究

謝亮

(四川城市職業(yè)學(xué)院，四川達(dá)縣635000)

對(duì)弱光照環(huán)境下人臉表情圖像進(jìn)行識(shí)別，可以更好地對(duì)人類的情感進(jìn)行分類，有利于人類在現(xiàn)實(shí)社會(huì)中的溝通；當(dāng)前方法利用提取人臉表情圖像的一維特征完成對(duì)弱光照環(huán)境下人臉表情圖像的識(shí)別，該方法無(wú)法對(duì)人臉表情圖像進(jìn)行詳細(xì)地描述，導(dǎo)致人臉表情圖像在識(shí)別時(shí)經(jīng)常出現(xiàn)識(shí)別精度低、速度慢的問題；為此，提出一種基于BP神經(jīng)網(wǎng)絡(luò)的弱光照環(huán)境下人臉表情圖像識(shí)別方法；該方法首先利用自相似性對(duì)帶有噪聲的圖像進(jìn)行圖像區(qū)域劃分，并依據(jù)統(tǒng)計(jì)學(xué)習(xí)獲得線性空間，通過(guò)對(duì)空間的投影獲得不含噪聲的人臉表情圖像區(qū)域向量，將人臉表情圖像進(jìn)行重組，得到去噪后的圖像，然后利用Cabor變換對(duì)人臉表情圖像特征進(jìn)行提取，采用AdaBoost對(duì)弱分類器以及人臉表情圖像樣本進(jìn)行訓(xùn)練，并通過(guò)多次弱分類器的迭代，得到最終的人臉表情圖像強(qiáng)分類器，完成對(duì)弱光照環(huán)境下人臉表情圖像的識(shí)別；實(shí)驗(yàn)結(jié)果證明，所提方法可以提高人臉表情圖像的識(shí)別準(zhǔn)確率，加快識(shí)別速度，為該領(lǐng)域的研究發(fā)展提供強(qiáng)有力依據(jù)。

弱光照；人臉表情；圖像識(shí)別

0 引言

如今，人臉表情是人類交流的主要途徑之一[1]，它包含著異常豐富的個(gè)人感情。隨著人工智能以及模式識(shí)別的不斷發(fā)展，人臉表情的識(shí)別受到了社會(huì)各個(gè)領(lǐng)域的關(guān)注，在人機(jī)交互中有著重要的地位[2]。從而使弱光照環(huán)境下人臉表情圖像的識(shí)別成為該領(lǐng)域的研究熱點(diǎn)和難點(diǎn)[3]。多數(shù)弱光照環(huán)境下人臉表情圖像識(shí)別方法無(wú)法對(duì)人臉表情圖像進(jìn)行準(zhǔn)確、快速地識(shí)別，導(dǎo)致人臉表情在識(shí)別時(shí)，存在識(shí)別誤差大、抗干擾能力弱，對(duì)人臉表情圖像的局部和總體特征描述不夠充分的問題[4]。在這種情況下，如何準(zhǔn)確地對(duì)弱光照環(huán)境下人臉表情圖像進(jìn)行識(shí)別，成為當(dāng)前迫切需要解決的問題[5]。而基于BP神經(jīng)網(wǎng)絡(luò)的弱光照環(huán)境下人臉表情圖像識(shí)別方法，可以對(duì)弱光照環(huán)境下人臉表情圖像進(jìn)行低誤差、快速穩(wěn)定地識(shí)別，是解決上述問題的可靠途徑[6]。由于人臉表情圖像識(shí)別已經(jīng)漸漸深入人們的生活，自然成為了當(dāng)前專家學(xué)者在圖像識(shí)別領(lǐng)域的必研課題，同時(shí)也研究出很多好方法[7]。

文獻(xiàn)[8]提出一種基于SVM的弱光照環(huán)境下人臉表情圖像識(shí)別方法。該方法首先通過(guò)積分投影來(lái)確定人眼中心位置，并依據(jù)人眼中心位置的坐標(biāo)，對(duì)人臉表情圖像進(jìn)行預(yù)處理，利用直方圖均衡化對(duì)人臉表情圖像補(bǔ)光，減少圖像間的灰度差異。結(jié)合主分量分析與Fisher線性判別方法，進(jìn)一步減少特征維數(shù)以及訓(xùn)練特征空間，這樣獲得的特征不僅可以提高人臉表情識(shí)別的速度，更易于對(duì)人臉表情圖像的分類。最后將全部表情圖像投影至特征空間。該方法雖然簡(jiǎn)單，但是對(duì)人臉表情圖像的識(shí)別精度低。文獻(xiàn)[9]提出一種基于流形學(xué)習(xí)的弱光照環(huán)境下人臉表情圖像識(shí)別方法。該方法首先在國(guó)內(nèi)外海量文獻(xiàn)以及書籍的基礎(chǔ)上，對(duì)人臉表情圖像識(shí)別的背景、應(yīng)用領(lǐng)域和研究?jī)r(jià)值與國(guó)內(nèi)外的研究現(xiàn)狀進(jìn)行闡述。對(duì)人臉表情識(shí)別系統(tǒng)所涉及到的各步驟，和如今依據(jù)的主流識(shí)別方法進(jìn)行全面綜述。為人臉表情圖像識(shí)別技術(shù)分析與探討打下基礎(chǔ)。然后，對(duì)每一幅將要進(jìn)行識(shí)別的人臉表情圖像進(jìn)行預(yù)處理，依據(jù)人臉顏色在YCbCr空間概率的分布特征以及對(duì)應(yīng)膚色的高斯模型特性，利用一種膚色高斯模型對(duì)人臉表情圖像進(jìn)行檢測(cè)。最后與彈性模板結(jié)合，計(jì)算出待測(cè)表情圖像和表情圖像數(shù)據(jù)庫(kù)中，表情相似度，通過(guò)該相似度，利用K近鄰人臉表情圖像分類策略實(shí)現(xiàn)人臉表情圖像的識(shí)別。該方法對(duì)人臉表情圖像識(shí)別的誤差低，但是通用性不強(qiáng)。文獻(xiàn)[10]提出了一種基于關(guān)鍵塊空間分布的弱光照環(huán)境下人臉表情圖像識(shí)別方法。該方法首先在傳統(tǒng)的人臉表情圖像識(shí)別基礎(chǔ)上，增加圖像關(guān)鍵塊的空間分布信息，從而提高識(shí)別準(zhǔn)確率，提取出表情圖像的濾波特征，然后利用人臉表情圖像的訓(xùn)練樣本根據(jù)向量量化法，訓(xùn)練規(guī)定長(zhǎng)度的碼書，采用碼書把訓(xùn)練的樣本圖像進(jìn)行編碼，使編碼成索引矩陣，獲得人臉表情圖像索引分布，最后，將表情圖像編碼獲取的索引矩陣和濾波特征一起作為人臉表情圖像特征，應(yīng)用于人臉表情圖像的識(shí)別。該方法人臉表情圖像識(shí)別率高，但是運(yùn)行過(guò)程繁瑣。

針對(duì)上述產(chǎn)生的問題，提出一種基于BP神經(jīng)網(wǎng)絡(luò)的弱光照環(huán)境下人臉表情圖像識(shí)別方法。仿真實(shí)驗(yàn)證明，所提方法可以準(zhǔn)確地對(duì)弱光照環(huán)境下人臉表情圖像進(jìn)行識(shí)別。

1 基于圖像差分法的人臉表情圖像識(shí)別方法

在弱光環(huán)境下人臉表情圖像識(shí)別過(guò)程中，首先對(duì)靜態(tài)人臉表情圖像特征提取的方法進(jìn)行了討論，其次利用差值圖獲取人臉表情圖像的特征點(diǎn)，最后通過(guò)圖像的特征點(diǎn)擬合找出圖像特征區(qū)域的變化。以下是對(duì)弱光環(huán)境下人臉表情圖像識(shí)別的詳細(xì)步驟。

將采集得到的人臉表情圖像進(jìn)行處理，提取出可以反映出表情特征變化的區(qū)域，例如嘴巴，眼眉等。對(duì)要進(jìn)行識(shí)別的表情圖像進(jìn)行去噪，完成尺度與幾何歸一化等操作。對(duì)人臉表情圖像區(qū)域特征進(jìn)行手動(dòng)提取，并進(jìn)行幾何歸一化為256*256個(gè)像素大小。對(duì)獲取的圖像進(jìn)行差分操作，獲得二值化圖像，在二值化圖像中搜索眼眉區(qū)域。

利用積分投影的方式對(duì)二值化圖像上半部分投影，假設(shè)圖像中各個(gè)點(diǎn)的像素為B(j,l)，圖像的大小為Q×O，那么垂直投影的積分函數(shù)為：

(1)

水平投影的積分函數(shù)為：

(2)

通過(guò)垂直與水平積分投影圖像，去除部分噪聲對(duì)圖像的影響，通過(guò)投影圖像能夠找到眉眼區(qū)域。

因?yàn)槿四槺砬橹饕兔济嘘P(guān)，因此著重比較中性人臉表情中眉毛的特征與笑臉表情中的眉毛特征。至此只需分析人臉的眉毛變化規(guī)律就可以確定人臉表情。

2 基于BP神經(jīng)網(wǎng)絡(luò)的人臉表情圖像識(shí)別方法

2.1 人臉表情圖像增強(qiáng)

要提高弱光照環(huán)境下人臉表情圖像的識(shí)別準(zhǔn)確率，必須先對(duì)人臉表情圖像進(jìn)行去噪處理。本文利用自相似性完成對(duì)人臉表情圖像的去噪，具體過(guò)程如下。假設(shè)將人臉表情圖像設(shè)定為數(shù)字圖像，則數(shù)字圖像可以表示為信號(hào)與噪聲的疊加：

u0(x,y)=uf(x,y)+un(x,y)

(3)

其中，u0(x,y)代表有噪聲的人臉表情圖像，uf(x,y)代表沒有噪聲的人臉表情圖像，un(x,y)代表加性噪聲，此處假設(shè)un(x,y)是高斯白噪。

因?yàn)槿四槺砬閳D像主要是由物體的反射光構(gòu)成，所以將不含噪聲的人臉表情圖像分解成光照強(qiáng)度與物體表面反射頻率之間的乘積：

uf(x,y)=s(x,y)r(x,y)

(4)

其中，s(x,y)代表光照的分布，r(x,y)代表物體表面的反射率。通常情況下，光照強(qiáng)度為一個(gè)低頻信號(hào)，在某一個(gè)局部可將其視為常數(shù)。r(x,y)是由物體表面的紋理決定的，因?yàn)橥粋€(gè)物體不同的局部擁有相同的紋理，在人臉表情圖像中也經(jīng)常會(huì)有很多個(gè)比較相似的物體，因此r(x,y)有重復(fù)性，即在人臉表情圖像不同的局部，會(huì)出現(xiàn)相同的r(x,y)。

利用P(x,y)代表以(x,y)為中心，且包含m×m個(gè)圖像像素的局部區(qū)域，該局部區(qū)域無(wú)噪聲圖像可用m2維的向量If(x,y)來(lái)表示。假設(shè)人臉表情圖像中P(x1,y1)和P(x2,y2)具有相同紋理，即這兩個(gè)局部對(duì)應(yīng)的r相同，那么根據(jù)式(4)可得：

(5)

由上式可知，有相同紋理的人臉表情圖像區(qū)域?qū)?yīng)的向量位于一個(gè)子空間。

利用式(5)，一個(gè)包含噪聲的人臉表情圖像向量可表示為：

I0(x,y)=If(x,y)+In(x,y)

(6)

其中，I0(x,y)代表有噪聲的人臉表情圖像向量，In(x,y)代表噪聲向量，因?yàn)閡n(x,y)是高斯白噪，因此In(x,y)為m2維的高斯噪聲，而且各維獨(dú)立分布。在獲得圖像的觀測(cè)樣本I0(x,y)之后，就能夠利用統(tǒng)計(jì)學(xué)習(xí)法來(lái)估計(jì)各子空間Si以及其所屬的樣本，假設(shè)圖像中某一個(gè)位置的向量If(x1,y1)∈Si，因?yàn)镮n(x1,y1)各維具有無(wú)關(guān)性，所以I0(x1,y1)?Si。將I0(x1,y1)投影至Si中，可獲得If(x1,y1)的估計(jì)值Id(x1,y1)，利用Id(x1,y1)組建新表情圖像，就可以達(dá)到理想的去噪效果，從而增強(qiáng)弱光照環(huán)境下人臉表情圖像的亮度。

2.2 人臉表情圖像特征提取

以2.1中各項(xiàng)數(shù)據(jù)為基礎(chǔ)，利用Cabor變換對(duì)人臉表情圖像特征進(jìn)行提取。Cabor變換具有良好的空間局部性與方向選擇性，可以抓住人臉表情圖像局部區(qū)域中數(shù)個(gè)方向的空間頻率與局部結(jié)構(gòu)特征。由此Cabor分解可看成一個(gè)對(duì)圖像特征提取尺度具有方向性的顯微鏡。

(7)

將核函數(shù)定義成一個(gè)用高斯包絡(luò)函數(shù)所約束的平面波：

(8)

k=(kvcosφu,kvsinφu)

(9)

2.3 人臉表情圖像分類

依據(jù)上述的圖像去噪以及圖像的特征提取結(jié)果，利用AdaBoost對(duì)人臉表情圖像進(jìn)行分類。AdaBoost主要是在同一訓(xùn)練集中訓(xùn)練出不同弱分類器，是為了提高人臉表情圖像的識(shí)別準(zhǔn)確度。具體過(guò)程如下。

(1)假設(shè)，有N個(gè)人臉表情圖像樣本：(p1,q1)，(p2,q2)，......，(pN,qN)，其中，pi∈R代表人臉表情圖像樣本，qi∈T={-1,+1}代表圖像類別的標(biāo)記，當(dāng)qi=-1時(shí)，代表非人臉表情樣本，qi=1時(shí)，代表為人臉表情樣本，i代表分量；

(2)N個(gè)概率分布的初始化權(quán)重為DI(i)=1/N；

(3)取循環(huán)t=1,…,A；

(4)依據(jù)概率分布D，訓(xùn)練弱學(xué)習(xí)器；

(5)利用下式計(jì)算弱分類器ht:R→{-1,+1}的分類誤差：

εt=Pri～Dt[ht(pi)≠qi]

(10)

依據(jù)下式更新概率分布：

(11)

其中，zt代表歸一化系數(shù)，Dt+1(i)代表概率分布；

(6)利用下式獲得最強(qiáng)人臉表情圖像分類器：

(12)

對(duì)于上述分類中AdaBoost算法的步驟，選取一組弱分類器與N個(gè)人臉表情圖像訓(xùn)練樣本，經(jīng)過(guò)訓(xùn)練后從中抽出A個(gè)弱分類器組建一個(gè)強(qiáng)分類器。取權(quán)值相當(dāng)?shù)腘個(gè)樣本完成AdaBoost算法的初始化，在訓(xùn)練的過(guò)程中，隨著迭代的進(jìn)行對(duì)權(quán)值做出相應(yīng)的調(diào)整，通過(guò)多次弱分類器的迭代，可以輸出最終的人臉表情圖像強(qiáng)分類器。

3 仿真實(shí)驗(yàn)結(jié)果與分析

為證明基于BP神經(jīng)網(wǎng)絡(luò)的弱光照環(huán)境下人臉表情圖像識(shí)別方法的可行性，需要進(jìn)行一次仿真實(shí)驗(yàn)。在WindowsXP環(huán)境下搭建弱光照環(huán)境下人臉表情圖像識(shí)別實(shí)驗(yàn)仿真平臺(tái)。實(shí)驗(yàn)數(shù)據(jù)取自于JAFFE女性人臉表情圖像數(shù)據(jù)庫(kù)，測(cè)試樣本為150幅人臉表情圖像，利用本文所提方法對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行識(shí)別，觀察本文所提方法的整體有效性。表1是不同方法人臉各種表情圖像識(shí)別率(%)的對(duì)比。下面給出了識(shí)別率(%)計(jì)算公式。

(13)

表1 不同方法人臉各種表情圖像識(shí)別率的對(duì)比

厭惡80.382.694.5由表1可知，文獻(xiàn)[8]所提方法對(duì)于這6種人臉表情圖像的識(shí)別總體情況良好，但是對(duì)驚訝表情的識(shí)別與文獻(xiàn)[9]所提方法以及本文方法相比較低，文獻(xiàn)[8]所提方法通過(guò)積分投影來(lái)確定人眼中心位置，并依據(jù)人眼中心位置的坐標(biāo)，對(duì)人臉表情圖像進(jìn)行預(yù)處理的過(guò)程中沒有設(shè)置具體指標(biāo)來(lái)控制人眼中心位置的變化，導(dǎo)致個(gè)別表情的識(shí)別率較低。本文所提方法利用對(duì)圖像的去噪，特征提取以及分類完成人臉表情圖像的準(zhǔn)確識(shí)別，提高了識(shí)別精度。上述對(duì)比證明了本文所提方法具有較高的可行性與通用性。表2是不同方法人臉表情圖像識(shí)別所用時(shí)間(s)對(duì)比。

表2 不同方法人臉表情圖像識(shí)別所用時(shí)間對(duì)比

由表2可知，本文所提方法人臉表情圖像識(shí)別時(shí)間明顯少于文獻(xiàn)所提方法。文獻(xiàn)[9]所提方法依據(jù)人臉顏色在YCbCr空間概率的分布特征以及對(duì)應(yīng)膚色的高斯模型特性，并利用一種膚色高斯模型對(duì)人臉表情圖像進(jìn)行檢測(cè)這一步驟延緩了圖像的識(shí)別時(shí)間，導(dǎo)致圖像識(shí)別時(shí)間較長(zhǎng)。文獻(xiàn)[10]所提方法利用人臉表情圖像的訓(xùn)練樣本根據(jù)向量量化法，訓(xùn)練規(guī)定長(zhǎng)度的碼書，采用碼書把訓(xùn)練樣本圖像進(jìn)行編碼，使編碼成索引矩陣，獲得人臉表情圖像索引分布的過(guò)程所用時(shí)間較長(zhǎng)，使文獻(xiàn)[10]所提方法圖像識(shí)別所用時(shí)間較長(zhǎng)。本文所提方法利用AdaBoost對(duì)人臉表情圖像進(jìn)行分類，加快了圖像識(shí)別速度，減少了圖像識(shí)別時(shí)間。圖1是不同方法圖像去噪效果對(duì)比。

分析圖1得知，文獻(xiàn)[8]所提方法與文獻(xiàn)[10]所提方法圖像去噪的效果，要比本文所提方法的圖像去噪效果差。主要是因?yàn)楸疚姆椒ú捎玫氖亲韵嗨菩詫?duì)人臉表情圖像進(jìn)行去噪，該方法增強(qiáng)了弱光照環(huán)境下人臉表情圖像的亮度，使圖像

圖1 不同方法圖像去噪效果對(duì)比

的去噪效果更明顯。說(shuō)明了本文所提方法具有良好的可實(shí)踐性。圖2是不同方法人臉表情圖像分類時(shí)間(s)對(duì)比。

圖2 不同方法人臉表情圖像分類時(shí)間對(duì)比

分析圖2，文獻(xiàn)所提方法人臉表情圖像分類時(shí)間普遍較長(zhǎng)。本文所提方法利用AdaBoost對(duì)弱分類器和人臉表情圖像樣本進(jìn)行訓(xùn)練。在訓(xùn)練過(guò)程中，隨著迭代計(jì)算的進(jìn)行對(duì)權(quán)值做出相應(yīng)的調(diào)整，通過(guò)多次弱分類器迭代，輸出最終人臉表情圖像強(qiáng)分類器，減少圖像分類時(shí)間，提高圖像識(shí)別效率，進(jìn)一步證明本文所提方法的實(shí)用性。

4 結(jié)束語(yǔ)

采用當(dāng)前方法對(duì)弱光照環(huán)境下人臉表情圖像進(jìn)行識(shí)別時(shí)，存在識(shí)別精度低、速度慢的問題。提出一種基于BP神經(jīng)網(wǎng)絡(luò)的弱光照環(huán)境下人臉表情圖像識(shí)別方法。并通過(guò)仿真實(shí)驗(yàn)證明，所提方法可以準(zhǔn)確地對(duì)弱光照環(huán)境下人臉表情圖像進(jìn)行識(shí)別，具有良好的借鑒價(jià)值，成為該領(lǐng)域研究發(fā)展的風(fēng)向標(biāo)。

[1] 聶 玲.一種用于人臉識(shí)別的仿射包集識(shí)別模型仿真[J].計(jì)算機(jī)仿真,2016,33(10):395-398.

[2]馬 琦,馬蔚鵬,劉 彥,等.基于支持向量機(jī)的圖像飛機(jī)目標(biāo)自動(dòng)識(shí)別算法研究[J].計(jì)算機(jī)測(cè)量與控制,2014,22(9):2851-2852.

[3]郭 超,劉 燁.多色彩空間下的巖石圖像識(shí)別研究[J].科學(xué)技術(shù)與工程,2014,14(18):247-251.

[4]賈延明,潘 亞.河南地區(qū)秸稈焚燒空氣污染區(qū)域的圖像識(shí)別算法研究[J].科技通報(bào),2017,33(2):109-112.

[5]夏海英,徐魯輝.基于主動(dòng)形狀模型差分紋理和局部方向模式特征融合的人臉表情識(shí)別[J].計(jì)算機(jī)應(yīng)用,2015,35(3):783-786.

[6]劉 洋,韓廣良,史春蕾.基于SIFT算法的多表情人臉識(shí)別[J].液晶與顯示,2016,31(12):1156-1160.

[7]柳露艷,王直杰.光照不均人臉圖像的子空間人臉識(shí)別方法研究[J].電視技術(shù),2014,38(15):217-221.

[8]胡昭華,趙孝磊,徐玉偉,等.一種新的低秩分塊稀疏表示的人臉識(shí)別算法[J].數(shù)據(jù)采集與處理,2015,30(5):1109-1120.

[9]廖延娜,馬 超.基于稀疏表示的人臉識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].電子設(shè)計(jì)工程,2016,24(17):153-155.

[10]袁 姮,王志宏,姜文濤.剛性區(qū)域特征點(diǎn)的3維人臉識(shí)別[J].中國(guó)圖象圖形學(xué)報(bào),2017,22(1):49-57.

ImageRecognitionMethodofFacialExpressioninWeakLightEnvironment

Xie Liang

(Sichuan Urban Vocational College,Daxian 635000,China)

The recognition of facial expressions in weak light environment can be used to classify the emotions of human beings, which is conducive to the communication of human beings in the real world. Current method used to extract the facial expression features complete facial expression under the weak light environment image recognition, the method can't describe in detail the facial expression image, lead to facial expression image often appear in identifying low identification precision, the problem of slow speed. This paper presents an image recognition method based on the weak light environment of BP neural network. This method firstly using the self-similarity of image region partition of the image with noise and linear space and on the basis of statistical learning, gain without noise of space projection facial expression vector of image region, the facial expression image restructuring, after denoising image, then use Cabor transform to extract facial expression image characteristics, finally uses the AdaBoost to weak classifier and facial expression image training samples, and through times of weak classifier iteration, get the final facial expression image classifier, complete the facial expression of the image recognition in weak light environment. The experimental results show that the proposed method can improve the recognition of facial expression image accuracy, speed up the recognition, the research in the field development provides a strong basis.

weak light;facial expressions; image recognition

2017-05-06；

2017-05-23。

謝 亮(1980-)，男，四川達(dá)縣人，碩士研究生，講師，主要從事計(jì)算機(jī)應(yīng)用方向的研究。

1671-4598(2017)09-0234-03

10.16526/j.cnki.11-4762/tp.2017.09.060

TP391

A