車 娜，趙 劍*，史麗娟，王 柳，范秦寅

（1.長春大學 計算機科學技術(shù)學院，吉林 長春 130022；2.長春大學 電子信息工程學院，吉林 長春 130022；3.大阪大學 機械科學部，日本 大阪 556670）

1 背景介紹

人的面部表情識別是人工智能的基本問題，同時也是一個復(fù)雜的計算問題，解決人類面部表情識別問題對于人機交互等高級應(yīng)用有著重要意義[1]。近些年來在表情識別方面有很多的優(yōu)秀成果，在相關(guān)研究方面積累了很多經(jīng)驗教訓。

心理學研究表明人類的表情與味覺一樣，是幾種基本表情的混合，識別這些基本表情就成了早期表情識別的重要方向[2]。早期的研究主要是通過數(shù)據(jù)特征判斷表情和用時序分析判斷表情[3]等方法，這些方法的技術(shù)難度較高，但是最終得到程序的魯棒性較差。

近幾年來人工智能的再度興起使得很多人將研究重點轉(zhuǎn)移到使用深度學習方法進行表情識別的方向上來[4]。在利用深度學習和卷積神經(jīng)網(wǎng)方面也有很多不錯的工作[5]。

本文提出了一種基于卷積神經(jīng)網(wǎng)的機器學習方法來進行人類表情識別，并且詳細分析了影響表情識別的卷積神經(jīng)網(wǎng)各方面的參數(shù)。本文主要基于FER2013數(shù)據(jù)集和卷積神經(jīng)網(wǎng)模型進行探索，最終給出一個基于實驗的最優(yōu)的解決方案。

2 卷積神經(jīng)網(wǎng)的設(shè)置

FER2013數(shù)據(jù)集合是表情數(shù)據(jù)庫，它是由35 887張面部表情圖片構(gòu)成，在這些圖片中分別有訓練集合、驗證集合和測試集合。表情圖片都處理成了灰度圖片，并且是統(tǒng)一規(guī)格的，都是48×48像素的，如圖1所示。按照相關(guān)學科的理論，人的表情是7種基本表情的混合，也就是面無表情、生氣、厭惡、恐懼、開心、驚訝、傷心這幾種表情，F(xiàn)ER2013中也將面部表情數(shù)據(jù)分成了這7類。在FER2013中給出的文件是csv格式，本文為了訓練方便將其轉(zhuǎn)換成了灰度圖片，如圖1所示。

本文采用了基本的CNN結(jié)構(gòu)來探討卷積神經(jīng)網(wǎng)在面部表情識別中的性能問題，其結(jié)構(gòu)如圖2所示。

其中神經(jīng)網(wǎng)的INPUT為輸入層，F(xiàn)ER2013數(shù)據(jù)集合中28 709張訓練圖片隨機亂序之后通過輸入層輸入到神經(jīng)網(wǎng)結(jié)構(gòu)中。在輸入層之后的C1是最開始的卷積層，它有6組卷積核，設(shè)定每組局部感受野的尺寸為5×5，我們將滑動窗口步長設(shè)為1，在神經(jīng)網(wǎng)中對輸入圖像作局部卷積，可以得到6個（28－5+1）×（28－5+1）=24×24尺寸的特征圖。接下來的層S2為池化層，我們通過池化層對前面卷積層得到的特征圖進行下采樣處理，這是卷積神經(jīng)網(wǎng)絡(luò)在保留訓練數(shù)據(jù)同時降低維度的技術(shù)，為了不重疊數(shù)據(jù)，我們將池化層設(shè)為2×2，并且步長設(shè)為2。通過卷積層和池化層之后的數(shù)據(jù)就是池化特征圖，這個特征圖的數(shù)據(jù)是每個輸入圖的1/4。后面的層C3同樣為卷積層，在這個層里有12個卷積核，這里的卷積窗口為5×5，滑動步長為1，在接下來的卷積層S2中需要尺寸為8×8的12個特征圖。在S2到C3的特征圖可以選擇全連接方式，就是C3中每個特征圖都由C2中的所有特征圖組合疊加而成。接下來的第S4層也是池化層，這里將采集窗口設(shè)為2×2，步長設(shè)為2，用最大值下采樣，通過S3池化層可以得到對應(yīng)的前面的12個特征圖，其中每個圖為4×4的尺寸。后面的F5 是全連接層，S4則將每個圖轉(zhuǎn)換成16×1的向量，之后將其轉(zhuǎn)換為192×1的特征向量，再通過全連接的方式傳遞給F5層，F(xiàn)5層有120個節(jié)點，這些節(jié)點與接下來的F6層全連接，F(xiàn)6設(shè)了84個節(jié)點，F(xiàn)5與F6這樣的兩極全連接結(jié)構(gòu)能夠增強整個網(wǎng)絡(luò)的泛化效果。輸出層與F6相連，這里是為了區(qū)分7種基本表情，所以這里給出了7個節(jié)點，分別表示為0～6，對應(yīng)表情“面無表情、生氣、厭惡、恐懼、開心、驚訝、傷心”。

圖1 FER—2013集合的例子

圖2 經(jīng)典CNN模型結(jié)構(gòu)示意

通過經(jīng)典的卷積神經(jīng)網(wǎng)對FER2013的訓練，我們將總共35 887張圖片中的28 709設(shè)為訓練集，3 589設(shè)為驗證集，3 589設(shè)為測試集。學習率設(shè)為1，當神經(jīng)網(wǎng)迭代300次之后錯誤率為2.45%，迭代1 000次之后錯誤率為1.86%。

3 卷積神經(jīng)網(wǎng)在面部表情識的性能分析

本文用經(jīng)典的卷積神經(jīng)網(wǎng)構(gòu)建了面部表情識別的系統(tǒng)，接下來對卷積神經(jīng)網(wǎng)的主要參數(shù)進行對比試驗，主要研究滑動窗口大小以及池化方式這兩個方面對于在該具體問題中的卷積神經(jīng)網(wǎng)影響，為進一步的理論和實驗研究做出指導。

在滑動窗口方面，經(jīng)典的做法是固定滑動窗口，這樣可以穩(wěn)定地掃描過全部的感受區(qū)域，利用神經(jīng)元與周圍像素的關(guān)系進行神經(jīng)網(wǎng)訓練。本文在第一個卷積層C1中設(shè)計了一系列的滑動窗口尺寸試驗，使用不同的模型進行測試，以發(fā)現(xiàn)相對較優(yōu)的滑動窗口尺度。在下面的表1中，是我們對于1～9的窗口尺寸進行測試的結(jié)果。

通過實驗數(shù)據(jù)，我們大概可以找到一個局部最優(yōu)解，顯然過大或者過小的滑動窗口尺寸都會影響系統(tǒng)性能。通過表1得到的數(shù)據(jù)走向，以及系統(tǒng)中臨時特征圖的對比，我們最終將C1卷積層中的窗口尺寸設(shè)為5×5大小的?；瑒哟翱诔叽缡歉鶕?jù)實驗結(jié)果和輸入數(shù)據(jù)尺寸決定的，相對較大的輸入數(shù)據(jù)，如果采用小窗口會拉低實驗性能，反之亦然。這是設(shè)計卷積神經(jīng)網(wǎng)的重要因素之一。

表1 C1層中不同窗口尺寸以及對應(yīng)的錯誤率對照

卷積神經(jīng)網(wǎng)除了卷積層之外的重要設(shè)計內(nèi)容就是池化層了。池化層不同的設(shè)計對于整個卷積神經(jīng)網(wǎng)的性能有很大的影響，而且它也是神經(jīng)網(wǎng)魯棒性的來源之一，同樣的圖像如果有輕度噪音在池化層的處理下也能得到同樣的訓練/識別效果。常用的池化策略是最大值池化、平均值池化和隨機值池化。

為了選擇最為適合的池化方式，本文將以上3種策略在表情識別系統(tǒng)中都實現(xiàn)了。這3個模型采用同樣的設(shè)計，只有池化方式不同，同樣對于面部表情識庫FER2013進行訓練，得到的時間消耗如表2所示。為了排除單次實驗的誤差，下表中的數(shù)據(jù)是10次實驗取得的平均值。

在這個特定問題中，我們能夠發(fā)現(xiàn)池化策略有不同的最優(yōu)表現(xiàn)。錯誤率最低的策略是隨機方式，而效率最高的是最大化策略。按照統(tǒng)計結(jié)果表明，最大化策略在時間表現(xiàn)方面的顯著性水平要高于隨機化策略在提高錯誤率方面的顯著性水平。所以我們認為在這個具體問題中采用最大化策略能夠更好地提高系統(tǒng)功效。

表2 3種池化方式的實驗對比數(shù)據(jù)

4 結(jié)語

本文通過實驗修改經(jīng)典的卷積神經(jīng)網(wǎng)結(jié)構(gòu)，以得到在實驗中表現(xiàn)良好的參數(shù)配置，為面部表情識別工作做出了探索。在我們的實驗中，針對面部表情識別問題，得到了較好的卷積層窗口尺寸設(shè)置，以及表現(xiàn)優(yōu)秀的池化方案。得出的結(jié)論為，為了進行更好的深度學習，卷積核窗口的尺寸不宜過大也不宜過?。怀鼗桨赶鄬碚f采用最大化策略能夠改進效率。