馬金峰

（南京郵電大學(xué)通信與信息工程學(xué)院，江蘇 南京 210003）

1 引言

人臉表情識別是計算機視覺領(lǐng)域的研究熱點之一。不同于語言交際，人臉表情是人類情緒表達(dá)的一種直接方式。相較于語言，人臉表情當(dāng)中往往蘊含著更多的信息，心理學(xué)家Albert Mehrabian[1]提出了著名的55-38-7法則，她表示人與人之間交流的信息55%是由人臉表情傳遞的，38%是由說話時的語調(diào)傳遞的，而僅有7%是由所說內(nèi)容傳遞的。之后著名心理學(xué)家Ekman 發(fā)現(xiàn)，有7 類基本表情是全球通用的，各種族間可以相互識別，甚至連與世隔絕的部落和哺乳動物都有著相似的表情。據(jù)此，Ekman 和Friesen[2]通過對各種文化的大量研究定義了7類基礎(chǔ)表情：生氣、厭惡、害怕、自然、開心、悲傷和驚訝。人臉表情識別目前主要的應(yīng)用領(lǐng)域包括人機交互、安保、醫(yī)療、通信、安全駕駛等等。

隨著人臉表情識別應(yīng)用的領(lǐng)域不斷增加，人臉表情識別算法也在不斷發(fā)展，傳統(tǒng)的人臉表情識別的算法有：基于幾何特征的主動形狀模型（ASM），活動外觀模型（AAM）與尺度不變換特征轉(zhuǎn)換；基于整體統(tǒng)計特征的主成分分析法（PCA），獨立成分分析法（ICA）；基于頻率特征的Gabor小波變換法；基于運動特征的光流法等[3]。由于傳統(tǒng)的特征提取方法容易受到圖像的背景、光照強度等噪聲的影響，所以其對于特征的提取方法復(fù)雜且需要單獨的分類方法進(jìn)行分類，并且往往最終的識別準(zhǔn)確率較低。相較于傳統(tǒng)的方法，深度學(xué)習(xí)方法往往對圖像有著較好的特征提取能力，避免了傳統(tǒng)的人臉表情識別算法中繁瑣的人工提取特征的步驟。深度學(xué)習(xí)當(dāng)中由于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的模型簡單高效，成為深度學(xué)習(xí)的模型的代表，被廣泛應(yīng)用于深度學(xué)習(xí)相關(guān)的領(lǐng)域并成功成為圖像分類領(lǐng)域的核心算法模型。

最經(jīng)典的CNN 模型是由Yann LeCun 提出的LeNet-5[4]網(wǎng)絡(luò)，擁有標(biāo)準(zhǔn)的卷積層與池化層相互堆疊的結(jié)構(gòu)，基于這種基本的網(wǎng)絡(luò)結(jié)構(gòu)，研究人員又在后續(xù)的研究中提出了VGGNet[5]、ResNet[6]、MobileNet[7]、DenseNet[8]等性能更加高效的網(wǎng)絡(luò)模型結(jié)構(gòu)，這些模型有的是通過增加模型的深度和寬度來獲得更高的性能，有的則通過提高模型參數(shù)的利用率來獲得更為高效的性能。

隨著卷積神經(jīng)網(wǎng)絡(luò)模型的不斷發(fā)展，為了提取更為復(fù)雜的特征，獲得更高的預(yù)測準(zhǔn)確率，網(wǎng)絡(luò)模型的深度不斷加深，參數(shù)數(shù)量大大增加，從而使網(wǎng)絡(luò)結(jié)構(gòu)龐大復(fù)雜，同時對模型的移植應(yīng)用也形成了巨大的挑戰(zhàn)。由于網(wǎng)絡(luò)的深度對于學(xué)習(xí)表達(dá)能力更強的特征至關(guān)重要，因此如何在保持一定的網(wǎng)絡(luò)深度和測試精度的同時，有效降低網(wǎng)絡(luò)的參數(shù)數(shù)量就成為一個值得研究的方向。受到密集連接卷積網(wǎng)絡(luò)的啟發(fā)，本文給出了一種基于輸入尺寸為48×48的單通道灰度圖片的密集連接卷積結(jié)構(gòu)的模型(M-DenseNet)。該模型在保持一定的網(wǎng)絡(luò)深度和較高的模型預(yù)測準(zhǔn)確率的情況下，提高了網(wǎng)絡(luò)對于模型參數(shù)的利用率，大大降低了其運行時所需的參數(shù)數(shù)量。

2 卷積神經(jīng)網(wǎng)絡(luò)

2.1 傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）如圖1所示由卷積層、池化層和全連接層組成，是深度學(xué)習(xí)領(lǐng)域圖像分類的核心模型。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

卷積層對輸入執(zhí)行卷積，在訓(xùn)練過程中，選擇內(nèi)核和偏置參數(shù)以優(yōu)化網(wǎng)絡(luò)輸出的誤差函數(shù)。池化層對輸入圖像應(yīng)用非線性變換，以減少操作后的神經(jīng)元數(shù)量。在兩個連續(xù)的卷積層之間放置一個池化層是很常見的，該操作還可以減小單元尺寸、減少計算負(fù)荷以及防止過度擬合等問題。全連接層與經(jīng)典的神經(jīng)網(wǎng)絡(luò)層完全相同，其中層中的所有神經(jīng)元都連接到后續(xù)層中的所有神經(jīng)元，神經(jīng)元由它們的輸入總和乘以激活函數(shù)傳遞的權(quán)重而觸發(fā)。

2.2 深度卷積神經(jīng)網(wǎng)絡(luò)

為了改善模型的性能使模型能夠適應(yīng)不同的需求，最直接的方法就是加大網(wǎng)絡(luò)模型的深度，以下介紹幾種經(jīng)典的深度卷積神經(jīng)網(wǎng)絡(luò)。

2.2.1 VGGNet

由牛津大學(xué)視覺組于2014年所提出的VGGNet，這是一種專注于構(gòu)建卷積層的簡單網(wǎng)絡(luò)，它提出了由兩個3×3的小濾波器彼此堆疊模仿獲得一個5×5的大濾波器的感受野，而不再是像以往的CNN模型一樣使用單個更大的濾波器。經(jīng)過這樣的處理，模型參數(shù)大大降低了，并且模型的非線性表達(dá)能力獲得了提高。

2.2.2 ResNet

ResNet 網(wǎng)絡(luò)是一個模塊化的網(wǎng)絡(luò)，借鑒了“HighWay”，添加了一條“捷徑”連接路徑。該網(wǎng)絡(luò)提出了一個殘差學(xué)習(xí)塊來減少網(wǎng)絡(luò)的訓(xùn)練，明確將層重新定義為參照層重新輸入的學(xué)習(xí)殘差函數(shù)，而不是學(xué)習(xí)未引用的函數(shù)，因此可以大大加深深度，提高準(zhǔn)確度。

2.2.3 DenseNet

DenseNet網(wǎng)絡(luò)模仿了ResNet網(wǎng)絡(luò)，同樣構(gòu)建了模塊化的網(wǎng)絡(luò)來進(jìn)行學(xué)習(xí)。DenseNet 將這種模塊稱為密集塊（Dense Block），其核心思想是創(chuàng)建了一個跨層連接來連通網(wǎng)絡(luò)中的前后層。為了最大化網(wǎng)絡(luò)中所有層之間的信息流，DenseNet將網(wǎng)絡(luò)中的所有層兩兩進(jìn)行了連接，使得網(wǎng)絡(luò)中每一層都接受它前面所有層的特征作為輸入，圖2 展示了這種模式。DenseNet結(jié)構(gòu)主要擁有以下兩個特性：1）一定程度上減輕在訓(xùn)練過程中梯度消散的問題。從圖2我們可以看出，在反向傳播時每一層都會接受其后所有層的梯度信號，所以不會隨著網(wǎng)絡(luò)深度的增加，出現(xiàn)靠近輸入層的梯度會變得越來越小的現(xiàn)象。2）由于大量的特征被復(fù)用，使得使用少量的濾波器就可以生成大量的特征，所需模型的規(guī)模也隨之減小。

圖2 一個四層密集塊(Dense Bolck)結(jié)構(gòu)

3 改進(jìn)的DenseNet模型

本文給出的網(wǎng)絡(luò)模型受到DenseNet網(wǎng)絡(luò)結(jié)構(gòu)的啟發(fā)，在DenseNet的網(wǎng)絡(luò)的基礎(chǔ)上，結(jié)合人臉表情識別的特點以及所使用的數(shù)據(jù)集，對網(wǎng)絡(luò)進(jìn)行了優(yōu)化，使其更加適合于人臉表情識別的應(yīng)用。DenseNet網(wǎng)絡(luò)由于其密集塊的設(shè)計理念，使得它能在每一個卷積層中都使用較少的濾波器，這樣網(wǎng)絡(luò)寬度收窄，需要的參數(shù)更少。由于網(wǎng)絡(luò)的每層都直接相互連接在一起，有效保證了特征信息和梯度在網(wǎng)絡(luò)中的傳播，極大地化解了網(wǎng)絡(luò)過深時出現(xiàn)的梯度消失問題。基于這種設(shè)計，模型能夠在提取表達(dá)能力更強的特征而加深網(wǎng)絡(luò)深度的同時，減少了參數(shù)的數(shù)量，從而加快運算速度。同時我們選擇Adam 優(yōu)化算法來代替原本的隨機梯度下降（SGD）算法。Adam 算法結(jié)合了Adagrad 算法中擅長于處理稀疏梯度和RMSprop 算法擅長于處理非平穩(wěn)目標(biāo)的優(yōu)點，此外Adam 算法對于大數(shù)據(jù)集以及較深的網(wǎng)絡(luò)也往往有著更優(yōu)異的表現(xiàn)且它對于內(nèi)存的需求也較小，符合降低模型應(yīng)用成本的需求目標(biāo)。該模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，各層參數(shù)見表1所示。

圖3 改進(jìn)的M-DenseNet網(wǎng)絡(luò)模型結(jié)構(gòu)

改進(jìn)的M-DenseNet網(wǎng)絡(luò)模型中，總層數(shù)為52層，輸入圖像首先通過一個標(biāo)準(zhǔn)的卷積層（Conv），再通過3 個密集塊（Dense Block），相鄰兩個Dense Block 之間增加一個過渡層（Transition Layer），最后使用全局平均池化（Global Average Pooling）[9]來代替?zhèn)鹘y(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的全連接層并使用softmax 激活函數(shù)對人臉面部表情圖像進(jìn)行分類。Conv 就是傳統(tǒng)的卷積層，用來提取圖像的特征。表中的每一個Conv 都符合BN-ReLU-Conv的結(jié)構(gòu)要求。批量歸一化（BN）[10]調(diào)整了數(shù)據(jù)的分布，使得每一層的輸出歸一化為均值為0方差為1的分布，這樣就保證了梯度的有效性，減輕了對參數(shù)初始化的依賴，使得訓(xùn)練更為快速有效。線性整流函數(shù)（ReLU）[11]作為非線性激活函數(shù)可以減少計算量，緩解梯度消失，減少參數(shù)的相互依賴，緩解過擬合等問題。同時為了進(jìn)一步防止過擬合，在每一個密集層（Dense Layer）后面都加上了丟棄單元（Dropout）[12]。我們給出的M-DenseNet網(wǎng)絡(luò)模型其增長率超參數(shù)K設(shè)置為12。Dense Block是由一系列Dense Layer連接而成，每一個Dense Layer 由一個1×1 的Conv 和一個3×3 的Conv 組成。過渡層由一個1×1 的Conv 和一個2×2 步長為2的平均池化（average pool）組成。

4 實驗

4.1 實驗數(shù)據(jù)集

實驗采用的是Fer2013灰度表情數(shù)據(jù)集[13]，F(xiàn)er2013數(shù)據(jù)集由35887 張人臉表情圖片組成，每張圖片均是大小為48×48像素的灰度圖像。一共有七種表情類型，分別對應(yīng)數(shù)字標(biāo)簽0～6，如表2所示。

表2 表情對應(yīng)的數(shù)字標(biāo)簽

4.2 實驗結(jié)果比對及分析

我們使用所設(shè)計的M-DenseNet 網(wǎng)絡(luò)模型和LeNet-5、VGG-16、ResNet-50、MobileNet 以及DenseNet-121 諸多網(wǎng)絡(luò)模型分別對Fer2013數(shù)據(jù)集進(jìn)行了比對測試。

從表3中可以看到，M-DenseNet網(wǎng)絡(luò)模型相對于其他網(wǎng)絡(luò)模型在有效降低了參數(shù)的同時，模型識別的準(zhǔn)確率也有所提高。

表3 各模型準(zhǔn)確率與參數(shù)數(shù)量表

M-DenseNet 模型是在DenseNet 模型的基礎(chǔ)上，降低了模型的深度和寬度，并在每一密集層（Dense Layer）后面添加一個臨時丟棄單元（Dropout）來防止過擬合，是專為人臉表情識別所設(shè)計的一種網(wǎng)絡(luò)結(jié)構(gòu)。

試驗中使用了Adam 優(yōu)化算法進(jìn)行優(yōu)化，選擇批量大小(batch_size)為8進(jìn)行訓(xùn)練，用softmax分類器進(jìn)行分類。初始化學(xué)習(xí)率選擇為0.001，當(dāng)學(xué)習(xí)輪數(shù)達(dá)到50輪時，將學(xué)習(xí)率為0.0001，丟棄率設(shè)置為0.2。

采用M-DenseNet 網(wǎng)絡(luò)模型的驗證集混淆矩陣如圖4 所示。

圖4 驗證集混淆矩陣

M-DenseNet 網(wǎng)絡(luò)模型的識別準(zhǔn)確率為70.45%，略高于人工情況下對該數(shù)據(jù)集65%±5%的平均準(zhǔn)確率，于其他模型相比，模型參數(shù)數(shù)量僅約為VGG-16 的1/50，ResNet 的1/80，MobileNet的1/11，識別準(zhǔn)確率有著明顯的提高。

M-DenseNet 網(wǎng)絡(luò)參數(shù)的大幅度減少得益于密集連接卷積的優(yōu)秀設(shè)計理念，它不強調(diào)卷積的維度，更重視將每一次得到的特征圖進(jìn)行復(fù)用，將每一層前一級的輸出作為當(dāng)前的輸入以此來縮短前后層之間的連接，實現(xiàn)最大化的信息流動，避免特征信息的丟失，成功解決了網(wǎng)絡(luò)深度加深時出現(xiàn)的梯度消失問題。Dense Block的設(shè)計使得網(wǎng)絡(luò)能夠使用較少的濾波器就能獲得足夠多的特征參數(shù)而不是像傳統(tǒng)的卷積網(wǎng)絡(luò)一樣動輒使用成百上千的濾波器，從而達(dá)到有效降低網(wǎng)絡(luò)參數(shù)數(shù)量的目的。

為了實現(xiàn)特征復(fù)用，密集連接卷積在跨層連接時選擇將特征維度串聯(lián)起來，而不是像傳統(tǒng)卷積那樣將特征元素相加。由于不需要進(jìn)行特征元素的相加，所以不需要在每個單元模塊的最后加一個1×1 的卷積來將特征層數(shù)升維到和輸入的特征維度一致。密集連接卷積一方面通過對模型深度的加深，獲得表達(dá)能力更強的特征，另一方面通過對特征的不斷復(fù)用，使得少量的濾波器就可以生成大量的特征，這樣模型就可以做到在整體參數(shù)數(shù)量較少的情況下，獲得更高的準(zhǔn)確率，使得運算時間也大大縮短。

5 結(jié)語

對于人臉表情識別，不應(yīng)片面追求預(yù)測的準(zhǔn)確率，還應(yīng)當(dāng)綜合考慮在實際應(yīng)用中的可行性。一般而言，神經(jīng)網(wǎng)絡(luò)的規(guī)模越大、深度越深往往會帶來更高的模型預(yù)測準(zhǔn)確率，但是隨著網(wǎng)絡(luò)層數(shù)的加深，網(wǎng)絡(luò)規(guī)模的擴(kuò)大，網(wǎng)絡(luò)中的參數(shù)往往會急劇增加，因此如何在加深網(wǎng)絡(luò)層次，保持較好的模型預(yù)測準(zhǔn)確率的同時還能夠保持較低的參數(shù)數(shù)量就成為一個亟待解決的文題。本文給出的M-DenseNet模型在保持相對較深的網(wǎng)絡(luò)深度（52 層）及較高預(yù)測準(zhǔn)確率的同時有效減少了模型的參數(shù)數(shù)量，大大提高了模型的參數(shù)利用率。