溫光照 徐詩(shī)楠 馬云鶴 王小波

（南京理工大學(xué)計(jì)算機(jī)與工程學(xué)院 南京 210094）

1 引言

神經(jīng)網(wǎng)絡(luò)算法一直是研究人臉表情識(shí)別有力的工具，但是基于浮點(diǎn)數(shù)乘法運(yùn)算的復(fù)雜神經(jīng)網(wǎng)絡(luò)模型如 VGG［1］和 Resnet［2］等，需要消耗大量的計(jì)算資源和內(nèi)存資源，嚴(yán)重阻礙了其在小型設(shè)備上的應(yīng)用，也使得人工智能普及到生活中的難度大大增加。而通過(guò)神經(jīng)網(wǎng)絡(luò)二值化，我們可以將原本的浮點(diǎn)數(shù)運(yùn)算，轉(zhuǎn)化更快的與或運(yùn)算。因此，二值化神經(jīng)網(wǎng)絡(luò)模型以其較高的模型壓縮率和較快的前向傳播計(jì)算速度，近幾年受到格外的重視和發(fā)展，成為神經(jīng)網(wǎng)絡(luò)模型研究中一個(gè)非常熱門(mén)的研究方向。

由于二值化神經(jīng)網(wǎng)絡(luò)模型精確度較低，識(shí)別率通常會(huì)低于一般基于浮點(diǎn)運(yùn)算的神經(jīng)網(wǎng)絡(luò)模型。本文提出了一種基于數(shù)據(jù)增強(qiáng)和二值化密集卷積神經(jīng)網(wǎng)絡(luò)的人臉表情識(shí)別算法，通過(guò)均值估計(jì)，使得二值化神經(jīng)網(wǎng)絡(luò)模型的識(shí)別率達(dá)到甚至超過(guò)部分基于浮點(diǎn)數(shù)運(yùn)算的卷積神經(jīng)網(wǎng)絡(luò)。

2 相關(guān)工作

2.1 數(shù)據(jù)增強(qiáng)

深度學(xué)習(xí)需要大量的數(shù)據(jù)支撐，數(shù)據(jù)量過(guò)少常常會(huì)造成過(guò)擬合等問(wèn)題，因而數(shù)據(jù)增強(qiáng)的概念被提出。數(shù)據(jù)增強(qiáng)有許多常用的方法，其核心在于對(duì)原圖片做裁剪、縮放、彩色變換、翻轉(zhuǎn)等操作，生成新的圖片數(shù)據(jù)集，以達(dá)到擴(kuò)充數(shù)據(jù)庫(kù)的工作。2012年Alex 等在論文ImageNet Classification with Deep Convolutional Neural Networks［3］中提出了一種數(shù)據(jù)增強(qiáng)方式，訓(xùn)練時(shí)對(duì)256*256 的圖片進(jìn)行隨機(jī)裁剪到224*224，然后允許水平翻轉(zhuǎn)，將原樣本數(shù)倍增到（256-224）2*2=2048，測(cè)試時(shí)對(duì)左上、右上、左下、右下、中央做5 次裁剪，然后翻轉(zhuǎn)，共10 張新圖，之后對(duì)10 張圖片的輸出結(jié)果做平均作為識(shí)別的最終結(jié)果。利用這種技巧和AlexNet，Alex 在ILSVRC 2012 競(jìng)賽中的top-5 識(shí)別錯(cuò)誤率降低到了15.3%，比上一年冠軍的識(shí)別錯(cuò)誤率降低了十幾個(gè)百分點(diǎn)，遠(yuǎn)超同年的第二名。

2.2 卷積網(wǎng)絡(luò)的基本原理

圖1 為卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖，其中，C 代表卷積層，P代表池化層，F(xiàn)代表全連接層。卷積神經(jīng)網(wǎng)絡(luò)的第一層是輸入層，其后是若干個(gè)卷積層和池化層，最后是連續(xù)的幾個(gè)全連接層。最后一個(gè)全連層連接輸出的單元數(shù)即為分類(lèi)數(shù)，該層也稱(chēng)為輸出層。而除了輸入和輸出層外的全部層都稱(chēng)為隱層，隱層之間存在一個(gè)規(guī)范化和激活操作，將運(yùn)算得到的結(jié)果通過(guò)相應(yīng)的規(guī)范化函數(shù)和激活函數(shù)輸出從而成為這一層的特征圖。下面有關(guān)于卷積層和池化層的詳細(xì)介紹。

2.2.1 卷積層

相比一般的全連接網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)通過(guò)局部連接和權(quán)值共享大大減少了計(jì)算一個(gè)特征值所需要的連接數(shù)，降低了計(jì)算的復(fù)雜性。在一個(gè)卷積層中，可學(xué)習(xí)的卷積核將上一層的特征圖進(jìn)行卷積，然后用一個(gè)規(guī)范化函數(shù)和激活函數(shù)得到一個(gè)對(duì)應(yīng)的特征圖，如式（1）所示：

2.2.2 池化層

在池化層中，通常采用最大池化層技術(shù)，獲得n*n區(qū)域內(nèi)的最大值作為池化的輸出。在卷積過(guò)程的前向傳播中，不僅要記錄該最大值，還要記錄該最大值所在輸入數(shù)據(jù)中的位置，以在反向傳播中把梯度值傳到對(duì)應(yīng)最大值所在的位置。

2.3 密集連接

Gao Huang 等于2017 年提出的密集連接網(wǎng)絡(luò)DenseNet［4］其核心是在保證網(wǎng)絡(luò)中層與層之間最大程度信息傳輸?shù)那疤嵯?，直接將所有層連接起來(lái)，即每一層的輸入都源自于之前所有層的輸出，表示為

其中 [x0，x1，…，xl-1]表示將 0 到 (l-1）層的輸出特征圖做連接，即將各層的通道合并，而H（）表示在通道合并之后做的規(guī)范化操作和非線性變換操作。

DenseNet這樣的處理，使得密集連接可以減輕網(wǎng)絡(luò)傳播過(guò)程中梯度消失的問(wèn)題，更加有效地利用提取出來(lái)的特征值。同時(shí)更寬而不是更深的網(wǎng)絡(luò)結(jié)構(gòu)，也將在一定程度上減少我們所需要訓(xùn)練的參數(shù)數(shù)量，在保證網(wǎng)絡(luò)良好擬合性的情況下，減小訓(xùn)練的復(fù)雜度，加快訓(xùn)練的速度。

2.4 二值化

在神經(jīng)網(wǎng)絡(luò)權(quán)重和激活函數(shù)的二值化方面，本文參考了以下文獻(xiàn)提供的方法。

Expectation Backpropagation（EBP）［6］是一種在訓(xùn)練過(guò)程中利用真實(shí)權(quán)重值+二值化激活函數(shù)，在測(cè)試過(guò)程中利用二值化權(quán)重值+二值化激活值的二值化神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法。

Binary Connect［7］是另一種訓(xùn)練二值化權(quán)重值和激活值的神經(jīng)網(wǎng)絡(luò)算法，其在訓(xùn)練過(guò)程中利用二值化權(quán)重+真實(shí)權(quán)重+真實(shí)激活值，在測(cè)試過(guò)程中利用二值化權(quán)值+真實(shí)激活函數(shù)。

受到以上兩種訓(xùn)練方式的啟發(fā)，Bengio 組的Binarized Neural Networks（BNNs）［5］提出了一種訓(xùn)練和測(cè)試過(guò)程中都使用二值化權(quán)重值和二值化激活值的二值化神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法。2017 年，Sun 等基于該二值化方法，提出了基于多層連接的稠密局部二值模式（MDLBP）和二值自動(dòng)編碼器（BAE）的二值化全連接神經(jīng)網(wǎng)絡(luò)算法［8］，并引入殘差。在保留BNN 快速收斂的特性的同時(shí)，在自然人臉庫(kù)上接近甚至超過(guò)一些傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率。而本文的二值化訓(xùn)練算法也是在BNNs訓(xùn)練算法上做的一個(gè)擴(kuò)展。

BNNs 的核心是權(quán)值和激活值都被限制在+1和-1 之間，這樣原本繁雜的浮點(diǎn)數(shù)運(yùn)算就可以被簡(jiǎn)單的與或運(yùn)算代替，大大提高了網(wǎng)絡(luò)前向傳播的速度。而在最后全連接層中，定義al，Wl，bl分別為第l層的激活值，權(quán)重值和偏置參數(shù)，L為網(wǎng)絡(luò)的總層數(shù)，則有：

其中：

根據(jù)網(wǎng)絡(luò)最后一層的輸出，定義最終的損失函數(shù)為

其中k是aL的維度，也就是對(duì)應(yīng)的分類(lèi)數(shù)，y 是采用-1 和+1 的one-hot 形式表示的二值化標(biāo)簽向量。如果輸出值和預(yù)期的標(biāo)簽值相同，就有也就有對(duì)應(yīng)的損失函值為0，即模型完全擬合。

假設(shè)第i 次的訓(xùn)練樣本為(xi，yi)，那么就把BNNs的訓(xùn)練問(wèn)題歸結(jié)為

保留二值化權(quán)值和真實(shí)權(quán)值是本網(wǎng)絡(luò)訓(xùn)練的核心，當(dāng)網(wǎng)絡(luò)進(jìn)行更新的時(shí)候，我們更新真實(shí)的權(quán)值，而網(wǎng)絡(luò)的前向傳播和后向傳播時(shí)利用的是我們二值化的權(quán)值。

3 主要方法

3.1 基于五圖連接的數(shù)據(jù)增強(qiáng)

在吸取2.1 章節(jié)中數(shù)據(jù)增強(qiáng)的經(jīng)驗(yàn)后，我們也采用裁剪的方式來(lái)對(duì)原數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)增強(qiáng)，如圖2所示。在訓(xùn)練集和測(cè)試集上同時(shí)將原48*48的灰度人臉表情圖，分別從左上，右上，左下，右下和中央截取五張42*42 的人臉表情圖做連接，生成增強(qiáng)后的表情數(shù)據(jù)庫(kù)?？梢园l(fā)現(xiàn)該尺度的裁剪只是將人臉的中心做了一個(gè)偏移，并未丟失人臉表情信息。從人眼的角度，仍然可以清晰地看出圖片對(duì)應(yīng)的表情。

圖2 人臉圖片五裁剪

3.2 網(wǎng)絡(luò)的輸入部分的處理

根據(jù)像素值直接對(duì)原圖做一般的二值化處理可能會(huì)丟失大量的圖片細(xì)節(jié)，從而降低表情的識(shí)別率，所以我們的模型的輸入部分選擇了對(duì)圖片做［-1，1］區(qū)間的歸一化處理而非簡(jiǎn)單的二值化，對(duì)應(yīng)有如下表達(dá)式：

雖然圖片的輸入部分是非二值化的，但是激活之后每一層的卷積部分間傳遞的參數(shù)都是二值化的，而在我們提出的網(wǎng)絡(luò)中網(wǎng)絡(luò)第一層的特征值連接數(shù)是最少的，因而對(duì)整個(gè)二值化神經(jīng)網(wǎng)絡(luò)沒(méi)有很大的影響。

3.3 二值化密集卷積神經(jīng)網(wǎng)絡(luò)

在2.3 章節(jié)和2.4 章節(jié)中提到的密集連接和二值化神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，提出了一種輕量級(jí)的密集二值化卷積神經(jīng)網(wǎng)絡(luò)。如圖3 所示是我們采用的密集連接后單個(gè)Dense Block的結(jié)構(gòu)圖。

圖3 Dense Block結(jié)構(gòu)圖

和DenseNet 相同的是由多個(gè)Dense Block 串接構(gòu)成的網(wǎng)絡(luò)結(jié)構(gòu)，但是相比DenseNet 我們的Block更小，我們的Dense Block 僅有兩層卷積層，在Block內(nèi)第二層的輸出來(lái)源于第一層的和本層輸出的連接。本文采用的規(guī)范化方式是Google 小組在2015 年時(shí)提出的 BatchNormlization［9］，即使數(shù)據(jù)做均值為0，方差為一的歸一化，以加快網(wǎng)絡(luò)訓(xùn)練速度，減小權(quán)重值的尺度的影響，同時(shí)也有模型正則化的作用。非線性化過(guò)程就是對(duì)模型進(jìn)行二值化的過(guò)程，二值化手段和2.4 章節(jié)中提到的二值化手段相同，除了最后一層以外，每層卷積或全連接操作后，都對(duì)采用規(guī)范化后的參數(shù)做二值化操作，采用二值化傳遞參數(shù)，同時(shí)保留非二值化參數(shù)用作更新處理。相比DenseNet，我們消除了1×1 的卷積層，一方面是我們網(wǎng)絡(luò)并沒(méi)有那么深，另一方面1×1 的卷積層對(duì)于二值化神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)意義并不是很大。同時(shí)我們的Block之間的卷積層的通道數(shù)是隨著B(niǎo)lock 加深而遞增的，這樣做可以減少我們提取的特征數(shù)的下降速度，從而在一定程度上更加細(xì)致的提取人臉表情特征。按照上述結(jié)構(gòu)根據(jù)卷積的Block數(shù)，可以構(gòu)建表1中的幾個(gè)網(wǎng)絡(luò)。

表1 二值化密集神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

3.4 網(wǎng)絡(luò)的輸出部分的處理

在本文網(wǎng)絡(luò)的輸出部分中，將五張來(lái)自相同原像的人臉圖片的輸出值做平均，作為對(duì)應(yīng)的原圖片的表情輸出。

假設(shè)本文的算法完全正確，那么五張圖片的最終的輸出一定是相同的，即五張圖的平均值一定也就是對(duì)應(yīng)原來(lái)的人臉表情。但是目前對(duì)于人臉表情的結(jié)果仍然無(wú)法保證絕對(duì)正確，因此，在網(wǎng)絡(luò)模型中，人臉位置的空間的特性對(duì)人臉表情識(shí)別的結(jié)果的影響仍然存在。尤其是在二值化過(guò)程中，利用一個(gè)小型的二值化模型去擬合表情識(shí)別模型必然有一定的偏差。

但是同樣的有理由相信本文的模型具有較好的擬合能力，能大概率消除表情識(shí)別中的空間特性的影響，那么的話，我們可以認(rèn)為五圖中存在的是小概率的偏差，也就意味著，如果通過(guò)五圖識(shí)別結(jié)果的均值作為圖片的輸出結(jié)果，可以利用大概率的正確在一定程度上糾正小概率的偏差，從而使人臉表情識(shí)別的結(jié)果為大概率正確的結(jié)果，進(jìn)而一定程度上提高人臉表情識(shí)別的識(shí)別率。

3.5 算法流程

算法流程圖如圖4所示。

圖4 算法流程

4 實(shí)驗(yàn)部分

4.1 人臉數(shù)據(jù)集——FER2013

FER2013 數(shù)據(jù)集由面部48*48 像素的灰度圖像組成，面部已經(jīng)定位并居中。目前，在該數(shù)據(jù)集上人肉眼能夠達(dá)到的識(shí)別率在65±5%［10］。該數(shù)據(jù)集中訓(xùn)練集包含28709個(gè)示例，驗(yàn)證集包含3589個(gè)示例，測(cè)試集包括3589 個(gè)示例。其人臉表情標(biāo)簽為憤怒、厭惡、害怕、高興、悲傷、驚訝、中性7 個(gè)分類(lèi)，訓(xùn)練集具體樣本分布如表2所示。

4.2 實(shí)驗(yàn)環(huán)境配置

硬件配置：Intel i7-4790k，主頻 4.0GHz，16G 內(nèi)存，NVIDIA GTX1060 6GB。

軟件配置：Ubuntu 16.04，Cuda 8.0 GPU 并行計(jì)算庫(kù)，Theano深度學(xué)習(xí)框架。

4.3 實(shí)驗(yàn)結(jié)果的對(duì)比分析

本實(shí)驗(yàn)主要在FER2013 人臉數(shù)據(jù)集上進(jìn)行。首先，根據(jù)表1 中提出的幾個(gè)不同Block 數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)做了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3 所示?？梢园l(fā)現(xiàn)深層的網(wǎng)絡(luò)BDNN4達(dá)到較好的效果。

表3 在FER2013上不同網(wǎng)絡(luò)結(jié)構(gòu)的對(duì)比試驗(yàn)

同時(shí)為了測(cè)試五圖均值驗(yàn)證的有效性，利用BDNN4 基本結(jié)構(gòu)框架，在FER2013 的數(shù)據(jù)上，控制變量分別做了如下兩個(gè)對(duì)比實(shí)驗(yàn)，一個(gè)是在BDNN4 的基礎(chǔ)上消除了密集連接部分，表示為CBNN4，另一個(gè)是在BDNN4 實(shí)驗(yàn)的基礎(chǔ)上消除了五圖均值驗(yàn)證的部分，實(shí)驗(yàn)結(jié)果如表4所示。

表4 五圖驗(yàn)證和密集連接的有效性對(duì)比試驗(yàn)

根據(jù)實(shí)驗(yàn)的數(shù)據(jù)來(lái)看，在FER2013 的數(shù)據(jù)庫(kù)上，相同的網(wǎng)絡(luò)模型之下，采用數(shù)據(jù)增強(qiáng)的實(shí)驗(yàn)結(jié)果比起不采用數(shù)據(jù)增強(qiáng)的實(shí)驗(yàn)結(jié)果提高了將近5%，這也就證明了我們假設(shè)的正確性。也就是說(shuō)，五圖均值驗(yàn)證能夠利用大概率的正確性消除一部分小概率的錯(cuò)誤，從而達(dá)到提高表情識(shí)別準(zhǔn)確率的目的，其中二值化網(wǎng)絡(luò)中是相當(dāng)有效的。

而小段的密集連接也一定程度上提高了超過(guò)1%的表情的識(shí)別率，也說(shuō)明了小型的密集連接在我們模型中的有效性。

同時(shí)也查看了近兩年國(guó)內(nèi)發(fā)表深度學(xué)習(xí)的論文中對(duì)FER2013的識(shí)別率，如表5所示。

表5 近年發(fā)表的國(guó)內(nèi)論文中對(duì)FER2013的識(shí)別率

可以發(fā)現(xiàn)相較于部分非二值化的卷積神經(jīng)網(wǎng)絡(luò)，我們的二值化密集卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別率甚至有所提升，證明了我們的二值化密集卷積神經(jīng)網(wǎng)絡(luò)能擁有著不亞于一般基于浮點(diǎn)數(shù)運(yùn)算的卷積神經(jīng)網(wǎng)絡(luò)的擬合能力，而比起程曦的深度卷積神經(jīng)網(wǎng)絡(luò)，我們的偏差不到0.5%，但是我們的網(wǎng)絡(luò)模型是基于二值化的神經(jīng)網(wǎng)絡(luò)模型，網(wǎng)絡(luò)參數(shù)的傳遞過(guò)程中可以通過(guò)與或運(yùn)算來(lái)代替一般浮點(diǎn)數(shù)乘積運(yùn)算，在網(wǎng)絡(luò)的計(jì)算速度和對(duì)內(nèi)存資源的需求上有著的巨大的優(yōu)勢(shì)。

5 結(jié)語(yǔ)

本文中，在將二值化加入到卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，為了增強(qiáng)網(wǎng)絡(luò)的擬合能力，引入了小型的密集連接，同時(shí)提出了通過(guò)裁剪五圖，即從一張?jiān)瓐D中裁剪出五張略有不同的圖像，起到了數(shù)據(jù)增強(qiáng)的目的。此外，我們認(rèn)為人臉圖片在空間位置晃動(dòng)的時(shí)候，仍能大概率地被我們的人臉表情模型所識(shí)別，這樣就可以通過(guò)五張?jiān)裣嗤瑘D片的輸出結(jié)果的均值作為表情輸出的結(jié)果，以大概率的正確值去糾正小概率的錯(cuò)誤，從而提高表情的識(shí)別率。實(shí)驗(yàn)結(jié)果也驗(yàn)證該方法的有效性，在FER2013的數(shù)據(jù)庫(kù)上達(dá)到了66.15%的識(shí)別率，使我們的二值化卷積神經(jīng)網(wǎng)絡(luò)有著不弱于甚至強(qiáng)于傳統(tǒng)非二值化卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別效果。而二值化神經(jīng)網(wǎng)絡(luò)的運(yùn)算過(guò)程可以用與或運(yùn)算來(lái)代替繁雜的浮點(diǎn)數(shù)運(yùn)算，大大降低了運(yùn)算對(duì)計(jì)算和存儲(chǔ)資源的需求。