鐘明靜，盧涵宇*，李丹楊，張濤，侯汝沖，胡正江

(1.貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院， 貴州 貴陽 550025；2.貴州力創(chuàng)科技發(fā)展有限公司， 貴州 貴陽 550018)

0 引言

目前，深度學(xué)習(xí)逐漸應(yīng)用于各種場景，如語音識別、自動機(jī)器翻譯、自動駕駛汽車、拍照識別等,這些都是當(dāng)前人們在人工智能發(fā)展方面的成果[1-15]。然而，很多新興課題的出現(xiàn)并不能第一時間使用特有的深度學(xué)習(xí)模型訓(xùn)練，這時，遷移學(xué)習(xí)就相對有參考價值?？蓮乃膫€方面展開遷移：樣本數(shù)據(jù)，知識結(jié)構(gòu)，完成或改進(jìn)的目標(biāo)領(lǐng)域，完成任務(wù)的學(xué)習(xí)效果。如今，遷移學(xué)習(xí)的應(yīng)用領(lǐng)域越來越廣泛，有自然語言處理、計(jì)算機(jī)視覺、醫(yī)療健康和生物信息學(xué)、從模擬中學(xué)習(xí)、用戶評價、推薦系統(tǒng)和個性化對話等[1]。

遷移學(xué)習(xí)(transfer learning, TL)就由此被提出，TL的初衷是節(jié)省人工標(biāo)注樣本的時間，讓模型可以通過已有的標(biāo)記數(shù)據(jù)向未標(biāo)記數(shù)據(jù)遷移。表現(xiàn)得比較好的監(jiān)督學(xué)習(xí)需要大量的標(biāo)注數(shù)據(jù)，而標(biāo)注數(shù)據(jù)對于人類來說是一項(xiàng)費(fèi)時費(fèi)力的巨大任務(wù)，如劉健[2]用Inception結(jié)構(gòu)遷移到Fer2013數(shù)據(jù)庫訓(xùn)練，提出雙激活層網(wǎng)絡(luò)結(jié)構(gòu)獲得了61.59 %的分類效果;丁劍飛[3]結(jié)合SVM分類器計(jì)算特征得分情況，再運(yùn)用遷移MobileNets網(wǎng)絡(luò)庫迭代800次時，準(zhǔn)確率達(dá)到93.86 %；王瑞瓊[4]將InceptionV3遷移模型訓(xùn)練CK+數(shù)據(jù)庫并進(jìn)行微調(diào)，訓(xùn)練效果得到提升。

筆者提出了一種基于遷移學(xué)習(xí)的深度學(xué)習(xí)模型，利用幾種新模型遷移到表情識別的訓(xùn)練中，并與搭建的一個三層卷積層的神經(jīng)網(wǎng)絡(luò)進(jìn)行對比，通過大量的訓(xùn)練實(shí)驗(yàn)對比四種模型，仿真實(shí)驗(yàn)表明，筆者提出的模型應(yīng)用于人臉表情識別，識別率在本文的表情數(shù)據(jù)庫上取得較好的遷移學(xué)習(xí)效果。

1 遷移學(xué)習(xí)

1.1 遷移學(xué)習(xí)要素

遷移學(xué)習(xí)的三要素包括網(wǎng)絡(luò)模型、訓(xùn)練數(shù)據(jù)及訓(xùn)練算法。首先選擇網(wǎng)絡(luò)模型，這也是遷移學(xué)習(xí)的要點(diǎn)，確定好預(yù)訓(xùn)練網(wǎng)絡(luò)模型后，對網(wǎng)絡(luò)模型的層次、結(jié)構(gòu)熟悉后將其進(jìn)行修改；其次，需要大量的帶標(biāo)簽的數(shù)據(jù)，這在機(jī)器學(xué)習(xí)中稱為有監(jiān)督學(xué)習(xí)，網(wǎng)絡(luò)將從具有已知正確標(biāo)簽的實(shí)例中學(xué)習(xí)；最后，需要指定一組訓(xùn)練選項(xiàng)，訓(xùn)練時要應(yīng)用一種損失函數(shù)算法以迭代方式提高網(wǎng)絡(luò)正確識別訓(xùn)練圖像的能力，該算法可以使用許多參數(shù)進(jìn)行微調(diào)，例如每個步驟使用多少訓(xùn)練圖像、最大的迭代次數(shù)以及學(xué)習(xí)率(新的迭代更新網(wǎng)絡(luò)參數(shù)的幅度大小)等參數(shù)。

對于要進(jìn)行遷移學(xué)習(xí)的表情數(shù)據(jù)，目標(biāo)是將現(xiàn)有預(yù)訓(xùn)練網(wǎng)絡(luò)進(jìn)行微調(diào)，遷移學(xué)習(xí)微調(diào)的方式是以一個在大量數(shù)據(jù)集上訓(xùn)練好的網(wǎng)絡(luò)參數(shù)作為自己網(wǎng)絡(luò)參數(shù)的初始化參數(shù)進(jìn)行訓(xùn)練。一旦具備遷移學(xué)習(xí)的三個要素，遷移學(xué)習(xí)的訓(xùn)練就可以執(zhí)行。

1.2 基于深度學(xué)習(xí)的遷移學(xué)習(xí)

隨著深度學(xué)習(xí)迅速發(fā)展，人們將遷移學(xué)習(xí)與深度學(xué)習(xí)相結(jié)合，對于兩個相同領(lǐng)域中的不同問題，在深度神經(jīng)網(wǎng)絡(luò)模型中具有可遷移能力。YOSINSKI等[5]提出了在深度神經(jīng)網(wǎng)絡(luò)上的特征是可以遷移的，因?yàn)樯窠?jīng)網(wǎng)絡(luò)是一個通過預(yù)訓(xùn)練獲得數(shù)據(jù)的分層特征表達(dá)，在模型低層描述的特征是邊緣信息、顏色信息等，再利用高層語義分類的模型，對于不同的分類任務(wù)實(shí)際上提取的特征是一樣的，真正區(qū)別在于深層特征。

對于深度學(xué)習(xí)的遷移學(xué)習(xí)方法，首先通過源任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練得到參數(shù)后，再開始訓(xùn)練出對新任務(wù)的網(wǎng)絡(luò)模型。以此方法不必重新設(shè)計(jì)或訓(xùn)練新網(wǎng)絡(luò)就可以構(gòu)成新的學(xué)習(xí)系統(tǒng)，因?yàn)樵谄浠A(chǔ)上進(jìn)行了參數(shù)與知識的遷移。

遷移學(xué)習(xí)實(shí)現(xiàn)了卷積層提取的具有共性特征的遷移，還能學(xué)習(xí)到與源領(lǐng)域無關(guān)的特征，而深度學(xué)習(xí)具有很強(qiáng)的數(shù)據(jù)擬合能力，能學(xué)習(xí)到深層的特征表達(dá)。如果將深度學(xué)習(xí)與遷移學(xué)習(xí)結(jié)合，也就是深度學(xué)習(xí)利用源領(lǐng)域的知識，可充分學(xué)習(xí)其共有的特征表示，這樣既發(fā)揮了兩者的優(yōu)勢，又可以獲得更好的期望效果。

2 基于遷移學(xué)習(xí)的表情識別訓(xùn)練模型

在表情識別中，并不能直接用較新網(wǎng)絡(luò)模型進(jìn)行分類，因?yàn)槠鋱D像識別中的類別與表情識別的類別不同，這就要求對網(wǎng)絡(luò)模型進(jìn)行修改來滿足表情識別的需求，并基于人臉表情的圖像對它進(jìn)行訓(xùn)練，這種采用預(yù)訓(xùn)練網(wǎng)絡(luò)對其進(jìn)行修改,并基于新數(shù)據(jù)對其進(jìn)行重新訓(xùn)練的過程稱為表情識別的遷移學(xué)習(xí)。

筆者主要探索三種較新的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，即ResNet18、ResNet50和MobileNetv2，下面分別對這三種模型進(jìn)行介紹。

2.1 ResNet模型

殘差網(wǎng)絡(luò)是何凱明團(tuán)隊(duì)在2015年提出的思想，與Highway Network的思路比較類似，都是將一些原始輸入信息直接傳輸?shù)较乱粚覽6]。

ResNet模型通過改變學(xué)習(xí)目標(biāo)，即不再學(xué)習(xí)完整的輸出F(x)，而是學(xué)習(xí)殘差H(x)-x，這種思想解決了信息在傳遞過程中存在的丟失、損耗等問題。信息直接從輸入到輸出，一定程度上保護(hù)了信息的完整性。ResNet有很多種網(wǎng)絡(luò)結(jié)構(gòu)，以“ResNet+數(shù)字”的形式命名，如網(wǎng)絡(luò)的深度是18層，命名為“ResNet18”，網(wǎng)絡(luò)的深度是50層，命名為“ResNet50”。網(wǎng)絡(luò)的深度并不是所有層數(shù)加起來的層數(shù)，而是包括卷積層和全連接層加起來的層數(shù)，不包括池化等層數(shù)。如表1所示，展示了ResNet18和ResNet50層的輸出大小。

表1 ResNet18、ResNet50層的結(jié)構(gòu)展示Tab.1 ResNet18, ResNet50 layer structure display

根據(jù)表1可知，ResNet18與ResNet50可以將整個殘差網(wǎng)絡(luò)的主體部分分為4塊：conv2_x，conv3_x，conv4_x，conv5_x。在兩種結(jié)構(gòu)中，conv2_x都沒有改變輸入大小(feature map)，而conv3_x，conv4_x，conv5_x均對feature map縮小兩倍。

2.2 MobileNetv2模型

在2017年，Google推出了輕量化卷積網(wǎng)絡(luò)模型“MobileNets”，是基于 TensorFlow 的計(jì)算機(jī)視覺系列之一，功能是能夠?yàn)楫?dāng)前較流行的移動應(yīng)用程序提供圖像分析。當(dāng)前，已經(jīng)推出3個版本，即MobileNetv1、MobileNetv2和MobileNetv3。在這種架構(gòu)上，一直定期進(jìn)行更新力求做到兩個基本目標(biāo)：參數(shù)數(shù)量更少和運(yùn)算復(fù)雜度更少的模型。將MobileNetv2與ResNet相比較，區(qū)別主要有以下四點(diǎn)：

① 深度可分離卷積

就神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)而言，深度可分離卷積[7]將卷積核分成兩個單獨(dú)的卷積核，先作深度卷積，可理解為對于深度卷積網(wǎng)絡(luò)的每個輸入信息都使用了單獨(dú)的濾波器，這兩個卷積核依次進(jìn)行兩個卷積，而后進(jìn)行逐點(diǎn)卷積，將1×1卷積網(wǎng)絡(luò)合并深度卷積的輸出，成為一組新輸出，如圖1所示。

圖1 深度可分離卷積過程Fig.1 Deep separable convolution process

② 線性瓶頸

MobileNetv2與ResNet架構(gòu)結(jié)構(gòu)對比，如圖2所示。MobileNetv2的結(jié)構(gòu)是先對輸入圖像進(jìn)行升維，在Depthwise Convolution之前添加1×1卷積提高輸入數(shù)據(jù)的維度，這樣在高維空間中提取深層特征，再降維后通過一個激活函數(shù)。在低維空間中使用1×1卷積后的激活函數(shù)會破壞非線性結(jié)構(gòu)的輸出，為了保持輸出的完整性，使用線性激活函數(shù)來保持輸出后的特征，這種方式就叫線性瓶頸?？芍€性瓶頸的作用是對模型的中間輸入和輸出進(jìn)行編碼，且保證了輸出特征的準(zhǔn)確性和完整性。

③ 反轉(zhuǎn)殘差塊

反轉(zhuǎn)殘差塊如圖2(a)，是將低維特征使用1×1 conv升維，而后使用3×3 conv進(jìn)行深度分解卷積，并使用1×1 conv對特征再降維，得到本層特征的輸出，并進(jìn)行element wise的相加。反轉(zhuǎn)殘差塊是相對于MobileNetv1的改進(jìn)，傳統(tǒng)的殘差塊如圖2(b)，將高維特征先使用1×1 conv降維，然后在使用3×3 conv進(jìn)行濾波，并使用1×1 conv進(jìn)行升維，這些卷積操作后均經(jīng)過激活函數(shù)，得到輸出特征(下一層的輸入)，并進(jìn)行點(diǎn)積(element wise)操作。

(a) 反轉(zhuǎn)殘差塊

④ 快捷連接

瓶頸之間的快捷連接的方式使得前向傳播時提供特征復(fù)用，能夠?qū)崿F(xiàn)更快的訓(xùn)練速度和更高的準(zhǔn)確性。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)庫簡介

本文實(shí)驗(yàn)用的數(shù)據(jù)集是選用了自然狀態(tài)下Wild的FER2013數(shù)據(jù)庫，部分表情圖如圖3所示。2013年Fer2013從充滿挑戰(zhàn)性的真實(shí)世界場景中收集了十分充足的訓(xùn)練數(shù)據(jù)，推動了FER技術(shù)從實(shí)驗(yàn)室走向真實(shí)場景。

圖3 FER2013部分表情圖展示Fig.3 FER2013 part of the emoticon display

該數(shù)據(jù)集規(guī)模較大，由48×48像素大小的人臉灰度圖構(gòu)成，與JAFFE同樣分為七個表情類別，共有35 887張表情圖片，其中訓(xùn)練樣本28 709張，驗(yàn)證樣本和測試樣本均為3 589張，數(shù)字“0～6”分別代表生氣(anger)，厭惡(disgust)，恐懼(fear)，開心(happy)，傷心(sad)，驚訝(surprised)，中性(normal)。由于此數(shù)據(jù)庫存在錯誤的標(biāo)簽，所以樣本圖質(zhì)量不高且類別樣本數(shù)量差異較大，使得此數(shù)據(jù)庫在表情識別領(lǐng)域中的識別率并不高。

3.2 不同模型的實(shí)驗(yàn)結(jié)果對比分析

筆者將本文搭建的CNN網(wǎng)絡(luò)模型、基于遷移學(xué)習(xí)的ResNet18、ResNet50、MobileNetv2網(wǎng)絡(luò)模型進(jìn)行表情訓(xùn)練。

① 三種遷移網(wǎng)絡(luò)的訓(xùn)練結(jié)果與分析

利用文獻(xiàn)[6]提出的訓(xùn)練網(wǎng)絡(luò)對Fer2013進(jìn)行表情訓(xùn)練，由于本文選擇的三種網(wǎng)絡(luò)的源目標(biāo)是應(yīng)用于1 000個類別中的100萬個圖像。如果要進(jìn)行遷移網(wǎng)絡(luò)學(xué)習(xí)，對于Fer2013數(shù)據(jù)不能直接進(jìn)行訓(xùn)練，必須進(jìn)行微調(diào)。

進(jìn)入遷移網(wǎng)絡(luò)之前，先對原始圖片處理成像素大小為224×224的圖片，將所有圖片數(shù)據(jù)經(jīng)過預(yù)處理分成7個類別，送入圖像輸入層。訓(xùn)練網(wǎng)絡(luò)與遷移網(wǎng)絡(luò)的特征提取行為相同，只是還沒有將特征映射到表情圖像類的訓(xùn)練，當(dāng)使用Fer2013新數(shù)據(jù)進(jìn)行訓(xùn)練時，網(wǎng)絡(luò)將學(xué)習(xí)建立該映射，并對特征提取進(jìn)行優(yōu)化，使其更適合表情識別的應(yīng)用。在ResNet18、ResNet50和MobileNetv2三種訓(xùn)練網(wǎng)絡(luò)中，通過微調(diào)編譯適宜本數(shù)據(jù)庫的網(wǎng)絡(luò)，三種網(wǎng)絡(luò)訓(xùn)練結(jié)果如表2所示。

表2 三種網(wǎng)絡(luò)訓(xùn)練識別率比較Tab.2 Comparison of three network training recognition rates

每種網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果是經(jīng)過20次的訓(xùn)練得出的平均識別率，從表2可以得出MobileNetv2層的平均識別率最高，ResNet50層的最低。準(zhǔn)確度只是評估的一方面，進(jìn)一步地分析三種訓(xùn)練網(wǎng)絡(luò)的損失值，判斷網(wǎng)絡(luò)的魯棒性和識別性能，具體見圖4。

(a) ResNet18

當(dāng)執(zhí)行訓(xùn)練時，會顯示訓(xùn)練進(jìn)度，準(zhǔn)確度是網(wǎng)絡(luò)分類正確的訓(xùn)練圖像所占的百分比，準(zhǔn)確度在訓(xùn)練過程中不斷成長，但是準(zhǔn)確度其實(shí)并不能衡量網(wǎng)絡(luò)對每個預(yù)測的可信度。損失值是另一個指標(biāo)，用來衡量網(wǎng)絡(luò)在對整個訓(xùn)練圖像集進(jìn)行預(yù)測時與正確標(biāo)簽的差距，隨著訓(xùn)練的進(jìn)行，損失值應(yīng)該逐漸降低至0，當(dāng)損失值繼續(xù)下降時，準(zhǔn)確度穩(wěn)定在其最大值，這表示即使最終預(yù)測不變，網(wǎng)絡(luò)在區(qū)分類別方面的性能也越來越好。從圖4可見，經(jīng)過30次迭代，隨著訓(xùn)練損失值在不斷地降低，測試損失值也在降低，說明網(wǎng)絡(luò)能夠收斂，隨后三種網(wǎng)絡(luò)均有回升的跡象，ResNet50的損失值回升最顯著，分析其根本原因是網(wǎng)絡(luò)過于擬合。造成過于擬合的原因可能是特征維度過多，模型過于復(fù)雜，導(dǎo)致參數(shù)過多，同時訓(xùn)練數(shù)據(jù)相對過少，使得ResNet50沒有ResNet18效果好。

除了上述提到的三種訓(xùn)練結(jié)構(gòu)，本文還搭建了一種簡單的CNN網(wǎng)絡(luò)，該結(jié)構(gòu)由三個卷積層后都接了池化層和一個全連接層組成，每一卷積層和全連接層均使用了Relu作為激活層。對比四種訓(xùn)練網(wǎng)絡(luò)的表情識別類別，如表3所示。

表3 四種訓(xùn)練網(wǎng)絡(luò)表情類別識別率對比Tab.3 Comparison of recognition rates of four training network expression categories

② 實(shí)驗(yàn)結(jié)果分析

對四種網(wǎng)絡(luò)相比較，可以看出通過遷移的網(wǎng)絡(luò)對表情的訓(xùn)練比本文搭建的CNN網(wǎng)絡(luò)效果更好，且對于三種遷移的網(wǎng)絡(luò)來看，雖然ResNet50的復(fù)雜度比ResNet18要高，理論上來說復(fù)雜度高的訓(xùn)練效果更好，但是由于訓(xùn)練數(shù)據(jù)沒有足夠多，且存在表情類別不平衡的情況，使得Fer2013的訓(xùn)練效果沒有預(yù)想中的好，反而ResNet18和MobileNetv2兩種訓(xùn)練效果更好；對于表3的表情類別識別率來看，不同的網(wǎng)絡(luò)區(qū)分類別的能力也有不同，如MobileNetv2識別厭惡表情的能力高于前三種網(wǎng)絡(luò)，ResNet18區(qū)分驚訝表情的能力也比其他三種網(wǎng)絡(luò)更突出。

3.3 不同參數(shù)與模型的結(jié)果分析

通常在開始訓(xùn)練網(wǎng)絡(luò)時，得到的結(jié)果并不理想，想要提高其性能可以從遷移學(xué)習(xí)三要素中的輸入項(xiàng)著手改進(jìn)，即研究訓(xùn)練算法選項(xiàng)的改變是否能得到更好的性能。訓(xùn)練算法中的參數(shù)有學(xué)習(xí)率、優(yōu)化算法、迭代次數(shù)和小批量設(shè)計(jì)等，依此對其進(jìn)行分析。為此，可以通過不同參數(shù)的對比來探究其對模型的影響。

① 學(xué)習(xí)率、迭代次數(shù)及小批量設(shè)計(jì)對模型的結(jié)果影響

學(xué)習(xí)率是影響訓(xùn)練算法如何更新權(quán)重的關(guān)鍵參數(shù)，因?yàn)橛?xùn)練目標(biāo)是使損失函數(shù)最小。損失函數(shù)用于衡量網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)上的表現(xiàn)，梯度下降算法的工作原理是觀察當(dāng)前位置范圍幾個權(quán)重的損失值，并利用它們計(jì)算出斜率，即可得到一組新的權(quán)重值。在每次迭代中，網(wǎng)絡(luò)都會使用訓(xùn)練圖像的一個子集來更新權(quán)重，這個子集稱為小批量(Batchsize)。每次迭代都采用不同的小批量，如果整個訓(xùn)練集都被使用過了，則稱為完成了一輪訓(xùn)練。表4展示了學(xué)習(xí)率、迭代次數(shù)和小批量設(shè)計(jì)對模型的結(jié)果影響。

表4 學(xué)習(xí)率、迭代次數(shù)和小批量對模型結(jié)果的影響Tab.4 The influence of learning rate, number of iterations and small batches on experimental results

從學(xué)習(xí)率來看，三種網(wǎng)絡(luò)都表現(xiàn)出學(xué)習(xí)率更小的效果就越好；從迭代次數(shù)來看，次數(shù)增加對于不同網(wǎng)絡(luò)表現(xiàn)出不同的結(jié)果，網(wǎng)絡(luò)模型復(fù)雜的迭代次數(shù)增加，準(zhǔn)確率反而降低，而相對簡單的模型隨著迭代次數(shù)增加，準(zhǔn)確率升高1 %～3 %；從驗(yàn)證頻率來看，無論哪種網(wǎng)絡(luò)，準(zhǔn)確度都會增加，但是訓(xùn)練時間會大幅度增加。

② 優(yōu)化算法對模型的結(jié)果影響

在遷移學(xué)習(xí)的訓(xùn)練選項(xiàng)中，有幾種優(yōu)化算法可以選擇，下面從動量的隨機(jī)梯度下降(SGD with momentum，Sgdm)和自適應(yīng)矩估計(jì)法(adaptive moment estimation，Adam)算法來分析。Sgdm是在SGD基礎(chǔ)上引入了一階動量；Adam可以替代傳統(tǒng)隨機(jī)梯度下降過程的一階優(yōu)化算法，Adam算法和傳統(tǒng)的隨機(jī)梯度下降的區(qū)別是：隨機(jī)梯度下降的學(xué)習(xí)率不會改變，而Adam計(jì)算梯度一階矩估計(jì)和二階矩估計(jì)時，會為每個參數(shù)單獨(dú)設(shè)計(jì)學(xué)習(xí)率，即自適應(yīng)學(xué)習(xí)率。Adam 算法作為適應(yīng)性梯度算法(AdaGrad)和均方根傳播(RMSProp)的共同優(yōu)點(diǎn)，AdaGrad能提升稀疏梯度性能，一個參數(shù)有一個學(xué)習(xí)率，RMSProp基于權(quán)重梯度給每個參數(shù)適應(yīng)性保留學(xué)習(xí)率。

對三種遷移網(wǎng)絡(luò)使用以上兩種訓(xùn)練算法，對每種優(yōu)化算法訓(xùn)練20次，取平均結(jié)果，其他參數(shù)及權(quán)重不變，結(jié)果如表5所示。

表5 兩種優(yōu)化算法比較結(jié)果Tab.5 Comparison results of two optimization algorithms

從表5中可以得出，不同的優(yōu)化算法對于網(wǎng)絡(luò)的訓(xùn)練有著不同的訓(xùn)練效果，總的來看，三種網(wǎng)絡(luò)的訓(xùn)練參數(shù)除了訓(xùn)練算法的不同，其他都一致時，相比于Sgdm算法，Adam算法更優(yōu)。由于Adam算法同時獲得了AdaGrad和RMSProp兩種算法的優(yōu)點(diǎn)，這意味著Adam算法在非穩(wěn)態(tài)和在非線性問題上有較優(yōu)秀的性能。

3.4 人臉表情的識別檢測

對上述的實(shí)驗(yàn)進(jìn)行進(jìn)一步剖析，對訓(xùn)練中參數(shù)表現(xiàn)最好的網(wǎng)絡(luò)進(jìn)行表情檢驗(yàn),隨機(jī)對網(wǎng)上的表情圖片以及其他表情數(shù)據(jù)庫的圖片進(jìn)行識別， 識別的結(jié)果中，0=angry，2=fear，3=happy，5=surprise，結(jié)果如圖5所示。

(a) 訓(xùn)練模型對測試集的識別

所有網(wǎng)絡(luò)的全連接層的輸入信息都是從上一層卷積、池化、Relu、BN層提取到的特征中獲取，并將它們映射到7個輸出類；Softmax層是將7個類的輸出值歸一化為分?jǐn)?shù)值，這個分?jǐn)?shù)值就是網(wǎng)絡(luò)預(yù)測某圖像可能屬于該類的概率值，最后一層獲取這些概率，并返回最可能的類作為網(wǎng)絡(luò)的輸出表情。在圖5(a)中，用訓(xùn)練效果最好的網(wǎng)絡(luò)對Fer2013測試集進(jìn)行識別，識別的結(jié)果中，0=angry，2=fear，3=happy，5=surprise，識別正確。再對圖5(b)的四張圖片進(jìn)行測試，前兩張圖是網(wǎng)上公開的圖片，后兩張是JAFFE數(shù)據(jù)庫中的圖片，從識別結(jié)果來看，四張圖片依次識別開心、中性、傷心和恐懼，對應(yīng)了正確的表情。

4 結(jié)論

本文提出基于CNN的訓(xùn)練表情數(shù)據(jù)的方法和基于遷移學(xué)習(xí)的ResNet18、ResNet50和Mobilenetv2三種遷移深度模型，分析了幾種訓(xùn)練模型在實(shí)驗(yàn)中的表現(xiàn)及性能，提出的CNN結(jié)構(gòu)不及遷移模型準(zhǔn)確率高，通過不同網(wǎng)絡(luò)參數(shù)和優(yōu)化算法對不同模型的優(yōu)化結(jié)果，再通過多次探尋合適參數(shù)，雖增加了實(shí)驗(yàn)時間和計(jì)算負(fù)擔(dān)，但是模型結(jié)合不同參數(shù)有了更好的訓(xùn)練效果。仿真表明遷移網(wǎng)絡(luò)的表情網(wǎng)絡(luò)性能表現(xiàn)更好，識別率更優(yōu)。