張文海，陳春玲

(南京郵電大學 計算機學院、軟件學院、網(wǎng)絡(luò)空間安全學院，江蘇 南京 210023)

0 引 言

通過深度學習方法提取表情特征信息是目前最廣泛使用且有效的方法[1]，但隨著深度神經(jīng)網(wǎng)絡(luò)模型的不斷發(fā)展，網(wǎng)絡(luò)模型越來越復雜，參數(shù)和計算量不斷變大，導致模型的使用只能在特定的應(yīng)用場合，很難應(yīng)用到移動設(shè)備和嵌入式設(shè)備上。為解決這個問題，Howard等于2017年提出MobileNet[2]模型，通過將一個標準卷積拆分成逐通道卷積和逐點卷積的方法大幅減少了計算量；Sandler等提出倒殘差模塊和線性瓶頸層，并以此設(shè)計了MobileNet V2模型[3]；2019年，Howard等提出MobileNet V3模型[4]，在倒殘差模塊中引入了SE注意力機制，并修改MobileNet V2中計算量偏大的開頭和結(jié)尾兩層，該模型在分類和檢測等任務(wù)上準確率和速度都優(yōu)于前幾版；2020年，針對生成的特征圖中存在大量的冗余信息，Han等提出GhostNet模型[5]，使用恒等映射的方式直接生成這些冗余的特征圖，大幅減少了參數(shù)量和計算量。但這些模型當中，即便是最小的圖像輸入分辨率也是96×96，而人臉表情識別任務(wù)則可以使用更低的分辨率。

目前卷積神經(jīng)網(wǎng)絡(luò)大都采用Softmax交叉熵損失函數(shù)來優(yōu)化類間的特征差異，并未考慮到人臉表情信息中類內(nèi)的特征差異。為解決這個問題，Wen等提出中心損失函數(shù)[6]，使樣本均勻分布于類中心周圍，減小類內(nèi)差異；Cai等在中心損失函數(shù)的基礎(chǔ)上提出Island損失函數(shù)[7]，優(yōu)化類中心的位置，增大類間差異。事實上，基于Softmax交叉熵損失函數(shù)改進得到的各種損失函數(shù)都是在做減小類間相似性、增大類內(nèi)相似性的工作。但是這樣的優(yōu)化方式將正負樣本都以相同方式優(yōu)化，不夠靈活，于是Sun等提出Circle損失函數(shù)[8]，引入相似性權(quán)重因子，對類內(nèi)相似性和類間相似性給予不同的懲罰強度，從而使優(yōu)化更加靈活。

基于上述內(nèi)容，該文主要工作有以下兩點：

(1)針對現(xiàn)有的輕量級神經(jīng)網(wǎng)絡(luò)的缺點和表情數(shù)據(jù)的特點，提出一個輸入圖像分辨率為48×48的改進GhostNet模型——M-GhostNet。該模型不僅大幅減少了參數(shù)和計算量，并且更加符合人臉表情識別任務(wù)的特點，更加符合移動端和嵌入式設(shè)備的使用場景。在FERplus數(shù)據(jù)集[9]上取得了較高的識別準確率和識別速度。

(2)針對Softmax交叉熵損失函數(shù)不能壓縮類內(nèi)空間，優(yōu)化不靈活等問題，結(jié)合Circle損失函數(shù)和Island損失函數(shù)，提出基于余弦相似性的損失函數(shù)，在FERplus數(shù)據(jù)集上獲得了不錯的效果。

1 改進的GhostNet網(wǎng)絡(luò)模型

1.1 Ghost模塊

文獻[5]對ResNet50的某層輸出進行可視化分析，發(fā)現(xiàn)訓練過程中的特征圖中存在著大量重復、冗余的特征圖。因此可以定義其中一張?zhí)卣鲌D為本征圖，與其相似的特征圖則可以被定義為Ghost圖。既然Ghost圖與本征圖相似，那么就不需要使用占用內(nèi)存多，計算復雜等高成本的卷積操作，直接使用低成本的線性變換或者其他廉價的操作得到。

圖1(a)是常規(guī)卷積操作，圖1(b)是Ghost模塊的具體操作?？梢钥闯鯣host模塊主要由三部分組成：第一步，將輸入圖像通過常規(guī)卷積得到本征圖；第二步，對本征圖做線性變換或其他廉價操作生成Ghost圖；第三步，將本征圖與Ghost圖拼接作為輸出。假設(shè)每張本征圖都存在著與之對應(yīng)的s張Ghost圖，這s張Ghost圖僅需通過線性變換方式獲得，那么從整體上來看，Ghost模塊相較于常規(guī)卷積操作會減少大約s倍的參數(shù)量和計算量。

圖1 常規(guī)卷積和Ghost模塊

1.2 改進的GhostNet模型

ReLU激活函數(shù)憑借著其低計算復雜度和快速的收斂效果，成為大部分卷積神經(jīng)網(wǎng)絡(luò)模型首選的激活函數(shù)，GhostNet也不例外。但是其函數(shù)曲線不平滑，并且在模型訓練的時候，容易導致部分神經(jīng)元“壞死”。所以在改進的GhostNet中摒棄了ReLU函數(shù)，改用函數(shù)曲線更為平滑，可以保留部分負值信息的Mish函數(shù)[10]。Mish函數(shù)表達式為：

Mish(x)=x·tanh(ln(1+ex))

(1)

Mish函數(shù)性質(zhì)同ReLU函數(shù)一樣無上界，有下界，但是Mish函數(shù)保留了少量的負值信息，避免了ReLU函數(shù)可能產(chǎn)生的Dying ReLU現(xiàn)象，即部分神經(jīng)元在反向傳播時可能不起作用的現(xiàn)象[11]。并且Mish函數(shù)更為平滑，這樣隨著網(wǎng)絡(luò)的深度增加，樣本的信息也能傳遞到更深的網(wǎng)絡(luò)層中，整個模型更加容易優(yōu)化，最終的模型也能有更好的泛化效果。

參照ResNet中的殘差結(jié)構(gòu)[12]，使用Ghost模塊，可以堆疊出Ghost瓶頸層。使用Mish函數(shù)作為新的激活函數(shù)的改進Ghost瓶頸層結(jié)構(gòu)如圖2所示。

圖2 改進Ghost瓶頸層

結(jié)合人臉表情數(shù)據(jù)的特性，在保持高準確率的前提下，盡可能地減少網(wǎng)絡(luò)模型的參數(shù)量和計算量，該文設(shè)計出一個基于改進Ghost瓶頸層，輸入尺寸為48×48×3，適用于七分類表情識別任務(wù)的改進GhostNet網(wǎng)絡(luò)模型M-GhostNet，其詳細網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1 M-GhostNet網(wǎng)絡(luò)結(jié)構(gòu)

其中#exp表示改進Ghost瓶頸層中經(jīng)過第一個Ghost模塊處理過后的通道數(shù)，#out表示該層輸出的通道數(shù)，SE為1表示該層使用了注意力機制，Stride表示步長。采用Mish函數(shù)作為每層的激活函數(shù)。

經(jīng)過理論和實驗驗證，M-GhostNet的參數(shù)量和計算量比MobileNet V2、MobileNet V3和GhostNet有著大幅的降低，并且在表情識別任務(wù)上保持著較高的準確率。具體參數(shù)量和計算量的對比見表2。

表2 模型參數(shù)量、FLOPs對比

可以看出，M-GhostNet的參數(shù)量比MobileNet V2和GhostNet減少90%左右，比Mobile V3減少80%左右。浮點運算量比MobileNet V3少了62%左右，比GhostNet少了90%左右，比MobileNet V2更是少了93%左右。

2 基于余弦相似性的損失函數(shù)

2.1 Softmax交叉熵損失函數(shù)

Softmax交叉熵損失函數(shù)是卷積神經(jīng)網(wǎng)絡(luò)常用的損失函數(shù)。在一個擁有N個嵌入式表示實例集合的分類任務(wù)中，xi是神經(jīng)網(wǎng)絡(luò)全連接層輸出的第i個樣本的特征向量，wj、bj是第j類對應(yīng)的全連接層的權(quán)重和偏置。Softmax交叉熵損失函數(shù)的計算公式為：

(2)

2.2 Island損失函數(shù)

Island損失函數(shù)是基于中心損失函數(shù)改進得來的，中心損失函數(shù)的計算公式為：

(3)

其中，ci是第i類的中心，λ用于調(diào)節(jié)兩項的比例。但是由于中心損失函數(shù)只考慮到了樣本向其類中心分布，縮小了類內(nèi)的差異，沒有考慮類間的差異，故Island損失函數(shù)在式(5)的基礎(chǔ)上優(yōu)化了類中心之間的歐氏距離，計算公式為：

(4)

其中，λ1超參數(shù)用于調(diào)節(jié)新增項和中心損失函數(shù)的比例。式(4)中的尾項懲罰了類與類之間的相似性，從而增大了類間距離。

2.3 基于余弦相似性的Island損失函數(shù)

雖然Island損失函數(shù)可以很好地增加類間距離，縮小類內(nèi)距離，但由于Softmax交叉熵損失函數(shù)本身并不能減少類內(nèi)差異性，所以Island損失函數(shù)的性能依舊受限于Softmax交叉熵損失函數(shù)，影響最終分類的準確率。大部分以Softmax交叉熵損失函數(shù)為基礎(chǔ)的一系列改進的損失函數(shù)，比如：Triplet損失函數(shù)[13]、AM-Softmax損失函數(shù)[14]等，本質(zhì)上都是在最大化類內(nèi)相似度sp，最小化類間相似度sn，即優(yōu)化式(5)：

min(sn-sp)

(5)

如果直接優(yōu)化sn-sp，那么網(wǎng)絡(luò)模型最終將收斂并得到這樣一個決策邊界：

sn-sp=margin

(6)

這些損失函數(shù)在優(yōu)化的時候會對sn、sp做相同力度的懲罰。比如，當sn已經(jīng)是一個十分小的值，但sp卻是一個相對較大的值時，雖然此時模型已經(jīng)可以很好地聚合相同的類，但由于sp是個較大值，需要受到一個較大的懲罰力度，而sn卻因此也需要受到相同的懲罰力度，這顯然是不合適的。

鑒于該問題，引入兩個獨立的非負權(quán)重參數(shù)αn、αp，分別控制sn、sp以不同的速率進行優(yōu)化。又因為sn、sp分開進行優(yōu)化，邊界值margin不再是它們共同的邊界值，所以需要為它們引入兩個不同的邊界值，類間邊界值Δn和類內(nèi)邊界值Δp，則新的決策邊界為：

αn(sn-Δn)-αp(sp-Δp)=0

(7)

(8)

(9)

其中，[·]+表示取非負數(shù)操作。將式(7)與式(9)結(jié)合，可以得到新的決策邊界：

(10)

為了簡化參數(shù)，可以設(shè)Op=1+m，On=-m，Δp=1-m，Δn=m，這樣新的決策邊界就變成：

(11)

綜上，最終的Circle損失函數(shù)可以表示為：

(12)

該文提出的基于余弦相似性的損失函數(shù)的中心思想就是使用Circle損失函數(shù)替換Island損失函數(shù)中的Softmax函數(shù)，新的計算公式可以表示為：

(13)

新的損失函數(shù)不僅彌補了Softmax交叉熵損失函數(shù)無法更好地聚合同類樣本的缺陷，而且可以讓各類樣本更加靈活地朝著更加合適方向收斂。同時，第二項可以約束每個樣本分布在其類中心周圍，緩解類內(nèi)差異，增大類間差異。

圖3是Softmax交叉熵損失函數(shù)、AM-Softmax損失函數(shù)和基于余弦相似性的損失函數(shù)在某一分類任務(wù)中類xi的決策邊界。

圖3 Softmax、AM-Softmax和基于余弦相似性損失函數(shù)的決策邊界

如圖3(a)所示，Softmax交叉熵損失函數(shù)的決策邊距為0，并不能更好地區(qū)分類與類，減少類內(nèi)的差異性。圖3(b)中AM-Softmax損失函數(shù)引入了余弦距離margin，可以更好區(qū)分類，并壓縮類內(nèi)空間。圖3(c)中基于余弦相似性的損失函數(shù)的決策邊距則與超參數(shù)m相關(guān)，由式(12)可以得出，當m≤0.5時，兩個類之間就不會相交，當m越來越小時，兩個類的決策邊距也就越來越大，從而更好地放大類間距離，壓縮類內(nèi)空間。由于圖3(c)是圓形邊界，樣本在收斂過程會比圖3(b)擁有更明確的收斂方向。實驗中m取值0.35，縮放因子γ取值2，Island損失函數(shù)的超參數(shù)λ、λ1分別設(shè)置為0.01和10。

特別地，當K=1時，即樣本中只有一個正樣本，其余均為負樣本，基于余弦相似性的Island損失函數(shù)就退化成了文獻[15]中的基于余弦距離的損失函數(shù)。

3 實 驗

3.1 實驗環(huán)境與設(shè)置

實驗以TensorFlow 2.4框架為基礎(chǔ)，編程語言為Python 3.7。實驗訓練都在GPU上進行，GPU的型號為Nvidia GeForce RTX 2060，6 GB顯存。實驗中采取SGD優(yōu)化器，動量為0.9，學習率初始設(shè)置為0.01，隨著訓練輪數(shù)的增加，通過余弦退火策略降低學習率[16]。實驗模型在數(shù)據(jù)集上訓練100輪。批大小為16。對輸入的圖片在歸一化的前提下，進行隨機旋轉(zhuǎn)30度、上下左右移動、縮放和剪切等數(shù)據(jù)增強手段處理[17]。

該文所涉及的方法分別在FERplus數(shù)據(jù)集上進行七分類對比實驗。FERplus數(shù)據(jù)集是針對FER2013數(shù)據(jù)集中數(shù)據(jù)標注錯誤和冗余等問題而重新標注的數(shù)據(jù)集[18]。原數(shù)據(jù)集總共有十類表情，而實驗選取七類，去除掉“輕蔑”、“未知”和“非人臉”三個標簽，總共35 493張圖片。然后按照8∶1∶1的比例將數(shù)據(jù)隨機拆分為訓練集、驗證集和測試集。訓練好的模型用測試集來測試識別準確率。

3.2 實驗結(jié)果與分析

文中模型與其他算法模型在FERplus數(shù)據(jù)集上的對比實驗結(jié)果如表3所示，損失函數(shù)為Softmax，×表示模型的縮放因子，每個模型的縮放因子設(shè)置參考了文獻[5]的分類實驗設(shè)置。

表3 各模型在FERplus數(shù)據(jù)集上的準確率

從表3可以看出，使用了Mish激活函數(shù)替換ReLU激活函數(shù)的M-GhostNet，在參數(shù)和計算量均少于GhostNet、MobileNet V2和MobileNet V3的前提下，依舊保持了較高的準確率，比GhostNet高了1.008%，比MobileNet V2高了7.628%，比MobileNet V3高了0.614%，可以看出選用Mish函數(shù)能夠在表情分類任務(wù)中提高識別準確率。

為了控制變量，損失函數(shù)的對比實驗均使用M-GhostNet模型，在FERplus數(shù)據(jù)集上進行。其中AM-Softmax的超參數(shù)margin設(shè)置為0.35。

從表4可以看出，基于余弦相似度的損失函數(shù)比傳統(tǒng)的Softmax交叉熵損失函數(shù)準確率高了3.222%，比Island損失函數(shù)高了2.431%，比AM-Softmax損失函數(shù)高了2.177%，比Circle損失函數(shù)高了0.904%，比基于余弦距離的損失函數(shù)高了0.512%。實驗結(jié)果表明基于余弦相似性的損失函數(shù)可以學習到更具有區(qū)分力度的表情特征，更好地區(qū)分類，提高表情識別任務(wù)的準確率。

表4 各損失函數(shù)在FERplus數(shù)據(jù)集上的準確率

表5是各模型預測一張圖片所需時間對比，模型均運行在CPU上，CPU型號為Intel Core i7-9750H 2.60 GHz?？梢钥闯龈倪MGhostNet模型預測所需時間更少，從而可以得出預測速度更快、實時性更好。

表5 各模型預測所需時間對比

4 結(jié)束語

該文設(shè)計了一種基于改進的GhostNet神經(jīng)網(wǎng)絡(luò)模型，用于人臉表情的特征提取和分類任務(wù)。該模型不僅擁有輕量級網(wǎng)絡(luò)的參數(shù)少、計算復雜度低、訓練快等特性，還解決了ReLU函數(shù)可能導致的信息丟失的問題，保持了較高的識別準確率。同時，針對表情數(shù)據(jù)的特性，提出了基于余弦相似度的損失函數(shù)，可以更好地增加類間差異，減小類內(nèi)差異，提高模型的識別準確率。實驗結(jié)果表明，改進GhostNet模型和基于余弦相似性的損失函數(shù)可以在人臉表情識別任務(wù)上有著較高的識別準確率和速度優(yōu)勢。下面將繼續(xù)研究表情樣本分布不均的問題，提高模型的準確率，實現(xiàn)表情識別的自動化和智能化。