黨 鑫，許 華

（1 天津工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 天津 300387）

（2 天津工業(yè)大學(xué)軟件學(xué)院 天津 300387）

0 引言

隨著我國(guó)經(jīng)濟(jì)的不斷發(fā)展，人們對(duì)于出行質(zhì)量的要求也越來(lái)越高，而越來(lái)越多的居民選擇機(jī)動(dòng)車(chē)出行。根據(jù)國(guó)家統(tǒng)計(jì)局的中國(guó)統(tǒng)計(jì)年鑒數(shù)據(jù)顯示［1］，在2020 年，全國(guó)總共發(fā)生了244 674 次交通事故，由交通事故造成的直接財(cái)產(chǎn)損失高達(dá)131 360.6 萬(wàn)元。究其原因，主要是因?yàn)轳{駛本身是一項(xiàng)極具壓力的活動(dòng)，在復(fù)雜的路況中，駕駛員需要快速、同步完成多項(xiàng)決策任務(wù)。因此每位駕駛員應(yīng)當(dāng)時(shí)刻保持良好的生理和心理狀態(tài)，然而隨著私家車(chē)普及，駕駛員因疾病、衰老或心理等問(wèn)題導(dǎo)致情緒狀態(tài)變化，此時(shí)發(fā)生不當(dāng)駕駛行為的概率將會(huì)大大增加，盡管輔助駕駛技術(shù)在發(fā)展，但仍無(wú)法把控駕駛?cè)藸顟B(tài)這一最重要的因素，所以在交通安全技術(shù)研究中，對(duì)駕駛員的駕駛狀態(tài)進(jìn)行分析具有較高的研究?jī)r(jià)值和實(shí)用意義，不但會(huì)減少交通給人們帶來(lái)的生命和財(cái)產(chǎn)的威脅，還能降低交通事故的發(fā)生率，保證道路及公共交通的安全和穩(wěn)定運(yùn)行。

1 研究現(xiàn)狀

近年來(lái)基于人臉識(shí)別情緒進(jìn)行駕駛員狀態(tài)分析逐漸成為一個(gè)研究熱點(diǎn)。在駕駛過(guò)程中，駕駛員的情緒與駕駛狀態(tài)高度相關(guān)：當(dāng)表現(xiàn)出高興的情緒時(shí)，駕駛員將與外部環(huán)境進(jìn)行良好的正向反應(yīng)；當(dāng)表現(xiàn)出驚訝、害怕、生氣、厭惡情緒時(shí)，駕駛員將對(duì)外部刺激產(chǎn)生過(guò)激的可能性，需進(jìn)行及時(shí)的提醒與記錄；當(dāng)表現(xiàn)出悲傷狀態(tài)時(shí)，駕駛員將減少與外部環(huán)境交互，可能對(duì)駕駛產(chǎn)生一定影響，需要進(jìn)行安全駕駛提醒；此外，當(dāng)駕駛員長(zhǎng)期處于無(wú)表情等中性狀態(tài)時(shí)，則表明其陷入一定程度的疲勞狀態(tài)，可對(duì)駕駛員進(jìn)行相應(yīng)提示。這些狀態(tài)對(duì)應(yīng)關(guān)系，使基于AI 算法的駕駛員狀態(tài)分析成為可能。

然而，在駕駛位這類(lèi)特定場(chǎng)景下的人臉表情識(shí)別技術(shù)實(shí)際上依然面臨諸多挑戰(zhàn)［2］，特征提取需最大程度消除抖動(dòng)、光照等干擾信息；分類(lèi)器不但需要考慮不同類(lèi)別表情間特征變化不明顯等影響，還需考慮對(duì)攝像角度、人臉差異等因素的泛化能力。此外，由于車(chē)載算法的低負(fù)載和實(shí)時(shí)計(jì)算需求，算法需盡可能縮小網(wǎng)絡(luò)規(guī)模，減少分類(lèi)所需的時(shí)間［3－4］。

為了解決上述挑戰(zhàn)，需要在準(zhǔn)確率、輕量化上達(dá)到一個(gè)更好的平衡狀態(tài)，本文將使用引入注意力機(jī)制改進(jìn)后的YOLOv5 作為人臉定位器，YOLOv5 對(duì)輸入圖片進(jìn)行人臉定位和裁剪工作，然后將定位裁剪后的圖片輸入到ConvNeXt的卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行分類(lèi)工作，從而分類(lèi)出不同的駕駛員表情［5］。本模型增強(qiáng)了對(duì)人像臉部特征的感知能力，實(shí)現(xiàn)通過(guò)駕駛員表情識(shí)別判斷分析駕駛員狀態(tài)的目的。

2 駕駛員人臉表情識(shí)別算法

2.1 改進(jìn)后的YOLOv5 網(wǎng)絡(luò)模型

基于YOLOv5 深度學(xué)習(xí)的目標(biāo)檢測(cè)算法包含YOLOv5s、YOLOv5m、YOLOv5l 和YOLOv5x 4 個(gè)版本［6］，其中YOLOv5s 權(quán)重最小。綜合考慮模型的權(quán)重文件大小、識(shí)別精度和檢測(cè)速度，選擇檢測(cè)速度最快、識(shí)別精度相對(duì)較高的YOLOv5s 展開(kāi)研究。YOLOv5s 網(wǎng)絡(luò)主要包含3 個(gè)部分，即骨干網(wǎng)絡(luò)（Backbone）、特征檢測(cè)模塊層（Neck）和回歸預(yù)測(cè)部分（Head），網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 YOLOv5s 網(wǎng)絡(luò)結(jié)構(gòu)

本文模型首先在輸入端采用了Mosaic 數(shù)據(jù)增強(qiáng)，Mosaic 數(shù)據(jù)增強(qiáng)由原來(lái)的兩張圖像提高到四張圖像進(jìn)行拼接，并對(duì)圖像進(jìn)行隨機(jī)縮放、隨機(jī)裁剪和隨機(jī)排列。使用數(shù)據(jù)增強(qiáng)可以改善數(shù)據(jù)集中小、中、大目標(biāo)數(shù)據(jù)不均衡的問(wèn)題。從而實(shí)現(xiàn)豐富數(shù)據(jù)集、提高網(wǎng)絡(luò)的魯棒性的目的，同時(shí)通過(guò)對(duì)識(shí)別物體的裁剪，使模型根據(jù)局部特征識(shí)別物體，有助于被遮擋物體的檢測(cè)，從而提升了模型的檢測(cè)能力。

首先，算法基于骨干網(wǎng)絡(luò)對(duì)輸入的圖片進(jìn)行特征提取。骨干網(wǎng)絡(luò)中的SPPF（spatial pyramid pooling－fast）使用3 個(gè)5×5 的最大池化，代替原來(lái)的5×5、9×9、13×13 最大池化，多個(gè)小尺寸池化核級(jí)聯(lián)代替SPP 模塊中單個(gè)大尺寸池化核，從而在保留原有功能，即融合不同感受野的特征圖，豐富特征圖的表達(dá)能力的情況下，進(jìn)一步提高了運(yùn)行速度。隨后，提取到的特征將被輸入到特征檢測(cè)層Neck 模塊［7］，PANet 結(jié)構(gòu)在FPN 的基礎(chǔ)上又引入了一個(gè)自底向上（Bottom-up）的路徑。經(jīng)過(guò)自頂向下（Top-down）的特征融合后，再進(jìn)行自底向上（Bottom-up）的特征融合，將輸出三組不同分辨率的融合特征。最后，三組融合特征被輸送到Head 部分中進(jìn)行卷積輸出最終的檢測(cè)結(jié)果，從而實(shí)現(xiàn)人臉區(qū)域的定位檢測(cè)。

2.2 注意力機(jī)制

為了增強(qiáng)人臉圖像特征提取，在減少網(wǎng)絡(luò)權(quán)重參數(shù)數(shù)量和模型體積的前提下，保證檢測(cè)精度，實(shí)現(xiàn)改進(jìn)的人臉定位檢測(cè)模型。在原特征提取網(wǎng)絡(luò)的Bottleneck 結(jié)構(gòu)后引入卷積注意力機(jī)制（convolutional block attention module，CBAM）模塊，CBAM［8］是輕量級(jí)的卷積注意力模塊，它結(jié)合了通道注意力模塊（channel attention module， CAM）和空間的注意力模塊（spatial attention module， SAM）。

2.2.1 CAM 模塊

該模塊關(guān)注輸入圖片中有意義的信息（分類(lèi)任務(wù)就關(guān)注因?yàn)槭裁捶殖闪瞬煌?lèi)別）。分別進(jìn)行通道和空間上的Attention，其通道維度不變，壓縮空間維度。通道注意力公式如式（1）所示：

2.2.2 SAM 模塊

該模塊關(guān)注的是目標(biāo)的位置信息，空間維度不變，壓縮通道維度。將通道注意力模塊的輸出結(jié)果通過(guò)最大池化和平均池化得到兩個(gè)1×H×W 的特征圖，然后經(jīng)過(guò)Concat 操作對(duì)兩個(gè)特征圖進(jìn)行拼接，通過(guò)7×7 卷積變?yōu)?通道的特征圖（實(shí)驗(yàn)證明7×7 效果比3×3 好），再經(jīng)過(guò)一個(gè)sigmoid 得到空間注意力（spatial attention）的特征圖，最后將輸出結(jié)果乘原圖變回C×H×W 大小。

空間注意力公式如式（2）所示：

包含空間注意力和通道注意力算法，不僅能夠更好地提取人臉的特征信息，提高模型表征能力，而且節(jié)約參數(shù)和計(jì)算力，同時(shí)新增參數(shù)的計(jì)算量對(duì)模型復(fù)雜度不會(huì)造成太大的影響。

2.3 基于ConvNeXt 的情緒分類(lèi)

為了實(shí)現(xiàn)相對(duì)輕量化的計(jì)算，并且可以將模型在移動(dòng)端上實(shí)現(xiàn)部署，就要求網(wǎng)絡(luò)結(jié)構(gòu)的算法計(jì)算效率要更高，模型參數(shù)少。因此本文采用ConvNeXt 構(gòu)造了情緒分類(lèi)模型。ConvNeXt 是來(lái)自KAIST、Meta、紐約大學(xué)的研究者Liu［9］等提出的卷積神經(jīng)網(wǎng)絡(luò)模型。這個(gè)模型以ResNet［10］為基礎(chǔ)， 引用 Vision Transformer［11］、 Swin Transformer［12］、ResNeXt［13］等神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)思路，通過(guò)改變階段計(jì)算模塊數(shù)量、簡(jiǎn)化網(wǎng)絡(luò)輸入層、使用深度可分離卷積、采用倒置Bottleneck 模塊結(jié)構(gòu)和大卷積核結(jié)構(gòu)實(shí)現(xiàn)計(jì)算量的減少和準(zhǔn)確率的提升。

ConvNeXt 改變了傳統(tǒng)的ResNeXt 的結(jié)構(gòu)設(shè)計(jì)比例，將stage1 到stage4 堆疊block 的次數(shù)由（3，4，6，3）調(diào)整成（3，3，9，3），在保證精度的同時(shí)最大程度減少了所需要的參數(shù)量。并且block 更改下采樣模塊為一個(gè)卷積核大小為4×4以及stride 為4 的卷積層構(gòu)成patchify，最大化通道維度的信息。同時(shí)還使用了深度分離卷積（depthwise convolution），只是對(duì)空間維度進(jìn)行混合，將通道數(shù)從64 提升到96，實(shí)現(xiàn)深度可分離卷積，實(shí)現(xiàn)有效減少計(jì)算量的目的。

ConvNeXt 將depthwise conv 模塊上移，原來(lái)是1×1 conv →depthwise conv →1×1 conv 現(xiàn)在變成depthwise conv→1×1 conv→1x1 conv，還將depthwise conv 的卷積核大小由3×3 改成了7×7，然后聚焦到一些更細(xì)小的差異，比如激活函數(shù)以及Normalization。將激活函數(shù)ReLU 替換成 GELU， 使用更少的激活函數(shù)， 使用更少的Normalization，將BN 替換成LN，采用2×2，stride＝2 卷積進(jìn)行下采樣。通過(guò)一系列對(duì)模型細(xì)節(jié)的調(diào)整，ConvNeXt 在相同F(xiàn)LOPs 下準(zhǔn)確率已經(jīng)超過(guò)了Swin Transformer。

為了提高模型識(shí)別效率和準(zhǔn)確率，本文將使用引入注意力機(jī)制改進(jìn)后的YOLOv5 作為人臉定位器，將定位裁剪后的圖片輸入到ConvNeXt 的卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行分類(lèi)的駕駛員狀態(tài)分析。本文提出的總體模型如圖2 所示。

圖2 駕駛員狀態(tài)分析模型結(jié)構(gòu)圖

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

為了評(píng)估本文提出的算法，本節(jié)將在兩個(gè)公開(kāi)的面部表情數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，這兩個(gè)數(shù)據(jù)集分別是FER2013人臉表情數(shù)據(jù)集與KMU-FED 數(shù)據(jù)集。

FER2013（Facial Expression Recognition 2013）［14］數(shù)據(jù)集是用于面部表情識(shí)別的一個(gè)公開(kāi)數(shù)據(jù)集。該數(shù)據(jù)集由私人公司Affectiva 創(chuàng)建，包含35 887 張灰度圖像，分為7個(gè)不同的表情類(lèi)別：憤怒、厭惡、恐懼、開(kāi)心、中性、悲傷和驚訝。每個(gè)圖像的尺寸為48×48 像素。圖3 是FER2013數(shù)據(jù)集樣例圖片。

圖3 FER2013 數(shù)據(jù)集樣例圖片

KMU-FED 數(shù)據(jù)集［15］用于實(shí)際駕駛環(huán)境中的表情識(shí)別。為了構(gòu)建數(shù)據(jù)集，我們使用近紅外相機(jī)在真實(shí)的車(chē)輛駕駛環(huán)境中捕獲了基準(zhǔn)數(shù)據(jù)集序列。KMU-FED 數(shù)據(jù)庫(kù)包含來(lái)自12 個(gè)對(duì)象的55 個(gè)圖像序列，包括各種照明變化（前、左、右和后光）和頭發(fā)或太陽(yáng)鏡引起的部分遮擋。非常有效地模擬了駕駛環(huán)境中駕駛員的表情。圖4 是KMUFED 數(shù)據(jù)庫(kù)樣例圖片。

圖4 KMU-FED 數(shù)據(jù)庫(kù)樣例圖片

3.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)所需的相關(guān)環(huán)境如下：GPU 為NVIDIA Tesla T4，以Python3.8 編程語(yǔ)言環(huán)境、PyTorch 2.1.0 作為深度學(xué)習(xí)框架搭建模型，并使用CUDA11.3 進(jìn)行實(shí)驗(yàn)加速，訓(xùn)練過(guò)程中使用交叉熵?fù)p失函數(shù)，并采用AdamW 優(yōu)化器優(yōu)化模型。

3.3 實(shí)驗(yàn)結(jié)果及分析

3.3.1 FER2013 數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果及分析

將本文模型在FER2013 數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試，在訓(xùn)練過(guò)程中載入預(yù)訓(xùn)練權(quán)重，批量大小為8，迭代次數(shù)為300 次，初始學(xué)習(xí)率為0.005，先采用warmup 的方法進(jìn)行學(xué)習(xí)率預(yù)熱，然后再采用余弦退火來(lái)更新學(xué)習(xí)率的方法。AdamW 優(yōu)化器即在Adam 基礎(chǔ)上加入了weight decay正則化。模型訓(xùn)練過(guò)程中將FER2013 數(shù)據(jù)集分為訓(xùn)練集（27 327 幅）進(jìn)行訓(xùn)練，在測(cè)試集（6 828 幅）上進(jìn)行測(cè)試。在訓(xùn)練數(shù)據(jù)集上進(jìn)行參數(shù)訓(xùn)練前，對(duì)樣本進(jìn)行隨機(jī)翻轉(zhuǎn)等預(yù)處理。本文模型在FER2013 數(shù)據(jù)集上的混淆矩陣如圖5 所示。

圖5 Fer2013 數(shù)據(jù)集上的混淆矩陣

由圖5 可知，ConvNeXt 模型對(duì)FER2013 數(shù)據(jù)集的7種類(lèi)別達(dá)到了73.65%的總體識(shí)別準(zhǔn)確率。其中高興、厭惡、驚喜類(lèi)別的識(shí)別率分別達(dá)到了90.21%、82.80%和79.34%，而憤怒、恐懼、傷心、中性類(lèi)別的識(shí)別率稍低，分別為68.07%、61.88%、65.26%和68.53%，可能因?yàn)檫@4種表情特征的區(qū)分性稍差，此外，F(xiàn)ER2013 數(shù)據(jù)集中的錯(cuò)誤標(biāo)簽對(duì)模型的準(zhǔn)確率也有一定影響。

3.3.2 KMU-FED 數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果及分析

將本文模型在KMU-FED 數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試，因?yàn)閿?shù)據(jù)集較小，迭代次數(shù)為80 次，其他訓(xùn)練參數(shù)與FER2013 數(shù)據(jù)集上一致。本實(shí)驗(yàn)將KMU-FED 數(shù)據(jù)集分為訓(xùn)練集（898 幅）和測(cè)試集（221 幅）。在訓(xùn)練數(shù)據(jù)集上進(jìn)行參數(shù)訓(xùn)練前，對(duì)樣本進(jìn)行隨機(jī)翻轉(zhuǎn)等預(yù)處理。本文模型在KMU-FED 數(shù)據(jù)集上的混淆矩陣如圖6 所示。

圖6 KMU-FED 數(shù)據(jù)集上的混淆矩陣

由圖6 可知，在KMU-FED 數(shù)據(jù)集上總體正確識(shí)別率達(dá)到了97.73%，并且對(duì)憤怒、恐懼、快樂(lè)、傷心和驚喜這5種表情的識(shí)別率達(dá)到了100%，但由于厭惡表情與憤怒表情某些特征相似，導(dǎo)致網(wǎng)絡(luò)模型對(duì)其識(shí)別率較低，僅有81.48%。證明本文模型在模擬真實(shí)駕駛員駕駛環(huán)境下，對(duì)駕駛員的人臉表情識(shí)別達(dá)到了一定的準(zhǔn)確率，但是在區(qū)分厭惡與憤怒這種更細(xì)膩的表情時(shí)還有進(jìn)步的空間，并且因?yàn)閿?shù)據(jù)集較小的情況存在，所以在區(qū)分細(xì)膩差別時(shí)，模型還有調(diào)整進(jìn)步的空間。

3.4 消融實(shí)驗(yàn)

為了驗(yàn)證本文所提出方法的有效性，為證明改進(jìn)算法的有效性和合理性，在ConvNeXt 的基礎(chǔ)上依次加入YOLOv5 、CBAM-YOLOv5 改進(jìn)策略，在兩個(gè)數(shù)據(jù)集上分別對(duì)每個(gè)模型進(jìn)行訓(xùn)練及測(cè)試。然后記錄準(zhǔn)確率。結(jié)果見(jiàn)表1?？梢钥闯觯疚哪Ｐ驮贑onvNeXt 模型基礎(chǔ)上針對(duì)駕駛員人臉表情識(shí)別的場(chǎng)景相較基礎(chǔ)模型有所提高。由于FER2013 數(shù)據(jù)集本身圖像就很小，采用YOLOv5 對(duì)數(shù)據(jù)集圖像進(jìn)行人臉識(shí)別定位的精度提升不明顯，但是在KMUFED 數(shù)據(jù)集上，因?yàn)椴杉瘓D像較大，對(duì)臉部進(jìn)行定位裁剪后的方式對(duì)準(zhǔn)確率有一個(gè)相對(duì)更加明顯的提升，并且添加了注意力機(jī)制后可以幫助整個(gè)網(wǎng)絡(luò)更加專(zhuān)注于表情分類(lèi)的效果從而對(duì)準(zhǔn)確率也有一定的提升。

表1 消融對(duì)比實(shí)驗(yàn)

4 結(jié)語(yǔ)

本文使用引入注意力機(jī)制改進(jìn)后的YOLOv5 作為人臉定位器，將定位裁剪后的圖片輸入到ConvNeXt 的卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行分類(lèi)的駕駛員狀態(tài)分析模型。其中YOLOv5 引入了卷積注意力機(jī)制，增強(qiáng)了網(wǎng)絡(luò)對(duì)復(fù)雜背景中目標(biāo)區(qū)域的感知能力，處理后的圖片實(shí)現(xiàn)了減少網(wǎng)絡(luò)參數(shù)量和計(jì)算復(fù)雜度的目標(biāo)，ConvNeXt 的卷積神經(jīng)網(wǎng)絡(luò)改進(jìn)了模型性能，提高了模型特征提取能力，提高了模型預(yù)測(cè)的準(zhǔn)確率。在FER2013 數(shù)據(jù)集上可達(dá)到73.65%的準(zhǔn)確率，在KMU-FED 數(shù)據(jù)集上準(zhǔn)確率達(dá)到了97.73%，展現(xiàn)了本文模型具有較好的識(shí)別效果，能夠很好地完成在模擬駕駛員真實(shí)環(huán)境場(chǎng)景下的人臉表情識(shí)別，從而可以對(duì)駕駛員的駕駛狀態(tài)實(shí)現(xiàn)更好的輔助分析工作。