周曉華，武文博

(廣西科技大學(xué)電氣與信息工程學(xué)院，廣西柳州545616)

1 引言

世界衛(wèi)生組織發(fā)布的《2018年道路安全全球狀況報告》顯示，每年約有135萬人死于道路交通事故，道路交通傷害成為5～29歲兒童和年輕人的主要死因，而駕車時使用手機比專心駕駛發(fā)生碰撞的風(fēng)險高出約4倍[1]。文獻顯示，80%的撞擊事故和65%的追尾事故是分心駕駛所導(dǎo)致的[2]。文獻[3]的調(diào)查報告中顯示，頻繁使用電話和進行其它次要任務(wù)會嚴重影響駕駛安全。巴西的一項自然主義駕駛研究證明了使用電話時的車速較低，司機受到電話干擾[4]。有效解決司機分心駕駛問題的一種方案是對司機駕駛行為進行實時監(jiān)測，正確識別駕駛行為就是本文的研究重點。搭建一個可以實時識別駕駛行為的模型，通過檢測司機的分心行為，對其做出警告或做出干預(yù)，可以大大減少交通事故的發(fā)生。此外，駕駛行為識別還可以用于分析司機駕駛意圖，為全自動駕駛功能的實現(xiàn)做出鋪墊。

早期的學(xué)者們使用傳感器來檢測駕駛員的分心駕駛行為[5-7]，這種檢測方法雖然足夠準確，但傳感器等設(shè)備對駕駛員造成的干擾本身已經(jīng)影響了安全駕駛，所以這種依賴傳感器的檢測方法沒有得到發(fā)展。隨著圖像處理領(lǐng)域的技術(shù)突破，學(xué)者們將目光轉(zhuǎn)向機器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域。文獻[8]使用Hough算法，監(jiān)測駕駛員頭部姿態(tài)和車輛的偏航率，進而建立起二者的模糊隸屬度關(guān)系，由此來判斷司機當(dāng)前駕駛狀態(tài)。文獻[9]提出了一種基于Faster-RCNN的駕駛行為監(jiān)測模型，通過識別駕駛員手中是否存在手機來確定是否在安全駕駛狀態(tài)。文獻[10]使用圖卷積網(wǎng)絡(luò)，對駕駛員的姿態(tài)圖進行特征提取，同時融合關(guān)鍵物體對駕駛員分心行為進行識別，在StateFarm公開的駕駛行為數(shù)據(jù)集上取得了90%的準確率。文獻[11]對VGG-16網(wǎng)絡(luò)進行了改進，提出的模型可以識別出駕駛員為什么發(fā)生分心，取得了較高的識別精度。文獻[12]設(shè)計了一種級聯(lián)網(wǎng)絡(luò)模型，以VGG網(wǎng)絡(luò)為核心對特征進行提取，通過遷移學(xué)習(xí)重新訓(xùn)練分類器，達到了93.3%的識別準確率。

目前，駕駛行為識別領(lǐng)域的研究雖然已經(jīng)取得了一定的成果，但駕駛行為種類繁多而諸多研究主要關(guān)注在司機打電話、發(fā)短信等與手機有關(guān)的行為上，針對其它如喝水等行為的識別還沒有較好的結(jié)果。為解決此問題，本文在DenseNet的基礎(chǔ)上進行改進，使用StateFarm公開的駕駛行為數(shù)據(jù)集進行訓(xùn)練，并取得了理想的識別效果。

2 原理介紹

2.1 DenseNet

隨著卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)研究的進展，計算機視覺(Computer Vision，CV)領(lǐng)域也取得了新的突破，CNN的性能較于傳統(tǒng)的機器學(xué)習(xí)算法具有較大的優(yōu)勢。2012年ImageNet大賽冠軍得主提出的AlexNet[13]模型將CNN模型推向了新的高度，作者使用了5個卷積層和3個池化層搭建的CNN模型標志著深度神經(jīng)網(wǎng)絡(luò)時代的開始。CNN領(lǐng)域的另一重大突破是ResNet[14]模型的出現(xiàn)，作者提出的“短路連結(jié)”使得訓(xùn)練中的梯度易于反向傳播，進而可以訓(xùn)練出更深的網(wǎng)絡(luò)。在這一思路的基礎(chǔ)上，文獻[15]提出了DenseNet模型。與ResNet模型不同的是，DenseNet模型的后層是與所有前層連結(jié)的。DenseNet模型巧妙地將特征在通道上連接以實現(xiàn)特征復(fù)用，從而大大減少了需要計算的參數(shù)量和計算成本。DenseNet模型網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，主要由卷積層、dense block、transition layer、池化層和全連接層構(gòu)成，通過使用不同個數(shù)的dense block和transition layer進行級聯(lián)，就可以組成不同層數(shù)的DenseNet。

圖1 DenseNet整體結(jié)構(gòu)圖

圖2 denseblock結(jié)構(gòu)圖

其中，dense block是DenseNet的核心模塊，其結(jié)構(gòu)如圖2所示。

xl=Hl([x0，x1，…，xl-1])

(1)

式中，Hl(·)代表非線性轉(zhuǎn)化操作，它由BN(Batch Normalization)層、ReLU函數(shù)和3×3的卷積操作構(gòu)成。雖然denseblock的設(shè)計可以將特征更為完整的傳遞到每一層，但在通道維度上大量使用拼接操作會使特征圖的通道數(shù)大量增加，嚴重拖慢模型運行效率，Hl(·)操作就是通過特征降維的方式將維度數(shù)量降低以減輕網(wǎng)絡(luò)的負擔(dān)。

在圖1中，denseblock與Transitionlayer相連的目的是把復(fù)用的特征圖大小降低，以此來進一步提升模型的性能。Transitionlayer中有一個大小為1的卷積核和一個平均池化層，并且定義參數(shù)θ，表示將denseblock輸出的特征圖數(shù)量減少至原始值的θ倍，通常將其取值為0.5。本文以DenseNet-169作為baseline模型，其配置信息如表1所示。

表1 baseline模型配置信息表

2.2 通道注意力

文獻[16]的作者將關(guān)注點放在不同通道的特征關(guān)系上進行了研究，文中構(gòu)建了一個新的模塊單元——SE(Squzee & Excitation)block，通過建立不同通道之間的關(guān)系，自發(fā)地校準通道維度上的特征響應(yīng)。其結(jié)構(gòu)如圖3所示。

圖3 SE模塊結(jié)構(gòu)圖

圖3中，給SE block一個通道數(shù)為C的輸入U，然后通過三個操作來對其特征進行重標定。首先，在空間維度上對特征進行壓縮，將其變成一個實數(shù)，這個實數(shù)在某種程度上有著全局感受野，它代表了一個通道上特征響應(yīng)的全局分布。此操作可由式(2)表示，z表示U壓縮至空間維數(shù)的統(tǒng)計量，z∈RC，U∈RH×W×C。

(2)

然后，對壓縮所得的C個實數(shù)進行激勵操作，這個操作與CNN網(wǎng)絡(luò)中的門機制類似，通過訓(xùn)練w參數(shù)來學(xué)習(xí)每個特征通道之間的相關(guān)性，為每個特征通道生成相應(yīng)的權(quán)重。此操作可由式(3)表示，s為經(jīng)過sigmoid激活后的激勵參數(shù)。

s=Fex(z，W)=σ(g(z，W))=σ(W2δ(W1z))

(3)

(4)

3 基于改進DenseNet的駕駛行為識別

3.1 數(shù)據(jù)集及預(yù)處理

本文所使用的數(shù)據(jù)來自StateFarm公司公開的駕駛行為數(shù)據(jù)集[17]，該數(shù)據(jù)集中包含了來自不同膚色不同性別駕駛員的10個類別的駕駛行為。數(shù)據(jù)集中每個類別約有2000個樣本，共計23500張圖片，尺寸均為640×480。將其80%劃分為訓(xùn)練集，另外20%平分為驗證集和測試集。為方便模型處理，使用編號c0-c9將10種駕駛行為標記，其類別描述如表2所示。

表2 類別描述

為擴充數(shù)據(jù)集和防止出現(xiàn)過擬合現(xiàn)象，使用圖像增強技術(shù)對樣本進行處理。將樣本隨機地進行水平翻轉(zhuǎn)、旋轉(zhuǎn)15°、亮度增強、對比度增強、縮放等操作來擴展數(shù)據(jù)集。部分處理后的圖像如圖4所示。

圖4 一張樣本增強后的部分擴增圖像

3.2 駕駛行為識別模型改進

為提升模型對于細微差異的識別能力，引入通道注意力機制對其進行改進。使用1.2小節(jié)所提到的SE block可以使駕駛行為識別模型能夠關(guān)注到不同通道之間特征的關(guān)系。文獻[16]在對ResNet的改進過程中嘗試了4種不同的改進方式，分別為：將SE block添加在殘差塊之后、殘差塊之前，與殘差塊并行放置和放置在殘差網(wǎng)絡(luò)最后。實驗結(jié)果顯示并行放置時模型的top-1錯誤率最低，而放置在殘差塊之前時模型的top-5錯誤率最低。據(jù)此，本文將設(shè)計三種改進方案進行實驗對比。將SE模塊放置在dense block循環(huán)尾部，記為SE-standard模型；將SE模塊放置在dense block循環(huán)起始，記為SE-PRE模型；將SE模型放置dense block與transition layer之間，記為SE-POST模型。改進前后的方案如圖5所示。

圖5 改進方案圖

圖6 改進駕駛行為識別模型結(jié)構(gòu)

以SE-standard模型為例，改進后的駕駛行為識別模型結(jié)構(gòu)如圖6所示，首先將樣本輸入至模型，然后進行圖像數(shù)據(jù)的預(yù)處理操作，將處理后的圖像數(shù)據(jù)送入模型特征提取環(huán)節(jié)，該環(huán)節(jié)的核心就是加入SE block后的denseblock，得到該樣本的特征后經(jīng)過分類器計算分類概率，最后輸出識別的樣本種類。

4 實驗與分析

4.1 實驗環(huán)境

1)實驗硬件配置：Intel Core Xeon E5-2670v2 CPU

2.5GHz，16.0GB運行內(nèi)存，NVIDIA GeForce GTX Titan XP顯卡；

2)軟件配置：64位Windows10操作系統(tǒng)，Python3.6編譯環(huán)境，Pytorch1.2深度學(xué)習(xí)框架。

4.2 實驗設(shè)置

本文baseline模型為DenseNet-169，輸入維度為224×224，故需要將原始樣本數(shù)據(jù)進行大小調(diào)整操作。為保證訓(xùn)練結(jié)果可復(fù)現(xiàn)，在實驗時將隨機種子設(shè)置值為666。為達到快速收斂的目的，本文模型優(yōu)化器使用Adam優(yōu)化器，初始學(xué)習(xí)率為0.02，每10代進行一次衰減，衰減指數(shù)為0.5。考慮到DenseNet模型對顯存消耗較大的弊端，訓(xùn)練時批處理樣本數(shù)量為64。

4.3 改進模型性能驗證分析

為了證明改進后的駕駛行為識別模型整體性能優(yōu)于baseline模型，將其與改進后的模型進行對比，實驗分別從模型體積、識別速度、單分類正確率和整體正確率四個方面進行分析。

1)模型體積

模型體積表現(xiàn)了該模型占用硬件資源的多少，模型參數(shù)越多、結(jié)構(gòu)越復(fù)雜則模型體積越大。模型改進前后的體積對比結(jié)果如表3所示，通過對比保存的模型文件大小發(fā)現(xiàn)，改進前后的模型體積變化不大，體積增大最高不超過3%，對于硬件性能的影響微乎其微。

表3 模型改進前后模型體積對比

2)識別速度

對于一個駕駛行為識別模型，其識別速度是一項重要的性能指標，模型的應(yīng)用場景要求其具有實時識別的能力。本文采用的測試數(shù)據(jù)集共1782張圖片，通過記錄測試總用時來獲得單張圖片識別用時。識別速度測試結(jié)果如表4所示，改進前后單張識別速度變化在1毫秒以內(nèi)，因此模型的改進對模型識別速度產(chǎn)生的影響很小。

表4 模型識別速度

圖7 駕駛行為識別混淆矩陣

3)單分類正確率

為了評價模型對于單個行為類別的識別能力，將前文提到的四個模型訓(xùn)練后，載入測試樣本數(shù)據(jù)并將結(jié)果繪制在混淆矩陣中觀察其單分類能力。觀察發(fā)現(xiàn)模型在改進前對于c4類行為識別能力較弱；SE-standard模型雖然單分類能力有所提升，但提升效果有限，c6和c9類別的正確率低于80%；SE-PRE模型的單分類能力改善較為明顯，c1、c3與c5類正確率接近100%；SE-POST模型的單分類能力依然有缺陷，c8類識別正確率低于70%。

4)行為識別準確率

根據(jù)圖7中的駕駛行為識別混淆矩陣可按下式計算獲得模型行為識別的整體準確率，結(jié)果如表5所示。

(5)

式中：TP表示預(yù)測正確且分類正確數(shù)量；TN表示預(yù)測錯誤但分類正確數(shù)量；FP表示預(yù)測正確但分類錯誤數(shù)量；FN表示預(yù)測錯誤且分類錯誤數(shù)量。

表5 模型識別準確率

從表中可以看出，SE-PRE模型的準確率最高，其它兩個改進模型準確率相對原模型均有所提高，證明改進措施有效且效果顯著。將模型總體準確率結(jié)合模型體積、識別速度和單分類準確率的結(jié)果可以得出：本文對于駕駛行為識別模型的改進在不影響模型響應(yīng)速度和體積的情況下，有效提高了單分類準確率和整體識別準確率，與同類研究相比，以極低的成本提升了模型性能。

5 結(jié)語

本文在DenseNet模型的基礎(chǔ)上，引入通道注意力機制對其進行改進，相比原有的駕駛行為識別模型，在保證模型識別速度的前提下有效提升了識別的準確率，能夠解決原有模型對于單分類準確率不足的問題；高效且準確的識別駕駛行為并對分心駕駛行為做出預(yù)警，可以降低發(fā)生交通事故的風(fēng)險，保障人民的生命財產(chǎn)安全。在今后的研究中，可以考慮使用新的注意力機制來進一步改善的行為識別性能，此外還可以從模型體積入手，使用更為輕量化的網(wǎng)絡(luò)以便于識別模型的部署與落地。