何麗雯,張銳馳

(長安大學信息工程學院,陜西 西安 710061)

0 引 言

隨著汽車保有量的逐年遞增，道路交通問題層出不窮。在人員、機動車、道路環(huán)境三者構成的復雜道路交通系統(tǒng)中，駕駛員的決策和行為是影響交通安全的主要因素。根據(jù)美國高速公路安全管理局(National Highway Traffic Safety Administration, NHTSA)發(fā)布的調查結果顯示[1]，因駕駛員分心而導致的交通事故人員傷亡占死亡人數(shù)的64.4%。分心駕駛直接造成短時用于駕駛主任務的注意力資源下降，駕駛員的情景感知能力受到干擾，從而威脅駕駛安全。因此，在智能交通系統(tǒng)中，對于智能汽車，如果能夠對駕駛員的視覺分心、聽覺分心、生理分心及認知分心等各類不當駕駛行為進行實時準確的識別，以防止駕駛員因分心而無法及時處理突發(fā)事件，對有效提升道路交通安全具有重要意義。

傳統(tǒng)的用于駕駛員行為識別的機器學習方法通常需要捕獲駕駛員的狀態(tài)信息，例如頭部姿勢、眼睛注視方向、手部運動，甚至生理信號(如腦電圖、眼電圖、肌電圖等)。上述方法需要預先提取特定特征，對系統(tǒng)硬件有特定的要求，在實時場景中，泛化能力不足、計算效率偏低、財務成本較高，難以應用到實際的智能交通系統(tǒng)中。

隨著深度學習理論與技術的日漸成熟，利用卷積神經(jīng)網(wǎng)絡進行駕駛員行為識別的優(yōu)勢逐漸凸顯。其與傳統(tǒng)機器學習方法的主要區(qū)別在特征提取階段，深度學習方法通過自適應地對輸入數(shù)據(jù)的低維特征進行多層次過濾、提取與組合，得到用于表示輸入數(shù)據(jù)的高維抽象特征[2]。而卷積神經(jīng)網(wǎng)絡作為實現(xiàn)深度學習的一項重要技術，成功地應用到圖像處理領域。因此，將深度卷積神經(jīng)網(wǎng)絡這種端到端地從輸入數(shù)據(jù)中直接獲得高維特征的方式應用到駕駛員分心行為識別任務當中，更易于實現(xiàn)。

在實時的駕駛員行為監(jiān)控與識別系統(tǒng)中，使用車載設備采集到的原始圖像中，駕駛員的身體位置區(qū)域占原始圖像的比例通常不同，意味著背景中的無關信息(即噪聲)也輸入到模型中，干擾特征提取過程，導致分類效果和識別精度受限。立足于現(xiàn)有方法的不足，本文提出一種非侵入式的基于深度學習的駕駛員分心行為識別算法，先利用目標檢測算法對原始圖像進行處理，識別出駕駛員的位置，再應用遷移學習對預訓練的卷積神經(jīng)網(wǎng)絡模型進行微調，訓練模型以處理十分類任務，旨在提升駕駛行為識別的精度。

1 相關工作

駕駛員注意力和分心檢測長期以來被認為是眾多研究機構、汽車廠商的重點工作。早期的研究集中在駕駛員狀態(tài)信息的捕獲上，如頭部姿勢角度、眼睛注視方向、手和身體關節(jié)位置以及其他生理信號。具體而言，Kutila等[3]根據(jù)眼睛注視角度、頭部角度、車道位置和面部表情等行為信息，提出了一種基于支持向量機(Support Vector Machine, SVM)的模型來檢測駕駛員的認知分心，準確率約為65%～80%。Ohn-Bar等[4]將駕駛員的頭部姿勢、眼睛注視方向和手部運動結合起來，提出了一種多視圖、多模態(tài)框架來描述駕駛員的行為。Rezaei等[5]提出了駕駛員頭部姿態(tài)估計方法，同時分析駕駛員頭部姿態(tài)和道路危險信息，實現(xiàn)了一個模糊融合系統(tǒng)。與行為信息相比，生理信息對認知的變化更為敏感。隨著功能磁共振成像、功能近紅外光譜、腦電圖和腦磁圖等腦成像技術的進步，大型神經(jīng)群的活動也是探索注意力變化的一個重要來源[6-8]。Zhang等[9]從記錄的腦電圖和眼電圖信號中檢測和識別駕駛注意力分散狀態(tài)。Wang等[10]使用腦電圖信號測量的大腦信號來檢測駕駛員查看地圖這一分心行為，對改進未來智能導航系統(tǒng)的設計具有重要意義。

用以上方法進行駕駛員分心行為識別，提取駕駛員的某些特征時需要特定硬件設備(尤其是在獲取生理信號時需要侵入式檢測設備)。這類方法在實時的任務場景中步驟復雜，耗時且成本高，魯棒性不強，為傳統(tǒng)算法的通病。

近年來，由于并行計算硬件、更深層次卷積神經(jīng)網(wǎng)絡模型和大規(guī)模注釋數(shù)據(jù)集的發(fā)展，計算機視覺領域取得了重大進展。越來越多的學者將基于卷積神經(jīng)網(wǎng)絡的自學習特征算法廣泛應用到圖像識別與分類、行為分析等領域，特別是對駕駛員的分心行為識別任務當中。Yan等[11]提出了一種基于視覺的駕駛員行為識別的系統(tǒng)，其主要思想是采用深度卷積神經(jīng)網(wǎng)絡，從原始圖像中自動學習特征，以預測安全/不安全的駕駛姿勢(包括正常駕駛、打電話、進食和吸煙)。與以前的方法相比，卷積神經(jīng)網(wǎng)絡可以直接從原始圖像中自動學習特征表示，在東南大學駕駛數(shù)據(jù)集(the Southeast University Driving-Posture Dataset, SEU Dataset)上的總體準確率為99.78%，表明該方法的性能優(yōu)于手工編碼特征。Le等[12]提出了多尺度快速反應神經(jīng)網(wǎng)絡(MS-FRCNN)方法來檢測手、手機和方向盤，提取幾何信息以及計算在方向盤上的手的數(shù)量，以判定駕駛員是否存在分心行為，該方法在方向盤和手機使用檢測方面相比Fast R-CNN有更好的性能。

上述研究雖取得一定研究成果，但分心駕駛檢測類型較多，它們只實現(xiàn)了對個別類型分心駕駛行為的識別，對其它分心駕駛類型沒有較好的研究成果。Tran等[13]提出了一種檢測多類別分心駕駛行為的深度學習方法，并設計了一種基于雙攝像頭的同步圖像識別系統(tǒng)，其將從駕駛員身體和面部采集的圖像輸入卷積神經(jīng)網(wǎng)絡，檢測分心駕駛行為。該方法與前述方法的區(qū)別在于分別對駕駛員的身體運動和面部進行監(jiān)控，將圖像同時送入2個卷積神經(jīng)網(wǎng)絡，以確保分類性能，實現(xiàn)96.7%的識別準確率，且能夠識別10種類型的分心行為。

而隨著對卷積神經(jīng)網(wǎng)絡的不斷深入研究，也有部分專家學者提出構建級聯(lián)卷積神經(jīng)網(wǎng)絡檢測框架[14]，并將其應用于駕駛員行為檢測。Xiong等[15]提出了一種基于深度學習的駕駛員手機使用檢測算法，首先利用PCN(Progressive Calibration Networks)算法進行人臉檢測和跟蹤，確定打電話行為檢測區(qū)域，其次采用基于卷積神經(jīng)網(wǎng)絡的駕駛員手機使用檢測方法對候選區(qū)域內的手機進行檢測。陳軍等[16]提出了一種級聯(lián)卷積神經(jīng)網(wǎng)絡檢測框架，第一級卷積網(wǎng)絡是一個輕量級的圖像分類網(wǎng)絡，負責對原始數(shù)據(jù)快速篩選；第二級卷積網(wǎng)絡遷移學習VGG模型權重，對第一級輸出的可疑分心行為圖像進一步精確檢測，此級聯(lián)網(wǎng)絡比單模型檢測方法識別駕駛分心行為效果更好，且具有較強的魯棒性和模型泛化能力。然而，在運用攝像頭或Kinect傳感器等設備采集圖像時，通常背景中存在大量與駕駛員行為無關的信息，也一定程度上會導致分心行為識別精度受限。

綜上，現(xiàn)有相關工作存在以下問題：1)分心行為種類繁多，應識別更多行為類別以避免動作誤分類；2)經(jīng)典單模型在同一數(shù)據(jù)集上的識別精度一定概率劣于級聯(lián)網(wǎng)絡模型；3)車載設備采集圖像存在冗余信息，造成識別精度受限。為此，提出一種去除噪聲干擾且能同時精確識別多種駕駛分心行為的級聯(lián)模型，來有效提高駕駛行為的檢測精度,是潛在的發(fā)展趨勢。

2 研究思路

基于深度學習的駕駛員分心行為識別方法的整體過程如圖1所示。模型以彩色圖像作為輸入，直接輸出駕駛員行為信息，是一種端到端的、非侵入式的駕駛員行為檢測算法。設計搭建一個級聯(lián)卷積神經(jīng)網(wǎng)絡結構，由2個部分組成：1)利用目標檢測算法預測駕駛員位置信息，確定候選區(qū)域；2)采用卷積神經(jīng)網(wǎng)絡模型對候選區(qū)域內的駕駛員分心行為進行精確識別。利用級聯(lián)卷積神經(jīng)網(wǎng)絡模型，可以用自動的特征學習過程代替手工的特征提取過程。

圖1 算法總體流程

2.1 確定候選區(qū)域

本文設計的駕駛員分心行為識別方法，期望在第一級卷積神經(jīng)網(wǎng)絡中，選擇一個主要包含駕駛員身體區(qū)域的感興趣區(qū)域(Interest of Region, ROI)作為候選區(qū)域，以達到提高整個算法分類精度的目的。具體地，對原始輸入圖像進行處理，根據(jù)不同駕駛行為特征確定目標檢測區(qū)域，從背景中提取出局部區(qū)域，去除冗余信息，再將該級的輸出作為下一級網(wǎng)絡的輸入。這不僅減少后續(xù)行為識別網(wǎng)絡的計算負擔，還為整個網(wǎng)絡模型提供了高質量的行為特征。

2.2 精確識別分心行為

將上一級網(wǎng)絡確定的候選區(qū)域送入本級卷積網(wǎng)絡，對駕駛員分心行為進行精確識別。本級網(wǎng)絡中，采用遷移學習策略，對預先訓練好的經(jīng)典卷積神經(jīng)網(wǎng)絡模型進行微調，將從大規(guī)模數(shù)據(jù)集中學習到的領域知識遷移到小規(guī)模的駕駛員行為識別任務中。本文期望實現(xiàn)準確識別的駕駛行為見表1。

表1 駕駛員分心行為類別

3 模型構建

3.1 第一級網(wǎng)絡構建

目前基于深度學習的目標檢測算法主要分為2類。1)兩階段檢測法：首先生成候選框區(qū)域，然后對候選框進行分類和調整，代表算法有R-CNN、Fast R-CNN、Faster R-CNN[17-19]等，這類算法精度較高，但存在檢測速度慢、算法實時性低等問題；2)單階段檢測法，無需生成候選框區(qū)域，提高了目標檢測的速度，代表算法是YOLO[20]、SSD[21]。圖2對比了上述目標檢測框架的精度(mAP)和速度(FPS)。

圖2 目標檢測算法性能對比

由圖2可見，SSD算法有較高的準確度和性能，兼顧了速度和精度。因此，本文擬采用目標檢測算法SSD作為第一級網(wǎng)絡模型，將駕駛員原始圖像作為SSD網(wǎng)絡輸入，確定候選區(qū)域。

SSD是一種直接預測對象類別和邊界框的目標檢測算法[22]，在原始圖像上直接通過分割好的窗口進行預測，故其速度快，可以達到實時檢測的要求。SSD的主要思想是在圖像的不同位置進行密集而均勻的采樣。在采樣時，綜合利用不同卷積層的輸出特征圖，采用多框預測的方式為輸出特征圖的每個預測位置生成多個邊界框，并設置不同的長寬比和尺度；然后通過卷積神經(jīng)網(wǎng)絡提取特征,直接進行分類和回歸[23]。圖3展示出了SSD網(wǎng)絡的整體框架。

圖3 SSD網(wǎng)絡模型結構

SSD網(wǎng)絡利用VGG16模型作為前饋卷積網(wǎng)絡提取圖像特征并對其進行了修改，即將VGG16的密集全連接層FC6和FC7層轉化為3×3卷積層Conv6和1×1卷積層Conv7，同時將池化層pool5由原來的2×2-S2轉換為3×3-S1，且去除所有的Dropout層和FC8層，并在VGG16提取特征以后增加了若干層卷積層，形成尺寸逐漸減小的“金字塔”型卷積神經(jīng)網(wǎng)絡結構[22]。在抽取不同尺度的特征圖做檢測時，低層特征圖感受野小，可以檢測小物體，而高層感受野較大，可以檢測較大物體。故抽取Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2層的特征圖，在不同尺寸的特征圖層上構造不同尺度大小的邊界框，分別進行檢測和分類，生成固定大小的候選框集合。對于每個候選框，計算框中對象類別的置信度并確定其類別，最后經(jīng)過非極大值抑制(Non-Maximum Suppression， NMS)方法來濾除一部分重疊度較大的候選框，生成最終的與駕駛員位置信息最匹配的檢測框，作為第二級網(wǎng)絡的輸入。

3.2 第二級網(wǎng)絡構建

設計第二級網(wǎng)絡，旨在對前一級網(wǎng)絡所確定的候選區(qū)域內的疑似分心行為圖像進行精確識別，從而有效判決正常駕駛與9種常見駕駛分心行為。

在計算機視覺領域，使用預訓練模型的常用方法是以訓練好的通用模型為基礎，將其視為一個固定的特征提取器而不調整模型參數(shù)，或者使用小規(guī)模數(shù)據(jù)集對預訓練的模型參數(shù)進行微調。為此，本文應用遷移學習策略，對預訓練模型的分類器和部分卷積層進行重新訓練，使用駕駛員行為數(shù)據(jù)集對模型的部分卷積層參數(shù)在原基礎上進行微調，可在較短時間內訓練出精度較高的模型。

卷積神經(jīng)網(wǎng)絡模型按層次結構可劃分為卷積基(包括池化層和卷積層)與密集全連接層。抽取不同深度的特征，從多個層次的表示中學習，有助于感知圖片的整體信息。隨著網(wǎng)絡層次的增加，特征越來越抽象。淺層的卷積特征以方向線段為主，學習低階的圖像特征；深層則以較大的拐角及形狀為主，學習高階的圖像特征。不同物體的淺層特征往往具有較大的相似性，從而訓練中卷積基學到的表示更加通用。而密集全連接層舍棄了位置信息，得到某個類別出現(xiàn)在整張圖像中的概率信息。因此，提取空間結構特征時，只需提取卷積基，保留卷積層的基本結構和性質，使其在特征提取和表示上保持優(yōu)勢；同時，釋放密集全連接層，將預訓練模型卷積基的通用權重參數(shù)應用到新的分類問題，從而可將大規(guī)模注釋數(shù)據(jù)集ImageNet中學到的知識轉移到駕駛員行為域。

本文選用VGG19、ResNet50、MobileNetV2這3種經(jīng)典卷積神經(jīng)網(wǎng)絡模型作為駕駛員行為識別的預訓練模型。上述3種模型均在ImageNet[24]上訓練得到，常用作遷移學習的預訓練模型。

3.2.1 VGG19

VGG19模型通過反復堆疊3×3的小型卷積核和2×2的最大池化層，構建了19層深的卷積神經(jīng)網(wǎng)絡，由16個卷積層和3個密集全連接層疊加而成。但VGG19模型有1000個類別輸出，且大規(guī)模注釋數(shù)據(jù)集并不總是可以用于特定的任務，因此必須對VGG19最后幾層進行修改，以使模型能夠滿足本文待解決的十分類任務。具體地，在保留卷積層的基本結構和性質的同時，需要在提取的空間特征上添加自定義密集全連接層構成新的分類器，將生成1000個類別概率的原始VGG19模型的最后幾層密集全連接層和輸出層替換為10個類別概率的新的密集全連接層和Softmax層；再對模型進行微調，輸出自己的分類預測?，F(xiàn)提取VGG19整個卷積基，在該卷積基上訓練自己的密集全連接分類器。在輸入數(shù)據(jù)上端到端地運行模型，確保每個輸入都可以經(jīng)過卷積基。然后在此模型基礎上進一步改進，重新訓練其部分卷積層，讓提取VGG特征上添加自定義密集全連接層后訓練的模型中的抽象表示和駕駛行為識別相關。經(jīng)過遷移學習改進后的VGG19模型如表2所示。

表2 遷移學習權重微調的VGG19配置

盡管VGG19有著優(yōu)異的表現(xiàn)，但因其卷積層的通道數(shù)過大，需要耗費更多計算資源，導致更多的內存占用，故其并不高效。

3.2.2 ResNet50

在計算機視覺里，網(wǎng)絡模型的深度和復雜度對于特征表示和泛化性能有顯著影響。隨著網(wǎng)絡深度增加，提取到不同層的特征越豐富，則網(wǎng)絡模型預測的準確度應該同步增加。然而，簡單地疊加卷積層來增加模型的深度并不能提供更好的訓練和泛化性能，成為訓練深層次網(wǎng)絡的障礙。因此，He等[25]引入了一種新的深度卷積神經(jīng)網(wǎng)絡模型，即殘差網(wǎng)絡(Residual Networks, ResNet)，旨在構建更深層次的卷積神經(jīng)網(wǎng)絡。通過引入殘差學習方案，ResNet在ILSVRC 2015中獲得第一名，并在ImageNet檢測、ImageNet定位、COCO檢測2015和COCO分割中勝出。

圖4(a)為殘差學習塊，其基礎映射函數(shù)可以表示為H(x)，x表示第一層的輸入。假設殘差網(wǎng)絡存在一個顯式的殘差映射函數(shù)，使得F(x)=H(x)-x，并且原始映射可以表示為F(x)+x。若F(x)=0，就構成了一個恒等映射H(x)=x，表明可以讓網(wǎng)絡隨深度增加而不退化。殘差學習塊的核心思想是：盡管H(x)和F(x)+x映射都能漸進地逼近所需函數(shù)，但學習F(x)+x的映射更加容易。ResNet在VGG19基礎上，利用“短路連接”機制形成殘差網(wǎng)絡。圖4(b)表示深度殘差網(wǎng)絡的完整結構，其中對每幾個堆疊層執(zhí)行殘差學習。通過引入恒等映射和從淺層模型復制其他層，深度殘差網(wǎng)絡可以有效地解決模型越深時的模型退化問題[25]。于2015年提出的模型結構主要包括ResNet50和ResNet101等，考慮到計算成本，選用ResNet50作為預訓練模型。經(jīng)過遷移學習改進后的ResNet50模型如表3所示。

圖4 殘差學習塊和深度殘差網(wǎng)絡

表3 遷移學習權重微調的ResNet50配置

3.2.3 MobileNetV2

多數(shù)卷積神經(jīng)網(wǎng)絡模型都需要很大的內存和計算量，特別是在訓練過程中。若想部署在移動端，因存儲空間和功耗的限制，需折中考慮準確度和計算量。鑒于此，近年來有研究人員提出了一種為移動和嵌入式設備設計的輕量化深度神經(jīng)網(wǎng)絡模型MobileNet[26]。

MobileNet由若干個深度可分離卷積模塊(即Xception變體結構)組成。此模塊本質上是對每個通道的輸入用深度卷積(DepthWise Convolution)和逐點卷積(PointWise Convolution)替換標準卷積。該分解操作可以大幅度減少參數(shù)量和計算量、降低復雜度，尺度和速度上更易滿足智能汽車車載嵌入式設備的要求。

MobileNetV2是MobileNetV1的改進版本，在保留MobileNetV1的深度可分離卷積模塊的基礎上，又結合了ResNet的快捷連接(shortcut connection)方式，解決了MobileNetV1在訓練過程中易出現(xiàn)的梯度彌散問題，效果有所提升[27]。故本文擬選取MobileNetV2作為預訓練模型并對其作出改進，經(jīng)遷移學習后的模型結構見表4。

表4 遷移學習權重微調的MobileNetV2配置

4 實驗與分析

4.1 數(shù)據(jù)預處理

隨著信息交流趨向全球化，數(shù)據(jù)可以通過各種渠道采集，出現(xiàn)了很多完備且效果優(yōu)秀的數(shù)據(jù)集。 本文實驗基于美國State Farm公司的駕駛員駕駛行為開源數(shù)據(jù)集，訓練和測試深度卷積網(wǎng)絡模型。該數(shù)據(jù)集采集了26位不同膚色、種族、年齡的受試者的不同駕駛行為圖片。每張圖片都包含駕駛員行為類別標簽，原始圖像尺寸大小均為640×480像素，隨機讀取部分駕駛員圖像見圖5。

圖5 State Farm數(shù)據(jù)集中駕駛員圖像示例

State Farm數(shù)據(jù)集中，駕駛員駕駛行為被分為本研究預測的10類，用C0～C9依次表示。數(shù)據(jù)集由102150張標簽圖像組成，其中訓練數(shù)據(jù)22424張，測試數(shù)據(jù)79726張。將原始訓練集中的圖像分為2類，80%的數(shù)據(jù)用于訓練，其余20%作為驗證集。

預處理階段，為加快卷積神經(jīng)網(wǎng)絡訓練過程，對原始RGB圖像進行處理，統(tǒng)一轉換為224×224×3的大小，以滿足VGG19、ResNet50和MobileNetV2的輸入要求。在訓練時，為防止過擬合，增強模型泛化能力，對原始數(shù)據(jù)集做了以下處理來生成可信圖像擴充數(shù)據(jù)集：1)采用數(shù)據(jù)增強技術，即對現(xiàn)有的訓練樣本作隨機偏移與水平隨機翻轉等變換；2)使用ImageDataGenerator生成更多圖像；3)采用分批、隨機讀取的形式以免數(shù)據(jù)按固定順序訓練。

4.2 模型訓練

4.2.1 實驗環(huán)境

本文實驗開發(fā)環(huán)境見表5。

表5 實驗環(huán)境

4.2.2 評估指標

在評價卷積神經(jīng)網(wǎng)絡的性能時，一般采用準確率作為評估指標，它反映了算法對全部樣本的判定能力。準確率為識別正確的樣本占總樣本的比例，其公式為：

其中，F(xiàn)P為假正類(預測為正類，實際為負類)，TP為真正類(正類判定為正類)，F(xiàn)N為假負類(預測為負類，實際為正類)，TN為真負類(負類判定為負類)。

4.2.3 模型訓練

為了降低卷積層的更新速度，選擇了一個小的初始學習率0.0001。訓練過程中，對以下重要指標進行監(jiān)控：1)訓練損失和驗證損失；2)訓練準確率和驗證準確率。為了得到準確且泛化性強的模型，采用早停(Early Stopping)法避免發(fā)生過擬合，具體地，設定當驗證損失連續(xù)10輪(Epoch)都不再減少(即減少的閾值小于0.0003)時，提前終止訓練。RMS-Prop優(yōu)化器和分類交叉熵(Categorical Cross Entropy)也用于損失函數(shù)。駕駛員行為識別方法第二級網(wǎng)絡模型訓練過程的結果如圖6～圖8所示，圖6～圖8分別表示遷移學習VGG19、ResNet50和MobileNetV2模型訓練過程在訓練集和驗證集上的損失曲線和準確率曲線。

圖6 遷移學習VGG19模型訓練過程損失/準確率曲線

圖7 遷移學習ResNet50模型訓練過程損失/準確率曲線

圖8 遷移學習MobileNetV2模型訓練過程損失/準確率曲線

遷移學習的VGG19模型深度有24層，參數(shù)達到了20.03 M(20029514)。訓練到第25輪時提前終止訓練，在訓練集上的損失和準確率分別達到1.4691和99.22%，在驗證集上的損失和準確率分別達到1.4812和98.78%。

遷移學習的ResNet50模型深度有168層，參數(shù)達到了23.61 M(23608202)。訓練到第19輪時提前終止訓練，在訓練集上的損失和準確率分別達到1.5167和94.44%，在驗證集上的損失和準確率分別達到1.4969和96.67%。

遷移學習的MobileNetV2模型深度有162層，參數(shù)量為2.26 M(2257984)。訓練到第43輪時提前終止訓練，在訓練集上的損失和準確率分別達到1.4721和98.90%，在驗證集上的損失和準確率分別達到1.4726和98.89%。

4.3 測試結果

利用測試集對模型的識別效果進行測試。第一級網(wǎng)絡(SSD網(wǎng)絡)輸出結果見圖9。為了評估本文提出的級聯(lián)卷積神經(jīng)網(wǎng)絡框架與單級卷積神經(jīng)網(wǎng)絡的識別效果差異，設計了3組對比實驗，并得到了不同模型在駕駛員行為數(shù)據(jù)集上的測試結果。實驗1、實驗2、實驗3依次選取遷移學習的VGG19、ResNet50、MobileNetV2模型與本文提出的模型作為對比，在State Farm數(shù)據(jù)集上的測試結果見表6。

圖9 SSD網(wǎng)絡預測效果

如表6所示，單模型VGG19、ResNet50、MobileNetV2在駕駛員行為數(shù)據(jù)集上測試的平均準確率分別為85.68%、86.91%、89.38%。本文提出的級聯(lián)網(wǎng)絡模型SSD+VGG19、SSD+ResNet50、SSD+MobileNetV2在同一數(shù)據(jù)集上的平均準確率分別為92.93%、92.97%、93.63%，顯然，平均識別準確率總體提升了4～7個百分點。實驗結果表明，本文提出的基于級聯(lián)卷積神經(jīng)網(wǎng)絡的駕駛員分心行為識別檢測框架相比于只利用經(jīng)過遷移學習權重微調的單級卷積神經(jīng)網(wǎng)絡模型的效果更好，并且可以實現(xiàn)9種駕駛員分心行為的精確檢測。

表6 網(wǎng)絡模型識別效果對比 單位： %

5 結束語

分心行為對道路交通的安全有顯著影響，而駕駛員的知覺行為控制是導致各類分心行為發(fā)生的主要因素。由于智能電話、導航系統(tǒng)及車載多媒體系統(tǒng)的普及及其功能的日益豐富，誘發(fā)駕駛員分心行為的因素越來越多。通過精確的駕駛員行為識別,可以有效降低道路交通事故發(fā)生率。為提高識別精度，本文提出了一種去除冗余信息干擾且能同時精確識別多種駕駛分心行為的級聯(lián)架構。在卷積神經(jīng)網(wǎng)絡單模型前先利用SSD目標檢測算法對原始圖像進行處理，從背景中提取出駕駛員身體區(qū)域，去除背景中的冗余信息。實驗結果表明，在行為識別卷積神經(jīng)網(wǎng)絡模型之前引入SSD網(wǎng)絡，相較于用原始圖像訓練的單模型，平均識別準確率總體提升了4～7個百分點，表明了采用級聯(lián)架構的優(yōu)越性。