夏嗣禮

(江蘇聯(lián)合職業(yè)技術(shù)學(xué)院 徐州財(cái)經(jīng)分院 信息技術(shù)系,江蘇 徐州 221008)

0 引言

分心駕駛是一種特殊的注意力分散類(lèi)型,通常指駕駛員注意力從駕駛轉(zhuǎn)移到其他活動(dòng),如接打電話(huà)、回復(fù)信息等[1]。與分心駕駛類(lèi)似的注意力分散類(lèi)型還有疲勞駕駛、情緒型駕駛等。

近年汽車(chē)保有量和駕駛員數(shù)量持續(xù)增加,與駕駛安全高度相關(guān)的分心駕駛風(fēng)險(xiǎn)日益凸顯。據(jù)2023年NHTSA發(fā)布的分心駕駛報(bào)告統(tǒng)計(jì)[2],2021全年有14%的機(jī)動(dòng)車(chē)事故是由分心駕駛引起,并導(dǎo)致了8%左右的致死交通事故,3522人死亡,受傷人數(shù)超36萬(wàn)。本研究旨在改進(jìn)視覺(jué)自注意力模型,通過(guò)分析連續(xù)視頻幀提升分心駕駛識(shí)別精度,對(duì)于糾正不良駕駛習(xí)慣、危險(xiǎn)預(yù)警和事故證據(jù)固定有積極意義。

1 分心駕駛識(shí)別

1.1 基于侵入式的分心駕駛識(shí)別

1.1.1 基于車(chē)輛駕駛信息的識(shí)別

車(chē)輛駕駛信息是判別分心駕駛最為直觀的指標(biāo),此類(lèi)研究通常借助曲軸、轉(zhuǎn)矩等傳感器收集車(chē)速、車(chē)道偏離、方向盤(pán)轉(zhuǎn)角和剎車(chē)制動(dòng)力度和頻度等信息。由于這些特征直接采集自行駛中的車(chē)輛,可提升分心駕駛判別的準(zhǔn)確度。其目的就是要區(qū)分這些駕駛特征在正常與分心駕駛之間的不同,使用SVM、AdaBoost、神經(jīng)網(wǎng)絡(luò)等分類(lèi)算法判別駕駛狀態(tài)[3]。

1.1.2 基于駕駛員生理指標(biāo)的識(shí)別

該類(lèi)研究多使用侵入式設(shè)備獲取駕駛員的生理信息,如心率波動(dòng)、瞳孔變化和腦電信號(hào)等,由此判別駕駛員是否處于分心狀態(tài)[4]。此類(lèi)研究為保證安全,多采用實(shí)驗(yàn)室環(huán)境,因此無(wú)法還原真實(shí)駕駛情況,且侵入式設(shè)備造價(jià)較高不便于大規(guī)模部署,部分侵入式設(shè)備還存在干擾正常駕駛的風(fēng)險(xiǎn)。

1.2 基于計(jì)算機(jī)視覺(jué)的識(shí)別

高級(jí)駕駛輔助系統(tǒng)(Advanced Driving Assistance System,ADAS)的日漸普及提升了車(chē)載攝像頭的覆蓋率,ADAS通過(guò)分析研判駕駛員行駛過(guò)程中的圖像,可以較好地進(jìn)行駕駛狀態(tài)的識(shí)別。其優(yōu)勢(shì)在于采用了非侵入式采集方式,經(jīng)濟(jì)性較優(yōu),并能提供全天候的車(chē)載圖像,易于采集大量數(shù)據(jù)支撐實(shí)驗(yàn)。

1.2.1 基于人體姿勢(shì)的識(shí)別

分心駕駛通常是由于駕駛員將注意力分散至駕駛次任務(wù)或其他與駕駛無(wú)關(guān)任務(wù),如接打電話(huà)、與后排乘客交談等。此類(lèi)情況下,駕駛員的體態(tài)會(huì)發(fā)生一系列變化,通過(guò)分析人體姿勢(shì)可以甄別當(dāng)前駕駛狀態(tài)。此類(lèi)行為動(dòng)作幅度較大,十分影響車(chē)輛精準(zhǔn)控制[5]。

1.2.2 基于頭部姿態(tài)的識(shí)別

頭部是駕駛過(guò)程中行為最為豐富的人體區(qū)域,眾多駕駛行為與之高度相關(guān),也是ADAS廠商重點(diǎn)檢測(cè)區(qū)域。相較于眼部圖像,頭部姿勢(shì)的捕獲更為方便,特征也更易表達(dá),通常使用3個(gè)角參量平動(dòng)角(Yaw)、轉(zhuǎn)動(dòng)角(Pitch)和滾動(dòng)角(Roll)來(lái)表達(dá)。通過(guò)研判駕駛員的頭部姿勢(shì),研究人員更易獲取駕駛員當(dāng)前是否具備風(fēng)險(xiǎn)意識(shí)和制動(dòng)準(zhǔn)備[6]。

2 改進(jìn)視覺(jué)自注意力模型

2.1 網(wǎng)絡(luò)模型

選取視覺(jué)自注意力模型ViT(Vision Transformer)作為整體網(wǎng)絡(luò)的backbone,本研究提出改進(jìn)型模型ViT_CR。其主體思想是基于ViT強(qiáng)大的特征提取能力,改進(jìn)MLP頭部后的單一分類(lèi)層,通過(guò)多任務(wù)融合損失函數(shù)優(yōu)化精確度。如圖1所示,模型先添加多分類(lèi)層,用以勝任角度區(qū)間預(yù)測(cè)任務(wù),再通過(guò)回歸分析逼近真實(shí)角度。由于對(duì)歐拉角采用了解耦訓(xùn)練策略,模型能分別預(yù)測(cè)各角度值進(jìn)行更精細(xì)的頭部姿勢(shì)表達(dá)。

圖1 改進(jìn)的視覺(jué)自注意力模型結(jié)構(gòu)

ViT_CR在Patch Embedding模塊統(tǒng)一將224×224圖像分割成多個(gè)固定大小patch,如圖1所示,圖像被分割為9份,進(jìn)而通過(guò)線(xiàn)性映射將每個(gè)patch映射到一個(gè)向量空間。為每個(gè)patch的向量表示加上位置編碼,以表征patch在圖像中的位置信息。然后將patch的向量序列輸入標(biāo)準(zhǔn)的編碼器,通過(guò)多頭自注意力機(jī)制學(xué)習(xí)patch之間的關(guān)聯(lián)特征。ViT_CR采用6個(gè)編碼器堆疊方式,為平衡模型精度和訓(xùn)練效率,其中的注意力頭數(shù)設(shè)計(jì)為8個(gè),前饋網(wǎng)絡(luò)維度設(shè)定為2048。

2.2 損失函數(shù)

模型采用多任務(wù)融合損失優(yōu)化模型訓(xùn)練,具體如式(1)所示,選擇交叉熵?fù)p失函數(shù)H(p,q)評(píng)估區(qū)間預(yù)測(cè)準(zhǔn)確性。由于采用了解耦訓(xùn)練策略,對(duì)于回歸預(yù)測(cè)階段,模型選用均方誤差MSE(y,y′)作為3個(gè)FC層的損失函數(shù)。其中,p為區(qū)間預(yù)測(cè)概率,q為區(qū)間實(shí)際概率,y為實(shí)際值,y′為真實(shí)值,權(quán)重α選定為0.5。

Loss:αH(p,q)+(1-α)MSE(y,y′)=

(1)

3 基于連續(xù)視頻幀的分心駕駛識(shí)別方法

對(duì)于單張圖像的分心駕駛識(shí)別,無(wú)論是從精確度還是操作便捷性上,各類(lèi)識(shí)別模型均易有較優(yōu)的表現(xiàn)。2022年,何廷全等[7]利用改進(jìn)型YOLOv5對(duì)Kaggle分心駕駛數(shù)據(jù)集SF3D進(jìn)行檢測(cè),模型在精確度、召回率上均取得了較好的表現(xiàn)。

基于單張圖像的分心駕駛識(shí)別其本質(zhì)是一個(gè)二分類(lèi)任務(wù),以此做判別存在較大的不確定性。此外,單張圖像也無(wú)法表達(dá)該時(shí)刻前后的駕駛信息,而分心駕駛行為是持續(xù)性的。例如,以頭部姿勢(shì)為判別特征,在分心駕駛階段,其頭部姿勢(shì)應(yīng)呈現(xiàn)出一定的相關(guān)性。因此,采用連續(xù)視頻幀的方式進(jìn)行判斷更精確,能較好地規(guī)避機(jī)械式二分類(lèi)判別分心駕駛的偶然性。

方法的設(shè)計(jì)思想是通過(guò)計(jì)算各樣本點(diǎn)與正常駕駛的基點(diǎn)的關(guān)聯(lián)程度,判斷該時(shí)刻駕駛狀態(tài),到達(dá)一定閾值后即可進(jìn)行判別。安全閾值來(lái)自“2 s準(zhǔn)則”[8],即連續(xù)2 s判定為分心狀態(tài),則視為分心駕駛。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 數(shù)據(jù)集及訓(xùn)練策略

實(shí)驗(yàn)共分2個(gè)階段,第一階段為驗(yàn)證ViT_CR在頭部姿勢(shì)估計(jì)真實(shí)表現(xiàn),第二階段為驗(yàn)證基于連續(xù)視頻幀的分心駕駛識(shí)別方法的可行性。因此在第一階段采用AFLW數(shù)據(jù)集,AFLW是一個(gè)擁有頭部姿勢(shì)標(biāo)注的多角度人臉數(shù)據(jù)集,剔除極端頭部姿勢(shì)圖像后,劃分訓(xùn)練集16825張,驗(yàn)證集來(lái)自AFLW2000集,共1932張。第二階段采用真實(shí)駕駛視頻幀數(shù)據(jù)集Dimgs,如圖2所示依次為安全駕駛、觀察左右后視鏡、手部小動(dòng)作、使用手機(jī)、轉(zhuǎn)身、調(diào)節(jié)車(chē)載設(shè)備和飲食。采集策略為全天候多人次,采集幀率20 fps,正常駕駛共計(jì)8000張,分心駕駛共計(jì)3000張。

圖2 真實(shí)駕駛視頻幀數(shù)據(jù)集Dimgs的劃分說(shuō)明

為提升訓(xùn)練效率,降低算力負(fù)擔(dān),實(shí)驗(yàn)對(duì)ViT_CR的分類(lèi)器部分提前進(jìn)行了ImageNet分類(lèi)訓(xùn)練。同時(shí),為了降低過(guò)擬合的風(fēng)險(xiǎn),實(shí)驗(yàn)對(duì)AFLW進(jìn)行了隨機(jī)下采樣、高斯模糊和翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)操作。

4.2 頭部姿勢(shì)估計(jì)實(shí)驗(yàn)結(jié)果及分析

(2)

表1 各頭部姿勢(shì)估計(jì)模型在AFLW2000的測(cè)試結(jié)果

SDM是一種基于級(jí)聯(lián)回歸的人臉對(duì)齊方法;Dlib是一種基于68個(gè)人臉關(guān)鍵點(diǎn)的傳統(tǒng)檢測(cè)方法;SSR與FSA均是基于卷積網(wǎng)絡(luò)的模型,其性能優(yōu)于級(jí)聯(lián)回歸和人臉關(guān)鍵點(diǎn)法。ViT_CR取得了各角參量的最優(yōu)誤差,MAE為4.61。

4.3 分心駕駛識(shí)別實(shí)驗(yàn)結(jié)果及分析

一階段實(shí)驗(yàn)驗(yàn)證了ViT_CR于頭部姿勢(shì)估計(jì)的良好性能,二階段實(shí)驗(yàn)重在分析正常駕駛與分心駕駛在頭部姿勢(shì)的差異,并根據(jù)連續(xù)視頻幀的方法驗(yàn)證識(shí)別效果。

Dimgs采集攝像頭是固定位置,需計(jì)算該位置下8000幀安全駕駛圖像的角參量分布。如圖3所示,安全駕駛的頭部姿勢(shì)分布高度聚集,由此得出一個(gè)三元組(-27.5,2.3,4.0),對(duì)該三元組求取歐氏距離并升序排列,可以發(fā)現(xiàn)前90%的樣本分布平穩(wěn),在拐點(diǎn)之后分布偏差加大,可視為噪聲或個(gè)別極端幀,摒棄后得到安全閾值范圍Yaw(-45°,-13°)、Pitch(-10°,15°)、Roll(-5°,15°),安全距離閾值d為18.6。

圖3 Dimgs安全駕駛角參量分布與基點(diǎn)的距離情況

進(jìn)而驗(yàn)證此識(shí)別方法的實(shí)際表現(xiàn),測(cè)試時(shí)間窗口均為5 s,對(duì)應(yīng)100幀。驗(yàn)證數(shù)據(jù)集共分為3類(lèi),t1—t5為安全駕駛,t6—t10為安全駕駛中的觀察左右后視鏡,t11—t15為分心駕駛(1個(gè)Dist_h、3個(gè)Dist_p和1個(gè)Dist_h)。經(jīng)過(guò)ViT_CR計(jì)算得出t1—t15的空間分布,如圖4所示。可直觀看出,t1—t5,整體分布在閾值以下;t6—t10,頭部動(dòng)作增多,但大致分布也在閾值以下;t11—t15,大部分分布在閾值之上。

圖4 t1—t15連續(xù)視頻幀的空間分布

為更好分析各駕駛狀態(tài)的頭部分布,根據(jù)2 s準(zhǔn)則設(shè)計(jì)了3個(gè)輔助判斷指標(biāo)all、max和count,分別表示異常百分占比、最大持續(xù)幀數(shù)和超閾值次數(shù)(連續(xù)超4幀累加1)。如表2所示,可定量表示分心駕駛情況,此3項(xiàng)參數(shù)均明顯高于安全駕駛。

表2 t1至t15連續(xù)視頻幀分心判別參數(shù)

5 結(jié)語(yǔ)

本文借助經(jīng)濟(jì)性好、部署簡(jiǎn)單的車(chē)載攝像頭采集實(shí)際駕駛圖像,為實(shí)驗(yàn)提供真實(shí)可靠的訓(xùn)練數(shù)據(jù)。本文設(shè)計(jì)了一種改進(jìn)視覺(jué)自注意力模型ViT_CR,用于頭部姿勢(shì)估計(jì),在實(shí)驗(yàn)中表現(xiàn)出了良好的性能;針對(duì)單張圖像表達(dá)能力弱的短板,提出一種基于連續(xù)視頻幀的分心駕駛識(shí)別方法,有效驗(yàn)證了正常與分心駕駛的頭部姿勢(shì)不同,對(duì)于分心駕駛識(shí)別具有積極意義。