王小榮，張益通，彭 炫

(新疆大學(xué) 工程訓(xùn)練中心，新疆 烏魯木齊 830001)

1 車載疲勞駕駛檢測(cè)系統(tǒng)研究背景與問題

近年來,中國(guó)每年因疲勞駕駛造成的交通事故數(shù)量不斷上升,研發(fā)一款對(duì)駕駛員進(jìn)行疲勞檢測(cè)并及時(shí)提醒駕駛員從而保障其交通安全的系統(tǒng)非常有必要[1]。目前,市面上的疲勞駕駛檢測(cè)較少并且推廣范圍小,主要做到的是眨眼、低頭、打哈欠檢測(cè),會(huì)對(duì)司機(jī)低頭查看儀表盤等動(dòng)作進(jìn)行誤判,系統(tǒng)的準(zhǔn)確性有待進(jìn)一步提高。

國(guó)內(nèi)外對(duì)于疲勞駕駛檢測(cè)系統(tǒng)的研究較為全面。目前，普遍的檢測(cè)方法大同小異，可以歸納為：基于機(jī)器視覺對(duì)疲勞駕駛檢測(cè)技術(shù)進(jìn)行研究,將疲勞檢測(cè)的過程分為人臉檢測(cè)、人臉特征點(diǎn)提取、疲勞特征的提取與識(shí)別三步。

在此基礎(chǔ)上，添加車道線分割,通過對(duì)車輛行駛異常狀態(tài)的判定與駕駛員面部微表情的結(jié)合,從而大大降低了這種誤判行為,提高了系統(tǒng)的準(zhǔn)確性,并且在系統(tǒng)中加入了目標(biāo)檢測(cè),可以檢測(cè)抽煙、打電話等不安全行為,進(jìn)一步保障駕駛員的安全[2]。系統(tǒng)的機(jī)械結(jié)構(gòu)外觀如圖1所示。

圖1 渲染

2 新型車載疲勞駕駛檢測(cè)系統(tǒng)的設(shè)計(jì)

2.1 設(shè)計(jì)思路

為更好地解決現(xiàn)有的疲勞駕駛問題，需設(shè)計(jì)新型檢測(cè)系統(tǒng)。一個(gè)合格的車載疲勞駕駛檢測(cè)系統(tǒng)對(duì)速度和便捷方面有很高的要求。采用英偉達(dá)的Jetson nano開發(fā)板，該開發(fā)板上的GPU具有快速進(jìn)行圖片處理的優(yōu)勢(shì)，同時(shí)體積小巧，能夠滿足該系統(tǒng)的需求。圖2、圖3與圖4分別為系統(tǒng)的硬件結(jié)構(gòu)圖、內(nèi)部構(gòu)造與零件圖與整體的思路圖。

圖2 硬件結(jié)構(gòu)

圖3 內(nèi)部構(gòu)造與零件

圖4 整體思路

在檢測(cè)方面，本研究采用了三元子人臉關(guān)鍵點(diǎn)檢測(cè)，提取眼部、嘴部和頭部的關(guān)鍵點(diǎn)來判斷駕駛員是否閉眼、打哈欠和低頭。為了防止誤判，將該算法與無(wú)人駕駛中的車道線分割技術(shù)相結(jié)合，通過檢測(cè)車輛的行駛狀況是否異常來判定駕駛員是否疲勞駕駛[3]。

2.2 研究方法

研究所采用的方法是關(guān)鍵點(diǎn)檢測(cè)+車道線分割+目標(biāo)檢測(cè)。

2.2.1 疲勞駕駛檢測(cè)算法之關(guān)鍵點(diǎn)檢測(cè)

(1)攝像頭提取駕駛員面部圖片。

(2)68關(guān)鍵點(diǎn)提取模型提取駕駛員面部關(guān)鍵點(diǎn)。

(3)計(jì)算眼睛長(zhǎng)寬比(Eye Aspect Ratio，EAR)。當(dāng)人眼睜開時(shí)，EAR在某個(gè)值上下波動(dòng)；當(dāng)人眼閉合時(shí)，EAR迅速下降。

(4)計(jì)算嘴部長(zhǎng)寬比(Mouth Aspect Ratio，MAR)。當(dāng)人眼睜開時(shí)，EAR在某個(gè)值上下波動(dòng)；當(dāng)嘴部大幅度張開時(shí)，MAR迅速上升。

(5)對(duì)EAR和MAR設(shè)一個(gè)閾值，當(dāng)EAR低于或者M(jìn)AR高于閾值時(shí)計(jì)算時(shí)間。

(6)提取頭部2D關(guān)鍵點(diǎn)。

(7)采用Head Pose Estimation算法，利用2D人臉關(guān)鍵點(diǎn)檢測(cè)進(jìn)行3D人臉模型匹配，求解3D點(diǎn)和對(duì)應(yīng)2D點(diǎn)的轉(zhuǎn)換關(guān)系。

(8)根據(jù)旋轉(zhuǎn)矩陣求解歐拉角,當(dāng)角度大過一定值時(shí),判定為低頭。

2.2.2 疲勞駕駛檢測(cè)算法之車道線分割

(1)采用FCN神經(jīng)網(wǎng)絡(luò)，通過網(wǎng)絡(luò)車道線數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。

(2)將該算法與激光雷達(dá)相結(jié)合，判定車輛是否行駛出駕駛區(qū)域，從而判定車輛駕駛是否正常。

(3)將該算法與關(guān)鍵點(diǎn)提取算法結(jié)合，判定駕駛員是否疲勞駕駛。

2.2.3 疲勞駕駛檢測(cè)算法之目標(biāo)檢測(cè)

(1)將yolov5神經(jīng)網(wǎng)絡(luò)進(jìn)行修改增加空間向量注意力機(jī)制(CBAM)，從而提高網(wǎng)絡(luò)的準(zhǔn)確度。

(2)采用自制抽煙打電話數(shù)據(jù)集，訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到y(tǒng)olov5s_CBAM模型。

(3)使用該模型進(jìn)行抽煙、打電話等行為的識(shí)別，具體檢測(cè)圖像如圖5和圖6所示。

圖5 抽煙檢測(cè)

圖6 手機(jī)檢測(cè)

2.3 新型系統(tǒng)特色

使用三元子算法進(jìn)行人臉關(guān)鍵點(diǎn)的標(biāo)注提取，大幅度提高了人臉面部微表情的識(shí)別準(zhǔn)確度，同時(shí)使用了無(wú)人車駕駛的部分技術(shù)——將車道線分割與激光雷達(dá)加入其中，大大降低了該系統(tǒng)誤判的可能性，并且加入了目標(biāo)檢測(cè)技術(shù)，可以檢測(cè)開車時(shí)抽煙打電話等不安全行為，進(jìn)一步保障駕駛員的安全，有效解決疲勞駕駛檢測(cè)的問題。

3 結(jié)語(yǔ)

通過對(duì)人臉關(guān)鍵點(diǎn)的提取以及車輛行駛狀態(tài)的判定，技術(shù)人員可以以較高的準(zhǔn)確率檢測(cè)駕駛員的行駛狀態(tài)，同時(shí)采用jetson nano開發(fā)板上的GPU算力，快速對(duì)圖像數(shù)據(jù)進(jìn)行處理，做到實(shí)時(shí)準(zhǔn)確地對(duì)疲勞駕駛的檢測(cè)判定。該系統(tǒng)高度集成于嵌入式開發(fā)板中，體積小巧，可以適用于各種車輛，有效減少交通事故的發(fā)生[4]。