許 旻，馬晨東，羅紫琳

(蘇州市職業(yè)大學(xué) 計算機工程學(xué)院，江蘇 蘇州 215104)

0 引言

隨著社會生活水平的不斷提高以及汽車數(shù)量大幅增加，汽車、公交車、中小型客車作為代步工具被越來越廣泛應(yīng)用于日常生活中，而伴隨著交通事故頻率也越來越高。交通事故調(diào)查統(tǒng)計結(jié)果表明，疲勞駕駛或分心駕駛是引發(fā)交通事故的主要因素。如果能對駕駛員的駕駛狀態(tài)進行檢測，并對其危險駕駛狀態(tài)進行事故預(yù)警，能有效改善道路的安全性。研究如何提高對駕駛員疲勞或分心特征檢測的準(zhǔn)確率、快速判斷駕駛行為是否處于危險狀態(tài)，對于交通安全駕駛問題的改善有著重大意義，也是相關(guān)領(lǐng)域技術(shù)人員需要解決的技術(shù)問題。

1 國內(nèi)外檢測危險駕駛方法

目前，國內(nèi)外檢測危險駕駛的方法主要通過對目標(biāo)特征進行實時檢測，通過處理與計算檢測數(shù)據(jù)判斷出駕駛?cè)耸欠裉幱谄诨蚍中鸟{駛狀態(tài)。根據(jù)檢測目標(biāo)特征不同可以分為3種不同的方案：基于駕駛員生理特征、基于駕駛員行為及面部特征和基于車輛運動特征。

基于駕駛員生理特征的檢測方法，主要通過接觸式設(shè)備與駕駛員身體接觸，監(jiān)測駕駛員的腦電信號、心電信號、肌電信號等生理特征參數(shù)，然后進行信號的特征提取與分析，最后將檢測到的數(shù)據(jù)與非危險狀態(tài)下的數(shù)據(jù)進行分析與對比，從而判斷出駕駛?cè)耸欠裉幱谄隈{駛狀態(tài)。徐禮勝[1]等提出基于短時心電信號疲勞駕駛檢測算法，即采集時長為30 s的短時心電信號序列數(shù)據(jù)，然后對數(shù)據(jù)進行預(yù)處理，去除掉極端樣本數(shù)據(jù)，利用該序列的時域/頻域特征與卷積神經(jīng)網(wǎng)絡(luò)對ImageNet數(shù)據(jù)集訓(xùn)練的特征進行結(jié)合，對這些特征分類，用分類結(jié)果對駕駛?cè)诉M行危險駕駛檢測。該類于駕駛員生理特征的檢測方法準(zhǔn)確性、可靠性、精度性相對較高，但是因為要與駕駛?cè)讼嘟佑|，會給駕駛?cè)藥聿槐?，可能會干擾到駕駛?cè)说恼２僮鳌?/p>

基于駕駛?cè)说男袨榧懊娌刻卣鞯臋z測方法主要是通過計算機視覺識別技術(shù)對獲取的駕駛?cè)藞D像進行處理，提取駕駛?cè)说念^部位置、眼睛眨眼頻率以及嘴巴等特征，并對獲得的這些特征信息進行處理，最后判斷出駕駛?cè)耸欠裉幱谄隈{駛狀態(tài)。通過Violla-Jones算法[2]檢測面部表情和眼睛位置，再通過眼睛追蹤技術(shù)，采集駕駛?cè)说难劬φＱ鄣某掷m(xù)時間、眨眼的頻率等特征來完成檢測；這類基于駕駛?cè)说男袨榧懊娌刻卣鞯臋z測方法是利用攝像頭或紅外熱成像技術(shù)來獲取檢測數(shù)據(jù)，然后再提取出目標(biāo)特征，進而進行危險判斷。這種檢測方法易受到光線、姿態(tài)的影響，檢測效率有待提高。

駕駛行為是影響汽車安全駕駛的主要因素，很大程度上也能體現(xiàn)駕駛員的精神狀態(tài)。當(dāng)駕駛?cè)颂幱谖ｋU駕駛狀態(tài)時，應(yīng)激反應(yīng)會有延遲，對車輛的控制能力降低，操作水平也會下降，因此危險駕駛狀態(tài)時所駕駛車輛的行為特征與正常駕駛時的行為特征相比是有差異的。Wang[3]等提出的疲勞駕駛檢測算法是對實車的方向盤操作特征進行提取、分析，提取實驗數(shù)據(jù)在時域以及頻域上的指標(biāo)，最后對指標(biāo)處理并設(shè)計SVM分類器，從而推導(dǎo)出疲勞駕駛檢測算法。這類基于車輛行為特征的危險駕駛檢測方法，通過非接觸式的檢測設(shè)備，對車輛的行為特征進行提取，所需成本低、性價比高，但檢測需與車輛型號、道路實際情況以及個人駕駛習(xí)慣等因素相關(guān)聯(lián)，因此準(zhǔn)確率不夠高。

綜上所述，本文將針對人臉特征和駕駛狀態(tài)識別與檢測的相關(guān)算法模型，進行重新優(yōu)化設(shè)計以及多技術(shù)配合，達(dá)到總體算法最優(yōu)目的。

2 系統(tǒng)算法流程及功能模塊

系統(tǒng)基于車載攝像頭采集駕駛員臉部特征及人體行為，采用局部區(qū)域多特征和深度學(xué)習(xí)特征融合的算法進行分析，通過判斷出來的駕駛員的疲勞或分心駕駛狀態(tài)給予駕駛員相應(yīng)的預(yù)警信息，并以語音提醒方式引導(dǎo)駕駛員停止危險行駛狀態(tài)。算法中通過攝像頭獲取視頻幀圖片，根據(jù)視頻流采集的數(shù)據(jù)，對人臉檢測和定位后，對人臉關(guān)鍵點檢測，再通過頭部3D姿態(tài)估計、眼睛和嘴巴部位摳圖，根據(jù)業(yè)務(wù)規(guī)則和狀態(tài)分類網(wǎng)絡(luò)設(shè)計來判定是否疲勞駕駛還是分心駕駛。算法流程如圖1所示。

圖1 危險駕駛檢測算法流程

根據(jù)以上算法，系統(tǒng)基本實現(xiàn)對人眼閉合、東張西望、低頭犯困、打哈欠4種駕駛狀態(tài)的檢測與識別功能。當(dāng)發(fā)生疲勞和分心行為時，右邊參數(shù)會有相應(yīng)脈沖，可通過參數(shù)的變化檢測到是否有疲勞和分心行為，當(dāng)這些行為達(dá)到一定頻率時，將語音預(yù)警。同時本系統(tǒng)可以實現(xiàn)本地化離線部署，更能按照駕駛員生理特征，對檢測閾值提前做好參數(shù)調(diào)整，以更精準(zhǔn)的方式檢測駕駛過程中是否發(fā)生危險駕駛行為。調(diào)參界面如圖2所示。

圖2 調(diào)參界面

3 關(guān)鍵技術(shù)研究

危險駕駛狀態(tài)檢測預(yù)警系統(tǒng)主要包括以下模塊：人臉檢測、人臉關(guān)鍵點檢測、人眼閉合狀態(tài)識別、東張西望狀態(tài)識別、低頭犯困狀態(tài)識別、駕駛行為判斷、語音預(yù)警。涉及人臉對齊校正、頭部姿態(tài)模擬、局部區(qū)域多特征和深度學(xué)習(xí)特征融合的人臉狀態(tài)檢測算法、增強學(xué)習(xí)決策器(分類和檢測模型)以及各種深度學(xué)習(xí)算法小型化的加速和壓縮算法等關(guān)鍵技術(shù)。

3.1 人臉檢測模塊

MTCNN算法是一種基于深度學(xué)習(xí)的完成人臉檢測和人臉對齊的多任務(wù)神經(jīng)網(wǎng)絡(luò)模型，它是由一個3層網(wǎng)絡(luò)(P-Net、R-Net、O-Net)組成的卷積網(wǎng)絡(luò)結(jié)構(gòu)[4]。在該模塊中，使用改進的MTCNN算法[5]對IMG進行人臉檢測：在預(yù)先訓(xùn)練好的人臉檢測器中，輸入待識別無深度信息圖片IMG，若IMG中沒有檢測到人臉，則返回去輸入下一幅待識別的圖像；若從IMG中檢測到人臉，則標(biāo)記出其人臉框定位點的橫縱坐標(biāo)、人臉框的長寬，以及人臉關(guān)鍵特征點位置，將人臉框截取出來，最終得到人臉。通過改進MTCNN算法使得其脫離服務(wù)器端的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，重新設(shè)計的基于C++相關(guān)庫和Armadillo矩陣加速庫，可以更加快速有效且小型化地實現(xiàn)人臉關(guān)鍵點檢測。另外，可以對閾值也進行了適當(dāng)?shù)奶岣?，這將大幅度減少每一步中候選框的數(shù)量，減少大量計算量，同時不會引起過大的誤差。

3.2 人臉關(guān)鍵點檢測模塊

級聯(lián)回歸方法是通過回歸關(guān)鍵點位置處提取的特征逐步逼近真實關(guān)鍵點位置，可以很好地實現(xiàn)人臉對齊結(jié)果[6]。SDM(Supervised Descent Method[7])監(jiān)督下降方法算法是基于關(guān)鍵點位置索引特征[8]，使用級聯(lián)線性回歸來輸出關(guān)鍵點位置，模型簡單高效且易于理解，是眾多級聯(lián)回歸方法中最有效的方法之一。

在該模塊中，調(diào)用預(yù)先訓(xùn)練好的人臉關(guān)鍵點檢測模型對所述人臉區(qū)域進行檢測，得到人臉關(guān)鍵點數(shù)據(jù)，通過提取SIFT特征，使用SDM監(jiān)督梯度下降的方法來求解非線性最小二乘問題，以提高人臉關(guān)鍵點檢測的對齊誤差校正。

3.3 人眼閉合狀態(tài)識別模塊

人眼閉合狀態(tài)，很多時候受限于攝像頭拍攝視頻圖片的質(zhì)量，本模塊自定義了某種小型N層設(shè)計的深度學(xué)習(xí)網(wǎng)絡(luò)，使用經(jīng)過多次測試和改進的損失函數(shù)在大量數(shù)據(jù)的訓(xùn)練下識別效果明顯，不再受限于人臉關(guān)鍵點檢測的比例判定以及攝像頭拍攝視頻圖像的質(zhì)量。

3.4 東張西望狀態(tài)識別模塊

本模塊基于人臉檢測、人臉關(guān)鍵點檢測和三維透視變換技術(shù)，經(jīng)過處理得到人臉平面和頭部偏轉(zhuǎn)的角度等頭部姿態(tài)等信息，進而能夠?qū)崟r判斷駕駛中東張西望等分心動作。

3.5 低頭犯困狀態(tài)識別模塊

本模塊在車載資源受限的環(huán)境下，對于低頭行為檢測這樣的分類和檢測深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練，設(shè)計和優(yōu)化了一種針對近紅外圖像的特定模型，采用多分類深度學(xué)習(xí)訓(xùn)練的網(wǎng)絡(luò)，構(gòu)建局部區(qū)域多特征融合的目標(biāo)檢測和分類模型，使得在較小的模型規(guī)模下，獲得更高的識別精度。構(gòu)建的模型中主要使用深度學(xué)習(xí)模型的小型化技術(shù)，即壓縮技術(shù)和加速技術(shù)；壓縮的方法重點在于操作全連接層，加速的方法重點在于操作卷積層。模型壓縮的主要思想是減少參數(shù)，減少比特數(shù)，一般模型壓縮過程中也會加速模型，目標(biāo)就是讓模型在存儲上變得更小、運算上速度更快。

3.6 駕駛行為判斷模塊

在該模塊中，根據(jù)頭部姿態(tài)估計模塊，將所述人臉區(qū)域圖像中的人臉進行對齊，基于頭部姿態(tài)估計算法和所述人臉關(guān)鍵點數(shù)據(jù)計算對齊后的人臉區(qū)域圖像中頭部姿態(tài)角；根據(jù)人臉狀態(tài)檢測模塊，調(diào)用預(yù)先構(gòu)建的人臉狀態(tài)檢測模型對所述人臉區(qū)域圖像進行分析，得到人眼閉合狀態(tài)特征和嘴部動作特征，根據(jù)以上特征生成危險駕駛行為判決結(jié)果。使用局部區(qū)域多特征向量與深度學(xué)習(xí)特征融合的人臉狀態(tài)檢測方法，和基于Q-learning增強學(xué)習(xí)決策器對駕駛狀態(tài)進行分類和檢測，大大提高了識別的速度和準(zhǔn)確率。

3.7 語音預(yù)警模塊

本模塊通過系統(tǒng)集成的語音模塊，利用先進的自然語言處理技術(shù)、語音建模，使用大量的語音數(shù)據(jù)庫訓(xùn)練，生成智能語音模型，對監(jiān)控對象進行識別、判斷，并在檢測到有疲勞或分心駕駛的條件下，把系統(tǒng)發(fā)出的指令生成報警聲提示駕駛員，實現(xiàn)車載設(shè)備和駕駛員之間的良好交互性。

4 結(jié)語

系統(tǒng)通過大量數(shù)據(jù)集(CEW 數(shù)據(jù)集、Yaw DD 數(shù)據(jù)集)訓(xùn)練，對人眼閉合、東張西望、低頭犯困、打哈欠4種行為檢測并不斷調(diào)整閾值精度，對比現(xiàn)有的危險駕駛狀態(tài)檢測算法，識別精度高、檢測速度快。未來將通過大數(shù)據(jù)獲得更多的駕駛員行車狀態(tài)，不斷完善算法、強化算法，不斷加強它的精準(zhǔn)度來保持行業(yè)領(lǐng)先水平，為行車安全添加保障，使其滿足更廣闊的需求。