王子純 方嬌 邱敏霞 李鑫 楊雪
摘? ?要:隨著我國經(jīng)濟的快速發(fā)展,汽車持有量逐年增加,與之相關(guān)的交通安全問題也日益突出,而疲勞駕駛是造成交通事故的主要因素之一。因此,關(guān)于疲勞駕駛的檢測和預(yù)防成為現(xiàn)主要階段研究的內(nèi)容,包括對人臉進行檢測定位、識別并判斷眼睛狀態(tài)從而判斷駕駛?cè)耸欠衿?。目的在于用非接觸式的設(shè)備實時監(jiān)測駕駛?cè)说纳頎顟B(tài)并分析,有效檢測出駕駛員的疲勞狀態(tài),以大大降低事故發(fā)生的概率,對解決當下交通安全問題有十分重要的現(xiàn)實意義。
關(guān)鍵詞:疲勞駕駛;人臉檢測;眼睛狀態(tài);模板匹配;眨眼頻率
1? ? 國內(nèi)外研究現(xiàn)狀
隨著社會經(jīng)濟的發(fā)展,汽車已成為人們?nèi)粘I钪胁豢苫蛉钡慕煌üぞ?,由汽車引起的交通事故也逐漸增多。根據(jù)世界衛(wèi)生組織(WTO)2014年發(fā)布的《世界預(yù)防道路交通安全傷害報告》相關(guān)數(shù)據(jù)顯示,疲勞駕駛在十大“影響交通事故發(fā)生的危險因素”中高居第3位。在我國,依據(jù)公安部交通管理局提供的數(shù)據(jù),每年約有9 000人死于疲勞駕駛。疲勞駕駛被列為繼超速行駛、酒后駕車之后引發(fā)道路交通事故的又一主要原因[1]。
駕駛員處于疲勞狀態(tài)的主要表現(xiàn)為反應(yīng)遲鈍、思考能力與判斷能力下降、視線模糊、注意力下降、眨眼頻率加快等。疲勞時駕駛員動作失調(diào),容易造成車輛失控,影響其他車輛駕駛、阻礙交通運輸,大大增加了意外發(fā)生的可能性。因此,駕駛員疲勞狀態(tài)的實時監(jiān)測對降低事故發(fā)生的概率和解決交通安全問題都有十分重要的現(xiàn)實意義。
1.1? 國外研究現(xiàn)狀
(1)三菱的高級安全車通過測量方向盤及車輛運行過程中的相關(guān)參數(shù),判斷駕駛員的疲勞情況[2]。(2)日本東風日產(chǎn)汽車研究實驗室設(shè)計出了駕駛員瞌睡檢測裝置[3]。該裝置通過判斷駕駛員眼睛的開閉狀態(tài),計算統(tǒng)計一定時間內(nèi)的眨眼次數(shù)從而判斷駕駛員的疲勞水平。
1.2? 國內(nèi)研究現(xiàn)狀
(1)浙江大學(xué)研究的駕駛員防瞌睡裝置[4],基于灰度投影的人眼定位,用邊緣檢測的方法對眼睛開閉狀態(tài)進行判斷,分析駕駛員當前的生理狀態(tài)。
(2)鄭州的工程師董世衍研制了一種防止駕駛員打瞌睡的報警系統(tǒng)[5]。裝置主體是眼睛框架,通過紅外線技術(shù)測試人眼的運動變化,由傳感器將采集到的變化信息傳送到主機,使其分析并報警或進行剎車操作。
2? ? 人臉檢測與眼睛定位
在疲勞駕駛檢測技術(shù)中,要對圖像中駕駛員的面部進行定位,以便進行下一步的眼睛定位。人臉的檢測與眼睛定位過程如圖1所示。
2.1? 人臉檢測與定位方法
人臉檢測算法的本質(zhì)就是確定一幅圖像中是否有人臉存在,進而確定人臉在整幅圖像中的位置。本文主要采用基于特征的人臉檢測法,通過從處理后的圖像中提取出某些特征與人臉特征進行對比,從而判斷某一區(qū)域是否為人臉。基本過程為建立樣本庫,提取特征,訓(xùn)練分類器,獲取視頻,檢測人臉,人臉跟蹤。
人臉定位與跟蹤使用KTL(Kanade Lucas Tomasi Tracking)算法[6],算法假設(shè)檢測目標在視頻中只產(chǎn)生小位移,并且目標的灰度變化不大[7]?;贙LT跟蹤算法的過程如圖2所示。
支持向量機(Support Vector Machine,SVM)是一種應(yīng)用統(tǒng)計理論開發(fā)的新的學(xué)習(xí)機器[8],被廣泛應(yīng)用于數(shù)字識別、人臉檢測識別等領(lǐng)域,是一個具有稀疏性和穩(wěn)健性的分類器,可以進行非線性分類,其核心思想是:首先,將原始數(shù)據(jù)通過某個非線性映射嵌入到合適的高維特征空間中;其次,利用普通線性學(xué)習(xí)器對新空間中的模式進行分析和處理。訓(xùn)練好SVM后就可以根據(jù)相關(guān)特性進行人臉定位。
2.2? 人眼定位方法
KLT算法和支持向量機可得到人臉的相關(guān)特征,面部位置確定后,開始定位眼睛。在眼睛定位時,本文使用Matlab工具箱中的vision包檢測,檢測器使用提琴瓊斯檢測算法和檢測訓(xùn)練分類模型。采用SVM方法采集眼睛樣本和非眼睛樣本,其中,x表示眼睛向量,通過多次訓(xùn)練得到分類向量W和常數(shù)b。對眼睛進行檢測的公式[9]為:
若f(x)的值大于0,則表示此模塊為眼睛模塊。
眼睛跟蹤同樣使用KLT算法,但是當相鄰兩幀的圖像中眼睛位移偏大或特征點被遮擋時,眼睛可能會跟蹤失敗。對此,將在下一步的研究學(xué)習(xí)中進行相關(guān)算法的改進。
3? ? 眼睛狀態(tài)識別與疲勞判斷
為了檢測駕駛員的疲勞程度,先要識別駕駛員的眼睛狀態(tài),即判斷眼睛的睜閉情況。本文主要采用模板匹配法進行眼睛狀態(tài)的識別,并與眨眼頻率相結(jié)合的方法對駕駛員疲勞狀態(tài)進行檢測。
3.1? 眼睛狀態(tài)識別方法
模板匹配法給出了眼睛的3個狀態(tài)模板,分別是“睜”“閉”“半睜半閉”模板,還包括定義好的固定狀態(tài)模板。處理視頻流后,系統(tǒng)會把采集到的眼睛模塊與固定模板進行比較,以模板相似度的最大值來決定眼睛的狀態(tài)。此外,還有一種更靈活的可變模板,可以根據(jù)不同圖像生成不同的狀態(tài)模板,識別更準確,但是過程比較復(fù)雜,可進行更深入的研究。模板匹配計算相關(guān)系數(shù)[10]的公式如下:
其中,T為模板,S為待搜索圖像。式中第二項反映了模板與圖像的相關(guān)性,當模板與圖像匹配時,該項有最大值。將其歸一化,得到的相關(guān)系數(shù)如下。
當模板與圖像匹配時,找出R的最大值,其對應(yīng)的S(i,j)為匹配目標。
眼睛的閉合程度可以通過邊緣復(fù)雜度法來計算,先要進行邊緣提取。本文采用Sobel 算子[11],本質(zhì)是反映相鄰或相距一定距離的像素點的灰度差異特征,可得到邊緣的梯度方向信息,具有較強抑制噪聲的能力,計算簡單,易于實現(xiàn)。計算眼睛邊緣復(fù)雜度公式如下:
其中,含左右眼睛的圖像大小為 m×n,b(i, j)為二值圖中的 0或1,a,b為調(diào)整權(quán)重。如果眼睛區(qū)域復(fù)雜度較大,說明眼睛為開眼,否則為閉眼。
3.2? 判定疲勞算法
眨眼是眼睛從睜開到閉合再睜開的過程。正常情況下,人的眼睛每分鐘10~15次,平均眨眼間隔4~5 s,眨眼持續(xù)時間在大多數(shù)情況下都可以有效判斷疲勞[12]。基于眼睛狀態(tài)識別,可以判斷出每幀圖像眼睛的睜閉狀態(tài)。當前后兩幀圖像左右眼的狀態(tài)相同,且分別為睜眼和閉眼時,可以定義為進行了一次眨眼。在1 min的時間內(nèi)統(tǒng)計眨眼次數(shù)n,計算頻率m,與定義好的閾值T進行比較。
4? ? 研究結(jié)果
4.1? 特征提取與睜閉眼的識別結(jié)果
基于相關(guān)人臉檢測與跟蹤算法,運行后的仿真結(jié)果如圖3所示。在實際使用過程中,劉海和眼鏡邊框等相關(guān)因素會對眼部特征的提取產(chǎn)生影響,可能還會出現(xiàn)使用者面部側(cè)偏等情況。
4.2? 疲勞狀態(tài)判斷
本課題在PC機上進行了仿真模擬,利用攝像頭采集實驗者圖像,進行人臉以及眼睛的識別定位,通過相關(guān)算法判別眼睛的狀態(tài)并計算眨眼頻率,從而判斷使用者是否處于疲勞狀態(tài)。圖4為實現(xiàn)仿真分析的程序界面。
5? ? 結(jié)語
為了完成基于眨眼檢測的駕駛員疲勞檢測技術(shù)的實現(xiàn),本文做了大量的調(diào)查研究工作,學(xué)了各種相關(guān)知識與算法。利用攝像頭采集實驗者圖像,之后進行人臉以及眼睛的識別定位,通過相關(guān)算法判別眼睛的狀態(tài)并計算眨眼頻率,從而判斷使用者是否處于疲勞狀態(tài)。
[參考文獻]
[1]郝王蕾.基于人眼特征的駕駛員疲勞檢測技術(shù)的研究與實現(xiàn)[D].沈陽:東北大學(xué),2011.
[2]黃雄.基于人眼檢測的疲勞駕駛預(yù)警研究[D].蕪湖:安徽工程大學(xué),2015.
[3]PHILIPPA H G,NATHANIEL S M,IAN J,et al.Investigating driver fatigue in truck crashes:trial of a systematic methodology[J].Transportation Research Part F:Psychology and Behaviour,2005(1):112-114.
[4]李峰,曾超,徐向東.駕駛防瞌睡裝置中人眼快速定位方法研究[J].光學(xué)儀器,2002(4):70-72.
[5]王華容.道路交通心理學(xué)中的眼動研究[C].北京:第八次全國心理衛(wèi)生學(xué)術(shù)大會論文匯編,2015.
[6]陳瑜,李錦濤,徐軍莉,等.基于眼動特征的駕駛員疲勞預(yù)警系統(tǒng)設(shè)計[J].軟件導(dǎo)刊,2020(3):1-4.
[7]趙團.基于計算機視覺的駕駛員疲勞檢測技術(shù)的研究與實現(xiàn)[D].沈陽:東北大學(xué),2010.
[8]宋普云.虹膜識別系統(tǒng)與支持向量機算法研究[D].天津:河北工業(yè)大學(xué),2003.
[9]謝秀珍.基于機器視覺的駕駛員疲勞檢測研究[D].長沙:中南大學(xué),2010.
[10]郝王蕾.基于人眼特征的駕駛員疲勞檢測技術(shù)的研究與實現(xiàn)[D].沈陽:東北大學(xué),2011.
[11]ZHICHAO T,HUABIAO Q.Real-Time Drivers Eye State Detection[J].IEEE,2005(4):285-289