曲仕茹，彭紀(jì)昌

（西北工業(yè)大學(xué)自動(dòng)化學(xué)院，陜西西安 710072）

0 引言

隨著我國經(jīng)濟(jì)建設(shè)的蓬勃發(fā)展，城市的人口和機(jī)動(dòng)車保有量也在急劇增長，交通流量日益加大，交通擁擠堵塞現(xiàn)象日益趨于嚴(yán)重，交通事故時(shí)有發(fā)生，交通安全問題更是嚴(yán)重威脅著人們的生命財(cái)產(chǎn)安全。駕駛員的疲勞駕駛已經(jīng)成為造成交通死亡事故的重要原因，因此，開發(fā)出一種駕駛員疲勞檢測(cè)和警示系統(tǒng)來避免由于駕駛員因疲勞而導(dǎo)致的交通事故很有必要［1］。

目前，利用駕駛員視覺信息進(jìn)行疲勞檢測(cè)方法主要有以下幾種:1）頭部位置監(jiān)測(cè)方法;2）眼部狀態(tài)監(jiān)測(cè)方法;3）瞳孔特征監(jiān)測(cè)方法;4）視線跟蹤監(jiān)測(cè)方法;5）嘴巴狀態(tài)監(jiān)測(cè)方法［2］。上述這些方法通常關(guān)注于單一的視覺特征，雖然能較成功地運(yùn)用計(jì)算機(jī)視覺技術(shù)提取駕駛員的視覺特征信息，但其準(zhǔn)確性、實(shí)用性不高。例如:當(dāng)駕駛員帶著墨鏡時(shí)，使用單一的眼睛特征便很難得到正確的結(jié)果。如果能將這些方法系統(tǒng)地組合使用就能得到準(zhǔn)確的結(jié)果，多個(gè)視覺特征的融合已經(jīng)成為疲勞駕駛檢測(cè)的一種發(fā)展趨勢(shì)。

本文設(shè)計(jì)了一種融合眼睛和嘴巴2個(gè)疲勞特征的檢測(cè)方法，最終通過實(shí)驗(yàn)得出該檢測(cè)算法較單一疲勞特征的檢測(cè)算法有更高的檢測(cè)率和更好的檢測(cè)效果。

1 系統(tǒng)的硬件實(shí)現(xiàn)

系統(tǒng)總體流程可以描述為:首先，通過攝像頭動(dòng)態(tài)獲取駕駛員的圖像，將駕駛員圖像數(shù)據(jù)傳送到系統(tǒng)的存儲(chǔ)器中;然后，通過人臉檢測(cè)算法定位出其中的人臉圖像，經(jīng)過運(yùn)算處理得到人眼圖像并判斷其狀態(tài);最后，通過疲勞檢測(cè)算法判定駕駛員是否疲勞［3］。為了實(shí)現(xiàn)這些功能，系統(tǒng)除了基本的接口單元，還需要一些必要的儲(chǔ)存空間擴(kuò)展和輔助的資源。概況地說，系統(tǒng)主要包括圖像傳感器、液晶顯示屏、外擴(kuò)存儲(chǔ)器以及帶有嵌入式處理器的現(xiàn)場可編程門陣列（FPGA）系統(tǒng)版。FPGA芯片集成相應(yīng)的NiosⅡ軟核處理器，將部分圖像處理算法在FPGA內(nèi)部以硬件的形式實(shí)現(xiàn)，將其余的算法通過NiosⅡ軟核處理器通過軟件來實(shí)現(xiàn)，系統(tǒng)的結(jié)構(gòu)框圖如圖1所示。

圖1 疲勞檢測(cè)系統(tǒng)流程圖Fig 1 Flow chart of fatigue detection system

2 系統(tǒng)的軟件實(shí)現(xiàn)

本文設(shè)計(jì)的檢測(cè)算法需要通過檢測(cè)人眼和嘴巴的狀態(tài)來進(jìn)行疲勞的判定。人眼和嘴巴定位的基本方法是先確定人臉大致位置，再定位人眼和嘴巴。本文改進(jìn)了一種人眼和嘴巴的定位方法，首先將提取出的人臉圖像利用圖像的垂直灰度積分投影曲線，根據(jù)凸峰寬度確定人臉的左右邊界，然后利用人臉區(qū)域的水平灰度積分投影曲線確定眉眼區(qū)域和嘴巴區(qū)域形成的波谷，將人臉圖像的范圍縮小在雙眼區(qū)域和嘴巴區(qū)域，如圖2。

圖2 灰度投影用于區(qū)分人臉的左右邊界Fig 2 Gray projection used for distinction of left and right borders of face

根據(jù)圖像預(yù)處理模塊得到人臉二值化的圖像，設(shè)圖像為I（x，y），其大小為W×H，則該圖像的垂直灰度投影函數(shù)為

式中PW稱為垂直灰度投影曲線。為了去除噪聲的影響，平滑處理函數(shù)為

式中K為濾波窗口的寬度，其取值與人臉圖像大小有關(guān)，本文中K取值為8。以圖中的人臉圖像為例，其平滑前后的垂直灰度投影曲線如圖3所示。

確定了人臉的左右邊界之后，需要確定眼睛和嘴巴的水平位置，設(shè)人臉左右邊界寬度為w，則此時(shí)的圖像大小為w×H，同樣對(duì)該圖像區(qū)域的水平灰度投影函數(shù)為

圖3 人臉垂直灰度投影曲線Fig 3 Vertical gray projection curve of face

式中PH稱為水平灰度投影曲線。為了去除噪聲的影響，采用與式（2）類似的方法對(duì)PH進(jìn)行平滑

L的取值跟人臉在圖像中的大小有關(guān)，實(shí)驗(yàn)中取L=8。以圖2的人臉圖像為例，平滑后的水平灰度投影曲線如圖4。

圖4 人臉?biāo)交叶韧队扒€Fig 4 Horizontal gray projection curve of face

如圖5所示，算法可以準(zhǔn)確地檢測(cè)出人的眼睛和嘴巴的位置，并且可以進(jìn)一步提取出眼睛和嘴巴的寬度和高度（以像素為單位），求出寬高比，為下文眼睛和嘴巴狀態(tài)的確定打下基礎(chǔ)，進(jìn)而完成疲勞的判定［4，5］。

人在有明顯疲勞癥狀時(shí)眨眼持續(xù)時(shí)間明顯增大［6］，根據(jù)實(shí)驗(yàn)數(shù)據(jù)繪出的眼睛寬高比曲線圖如圖6（a），（b）所示，由不疲勞狀態(tài)進(jìn)入疲勞狀態(tài)的眨眼持續(xù)時(shí)間如圖7所示。

疲勞發(fā)生時(shí)眨眼速度明顯變慢，在不疲勞階段眼睛“開—閉—開”的過程只需要幾幀到十幾幀的時(shí)間，時(shí)間在0．5 s以內(nèi)，而疲勞時(shí)則需要10幀或以上的時(shí)間，即需要0．5 s以上，而在不疲勞的時(shí)候，眨眼持續(xù)時(shí)間也有可能在0．5 s以上，但是卻不會(huì)長時(shí)間持續(xù)，如圖7中的t3，t4時(shí)刻。

圖5 提出的眼瞼和嘴巴圖像Fig 5 Extracted eyelids and mouth image

圖6 眼睛寬高比變化曲線Fig 6 Aspect ratio variation curve of eye

圖7 眨眼持續(xù)時(shí)間變化曲線Fig 7 Curve of blink duration

3 實(shí)驗(yàn)一

實(shí)驗(yàn)是在室內(nèi)模擬駕駛條件下進(jìn)行的，被測(cè)者頭部放松左右旋轉(zhuǎn)不超過15°，無大幅度的左右前后移動(dòng);實(shí)驗(yàn)結(jié)果如表1所示。實(shí)驗(yàn)結(jié)果顯示眨眼頻率高于20次/min，或者眨眼持續(xù)時(shí)間大于0．5 s以及打哈欠頻率大于2次/min，即可判斷屬于疲勞。如圖8所示，當(dāng)系統(tǒng)判定為疲勞狀態(tài)時(shí)，通過LED燈的點(diǎn)亮與蜂鳴器的不斷蜂鳴提醒駕駛員不要疲勞駕車。從實(shí)驗(yàn)結(jié)果可以看出:系統(tǒng)可以檢測(cè)出所有的疲勞狀態(tài)，在實(shí)驗(yàn)條件下檢測(cè)效率為100%。

表1 實(shí)驗(yàn)一結(jié)果（部分檢測(cè)數(shù)據(jù)）Tab 1 Results of the first experiment（partial detection datas）

圖8 疲勞檢測(cè)Fig 8 Fatigue detection

4 實(shí)驗(yàn)二

正常狀態(tài)下的系統(tǒng)實(shí)驗(yàn)已經(jīng)完成?？紤]到在實(shí)際應(yīng)用的過程中可能會(huì)出現(xiàn)的一些特殊狀態(tài)。本文設(shè)計(jì)了一組特殊狀態(tài)下的實(shí)驗(yàn)，在這組實(shí)驗(yàn)中被檢測(cè)樣本通過佩戴墨鏡，來進(jìn)行對(duì)疲勞的檢測(cè)，通過該組實(shí)驗(yàn)驗(yàn)證多特征融合系統(tǒng)的檢測(cè)優(yōu)勢(shì)。

當(dāng)被檢測(cè)樣本佩戴墨鏡時(shí)，相應(yīng)的疲勞特征就無法檢測(cè)出來，本文所設(shè)計(jì)系統(tǒng)融合了眼睛和嘴巴2種疲勞特征可以通過另外的疲勞特征進(jìn)行疲勞的判定。如圖9（a）中圖當(dāng)駕駛員眼睛有遮擋物體無法檢測(cè)到駕駛員的眼睛狀態(tài)，而在圖4（b）使用本文所設(shè)計(jì)的多特征融合的疲勞檢測(cè)算法，通過檢測(cè)駕駛員的打哈欠頻率輔助進(jìn)行疲勞的判定對(duì)比檢測(cè)結(jié)果如表2，成功地檢測(cè)出了駕駛員的疲勞狀態(tài)。

圖9 對(duì)比檢測(cè)Fig 9 Contrast detection

5 結(jié)論

本文設(shè)計(jì)了一種多特征融合來進(jìn)行疲勞檢測(cè)的檢測(cè)算法，并且在FPGA上進(jìn)行了實(shí)現(xiàn)。該檢測(cè)算法檢測(cè)速度較快、抗干擾性強(qiáng)，滿足全天候的車載使用要求。從實(shí)驗(yàn)結(jié)果可以看出:本文所設(shè)計(jì)的基于多特征融合的疲勞檢測(cè)算法，較之傳統(tǒng)的單一特征疲勞檢測(cè)算法擁有更高的檢測(cè)率、抗干擾能力更強(qiáng)。

表2 實(shí)驗(yàn)結(jié)果Tab 2 Experimental results

［1］ 黃博學(xué)．汽車駕駛員疲勞實(shí)時(shí)識(shí)別與監(jiān)測(cè)系統(tǒng)研究［D］．長沙:長沙理工大學(xué)，2008．

［2］ 張 恒，劉艷麗．基于視覺信息融合的駕駛員疲勞監(jiān)測(cè)方法綜述［J］．信息技術(shù)，2008（6）:8－11．

［3］ Meyer-Baese U．Digital signal processing with field programmable gate arrays［M］．3rd ed．New York:Springer Berlin Heidelberg，2007．

［4］ Dai J，Zhang J．Information fusion system with wireless transmission for monitoring the status of driver［C］∥2007 The Second IEEE Conference on Industrial Electronics and Applications，2007:2670－2673．

［5］ 吳康華．基于PERCLOS的駕駛疲勞檢測(cè)系統(tǒng)設(shè)計(jì)［D］．杭州:浙江大學(xué)，2008．

［6］ Viola P，Robust J M．Real-time object detection［J］．International Journal of Computer Vision，2004，57（2）:137 －154．