趙曉琳，王世剛，姜秀紅，王曉燕，趙文婷

(吉林大學(xué)通信工程學(xué)院，長春130012)

基于人眼狀態(tài)的駕駛員疲勞檢測

趙曉琳，王世剛，姜秀紅，王曉燕，趙文婷

(吉林大學(xué)通信工程學(xué)院，長春130012)

為提高駕駛員疲勞檢測的準(zhǔn)確性，提出一種改進的眼睛狀態(tài)檢測方法。利用“參考白”算法對原始幀圖像做光照補償處理，基于膚色特征檢測出人臉;利用積分投影法將人臉和眼睛分割出來，結(jié)合眉毛和眼睫毛之間距離的變化、眼睛區(qū)域黑色像素點的個數(shù)變化這兩個參數(shù)對眼睛的狀態(tài)做出判斷。若連續(xù)5幀圖像眼睛均為閉合狀態(tài)，則系統(tǒng)給出疲勞警報。實驗結(jié)果表明，利用兩個參數(shù)檢測的準(zhǔn)確率高于單個參數(shù)檢測的準(zhǔn)確率。關(guān)鍵詞:疲勞檢測;膚色特征;眼睛狀態(tài)

0 引 言

駕駛員疲勞是引發(fā)交通事故的一個重要因素。據(jù)數(shù)據(jù)統(tǒng)計，有20%的交通事故發(fā)生原因是疲勞駕駛，因此，對駕駛員做出實時準(zhǔn)確的疲勞警告尤為重要。近年來，駕駛員檢測系統(tǒng)正在被廣泛研究，通過檢測駕駛員的疲勞程度并給駕駛員發(fā)送疲勞警報信息，減少交通事故的發(fā)生。國內(nèi)外的研究人員主要從駕駛員的生理信息、面部信息以及車輛狀態(tài)3方面對駕駛員的疲勞進行研究。基于駕駛員生理信息的檢測方法需要在駕駛員的身體上加一些測量設(shè)備，檢測駕駛員的生理參數(shù)，如心電圖、腦電圖、脈搏等。當(dāng)駕駛員疲勞時，這些生理信號會發(fā)生變化，可利用設(shè)備的測量值變化判斷是否疲勞。前人對采集到的不同駕駛員的腦電圖信號(EEG:Electro Encephalo Gram)作處理，提取出不同EEC不同波段的特征，以此區(qū)分出駕駛員的疲勞程度?；谲囕v狀態(tài)的檢測方法通過檢測方向盤轉(zhuǎn)動、車輛速度、轉(zhuǎn)彎角度的異常，判斷駕駛員是否疲勞，但由于道路狀況、駕駛員的駕駛習(xí)慣等外界干擾，這種方法很難保證檢測結(jié)果的準(zhǔn)確性。王斐等［1］通過采集駕駛員的腦電信號，結(jié)合對應(yīng)的方向盤操縱數(shù)據(jù)，將駕駛員的疲勞程度分為3類進行定性分析，分類檢測效果較理想。基于駕駛員面部信息的檢測方法通過檢測駕駛員的眼睛閉合度、眨眼頻率、頭部位置、打哈欠等判斷駕駛員是否疲勞。該方法是非接觸式的，受外界干擾較少，也是被普遍采用的研究方法。Dong等［2］利用眼睛狀態(tài)分析駕駛員的疲勞程度，提出一種利用眼瞼之間距離的變化判斷眼睛狀態(tài)的方法。當(dāng)眼瞼之間的距離小于標(biāo)準(zhǔn)值時，將眼睛判為閉合狀態(tài)。Seifoory等［3］利用虹膜分析眼睛狀態(tài)，當(dāng)虹膜存在時，說明眼睛是睜開的;否則，眼睛是閉合的。文獻［4］通過水平投影圖的曲線斜率得到眼睛邊界，然后利用相鄰幀圖像眼睛區(qū)域內(nèi)像素點個數(shù)差的變化趨勢分析眼睛的睜閉狀態(tài)。文獻［5］通過兩幀圖像之間的差異分割出臉部區(qū)域，然后基于鼻孔和下巴之間距離的變化檢測駕駛員是否打哈欠。牛清寧等［6］利用滑移時窗的方法對眨眼頻率、PERCLOS(Percentage of Eyelid Closure)、注視方向和注視時間這4個特征數(shù)據(jù)進行融合，搭建了疲勞駕駛檢測模型。

1 疲勞狀態(tài)檢測

圖1 疲勞檢測流程示意圖Fig.1 The fatigue detection system

筆者提出了一種改進的雙參數(shù)眼睛狀態(tài)判斷方法，通過:1)臉部檢測;2)眉眼區(qū)域檢測;3)眼睛狀態(tài)分析;4)實驗結(jié)果與比較4部分眼睛狀態(tài)進行分析。先對眉毛和睫毛之間的距離與閾值n1進行比較，若大于閾值，再判斷眼睛區(qū)域黑色像素點的個數(shù)是否大于閾值n2，若是，則判斷眼睛為睜開狀態(tài);否則將眼睛狀態(tài)判斷為閉合。如果在連續(xù)5幀圖像中，眼睛均為閉合狀態(tài)，則對駕駛員進行疲勞警告。

系統(tǒng)流程示意圖如圖1所示。

2 臉部檢測

2.1 光照補償

人臉的檢測是整個疲勞系統(tǒng)檢測的第1步，在分割出的人臉基礎(chǔ)上，對眼睛檢測可以提高檢測的準(zhǔn)確性。影響臉部檢測的主要因素有駕駛員頭部的轉(zhuǎn)動、光照等，其中在駕駛時駕駛員頭部的轉(zhuǎn)動是微弱的，但光照強度會隨著駕駛環(huán)境和時間發(fā)生變化。鑒于此，選擇一種改進的“參考白”算法對原始圖像進行光照補償［7］，圖2是光照補償前后對比圖，光照補償前的圖像(見圖2a)。首先檢測圖像中像素點的亮度，按照亮度值的大小對圖像中的像素點從高到低排序，得到亮度值在前5%的像素(參考白);然后設(shè)置亮度值在前5%的像素點的灰度值均為255，即將這些像素點的3種色彩分量R、G、B均調(diào)到最大值255;最后依比例對圖像的RGB 3個分量進行線性調(diào)整，得到光照補償后的圖像(見圖2b)。

圖2 光照補償前后對比圖Fig.2 The contrast figure before and after illumination

其中比例的設(shè)計方法如下。

2)計算 Rsum，Gsum，Bsum在像素中占的比例，并找出3者中的最大值 Mr，

2．2 人臉分割

在對人臉進行檢測時，一種比較簡單有效的方法就是基于膚色特征的檢測。將圖像由RGB色彩空間轉(zhuǎn)換到HSV色彩空間和YCbCr色彩空間進行處理。在YCbCr色彩空間，亮度分量Y和色度信息CbCr是獨立的，利用膚色的聚類特性可以很好地將膚色區(qū)域提取出來。在HSV色彩空間，色調(diào)Hue在膚色區(qū)域和非膚色區(qū)域有明顯的不同值。采用

Cr≥140 and Cr≤165 and Cb≥140 and Cb≤195 and H≥0.01 and H≤0.1 (1)所示的規(guī)則對膚色區(qū)域提取。

圖3a是原始圖像，首先將膚色點和非膚色點區(qū)分出來，得到一個二值圖像(見圖3b);然后對此二值圖像進行連通性分析等數(shù)學(xué)形態(tài)學(xué)處理。通過對處理后的二值圖像作水平積分投影和垂直積分投影，定位人臉的邊界，進而提取出人臉區(qū)域。圖3c是分割出的人臉膚色區(qū)域二值圖像，圖3d是人臉膚色區(qū)域的RGB圖像。

圖3 人臉分割圖Fig.3 Face segmentation results

3 眉眼區(qū)域檢測

眼睛在人臉的上半部分，利用積分投影法對人臉上半部分處理，得到眉眼區(qū)域［8-10］。圖4a是睜眼狀態(tài)二值圖像，圖4b是睜眼狀態(tài)灰度圖像，圖4c是閉眼狀態(tài)二值圖像，圖4d是閉眼狀態(tài)灰度圖像。

圖4 檢測到的眼睛睜閉圖像Fig.4 Imageswhen eyes are open and close

4 眼睛狀態(tài)分析

當(dāng)眼睛處于睜開狀態(tài)時，眉毛和眼睛上部的睫毛之間距離小;但當(dāng)眼睛閉合時，眉毛和睫毛之間的距離會增大。因此，基于眉毛和睫毛之間的距離變化分析眼睛的睜閉狀態(tài)是可行的。對眉眼區(qū)域的灰度圖像像素點的x坐標(biāo)求均值，得到圖5所示的眼睛狀態(tài)及其均值圖像。從圖5可以發(fā)現(xiàn)，均值圖像上有兩個明顯的波谷，第1個波谷是眉毛，第2個波谷是睫毛區(qū)域。將這兩個波谷之間的距離與閾值n1對比，若小于閾值，則眉毛和睫毛之間的距離較近，此時將眼睛判斷為睜開狀態(tài)(見圖5a，圖5b);閉眼狀態(tài)及均值圖像如圖5c，圖5d所示。筆者經(jīng)統(tǒng)計計算，得到的閾值n1=21，即兩波谷之間的距離若大于21，則說明此時眼睛是閉合的。

另外，觀察睜眼和閉眼的二值圖像(見圖4a和圖4c)，可以發(fā)現(xiàn)睜眼二值圖像中黑色像素點的個數(shù)明顯多于閉眼二值圖像，因此通過將眼睛區(qū)域黑色像素點的個數(shù)與設(shè)定的閾值n2比較，也可以判斷眼睛的狀態(tài)。為了提高檢測的準(zhǔn)確性，將這兩種方法結(jié)合在一起。如果基于波谷之間的距離將眼睛判斷為睜開狀態(tài)，再將此眼睛區(qū)域黑色像素點個數(shù)與閾值比較，若大于閾值則眼睛睜開;否則判斷眼睛狀態(tài)為閉合。

圖5 眼睛狀態(tài)及其均值圖像Fig.5 Mean imageswhen eye open and close

5 實驗結(jié)果與比較

當(dāng)檢測到連續(xù)5幀圖像的眼睛狀態(tài)均為閉合時，認為駕駛員此時處于疲勞狀態(tài)，給出疲勞警報。在光照變化的環(huán)境下錄制一段駕駛員人物視頻，然后將視頻轉(zhuǎn)換為大小為1 280×720像素的RGB圖像，在Matlab環(huán)境下對其中連續(xù)的180幀圖像進行檢測，實驗結(jié)果如表1所示。從表1可以看出，利用兩個參數(shù)綜合檢測的結(jié)果優(yōu)于單個參數(shù)。

鑒于本實驗中采用的駕駛員睜眼和閉眼狀態(tài)的變化較明顯，在一定程度上提高了眼睛狀態(tài)檢測的準(zhǔn)確率，通過3種方法的對比，將兩個參數(shù)結(jié)合后檢測的結(jié)果仍然優(yōu)于單個參數(shù)的檢測結(jié)果。

表1 3種疲勞檢測方法準(zhǔn)確率比較結(jié)果Tab.1 The accuracy of comparison results of 3 fatigue detection methods

6 結(jié) 語

筆者在對眼睛狀態(tài)進行檢測時，利用了眉毛和眼睛之間的特征變化關(guān)系，而不需要精確檢測到眼睛，減小了搜索范圍，是一種新的判斷眼睛狀態(tài)的方法。結(jié)合兩個參數(shù)進行判斷，與單一參數(shù)相比對疲勞判斷的準(zhǔn)確率和可靠性更高?？纱蠓档陀捎隈{駛員疲勞駕駛而引發(fā)的交通事故，為保證駕駛員的生命財產(chǎn)安全提供了新的防范措施。

［1］王斐，王少楠，王惜慧，等.基于腦電圖識別結(jié)合操縱特征的駕駛疲勞檢測 ［J］.儀器儀表學(xué)報，2014，35(2):398-404. WANG Fei，WANG Shaonan，WANG Xihui，etal.Driver Fatigue Detection Based on EEG Recognition and Vehicle Handling Characteristics［J］.Chinese Journal of Scientific Instrument，2014，35(2):398-404.

［2］DONGW，WU X.Fatigue Detection Based on the Distance of Eyelid［C］∥Workshop VLSIDesign and Video.Tech Suzhou，China:IEEE，2005:365-368.

［3］SEIFOORY H，TAHERKHANI D，ARZHANG B，et al.An Accurate Morphological Drowsy Detection［C］∥2011 International Conference on Signal.Shanghai，China:ICEEA，2011:51-54.

［4］GAN L，CUIB，WANGW.Driver Fatigue Detection Based on Eye Tracking［C］∥Intelligent Controland Automation，2006. WCICA 2006.The Sixth World Congress on.Dalian，China:IEEE，2006:5341-5344.

［5］YUFENG L，ZENGCAIW.Detecting Driver Yawning in Successive Images［C］∥Bioinformatics and Biomedical Engineering，ICBBE 2007.The 1st International Conference on.Wuhan，China:IEEE，2007:581-583.

［6］牛清寧，周志強，金立生，等.基于眼動特征的疲勞駕駛檢測方法 ［J］.哈爾濱工程大學(xué)學(xué)報，2015，36(3):394-398. NIU Qingning，ZHOU Zhiqiang，JIN Lisheng，et al.Detection of Driver Fatigue Based on Eye Movements［J］.Journal of Harbin Engineering University，2015，36(3):394-398.

［7］HSU R L，ABDEL-MOTTALEB M，JAIN A K.Face Detection in Color Images［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，2002，24(5):696-706.

［8］方君院，陸玲.基于灰度投影的眼睛定位研究［J］.湖南農(nóng)機:學(xué)術(shù)版，2011，38(1):142-143. FANG Junyuan，LU Ling.Eye Location Based on Gray Projection［J］.Hunan Agricultural Machinery:Academic Edition，2011，38(1):142-143.

［9］TABRIZI P R，ZOROOFI R A.Drowsiness Detection Based on Brightness and Numeral Features of Eye Image［C］∥Intelligent Information Hiding and Multimedia Signal Processing，IIH-MSP'09.Fifth International Conference on.Kyoto，Japan:IEEE，2009:1310-1313.

［10］程國，丁正生，劉亞亞.基于混合投影峰分析的人眼定位方法［J］.五邑大學(xué)學(xué)報:自然科學(xué)版，2010，24(3):50-55. CHENG Guo，DING Zhengsheng，LIU Yaya.Eye Location Method Based on Hybrid Projection Peak Analysis［J］.Journal of Wuyi University:Natural Science，2010，24(3):50-55.

(責(zé)任編輯:劉東亮)

Driver Fatigue Detection Based on Eye State

ZHAO Xiaolin，WANG Shigang，JIANG Xiuhong，WANG Xiaoyan，ZHAOWenting

(College of Telecommunication Engineering，Jilin University，Changchun 130012，China)

To improve the accuracy of driver fatigue detection，presents an improved eye state detectionmethod. Firstly，we use“reference white”algorithm for the processing of illumination compensation on original frame image，then segment the skin region from background based on color feature.Secondly，we use gray-scale integral projection method to segment face and eyes，combining two parameters that change in the distance between eyebrow and eyelash the change in the number of black pixels in the eye region to judge the state of eyes.If the eyes are found closed for5 consecutive frame images，the system will give a fatigue alert.The results show that the use of two parameters is better than the use of a single parameter.

fatigue detection;color feature;eye state

TP391

A

1671-5896(2015)04-0449-05

2014-12-01

博士點基金資助項目(20120061110091)

趙曉琳(1990— )，女，山東聊城人，吉林大學(xué)碩士研究生，主要從事駕駛員疲勞檢測研究，(Tel)86-15714404874 (E-mail)zhaoxl2009@126.com;王世剛(1962— )，男，長春人，吉林大學(xué)教授，博士生導(dǎo)師，主要從事圖像與視頻信號智能處理研究，(Tel)86-13504325626(E-mail)wangshigang@vip.sina.com。