張麗雯， 楊艷芳， 齊美彬， 蔣建國

（1.合肥工業(yè)大學(xué) 計算機(jī)與信息學(xué)院，安徽 合肥 230009；2.合肥工業(yè)大學(xué) 電子科學(xué)與應(yīng)用物理學(xué)院，安徽 合肥 230009）

隨著經(jīng)濟(jì)發(fā)展和人們生活條件的提高，機(jī)動車輛快速增加，但是機(jī)動車輛造成的交通事故隨之增加。大量研究發(fā)現(xiàn)，疲勞駕駛影響交通安全的程度最大。因此，需要對駕駛員疲勞狀態(tài)進(jìn)行監(jiān)測，一旦監(jiān)測到疲勞就及時采取措施讓駕駛員停止駕駛，有效地保證行車安全，目前監(jiān)測駕駛疲勞的方法［1］基本分為主觀和客觀2大類。由于人與人之間差異較大，所以主觀性檢測不易成為通用的疲勞檢測標(biāo)準(zhǔn)，因此在各個領(lǐng)域采用較多的是客觀疲勞檢測方法。其中基于眼睛閉合狀態(tài)和嘴部狀態(tài)等駕駛?cè)诵袨樘卣鞯目陀^疲勞檢測方法，由于具有非侵入式和可直接檢測的特點，成為目前研究熱點。

本文采用基于眼睛和嘴唇2個面部特征的疲勞判決方式。有的人疲勞時會直接進(jìn)入較長時間閉眼狀態(tài)，但是有的人則首先頻繁地打呵欠，如果得不到休息，疲勞程度加深后才會閉眼。因此可先根據(jù)嘴唇開合度判斷司機(jī)是否頻繁打呵欠，若是就直接判為疲勞，否則繼續(xù)判斷眼睛閉合狀態(tài)以判斷司機(jī)是否疲勞駕駛。

由于檢測疲勞駕駛的基礎(chǔ)是面部特征，所以為了減小搜索范圍，首先做人臉檢測，然后在人臉區(qū)域內(nèi)搜索嘴唇和眼睛并判斷它們的狀態(tài)，最后判斷司機(jī)是否疲勞駕駛。

1 人臉檢測

研究發(fā)現(xiàn)人的膚色具有聚類性［2］，利用這個特性檢測人臉很容易將背景分離出去。首先通過統(tǒng)計方法確定膚色的具體范圍，判別圖像中每一點的像素值是否在該范圍之內(nèi)。若在就是膚色，否則就是非膚色。

該模型的困難之處在于如何確定閾值，其閾值選擇不當(dāng)可能會使膚色檢測正確率下降，效果不是很好。

在除去亮度的二維色度平面上，膚色的區(qū)域分布比較集中，這與高斯分布［3－4］有些相似，因此可以用二維高斯分布來表達(dá)膚色分布。

計算圖像中每個點為膚色的概率，從而得到這個圖像的一個膚色概率圖，這樣就可以看出有哪些膚色點，這就是高斯模型檢測膚色。二維高斯型函數(shù)為：

P（Cb，Cr）＝exp［－0.5（x－M）TC－1（x－M）］，其中，x為圖像點像素在YCbCr空間的值，x＝［Cb，Cr］T；M為膚色在YCbCr空間的均值，M＝E（x）；C為協(xié)方差矩陣，C＝E（（x－M）（x－M）T）；P（Cb，Cr）是點（Cb，Cr）為膚色點的概率。

將圖像各點的色度代入高斯函數(shù)，求得各個P（Cb，Cr）值，然后進(jìn)行歸一化處理，即Pi（Cb，Cr）／maxPi（Cb，Cr），用這個商作為圖像中點為膚色點的概率。將歸一化的相似度值乘255，就得到膚色相似度圖，從這個圖中可以直觀地看到圖像中點為膚色點的概率大小。高斯模型比區(qū)域模型能更好地表示膚色分布，相對而言，它的膚色檢測正確率也較高。

對人臉的相似度圖進(jìn)行二值化分割，將人臉區(qū)域和背景分離開。利用形態(tài)學(xué)運算，以去除噪聲，修補(bǔ)圖像內(nèi)部的斷裂和空洞，最后利用人臉特征先驗知識得到人臉區(qū)域。人臉檢測各階段的結(jié)果如圖1所示。

圖1 人臉檢測各個過程圖

2 嘴唇檢測及打呵欠判斷

人打呵欠時從表面看表現(xiàn)最明顯的是嘴部，檢測嘴部狀態(tài)可以先檢測嘴唇區(qū)域，之后確定嘴唇邊界，進(jìn)而確定嘴部開合狀態(tài)及張開持續(xù)時間，這樣就可以確定是否在打呵欠。為了檢測嘴唇邊界，本文采用唇色特征與臉部灰度特征相結(jié)合的方式。先用唇色聚類性確定嘴唇大致范圍，之后在該范圍內(nèi)尋找亮度分量較低的區(qū)域，從而精確定位嘴唇。

2.1 嘴唇檢測

檢測嘴唇普遍使用彩色圖像中唇色檢測［5］方法，然而唇色和膚色有一部分是重疊的，因而依靠唇色聚類性檢測嘴唇，有一部分膚色區(qū)域也會被劃入唇色區(qū)域，而嘴角的唇色部分比較少，容易被形態(tài)學(xué)運算去除。唇色檢測結(jié)果如圖2所示。圖2a為通過唇色聚類性檢測嘴唇所得到的結(jié)果，其中白色部分為檢測出的唇色區(qū)域。圖2b和圖2c中白色方框為劃定的嘴唇區(qū)域，可以看出最終檢測出的嘴唇邊界不是很準(zhǔn)確。

圖2 唇色檢測結(jié)果圖

為了在此基礎(chǔ)上精確定位嘴唇，本文將臉部圖像的亮度分量取出來進(jìn)行二值化，由大津閾值法確定二值化的閾值。人臉二值化灰度圖像及嘴唇最終檢測結(jié)果，如圖3所示。二值化后的灰度圖像中除了深色背景和頭發(fā)，人的臉部中只有眼睛、鼻孔和嘴部為黑色，如圖3a所示。此時若直接用灰度圖檢測嘴唇，則黑色的背景干擾很大，不易去除。從圖3b和圖3c可以看出，由唇色檢測法大致劃定嘴的區(qū)域中只有可能出現(xiàn)的黑色區(qū)域是鼻孔。由于鼻孔面積很小，而且和嘴部黑色區(qū)域沒有連接，采用積分投影很容易區(qū)分。因此，可以先用唇色聚類性檢測嘴唇以去除黑色背景和頭發(fā)的干擾，大致確定嘴唇范圍。然后檢測劃定的嘴唇范圍左、右兩邊是否有黑色像素，以排除嘴角沒有包括其中。若漏檢，則增大劃定嘴唇的方框，劃定的嘴唇范圍中用積分投影確定嘴唇邊界，進(jìn)而確定嘴部狀態(tài)以判斷駕駛員是否打呵欠。

圖3 人臉二值化灰度圖像及嘴唇最終檢測結(jié)果

2.2 實驗結(jié)論

除了打呵欠，人說話、笑和哭時也會張開嘴，因此僅憑嘴張開不能判斷人是否在打呵欠。但是打呵欠時嘴張開的幅度很大，而且嘴角向中間靠攏，因此劃定嘴唇的外接矩形上、下高度與左、右寬度的比值要大。圖4所示為采集的3個人的嘴部圖像，其中，圖4a是人說話時圖像，圖4b是同一個人打呵欠時嘴張開過程中的圖像，圖4c是打呵欠嘴完全張開的圖像。每幅圖像中白色方框是標(biāo)記嘴部區(qū)域。

圖4 不同人說話和打呵欠時嘴圖像

從這些圖可以看出，人打呵欠時嘴部邊界框的高度大于寬度的1／2。雖然有時候人說話時嘴也會張開很大，但是持續(xù)時間很短。如果測得嘴部邊界框的高度持續(xù)大于寬度1／2的時間超過3 s，說明司機(jī)在打呵欠。打呵欠的原因是很多的，偶爾打呵欠與疲勞關(guān)系不大，但是如果頻繁打呵欠就可以說明司機(jī)疲勞。實驗結(jié)果顯示，如果1 min內(nèi)測得打呵欠幀數(shù)與總幀數(shù)比值超過10%，說明人打呵欠頻繁，應(yīng)該報警提醒司機(jī)。

3 人眼定位及眼睛開合度計算

本文利用人臉的灰度特征定位人眼，首先在人臉灰度圖像中提取五官邊緣，得到二值化圖。然后對圖中連通區(qū)域進(jìn)行判斷，并利用先驗知識構(gòu)建人眼區(qū)域規(guī)則集，結(jié)合重心模板［6］尋找眼睛對。一般重心坐標(biāo)公式［7］為：

由于是在二值化后的圖中計算重心點，所以重心點坐標(biāo)公式簡化為：

把重心坐標(biāo)作為種子點進(jìn)行眼睛的區(qū)域生長，將種子點八鄰域內(nèi)點的灰度值與種子點灰度值差小于標(biāo)準(zhǔn)值的像素點，視為與種子點性質(zhì)相似的點，并成為新的種子點，繼續(xù)區(qū)域生長［8］，直到所有種子點八鄰域內(nèi)沒有一個符合標(biāo)準(zhǔn)的像素點，則停止生長，結(jié)果如圖5a所示。然后利用形態(tài)學(xué)運算進(jìn)行去噪，并對圖像進(jìn)行修復(fù)得到眼睛輪廓，如圖5b所示。

圖5 眼睛檢測各個過程圖

檢測到眼睛輪廓后就可以計算眼睛的閉合度，并判斷司機(jī)是否疲勞。司機(jī)疲勞時會閉眼睛，實驗證明眼睛瞳孔被眼皮遮擋超過80%與疲勞相關(guān)性最大。連續(xù)采樣10 s，并求出這段時間內(nèi)司機(jī)每次閉眼過程中瞳孔被遮擋面積超過80%的時間T。若T與10 s比值超過40%，可以判斷為司機(jī)疲勞。有時候司機(jī)疲勞時會長時間閉眼睛，因此，若測得司機(jī)眼睛持續(xù)閉合超過2 s，也判斷司機(jī)在疲勞駕駛。

4 算法步驟及實驗結(jié)果

4.1 算法步驟

（1）利用膚色聚類性檢測人臉。若檢測到人臉，則啟動卡爾曼濾波進(jìn)行跟蹤，否則繼續(xù)檢測。

（2）利用唇色特征和臉部灰度特征相結(jié)合劃定嘴唇邊界，若嘴部邊界框的高度大于寬度的1／2，且持續(xù)超過3 s，判為打呵欠；若1 min內(nèi)打呵欠幀數(shù)與總幀數(shù)之比超過10%，判為疲勞，則轉(zhuǎn)到步驟（4），否則執(zhí)行步驟（3）。

（3）在人臉二值化灰度圖像中，利用人臉五官結(jié)構(gòu)先驗知識及區(qū)域生長得到眼睛輪廓，檢測到眼睛瞳孔被眼皮遮擋超過80%，開始計時10 s。若在該段時間內(nèi)檢測到這種狀態(tài)持續(xù)超過2 s，則判為疲勞，并轉(zhuǎn)到步驟（4）；否則計算10 s內(nèi)司機(jī)每次閉眼過程中瞳孔被遮擋面積超過80%的時間T。若T與10 s比值超過40%，判為疲勞，并轉(zhuǎn)到步驟（4）；否則轉(zhuǎn)到步驟（1）執(zhí)行。

（4）報警輸出。

4.2 實驗結(jié)果

選擇3位學(xué)生作為受測人員，根據(jù)測試所需的技術(shù)指標(biāo)，3位學(xué)生分別接受了測試，結(jié)果證明系統(tǒng)能夠達(dá)到要求，統(tǒng)計后的實際數(shù)據(jù)結(jié)果見表1所列。

表1 實驗結(jié)果

5 結(jié)束語

本文討論了基于面部特征的疲勞駕駛檢測的方法，具有非接觸性及抗干擾性強(qiáng)的優(yōu)點。人臉檢測效果較好，在此基礎(chǔ)上眼睛定位效率高。嘴唇由粗及細(xì)的定位方法提高了檢測效果，由實驗結(jié)果可以看出，該疲勞檢測方法準(zhǔn)確率較高。

［1］Hsu R L，Abdel－Mottaleb M，Jain A K.Face detection in color images［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（5）：696－706.

［2］Grace V E，Byrne J，Legrand M，et al.A machione vision based drowsy driver detection system for heaby vehicles［C］／／Proceedings of the Ocular Measures of Driver Alertness Conference，1999：75－86.

［3］蔣建國，陳曉蕊，齊美彬.基于膚色模型和Bayes特征的人臉檢測方法［C］／／全國第18屆計算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會議論文集.合肥：中國科學(xué)技術(shù)大學(xué)出版社，2007：1175－1180.

［4］苑瑋琦，賈 琦.基于DM6437的駕駛員疲勞檢測系統(tǒng)［J］.儀表技術(shù)與傳感器，2010（5）：51－55.

［5］張志文，沈海斌.基于色度分布差異性的唇部檢測算法［J］.浙江大學(xué)學(xué)報：工學(xué)版，2008，42（8）：1355－1359.

［6］吳從中，賀 偉，湯潤森，等.光照自適應(yīng)的疲勞駕駛檢測系統(tǒng)［J］.電子測量與儀器學(xué)報，2012，26（1）：60－66.

［7］蔣建國，劉 揚，詹 曙，等.灰度視頻序列中駕駛員疲勞實時監(jiān)測方法［J］.合肥工業(yè)大學(xué)學(xué)報：自然科學(xué)版，2008，31（9）：1424－1427，1442.

［8］劉 揚.基于DM642的疲勞駕駛實時檢測系統(tǒng)研究與實現(xiàn)［D］.合肥：合肥工業(yè)大學(xué)，2007.