姜朝曦，馮瓊琳，錢宗亮（中國(guó)海誠(chéng)工程科技股份有限公司，上海 200031）

一種對(duì)于疲勞駕駛的評(píng)估及預(yù)警方法

姜朝曦，馮瓊琳，錢宗亮（中國(guó)海誠(chéng)工程科技股份有限公司，上海 200031）

本文提出了一種基于多傳感信息融合的KEEP-COOL疲勞駕駛安全等級(jí)評(píng)估及預(yù)警方法。主要分為以下幾個(gè)部分：安全等級(jí)的劃分方法及預(yù)警決策方案、基于駕駛員面部特征的駕駛員疲勞度評(píng)估方法、基于車道線數(shù)學(xué)模型分析的車輛行駛狀態(tài)評(píng)估方法。結(jié)合各項(xiàng)檢測(cè)結(jié)果，首先劃分出駕駛安全等級(jí)，然后根據(jù)不同的安全等級(jí)做出相應(yīng)的預(yù)警及控制反應(yīng)。

多傳感信息；疲勞駕駛；安全等級(jí)；預(yù)警控制；面部特征

1 引言

在當(dāng)今社會(huì)，隨著車輛人均占有率逐步提高，交通事故也逐步增加。在交通事故中，疲勞駕駛儼然已成為引發(fā)交通事故的重要原因之一。然而目前，國(guó)內(nèi)外還沒有針對(duì)疲勞駕駛預(yù)警非常有效的指標(biāo)或模型[1]。為減少事故的發(fā)生，本文通過對(duì)駕駛過程中檢測(cè)到的駕駛員疲勞狀態(tài)、路面狀況和車輛參數(shù)，獨(dú)創(chuàng)性的提出KEEPCOOL智能疲勞駕駛安全等級(jí)評(píng)估方法，通過車載主機(jī)進(jìn)行預(yù)警提醒和緊急制動(dòng)，并依照這種方法提出了一系列的預(yù)警處理方案。

2 疲勞預(yù)警方法研究

本系統(tǒng)用攝像頭A對(duì)駕駛員的面部特征進(jìn)行視頻的采集[2]。用攝像頭B對(duì)車道進(jìn)行監(jiān)測(cè)。其他安裝在智能車輛上的傳感器還將測(cè)得車輛與障礙物的距離、車速、加速度、俯仰角、航向角等。示意圖如圖1所示。

圖1 雙攝像頭和PSD傳感器位置示意圖

2.1 KEEP-COOL智能疲勞駕駛安全等級(jí)評(píng)估

對(duì)駕駛員狀態(tài)、車輛狀態(tài)以及車輛其他參數(shù)進(jìn)行檢測(cè)。首先結(jié)合各項(xiàng)檢測(cè)結(jié)果，劃分駕駛安全等級(jí)，然后根據(jù)不同安全等級(jí)做出預(yù)警及控制反應(yīng)。本系統(tǒng)在車速大于20km/h時(shí)啟動(dòng)。

首先，將駕駛員面部疲勞度分為Ⅰ度，Ⅱ度，Ⅲ度，Ⅳ度4個(gè)等級(jí)，分別描述如表1所示，疲勞度評(píng)估的具體方法將在后文中描述。

表1 駕駛員面部疲勞度等級(jí)描述

將攝像頭B檢測(cè)到的路面車道線狀況（即車輛行駛狀況）分為A、B、C、D四種情況[3]，分別描述如表2所示。

表2 路面車道線狀況分類

結(jié)合上述駕駛員疲勞程度與車道線狀況，將駕駛安全等級(jí)分為安全、輕度危險(xiǎn)、危險(xiǎn)、非常危險(xiǎn)四級(jí)，如表3所示。

表3 駕駛員疲勞度等級(jí)劃分

另外，出現(xiàn)以下任何一種情況都視為非常危險(xiǎn)：

（1） PSD紅外測(cè)距儀發(fā)出對(duì)前方障礙物的報(bào)警信號(hào)。

（2） 駕駛員連續(xù)駕駛時(shí)間超過8小時(shí)。

（3） 車速超過150km/h。

2.2 疲勞預(yù)警決策方案

結(jié)合前面劃分的疲勞等級(jí)，根據(jù)不同的情況對(duì)駕駛員及車輛做出不同的預(yù)警及控制動(dòng)作，具體操作如表4所示。

表4 疲勞預(yù)警決策方案

表4中的語音及控制方案如下：

語音提醒1：“為了行車安全，請(qǐng)勿壓線。”

語音提醒2：“您可能需要休息?！?/p>

語音提醒3：“請(qǐng)注意車道變更?！?/p>

語音提醒4：“為了您的安全，請(qǐng)專心開車?！?/p>

語音提醒5：“危險(xiǎn)?！?/p>

語音提醒6：“為了您的安全，請(qǐng)休息后再行駛車輛?！?/p>

控制方案1：車輛以每秒5km/h的速度減速，直至速度減為20km/h。

控制方案2：車輛以每秒15km/h的速度減速，直至速度減為20km/h。

3 駕駛員疲勞度評(píng)估方法

3.1 面部狀態(tài)檢測(cè)

在表1中，已經(jīng)將駕駛員面部疲勞程度分為I到IV，4個(gè)等級(jí)。這里將探討如何判斷駕駛員的疲勞等級(jí)。給出各變量的取值及含義如表5所示。

表5 面部圖像變量表

實(shí)際檢測(cè)時(shí)，首先檢測(cè)眼睛狀態(tài)[4]，若檢測(cè)到ey=1（檢測(cè)到睜開的眼睛），則定義為“睜眼”狀態(tài)。若檢測(cè)到ey=0（未檢測(cè)到睜開的眼睛），再去檢測(cè)臉部狀態(tài)[5]。此時(shí)，若fc=1（檢測(cè)到正面人臉），則定義為“閉眼”狀態(tài)。反之，若fc=0（未檢測(cè)到正面人臉），則定義為“轉(zhuǎn)頭”狀態(tài)。流程如圖2所示。

3.2 疲勞度評(píng)估

評(píng)估駕駛員疲勞度時(shí)，引入PERCLOS概念[6]。PERCLOS是指眼睛閉合時(shí)間占一定時(shí)間(30秒)的百分率。實(shí)踐證明駕駛員眼睛閉合的時(shí)間越長(zhǎng)，疲勞程度就越嚴(yán)重。因此可以通過測(cè)量眼睛閉合時(shí)間的長(zhǎng)短就能夠確定疲勞駕駛的程度。

選取10人樣本進(jìn)行測(cè)試，測(cè)得正常情況下，人在30s內(nèi)的PERCLOS值如表6所示。

圖2 面部狀態(tài)檢測(cè)流程圖

表6 PERCLOS值測(cè)試

將表6的PERCLOS值做一個(gè)平均值得到：

本系統(tǒng)檢測(cè)面部圖像的頻率大概為50ms一次。以30秒為一個(gè)時(shí)間單位，統(tǒng)計(jì)30秒內(nèi)檢測(cè)到的“閉眼”次數(shù)，占總檢測(cè)次數(shù)的百分比，作為PERCLOS值。每1秒統(tǒng)計(jì)一次前30秒的PERCLOS值。

同時(shí)，每1秒統(tǒng)計(jì)一次在這1秒鐘內(nèi)檢測(cè)到“轉(zhuǎn)頭”次數(shù)占總檢測(cè)次數(shù)的百分比。

根據(jù)以上計(jì)算結(jié)果，本系統(tǒng)選取疲勞閾值為36%，即當(dāng)閉眼時(shí)間占總時(shí)間（30秒）超過35%（PERCLOS＞35%）時(shí)，判定為駕駛員出現(xiàn)明顯疲勞特征，即Ⅳ級(jí)疲勞。當(dāng)30%＜PERCLOS≤35%時(shí)，判定駕駛員出現(xiàn)輕微疲勞特征，即Ⅱ級(jí)疲勞。當(dāng)PERCLOS≤30%時(shí)，判定駕駛員未出現(xiàn)疲勞特征，即Ⅰ級(jí)疲勞（不疲勞）。

若連續(xù)6秒檢測(cè)到駕駛員“轉(zhuǎn)頭”次數(shù)占總檢測(cè)次數(shù)的百分比超過90%，則判定駕駛員駕駛不專心，即Ⅲ級(jí)疲勞。指標(biāo)對(duì)比如表7所示。

表7 疲勞度劃分指標(biāo)

3.3 自適應(yīng)靈敏度設(shè)定

由于駕駛員行車速度以及行車時(shí)間不一定，疲勞判定的規(guī)則也不一定。為此，特別提出一個(gè)靈敏度的概念，使疲勞度判定規(guī)則更加準(zhǔn)確有效，有利于系統(tǒng)做出正確決策。

靈敏度與車速和司機(jī)駕駛時(shí)間有關(guān)，主要作用于高速公路和非高速公路這兩種行駛狀態(tài)。這樣可以保證車輛在行駛過程中得到充分的安全保障。靈敏度設(shè)定如表8所示。

表8 靈敏度設(shè)定

對(duì)于不同的靈敏度，判定駕駛員疲勞度的指標(biāo)不同，表7所示指標(biāo)為中靈敏度情況下的指標(biāo)。對(duì)于其他靈敏度，需將指標(biāo)PERLOCS的閾值及“轉(zhuǎn)頭”時(shí)間閾值（中靈敏度：6秒）乘以靈敏度系數(shù)。經(jīng)過實(shí)際測(cè)試，將靈敏度系數(shù)設(shè)定如下：

將中靈敏度（靈敏度B）的系數(shù)Kb設(shè)為1，則：

低靈敏度系數(shù)Ka=1.18

高靈敏度系數(shù)Kc=0.95

4 車道線數(shù)學(xué)模型分析

該系統(tǒng)通過攝像頭B監(jiān)測(cè)前方道路畫面，根據(jù)畫面上不同的車道線狀況，判定出駕駛員不同的駕駛狀態(tài)。在前面，已經(jīng)將車道線狀況分為四種情況：車輛正常行駛、車輛壓車道線（虛線）、車輛大角度偏離車道線、車輛壓車道線（實(shí)線）。下面通過對(duì)檢測(cè)畫面中的車道線進(jìn)行數(shù)學(xué)建模來討論如何判別車輛當(dāng)前的行駛狀況[7]。

4.1 車輛壓線

（1）步驟一：判斷車輛將要壓實(shí)線還是虛線

一般情況下，車道線畫面中會(huì)出現(xiàn)實(shí)線和虛線兩條線。判斷車輛壓線，首先要判斷車輛壓的是當(dāng)前車道的哪一條線。

當(dāng)有兩條車道線同時(shí)出現(xiàn)時(shí)，需要通過以下方法判斷車輛離左右兩根車道線中的哪一根比較近。圖3為車輛到右邊線的距離示意圖。圖4和圖5為車輛到左邊線的距離示意圖。

攝像頭B監(jiān)測(cè)得到的車道畫面，經(jīng)過一系列圖像處理步驟，最終得到當(dāng)前車道在圖像坐標(biāo)系中的直線模型對(duì)應(yīng)的極坐標(biāo)參數(shù)（ρ，θ）。

其中：

· ρ為計(jì)算機(jī)測(cè)得的原點(diǎn)到車道線的距離；

· A為圖像中心點(diǎn)；

· X為圖像中心點(diǎn)到車道線的距離；

· a為原點(diǎn)到中心點(diǎn)連線的長(zhǎng)度；

· b為車道線與x軸的交點(diǎn)和中心點(diǎn)連線的長(zhǎng)度；

· c為車道線與x軸的交點(diǎn)和原點(diǎn)的連線的長(zhǎng)度。

圖3 車輛到右邊線距離示意圖

圖4 車輛到左邊線距離示意圖1

圖5 車輛到左邊線距離示意圖2

可以計(jì)算出X1和X2的值：

通過以上計(jì)算，比較X1與X2的大?。?/p>

當(dāng)X1>X2時(shí)，車輛離右邊線比較近；當(dāng)X1

（2）步驟二：判定車輛是否壓線

下面給出判定車輛壓線的指標(biāo)，圖6為車輛壓線示意圖。

由圖6得出如下公式：

X= | cosθ|·m

最后，當(dāng)計(jì)算出的X≤半車身長(zhǎng)度時(shí)，判定車輛壓線[8]。具體壓實(shí)線還是虛線已在上一步得出。

圖6 車輛壓線示意圖

4.2 車輛大角度偏離車道

攝像頭B對(duì)左右兩條車道線識(shí)別后，可以根據(jù)識(shí)別出的車道線參數(shù)求出這兩條直線的內(nèi)角夾角平分線。方法如下：

圖7 攝像頭B檢測(cè)畫面

圖7為攝像頭B所檢測(cè)到的畫面，計(jì)算角平分線的方法如下：若平面內(nèi)兩直線則11和12的夾角平分線1的方程為：

5 結(jié)語

本系統(tǒng)提出的KEEP-COOL疲勞駕駛評(píng)估方法，是一種通過多傳感信息融合技術(shù)實(shí)現(xiàn)的疲勞評(píng)估方法，通過攝像頭非接觸式地采集駕駛員面部特征、車道狀況和車輛行駛參數(shù)等信息，自適應(yīng)的控制決策系統(tǒng)，對(duì)駕駛員的疲勞駕駛行為做出準(zhǔn)確快速的預(yù)警。

本系統(tǒng)采用非接觸式的傳感器采集方式、多傳感信息融合決策，大大地提高了駕駛員的舒適性和智能車輛的主動(dòng)安全性，使汽車的疲勞駕駛預(yù)警更加準(zhǔn)確。

本系統(tǒng)能有效地減少因疲勞駕駛而產(chǎn)生的交通事故，在未來的交通安全保障方面起到很大的作用，可廣泛應(yīng)用于私家車、公共交通和長(zhǎng)途客運(yùn)的安全保障。

[1] 孫偉, 張為公, 等. 疲勞駕駛預(yù)警系統(tǒng)的研究發(fā)展[J]. 汽車電器, 2009, ( 1 ) : 4 - 8.

[2] Cl′audio Rosito Jung, Christian Roberto Kelber. A Lane Departure Warning System Using Lateral Offset with Uncalibrated Camera [J]. IEEE Conference on Intelligent Transportation Systems. 2005: 102 - 107.

[3] 游峰. 智能車輛自動(dòng)換道與自動(dòng)超車控制方法研究[D]. 吉林: 吉林大學(xué), 2005.

[4] 王會(huì)榮. 基于改進(jìn) Adaboost 算法的汽車疲勞駕駛預(yù)警系統(tǒng)設(shè)計(jì)[D]. 哈爾濱: 哈爾濱工業(yè)大學(xué), 2012.

[5] 張建明, 汪大慶. 基于Adaboost算法的多姿態(tài)人臉實(shí)時(shí)視頻檢測(cè)[J]. 計(jì)算機(jī)工程與設(shè)計(jì). 2010, 31 ( 18 ) 4065.

[6] S. Boveris. Driver fatigue monitoring technologies and future ideas [C]. Proc. AWAKE Road Safety Workshop 2004．

[7] 裘偉. 高速公路車道偏離告警系統(tǒng)的研究[D]. 長(zhǎng)沙: 國(guó)防科學(xué)技術(shù)大學(xué), 2006.

[8] 于兵, 張為公, 龔宗洋. 基于機(jī)器視覺的車道偏離報(bào)警系統(tǒng)[J]. 東南大學(xué)學(xué)報(bào)(自然科學(xué)版), 2009, 39 ( 5 ): 928 - 932.

An Approach to Safety Assessment and Early Warning for Fatigue Driving

This paper proposes a fatigue driving safety level assessment and early warning system named KEEP-COOL, which is based on multi-sensor information fusion. This system can be mainly divided into three components: Safety degree appraising and early warning decision scheme; Fatigue assessment method based on the driver's facial features; Traffic condition assessment of vehicles based on lane modeling. By combining on the results of analysis, the system is able to react differently with various safety levels.

Multi-sensor information; Fatigue driving; Safety level; Early warning system; Facial features.

姜朝曦（1991-），男，黑龍江人，碩士，畢業(yè)于英國(guó)巴斯大學(xué)（University of Bath），現(xiàn)就職于中國(guó)海誠(chéng)工程科技股份有限公司，主要研究方向?yàn)殡娏ο到y(tǒng)。

B

1003-0492(2015)04-0074-05

TP273

馮瓊琳（1985-），女，江蘇人，學(xué)士，畢業(yè)于上海交通大學(xué)，現(xiàn)就職于中國(guó)海誠(chéng)工程科技股份有限公司，主要研究方向?yàn)闄C(jī)器視覺及圖像處理。

錢宗亮（1983-），男，江蘇人，學(xué)士，畢業(yè)于南京工業(yè)大學(xué)，現(xiàn)就職于中國(guó)海誠(chéng)工程科技股份有限公司，主要研究方向?yàn)殡姎庾詣?dòng)化設(shè)計(jì)。