李娟，王富*，王維鋒，汪恩軍，楊陽

1.武漢工程大學資源與土木工程學院，湖北武漢430074；2.江蘇省交通規(guī)劃設(shè)計院智能交通設(shè)計研究中心，江蘇　南京　210014

基于數(shù)據(jù)融合的疲勞駕駛檢測算法

李娟1，王富1*，王維鋒2，汪恩軍1，楊陽1

1.武漢工程大學資源與土木工程學院，湖北武漢430074；2.江蘇省交通規(guī)劃設(shè)計院智能交通設(shè)計研究中心，江蘇南京210014

為減少交通事故，采用基于數(shù)據(jù)融合的疲勞檢測技術(shù)以提高疲勞檢測精度.通過駕駛行為與車輛跟蹤技術(shù)研究現(xiàn)狀分析，選擇眼瞼遮住瞳孔的面積超過80%的P80和眨眼次數(shù)指標作為眼部特征參數(shù)、車輛越線指標作為駕駛行為特征參數(shù).將兩個特征參數(shù)分為3類，分別為：清醒狀態(tài)、輕微疲勞狀態(tài)、疲勞狀態(tài)；最后通過支持向量機算法建立基于數(shù)據(jù)融合的疲勞檢測模型.實驗結(jié)果分別為靈敏度為86.45%，檢測準確率為85.79%，特異度為84.63%，較單一數(shù)據(jù)源的疲勞檢測方式精準，建立的融合模型提高了疲勞檢測的準確性.

駕駛行為；疲勞識別；車道偏離；P80；支持向量機；數(shù)據(jù)融合

1　引言

國內(nèi)外交通管理機構(gòu)對交通事故數(shù)據(jù)進行統(tǒng)計分析，得出疲勞駕駛、超速駕駛等危險駕駛行為是導致交通事故的重要原因.為了緩解危險駕駛行為引發(fā)的道路交通事故，各國普遍以法律法規(guī)的形式對營運車輛駕駛員作息時間進行了嚴格規(guī)定.然而，由于駕駛員安全意識薄弱、運輸企業(yè)監(jiān)管不到位、危險駕駛行為不易判別等原因，限制了政策法規(guī)在預防危險駕駛行為中所起的作用.因此，如果能利用技術(shù)手段對危險駕駛行為和車輛行駛狀態(tài)實行有效的監(jiān)測和預警，及時發(fā)現(xiàn)駕駛員疲勞駕駛、超速行駛等違法行為，一方面能從根源上有效避免交通運輸事故發(fā)生，另一方面也有利于對駕駛員安全駕駛進行更為有效的管理，規(guī)范駕駛員行車駕駛習慣，減少交通事故率.

目前，疲勞駕駛行為與車輛跟蹤的相關(guān)研究主要是從眼部特征、腦電波特征、駕駛行為特征等方面數(shù)據(jù)的數(shù)據(jù)融合研究，其中采用D-S證據(jù)理論的數(shù)據(jù)融合模型［2］，采用貝葉斯理論的數(shù)據(jù)融合模型［3］，采用SVM算法的數(shù)據(jù)融合模型［7］，本文主要采用眼部狀態(tài)特征和車道偏離駕駛行為特征，利用SVM數(shù)據(jù)融合算法整合基于人眼的疲勞判別、基于車道偏離的疲勞判別的數(shù)據(jù)，研究建立基于數(shù)據(jù)融合的疲勞判別模型.

2　基于數(shù)據(jù)融合的疲勞檢測模型

數(shù)據(jù)采集為貨車駕駛過程中產(chǎn)生的車載數(shù)據(jù)，結(jié)合眼部特征數(shù)據(jù)和車道偏離駕駛行為數(shù)據(jù)，提出采用支持向量機算法對兩種數(shù)據(jù)源進行數(shù)據(jù)融合，進而解決單個數(shù)據(jù)源疲勞檢測不準確的問題.算法具體流程如圖1所示.

圖1　算法流程圖Fig.1Flowchart of algorithm

2.1眼部特征參數(shù)

采用PERCLOS算法關(guān)鍵是能夠精準的判斷出駕駛員眼睛的閉合狀態(tài).具體流程如圖2所示.

圖2　基于眼部特征的疲勞檢測算法Fig.2Fatigue detection algorithm based on characteristics of eye

2.1.1人臉檢測定位算法在進行數(shù)據(jù)預處理的基礎(chǔ)上，選擇AdaBoost分類器算法，根據(jù)人臉的特征完成檢測定位.算法步驟如下：

1）人臉分類器的訓練：每一個人臉特征訓練弱分類器hi，其構(gòu)造函數(shù)為

其中，fj為人臉特征，θj為相應(yīng)閥值，pj是控制不等式方向的校驗器，pj±1，x是圖像中一個24×24像素大小的harr-like子窗口.計算出每個元素M(xn，yn)與相對應(yīng)的弱分類器hj之間的誤差εi=∑iωi|hj(xi)-yi|，選出容錯率最小的弱分類器h，更新其權(quán)值，令ω=ωβ1-ei，其中

βt=εt(1-εt)，ei=0表示xi分類正確，ei=1表示xi分類錯誤，通過上述一系列步驟形成了基于人臉某一特征的分類器，即

2）人臉分類器：訓練出一系列基于人臉不同特征的分類器，并通過級聯(lián)的方式形成人臉分類器.最后將所有分割好的人臉區(qū)域通過人臉分類器，精確定位出人臉的區(qū)域.

2.1.2人眼檢測定位算法

1）粗定位：采用三庭五眼的幾何方法粗略定位人眼在臉部的位置.

2）精確定位：在所有人臉器官中，眼睛的結(jié)構(gòu)最為復雜，復雜度也最大.將上一步粗定位確定的搜索區(qū)域內(nèi)等分為8×4的小塊，進行復雜度計算，公式如下：

其中，Edge為邊緣檢測算子，S(A)為A區(qū)域的面積.

得到復雜度最大的10個小塊，將相鄰小塊合并后剔除孤立小塊，根據(jù)人眼分布的對稱性，最終得到人眼的精確位置.

2.1.3人眼狀態(tài)識別采用Hough變換的方法進行檢測，將圖像空間轉(zhuǎn)換為參數(shù)空間，以參數(shù)的形式描述圖像中的區(qū)域邊界，可以有效減少噪聲和曲線間斷對識別結(jié)果的影響.Hough變換對圓的檢測過程如下：

設(shè)定（{xi，y）i|i=1，2，3，…，n}為圖像平面內(nèi)需要確定圓周上點的集合，集合中某一點（x，y）的參數(shù)坐標（a，b，c）可表示為方程：

通過Hough變換將參數(shù)空間進一步分割為累加器單元A（i，j，k），同時對累加器單元進行置零.以(x-a)2+(y-b)2=r2為根據(jù)對參數(shù)進行循環(huán)計算，當值a（m）得到了對應(yīng)的b（p）、r（q），那么A（m，p，q）的值加1.取值最大的累加器所對應(yīng)的參數(shù)（a，b，c）即為圖像平面內(nèi)所要求的圓心坐標和半徑值.眼睛在睜開狀態(tài)下，眼珠近似于圓形，用Hough變換去檢測一個眼睛到底有沒有露出眼珠，即可判斷眼睛的開閉狀態(tài).

2.1.4人眼狀態(tài)疲勞檢測算法PERCLOS算法最早由卡內(nèi)基梅隆研究所在1994年提出，美國聯(lián)邦高速公路管理局在1999年，通過對比實驗，證明了PERCLOS算法所反映駕駛員疲勞程度的有效性. PERCLOS算法的常用計算模型有P70、P80以及EM三種，其中P80被認為最能反映人的疲勞程度，其定義為眼瞼遮住瞳孔的面積超過80%時判定眼睛為閉合狀態(tài).

其中，N表示一定時間內(nèi)的人眼圖片總幀數(shù)，n表示其中為閉合狀態(tài)的人眼圖片幀數(shù).

大量研究表明，在PERCLOS算法中，取P值的閥值為40%能夠很好的實現(xiàn)對駕駛員的疲勞檢測.本研究計算單位時間內(nèi)P值，當P＞40%時，判斷駕駛員處于疲勞狀態(tài)；當P≤40%且每分鐘眨眼次數(shù)小于5，同樣判斷駕駛員處于疲勞狀態(tài).疲勞檢測的主要流程如下：

1）根據(jù)人眼狀態(tài)識別結(jié)果，定義睜、閉眼狀態(tài)表示分別為“+1”、“-1”，則駕駛員的眼睛狀態(tài)就是一個“+1”、“-1”的時間序列.

2）計算P值.每隔30 s統(tǒng)計檢測到的總幀數(shù)和閉眼的幀數(shù)，即時間序列中“-1”所占的比例，同時計算人眼狀態(tài)由“+1”變?yōu)椤?1”的次數(shù)，即眨眼次數(shù)fB.

3）根據(jù)P值和眨眼次數(shù)對駕駛員疲勞進行判斷.

綜合以上結(jié)果，將眼部特征參數(shù)對應(yīng)于疲勞度，其中0代表清醒狀態(tài)，1代表輕微疲勞狀態(tài)，2代表疲勞狀態(tài).其對應(yīng)結(jié)果如表1所示.

2.2駕駛行為參數(shù)

采用Hough變換方法對疲勞駕駛的檢測，在此之前需要對道路數(shù)據(jù)進行圖像預處理，并利用車道線模型構(gòu)建模擬車道線數(shù)據(jù).算法流程如圖3所示.

表1　眼部特征疲勞度Tab.1Fatigue degree of eye characteristics

圖3　基于車道偏離的疲勞檢測算法Fig.3Fatigue detection algorithm based on lane departure

2.2.1圖像預處理對采集到的圖像數(shù)據(jù)經(jīng)灰度化處理、平滑處理、Sobel算子邊緣檢測、閾值分割的圖像預處理后得到的結(jié)果，將最終結(jié)果應(yīng)用于模型的構(gòu)建.

中國和歐盟是《公約》和《京都議定書》重要的參與者，雙方開展氣候合作始于1996年。1996年，歐委會制定《歐盟對華新戰(zhàn)略》，不僅將“推動改善環(huán)境和可持續(xù)發(fā)展戰(zhàn)略”作為歐盟對華四大戰(zhàn)略之一，還討論了推動中國改善環(huán)境和可持續(xù)發(fā)展戰(zhàn)略的領(lǐng)域和手段[5]。2012年簽署的《中歐能源安全聯(lián)合聲明》標志著中國和歐盟結(jié)成能源消費國戰(zhàn)略合作伙伴關(guān)系。2016年，中國和歐盟簽署《中國-歐盟能源合作路線圖》，指出發(fā)展可再生能源是中歐能源合作的基礎(chǔ)。

2.2.2建立車道線模型

1）道路形狀

當車輛在高速公路行駛時，拐彎處彎度變化比較緩慢.因此，可以用回旋曲線來描述高速公路的形狀，對直線與彎道連接部分進行平滑處理，模型表達式為

其中，C0為曲線初始點曲率，C1為曲率變化率，C(L)為距離初始點距離為L時的曲率.由公式（2～6）可知，回旋曲線中任一點的曲率和改點到初始點的距離成正比，只需要確定C0、C1兩個參數(shù)就可以確定道路的形狀.

2）道路寬度和道路平坦假設(shè)

假設(shè)道路的寬度基本保持不變且較為平坦，這樣就可以把對車道線的檢測轉(zhuǎn)換為對圖像中平行區(qū)域的監(jiān)測，同時利用車道線特征將圖像從二維空間映射到三維空間.道路的透視情況如圖4所示.

圖4　車道線模型Fig.4Model of lane line

其中，Vp為車道線在二維空間中的消失點，hz為經(jīng)過消失點的水平線，P1(x1，y)為左車線上點，其在右車道線上的對應(yīng)點位Pr(xr，y)，M(xe，y)則為左右車道線中點，根據(jù)透視原理可得

其中，hz為橫坐標值，y為縱坐標值，D為道路的寬度，k為比例系數(shù).由道路寬度估計出M(xe，y)的值，則可由式（8）求出hz、k的值繼而得到每一點的D值.

2.2.3車道偏離的疲勞檢測Hough變換對噪聲的干擾不敏感，可在很大的噪聲下完成直線或者是曲線的檢測，因此本研究選擇該算法對經(jīng)預處理得到的特征圖像進行處理，求出參數(shù)K、車道中線、消失點，得到直線檢測結(jié)果.

在（x，y）直角坐標系中的兩點經(jīng)過關(guān)系映射后在參數(shù)空間中成為兩條相交的直線，表示為

其中，k為直線的斜率；b為直線的截距.可采用“投票機制”，遍歷（b，k）空間中各個點得到票數(shù)，得票數(shù)高的勝出.但是（x，y）空間中的直線與x軸趨近于垂直時，斜率k會趨向于無窮，這時采用（β，θ）空間變換更便于直線的描述：

方程（2～10）將（x，y）空間中點變換為（β，θ）空間中的正弦曲線，利用點與正弦曲線的對偶性，實現(xiàn)對直線的檢測.算法將特征點帶入到處理好的θ∈[0，π)范圍內(nèi)值計算出β值，在兩個值都已知的情況下對（β，θ）空間中對應(yīng)的結(jié)構(gòu)值加1，將所有的特征點進行一次變換，最后得到直線的參數(shù).

選擇數(shù)據(jù)結(jié)構(gòu)中（x，y）對應(yīng)累加器較大的點作為目標直線，將其進行Hough逆變換就可得到相應(yīng)的直線方程中k、b的值與β、θ的關(guān)系，其公式為

消失點公式如下：

采用二階TLC（Time to Lane Crossing）算法，對車輛的單次跨越車道線情況進行判別，進而計算一段時間內(nèi)的跨越次數(shù)，從而對駕駛員是否疲勞駕駛進行判別.

整個判別過程中需要設(shè)定兩個閥值：1）車輛將要觸碰車道線邊緣的時間閥值T；2）一段時間內(nèi)車輛跨越車道線的次數(shù)閥值N.二階TLC算法判斷是否產(chǎn)生一次車道線跨越的公式為

其中，tc為計算出的車前輪邊緣將要觸碰車道線的時間，d為車前輪邊緣與車道線邊緣的距離，v1為車側(cè)向速度，a1為車輛的側(cè)向加速參數(shù)，T為車輛將要觸碰車道線的時間閥值.根據(jù)上述方法判斷車輛在一段時間內(nèi)跨越車道線的次數(shù)，當超過閥值N時則認為駕駛員處于疲勞駕駛的狀態(tài).

綜合以上結(jié)果，將駕駛行為參數(shù)對應(yīng)于疲勞度，其中0代表清醒狀態(tài)，1代表輕微疲勞狀態(tài)，2代表疲勞狀態(tài).其對應(yīng)結(jié)果如表2所示.

表2　駕駛行為特征疲勞度Tab.2Fatigue degree of driving behavior features

2.3基于支持向量機SVM的疲勞檢測模型

基于SVM建立疲勞駕駛檢測模型.按照上述所得的特征參數(shù)分別為：P值；眨眼頻率fB；跨越車道線的次數(shù)t.建立過程分為以下4步：1）模型輸入，輸入特征參數(shù)；2）模型訓練，采用徑向基核函數(shù)訓練模型參數(shù)；3）模型應(yīng)用，將模型應(yīng)用在實際采集數(shù)據(jù)中；4）模型檢驗，利用測試樣本對數(shù)據(jù)融合模型進行評價檢驗.

2.3.1模型輸入本文中的三項特征參數(shù)的量綱不一致，量綱的不一致將會影響數(shù)量級較小的特征參數(shù)對模型的貢獻，因此需要對三項特征參數(shù)做量綱歸一化處理.

其中，x是原始特征參數(shù)分量；x′i為歸一化后特征參數(shù)分量，x′i∈[-1，1]；xmax和xmin是訓練樣本的原始特征參數(shù)中的最大值和最小值；N是訓練樣本集的總數(shù).

2.3.2模型訓練由于疲勞駕駛狀態(tài)的遷移規(guī)律復雜，采用徑向基核函數(shù)作為疲勞特征子集從原始空間向線形空間轉(zhuǎn)化的模型函數(shù).徑向基RBF核函數(shù)有兩個重要的待定變量，懲罰系數(shù)C和核變量γ.懲罰系數(shù)C控制駕駛?cè)似跈z測模型的識別準確度，核變量γ決定原始空間的非線性問題變換到高維空間后的線形可分性.以模型在測試集上的識別準確度作為兩個待定變量優(yōu)化的目標函數(shù)，采用網(wǎng)格尋優(yōu)法搜尋最優(yōu)的變量組合（C，γ），即

2.3.3模型應(yīng)用在實驗視頻數(shù)據(jù)截取選擇時間大于60 s的數(shù)據(jù)段若干組，隨機選擇一定數(shù)量的駕駛樣本，分為正常駕駛樣本，疲勞駕駛樣本，測試樣本數(shù)據(jù).

基于5重交叉驗證法對疲勞駕駛檢測模型的檢測準確度進行評價，采用網(wǎng)格尋優(yōu)法搜尋最優(yōu)的變量組合（C，γ）.當交叉驗證準確率為90%時，模型達到最優(yōu)，此時，C=3，γ=54.

2.3.4模型檢驗從樣本集中選擇70組正常駕駛樣本和30組疲勞駕駛樣本對本文搭建的疲勞駕駛檢測模型進行測試.測試結(jié)果如圖5所示，正常駕駛類標簽為1，疲勞駕駛類標簽為2.

圖5　模型檢測結(jié)果Fig.5Test results of model

綜上所述，再對模型檢測結(jié)果做數(shù)據(jù)挖掘分析，引入靈敏度S，準確率A，差異度SP3個模型評價函數(shù)，其計算公式為：

其中，A代表所有樣本中正確識別率；S表示疲勞駕駛樣本中疲勞檢測輸出的比率；SP表示正常駕駛中正常駕駛輸出的比率；TRN為正確識別的樣本數(shù)；TON為總樣本數(shù)；TP為真陽性樣本數(shù)，即實際狀態(tài)與檢測結(jié)果均為疲勞駕駛的樣本數(shù)；FP為假陽性樣本數(shù)，即實際狀態(tài)為正常駕駛，輸出為疲勞駕駛的樣本數(shù)；TN為真陰性樣本數(shù)，即實際狀態(tài)與輸出結(jié)果均為正常駕駛狀態(tài)的樣本數(shù)；FN為假陰性樣本數(shù)，即實際狀態(tài)為疲勞駕駛，輸出為正常駕駛的樣本數(shù).各變量的相關(guān)關(guān)系如表3所示.

表3　評價函數(shù)相關(guān)變量關(guān)系Tab.3Relationship between relevant variables for evaluation function

綜合以上描述，檢測模型的檢測結(jié)果如表4所示，靈敏度為86.45%，檢測準確率為85.79%，特異度為84.63%.

表4　模型檢測結(jié)果Tab.4Results of model test

3　結(jié)語

結(jié)合駕駛?cè)说难鄄刻卣鲄?shù)和車道偏離的駕駛行為特征參數(shù)，采用支持向量機的算法對兩種特征參數(shù)進行數(shù)據(jù)融合，得出疲勞檢測數(shù)據(jù)融合模型.經(jīng)實際道路上的測試表明，本文算法研究結(jié)果實現(xiàn)了兩種數(shù)據(jù)的數(shù)據(jù)融合，相對于單一數(shù)據(jù)源的疲勞檢測結(jié)果，本文算法研究在疲勞檢測準確性上得到很大提高.

致謝

感謝武漢工程大學智能交通研究中心與江蘇省交通規(guī)劃設(shè)計院智能交通設(shè)計研究中心的支持.

［1］沈永增，胡立芳，馮繼妙.多源信息融合在駕駛疲勞檢測中的應(yīng)用［J］，計算機應(yīng)用與軟件，2012.29（2）：271-274，297. SHEN Y Z，HU L F，F(xiàn)ENG J M.Multi-source informationfusionapplicationtodrivingfatigue detection［J］.Computerapplicationsandsoftware，2012，29（2）：271-274，297.

［2］YANG G，LIN Y，BHATTACHARYA P.A driver fatiguerecognitionmodelusingfusionofmultiple features［M］.Hawei：IEEE，2005.

［3］GUO S Y，YING Z L，PRABIR BHATTACHARYA.A driver fatigue recognition model based on information fusion and dynamic Bayesian network［J］.Information sciences，2010，180（10）：1942-1954.

［4］王連震，裴玉龍.基于貝葉斯網(wǎng)絡(luò)的駕駛疲勞程度識別模型［J］.交通工程，2014，12（3）：66-74. WANG L Z，PEI Y L.Driving fatigue recognition model based on bayesian network［J］.Traffic engineering，2014，12（3）：66-74.

［5］張暉.基于駕駛行為的疲勞程度識別研究［D］.武漢：武漢理工大學，2009.

［6］楊述斌，金璐，章振保.疲勞駕駛檢測中的快速人眼定位方法［J］.武漢工程大學學報，2013，35（6）：67-72. YANG S B，JIN L，ZHANG Z B.The method of quick eye location for fatigue test［J］.Journal of Wuhan university of engineering，2013，35（6）：67-72.

［7］袁翔，黃博學，夏晶晶.疲勞駕駛檢測方法研究現(xiàn)狀［J］.公路與汽運，2007，18（3）：51-54. YUAN X，HUANG B X，XIA J J.Fatigue test method of research status［J］.Roads and trucks，2007，18（3）：51-54.

［8］牛清寧.基于信息融合的疲勞駕駛檢測方法研究［D］.長春：吉林大學，2014.

［9］邵佳.基于眼部特征的疲勞駕駛實時檢測算法研究［D］.長沙：湖南大學，2013.

［10］王景丹.疲勞駕駛自主檢測的研究與實現(xiàn)［D］.成都：電子科技大學，2013.

［11］王雷.一種基于雙曲線模型的車道線跟蹤檢測算法設(shè)計與實現(xiàn)［D］.長春：吉林大學，2014.

［12］秦洪懋，劉志強，汪澎.基于多通道信息融合的疲勞駕駛行為分析研究［J］.中國安全科學學報，2011，21（2）：115-120. QING H M，LIU Z Q，WANG P.Research on drowsy driving behavior based on mult-i channel information fusion［J］.Chinese journal of safety science，2011，21（2）：115-120.

［13］劉佳興.基于多參數(shù)融合的疲勞駕駛監(jiān)測及預警系統(tǒng)［D］.蘭州：蘭州大學，2013.

［14］肖獻強，王其東，趙永.基于信息融合的駕駛行為識別技術(shù)的研究［J］.汽車工程，2012，34（3）：223-226. XIAO X Q，WANG Q D，ZHAO Y.A research on the technique of driving behavior identification based on information fusion［J］.Automotive engineering，2012，34（3）：222-226.

［15］劉莉.基于眼部信息的疲勞駕駛檢測方法研究［D］.長沙：湖南大學，2011.

本文編輯：陳小平

Detection Algorithm of Fatigue Driving Based on Data Fusion

LI Juan1，WANG Fu*1，WANG Weifeng2，WANG Enjun1，YANG Yang1
1.School of Resources and Civil Engineering，Wuhan Institue of Technology，Wuhan 430074 China；2.Intelligent Tansportation Design Research Center of Jiangsu Province Traffic Planning and Design Institute，Co.LTD，Nanjing 210014，China

To reduce traffic accidents，we adopted fatigue detection technology based on data fusion to improve the accuracy of fatigue detection.By analyzing the driving behavior and vehicle tracking technology，P80（the eyelids cover the pupillary area of more than 80%）and blink frequency were selected as the eye characteristic parameters，and the vehicle cross line was selected as the driving behavior characteristic parameters.The two characteristic parameters were divided into three categories，the waking state，mild fatigue and fatigue；finally，the fatigue detection model based on data fusion was established by supporting vector machine.Experimental results show that the sensitivity is 86.45%，the detection accuracy is 85.79%，and the specificity is 84.63%，which is more accurate compared with the fatigue detection method based on single data source.It is concluded that the established fusion model can improve the accuracy of fatigue detection.

driving behavior；fatigue detection；lane departure；P80；supporting vector machine；data fusion

TP305

A

10.3969/j.issn.1674?2869.2016.05.018

1674-2869（2016）05-0505-06

2016-05-26

李娟，碩士研究生.E-mail：1060306732@qq.com

王富，博士，副教授.E-mail：550616898@qq.com