摘要：為獲取用于檢測駕駛疲勞狀態(tài)的關(guān)鍵指標(biāo)，通過實車試驗采集了駕駛員行為狀態(tài)、眼動數(shù)據(jù)和車輛動態(tài)信息，對比分析了各參數(shù)對駕駛員主觀疲勞狀態(tài)的反映程度。對于駕駛員眼部特征檢測，使用特征提取器完成人臉位置的實時跟蹤，并使用68 點面部特征檢測算法標(biāo)記關(guān)鍵點位置，估算出眼睛長寬比（EAR）。通過分類與回歸樹（CART）決策算法訓(xùn)練數(shù)據(jù)模型，實現(xiàn)在一定窗口期內(nèi)對駕駛員眨眼行為的準(zhǔn)確決策分類，獲得眼睛閉合率（PERCLOS）等關(guān)鍵眼部特征指標(biāo)。在此基礎(chǔ)之上設(shè)計了13 種駕駛疲勞狀態(tài)檢測指標(biāo)，并與卡羅林斯卡嗜睡量等級（KSS）這一主觀疲勞程度衡量參數(shù)作相關(guān)性評價。研究結(jié)果表明： PERCLOS 與KSS 的相關(guān)性最高，相關(guān)系數(shù)為0.83，因此借助PERCLOS 可以較準(zhǔn)確地判斷駕駛疲勞狀態(tài)。

關(guān)鍵詞：駕駛疲勞；疲勞檢測；人臉識別；特征分類；相關(guān)性分析

0 前言

疲勞駕駛是影響道路交通安全的重要危險因素之一。研究表明，駕駛員疲勞狀態(tài)下駕駛車輛，發(fā)生交通事故的概率是正常狀態(tài)下的4～6 倍［1］。

美國國家公路交通安全管理局報告顯示，2018 年美國共發(fā)生775 起涉及疲勞駕駛的死亡事故，由此造成的死亡人數(shù)占所有機動車交通事故死亡人數(shù)的2.1%；2016—2018 年，美國有2.1%～2.5% 的致命交通事故與疲勞駕駛有關(guān)［2］。與分心駕駛類似，疲勞駕駛會導(dǎo)致駕駛員判斷力下降、反應(yīng)遲鈍和操作失誤，從而增加撞車風(fēng)險。雖然絕大部分駕駛員都承認(rèn)疲勞駕駛存在潛在危險，但仍有部分駕駛員在疲勞狀態(tài)下選擇堅持開車。

疲勞駕駛對自動駕駛技術(shù)的安全性造成嚴(yán)重影響。2020 年，一輛在日本東京高速公路上行駛的特斯拉Model X，駕駛員在開啟了自動駕駛輔助系統(tǒng)后，注意力開始放松并處于疲勞駕駛狀態(tài)，由于同向高速公路前方發(fā)生了一起交通事故，涉事人員和車輛正在處理事故，特斯拉Model X 來不及避讓，直接撞向人群，導(dǎo)致現(xiàn)場一名日本男子當(dāng)場死亡［3］。

雖然駕駛員在使用車輛自動駕駛輔助系統(tǒng)時，系統(tǒng)會提醒駕駛員隨時保持接管車輛控制系統(tǒng)，但在路面較平整且具有清晰車道的路況下，由于自動駕駛輔助系統(tǒng)在大多情況下可以正常運行，駕駛員很容易進入疲勞駕駛狀態(tài)，此時一旦系統(tǒng)功能意外退出，極易發(fā)生交通事故。因此，自動駕駛輔助系統(tǒng)應(yīng)對駕駛員是否具備執(zhí)行動態(tài)駕駛?cè)蝿?wù)接管的能力進行識別，并在駕駛員接管能力不滿足要求時，發(fā)出警告信號。

截至2022 年1 月，我國汽車產(chǎn)銷總量已經(jīng)連續(xù)13 年位居全球第一［4］，同時，我國高速公路通車總里程達16 萬km，位居世界第一［5］。高速公路行車環(huán)境單一，長時間駕駛會導(dǎo)致駕駛員疲勞，容易導(dǎo)致嚴(yán)重的交通事故。因此，開發(fā)和應(yīng)用駕駛疲勞狀態(tài)檢測系統(tǒng)，不僅可以減少因疲勞駕駛引發(fā)的交通事故率，還可以提升汽車自動駕駛技術(shù)的安全性。

近期，歐盟新車安全評鑒協(xié)會（Euro NCAP）提出，自2023 年起，駕駛員狀態(tài)檢測將作為輔助安全駕駛評級標(biāo)準(zhǔn)的重要組成部分，以提高自適應(yīng)巡航及高階自動駕駛系統(tǒng)的安全性。

1 駕駛疲勞狀態(tài)檢測技術(shù)概述

駕駛疲勞狀態(tài)檢測系統(tǒng)是預(yù)防疲勞駕駛的常用方法，主要是通過直接或間接方法對駕駛員的行為狀態(tài)、面部狀態(tài)進行實時監(jiān)控并適時發(fā)出報警提醒。車輛行駛過程中會面臨各種復(fù)雜狀況，如光線環(huán)境變化、道路環(huán)境變化等，同時駕駛員的外觀特征也因人而異，因此這些因素對駕駛疲勞狀態(tài)檢測系統(tǒng)的準(zhǔn)確性和魯棒性提出了更高要求。

Euro NCAP 的最新標(biāo)準(zhǔn)對駕駛員監(jiān)控系統(tǒng)作出了明確規(guī)定，要求當(dāng)車輛以一定速度向前行駛，且車速≥10 km/h 時，駕駛員監(jiān)控系統(tǒng)必須始終處于激活狀態(tài)［6］。駕駛員監(jiān)控系統(tǒng)的監(jiān)測項包括：駕駛員注意力分散狀態(tài)檢測、駕駛員疲勞狀態(tài)檢測、駕駛員實時響應(yīng)檢測等。其中，對于駕駛員疲勞狀態(tài)的客觀測量，主要借助駕駛員眼部特征、腦電信號、心電信號、車輛行為等指標(biāo)進行綜合分析。在這些檢測指標(biāo)中，駕駛員眼部特征是一項可用于衡量駕駛員疲勞狀態(tài)的重要檢測指標(biāo)，該指標(biāo)的提取可作為間接測量駕駛員疲勞狀態(tài)方式，適用于車載系統(tǒng)的開發(fā)應(yīng)用。

卡內(nèi)基梅隆研究所經(jīng)過反復(fù)試驗，提出了一種眼睛閉合率（PERCLOS）的檢測駕駛疲勞狀態(tài)方法，并按照P80 的標(biāo)準(zhǔn)進行檢測。P80 表示在單位時間內(nèi)眼睛閉合程度超過80% 以上的時間占總時間的百分比，該標(biāo)準(zhǔn)能較好地表征駕駛疲勞程度［7］。美國明尼蘇達大學(xué)GRACE 等利用“視網(wǎng)膜對不同波長的紅外光反射量不同”這一特點，使用多個攝像頭在相同照度的條件下同時采集人臉圖像，借助眼睛長寬比（EAR）等眼部特征，通過分析差分后瞳孔圖像特征計算PERCLOS，實現(xiàn)對駕駛員疲勞狀態(tài)24 h 實時檢測［8］。

本文通過采用人臉關(guān)鍵點檢測（68 點）模型對駕駛員面部特征進行數(shù)據(jù)標(biāo)記，然后檢測駕駛員的眨眼行為，進而計算獲取PERCLOS 等眼動指標(biāo)。

通過實車試驗采集眼部特征、車道偏移特性及車輛動力學(xué)特性等信息，計算各參數(shù)對于卡羅林斯卡嗜睡量等級（KSS）的相關(guān)性，從而獲取用于表征疲勞駕駛的關(guān)鍵指標(biāo)，并最終通過實車測試完成對比驗證。

2 駕駛員眼部特征識別與分析

2. 1 眼部特征識別

眨眼作為人體正常的生理活動，能夠反映個體當(dāng)前的生理狀態(tài)，眼部特征也是駕駛員疲勞程度檢測的重要指標(biāo)之一。眨眼行為是眼睛快速閉合和重新睜開的過程，對不同個體會有所不同，具體表現(xiàn)在閉眼和睜開的速度、閉合眼睛的程度和眨眼持續(xù)時間等方面。

本文使用了目前主流的人臉關(guān)鍵點檢測器對面部特征輪廓進行定位，并從圖像中檢測面部關(guān)鍵點，由此計算得出EAR，用于評估眼睛睜開狀態(tài)。

首先，人臉位置檢測器采用Dlib 軟件自帶的get_frontal_face_detector 作為特征提取器［9］，使用直方圖定向梯度特征，結(jié)合線性分類器和滑動窗口來實現(xiàn)對人臉位置的準(zhǔn)確識別。其次，使用人臉關(guān)鍵點檢測數(shù)據(jù)模型shape_predictor_68_face_landmarks 構(gòu)建特征提取器，并采用shape_predictor.dat 參數(shù)文件完成68 點位置標(biāo)志人臉重要部位識別及參數(shù)輸出。最后，借助計算機視覺軟件中的cv2視覺庫進行圖像像素和灰度處理，并通過已檢測到的關(guān)鍵點位置進行臉部關(guān)鍵特征輪廓繪制。圖像處理效果如圖1 所示。

試驗中，對于每幀視頻都會檢測到眼部特征的關(guān)鍵點，通常將左右雙眼分別標(biāo)記6 個檢測點，其中左眼檢測點標(biāo)記為37～42 點，右眼檢測點標(biāo)記為43～48 點?；趫D像處理后可以輸出檢測點位置坐標(biāo)，由此可計算出駕駛員眼睛的EAR。其中，左眼EAR 的計算式為：

式中：kEAR 為左眼EAR；P37x、P40x 分別為眼睛輪廓左、右邊緣點的橫坐標(biāo)；P38y、P39y、P41y、P42y 為眼睛輪廓上下邊緣線的縱坐標(biāo)。

研究表明，當(dāng)眼睛睜開時，EAR 是基本不變的，其值保持在0.25 附近，而閉上眼睛時，EAR 接近0，單次眨眼的持續(xù)時間為100～400 ms。由于眨眼過程中左右眼是同步進行的，因此可以取兩眼的EAR 平均值作為眨眼評價的基礎(chǔ)指標(biāo)，如圖2 所示。其中，測試攝像頭的采樣幀率為每秒30 幀。

2. 2 眨眼分類算法

對于簡單的眼部特征識別，眨眼行為可以使用較低的EAR 進行簡單判斷，但如果僅參考每幀圖像計算出的EAR，在某些情況下不一定能正確識別眨眼行為。試驗表明，當(dāng)駕駛員表現(xiàn)出某些復(fù)雜的面部表情時，EAR 可能會偏低，且具體表現(xiàn)因人而異，因此需要采集更長時間窗口下的數(shù)據(jù)來進行特征分類。試驗發(fā)現(xiàn)，使用采樣幀率為每秒30 幀的視頻采集設(shè)備，眨眼行為會產(chǎn)生大約連續(xù)7 幀低于睜眼狀態(tài)EAR 的圖像，對應(yīng)的持續(xù)時間約為230 ms。因此，可以使用連續(xù)7 幀圖像的特征來準(zhǔn)確識別眨眼行為。

決策樹是一種常用于數(shù)據(jù)分類的非監(jiān)督學(xué)習(xí)方法，可以通過從數(shù)據(jù)特征中學(xué)習(xí)出簡單的決策規(guī)則，創(chuàng)建用于預(yù)測目標(biāo)變量值的模型［10］。本文設(shè)計了一種分類與回歸樹（CART）模型，用于分析眨眼行為的二分類問題。計算出當(dāng)前幀及前后各3 幀圖像的EAR，將數(shù)值組成1 個七維特征向量，并結(jié)合手動標(biāo)注其目標(biāo)特征，輸入到tree.DecisionTreeClassifier 函數(shù)中進行分類，判斷是否有眨眼行為。使用CART 模型的分類過程如圖3所示，決策樹使用基尼指數(shù)來選擇和劃分屬性值，基尼指數(shù)反映了從數(shù)據(jù)集中隨機抽取2 個樣本，其類別標(biāo)記不一致的概率，基尼指數(shù)越小，則當(dāng)前數(shù)據(jù)集的分類準(zhǔn)確度越高。試驗表明，借助連續(xù)窗口的七維特征向量可以較好地完成數(shù)據(jù)分類。

對于眨眼分類算法的驗證，本文借助標(biāo)準(zhǔn)數(shù)據(jù)庫進行了性能評估，得到了使用數(shù)據(jù)庫真值評價、使用15%EAR 閾值評價，以及使用CART 模型方法評價等3 種判斷眨眼行為的結(jié)果，如圖4 所示。

試驗證明，使用CART 模型分類獲取的眨眼特征可以有效避免誤識別，提高眨眼特征統(tǒng)計的準(zhǔn)確率。

2. 3 PERCLOS 眼動指標(biāo)計算

PERCLOS 是目前被認(rèn)為最有效的實時疲勞檢測方法，是指一定駕駛周期（通常選取3～6 min）內(nèi)眼睛閉合時所占的時間百分比。PERCLOS 的測量原理如圖5 所示。

PERCLOS 的獲取一般是通過將動態(tài)的視頻按幀數(shù)進行識別判斷，計算EAR 超過預(yù)設(shè)部分所占比例，最后統(tǒng)計判定為疲勞的幀數(shù)和一段時間內(nèi)采樣的總幀數(shù)，兩者的比值即為PERCLOS。

PERCLOS 的計算式為：

由公式（2）可知，PERCLOS 可以表征一定時間區(qū)間內(nèi)眼睛開閉程度。PERCLOS 通常有Em、P70、P80 等3 種判定標(biāo)準(zhǔn)，分別代表眼睛在不同閉合程度下所占用的時間百分比，其中P80 被認(rèn)定為眼睛閉合狀態(tài)，其對應(yīng)的EAR 小于20%。研究表明，P80 與疲勞程度間具有最好的相關(guān)性，通常表現(xiàn)為駕駛員在疲勞狀態(tài)下，會出現(xiàn)長時間閉眼的現(xiàn)象，并且眨眼頻率會明顯增加。P80 標(biāo)準(zhǔn)下的PERCLOS 可以通過計算其相對應(yīng)圖像的幀數(shù)比值獲得。本文選取3 min 內(nèi)閉眼百分比作為采樣區(qū)間，并通過移動窗口對PERCLOS 進行連續(xù)采集。

3 疲勞分析指標(biāo)測試及性能評價

3. 1 測試方法

本文通過實車試驗，采集了13 種駕駛疲勞狀態(tài)檢測的常用指標(biāo)，用于分析衡量各參數(shù)對駕駛員疲勞狀態(tài)的相關(guān)程度。此外，試驗還記錄了駕駛員的主觀疲勞程度，將該指標(biāo)作為疲勞狀態(tài)分析的真值參考。

試驗流程為：選擇10 名試驗人員參與本次測試，在試驗前對試驗人員進行工作知識、能力及技巧培訓(xùn)考核。試驗人員駕駛車輛在公共道路行駛，采集系統(tǒng)實時記錄相關(guān)測量指標(biāo)，以及試驗人員對當(dāng)前疲勞駕駛等級的KSS 主觀評估，單次連續(xù)試驗時長不低于2 h。

KSS 的等級劃分見表1。參與測試的10 名試驗人員中，5 名試驗人員參與白天（日出后至日落前）測試，其余5 名人員參與夜間（日落后至日出前）測試。

駕駛員疲勞分析指標(biāo)包括車道偏移、車輛動力學(xué)特性及眼部特征等方面指標(biāo)。其中車道偏移指標(biāo)主要包括車道偏移量平均值、車道偏移量標(biāo)準(zhǔn)差；車輛動力學(xué)特性指標(biāo)包括方向盤角度、角速度、平均速度、速度標(biāo)準(zhǔn)差、平均橫擺角速度、橫擺角速度標(biāo)準(zhǔn)差；眼部特征指標(biāo)主要提取了閉眼時間比例、平均眨眼頻率及平均眨眼時間等。

由于表征駕駛員疲勞程度的KSS 指標(biāo)為等級變量，本文采用斯皮爾曼（Spearman）等級相關(guān)性分析方法對指標(biāo)的綜合性能進行排序。Spearman 相關(guān)系數(shù)r 的計算式為：

3. 2 性能評估及驗證

各測試指標(biāo)的定義和測量方法，以及KSS 的Spearman 相關(guān)系數(shù)r 統(tǒng)計見表2。由表2 可以看出，Spearman 相關(guān)系數(shù)r 的絕對值越大，表示變量與KSS 的相關(guān)性越強，反之則說明兩者相關(guān)性較弱。

各測試指標(biāo)與KSS 的Spearman 相關(guān)系數(shù)r 分布情況如圖6 所示。由圖6 可以看出，在所有變量中，與KSS 相關(guān)性最大的變量是PERCLOS，相關(guān)系數(shù)為0.83。

車輛動力學(xué)指標(biāo)中，與疲勞程度的相關(guān)性最高的指標(biāo)分別為方向盤角度變化標(biāo)準(zhǔn)差SWA_STDEV、車輛橫擺角速度標(biāo)準(zhǔn)差YAW_STDEV。

此外，車輛相對車道中心線的偏移量也能在一定程度上反映駕駛員的疲勞程度。總體而言，眼部特征的測試數(shù)據(jù)與駕駛員疲勞程度的相關(guān)性更高，因此，可以將PERCLOS 作為駕駛疲勞狀態(tài)檢測的主要參考指標(biāo)。

采用PERCLOS 作為測量指標(biāo)對測試數(shù)據(jù)進行分析，并將PERCLOS 對于疲勞駕駛的標(biāo)定閾值設(shè)置為1.2%。當(dāng)眼睛閉合程度達80% 以上的時間占比超過1.2% 時，系統(tǒng)判定駕駛員為疲勞駕駛；當(dāng)眼睛閉合程度達80% 以上的時間占比低于1.2%時，系統(tǒng)判定駕駛員為警覺駕駛。此外，將測試人員主觀評價的KSS≥7 作為高等級標(biāo)準(zhǔn)，此時系統(tǒng)判定測試人員狀態(tài)為疲勞駕駛；將測試人員主觀評價的KSSlt;7 作為低等級標(biāo)準(zhǔn)，此時系統(tǒng)判定測試人員狀態(tài)為警覺駕駛。PERCLOS 分類方法測試數(shù)據(jù)統(tǒng)計見表3。

將基于PERCLOS 分類方法測試結(jié)果與真值評價結(jié)果進行對比可知，在光照充分的狀態(tài)下，系統(tǒng)查準(zhǔn)率約為92.5%，而在夜間查準(zhǔn)率約為84.8%，均能較為準(zhǔn)確地反映測試人員的駕駛狀態(tài)。

4 結(jié)論

本文提出了一種基于人眼特征的駕駛疲勞狀態(tài)檢測方法，借助實時眨眼檢測算法及數(shù)據(jù)分類方法分析了眼部特征，通過實車試驗采集了多種駕駛疲勞狀態(tài)檢測的常用指標(biāo)，并對比分析了各指標(biāo)與駕駛員疲勞程度的相關(guān)性，最終得出以下結(jié)論：

（1） Dlib 軟件的人臉特征提取器可以有效應(yīng)用到基于眼部特征的駕駛疲勞狀態(tài)檢測方法。

（2） 通過CART 模型獲取的眨眼特征可以有效避免誤識別，提高眨眼行為識別的準(zhǔn)確率，CART 算法使用了連續(xù)EAR 時間窗口的采樣數(shù)據(jù)，其性能優(yōu)于EAR 閾值分類方法。

（3） 試驗表明，在所有疲勞駕駛相關(guān)的參數(shù)中，與KSS 相關(guān)性最大的變量為PERCLOS，相關(guān)系數(shù)為0.83，眼部特征的測試數(shù)據(jù)與駕駛員疲勞程度的相關(guān)性更高，是駕駛員疲勞狀態(tài)識別的主要監(jiān)控對象。

（4） 基于PERCLOS 分類方法在不同光照條件下均可以較為準(zhǔn)確地反映出測試者的駕駛狀態(tài)。

本文僅對疲勞駕駛相關(guān)的關(guān)鍵指標(biāo)進行測試評價。其他指標(biāo)如腦電指標(biāo)、心率指標(biāo)等雖然也可以在一定程度反映出駕駛疲勞狀態(tài)，但由于相關(guān)的測試方法可能會對駕駛員造成直接影響，因此本文暫未作深入研究。此外，駕駛疲勞狀態(tài)檢測還可以采用多元線性回歸等方法，對與KSS 強相關(guān)的參數(shù)進行融合分析，以提高系統(tǒng)在弱光下的識別能力。

參考文獻

［ 1］ KLAUSER S G， DINGUS T A， NEVAL T V，et al. The impact of driver inattention on nearcrash/crash risk： an analysis using the 100-car naturalistic driving study data[R]. Springfield：NHTSA， 2006.

［ 2 ］ VENKATRAMAN V， RICHARD C M，MAGEE K， et al. Countermeasures that work： a highway safety countermeasures guide for state highway safety offices[R].Washington： NHTSA， 2020.

［ 3 ］ HUANG J. 特斯拉開啟自動駕駛高速出事故馬斯克要求有明確限速標(biāo)志的能力[EB/OL].（2020-05-12） [2022-12-26]. https：//it. chinairn.com/news/20200512/091750486.html.

［ 4 ］ 申佳平. 工信部：我國汽車產(chǎn)銷總量連續(xù)13 年位居全球第一[EB/OL]. （2022-01-12） [2022-12-26].http：//finance.people.com.cn/n1/2022/0112/c1004-32329824.html.

［ 5 ］ 鄒德敏. 高速公路機電養(yǎng)護模式分析[J]. 中國交通信息化，2018（7）：38-40.

［ 6 ］ Euro NCAP. Assessment protocol–safety assist safe driving[EB/OL].[2022-12-23]. https：//www.euroncap. com/en/vehicle-safety/the ratingsexplained/safety-assist.

［ 7 ］ DINGES D F， GRACE R. PERCLOS： a valid psychophysiological measure of alertness as assessed by psychomotor vigilance[EB/OL].[2022-12-26]. https：//rosap. ntl. bts. gov/view/dot/14304.

［ 8 ］ 胡樹平，朱長仁，戴濤. 疲勞檢測技術(shù)綜述[J].科技資訊，2012（9）：248.

［ 9 ］ 王曉紅，韓嬌，李珊珊. 基于人臉檢測器的實時視頻人臉檢測與跟蹤[J]. 信息通信，2019（2）：56-57.

［10］ 李楠，段隆振，陳萌. 決策樹C4.5 算法在數(shù)據(jù)挖掘中的分析及其應(yīng)用[J]. 計算機與現(xiàn)代化，2008（12）：160-163.