申海洋，笪 誠(chéng)

(巢湖學(xué)院 電子工程學(xué)院，安徽 合肥 238024)

隨著我國(guó)汽車保有量的持續(xù)增長(zhǎng)，交通事故發(fā)生的數(shù)量也呈現(xiàn)出不斷上升的趨勢(shì)。在引發(fā)車輛行駛事故的諸多因素中，疲勞駕駛是其中最主要的因素之一。疲勞駕駛是指駕駛員在經(jīng)過(guò)較長(zhǎng)時(shí)間連續(xù)行車后，生理機(jī)能和心理機(jī)能產(chǎn)生失調(diào)，其注意力、判斷力、反應(yīng)速度都可能嚴(yán)重削弱，因而，表現(xiàn)出駕駛技能的下降，這極易發(fā)生道路交通事故，嚴(yán)重影響駕駛安全?，F(xiàn)有數(shù)據(jù)表明有近20%的交通事故與疲勞駕駛有關(guān)[1]。因此，研究疲勞駕駛監(jiān)測(cè)算法非常重要，能及時(shí)準(zhǔn)確地檢測(cè)到駕駛員的疲勞駕駛狀態(tài)，然后進(jìn)行提醒干預(yù)，這在安全駕駛中具有實(shí)際的應(yīng)用價(jià)值。

目前，各大車輛制造商在其研發(fā)制造的車輛中普遍安裝了防疲勞提醒系統(tǒng)，主要采用被動(dòng)式疲勞檢測(cè)方法。大部分車輛廠家會(huì)通過(guò)對(duì)車輛駕駛時(shí)間進(jìn)行計(jì)時(shí)來(lái)實(shí)現(xiàn)疲勞駕駛提醒，一般連續(xù)駕駛時(shí)間超過(guò)兩個(gè)小時(shí)就會(huì)提醒駕駛員停車休息，避免長(zhǎng)時(shí)間駕駛造成疲勞駕駛。但是鑒于不同駕駛員的身體機(jī)能會(huì)有所不同，部分駕駛員在連續(xù)駕駛時(shí)間尚未達(dá)到通常設(shè)定的兩個(gè)小時(shí)前，可能已經(jīng)處于疲勞駕駛的狀態(tài)，因此，該方法適應(yīng)性較差，存在一定的弊端。還有部分廠家通過(guò)利用車機(jī)系統(tǒng)判斷駕駛員車輛操控特征來(lái)對(duì)疲勞駕駛進(jìn)行判斷，如通過(guò)監(jiān)測(cè)車輛是否多次出現(xiàn)車道偏移，大角度變線，緊急剎車，跟車距離過(guò)近等行為來(lái)判斷駕駛員是否處于疲勞駕駛狀態(tài)[2]。但是，由于我國(guó)當(dāng)前交通狀況較為復(fù)雜，駕駛員數(shù)量眾多，其駕駛技能和駕駛習(xí)慣也良莠不齊，因此，通過(guò)車輛操控特征分析對(duì)疲勞狀態(tài)進(jìn)行預(yù)判的方法準(zhǔn)確率不高。另外，因需要檢測(cè)到多次不良駕駛狀態(tài)才能做出判斷，因而，也無(wú)法及時(shí)發(fā)出疲勞駕駛提醒，導(dǎo)致實(shí)時(shí)性也較差。

當(dāng)前，基于對(duì)駕駛員本身行為特征和身體狀態(tài)分析的主動(dòng)式防疲勞駕駛監(jiān)測(cè)方法的研究成為研究的熱點(diǎn)方向。研究人員嘗試通過(guò)精確地監(jiān)測(cè)駕駛員的血氧濃度、心率、腦電波等生理特征，來(lái)判斷駕駛員的身體狀態(tài)，以預(yù)判是否處于疲勞駕駛狀態(tài)[3]。該方法能較為準(zhǔn)確地反映出駕駛員當(dāng)前的實(shí)際狀態(tài)，不過(guò)對(duì)上述參數(shù)的實(shí)時(shí)監(jiān)測(cè)需要使用到大量的傳感器，種類繁多的傳感器的佩戴，也給駕駛員帶來(lái)負(fù)擔(dān)，影響了駕駛舒適性。以腦電波監(jiān)測(cè)為例，需要在駕駛員頭部安置若干電極，會(huì)降低駕駛員的舒適性，且電極的安裝需要專業(yè)人員來(lái)操作，因此，該方法適用性較差，很難普及，無(wú)法應(yīng)用在實(shí)際駕駛環(huán)境中。

實(shí)踐研究表明，當(dāng)駕駛員處于疲勞駕駛狀態(tài)時(shí)，其眼睛會(huì)間歇性地閉合、睜開(kāi)。根據(jù)這一特征，文章提出了一種基于機(jī)器視覺(jué)的疲勞駕駛監(jiān)測(cè)算法，即通過(guò)機(jī)器視覺(jué)的方式檢測(cè)駕駛員眼睛是睜開(kāi)還是閉合的狀態(tài)，由此來(lái)判斷駕駛員是否處于疲勞駕駛狀態(tài)。

1 算法設(shè)計(jì)流程

基于機(jī)器視覺(jué)的疲勞駕駛監(jiān)測(cè)算法主要分為駕駛員圖像提取、面部識(shí)別、眼睛區(qū)域圖像分割、眼睛閉合狀態(tài)判斷、疲勞駕駛判斷幾個(gè)部分。其具體流程如圖1所示。

圖1 疲勞駕駛監(jiān)測(cè)算法流程圖

首先，通過(guò)固定安裝在駕駛臺(tái)方向盤(pán)前側(cè)的攝像頭采集到駕駛員的視頻幀。通過(guò)加權(quán)平均的方法獲取車輛駕駛艙背景，然后通過(guò)應(yīng)用邊緣方向直方圖相關(guān)性匹配算法[4]對(duì)駕駛員和背景進(jìn)行分離，獲取駕駛員圖像；通過(guò)膚色聚類的方式定位和提取駕駛員面部區(qū)域[5]；再根據(jù)面部灰度分布特征對(duì)圖像中的眼睛區(qū)域進(jìn)行定位和分割；最后計(jì)算分割后的眼睛區(qū)域的直方圖和圖像標(biāo)準(zhǔn)差[6]，聯(lián)合兩種特質(zhì)來(lái)判斷眼睛是處于睜開(kāi)還是閉合的狀態(tài)。當(dāng)檢測(cè)到某一幀中眼睛處于閉合狀態(tài)時(shí)，對(duì)下一幀眼睛狀態(tài)的判斷則通過(guò)幀間差分法來(lái)實(shí)現(xiàn)。如果幀間差小于閾值，則認(rèn)為眼睛仍然處于閉合狀態(tài)，否則，重新進(jìn)行檢測(cè)。最后對(duì)眼睛閉合幀的數(shù)量進(jìn)行統(tǒng)計(jì)，如果連續(xù)的閉眼幀超過(guò)設(shè)定的閾值則發(fā)出疲勞駕駛的提醒。

2 駕駛員圖像提取

對(duì)疲勞駕駛的監(jiān)測(cè)，最終是通過(guò)對(duì)眼睛閉合的判斷來(lái)實(shí)現(xiàn)的。在此之前，需要對(duì)駕駛員的面部進(jìn)行識(shí)別和提取。視頻攝像頭采集到的視頻幀包含駕駛員本身和車輛駕駛艙兩個(gè)部分。為了減小圖像處理的數(shù)據(jù)量，提高處理速度，減少對(duì)后期駕駛員面部提取的干擾，算法設(shè)計(jì)首先將只包含駕駛員本身的前景圖像與背景進(jìn)行分離。

在分離駕駛員圖像前先要獲取背景圖片，由于攝像頭是固定安裝，車輛背景相對(duì)固定，但是由于環(huán)境光線會(huì)發(fā)生一定的變化，攝像頭會(huì)因車輛行駛發(fā)生微小震動(dòng)，因此，采用多幀加權(quán)平均的方式獲取圖像背景[7]。如公式(1)所示，其中fi是第i幀圖像，N是圖像總幀數(shù)。

(1)

實(shí)驗(yàn)采集了一段無(wú)駕駛員狀態(tài)的視頻，用以計(jì)算獲取圖像背景，視頻長(zhǎng)10秒鐘，幀率30幀，共300幀。首先對(duì)這300幀彩色圖像進(jìn)行彩色圖像灰度化處理，然后再進(jìn)行疊加，最后除以總幀數(shù)，得到背景。如圖2所示，算法獲取了背景幀圖像，結(jié)果顯示算法能有效地消除局部光照變化的影響，同時(shí)，也對(duì)噪聲進(jìn)行了均值濾波處理，削弱了噪聲的影響。

圖2 圖像背景獲取

在獲得背景圖像后，需要對(duì)前景和背景進(jìn)行分離以獲得駕駛員本身圖像，縮小后期人臉區(qū)域識(shí)別的范圍、減小運(yùn)算量、提高算法運(yùn)算速度。采用了一種基于邊緣方向直方圖相關(guān)性匹配的方法從圖像中匹配到背景，并消除背景保留前景。

圖像邊緣是灰度發(fā)生劇烈變化的區(qū)域，它能夠有效反映圖像中的形狀信息，因此，成為人類分辨事物時(shí)所依據(jù)的重要視感信息，基于邊緣方向直方圖相關(guān)性匹配的算法可用于圖像匹配和檢索中。在本文研究的視頻對(duì)象中，由于視頻背景圖像fb和駕駛員駕駛中的圖像fj有大量相似區(qū)域，因此通過(guò)基于邊緣方向直方圖相關(guān)性匹配的算法從視頻幀中去除背景區(qū)域圖像。

具體算法如下：

(1)利用Sobel算子[8]，如公式(2)所示，檢測(cè)提取圖像的邊緣。

(2)

(2)計(jì)算得到邊緣像素梯度幅值，如公式(3)所示，設(shè)定梯度閾值T=25。梯度值大于25 時(shí)，則該點(diǎn)被視作邊緣像素點(diǎn)。

(3)

(3)從圖片fb和fj的左上角利用9*9模板從左向右，自上而下地進(jìn)行遍歷，對(duì)兩幅圖片相應(yīng)位置的9*9像素塊進(jìn)行匹配，利用梯度方向公式計(jì)算梯度方向，如公式(4)所示，接著將方向均勻地量化為18個(gè)等級(jí)，構(gòu)建特征向量，最后使用斯皮爾曼等級(jí)相關(guān)公式[9]，如公式(5)所示對(duì)相對(duì)應(yīng)的圖像9*9像素塊進(jìn)行匹配。

(4)

(5)

(4)根據(jù)匹配結(jié)果來(lái)提取駕駛員本身的圖像，如果塊匹配成功，即ρ≥0.95，則認(rèn)為該塊區(qū)域是背景，將其消除，否則，認(rèn)為是駕駛員圖像，予以保留。提取結(jié)果如圖3所示。

圖3 駕駛員圖像提取

通過(guò)實(shí)驗(yàn)對(duì)比可知，基于邊緣方向直方圖相關(guān)性匹配的背景提取算法可以較好地分離背景和前景，相比傳統(tǒng)的背景差法，提取的前景具有更好的精度，這為后期人臉區(qū)域識(shí)別奠定了基礎(chǔ)。

3 基于膚色聚類的駕駛員面部識(shí)別

在獲得駕駛員圖像后，需要進(jìn)一步將駕駛員人臉區(qū)域從圖像中提取出來(lái)。人臉區(qū)域提取算法的效果將直接影響后期眼睛部位的定位和識(shí)別處理。由于人臉的膚色特征在駕駛員圖像中顯著有別于其他部位顏色，因此采用膚色聚類的方法從圖像中提取駕駛員人臉區(qū)域的圖像。

在對(duì)彩色圖像顏色空間特征進(jìn)行分析后，發(fā)現(xiàn)RGB色彩空間受亮度影響較大，而YCbCr色彩空間對(duì)人類皮膚顏色有良好的聚類效應(yīng)，因此，算法將圖像RGB圖像轉(zhuǎn)換為YCbCr圖像[10]，其轉(zhuǎn)換關(guān)系如公式(6)所示。

(6)

然后在YCbCr空間對(duì)膚色進(jìn)行聚類，根據(jù)不同年齡、性別、駕駛員的膚色分布情況，綜合使用Cb取值范圍在130-170之間，作為參考量。將Cr取值范圍在(80，120)且Cb取值在(130,170)的像素設(shè)置(R，G，B)=(255,255,255)，其他取值的像素設(shè)置(R，G，B)=(0,0,0)。

人臉區(qū)域圖像分割結(jié)果如圖4所示，通過(guò)膚色聚類的方式有效地提取駕駛員面部區(qū)域。但是，由于駕駛員面部膚色并非均勻分布，分割出的面部區(qū)域存在較多的微小黑色孔洞。故而，需要對(duì)圖像進(jìn)行進(jìn)一步的形態(tài)學(xué)處理[11]。即先對(duì)圖像進(jìn)行膨脹處理，再進(jìn)行腐蝕的操作，由此來(lái)消除面部區(qū)域的孔洞，恢復(fù)完整連通的人臉區(qū)域，最終分割的面部區(qū)域如圖5所示。

圖4 人臉圖像目標(biāo)識(shí)別與分割

圖5 基于形態(tài)學(xué)處理的人臉?lè)指?/p>

4 眼睛部位圖像定位分割

在完成人臉區(qū)域圖像的識(shí)別和分割提取后，需要在駕駛員臉部區(qū)域圖像中對(duì)眼睛部位圖像進(jìn)行定位和分割提取，以便后續(xù)分析眼睛部位閉合和睜開(kāi)的特征變化。

在駕駛員面部灰度圖像中，眉毛和眼睛瞳孔以黑色居多，在眉毛和瞳孔位置的灰度值較低。如圖6所示，對(duì)眼睛部位某一行的灰度值進(jìn)行掃描時(shí)會(huì)明顯地觀察到灰度值由高到低、再升高的顯著變化趨勢(shì)，這是由于眼睛處眼白灰度值高，瞳孔灰度值低所引起的灰度值變化。

圖6 眼睛處灰度掃描

依據(jù)此特征，對(duì)駕駛員面部灰度圖像進(jìn)行自上而下的逐行掃描，依據(jù)灰度變化特征，首先定位到眉毛上、下邊界，然后依次定位到瞳孔上邊界、下邊界，定位到瞳孔下邊界后再向下擴(kuò)展兩倍瞳孔高度的像素寬度，計(jì)算當(dāng)前區(qū)域上邊界即眉毛上邊界位置和區(qū)域?qū)挾取Ｗ罱K實(shí)現(xiàn)了對(duì)眼睛部位的定位和分割，如圖7所示。

圖7 眼睛區(qū)域圖像分割

5 眼睛閉合狀態(tài)的判斷

完成對(duì)駕駛員眼睛區(qū)域圖像的分割后，接著要對(duì)睜眼、閉眼的狀態(tài)進(jìn)行分析判斷。首先，對(duì)睜眼和閉眼兩種狀態(tài)下圖像灰度直方圖[12]進(jìn)行統(tǒng)計(jì)分析，如圖8所示。

圖8 眼睛區(qū)域灰度直方圖

當(dāng)眼睛睜開(kāi)時(shí)瞳孔區(qū)域黑色像素塊較為明顯，即該位置像素值較低，其對(duì)應(yīng)的灰度直方圖中像素值較低部分存在一定數(shù)量的像素；當(dāng)眼睛閉合時(shí)，圖像灰度直方圖中低灰度值像素明顯減少，在上圖中方框標(biāo)記部分能看到明顯的差別。因此，可以通過(guò)眼睛部位圖像灰度直方圖中低灰度值區(qū)域的分布情況來(lái)判斷當(dāng)前眼睛是睜開(kāi)還是閉合的狀態(tài)。

為進(jìn)一步提高判斷的準(zhǔn)確性，提高算法的魯棒性，除通過(guò)檢測(cè)直方圖變化來(lái)判斷睜眼、閉眼外，本文還聯(lián)合使用了圖像標(biāo)準(zhǔn)差的方式來(lái)進(jìn)行判斷。

圖像標(biāo)準(zhǔn)差反映了圖像明暗對(duì)比度的不同，圖像明暗對(duì)比度增加，其標(biāo)準(zhǔn)差也相應(yīng)變大。對(duì)于數(shù)字圖像,其標(biāo)準(zhǔn)差計(jì)算可依據(jù)公式(7)來(lái)實(shí)現(xiàn)。

(7)

公式中S為標(biāo)準(zhǔn)差，fi為眼睛區(qū)域圖像第i個(gè)像素點(diǎn)的值，N為圖像像素點(diǎn)總數(shù)。

對(duì)睜眼狀態(tài)、閉眼狀態(tài)下眼睛部位圖像的標(biāo)準(zhǔn)差計(jì)算結(jié)果如圖9所示。

圖9 眼睛圖像標(biāo)準(zhǔn)差計(jì)算結(jié)果

由圖9可知，閉眼狀態(tài)下計(jì)算得到的圖像標(biāo)準(zhǔn)差為31.1567，明暗對(duì)比度較低。睜眼狀態(tài)下，明暗對(duì)比度明顯提升，計(jì)算得到的標(biāo)準(zhǔn)差為35.5655，高于閉眼時(shí)的標(biāo)準(zhǔn)差，符合預(yù)期。因此，根據(jù)這一特征，設(shè)定標(biāo)準(zhǔn)差閾值Ts=32.0000，計(jì)算每一幀眼睛部位的標(biāo)準(zhǔn)差后與閾值Ts進(jìn)行比較，當(dāng)計(jì)算得到的標(biāo)準(zhǔn)差小于閾值時(shí)，認(rèn)為該幀圖像里眼睛處于閉眼狀態(tài)。將由灰度直方圖判斷的結(jié)果和由標(biāo)準(zhǔn)差判斷得到的結(jié)果相與運(yùn)算，兩者同時(shí)滿足時(shí)，則認(rèn)為眼睛處于閉眼的狀態(tài)，通過(guò)這種方法可以有效地排除干擾，提高識(shí)別的準(zhǔn)確率。

6 疲勞駕駛判斷

在車輛駕駛的過(guò)程中，駕駛員如果處于疲勞駕駛狀態(tài)時(shí)，眼睛會(huì)不由自主地閉上，眼睛閉合的時(shí)間通常會(huì)持續(xù)幾秒鐘甚至更長(zhǎng)，因此，可以通過(guò)計(jì)算駕駛員眼睛閉合的時(shí)間長(zhǎng)度來(lái)判斷其是否處于疲勞駕駛狀態(tài)。由于人類在正常情況下也會(huì)眨眼，因此，不能簡(jiǎn)單地以檢測(cè)到眼睛閉合作為判斷疲勞駕駛的依據(jù)。數(shù)據(jù)統(tǒng)計(jì)人類大約每五秒鐘眨眼一次，每次眨眼閉合的時(shí)間大約是0.1 s。故而，設(shè)定如果在連續(xù)的0.5 s以上，由于視頻幀率30幀/s,即在連續(xù)的15幀以上眼睛都處于閉合狀態(tài)，則認(rèn)為當(dāng)前駕駛員處于疲勞駕駛狀態(tài)。

對(duì)于連續(xù)閉眼圖像幀的監(jiān)測(cè)，通過(guò)如下算法實(shí)現(xiàn)：經(jīng)過(guò)前期駕駛艙背景獲取，駕駛員前景分離，人臉圖像定位分割，眼睛部位圖像定位分割等一系列預(yù)處理工作后，通過(guò)聯(lián)合灰度直方圖和標(biāo)準(zhǔn)差特征對(duì)視頻中眼睛是否閉合進(jìn)行判斷。為了減小運(yùn)算量、提高檢測(cè)速度，提出一種簡(jiǎn)單的幀間差分法來(lái)判斷是否連續(xù)閉眼。連續(xù)閉眼的圖像幀之間具有很高的相似性，因此，在檢測(cè)到第一張閉眼圖像幀后，對(duì)下一幀圖像中眼睛是否閉上的檢測(cè)，采用幀間差分法[13-14]來(lái)計(jì)算兩幀之間的差，并設(shè)定閾值Tf，如果前后兩幀間差小于閾值Tf則認(rèn)為第二幀仍然處于閉眼的狀態(tài)，否則，重新運(yùn)行閉眼檢測(cè)算法。

7 實(shí)驗(yàn)分析

文章實(shí)驗(yàn)環(huán)境：處理器：英特爾 Core i7-10750H @ 2.60 GHz六核；內(nèi)存：16 GB(SK Hynix)；硬盤(pán)：三星 MZALQ512HALU-000L2(512 GB/固態(tài)硬盤(pán) ；主顯卡Nvidia GeForce GTX 1650 Ti with Max-Q Design(4 GB/聯(lián)想 )；視頻采集設(shè)備：HUAWEI JSC-AL50。

為了驗(yàn)證算法的有效性，在安全封閉道路上錄制了實(shí)際駕駛車輛的視頻，車輛行駛速度較慢，車速小于5 km/h，在實(shí)際駕駛過(guò)程中，分別讓兩名男性和兩名女性駕駛員依次駕駛車輛并模擬了疲勞駕駛狀態(tài)，即在低速行駛時(shí)短暫閉眼數(shù)次，每次視頻長(zhǎng)度約2分鐘。對(duì)采集到的四段視頻，綜合使用提出的疲勞駕駛監(jiān)測(cè)算法進(jìn)行計(jì)算分析，實(shí)驗(yàn)結(jié)果如表1所示。

表1 疲勞駕駛監(jiān)測(cè)算法實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)

實(shí)驗(yàn)結(jié)果表明，使用基于機(jī)器視覺(jué)的疲勞駕駛監(jiān)測(cè)算法檢測(cè)到了多次模擬疲勞駕駛的閉眼狀態(tài)，多次實(shí)驗(yàn)的結(jié)果都符合預(yù)期的設(shè)定。

8 結(jié)論

本研究提出的基于機(jī)器視覺(jué)的疲勞駕駛監(jiān)測(cè)算法能有效地對(duì)疲勞駕駛進(jìn)行預(yù)警，具有很強(qiáng)的實(shí)際應(yīng)用價(jià)值。使用邊緣直方圖相關(guān)性匹配算法消除圖像背景，提取出駕駛員圖像，再通過(guò)膚色聚類的方法提取出駕駛員面部區(qū)域，最后基于面部灰度分布特征完成眼睛部位定位分割，聯(lián)合直方圖特征和圖像標(biāo)準(zhǔn)差實(shí)現(xiàn)了閉眼狀態(tài)檢測(cè)。最終通過(guò)對(duì)連續(xù)多幀內(nèi)是否閉眼來(lái)判定疲勞駕駛狀態(tài)。實(shí)際測(cè)試結(jié)果表明，算法達(dá)到了良好的識(shí)別效果。目前，存在的問(wèn)題是識(shí)別的速度仍需提高，在后期的研究中將算法移植到FPGA平臺(tái)上，擬采用Verilog Hdl語(yǔ)言來(lái)編程實(shí)現(xiàn)疲勞駕駛監(jiān)測(cè)算法，充分發(fā)揮FPGA并行計(jì)算的優(yōu)勢(shì)，提高算法運(yùn)行速度，將其集成到車輛的車機(jī)系統(tǒng)中，以滿足實(shí)時(shí)性要求。