趙雪娟

（寧夏大學(xué)新華學(xué)院信息與計(jì)算機(jī)科學(xué)系，寧夏 銀川750001）

1 概述

近年來(lái)，汽車(chē)給人們帶來(lái)便利的同時(shí)也帶來(lái)了極大的安全隱患，其中因疲勞駕駛造成的交通事故日趨增加，因此，檢測(cè)駕駛員的疲勞狀態(tài)并有效預(yù)防對(duì)減少交通事故的發(fā)生具有重要的意義。

隨著科學(xué)技術(shù)的進(jìn)步，研究學(xué)者提出了多種檢測(cè)疲勞的方法，主要有基于生理行為的方法、基于車(chē)輛行為的方法以及基于計(jì)算機(jī)視覺(jué)的方法。國(guó)外對(duì)于疲勞檢測(cè)的研究早在20 世紀(jì)初就已經(jīng)取得了顯著進(jìn)展，而我國(guó)對(duì)此問(wèn)題的研究相對(duì)較晚，與國(guó)外存在一定差距。何俊等人提出了一種基于ASM與膚色模型的疲勞檢測(cè)方法，首先利用膚色模型定位人臉，然后利用ASM跟蹤人眼和嘴巴，再利用Canny 算子對(duì)兩個(gè)區(qū)域進(jìn)行精準(zhǔn)定位，提高檢測(cè)準(zhǔn)確率，但是該方法中人眼和嘴巴的初始定位困難，當(dāng)頭部擺動(dòng)幅度過(guò)大時(shí)定位不準(zhǔn)確[1]。文獻(xiàn)[2]中介紹了一種基于Haar 特征的AdaBoost 級(jí)聯(lián)分類(lèi)器進(jìn)行人臉檢測(cè)，對(duì)人臉圖像進(jìn)行水平投影后，定位出人眼的位置，但本文中僅依據(jù)PERCLOS 值作為疲勞檢測(cè)的標(biāo)準(zhǔn)，方法比較單一，易受外界環(huán)境干擾。Nawal 等[3]提出利用圓形霍夫變換來(lái)分析眼睛和嘴巴的狀態(tài)，通過(guò)識(shí)別虹膜來(lái)檢測(cè)疲勞程度，但是當(dāng)駕駛員頭部發(fā)生偏移時(shí)檢測(cè)效果不好。

對(duì)于以上分析，本文提出了一種基于主動(dòng)形狀模型（ASM）與多個(gè)信息融合的疲勞檢測(cè)技術(shù)。將攝像頭采集到的駕駛員面部圖像經(jīng)預(yù)處理后利用MB-LBP 特征的級(jí)聯(lián)AdaBoost 算法進(jìn)行人臉檢測(cè)，然后再結(jié)合ASM進(jìn)行眼睛和嘴巴的特征點(diǎn)定位，得出眼睛、嘴巴以及頭部的狀態(tài)參數(shù)，最后根據(jù)狀態(tài)參數(shù)計(jì)算PERCLOS 值、哈欠頻率、點(diǎn)頭頻率等疲勞特征，融合以上疲勞特征信息判定駕駛員是否疲勞。

2 人臉檢測(cè)

駕駛環(huán)境下采集的圖像會(huì)有多種噪聲和光線(xiàn)差異，對(duì)后續(xù)人臉的檢測(cè)和特征點(diǎn)定位會(huì)有一定影響。因此，需要對(duì)采集的圖像進(jìn)行灰度化，直方圖均衡化、光照補(bǔ)償這樣的預(yù)處理達(dá)到去除噪聲，提高圖像質(zhì)量。考慮到駕駛員在整個(gè)行車(chē)過(guò)程中，頭部轉(zhuǎn)動(dòng)的角度并不大，并且考慮到光照帶來(lái)的影響，所以本文采用Ojala 等人提出MB-LBP 特征的級(jí)聯(lián)Adaboost 算法來(lái)檢測(cè)人臉[4]。該方法簡(jiǎn)單、可靠、高效，MB-LBP 特征表達(dá)了圖像紋理信息，它將中心像素灰度值和全部周?chē)袼鼗叶戎颠M(jìn)行比較，比較的結(jié)果轉(zhuǎn)化為二進(jìn)制碼，若周?chē)袼鼗叶戎荡笥谥行南袼鼗叶戎祫t為1，否則為0，從并依次從二值化窗口的左上角順時(shí)針取得MB-LBP 特征的二進(jìn)制編碼，最終再轉(zhuǎn)換為十進(jìn)制即為MB-LBP 特征值。Adaboost 算法的核心思想是針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練不同的分類(lèi)器（弱分類(lèi)器），然后把這些弱分類(lèi)器集合起來(lái)，構(gòu)成一個(gè)更強(qiáng)的分類(lèi)器（強(qiáng)分類(lèi)器）。該算法步驟如下：

Step1：選取人臉數(shù)據(jù)庫(kù)，本文選取的是Yale 大學(xué)人臉數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)中的人臉和模擬環(huán)境下駕駛員的圖片作為正樣本，任意拍攝一組非人臉照片作為負(fù)樣本。T 為訓(xùn)練的最大循環(huán)次數(shù)。

Step2：樣本權(quán)重初始化，為1/n。

Step3：進(jìn)行第一次迭代：先訓(xùn)練弱分類(lèi)器，計(jì)算弱分類(lèi)器的錯(cuò)誤率，并選取合適的閾值，使得誤差最小

Step4：更新樣本權(quán)重，經(jīng)T 次循環(huán)后，得到T 個(gè)弱分類(lèi)器，按更新的權(quán)重疊加，最終得到的強(qiáng)分類(lèi)器。

在不同角度下駕駛員人臉檢測(cè)的結(jié)果如圖1 所示：

3 ASM 特征點(diǎn)定位

ASM算法有著在復(fù)雜背景下人臉跟蹤效果好的優(yōu)點(diǎn)，被廣泛運(yùn)用于人臉特征點(diǎn)提取。ASM也是一種統(tǒng)計(jì)學(xué)習(xí)方法，包括模型建立和搜索定位，前者通過(guò)訓(xùn)練大量的人臉樣本獲取特征點(diǎn)初始形狀模型，后者通過(guò)建立好的模型匹配圖像中的形狀參數(shù)。ASM算法的具體步驟如下：

Step1：選取Yale 大學(xué)人臉數(shù)據(jù)庫(kù)作為樣本集，在每個(gè)樣本中標(biāo)記出特征點(diǎn)的坐標(biāo)信息，本文嘴巴標(biāo)記出4 個(gè)特征點(diǎn)，每只眼睛分別標(biāo)4 個(gè)特征點(diǎn)，共計(jì)12 個(gè)，如圖2 所示。各標(biāo)記點(diǎn)的坐標(biāo)采用向量的記為：xi=[xi0，yi0，…xij，yij，…xin，yin]，（xij，yij）表示第i 幅圖第j 個(gè)特征點(diǎn)的坐標(biāo)，n 為圖像的個(gè)數(shù)；

Step2：對(duì)向量xi進(jìn)行歸一化處理。一般以第一個(gè)向量為基準(zhǔn)，將其他向量進(jìn)行平移、縮放、旋轉(zhuǎn)等與基準(zhǔn)向量進(jìn)行對(duì)齊，歸一化后的向量記為S={x1，x2，…xn}；

Step3：通過(guò)主成分分析法對(duì)向量進(jìn)行降維，計(jì)算向量S 的所有特征值，并按大小順序取前t 個(gè)值，記為P=[p1，p2，…，pt],因此可得一個(gè)初始形狀模型，記為：a=a+pb，其中a 為均值向量，P為特征向量矩陣，b 為形狀參數(shù)向量；

Step4：構(gòu)建局部灰度模型，為搜索定位做準(zhǔn)備；

Step5：通過(guò)對(duì)每一個(gè)特征點(diǎn)進(jìn)行初始化來(lái)建立初始模型；

Step6：迭代搜索所有特征點(diǎn)并判斷是否收斂，并更新調(diào)整模型參數(shù)直至收斂，最終與目標(biāo)圖像中的特征點(diǎn)進(jìn)行匹配。

圖1 AdaBoost 算法人臉檢測(cè)的結(jié)果

圖2 人臉的特征點(diǎn)的標(biāo)記圖

4 疲勞狀態(tài)檢測(cè)

一般情況下，駕駛員疲勞都會(huì)伴有閉眼睛、打哈欠、點(diǎn)頭等行為，本文就是將這三者特征信息融合后來(lái)判斷駕駛員的疲勞狀態(tài)。檢測(cè)過(guò)程如圖3 所示。

圖3 疲勞檢測(cè)流程圖

PERCLOS 是最能反映駕駛員疲勞狀態(tài)的一個(gè)參數(shù)，眼睛的大小正好符合人的精神狀態(tài)，越疲勞，眼睛越閉合。PERCLOS 是指單位時(shí)間內(nèi)眼睛閉合時(shí)間總和的占比[5]，大量實(shí)驗(yàn)結(jié)果表明，PERCLOS 的值為80%時(shí)最能反映疲勞狀態(tài)，計(jì)算公式為：

打哈欠也是判斷一個(gè)人疲勞的主要特征，在打哈欠的過(guò)程中，嘴巴相對(duì)于正常狀態(tài)明顯張大，且持續(xù)時(shí)間較長(zhǎng)，不同于說(shuō)話(huà)，可定義PMRCLOS 參數(shù)為哈欠判斷標(biāo)準(zhǔn)，

伴隨著閉眼睛、打哈欠的同時(shí)，疲勞也會(huì)有點(diǎn)頭的現(xiàn)象，本文取上述12 個(gè)特征點(diǎn)中的2 和4 的縱坐標(biāo)作為頭部的狀態(tài)參數(shù)，因?yàn)檫@兩個(gè)點(diǎn)能準(zhǔn)確的反映頭部的運(yùn)動(dòng)狀態(tài)。閉眼睛、打哈欠、低頭時(shí)ASM匹配的結(jié)果如圖4 所示。

圖4 不同狀態(tài)下ASM 匹配的結(jié)果

通過(guò)觀察統(tǒng)計(jì)，取眼睛閉合時(shí)PERCLOS 超過(guò)80%認(rèn)為閉合，駕駛員處于疲勞狀態(tài)，小于20%認(rèn)為完全睜開(kāi)；駕駛員正常說(shuō)話(huà)嘴巴張開(kāi)閉合的頻率很快，當(dāng)打哈欠時(shí)，嘴巴張開(kāi)度很大，PMRCLOS 值保持在60%以上。疲勞駕駛的點(diǎn)頭閾值取在正常頭部活動(dòng)范圍的30%，當(dāng)超過(guò)30%時(shí)則認(rèn)為是處于點(diǎn)頭狀態(tài)。

5 結(jié)論

本課題以提高駕駛員疲勞檢測(cè)效率為目標(biāo)，提出ASM與多特征信息融合的駕駛員疲勞檢測(cè)方法，先對(duì)采集的圖像進(jìn)行預(yù)處理后，利用MB-LBP 特征的AdaBoost 算法進(jìn)行人臉檢測(cè)，對(duì)檢測(cè)后的人臉運(yùn)用ASM進(jìn)行特征點(diǎn)定位，本文基于ASM算法選取了12 個(gè)特征點(diǎn)，簡(jiǎn)化了算法的復(fù)雜度，通過(guò)特征點(diǎn)計(jì)算PERCLOS、PMRCLOS、點(diǎn)頭頻率參數(shù)，結(jié)合這三個(gè)特征參數(shù)，從而判定駕駛員是否疲勞。本文采用KL-MN06 型號(hào)的工業(yè)CCD人臉攝像頭，分辨率為704*576，幀數(shù)為25fps，仿真環(huán)境選擇的是Visual Studio Code、OpenCV 軟件，通過(guò)仿真實(shí)驗(yàn)結(jié)果表明，該測(cè)方法具有良好的可靠性和準(zhǔn)確性。