李勇達(dá) 張 超 孟令君

（北京交通大學(xué)交通運(yùn)輸學(xué)院 北京 100044）

0 引言

目前，我國鐵路運(yùn)輸進(jìn)入快速發(fā)展時(shí)期，但是現(xiàn)有機(jī)車交路較長，排班過密等現(xiàn)象日益突出，并且駕駛室的噪聲、振動、高溫等因素容易導(dǎo)致列車司機(jī)疲勞駕駛。根據(jù)1項(xiàng)調(diào)查結(jié)果顯示，機(jī)車乘務(wù)員在列車運(yùn)行4～7h，出現(xiàn)了視覺疲勞或者精神疲勞的征象［1］，并出現(xiàn)打哈欠、眼睛閉合、頭部不能正視前方的情形。國內(nèi)研究人員曾專門做過1項(xiàng)研究，結(jié)果顯示駕駛員合理連續(xù)駕駛時(shí)間閾值為235 min［2］。我國鐵路系統(tǒng)事故表明，列車事故的人為因素中有相當(dāng)一部分是由于司乘人員的疲勞引起的［3－4］。為此，各路局想了很多應(yīng)對辦法，包括在司機(jī)室布設(shè)視頻監(jiān)控裝置，以及在司機(jī)腳下布置提醒裝置，但這些方法增加了鐵路局的人員負(fù)擔(dān)。且容易分散司機(jī)的注意力。

目前，疲勞駕駛檢測方法主要可以分為3類，分別是基于駕駛?cè)松碇笜?biāo)的疲勞駕駛檢測方法［5］、基于計(jì)算機(jī)視覺的疲勞駕駛檢測方法［6］、基于多信息融合的疲勞駕駛檢測方法［7］。在這些方法中，基于計(jì)算機(jī)視覺的疲勞駕駛檢測方法以其非侵入式、準(zhǔn)確、高效的特點(diǎn)正成為目前該領(lǐng)域的研究熱點(diǎn)?；谟?jì)算機(jī)視覺的疲勞駕駛檢測方法主要針對于人的面部表情、眼睛的閉合程度、眨眼頻率、嘴巴張開程度進(jìn)行檢測，其中以人眼檢測的方法［8］最為流行，但在實(shí)際應(yīng)用過程中，駕駛?cè)藭霈F(xiàn)低頭或者眼部受遮擋的情形，導(dǎo)致無法捕捉到人眼，更無法判斷駕駛?cè)耸欠衿隈{駛，因此，在駕駛?cè)颂幱诘皖^或者眼部受遮擋等無法捕捉人眼的情況下，需要有輔助的疲勞判斷方法。研究表明，頭部姿態(tài)與疲勞程度有很好的相關(guān)性，ASCI公司研制出頭部位移傳感器，實(shí)時(shí)記錄各個(gè)時(shí)間段頭部位置的變化，判斷駕駛?cè)说钠诔潭龋?］。該方法采用電子傳感設(shè)備，雖然檢測精度較高，但是開發(fā)成本也高。受這一思路啟發(fā)，筆者采用計(jì)算機(jī)視覺技術(shù)，充分發(fā)揮其低成本、檢測精確度高的特點(diǎn)，提出基于頭部姿態(tài)特征的疲勞駕駛判別方法。

1 算法介紹

1.1 人臉檢測算法

人臉檢測是人臉跟蹤，以及后續(xù)頭部姿態(tài)分析的關(guān)鍵一步，因此，選擇合適的檢測算法至關(guān)重要?；贏daBoost的檢測方法其實(shí)是1種樣本學(xué)習(xí)的方法，是人臉檢測的常用方法。它需要事先進(jìn)行樣本學(xué)習(xí)以及訓(xùn)練，訓(xùn)練前先從原始樣本圖像中提取出具有代表性的特征，然后把這些特征作為訓(xùn)練過程的輸入變量，利用事先設(shè)計(jì)的算法挑選出某些分類能力強(qiáng)的特征分別構(gòu)成各自對應(yīng)的弱分類器，最后利用AdaBoost方法按目標(biāo)驅(qū)動的方法將多個(gè)弱分類器組合成1 個(gè)強(qiáng)分類器。該方法的優(yōu)點(diǎn)為檢測正確率較高、能夠檢測單幀圖像的特定目標(biāo)，缺點(diǎn)為需要大量的樣本、檢測算法運(yùn)行時(shí)間較長。近年來，很多學(xué)者對Ada－Boost的算法進(jìn)行改進(jìn)，并取得了較好的效果。張君昌等［10］提出了基于自適應(yīng)權(quán)重更新和遺傳算法的人臉檢測算法，有效改進(jìn)了訓(xùn)練樣本出現(xiàn)的過擬合現(xiàn)象和特征冗余問題。邱炯等［11］提出了1種結(jié)合圖像增強(qiáng)和膚色分割的AdaBoost算法檢測人臉，較好地解決錯(cuò)檢和漏檢的問題，并提高了檢測速度。

由于訓(xùn)練分類器需要大量的樣本，為方便起見，筆者直接采用Opencv提供的基于類Haar特征的Adaboost算法。圖1為該算法的人臉檢測結(jié)果，圓圈標(biāo)記的范圍即為檢測到的人臉區(qū)域。

圖1 基于AdaBoost的人臉檢測結(jié)果Fig.1 The results of face detection based on AdaBoost

1.2 人臉跟蹤算法

基于AdaBoost分類器的人臉檢測算法容易受到光線以及目標(biāo)運(yùn)動的影響，并且?guī)c幀之間沒有相關(guān)性，因此，需要在人臉檢測之后加上人臉跟蹤，保證對特定目標(biāo)跟蹤的連續(xù)性和惟一性。

2002 年，Dorin Comaniciu［12］將mean－shift算法引入到目標(biāo)跟蹤領(lǐng)域，極大減少了跟蹤算法的計(jì)算量。mean－shift算法是1種基于無參數(shù)估計(jì)目標(biāo)跟蹤方法，已經(jīng)廣泛應(yīng)用于目標(biāo)實(shí)時(shí)跟蹤領(lǐng)域，但其容易收斂于局部極值點(diǎn)，所以在出現(xiàn)某些遮擋及背景干擾的情況下不能保證跟蹤的實(shí)時(shí)性?；陬伾櫟腃amshift算法，它是meanshift的修改算法，克服了mean－shift不適合實(shí)時(shí)跟蹤的缺點(diǎn)。Camshift算法的計(jì)算量小，并且能夠自動調(diào)節(jié)窗口的大小，在簡單背景環(huán)境中能夠取得較好的跟蹤效果，本系統(tǒng)的目標(biāo)跟蹤部分正是采用此方法。

由于RGB顏色空間對光照、亮度的變化比較敏感，而HSV空間不但更接近人類的色覺反映，而且H分量（色調(diào)）與V分量（亮度）相互獨(dú)立，這樣可以排除周圍環(huán)境亮度變化對跟蹤效果的影響，所以首先將圖像從RGB 空間轉(zhuǎn)換到HSV空間，然后建立H分量的顏色直方圖，接著反投影建立膚色概率分布圖像，再用Camshift算法計(jì)算跟蹤窗口的大小和位置。

本文選取的V分量（亮度）和S分量（飽和度）分別為Vmin＝10，Vmax＝255，Smin＝61，Smax＝255，實(shí)驗(yàn)結(jié)果如圖2 所示。圖2（c）柱狀條的顏色代表RGB空間的實(shí)際顏色，柱狀條的高度代表該顏色的統(tǒng)計(jì)概率。

圖2 原圖、膚色概率分布圖、歸一化的H 分量顏色直方圖Fig.2 The raw image，skin color probability distribution image and the normalized skin color histogram of the H channel

采用Camshift算法實(shí)現(xiàn)目標(biāo)跟蹤的具體步驟為：

步驟1 設(shè)置搜索窗口的初始大小和位置。

步驟2 對搜索窗口稍大的區(qū)域進(jìn)行反向投影。

步驟3 運(yùn)用mean－shift算法，計(jì)算并保存目標(biāo)區(qū)域的質(zhì)心位置及大小。

步驟4 將保存的上一幀目標(biāo)的質(zhì)心作為下一幀mean－shift運(yùn)算時(shí)搜索窗口的中心，重復(fù)步驟（2）和（3），直至收斂。

Camshift算法流程見圖3。

圖3 Camshift算法流程圖Fig.3 The flow chart of Camshift algorithm

早在1986年Horn［13］就通過尋找1 個(gè)與目標(biāo)區(qū)域分布有著相同矩的長方形區(qū)域來準(zhǔn)確定位出被跟蹤目標(biāo)區(qū)域的大小和旋轉(zhuǎn)角度θ，從而可以自適應(yīng)的改變和調(diào)整搜索區(qū)域的大小和位置。下1幀圖像中搜索窗口的大小和旋轉(zhuǎn)角度可以通過式（1）～（4）計(jì)算得到。

x軸，y軸方向二階矩

目標(biāo)的長軸和短軸的長度分別為

式中：a，b，c為中間變量，由以下公式計(jì)算得到，

Camshift算法的跟蹤效果見圖4。

圖4 Camshift濾波算法跟蹤效果圖Fig.4 Effect drawings of tracking with Camshift algorithm

圖4依次顯示第127幀、第720幀、第1 362幀、第1 718幀、第3 096幀、第3 378幀的跟蹤結(jié)果。其中，第3 096幀為引入膚色干擾后的跟蹤效果圖，從圖中可以看出跟蹤的矩形框明顯變大，表明手臂對跟蹤的目標(biāo)形成了干擾，但是依然正確鎖定跟蹤的目標(biāo)區(qū)域，在移開手臂后，如第3 378幀所示，依然能夠保持很好的跟蹤效果。

盡管手臂干擾后依然能夠正常跟蹤，但在被干擾的過程中目標(biāo)連通區(qū)域的形狀發(fā)生了變化，。這使得在計(jì)算目標(biāo)區(qū)域的外接矩形旋轉(zhuǎn)角度時(shí)遇到了困難，所以實(shí)際應(yīng)用時(shí)應(yīng)避免這種干擾情況的發(fā)生，使誤報(bào)幾率降到最低。

1.3 頭部傾斜角度及頭部運(yùn)動速度計(jì)算方法

本文的前提假設(shè)條件是人的頭部為剛體，而且假設(shè)頭部是以兩肩中心位置做旋轉(zhuǎn)運(yùn)動。人體在處于疲勞姿態(tài)時(shí)，頭部不能正視前方，頭部的中軸線與頭部重心線存在一定的夾角，而且部分人進(jìn)入疲勞狀態(tài)時(shí)，頭部會突然向1 個(gè)方向傾斜。因此，通過測定頭部傾斜角度以及頭部旋轉(zhuǎn)角速度就可以判斷司機(jī)的疲勞狀態(tài)。

從人體解剖學(xué)的正面觀來看，面部占據(jù)頭部的絕大部分比例（剩余一小部分為頭發(fā)遮擋區(qū)域），因此，面部姿態(tài)大體可以反映頭部姿態(tài)。通過實(shí)現(xiàn)頭部跟蹤得到頭部連通區(qū)域，然后求取連通區(qū)域的最小外接矩形頂點(diǎn)坐標(biāo)，進(jìn)而計(jì)算出頭部的傾斜角度，并通過幀間傾斜角度的變化計(jì)算出頭部旋轉(zhuǎn)的角速度（注：這里指的是平均旋轉(zhuǎn)角速度）。如圖5為頭部處于不同姿態(tài)下目標(biāo)區(qū)域的外接矩形。

圖5 頭部處于直立和傾斜姿態(tài)時(shí)目標(biāo)區(qū)域的外接矩形Fig.5 The object region of contour－rectangle when the head is vertical and tilting

旋轉(zhuǎn)角度β的計(jì)算公式為

這里定義ω為頭部旋轉(zhuǎn)平均角速度，其計(jì)算公式為：

式中：β1 為前1幀的頭部傾 斜角度；β2 為后1 幀的頭部傾斜角度；t為相鄰兩幀時(shí)間差。

為了確定頭部旋轉(zhuǎn)過程中的角速度以及角加速度參數(shù)范圍，建立頭部旋轉(zhuǎn)模型。假設(shè)頭部為剛體，且在重力作用下發(fā)生定點(diǎn)轉(zhuǎn)動，本文將頭部等效為各處密度均勻的細(xì)桿，見圖6。

圖6 頭部旋轉(zhuǎn)過程的等效模型圖Fig.6 The equivalent model graph when the head is rotating

細(xì)桿繞支點(diǎn)O的轉(zhuǎn)動慣量為，根據(jù)轉(zhuǎn)動定律M＝Jα，從圖6 可知，支撐力的力矩為O，則可以得到如下關(guān)系式

假如被測試人員的臉部長度為0.23m，角速度、角加速度的變化曲線如圖7所示。根據(jù)計(jì)算公式，其角速度由0°時(shí)對應(yīng)的0rad／s增加到90°對應(yīng)的11.32rad／s。

圖7 角速度、角加速度隨旋轉(zhuǎn)角度的變化曲線Fig.7 The change curve of angular velocity and angular acceleration along with the rotating angle

2 實(shí)驗(yàn)結(jié)果及算法性能分析

針對頭部姿態(tài)做了3組對照實(shí)驗(yàn)，如圖8所示，其中圖8（a）為頭部直立時(shí)的效果圖，圖8（b）為頭部右傾（以人體軀干為參照物）時(shí)的效果圖，圖（c）為頭部左傾（以人體軀干為參照物）時(shí)的效果圖。從圖中可以看出，當(dāng)頭部發(fā)生傾斜時(shí)，對應(yīng)的十字軸也發(fā)生旋轉(zhuǎn)，十字軸旋轉(zhuǎn)角度與頭部傾斜角度基本一致。圖8中也顯示出了頭部偏轉(zhuǎn)的具體角度。由圖8可見，計(jì)算的偏轉(zhuǎn)角度與實(shí)際的頭部偏轉(zhuǎn)角度相比偏小，導(dǎo)致疲勞檢測結(jié)果存在漏報(bào)的可能，因此，偏轉(zhuǎn)角度閾值的選取對于及時(shí)準(zhǔn)確判斷疲勞狀態(tài)至關(guān)重要。

圖8 3種不同姿態(tài)的頭部傾斜角度對比Fig.8 The contrast among the rotating angle of three different postures

對頭部緩慢向左旋轉(zhuǎn)、緩慢向右旋轉(zhuǎn)、突然向左旋轉(zhuǎn)、突然向右旋轉(zhuǎn)情形，各做20組對照實(shí)驗(yàn)，可以發(fā)現(xiàn)，緩慢左旋疲勞檢測成功率為85%，緩慢右旋成功率為90%，突然左旋和右旋成功率皆為95%，綜合以上情形，成功率為87.5%。實(shí)驗(yàn)中，緩慢左旋、右旋時(shí)判定疲勞姿態(tài)的指標(biāo)為旋轉(zhuǎn)角度，閾值大小為45°；突然左旋、右旋時(shí)判定疲勞姿態(tài)的指標(biāo)為旋轉(zhuǎn)角速度，閾值大小為10rad／s。

本文對采用的算法進(jìn)行了測試，實(shí)驗(yàn)所用計(jì)算機(jī)內(nèi)存2G，主頻為2.27GHz，圖像的尺寸為320×240。實(shí)驗(yàn)結(jié)果見表1。

表1 算法運(yùn)行時(shí)間Tab.1 Running time of the algorithm

雖然基于類Haar特征的Adaboost算法的運(yùn)行時(shí)間較長，但是其只負(fù)責(zé)對人臉的檢測部分，人臉檢測完成后可由Camshift算法完成跟蹤任務(wù)，因此，本方法仍能滿足實(shí)時(shí)監(jiān)控的目標(biāo)。

3 實(shí)驗(yàn)平臺及疲勞駕駛檢測系統(tǒng)功能介紹

3.1 疲勞駕駛檢測系統(tǒng)介紹及軟硬件系統(tǒng)構(gòu)成

筆者設(shè)計(jì)的疲勞駕駛檢測系統(tǒng)主要包括以下4個(gè)模塊，分別為數(shù)據(jù)采集模塊、人臉檢測模塊、人臉跟蹤模塊、頭部傾斜角度及頭部旋轉(zhuǎn)角速度計(jì)算模塊，其程序流程見圖9。

圖9 系統(tǒng)各個(gè)模塊Fig.9 All modules of system

硬件平臺。攝像頭的最大分辨率為320×240，內(nèi)存為2G，主頻為2.27GHz。開發(fā)平臺：采用Opencv計(jì)算機(jī)視覺開發(fā)庫，軟件開發(fā)平臺為VC＋＋6.0，操作系統(tǒng)為Windows 7。

3.2 系統(tǒng)功能介紹

實(shí)驗(yàn)時(shí)，人坐在攝像頭的前面，攝像頭首先會捕捉人臉，然后將人臉區(qū)域作為Camshift跟蹤算法的初始搜索窗口，接著計(jì)算出頭部旋轉(zhuǎn)角度以及旋轉(zhuǎn)角速度，最后根據(jù)設(shè)定的閾值判斷人體是否疲勞。本系統(tǒng)選定的閾值：旋轉(zhuǎn)角度為45°，旋轉(zhuǎn)角速度為10rad／s。

當(dāng)人臉捕捉成功后，狀態(tài)指示燈（圖10中的①）由紅色轉(zhuǎn)換為綠色，此時(shí)表明進(jìn)入正常工作狀態(tài)；軟件視頻顯示區(qū)域的人臉跟蹤窗口上部實(shí)時(shí)顯示頭部的旋轉(zhuǎn)角度，圖10中十字軸始終與人臉中心線保持一致。圖11中頭部傾斜角度為59°，超過了設(shè)定的閾值45°，此時(shí)低級警報(bào)燈（圖10中的②）頻繁閃爍，提醒司機(jī)注意駕駛，并且當(dāng)該姿態(tài)（頭部旋轉(zhuǎn)角度大于45°的姿態(tài)）保持5s以上時(shí)，頭部姿態(tài)顯示區(qū)的狀態(tài)由正常姿態(tài)轉(zhuǎn)換為疲勞姿態(tài)。該系統(tǒng)還考慮列車司機(jī)瞌睡時(shí)頭部突然偏轉(zhuǎn)的情形，此時(shí)若頭部旋轉(zhuǎn)角速度超過10rad／s，系統(tǒng)直接觸發(fā)最高等級警報(bào)，最高級警報(bào)燈（圖10中的③）由綠色直接變?yōu)榧t色。另外，系統(tǒng)也提供了復(fù)位功能，當(dāng)出現(xiàn)誤報(bào)時(shí)，由司機(jī)手動取消安全警報(bào)。

圖10 正常姿態(tài)的界面顯示Fig.10 Interface display of normal posture

圖11 疲勞姿態(tài)的界面顯示Fig.11 Interface display of fatigue posture

4 結(jié)束語

本文主要采用基于AdaBoost的人臉檢測算法以及基于Camshift的目標(biāo)跟蹤算法。經(jīng)過實(shí)驗(yàn)驗(yàn)證，在簡單的場景下，該方法彌補(bǔ)了人眼檢測方法在眼部遮擋情況下的不足，可將其與人眼檢測方法結(jié)合使用，提高疲勞檢測的正確率。筆者提出的方法對頭部大角度偏轉(zhuǎn)以及突然偏轉(zhuǎn)能夠及時(shí)判斷，同時(shí)對計(jì)算機(jī)軟硬件平臺的要求不是很高，開發(fā)和使用成本低。由于時(shí)間和水平的限制，該方法對復(fù)雜場景下頭部多種姿態(tài)的識別度較差，且要求人臉檢測時(shí)面部能夠正視攝像頭，因此，單獨(dú)使用該種檢測方法具有一定的局限性。采用本方法對目標(biāo)進(jìn)行跟蹤容易受到手臂等類膚色干擾物的影響。尋找1種魯棒且實(shí)時(shí)性能好的人臉檢測和跟蹤算法是下一步的目標(biāo)。本方法與疲勞相關(guān)的頭部旋轉(zhuǎn)角度以及旋轉(zhuǎn)角速度閾值設(shè)置有待進(jìn)一步研究，從而減少疲勞檢測的誤報(bào)率。

［1］儲鋼，徐曉梅，李新海，等.鐵路機(jī)車乘務(wù)員的駕駛疲勞調(diào)查［J］.環(huán)境與健康雜志，2009，25（12）：1098－1100.Chu Gang，Xu Xiaomei，Li Xinhai，et al.Driving fatigue investigation of railway locomotive attendants［J］.Journal of environment and health，2009，25（12）：1098－1100.（in Chinese）.

［2］滕 靖，宋興昊，姬利娟，等.連續(xù)駕駛條件下公交駕駛員疲勞特征實(shí)驗(yàn)研究［J］.交通信息與安全，2013，31（3）：87－92，97.Teng Jing，Song Xinghao，Ji Lijuan，et al.Experimental Study of Fatigue Characteristics of Bus Drivers Under the Condition of Continuous Driving［J］.Journal of Transport Information and Safety，2013，31（3）：87－92，97.（in Chinese）

［3］宋志雄.機(jī)車司機(jī)行車安全監(jiān)控系統(tǒng)應(yīng)用研究［J］.中國安全科學(xué)學(xué)報(bào)，2005，15（10）：110－112.Song Zhixiong.Application of monitored control system for safe driving of locomotive engineer［J］.China Safety Science Journal，2005，15（10）：110－112.（in Chinese）.

［4］王國來，柳甲賢.機(jī)車乘務(wù)員值乘中疲倦瞌睡問題探討［J］.鐵道勞動安全衛(wèi)生與環(huán)保，2004，31（2）：73－74.Wang Guolai，Liu Jiaxian.Discussion of fatigue sleepy problem for locomotive attendants［J］.Railway Occupational Safety，Health ＆ Environmental Protection，2004，31（2）：73－74.（in Chinese）.

［5］宋志雄.機(jī)車司機(jī)行車安全監(jiān)控系統(tǒng)應(yīng)用研究［J］.中國安全科學(xué)學(xué)報(bào)，2005，15（10）：110－112.Song Zhixiong.Application of monitored control system for safe driving of locomotive engineer［J］.China Safety Science Journal，2005，15（10）：110－112.（in Chinese）.

［6］李洪研，趙學(xué)敏.基于人眼PERCLOS特征的列車駕駛員疲勞檢測系統(tǒng)［J］.中國鐵路，2011（12）：32－34.Li Hongyan，Zhao Xueming.Fatigue detection system for train driver based on the characteristics of human eye PERCLOS［J］.China railway，2011，12：32－34.（in Chinese）.

［7］劉佳興，王 煒.基于多參數(shù)融合的疲勞駕駛監(jiān)測及預(yù)警系統(tǒng)［J］.計(jì)算機(jī)仿真，2013，30（5）：171－175.Liu Jiaxing，Wang Wei.Fatigue monitoring and warning system based on multi－parameter fusion［J］.Computer Simulation，2013，30（5）：171－175.（in Chinese）.

［8］胡 卓.基于人眼檢測的疲勞駕駛監(jiān)測技術(shù)研究［D］.北京：北京交通大學(xué)，2009.Hu Zhuo.Fatigue monitoring research based on the human eye detection［D］.Beijing jiaotong university，2009.（in Chinese）.

［9］Popieul J C，Simon P，Loslever P.Using driver＇s head movements evolution as a drowsiness indicator［C］∥Intelligent Vehicles Symposium，2003 Proceedings.IEEE，2003：616－621.

［10］張君昌.基于自適應(yīng)權(quán)重更新和遺傳算法的人臉檢測［J］.西北工業(yè) 大學(xué)學(xué) 報(bào)，2011，29（2）：290－294.Zhang Junchang.Face detection based on adaptive weight update and genetic algorithm［J］.Journal of Northwestern Polytechnical University，2011，29（2）：290－294.（in Chinese）.

［11］邱 炯，李偉生.結(jié)合圖像增強(qiáng)和膚色分割的人臉檢測新方法［J］.計(jì)算機(jī)工程與應(yīng)用，2011，47（26）：189－192.Qiu Jiong，Li Weisheng.A new method of face detection based on image enhancement and skin color segmentation［J］，Computer Engineering and Applications，2011，47（26）：189－192.（in Chinese）.

［12］Comaniciu D，Ramesh V，Meer P.Real－time tracking of non－rigid objects using mean shift［C］∥Conference on.Computer Vision and Pattern Recognition，Hilton Head Island SC：IEEE 2000：142－149.

［13］Horn B.Robot Vision［M］.Cambridge，Massachusetts，Unitedstates：MIT Press，1986.