張 偉，成 波，張 波

(清華大學(xué)，汽車安全與節(jié)能國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100084)

前言

國(guó)內(nèi)外研究表明，行車時(shí)駕駛?cè)说木X(jué)狀態(tài)與由此引起的跟車過(guò)近和車道偏離等危險(xiǎn)駕駛行為是導(dǎo)致交通事故的重要原因［1－4］。利用機(jī)器視覺(jué)技術(shù)對(duì)駕駛?cè)苏Ｑ蹌?dòng)作、視線方位和注視點(diǎn)分布特征等的識(shí)別可實(shí)現(xiàn)警覺(jué)狀態(tài)的有效估計(jì)。由于該技術(shù)具有非侵入、準(zhǔn)確和實(shí)時(shí)的特點(diǎn)而成為世界先進(jìn)汽車安全技術(shù)領(lǐng)域研究的重點(diǎn)［5］。在實(shí)際行車過(guò)程中，為有效獲取駕駛環(huán)境信息，保證駕駛行為的安全性，駕駛?cè)艘话銜?huì)不斷變換面部姿態(tài)來(lái)完成視覺(jué)搜索任務(wù)。姿態(tài)變化造成人臉3D形狀在2D人臉圖像投影的形變，使姿態(tài)變化成為人眼定位中的一大難題［6］。

目前，人眼定位算法的研究途徑主要包括基于形狀的方法［7－9］、基于表觀的方法［10－11］和基于紅外照明的方法［12］3類。對(duì)基于紅外照明的方法來(lái)講，太陽(yáng)的輻射特性相當(dāng)于6 000K的黑體，其在近紅外波段的輻射通量仍然很強(qiáng)，遠(yuǎn)大于近紅外光源的輻射通量，導(dǎo)致近紅外照明方式在白天室外環(huán)境中應(yīng)用時(shí)效果不佳?；谛螤詈突诒碛^的方法目前的研究主要集中在單幀圖像中的人眼定位上，而針對(duì)圖像序列中人眼跟蹤算法的研究很少。為此，本文中充分利用駕駛?cè)嗣娌恳曨l相鄰幀間的連續(xù)性和相關(guān)性，提出了一種將人眼檢測(cè)與人眼跟蹤相結(jié)合的人眼定位算法，在采用主動(dòng)形狀模型(active shape model，ASM)算法對(duì)人臉配準(zhǔn)和器官區(qū)域分割的基礎(chǔ)上，設(shè)計(jì)了一種基于Meanshift校準(zhǔn)的Lucas-Kanade光流跟蹤算法，可有效消除跟蹤誤差的積累，實(shí)現(xiàn)眼睛的可靠定位。

1 系統(tǒng)結(jié)構(gòu)

實(shí)際行車過(guò)程中，安裝于車體的攝像機(jī)實(shí)時(shí)采集駕駛?cè)嗣娌繄D像并通過(guò)對(duì)駕駛?cè)搜劬顟B(tài)的分析實(shí)現(xiàn)駕駛?cè)司X(jué)狀態(tài)的在線估計(jì)，如圖1所示。

對(duì)實(shí)時(shí)采集到的視頻圖像，采用Adaboost人臉檢測(cè)算法檢測(cè)駕駛室場(chǎng)景中駕駛?cè)祟^部的位置［13］。一旦檢測(cè)到人臉，則以該位置作為ASM算法的初始搜索位置，對(duì)人臉進(jìn)行配準(zhǔn)并完成各器官區(qū)域的劃分［14］。而后，在眼睛區(qū)域范圍內(nèi)獲取Harris角點(diǎn)并采用光流跟蹤與Meanshift跟蹤相結(jié)合的算法對(duì)眼睛進(jìn)行跟蹤，見(jiàn)圖2。

在跟蹤過(guò)程中，由于光照變化、速度過(guò)大等原因會(huì)造成部分角點(diǎn)跟蹤失敗，當(dāng)眼睛區(qū)域內(nèi)被跟蹤的角點(diǎn)數(shù)量少于5個(gè)時(shí)，須再次應(yīng)用Adaboost和ASM算法檢測(cè)眼睛區(qū)域，并在該區(qū)域內(nèi)重新獲取Harris角點(diǎn)，算法流程如圖3所示。

2 基于ASM算法的眼睛定位

當(dāng)駕駛?cè)颂幱谡孀藨B(tài)時(shí)，采用Adaboost算法檢測(cè)人臉，在此基礎(chǔ)上應(yīng)用ASM算法精確配準(zhǔn)人臉區(qū)域和面部器官的位置分布。然而，實(shí)際行車過(guò)程中，駕駛?cè)艘话銜?huì)通過(guò)不斷變換面部姿態(tài)來(lái)獲取駕駛環(huán)境信息，從而對(duì)車輛進(jìn)行有效的操控。在駕駛?cè)俗藨B(tài)角變化不大時(shí)，Adaboost人臉檢測(cè)算法可為ASM算法提供較為精確的初始搜索位置。但Adaboost算法和ASM算法對(duì)人臉的偏轉(zhuǎn)角只有一定的容忍度，當(dāng)人臉姿態(tài)變化引起的臉部圖像紋理特征超出訓(xùn)練樣本所能表達(dá)的范圍時(shí)，算法就會(huì)失效。圖4給出了一組在不同姿態(tài)下的ASM算法的配準(zhǔn)結(jié)果。結(jié)果表明，在駕駛?cè)俗藨B(tài)角不太大時(shí)，ASM算法能較為準(zhǔn)確地進(jìn)行面部特征點(diǎn)的定位和器官區(qū)域的分割。當(dāng)面部姿態(tài)角過(guò)大時(shí)，ASM算法會(huì)失效。

為了能在人臉不出現(xiàn)自遮擋的情況下準(zhǔn)確捕獲到人眼的區(qū)域位置，依據(jù)正面姿態(tài)下ASM算法獲取眼睛位置，并采用跟蹤算法對(duì)眼睛區(qū)域進(jìn)行跟蹤。

3 基于Lucas-Kanade光流的眼睛跟蹤算法及其缺陷

當(dāng)光照條件變化不十分劇烈時(shí)，可假定人臉特征點(diǎn)的局部灰度值不變，因此，可通過(guò)求解光流約束方程完成跟蹤任務(wù)。光流約束方程的求解須構(gòu)造某光流誤差測(cè)度函數(shù)作為約束條件。比較經(jīng)典的研究成果包括Horn和Schunck提出的全局平滑性假設(shè)以及Lucas和Kanade提出的局部鄰域運(yùn)動(dòng)恒定性假設(shè)［15］。

相對(duì)而言，Lucas-Kanade方法在跟蹤速度方面具有明顯的優(yōu)勢(shì)，因此，本文中利用Lucas-Kanade跟蹤算法作為眼睛區(qū)域跟蹤的基礎(chǔ)算法。該算法假定在一個(gè)小的鄰域上運(yùn)動(dòng)矢量保持恒定，于是在該鄰域內(nèi)光流誤差可用加權(quán)最小二乘表示為

式中:W(x)為窗口權(quán)重函數(shù)。采用梯度下降法進(jìn)行圖像的匹配即可實(shí)現(xiàn)光流的解算。

從光流約束方程中可以得出:光流是利用像素灰度的時(shí)域變化和相關(guān)性來(lái)確定各自像素點(diǎn)的“運(yùn)動(dòng)”。光流跟蹤要求被跟蹤點(diǎn)周圍有豐富的紋理，為此，本文中采用Harris角點(diǎn)探測(cè)器在眼睛區(qū)域自動(dòng)選擇強(qiáng)度超過(guò)一定閾值的角點(diǎn)進(jìn)行跟蹤。圖5為一段長(zhǎng)度為300幀的測(cè)試視頻中眼睛跟蹤結(jié)果，跟蹤失敗的點(diǎn)在下幀圖像中將不再畫(huà)出。在該視頻段的第11幀、第59幀、第115幀和第228幀中，由于眼睛的閉眼動(dòng)作，使很多特征點(diǎn)跟蹤丟失。

從這個(gè)結(jié)果可得出以下結(jié)論:(1)在眼睛區(qū)域的跟蹤中，眼睛的大幅度動(dòng)作，如睜/閉眼，會(huì)引起眼睛區(qū)域灰度的突變，對(duì)很多特征點(diǎn)來(lái)講，在下幀圖像中將無(wú)法找到滿足光流約束條件的對(duì)應(yīng)點(diǎn)，引起跟蹤失敗，對(duì)圖像中選定的Harris角點(diǎn)，眼部運(yùn)動(dòng)的隨機(jī)性使每個(gè)角點(diǎn)都存在跟蹤失敗的可能性，因此，剩余角點(diǎn)的重心位置相對(duì)于眼睛的中心位置是不確定的，由這些點(diǎn)將無(wú)法精確獲取眼睛的輪廓范圍;(2)從光流跟蹤的原理來(lái)看，被跟蹤點(diǎn)的角點(diǎn)強(qiáng)度，即被跟蹤點(diǎn)相對(duì)于其局部鄰域內(nèi)其它點(diǎn)在灰度分布上的特殊性，是決定光流跟蹤可靠性的重要因素。若在鄰域內(nèi)存在與被跟蹤點(diǎn)灰度特征相似的點(diǎn)，當(dāng)眼睛或頭部出現(xiàn)快速移動(dòng)時(shí)，特征點(diǎn)就有可能漂移到鄰域中這些相似點(diǎn)上去，從而導(dǎo)致光流場(chǎng)與運(yùn)動(dòng)場(chǎng)不一致。比較圖6中第149幀和第153幀圖像可以看出，在一次閉眼動(dòng)作中，一個(gè)被跟蹤角點(diǎn)從眼角附近漂移到了虹膜附近。值得注意的是，這種由局部鄰域的相似性引起的跟蹤點(diǎn)漂移，在跟蹤過(guò)程中是不可逆的，它將在跟蹤過(guò)程中持續(xù)下去并可能進(jìn)一步漂移，伴隨著跟蹤幀數(shù)的增加，跟蹤誤差不斷積累。

為了消除Lucas-Kanade光流跟蹤方法的累積誤差并比較準(zhǔn)確地檢測(cè)出眼睛的輪廓區(qū)域，本文中引入Meanshift算法，利用其具有向局部極值收斂的特性，對(duì)Lucas-Kanade光流跟蹤結(jié)果進(jìn)行校準(zhǔn)。

4 基于Meanshift算法的眼睛位置校準(zhǔn)

對(duì)于n維歐氏空間X中的有限集合Ω，在x∈Ω處的Meanshift矢量定義為式中:xi∈Ω;g是核函數(shù);h為帶寬矩陣系數(shù)。

x處的Meanshift矢量指向卷積曲面的負(fù)梯度方向。

以自商圖作為Meanshift算法的概率密度分布輸入。自商圖定義為

式中:R為自商圖;I為原始圖像;F為濾波核。

圖7為自商圖的定義。

由于自商圖本身是一種凸顯高頻特征的運(yùn)算，因此眼睛作為一個(gè)具有復(fù)雜結(jié)構(gòu)的器官在自商圖運(yùn)算后相對(duì)于平滑的面部區(qū)域在灰度分布上將主要集中在高灰度范圍，這一點(diǎn)從圖7(c)中可以很明顯地看出。由于Meanshift算法具有在搜索空間中收斂到局部極值的能力，因此可以用Meanshift算法來(lái)消除Lucas-Kanade光流跟蹤的累積誤差。

采用Meanshift算法校準(zhǔn)Lucas-Kanade光流跟蹤結(jié)果的步驟如下:

第一步:計(jì)算Lucas-Kanade光流跟蹤的角點(diǎn)重心O1(x，y)的坐標(biāo);

第二步:將矩形跟蹤框的中心設(shè)置到O1(x，y);

第三步:在自商圖上計(jì)算矩形框內(nèi)圖像灰度的重心 O2(x，y);

第四步:將矩形搜索框的中心移動(dòng)到O2(x，y);

第五步:判斷矩形框移動(dòng)距離d，若d＞dthreshold，返回第三步，否則輸出矩形框中心坐標(biāo)。

經(jīng)過(guò)這樣一個(gè)迭代過(guò)程，矩形框的中心最后收斂到自商圖的局部極值(眼睛)。圖8給出了一個(gè)跟蹤示意圖，圖中的箭頭指示了Meanshift算法在自商圖上逐步收斂到眼睛的過(guò)程。

5 算法驗(yàn)證

為定量評(píng)價(jià)算法對(duì)眼睛的跟蹤精度，文中從實(shí)際城市道路上進(jìn)行的一組實(shí)驗(yàn)中選取了一段駕駛?cè)俗藨B(tài)角變化較大的視頻作為實(shí)驗(yàn)樣本，視頻長(zhǎng)度為200幀(8s)。在每幀圖像中手動(dòng)標(biāo)記左眼中心作為基準(zhǔn)位置。分別用本文算法和單純基于ASM的眼睛定位算法對(duì)該段視頻進(jìn)行檢測(cè)，如圖9所示。

由圖可見(jiàn)，兩種算法對(duì)眼睛垂直坐標(biāo)的定位精度相差不大，而對(duì)眼睛的水平坐標(biāo)，本文算法具有更高的精度。這是由于駕駛?cè)嗽谛熊囘^(guò)程中，頭部的運(yùn)動(dòng)主要以左右擺動(dòng)為主，俯仰運(yùn)動(dòng)一般幅度較小的緣故。

6 討論

本文中在Lucas-Kanade光流跟蹤基礎(chǔ)上采用Meanshift算法，而不是單獨(dú)采用Meanshift算法跟蹤眼睛，其原因在于，在自商圖上，除了眼睛之外，鼻孔、眉毛、頭發(fā)和場(chǎng)景中的很多其他目標(biāo)在自商圖運(yùn)算后都會(huì)表現(xiàn)出高灰度分布特征，因此，Meanshift算法的有效性必須建立在Lucas-Kanade光流跟蹤獲得眼睛概略位置的基礎(chǔ)上，在該局部鄰域內(nèi)，Meanshift算法才能收斂到眼睛中心位置。若在ASM算法獲得眼睛范圍的基礎(chǔ)上直接采用Meanshift算法跟蹤，當(dāng)駕駛?cè)顺霈F(xiàn)快速的頭部動(dòng)作時(shí)，Meanshift算法就很可能會(huì)跟蹤到錯(cuò)誤的目標(biāo)上，而Meanshift算法自身又無(wú)法判斷跟蹤目標(biāo)的對(duì)錯(cuò)，因此無(wú)法保證眼睛定位的精度。相對(duì)而言，Lucas-Kanade光流跟蹤算法的快速性、穩(wěn)定性、多特征點(diǎn)跟蹤能力和對(duì)跟蹤結(jié)果正確性有一定的判別能力使它非常適合在整個(gè)場(chǎng)景目標(biāo)和大運(yùn)動(dòng)范圍內(nèi)從全局意義上對(duì)提取的角點(diǎn)特征進(jìn)行跟蹤，而在局部，則用Meanshift算法進(jìn)行細(xì)微調(diào)控。這種充分利用Lucas-Kanade光流全局跟蹤能力和Meanshift局部極值化能力的算法可在駕駛?cè)藢?shí)際行車過(guò)程中準(zhǔn)確捕獲眼睛的位置。

隨著跟蹤時(shí)間的增長(zhǎng)，部分Harris角點(diǎn)跟蹤失敗，為了保證跟蹤的持續(xù)性，當(dāng)Harris角點(diǎn)數(shù)量小于5個(gè)，且人臉經(jīng)過(guò)正面位置的時(shí)刻，再次用ASM算法定位眼睛區(qū)域并在該區(qū)域內(nèi)利用Harris角點(diǎn)探測(cè)器重新選取角點(diǎn)。

7 結(jié)論

以提高實(shí)際行車過(guò)程中眼睛定位精度為目標(biāo)，針對(duì)駕駛?cè)俗藨B(tài)的隨機(jī)變化對(duì)人眼定位的影響，提出了正面姿態(tài)采用ASM算法進(jìn)行人眼定位，并在此基礎(chǔ)上對(duì)人眼進(jìn)行跟蹤的方法。在跟蹤策略上，提出采用Lucas-Kanade光流進(jìn)行全局跟蹤，并采用基于自商圖的Meanshift算法進(jìn)行局部校準(zhǔn)的方案。結(jié)果表明，本文算法相對(duì)于單純ASM人眼配準(zhǔn)結(jié)果具有更強(qiáng)的穩(wěn)定性。

［1］ 李克強(qiáng)．汽車技術(shù)的發(fā)展動(dòng)向及我國(guó)的對(duì)策［J］．汽車工程，2009，31(11):1005 －1016．

［2］ 龔進(jìn)峰，戎輝，張宏偉，等．道路環(huán)境感知與預(yù)警系統(tǒng)的研究［J］．汽車工程，2010，32(4):328 －332．

［3］ 成波，孟傳，張偉．基于機(jī)器視覺(jué)的駕駛員注意力狀態(tài)監(jiān)測(cè)技術(shù)研究［J］．汽車工程，2009，31(12):1137 －1140．

［4］ Yang JH，Mao Z H，Tijerina L，et al．Detection of Driver Fatigue Caused by Sleep Deprivation［J］．IEEE Transactions on Systems，Man，and Cybernetics，Part A:Systems and Humans，2009，39(4):694－705．

［5］ Culp J，Gindy M El，Haque A．Driver Alertness Monitoring Techniques:a Literature Review［J］．International Journal of Heavy Vehicle Systems，2008，15(2 －4):255 －271．

［6］ 梁路宏，艾海舟，徐光祐，等．基于模板匹配與支持向量機(jī)的人臉檢測(cè)［J］．計(jì)算機(jī)學(xué)報(bào)，2002，25(1):22 －29．

［7］ 成波，張廣淵，馮睿嘉，等．基于眼睛狀態(tài)識(shí)別的駕駛員疲勞實(shí)時(shí)監(jiān)測(cè)［J］．汽車工程，2008，30(11):1001 －1005．

［8］ Yuille A，Hallinan P，Cohen D．Feature Extraction from Faces U-sing Deformable Templates［J］．International Journal of Computer Vision，1992，8(2):99 －111．

［9］ Sirohey S，Rosenfeld A，Duric Z．A Method of Detecting and Tracking Irises and Eyelids in Video［J］．Pattern Recognition，2002，35(6):1389 －1401．

［10］ Hallinan PW．Recognizing Human Eyes［C］．SPIEProceedings，Vol．1570:Geometric Methods in Computer Vision ，San Diego，CA，USA，1991:212 －226．

［11］ Hillman P M，Hannah JM，Grant PM．Global Fitting of a Facial Model to Facial Features for Model-based Video Coding［C］．Proceedings of the3rd International Symposium on Image and Signal Processing and Analysis，Rome，Italy，2003:359 －364．

［12］ Gu H S，Ji Q，Zhu Z W．Active Facial Tracking for Fatigue Detection［C］．Proceedings of the Sixth IEEEWorkshop on Applications of Computer Vision(WACV'02)，Orlando，F(xiàn)lorida，2002:173－142．

［13］ Viola P，Jones M．Rapid Object Detection Using a Boosted Cascade of Simple Features［C］．Proceedings of the2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，CVPR2001，Kauai，HI，USA，2001，1:1 － 511 － 1 －518．

［14］ Cootes T F，Taylor CJ，Cooper D H，et al．Active Shape Models– Their Training and Application［J］．Computer Vision and Image Understanding，1995，61(1):38 －59．

［15］ 張廣軍．機(jī)器視覺(jué)［M］．北京:科學(xué)出版社，2005:212－218．