李 榮，劉 坤，高文鵬

( 1．黑龍江工程學院汽車與交通工程學院，哈爾濱150020; 2．河北工業(yè)大學控制科學與工程學院，天津300019; 3．哈爾濱工業(yè)大學生命科學與技術學院，哈爾濱150001)

基于視覺的目標姿態(tài)估計算法

李 榮1，劉 坤2，高文鵬3

( 1．黑龍江工程學院汽車與交通工程學院，哈爾濱150020; 2．河北工業(yè)大學控制科學與工程學院，天津300019; 3．哈爾濱工業(yè)大學生命科學與技術學院，哈爾濱150001)

駕駛員頭部姿態(tài)在一定程度上反映駕駛員的意圖。為了避免由駕駛員主觀因素造成交通事故，基于計算機視覺的動態(tài)頭部姿態(tài)估計算法，首先檢測視頻中的正面人臉，以此為基準，利用SIFT算法對視頻序列中人臉特征進行匹配與跟蹤，計算不同視角下的頭部姿態(tài)角度，再通過記錄不同姿態(tài)角度保持的時間來判別駕駛員的行為意識，從而給駕駛員警示，進而避免交通事故。實驗表明，該系統(tǒng)可以精確估算駕駛員頭部姿態(tài)，提高駕駛安全性。

駕駛員;疲勞檢測;頭部姿態(tài)評估

收稿日期: 2013-01-10
基金項目:黑龍江省教育廳科學技術研究項目( 12511454)
第一作者簡介:李 榮( 1977-)，女，內蒙古自治區(qū)呼和浩特人，講師，博士，研究方向:機器人、智能駕駛等，E-mail: mizzle0929@126．com。

0引言

隨著汽車制造業(yè)的飛速發(fā)展，汽車已經成為人類最主要的交通工具。汽車在帶給人類舒適和便捷的同時也帶來一些負面效應，其中最嚴重、危害最大的就是交通事故。據統(tǒng)計，2012年我國發(fā)生涉及人員傷亡的路口交通事故4. 6萬起，造成1. 1萬人死亡、5萬人受傷。根據歐洲的一項研究表明，駕駛員只要在有碰撞危險0. 5 s前得到“預警”，就能避免50%的碰撞事故。若在1 s前得到“預警”，則可避免90%的事故發(fā)生。因此，開發(fā)研究能實時獲取道路和車輛信息，及時提醒駕駛員，或自動采取措施以避免出現(xiàn)危險的汽車碰撞預警系統(tǒng)，成為一項極有研究價值的課題。

目前，常用的評價疲勞駕駛有兩種方法。第一種方法，利用檢測駕駛員的生理信號的方式，例如腦電圖、心電圖、呼吸氣流等手段。駕駛員產生疲勞時，生理機能下降，會出現(xiàn)如頭重、心跳加快、脈搏加速、氣喘等。有些學者利用檢測駕駛員的生理信號的方式來研究駕駛員的疲勞程度[1-3]，這種方案的優(yōu)點是在疲勞初期檢測，具有一定的可靠性，缺點是使用不方便，且成本很高。另一種評價方法是通過檢測駕駛員的駕駛行為，通過同正常駕駛狀態(tài)比較，查找出差異如打哈欠、頻繁點頭、大角度偏離正常駕駛方向、表情變化少、眼睛呆滯等現(xiàn)象[4-6]。這類方法的優(yōu)點是通過視覺和圖像識別方法進行監(jiān)控，不需要接觸式傳感檢測，不干擾駕駛員正常操作，缺點是受天氣、路況、光照、車型等因素影響。這樣的檢測系統(tǒng)需要有計算機進行數據的實時處理，因此成本也較高，且判別結果存在誤差。隨著網絡技術的不斷發(fā)展，針對上述問題，筆者研究利用廉價的網絡攝像頭對駕駛員的頭部姿態(tài)進行不斷獲取且傳給后臺處理器，通過適當的算法對頭部姿態(tài)進行估計，將結果反饋給報警裝置，當駕駛員處于危險駕駛姿態(tài)時提供警報，會大幅度減少交通事故的發(fā)生。

1疲勞識別系統(tǒng)框架的建立

研究主要是針對中低檔價位的乘用車，通過利用價格低廉的網絡攝像頭和自身研發(fā)的智能圖像識別軟件，來代替智能駕駛系統(tǒng)等裝置，在駕駛員行駛過程中輔助駕駛員進行危險情況的識別。該系統(tǒng)的硬件結構主要由網絡攝像頭、圖像采集卡、計算機、定時電路等設備組成，對獲取的圖像信息，利用基于視頻和靜態(tài)圖像的頭部姿態(tài)估計，將處理完的信息即駕駛員頭部角度的變化傳給預警系統(tǒng)，系統(tǒng)根據結果發(fā)出相應的警告，為駕駛員進行道路交通安全提供保障。整體流程如圖1所示。

圖1 駕駛員疲勞識別系統(tǒng)流程Fig．1 Flow of detection system for fatigue driving

2駕駛員頭部姿態(tài)估計

駕駛員在駕駛過程中，其頭部姿態(tài)很大程度上暗示其注意力，因此可以通過捕捉駕駛員長時間低頭、抬頭、歪頭以及頻繁點頭等這些反常的動作，來識別其駕駛過程是否走神或疲勞。我們可以假定，駕駛員朝正前方看，表明其注意力集中，正在注視前方的道路，若其頭部長時間偏轉一側或偏移角度過大，則表明駕駛員此時走神或者疲勞，有必要給他發(fā)送提醒警示。

2. 1頭部姿態(tài)的表示方法及正面基準圖像

頭部姿態(tài)的轉動包括三個自由度，即分別為繞x、y、z軸的轉動，相應的運動分別稱為橫轉( Pitch)、傾斜( Yaw)和俯仰( Roll)。頭部姿態(tài)估計都是相對駕駛員在正常駕駛過程中頭部位姿而言的，把這一姿態(tài)叫做正面基準圖像。為簡化算法，采用主動設置方式，即駕駛員初次使用該系統(tǒng)時，保持駕車姿勢，目視前方，將此時的圖像作為正面基準圖像，并把此時的坐標系作為標準坐標系，如圖2所示。

圖2 正面基準姿態(tài)Fig．2 Frontal head’s pose

2. 2 圖像特征匹配

給定輸入的視頻序列，首先檢測正面人臉的位置。以正面人臉為基準，標記正面人臉圖像的姿態(tài)角度為0°。而網絡攝像頭獲取的駕駛員在駕駛過程中視頻序列同基準圖像在不同角度、光線、遮擋等因素下有著很大的差異。圖像特征匹配，檢測到匹配點的數目直接影響匹配結果的準確性。對于滿足傳統(tǒng)隱含假設的特征點文中按已有算法進行匹配[4]，對于不滿足假設條件的區(qū)域，即難以直接匹配的區(qū)域通過優(yōu)化的方法進行匹配，獲取更多的匹配點，算法如圖3所示。利用SIFT算法對相鄰幀圖像之間進行特征點檢測和匹配[5]，然后利用駕駛員膚色等先驗知識，對特征匹配結果進行過濾和跟蹤，得到不同圖像之間的人臉區(qū)域。實驗結果表明，70× 80像素的圖像上，大概可以獲得150個特征點。

圖3 圖像特征匹配算法框架Fig．3 Frame of image feature’s matching

2. 3 頭部姿態(tài)估計

基于人臉區(qū)域內的特征匹配結果，利用對極幾何的方法估計兩幅圖像之間的姿態(tài)角度。即三維空間中某一特征點X，被投影到兩個不同的視角中，成像點位x1、x2，而成像點僅與攝像機的參數和相機間的相對姿態(tài)有關，文中駕駛員頭部姿態(tài)，即考慮頭部與攝像頭之間的相對運動，則滿足:

F為基本矩陣，是極限約束的代數表示。圖4所示的e1、e2為對極點，即兩攝像機的基線與成像平面的交點; C1、C2為兩個相機的中心; l'表示第一副圖像中的x1點，在第二副圖像中的相應的對極線。即

圖4 兩幅圖像間的極限幾何關系Fig．4 Ultimate geometric relationship of two images

首先，根據歸一化的線性8點算法獲取基礎矩陣。其次，在此基礎上進行駕駛員頭部姿態(tài)角度。設攝像機的內參數為K，則攝像機矩陣為

x = PX為圖像上的一點，則存在K-1，使得

則空間一點X在攝像機歸一化矩陣下的像為x^。與歸一化攝像機矩陣對應的基礎矩陣為攝像機本質矩陣與基本矩陣的關系:本質矩陣包含了旋轉和平移矢量信息，即:

通過式( 6)可從本質矩陣中獲取旋轉矩陣R。旋轉矩陣可轉化為歐拉角，即分別繞z、y、x的旋轉角度為α、β、γ，旋轉矩陣可表達為

基于人臉區(qū)域內的特征匹配結果，利用動態(tài)姿態(tài)估計算法估計圖像之間的基礎矩陣和本質矩陣，進而估計任意兩幅相鄰圖像幀之間繞旋轉軸x、y、z三個方向的相對角度。利用RANSAC算法[6]過濾圖像匹配中存在的錯誤匹配，獲得正確的關于圖像間基礎矩陣的模型估計結果。

3實驗結果分析

使用該系統(tǒng)進行頭部姿態(tài)估計時，采用駕駛員上車后獲取的基準圖像為標準正面人臉坐標系，設駕駛員內眼角連線的中心為坐標原點。通過網絡攝像頭獲取的每一幀圖像，通過圖像特征匹配算法獲取足夠多的特征點，利用RANSAC算法將錯誤的匹配點過濾，然后利用頭部姿態(tài)估計算法，計算駕駛員人臉相對于標準坐標系的旋轉矩陣，進而估計出該幀的駕駛員頭部姿態(tài)相對于正面姿態(tài)的α、β、γ旋轉角度。圖5為利用網絡攝像頭拍攝的兩端駕駛員模擬錄像，其中5a表示的是正常駕駛狀態(tài)下，利用該系統(tǒng)處理完的駕駛員頭部橫滾姿態(tài)，即此時駕駛員大部分時間目視前方，而且頭部有小幅度的左右轉動(即橫滾)觀察路況。圖5b記錄的駕駛員處于疲勞狀態(tài)，駕駛過程中，每隔一段時間會出現(xiàn)頭部大幅度低下(即俯視)，接著會迅速抬起，而且大幅度點頭的頻率越來越高。圖5c表示駕駛員頭部長時間左偏(即偏航)，持續(xù)時間長過120幀，表示可能駕駛員走神或瞌睡。如果出現(xiàn)圖5b及5c情況，系統(tǒng)會發(fā)出警報，提醒駕駛員。

圖5 駕駛員頭部姿態(tài)估計Fig．5 Head pose estimation of driver

4 結束語

基于視覺的目標姿態(tài)估計算法，可以精確估算駕駛員的頭部姿態(tài)，提高其駕駛安全性。該算法以正面人臉為基準，通過不同圖像之間的特征匹配結果計算頭部姿態(tài)的相對角度，進而獲得每幀圖像中頭部姿態(tài)的絕對角度。實驗表明，姿態(tài)估計算法可以給出精確的姿態(tài)估計結果，在駕駛員駕駛過程中起到一定的輔助駕駛作用，可以有效避免交通事故。

[1]HUANG K，TRIVEDI M M，GANDHI T．Driver’s view and vehicle surround estimation using omnidirectional video stream[C]/ / Proceedings of IEEE Intelligent Vehicles Symposium．Ohio: Columbus．2003: 444-449．

[2] 李 力，王飛躍，鄭南寧，等．駕駛行為智能分析的研究與發(fā)展[J]．自動化學報，2007，33( 10) : 1014-1022．

[3] VIOLA P，JONES M．Rapid objects detection using a boosted cascade of simple features[J]．Computer Vision and Pattern Recognition，2001，31( 6) : 511-518．

[4] 武 勃，黃 暢，艾海舟．基于連續(xù)算法的多視角人臉檢測．計算機研究與發(fā)展[J]．2005，42( 9) : 1612-1621．

[5] DAVID G，LOWE．Distinctive image features from scale invariant key points[J]．International Journal of Computer Vision，2004，60( 2) : 91-110．

[6] MATAS J，CHUM O．Randomized RANSAC with T-d test[J]．Image and Vision Computing，2004，22( 10) : 837-842．

(編輯 徐 巖)

Research of detection system for fatigue driving based on head pose estimation

LI Rong1，LIU Kun2，GAO Wenpeng3

( 1．School of Automobile&Traffic Engineering，Heilongjiang Institute of Technology，Harbin 150001，China; 2．School of Control Science&Engineering，Hebei University of Technology，Tianjin 300019，China; 3．School of Life Science&Technology，Harbin Institute of Technology，Harbin 150001，China)

Aimed at preventing traffic accident due to the subjective factor of drivers，this paper is focused on identifying drivers’head gesture，a reflection of drivers’intention and proposes an algorithm for dynamic head pose estimation based on computer vision．The algorithm consists of firstly estimating the relative pose between adjacent views，using Scale-Invariant Feature Transform ( SIFT) descriptors to match the corresponding feature points between two adjacent views，estimating the different frames within different pose range，and using the time of the pose range to judge the drivers’behavior consciousness for preventing traffic accident．The experiment shows that the algorithm capable of accurate estimation of drivers’head gesture can aid an improvement in driving safety．

driver; fatigue detection;head pose estimation

10. 3969/j．issn．2095-7262. 2014. 01. 022

TP391

2095-7262( 2014) 01-0099-04

A