杜 勇， 王春明， 崔 金， 李磊軍， 崔 堯， 郭培智

(1 東北農(nóng)業(yè)大學(xué) 電氣與信息學(xué)院， 哈爾濱 150030； 2 哈爾濱工業(yè)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院， 哈爾濱 150001)

引言

近年來，汽車工業(yè)得到了迅猛發(fā)展，車輛人均占有率在不斷提高。然而隨著車輛的增多，在為人們提供快捷便利現(xiàn)代生活的同時，也在相當(dāng)程度上給社會帶來了一定的隱憂及困擾。交通事故的發(fā)生頻率已不容樂觀，駕駛?cè)藛T車內(nèi)的異常駕駛情況也正日趨嚴(yán)峻，這不僅增加了交通系統(tǒng)的風(fēng)險，對于每個人的人身財產(chǎn)也構(gòu)成了不可小覷的安全威脅。

研究可知，截止到目前，因道路交通傷害導(dǎo)致的人類死亡已經(jīng)位列全球十大死亡原因之一，并且另據(jù)一系列調(diào)查可知，道路交通事故也是導(dǎo)致年齡在15～29歲之間朝陽群體死亡的主要原因[1]。而源于道路交通事故的增加更會使全球經(jīng)濟(jì)損失愈加嚴(yán)重：在全球的國內(nèi)生產(chǎn)總值損失中，因道路交通死亡和傷害導(dǎo)致的國內(nèi)生產(chǎn)總值損失占比大概為3%；而在中低收入國家的國內(nèi)生產(chǎn)總值損失中，這一數(shù)字更是接近了5%[2]。因此在高速發(fā)展的當(dāng)今社會中，交通安全業(yè)已成為備受多方矚目的焦點研究課題。

經(jīng)大量調(diào)研顯示，交通事故的發(fā)生很多時候都是與駕駛員車內(nèi)的違規(guī)操作、經(jīng)驗不足、以及不規(guī)范的動作行為等主觀因素有關(guān)，而與其它客觀因素(如道路問題、車輛本身存在問題)的關(guān)聯(lián)性卻并不顯著。因此科學(xué)規(guī)范駕駛員車內(nèi)異常駕駛行為，并于必要時友好提醒駕駛員注意自己的不規(guī)范行為，則已成為亟待解決的主要問題。

實際上，在經(jīng)過了對各種駕駛實例的歸納總結(jié)后，研究認(rèn)為駕駛員的不規(guī)范行為舉止將集中表現(xiàn)為：接打手持電話、吃東西、梳頭發(fā)、玩手機、剪指甲和疲勞駕駛。其中，避免疲勞駕駛對于駕駛安全將尤為重要。究其原因即在于：對于短時間的駕駛，大多數(shù)駕駛員由于長期累積的駕駛習(xí)慣或下意識的動作而難以判斷自己的實時駕駛狀態(tài)，從而無法做出快速、準(zhǔn)確的反應(yīng)，就可能導(dǎo)致某一刻交通事故的發(fā)生；對于長時間的駕駛，駕駛員的精神狀態(tài)往往會隨著時間的持續(xù)發(fā)生改變，在生理情況、對方向盤的操控能力等方面均可能存在波動性，并因注意力的下降而表現(xiàn)出精神不集中、判斷錯誤、操作失誤、視角疏忽以及違反交通規(guī)則等異常駕駛的情況，導(dǎo)致交通事故的發(fā)生[3]。

目前，國內(nèi)外已有學(xué)者在衛(wèi)星定位數(shù)據(jù)的基礎(chǔ)上對于異常駕駛行為識別開展了一定的研究[4]。國內(nèi)許多大型的運輸企業(yè)、如快遞物流企業(yè)，則都選擇安裝了基于GPS和北斗等基于衛(wèi)星定位系統(tǒng)技術(shù)的監(jiān)控系統(tǒng)，但該系統(tǒng)主要識別的僅是駕駛員超速、駕駛路線異常等車輛外部行為，同時雖采用了設(shè)置固定的監(jiān)控閾值，超過則報警的方式，但仍然未能獲得實時的識別效果[5]。

在對于駕駛者非安全駕駛行為的研究中，針對疲勞駕駛的行為識別居于主導(dǎo)地位，而有關(guān)異常駕駛行為識別，也有研究者指出可通過安裝傳感裝置的方法，用以協(xié)助識別駕駛員的異常駕駛行為，例如使用加速度傳感器遠(yuǎn)程監(jiān)控車輛的急劇加速和突然剎車行為的方法[6]。劉永濤等人即在研究中提出，為了提升危險駕駛行為的識別性能，車載實時采集路面圖像和方差貝葉斯網(wǎng)絡(luò)模型來判斷識別危險駕駛行為；牛增良等人也在研究中從危險駕駛行為的角度審視外部影響因素與駕駛行為之間的關(guān)系，就此提出基于大量的交通事故數(shù)據(jù)，以視線因素、道路狀況、車輛狀況因素及其它伴隨行為作為評價指標(biāo)，再研究通過聚類方法來定量分析潛在的危險駕駛行為[7]；陳志軍等人則提出并建立了大型車輛危險駕駛行為綜合監(jiān)控系統(tǒng)，同時又將Q學(xué)習(xí)算法融入監(jiān)控系統(tǒng)中。時下，也有美國公司研發(fā)推出了方向盤監(jiān)控裝置，可用于檢測方向盤的異常運動。

大部分方法都是從外部因素如路面等情況來間接檢測駕駛行為的，而直接針對駕駛者行為進(jìn)行監(jiān)控的方法卻少有提及。對于駕駛行為的最直接描述方式是依賴機器視覺進(jìn)行輔助監(jiān)控[8]，而這一項目內(nèi)容也相應(yīng)成為該領(lǐng)域的研究主流。基于視頻信息的有效檢測途徑大致可歸納為2種，可具體描述如下。

(1)采用光流場的方式。Horn和Schunch 首先提出了采用光流法檢測運動目標(biāo)，計算了一種稠密的光流場，隨后Ali和Shah則從光流場中提取出可以表示運動的光流特征[9]。

(2)構(gòu)造串接的視頻序列信息。這也是得到有效行為特征描述的技術(shù)研發(fā)方法[10]。近年來，基于時空信息的描述子已然成為了國內(nèi)外學(xué)術(shù)界的研究熱點，通過直接對視頻中的動作行為同時進(jìn)行與時空域相關(guān)的特征點提取，并用此結(jié)果設(shè)計構(gòu)造了特征向量描述，省去了關(guān)鍵幀對齊的處理過程，使識別效率大大提高。

在此基礎(chǔ)上，本文將重點針對駕駛員的主要非安全駕駛行為(包括吃東西、剪指甲、梳頭發(fā)、打電話、玩手機等情況)進(jìn)行識別，在這些異常行為出現(xiàn)時發(fā)送警報，以提醒駕駛員集中注意力并規(guī)范自身的駕駛行為，旨在于更廣闊范圍內(nèi)能夠有效防范和避免交通事故的發(fā)生。

1 方法研究概述

本文提出的通過構(gòu)造時空描述特征對駕駛者非安全駕駛行為進(jìn)行識別的方法框架，主要包含訓(xùn)練以及識別2個階段。研究可得系統(tǒng)工作流程如圖1所示。其中，訓(xùn)練階段構(gòu)造用于識別的Cuboid原型是整個方法框架的核心之一，其性能在本質(zhì)上將依賴于描述算子Cuboid的優(yōu)劣。

圖1 基于時空描述特征的非安全駕駛行為識別方法框架

Fig.1Frameworkofnon-safedrivingbehaviorrecognitionmethodbasedonspatio-temporaldescriptionfeatures

在駕駛員非安全駕駛行為的識別任務(wù)中，構(gòu)造針對不同駕駛行為的合適的特征描述是實現(xiàn)有效識別的前提。一個動作往往通過一段視頻來展示，或者說體現(xiàn)為一系列的視頻幀。對于2D圖像而言，Harris角點檢測、LOG算子，以及擴(kuò)展到圖像序列，縱覽該領(lǐng)域后可知有效的描述算子較為有限，而3D Harris檢測算子即是一個選擇，但通常情況下，該算子卻不能檢測出足夠數(shù)量的特征點，從而影響最終的識別效果。

研究中，本文使用了Cuboid時空特征構(gòu)造算法，這是一種有效行為表達(dá)方法。對其機理要點可闡釋分述如下。

(1)Cuboid算子能夠?qū)χ芷谛赃\動或空間運動特征明顯的動作做出有效描述，適用非安全駕駛行為具有明顯動作表現(xiàn)這一特點。

(2)Cuboid在保證興趣點稀疏的前提下，可以從視頻中提取大量特征信息，這又規(guī)避了3D Harris算子的不足。

(3)Cuboid描述特征對于平移運動或微小運動并不敏感，從而可以過濾掉車輛運動過程中的顛簸、震動，這同樣滿足本文研究任務(wù)的需求。

(4)Cuboid算法默認(rèn)假定拍攝視頻序列的攝像頭是靜止的，或者攝像頭的運動可以通過其它算法進(jìn)行運動補償，該假設(shè)前提又與駕駛環(huán)境比較吻合。

2 基于時空特征描述的非安全駕駛行為識別原理

2.1 時空興趣點檢測

Cuboid(s)是一種針對視頻提取時空特征的算法，在時空域上進(jìn)行特征提取，除了空間域上的位置信息以外，還需要增加時間t作為其描繪的一個維度。通過將視頻看作連續(xù)的圖像序列，視頻中任意一點均可以表示成為一個三維數(shù)據(jù)點[11]，如圖2所示。研究中，將以此為基礎(chǔ)進(jìn)行特征提取，從而得到Cuboid特征描述子。

圖2 視頻中的像素點表示

與大多數(shù)興趣點檢測算子構(gòu)造方式一樣，這里響應(yīng)函數(shù)由空域與時域2個線性可分的濾波器構(gòu)成。Cuboid興趣點的響應(yīng)函數(shù)的數(shù)學(xué)形式可表述如下：

R=(I(x,y,t)*g(x,y;σ)*hev)2+

(I(x,y,t)*g(x,y;σ)*hod)2

(1)

其中，I(x,y,t)為視頻的圖像序列，g(x,y;σ)為空間域上的二維高斯平滑核函數(shù)，其數(shù)學(xué)定義如下所示：

(2)

而hev與hod則是時間維度上的一對互相正交的一維Gabor濾波器。研究時可用于探測具有周期運動的成分，其數(shù)學(xué)定義分別表示如下：

(3)

(4)

其中，ω=4/τ，參數(shù)σ和τ分別表示空間和時間的探測尺度。

2.2 構(gòu)建具有稀疏性的Cuboid時空描述特征

2.2.1 建立Culoid區(qū)域

每一個Cuboid興趣點(xi,yi,ti)，對應(yīng)響應(yīng)函數(shù)R的一個局部最大值，為了能將對該興趣點局部極值發(fā)揮作用的數(shù)據(jù)都充分包括進(jìn)來，研究以興趣點為中心，N(xi,yi,ti)作為鄰域來構(gòu)造一個Cuboid區(qū)域[12]。推導(dǎo)可得數(shù)學(xué)公式如下：

N(xi,yi,ti)=(xi±[3σ],yi±[3σ],ti±[3τ])

(5)

2.2.2 Cuboid區(qū)域的特征描述

對于建立的Cuboid區(qū)域，考慮到度量研究所需，則將對其進(jìn)行變換處理，首先需要進(jìn)行特征描述?？梢酝ㄟ^3種方法計算Cuboid特征。這里將給出研究論述如下。

(1)歸一化像素值。

(2)計算亮度梯度。計算在每個時空位置(x,y,t)，對應(yīng)時空域3個通道上的亮度梯度(Gx,Gy,Gt)，并使每一個通道的大小和Cuboid一致。

(3)計算窗口光流。為了提取運動描述，計算每一對連續(xù)視頻幀之間的Lucas Kanade光流，并創(chuàng)建2個通道(Vx,Vy)，每個通道同樣與Cuboid的大小相同。

2.2.3 Cuboid區(qū)域特征的二次抽象編碼表達(dá)

經(jīng)過上述特征抽取后的Cuboid特征表示是規(guī)范的，但為了度量方便，還要對Cuboid區(qū)域特征進(jìn)行二次抽象編碼表達(dá)，即對已經(jīng)得到的Cuboid特征描述在經(jīng)過歸一化處理后又進(jìn)一步轉(zhuǎn)換為二次抽象的特征向量。相應(yīng)3種處理方式，可解析闡述如下。

(1)將Cuboid直接拉直成一個向量的方式。這種方式得到的向量對于數(shù)值比較小的Cuboid特征來說，抗干擾能力很差。

(2)在Cuboid中使用全局直方圖的方式。這種方式得到的向量具有很強的抗干擾能力，但是也會丟棄其所有位置信息(包括空間信息和時間信息)。

(3)在Cuboid中使用局部直方圖的方式。將Cuboid劃分為若干區(qū)域，并為每個區(qū)域創(chuàng)建一個局部直方圖，這樣在保留一些位置信息的同時，對小數(shù)值的Cuboid特征來說，抗干擾能力將有所增強。

上述2步特征構(gòu)造過程將產(chǎn)生3×3=9種選擇，可以任意組合最終得到Cuboid區(qū)域大的特征向量[13]。

本文按照一種已為業(yè)界廣泛采用的組合方式，選擇先對Cuboid做亮度梯度標(biāo)準(zhǔn)化的處理，得到轉(zhuǎn)換后的Cuboid，再將其直接進(jìn)行PCA降維處理，生成特征向量，在實質(zhì)上可將其視作為一種PCA-SIFT特征[14]。

2.2.4 構(gòu)建Cuboid動作原型字典

對于動作識別而言，如果是同一種動作，即便會有一些差異，但總體上，對于這個動作的描述在宏觀上應(yīng)該具有一致性。而這種一致性應(yīng)當(dāng)由該段視頻上的全部Cuboid(s)共同體現(xiàn)出來。因此，單一的Cuboid的相似性價值不大，應(yīng)當(dāng)統(tǒng)觀衡定全部Cuboid(s)的表現(xiàn)傾向。要為每個Cuboid劃分所屬類別，就要先建立不同動作的類別中心，即Cuboid不同動作原型。因此，在訓(xùn)練階段，針對不同駕駛者行為，當(dāng)?shù)玫紺uboid特征表達(dá)后，將大量的Cuboid特征進(jìn)行K-means聚類處理[15-16]，生成一組Cuboid原型，稱為Cuboid字典。

2.2.5 行為描述子以及相似性度量

綜上處理環(huán)節(jié)可歸為訓(xùn)練的研究過程。至此，當(dāng)給定需要識別的行為視頻后，接下來就是將Cuboid(s)特征向量用Cuboid字典再表達(dá)的過程。換言之，就是用一個Cuboid原型類別直方圖來描畫這個待識別的行為。

對于2個行為描述子的相似性可以運用歐氏距離或卡方距離來度量。對于相同維度的2個向量x和y，兩者之間歐氏距離以及卡方距離分別為：

(6)

χ2(x,y)=

(7)

其中，在卡方距離中E(·)為計算數(shù)學(xué)期望。

在文中，研究度量駕駛行為的相似性時，使用了歐氏距離，分類時則采用了KNN分類策略，即：

y=arg MAXcj∑xi∈NK(x)I(yi=cj)i=1,2,...,N

(8)

其中，I為指示函數(shù)，yi=cj時，I=1,否則I=0；NK(x)表示樣本x的K個近鄰。當(dāng)K=1時，KNN分類器將退化為最鄰近分類器，即將待分類樣本劃歸至與其最鄰近的樣本類中，實際分類時，本文采用的是最近鄰分類器。

3 實驗分析

本文實驗選用的數(shù)據(jù)集為在光照、角度、背景等基本保持不變的實驗環(huán)境下，用固定攝像頭所拍攝得到的。包括10名不同人員吃東西(eat)、剪指甲(finger)、梳頭發(fā)(hair)、打電話(phone)、玩手機(play)、正常(normal)情況共6大類動作視頻，每類動作每人拍攝9段視頻，共計540段視頻序列，每個視頻序列時長為4 s，攝錄幀率為15幀/s，每個視頻可得到60幀圖像，有關(guān)動作的視頻片段如圖3所示。

圖3 非安全駕駛行為示例

本文用混淆矩陣來驗證文中方法的分類性能，運行得出實驗結(jié)果如圖4所示。

圖4 非安全駕駛行為識別能力

通過實驗結(jié)果可以看出，對于非安全駕駛行為的分類問題仍然呈現(xiàn)一定的難度，目前很多混淆都出現(xiàn)在駕駛者具有一定類似動作的行為上，如吃東西與剪指甲就容易混淆，分析原因在于研究認(rèn)為是這2類都有手部抬起的動作，雖然動作幅度不盡相同，但是Cuboid描述特征的主要特點之一就是如果不同人是在做相同的動作，即便存在一定差異，也能夠判為相同的動作。這既是該方法的一個優(yōu)點，同時也容易造成識別上的混淆。另外，不同個體性別和著裝的外觀差異以及不同個體的一些習(xí)慣附加動作都對識別施加了較大干擾，后續(xù)研究將致力于消除這些干擾，以及轉(zhuǎn)換視角研究其它的識別框架來實現(xiàn)方法的改進(jìn)和完善。

4 結(jié)束語

非安全駕駛行為識別是一項頗具現(xiàn)實意義的模式識別任務(wù)，但由于個體差異，以及描述上的困難使得這一任務(wù)面臨一定的挑戰(zhàn)。目前，本文研究提出的基于Cuboid特征的識別方法，在手工構(gòu)造特征的識別方法中的性能堪稱良好。這種方法能夠成功提取給出駕駛者的關(guān)鍵動作描述，而且對于細(xì)微的動作干擾具有較好的魯棒性?？紤]到一些非安全行為的相似性以及個體差異，對于某些動作的區(qū)分還應(yīng)予以深度細(xì)化，同時也要強化稀疏表示能力，如此才能有效避免混淆的情況發(fā)生，而這也將是未來工作的一個研究重點。