許燁豪，毛 琳，楊大偉(大連民族大學(xué) 機(jī)電工程學(xué)院，遼寧 大連 116605)

橫穿馬路的行人運(yùn)動(dòng)速度太快、太慢或者突變都可能影響駕駛者的判斷，從而導(dǎo)致交通事故。車(chē)載輔助系統(tǒng)應(yīng)能夠在交通路口為駕駛者提供異常行人的速度預(yù)判信息。文獻(xiàn)[1-2]通過(guò)對(duì)不同紅綠燈情形進(jìn)行建模分析并實(shí)際采集某路段的交通視頻，分析紅綠燈與行人穿越馬路的方式對(duì)行人安全性的影響，這種方法主要研究交通環(huán)境與行人安全的關(guān)系，受實(shí)際環(huán)境的影響較大。文獻(xiàn)[3]同樣以分析交通環(huán)境為主，主要研究夜間情況下交通信號(hào)燈的控制方案與行人車(chē)輛碰撞沖突的關(guān)系，通過(guò)實(shí)地采集交通數(shù)據(jù)，研究能保證行人安全和車(chē)輛正常通行的交通信號(hào)配時(shí)方案。文獻(xiàn)[4]將關(guān)注點(diǎn)集中在人的頭部，通過(guò)判斷頭部姿態(tài)預(yù)測(cè)行人可能的運(yùn)動(dòng)方向，將運(yùn)動(dòng)方向會(huì)與車(chē)輛發(fā)生沖突的行人判定為危險(xiǎn)行人。但文獻(xiàn)[3-4]對(duì)采集圖像的分辨率要求較高，無(wú)法用于一般的車(chē)載攝像頭。文獻(xiàn)[5]建立了一個(gè)行人運(yùn)動(dòng)和橫穿馬路的神經(jīng)網(wǎng)絡(luò)模型，利用行人的運(yùn)動(dòng)軌跡來(lái)計(jì)算行人的碰撞概率，這種方法主要是分析行人的運(yùn)動(dòng)軌跡和趨勢(shì)與車(chē)行方向的關(guān)系，缺點(diǎn)在于危險(xiǎn)判斷的范圍距離車(chē)頭過(guò)近且判斷方式過(guò)于單一，不能很好地適用于復(fù)雜環(huán)境。文獻(xiàn)[6]提出一種基于模糊判決的行人碰撞分析方法，通過(guò)采集行人步進(jìn)方向、速度、車(chē)速以及車(chē)和行人的相對(duì)距離四種要素，采用模糊推理法進(jìn)行危險(xiǎn)程度的計(jì)算。文獻(xiàn)[7]提出一種動(dòng)態(tài)骨架行人行為識(shí)別算法，根據(jù)預(yù)先設(shè)計(jì)的異常動(dòng)作找出特定行人目標(biāo)，而文獻(xiàn)[8]提出一種針對(duì)街道上低頭使用手機(jī)行人姿態(tài)的辨識(shí)算法，這兩種方法計(jì)算量較大。

本文所提算法依靠單目攝像機(jī)，利用行人運(yùn)動(dòng)特性的跟蹤學(xué)習(xí)檢測(cè)(Tracking Learning Detection,TLD)快速檢測(cè)算法和自適應(yīng)融合顏色和梯度方向特征的粒子濾波跟蹤算法來(lái)提取目標(biāo)行人信息，以行人運(yùn)動(dòng)速度為判決依據(jù)，尋找行人目標(biāo)中的異常行人，有效發(fā)現(xiàn)對(duì)交通安全造成威脅的目標(biāo)，一方面為駕駛者和車(chē)載輔助系統(tǒng)提供早期路況預(yù)警，另一方面為后續(xù)行人風(fēng)險(xiǎn)分析與行人意圖分析提供必要參考依據(jù)。

1 速度異常行人檢測(cè)算法

在人車(chē)混行的交通路口，行人的速度往往決定了發(fā)生意外的概率。過(guò)快的速度會(huì)使駕駛者來(lái)不及反應(yīng)，而過(guò)慢速度的行人可能包含老人等弱勢(shì)群體，在橫向穿越馬路過(guò)程中，也更加值得駕駛?cè)藛T注意。

給定車(chē)前行人可能的運(yùn)動(dòng)速度上下確界為VMAX和VMIN，正常行走的行人速度滿足v0∈[1.1,1.4] m·s-1，設(shè)α為異常速度參數(shù)，v為待測(cè)量行人的實(shí)際行走速度，且v,v0∈[VMIN,VMAX]，若

?v,|v-v0|>α

(1)

成立，則該行人為速度異常行人，以下稱為異常行人。

異常行人檢測(cè)算法邏輯框圖如圖1，本文通過(guò)行人運(yùn)動(dòng)特性的TLD快速檢測(cè)算法[9]、自適應(yīng)融合顏色和梯度方向特征的粒子濾波跟蹤算法[10]來(lái)獲取圖像坐標(biāo)系下的行人信息，經(jīng)逆透視映射[11]得到世界坐標(biāo)系下行人實(shí)際運(yùn)動(dòng)速度，利用速度異常行人辨識(shí)對(duì)異常行人做出檢測(cè)框標(biāo)識(shí)。

圖1 異常行人檢測(cè)邏輯框圖

1.1 行人軌跡提取

1.1.1 行人檢測(cè)

行人運(yùn)動(dòng)特性的TLD快速檢測(cè)算法，通過(guò)窗口掃描方法在圖像坐標(biāo)系中對(duì)行人目標(biāo)進(jìn)行搜索，經(jīng)由

fB(g)=maxz∈Z(g)β·Φ(g,z)

(2)

計(jì)算全部搜索框得分，確定行人檢測(cè)目標(biāo)位置結(jié)果。式中：fB(·)為目標(biāo)得分；β是模型的參數(shù)向量；Φ(g,z)是模型的特征向量；z是目標(biāo)配置參數(shù)。Φ(g,z)是特征金字塔中任意窗口所對(duì)應(yīng)的HOG特征和部件變形特征構(gòu)成的特征向量。該公式所得結(jié)果即為行人位置坐標(biāo)，x、y分別為行人在圖像坐標(biāo)系中的橫坐標(biāo)和縱坐標(biāo)。

1.1.2 粒子濾波跟蹤

該算法采用空間核函數(shù)加權(quán)顏色直方圖和梯度方向直方圖來(lái)對(duì)特征進(jìn)行描述，經(jīng)融合實(shí)現(xiàn)對(duì)目標(biāo)的建模和跟蹤，改善單一特征信息導(dǎo)致的跟蹤精度低和魯棒性差的問(wèn)題。

設(shè)從初始時(shí)刻到t時(shí)刻，離散動(dòng)態(tài)系統(tǒng)的狀態(tài)序列為Xt={X1,…,Xt}，觀測(cè)序列為zt={z1,…,zt}。系統(tǒng)的狀態(tài)轉(zhuǎn)移模型和觀測(cè)模型分別為

Xt=G(Xt-1,qt)，zt=H(Xt,st)。

(3)

式中：G為狀態(tài)轉(zhuǎn)移方程；qt為過(guò)程噪聲；H是測(cè)量方程；st為系統(tǒng)的測(cè)量噪聲。

將行人坐標(biāo)(x,y)代入式(3)作為粒子濾波算法的初值，得到下一幀的行人坐標(biāo)位置。

(4)

成立。當(dāng)μ足夠小時(shí)，可以認(rèn)定粒子跟蹤濾波器所得行人位置能夠近似估計(jì)行人運(yùn)動(dòng)軌跡。

1.2 異常行人辨識(shí)

1.2.1 俯視行人位置變換

俯視變換的目的是針對(duì)單目攝像機(jī)，利用基于消失點(diǎn)的魯棒逆透視映射變換，獲得二維世界坐標(biāo)系下(不含Z軸高度信息)的行人軌跡位置，逆透視映射示意圖如圖2。圖2(b)中線段AB和CD為實(shí)際行車(chē)視角在俯視角下的邊界線，線段AC為車(chē)頭所在位置。坐標(biāo)轉(zhuǎn)換公式為

(5)

(6)

式中：(U,V)為行人在攝像機(jī)圖片中的像素坐標(biāo)；(M,N)是圖片的長(zhǎng)和寬；(rx,ry)是行人在俯下的實(shí)際坐標(biāo)；(Cx,Cy,Cz)是攝像機(jī)在世界坐標(biāo)系中的位置；αU和αV是攝像機(jī)在水平和垂直方向上的孔徑角；θ是攝像機(jī)相對(duì)于水平方向的傾斜角。經(jīng)計(jì)算可得，圖2(a)中行人i和j在俯視角下的實(shí)際位置(rxi,ryi)和(rxj,ryj)。

(a)實(shí)際行車(chē)角度

(b)俯視角下的車(chē)前環(huán)境

1.2.2 行人速度計(jì)算

設(shè)Fk和Fk+1分別為視頻第k幀和第k+1幀時(shí)的行人位置矩陣。

Fk={(rx1k,ry1k)，(rx2k,ry2k)，…，(rxfk,ryfk)}；

(7)

Fk+1={(rx1k+1,ry1k+1)，(rx2k+1,ry2k+1)，…，

(rxfk+1,ryfk+1)}。

(8)

式中，(rxik,ryik)和(rxik+1,ryik+1)分別為行人i在視頻第k幀和第k+1幀的實(shí)際坐標(biāo)位置。則行人i的運(yùn)動(dòng)估計(jì)速度為

vik+1=(rxik+1-rxik)/t。

(9)

式中：vik+1為第k+1幀時(shí)行人i的運(yùn)動(dòng)估計(jì)速度；rxik和rxik+1分別為第k幀和第k+1幀時(shí)的x軸橫坐標(biāo)，；T為相鄰幀間的時(shí)間間隔。

1.2.3 速度異常行人檢測(cè)

設(shè)異常行人的速度異常程度為VAD(Velocity Anomalous Degree)，用來(lái)描述該行人的速度與普通行人速度的差異程度，且VAD∈[-1,1]，負(fù)值表示慢速異常，正值表示快速異常。VAD數(shù)值越接近0說(shuō)明行人速度偏離正常值越小，此時(shí)行人與正常行人速度差異不大，危險(xiǎn)性較??；相反，則說(shuō)明當(dāng)前行人的速度偏差較大，危險(xiǎn)性也較大，更加值得關(guān)注。

根據(jù)運(yùn)動(dòng)速度的不同將異常行人分為慢速異常行人和快速異常行人。其中，慢速異常行人和快速異常行人均滿足式(1)，vv0為快速異常。則速度異常程度計(jì)算公式為

(10)

式中：v為異常行人速度；v0為普通行人速度；VSP為慢速異常系數(shù)；VFP為快速異常系數(shù)。

2 仿真測(cè)試

本文采用單目攝像機(jī)，仿真環(huán)境為Windows10和MATLAB 2014b。仿真所用參數(shù)v0=1.25，α=0.3，VFP=3.75，VSP=1.25，VMIN=1，VMAX=5。僅對(duì)視頻中的異常行人用實(shí)線檢測(cè)框進(jìn)行標(biāo)識(shí)說(shuō)明。

慢速異常行人的橫穿馬路仿真場(chǎng)景如圖3：(a)在第46幀時(shí)，行人B被判定為慢速異常行人，此時(shí)運(yùn)動(dòng)速度估計(jì)值0.83 m·s-1，VAD為-0.33；(b)為仿真視頻第54幀，從這一幀開(kāi)始行人A的速度穩(wěn)定在 0.92 m·s-1，對(duì)應(yīng)的VAD為-0.26，將行人A判定為慢速異常行人；(c)為視頻第93幀，行人B速度估計(jì)值0.76 m·s-1，且VAD為-0.39，為慢速異常行人。在這3個(gè)場(chǎng)景的視頻中可以看出，慢速異常行人穿越馬路的速度明顯低于正常行人，極容易滯留在街道路口，對(duì)駕駛員的注意提醒可以幫助區(qū)分行人是否完全通過(guò)馬路。

(a) (b) (c)

快速異常行人橫穿路口的仿真場(chǎng)景如圖4：(a)在第51幀時(shí)，行人B的速度估計(jì)值為1.81 m·s-1，對(duì)應(yīng)的VAD為0.15，表現(xiàn)為快速異常行人；(b)快速異常發(fā)生在第84幀，行人A的速度估計(jì)值為1.88 m·s-1，VAD值為0.17，行人A為快速異常行人；(c)在第32幀時(shí)，行人B的速度估計(jì)值為2.11 m·s-1，VAD為0.23，行人B為快速異常行人。快速異常行人是對(duì)多車(chē)并行通過(guò)能力的挑戰(zhàn)，駕駛員應(yīng)格外注意這些突然加速的過(guò)街行人，以防危險(xiǎn)發(fā)生。

(a) (b) (c)

混合異常行人仿真場(chǎng)景如圖5，場(chǎng)景中包含有多個(gè)快速異?；蚵佼惓５男腥耍?a)中，一前一后兩人，一快一慢同向而行，從駕駛者角度觀察，當(dāng)兩人重疊遮擋后，快速行人對(duì)于車(chē)輛駕駛者來(lái)說(shuō)危險(xiǎn)程度較高，特別值得提早關(guān)注；(b)和(c)場(chǎng)景，行人快慢相向而行，對(duì)于可能滯留在街道上的行人來(lái)說(shuō)，發(fā)生危險(xiǎn)的可能性也更大。

(a) (b) (c)

由于行人檢測(cè)和跟蹤算法可能會(huì)給出錯(cuò)誤的行人坐標(biāo)而導(dǎo)致該異常行人檢測(cè)算法的判定結(jié)果出錯(cuò)，在經(jīng)過(guò)測(cè)試1 500幀行人視頻后，該異常行人算法對(duì)道路上異常行人的正確判定概率為69.5%。

3 結(jié) 語(yǔ)

為了保護(hù)交通路口的行人安全，本文應(yīng)用單目攝像機(jī)，提出一種速度異常的橫穿馬路行人檢測(cè)方法，實(shí)現(xiàn)對(duì)特定行人的標(biāo)識(shí)。通過(guò)異常行人目標(biāo)的檢測(cè)與辨識(shí)，將匆忙趕路的行人、關(guān)注手機(jī)的行人和弱勢(shì)群體等行人納入異常行人目標(biāo)進(jìn)行重點(diǎn)關(guān)注，可以實(shí)現(xiàn)對(duì)行人的早期防護(hù)。該算法結(jié)合檢測(cè)與跟蹤技術(shù)，利用逆透視映射方法有效地估計(jì)出路面行人的運(yùn)動(dòng)速度，對(duì)運(yùn)動(dòng)速度過(guò)快或過(guò)慢的異常行人目標(biāo)進(jìn)行標(biāo)識(shí)，為行人風(fēng)險(xiǎn)分析與意圖估計(jì)計(jì)算出必要先驗(yàn)信息。經(jīng)仿真驗(yàn)證，本算

法能夠較準(zhǔn)確地計(jì)算出視頻中行人的運(yùn)動(dòng)速度，辨別出多個(gè)橫穿馬路行人中的異常目標(biāo)，為駕駛者提供輔助預(yù)判信息，也為自主駕駛車(chē)輛提供避障和軌跡規(guī)劃等應(yīng)用提供依據(jù)。

參考文獻(xiàn)：

[1] 聶瑞紅, 程建川. 基于交通沖突技術(shù)的行人安全分析與改善[J]. 交通信息與安全，2012 (3): 105-109.

[2] 裴玉龍, 程坦. 城市道路平面信號(hào)交叉口行人安全分析[J]. 交通信息與安全，2009 (3): 105-107.

[3] 劉麗華, 李小江, 許偉強(qiáng), 等. 一種夜間行人過(guò)街安全提示系統(tǒng)設(shè)計(jì)[J]. 河南城建學(xué)院學(xué)報(bào). 2015 (6): 37-40.

[4] SCHULZ A, STIEFELHAGEN R. Video-based pedestrian head pose estimation for risk assessment[C]. International IEEE Conference on Intelligent Transportation Systems, 2012: 1771-1776.

[5] PARK S, CHOI B, KIM B, et al. Collision risk assessment for pedestrians′ safety : Neural network with interacting multiple model apporach[C]. Proceedings of SICE Annual Conference, 2010: 2897-2900.

[6] HARIYONO J, KURNIANGGORO L, WAHYONO, et al. Analysis of pedestrian collision risk using fuzzy inference model[C]. International Conference on Control, Automation and Systems, 2016: 696-700.

[7] LIU J, WANG G, DUAN L Y, et al. Skeleton-based human action recognition with global context-aware attention LSTM networks[J]. IEEE Transactions on Image Processing, 2018, 27(4): 1586-1599.

[8] RANGESH A, ESHED O, YUEN K, et al. Pedestrians and their phones - Detecting phone-based activities of pedestrians for autonomous vehicles[C]. 19th IEEE International Conference on Intelligent Transportation Systems, 2016: 1882-1887.

[9] 楊大偉, 郭超, 呂伊鵬, 等. 利用行人運(yùn)動(dòng)特性的TLD快速檢測(cè)算法[J]. 大連民族大學(xué)學(xué)報(bào). 2017, 19(1): 36-39.

[10] 魏天舒, 尹麗菊, 高明亮, 等. 一種自適應(yīng)融合顏色和梯度方向特征的粒子濾波跟蹤算法[J]. 山東理工大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(2): 17-21.

[11] ZHANG D M, FANG B, YANG W B, et al. Robust inverse perspective mapping based on vanishing point[C]. IEEE International Conference on Security, Pattern Analysis and Cybernetics, 2014: 458-463.