趙倩倩，宋煥生,2，徐曉娟，彭玲玲

(1.長(zhǎng)安大學(xué) 信息與工程學(xué)院，陜西 西安 710064；2.陜西省道路交通智能檢測(cè)與裝備工程技術(shù)研究中心，陜西 西安 710064)

低視角單目攝像機(jī)下3D空間的運(yùn)動(dòng)軌跡提取

趙倩倩1，宋煥生1,2，徐曉娟1，彭玲玲1

(1.長(zhǎng)安大學(xué) 信息與工程學(xué)院，陜西 西安 710064；2.陜西省道路交通智能檢測(cè)與裝備工程技術(shù)研究中心，陜西 西安 710064)

由于攝像機(jī)安裝高度和角度的限制，采集到的視頻圖像有時(shí)存在車(chē)輛之間的遮擋和尺度變化等問(wèn)題。提出一種低視角單目攝像機(jī)下3D空間的運(yùn)動(dòng)軌跡提取方法，利用垂足信息求得特征點(diǎn)的三維信息，再由高度區(qū)分穩(wěn)定特征點(diǎn)和不穩(wěn)定特征點(diǎn)。對(duì)穩(wěn)定特征點(diǎn)進(jìn)行跟蹤，根據(jù)三維信息形成空間軌跡。實(shí)驗(yàn)結(jié)果表明，該方法可以較好地解決車(chē)輛之間存在遮擋和尺度變化等情況下的軌跡分析問(wèn)題。

遮擋；特征點(diǎn)跟蹤；車(chē)輛跟蹤；3D軌跡提取

基于視頻的交通行為分析和安全預(yù)警由于安裝和維護(hù)方便，以及高效的檢測(cè)性能成為當(dāng)前研究的熱點(diǎn)。其中，車(chē)輛的運(yùn)動(dòng)軌跡是交通行為分析和理解的基礎(chǔ)[1]。因此，如何獲得真實(shí)反映目標(biāo)運(yùn)動(dòng)情況的軌跡是交通領(lǐng)域的研究重點(diǎn)。

在以往的研究中，獲取運(yùn)動(dòng)目標(biāo)軌跡的方法有多種，主要有減背景法[2]、基于車(chē)輛3D模型的跟蹤方法[3]、基于輪廓的跟蹤方法[4]以及基于特征點(diǎn)的跟蹤方法[5]。當(dāng)攝像機(jī)的安裝高度距離地面較高時(shí)(一般在15～100m之間)，車(chē)輛之間的遮擋和圖像尺度變化較小，車(chē)輛的高度信息可以忽略，用以上的這些跟蹤方法一般可以取得較好的跟蹤效果，跟蹤出的運(yùn)動(dòng)軌跡可以較真實(shí)地反映車(chē)輛的運(yùn)動(dòng)狀態(tài)。但是在實(shí)際應(yīng)用中，由于工程上的限制，攝像機(jī)一般安裝在離地面較低的位置(一般在6～9 m之間)，且通常在道路的兩側(cè)，此時(shí)，車(chē)輛高度造成的車(chē)輛之間的遮擋和尺度變化顯得尤為嚴(yán)重，在圖像平面對(duì)運(yùn)動(dòng)車(chē)輛進(jìn)行跟蹤得到的運(yùn)動(dòng)軌跡不能真實(shí)地反映車(chē)輛的運(yùn)動(dòng)狀態(tài)。鑒于此，在近幾年的研究中，空間軌跡由于可以較真實(shí)地反映車(chē)輛的運(yùn)動(dòng)狀態(tài)，應(yīng)用于低視角攝像機(jī)情況下的交通行為分析中。Beymer[6]等假設(shè)車(chē)輛的高度為0，將圖像上對(duì)特征點(diǎn)跟蹤形成的軌跡投影到路平面上，由于攝像機(jī)距離地面較高，因此圖像到路平面之間單一的映射關(guān)系就可以很好地解決擁堵、光線變化及陰影等復(fù)雜環(huán)境下車(chē)輛的跟蹤問(wèn)題，然而當(dāng)攝像機(jī)距離地面較低時(shí)，僅靠這樣單一的映射關(guān)系是不夠的。為此，本文提出一種低視角單目攝像機(jī)下3D空間的運(yùn)動(dòng)軌跡提取方法，即首先建立圖像坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，通過(guò)減背景法得到運(yùn)動(dòng)目標(biāo)的二值化圖像，然后在二值化圖像中對(duì)提取到的特征點(diǎn)向下作垂直投影，根據(jù)投影點(diǎn)的世界坐標(biāo)值求得特征點(diǎn)的世界坐標(biāo)值，再由高度信息進(jìn)行特征點(diǎn)的篩選。在圖像平面上對(duì)穩(wěn)定特征點(diǎn)進(jìn)行跟蹤，求得每一個(gè)跟蹤點(diǎn)對(duì)應(yīng)的三維信息，并對(duì)跟蹤點(diǎn)的高度進(jìn)行中值濾波。最后根據(jù)濾波后的高度信息對(duì)跟蹤點(diǎn)的三維信息進(jìn)行修正形成空間軌跡。

1 穩(wěn)定特征點(diǎn)的選取

由攝像機(jī)的成像模型可知，通過(guò)世界坐標(biāo)系中的點(diǎn)Q可求得其在圖像坐標(biāo)系中對(duì)應(yīng)的點(diǎn)q的坐標(biāo)，點(diǎn)Q與q之間的轉(zhuǎn)換關(guān)系可通過(guò)變換矩陣C得到，即

(1)

圖1 現(xiàn)實(shí)空間點(diǎn)與在圖像上的投影點(diǎn)之間的關(guān)系

本文采用改進(jìn)的Moravec特征點(diǎn)提取算法，利用灰度方差提取特征點(diǎn)，并在圖像平面上通過(guò)跟蹤模板設(shè)計(jì)和模板匹配、更新等操作進(jìn)行特征點(diǎn)的跟蹤[8]。

如圖2所示，圖2a為采集到的原始視頻圖像，點(diǎn)F與點(diǎn)B在同一條垂線上，圖2b中特征點(diǎn)f的垂足為點(diǎn)b，點(diǎn)b對(duì)應(yīng)到現(xiàn)實(shí)空間中是車(chē)輛的底部，其高度為0，根據(jù)圖像平面與現(xiàn)實(shí)空間的對(duì)應(yīng)關(guān)系求得點(diǎn)b對(duì)應(yīng)的現(xiàn)實(shí)空間點(diǎn)為點(diǎn)B，由點(diǎn)b、f和B的坐標(biāo)值即可求得特征點(diǎn)f對(duì)應(yīng)的現(xiàn)實(shí)空間點(diǎn)F的坐標(biāo)值。

圖2 由垂足信息求得特征點(diǎn)的三維坐標(biāo)

當(dāng)現(xiàn)實(shí)空間中的特征點(diǎn)與垂足原本就在一條垂線上時(shí)，得到的高度是正確的，但實(shí)際的情況是并不是所有的特征點(diǎn)都滿足這樣的條件，當(dāng)特征點(diǎn)分布在車(chē)輛的其他地方時(shí)，例如車(chē)窗或者車(chē)頂，由于誤差的存在，得到的高度并不是完全正確的。

如圖3所示，點(diǎn)F，F(xiàn)1和F2為選取的車(chē)身上的特征點(diǎn)，這3個(gè)特征點(diǎn)并不在同一條垂線上。F，F(xiàn)1和F2投影到圖像平面上的點(diǎn)為f，f1和f2，得到的垂足均為點(diǎn)b。點(diǎn)b對(duì)應(yīng)的現(xiàn)實(shí)空間上的點(diǎn)為B，由點(diǎn)B的高度值(為0)可求得B點(diǎn)的三維信息，結(jié)合平面圖像上點(diǎn)f，f1和f2的坐標(biāo)值求得它們對(duì)應(yīng)的現(xiàn)實(shí)空間上的點(diǎn)分別為F，eF1和eF2。由于F與B在一條垂線上，F(xiàn)1和F2與B不在一條垂線上，因此求得F的世界坐標(biāo)信息是正確的，F(xiàn)1和F2的世界坐標(biāo)信息是錯(cuò)誤的。

圖3 空間特征點(diǎn)與在圖像上的投影點(diǎn)之間的關(guān)系

誤差產(chǎn)生的原因主要是假設(shè)條件下的特征點(diǎn)都與車(chē)輛的前部在同一個(gè)垂面上，觀察可知此條件下計(jì)算得到的高度都不低于特征點(diǎn)的真實(shí)高度，且特征點(diǎn)的真實(shí)高度越高，計(jì)算誤差越大[9]。鑒于此，本文選取高度較低的特征點(diǎn)作為穩(wěn)定特征點(diǎn)，即穩(wěn)定特征點(diǎn)所對(duì)應(yīng)的高度信息誤差較小。穩(wěn)定特征點(diǎn)的判斷條件為

(2)

式中：Hth為高度信息的判斷閾值，將滿足此條件的特征點(diǎn)作為穩(wěn)定特征點(diǎn)進(jìn)行跟蹤，一般選取Hth為0.4W，W為車(chē)道寬度。

如圖4所示，第1行圓圈表示的點(diǎn)為采用改進(jìn)的Moravec特征點(diǎn)提取算法提取到的特征點(diǎn)，第2行圓圈表示的點(diǎn)為滿足穩(wěn)定特征點(diǎn)的判斷條件篩選出的穩(wěn)定特征點(diǎn)。

圖4 初始特征點(diǎn)與篩選出的穩(wěn)定特征點(diǎn)

2 空間軌跡的形成

對(duì)提取到的穩(wěn)定特征點(diǎn)在二維圖像平面上進(jìn)行跟蹤得到的跟蹤軌跡即圖像軌跡，在現(xiàn)實(shí)空間中畫(huà)檢測(cè)線作為空間軌跡形成的時(shí)間基準(zhǔn)，當(dāng)有軌跡(此處為圖像軌跡在世界坐標(biāo)系的表示即空間軌跡)通過(guò)檢測(cè)線時(shí)，對(duì)其高度信息進(jìn)行中值濾波，并對(duì)其歷史跟蹤點(diǎn)的世界坐標(biāo)信息進(jìn)行修正。

具體判斷步驟為：

2)在現(xiàn)實(shí)空間中，當(dāng)有空間軌跡經(jīng)過(guò)檢測(cè)線時(shí)，對(duì)該軌跡上的所有跟蹤點(diǎn)的高度信息進(jìn)行中值濾波求得該軌跡的高度zi；

4)重復(fù)步驟1)～3)對(duì)所有通過(guò)檢測(cè)線的空間軌跡的世界坐標(biāo)進(jìn)行修正，修正后的空間軌跡即為最后分析用的空間軌跡。

3 實(shí)驗(yàn)結(jié)果

圖5所示為兩個(gè)攝像機(jī)高度較高場(chǎng)景下的跟蹤效果圖。當(dāng)攝像機(jī)架設(shè)高度較高時(shí)，車(chē)輛的高度信息可以忽略，可以近似認(rèn)為車(chē)輛是貼近路面行駛的，因此跟蹤得到的軌跡線可以較好地反映車(chē)輛的運(yùn)動(dòng)信息。每個(gè)運(yùn)動(dòng)車(chē)輛的跟蹤軌跡被限制在了它所行駛的車(chē)道內(nèi)，不會(huì)出現(xiàn)由于車(chē)輛之間的相互遮擋而引起的軌跡誤判為相鄰車(chē)道的情況。

在本實(shí)驗(yàn)過(guò)程中，攝像機(jī)的安裝采用相對(duì)于運(yùn)動(dòng)車(chē)輛遠(yuǎn)離的方式，即運(yùn)動(dòng)車(chē)輛從進(jìn)入視野開(kāi)始是漸漸遠(yuǎn)離攝像機(jī)的安裝位置行駛的。如圖6所示為攝像機(jī)低視角下的場(chǎng)景圖，攝像機(jī)的安裝高度為8m，且安裝在道路的右側(cè)約3m處，實(shí)際交通場(chǎng)景中的車(chē)輛相互遮擋現(xiàn)象較為嚴(yán)重，檢測(cè)結(jié)果如圖6所示，對(duì)本文提出的低視角單目攝像機(jī)下3D空間的運(yùn)動(dòng)軌跡提取算法進(jìn)行驗(yàn)證。由于攝像機(jī)架設(shè)的高度較低，車(chē)輛之間的相互遮擋和尺度變化較為嚴(yán)重，運(yùn)動(dòng)車(chē)輛的跟蹤軌跡有時(shí)會(huì)被誤判為相鄰的車(chē)道。因此僅僅利用在二維圖像中跟蹤出的軌跡對(duì)車(chē)輛的運(yùn)動(dòng)行為進(jìn)行分析，很容易出現(xiàn)錯(cuò)誤的結(jié)果。圖6a中屬于車(chē)道3的跟蹤軌跡T1被誤判為屬于車(chē)道2；圖6b中屬于車(chē)道4的跟蹤軌跡T2被誤判為屬于車(chē)道3；圖6c中屬于車(chē)道3的跟蹤軌跡T3被誤判為屬于車(chē)道2。

圖5 高攝像機(jī)架設(shè)條件下的跟蹤效果圖

圖6 低攝像機(jī)架設(shè)條件下的跟蹤效果圖

利用本文所提出的算法對(duì)穩(wěn)定特征點(diǎn)進(jìn)行跟蹤，并將圖像軌跡轉(zhuǎn)換為空間軌跡，空間軌跡可以較好地解決車(chē)輛之間的遮擋引起的軌跡誤判。

如圖7所示，第1行實(shí)線為穩(wěn)定特征點(diǎn)跟蹤出的圖像軌跡，虛線為空間檢測(cè)線在二維圖像上的投影。第2行為利用本文算法得出的空間軌跡。

圖7 圖像軌跡與空間軌跡的對(duì)比圖

4 結(jié)論

由于攝像機(jī)安裝高度和角度的影響，本實(shí)驗(yàn)所展現(xiàn)的實(shí)際場(chǎng)景中，高度信息造成的遮擋和尺度變化使得傳統(tǒng)的利用圖像軌跡對(duì)車(chē)輛運(yùn)動(dòng)行為進(jìn)行分析的方法顯得力不從心，因此本文提出一種低視角單目攝像機(jī)下3D空間的運(yùn)動(dòng)軌跡提取方法。首先對(duì)穩(wěn)定特征點(diǎn)進(jìn)行跟蹤，在圖像平面上形成圖像軌跡，然后利用跟蹤點(diǎn)的高度信息，將二維圖像平面上跟蹤出的軌跡逆投影到三維世界坐標(biāo)系中，得到現(xiàn)實(shí)空間的軌跡，在現(xiàn)實(shí)空間中利用空間軌跡對(duì)車(chē)輛的運(yùn)動(dòng)行為進(jìn)行分析。實(shí)驗(yàn)結(jié)果表明，該方法針對(duì)攝像機(jī)安裝高度較低且安裝在路側(cè)所造成的車(chē)輛之間的遮擋和粘連能取得較好的跟蹤軌跡。此方法得到的空間軌跡可用于后續(xù)的車(chē)輛計(jì)數(shù)、交通行為分析及交通安全預(yù)警等方面。

[1]MIN J, KASTURI R.Activity recognition based on multiple motion trajectories[C]//Proc.17th International Conference on Pattern Recognition.[S.l.]：IEEE Press, 2004: 199-202.

[2]MAGEE D R.Tracking multiple vehicles using foreground, background and motion models[J].Image and vision Computing, 2004, 22(2): 143-155.

[3]HU W, XIAO X, XIE D, et al.Traffic accident prediction using 3-D model-based vehicle tracking[J].IEEE Trans.Vehicular Technology, 2004, 53(3): 677-694.

[4]查宇飛,張育,畢篤彥.基于區(qū)域活動(dòng)輪廓運(yùn)動(dòng)目標(biāo)跟蹤方法研究[J].中國(guó)圖象圖形學(xué)報(bào),2007, 11(12): 1844-1848.

[5]SAUNIER N, SAYED T.A feature-based tracking algorithm for vehicles in intersections[C]//Proc.The 3rd Canadian Conference on Computer and Robot Vision.[S.l.]：IEEE Press, 2006: 59.

[6]BEYMER D, MCLAUCHLAN P, COIFMAN B, et al.A real-time computer vision system for measuring traffic parameters[C]//Proc.1997IEEE Computer Society Conference on Computer Vision and Pattern Recognition.[S.l.]：IEEE Press, 1997: 495-501.

[7]李華, 吳福朝.一種新的線性攝像機(jī)自標(biāo)定方法[J].計(jì)算機(jī)學(xué)報(bào), 2000, 23(11): 1121-1129.

[8]SONG H, LU S, MA X, et al.Vehicle behavior analysis using target motion trajectories[J].IEEE Trans.Vehicular Technology，2013，63(8):3580-3591.

[9]KANHERE N K, BIRCHFIELD S T.Real-time incremental segmentation and tracking of vehicles at low camera angles using stable features[J].IEEE Trans.Intelligent Transportation Systems, 2008, 9(1): 148-160.

趙倩倩(1990— )，女，碩士生，主研視頻檢測(cè)技術(shù)、圖像處理；

宋煥生(1964— )，教授，博士生導(dǎo)師，主研智能交通、圖像處理及計(jì)算機(jī)視覺(jué)；

徐曉娟(1988— )，女，碩士生，主研視頻檢測(cè)技術(shù)；

彭玲玲(1990— )，女，碩士生，主研圖像處理。

責(zé)任編輯：薛 京

Trajectory Extraction in 3D Space from Low Camera

ZHAO Qianqian1, SONG Huansheng1,2, XU Xiaojuan1, PENG Lingling1

(1.DepartmentofInformationEngineering,Chang’anUniversity,Xi’an710064,China；2.ShaanxiEngineeringandTechniqueResearchCenterforRoadandTrafficDetection,Xi’an710064,China)

Due to the limitation of camera’s height and angle, occlusion and perspective between vehicles can be seen in video images.A method for trajectory extraction in 3D space using a camera that is low to the ground is presented.The 3D information of feature point is obtained by utilizing pedal information.The stable feature point and unstable feature point can be distinguished using height information.Trajectories in 3D space are formed by 3D information when the stable feature points are tracked.Experimental results show that occlusion and perspective between vehicles can be settled successfully with this method.

occlusion; feature tracking; vehicle tracking; 3D trajectory extraction

【本文獻(xiàn)信息】趙倩倩，宋煥金，徐曉娟，等.低視角單目攝像機(jī)下3D空間的運(yùn)動(dòng)軌跡提取[J].電視技術(shù),2015，39(3).

國(guó)家“863”計(jì)劃項(xiàng)目(2012AA112312)

TN911.73;TP317.4

A

10.16280/j.videoe.2015.03.029

2014-05-20