湯春明，肖文娜，董燕成，林祥清

天津工業(yè)大學(xué)電子與信息工程學(xué)院，天津300387

夜間城市交通監(jiān)控中各類車輛軌跡的完整提取

湯春明，肖文娜，董燕成，林祥清

天津工業(yè)大學(xué)電子與信息工程學(xué)院，天津300387

CNKI網(wǎng)絡(luò)出版：2017-04-19,http://kns.cnki.net/kcms/detail/11.2127.TP.20170419.1017.002.html

1 引言

城市交通監(jiān)控系統(tǒng)對人身及道路安全日趨重要[1]，越來越多的研究者致力于夜間車輛軌跡的完整提取，完成兩個相鄰交通監(jiān)控點的車輛信息的準(zhǔn)確傳遞，實現(xiàn)車輛監(jiān)控數(shù)據(jù)（如車牌、軌跡）聯(lián)網(wǎng)，以期為預(yù)判車輛行為和追究肇事者責(zé)任提供有力證據(jù)。夜間車輛最顯著穩(wěn)定的特征是車燈，要對提取出來的車燈光斑進行配對以達(dá)到識別車輛的目的。目前車燈配對主要存在三種方法：（1）幾何對稱法；（2）最小特征匹配代價法；（3）最大權(quán)重獨立集法。其中（1）法最普通，它根據(jù)面積、圓形度、質(zhì)心間距、質(zhì)心連線斜率、位置和形狀等幾何特征進行車燈配對，如文獻(xiàn)[2-7]。方法（2）中，如湯春明等人[8]利用最小特征匹配代價函數(shù)實現(xiàn)車燈配對，同時引入反饋修正機制對軌跡進行修正。（1）和（2）因未考慮監(jiān)控場景中各類車輛類型，使得在車輛密集、有遮擋的情況下容易造成不止一個配對或沒有相應(yīng)的配對，從而導(dǎo)致車輛軌跡提取結(jié)果不完整，特別是在跟蹤起始處，故該類算法的普適性和魯棒性不高。方法（3）中以Zou等人[9]提出最大權(quán)重獨立集的配對方法為代表，把所有前燈的兩兩組合情況都列出來之后，再用頂點堆積法，在幀內(nèi)用兩個約束條件，在幀間用速度相似性，實現(xiàn)合理配對，在后處理中又加入四燈一組的分析情況。該方法由于先入為主地考慮雙燈車的情況而對其他情況未作考慮，致使該方法在提取特殊車輛軌跡時不夠靈活。

車燈配對成功后，通過跟蹤車燈實現(xiàn)提取車輛軌跡的目的。目前存在的車燈跟蹤方法有：（1）利用卡爾曼濾波器[10-11]或者基于車燈位置、面積及形狀等特征的最近鄰匹配來實現(xiàn)車燈跟蹤；（2）利用車燈面積重疊法[3]完成幀間數(shù)據(jù)關(guān)聯(lián)；（3）在（1）和（2）的基礎(chǔ)上增加空間上下文信息[9]約束車燈匹配，提高數(shù)據(jù)關(guān)聯(lián)的準(zhǔn)確性。實際上，車輛由遠(yuǎn)及近駛?cè)霐z像機監(jiān)控范圍，透視影響及環(huán)境光強度的不斷變化，使車燈尺寸及外觀變化無規(guī)律，再加上目標(biāo)間相互遮擋，造成車燈很難被配對和跟蹤，從而導(dǎo)致車輛軌跡混亂或斷開。因此目前研究算法都忽略遠(yuǎn)景區(qū)域，通過劃定ROI區(qū)域縮小跟蹤長度。然而遠(yuǎn)景處車輛信息對于交通監(jiān)控數(shù)據(jù)的聯(lián)網(wǎng)至關(guān)重要，它是把所有監(jiān)控點數(shù)據(jù)連接起來的前提。

針對以上問題，本文提出一種結(jié)合車輛類型與軌跡反饋修正的跟蹤系統(tǒng)，以實現(xiàn)相鄰兩個監(jiān)控點間的車輛軌跡的完整提取，包括車燈提取、車燈篩選、軌跡反饋修正、車燈配對及車輛跟蹤5個模塊，如圖1所示。提取車燈后用面積重疊法完成車燈匹配，再用穩(wěn)定性判斷篩選車燈，獲得車燈初始軌跡后加入軌跡反饋修正誤匹配；接著按照車型配對車燈；最后對車輛跟蹤再次應(yīng)用軌跡修正。

圖1 系統(tǒng)框圖

2 車燈提取

2.1 車燈復(fù)原

首先用先前提出的大氣反射-散射模型[12]復(fù)原車燈光斑。該模型在有效抑制交通場景中各種環(huán)境光的同時，能準(zhǔn)確檢測遠(yuǎn)、中和近景處車燈，這是完整提取車輛軌跡的基礎(chǔ)。

2.2 坐標(biāo)變換

通過建立圖像坐標(biāo)系與路面坐標(biāo)系之間的變換關(guān)系，能夠計算出車燈在實際路面坐標(biāo)系中的位置，進而可以計算出車輛的真實寬度、位移和速度等穩(wěn)定特征，以便減小透視及光干擾對車燈配對的影響。常用的單視圖測量方法是通過圖像平面Γ1與空間場景平面Γ2之間的單應(yīng)性矩陣[13]實現(xiàn)對目標(biāo)的真實幾何量的測量，其中單應(yīng)性矩陣H：3×3。Γ2中任一點Mi(Xi,Yi,1)，和其在Γ1中對應(yīng)的點mi(xi,yi,1)，滿足式（1）、（2）：

消去λ得到關(guān)于hij的兩個線性方程，如式（3）：

在采集視頻過程中，為了避免攝像機的抖動帶來誤差，將攝像機固定架設(shè)于天橋上并保證拍攝角度與水平方向呈30°。如圖2所示，以世界坐標(biāo)系中的路面Γ2為參考平面，取圖像平面Γ1中機動車道的兩條邊界線上的a、b、c、d共4個端點的坐標(biāo)以及Γ2中相應(yīng)的4個點坐標(biāo)作為基準(zhǔn)點，其中線段ab是上一個紅綠燈處的禁行線，線段cd是當(dāng)前紅綠燈的禁行線，這4條線段所圍區(qū)域內(nèi)的所有駛過車輛是要跟蹤的目標(biāo)。把4對點坐標(biāo)代入式（3）可求出H，通過H可求出圖像中任一像素點對應(yīng)的路面坐標(biāo)。

圖2 視頻場景

2.3 車燈篩選

車燈復(fù)原結(jié)果還需要進一步篩選，以刪除噪聲。透視使車燈及噪聲由遠(yuǎn)及近逐漸增大，通過分析圖像中目標(biāo)的幾何特征、顏色及亮度[14]，如圖2所示，將視頻場景分遠(yuǎn)、中、近3部分區(qū)域進行篩選。

針對各部分存在的典型噪聲，采用對應(yīng)的車燈篩選方法，具體過程如下：

（1）遠(yuǎn)景：先用面積法刪除大、小噪聲，再用改進的分水嶺算法[15]分割粘連前燈對。

（2）中景：先用面積法刪除小噪聲，再用改進的分水嶺算法[15]分割粘連的車燈與車身反射區(qū)，最后用長寬比刪除狹長地面反射區(qū)。

（3）近景：先用面積法刪除小噪聲，再用RGB變異度[16]法刪除近似車燈的地面反射區(qū)。

每幀車燈光斑的面積、長寬比及RGB變異度[16]特征的最佳篩選閾值是用迭代法求出。通過分區(qū)域篩選，全部車燈被保留，但仍有少量存在了一段時長的高亮噪聲，需利用幀間信息進一步刪除。

3 車燈跟蹤與配對

3.1 車燈跟蹤

由運動目標(biāo)的空間連續(xù)性可知，相鄰兩幀目標(biāo)特征最為相似。視頻的幀間隔為0.04 s，在相鄰兩幀中同一車燈光斑會有部分重疊，以此特性關(guān)聯(lián)前后幀每個車燈的ID號，得到車燈的初始軌跡。由于光斑匹配過程中存在粘連、遮擋等干擾，導(dǎo)致出現(xiàn)目標(biāo)軌跡混亂或斷開的情況，需要利用平均速度修正誤匹配（為了減小數(shù)據(jù)誤差，把穩(wěn)定跟蹤連續(xù)5幀的車燈速度均值作為它在某一幀的瞬時速度，把整個跟蹤過程的車燈速度均值作為它的平均速度）。軌跡反饋修正具體流程如圖3所示。

圖3 軌跡反饋修正流程

（1）驗證數(shù)據(jù)關(guān)聯(lián)正確性

利用雙向位置驗證[4]來保證前后幀對應(yīng)車燈數(shù)據(jù)關(guān)聯(lián)正確。如對第m幀中某ID車燈依次向前、向后找t(t≤10)幀，利用式（4）計算車輛瞬時速度。拍攝城市交通場景的道路限速為80 km/h，當(dāng)V=80 km/h，t=10幀，由式（4）推出相鄰10幀的車燈質(zhì)心距離d=即若質(zhì)心間距滿足≤10 m，即城市內(nèi)以最大時速80 km/h行駛，在相鄰10幀內(nèi)，行駛距離不會超過10 m。以此條件判斷是否成功匹配。

（2）擬合不完整軌跡

當(dāng)車速很快或有長時間遮擋時，如果僅用面積重疊法易造成數(shù)據(jù)關(guān)聯(lián)失敗，導(dǎo)致目標(biāo)軌跡不完整，最終丟失目標(biāo)。因此在面積重疊法基礎(chǔ)上，再利用軌跡空間位置和運動相似度來擬合缺失的軌跡。

如圖4所示，ab、cd分別是利用面積重疊法得到的兩條軌跡。如果坐標(biāo)(xb,yb)、(xc,yc)滿足橫、縱坐標(biāo)之差都小于5個像素距離，則ab、cd應(yīng)該是同一目標(biāo)的兩段軌跡，把兩個ID號改成一個；然后統(tǒng)計軌跡中連續(xù)為零的幀數(shù)，若小于10幀則認(rèn)為是由漏匹配造成，再根據(jù)平均速度的相似性完成不連續(xù)軌跡的擬合，如圖4中虛線段bc。

圖4 擬合不完整軌跡

（3）判斷非車燈軌跡

車燈穩(wěn)定光斑在跟蹤過程中具有運動連續(xù)性和形態(tài)穩(wěn)定性，路面和車身反射區(qū)域視為非穩(wěn)定光斑，它們?nèi)菀滓疖嚐翦e誤配對。根據(jù)穩(wěn)定性判斷篩選車燈，即先計算每條軌跡li持續(xù)的時間T(li)，若未達(dá)到設(shè)定閾值即不滿足式（5），則認(rèn)為是非車燈軌跡，則不進行配對處理。

3.2 融合時空特征配對車燈

車燈提取之后，基于時空特征相似度實現(xiàn)車燈配對。交通場景中存在的各類車輛是導(dǎo)致車燈錯誤配對和軌跡混亂的主要原因。

為了提取長軌跡，根據(jù)網(wǎng)上公布的各類車型的車寬把車輛分為普通車、小車、中車及大車4種類型，其中普通車是指常見的轎車類型；按照車燈數(shù)目分為獨燈車、雙燈車及多燈車，然后跟據(jù)車輛類別分別進行處理。首先選取車燈對的連線斜率θ、質(zhì)心歐式距離d、速度差Δv以及車寬w作為配對特征，完成普通車的車燈配對；若剩余的未配對車燈滿足軌跡長度大于遠(yuǎn)、中和近景區(qū)域路面長度的2/3，則按照車寬及車燈數(shù)目進行特殊車輛的分類處理。然后對提取的車輛軌跡再次應(yīng)用軌跡修正法。處理流程如圖5所示。

圖5 車輛定位跟蹤流程

表1 車燈跟蹤結(jié)果對比

分類處理交通場景中的各類車輛使得車燈在整個場景中能夠正確配對，避免了在車輛密集、有遮擋的情況下容易造成不止一個配對或沒有相應(yīng)的配對的情況，保證完整提取車輛的長軌跡。同時，保留了獨燈車的運動軌跡并保證了一車一軌跡。

4 測試結(jié)果

共測試了12段視頻，分別有3 000、1 240、1 325、1 479、415、716、840、454、512、856、933、617幀。視頻中包含了城市交通中常見的各類車型，在輕薄霧霾天氣下，用索尼HDR-550d攝像機在夜模式下拍攝，幀率為25 f/s。

4.1 跟蹤結(jié)果統(tǒng)計

表1是本文的跟蹤方法與文獻(xiàn)[3，9]的準(zhǔn)確率對比。本文方法的車燈匹配率最高為98.01%，比文獻(xiàn)[3]高出11.33%，比文獻(xiàn)[9]的最高匹配率94.8%高出3.21%。特別如圖6在車輛變道情況下，該方法表現(xiàn)出健壯的數(shù)據(jù)關(guān)聯(lián)性。圖中紅線用于標(biāo)注遠(yuǎn)景處紅綠燈路口，數(shù)字表示車燈ID，用不同顏色表示不同車燈的軌跡。

圖6 變道車輛的跟蹤

4.2 車輛長軌跡提取結(jié)果

按照車寬，處理了含普通車、小轎車、貨車及公交車的視頻序列；按照車燈數(shù)目，處理了含摩托車、雙前燈中一燈出現(xiàn)故障車、雙前燈功率不同車、四前燈車的視頻序列。圖7是視頻中跟蹤車輛400幀的結(jié)果，左圖中數(shù)字表示車燈ID，右圖中如V(2)=51 km/h表示ID為2的車輛時速為51 km。

圖7 車輛跟蹤結(jié)果

表2 普通車輛跟蹤幀數(shù)對比

圖8 車輛跟蹤結(jié)果對比

4.2.1 普通車長軌跡提取結(jié)果

對于普通車輛，如圖8（a）、（b）是文獻(xiàn)[4]中最后提取出的軌跡，紅框標(biāo)注的遠(yuǎn)景區(qū)域內(nèi)存在嚴(yán)重的多車燈誤配情況，圖8（c）、（d）是文獻(xiàn)[9]中最后提取出的軌跡。表2是針對圖8中車輛跟蹤幀數(shù)的對比。文獻(xiàn)[4，9]的跟蹤幀數(shù)最多為126幀、200幀；本文的方法跟蹤幀數(shù)最多可達(dá)到626幀。由于現(xiàn)存算法中文獻(xiàn)[9]的夜間車輛跟蹤準(zhǔn)確率最高，所以僅與它進行了對比：本文的方法在12段視頻中的平均準(zhǔn)確率為97.3%，比文獻(xiàn)[9]的車輛平均跟蹤準(zhǔn)確率87.3%高出了10%。由對比結(jié)果可知，相比現(xiàn)存方法，車輛分類處理使本文的算法表現(xiàn)出更良好的跟蹤性能。

4.2.2 特殊車輛長軌跡提取結(jié)果

完成對普通車輛的處理后，按照類別要提取特殊車輛的長軌跡，表3是對特殊車輛跟蹤的數(shù)據(jù)統(tǒng)計結(jié)果。其中，小轎車兩燈跟蹤幀數(shù)相差142幀，貨車跟蹤率僅為89.25%的主要原因是：紅綠燈路口長時間停車導(dǎo)致大量車燈光斑與噪聲相互粘連，從中極難分割出單個車燈光斑。

表3 特殊車輛跟蹤數(shù)據(jù)統(tǒng)計

5 結(jié)束語

根據(jù)大氣反射-散射模型復(fù)原車燈光斑，在遠(yuǎn)、中、近景三部分采用不同的方法篩選車燈，然后用面積重疊法完成數(shù)據(jù)關(guān)聯(lián)，獲得車燈初始軌跡，再加入軌跡反饋修正誤匹配，按車型配對車燈；最后對車輛跟蹤結(jié)果再次應(yīng)用軌跡修正。驗證結(jié)果表明，該法能夠?qū)崿F(xiàn)對夜間城市交通監(jiān)控中各類車輛完整軌跡的準(zhǔn)確提取。本文車燈錯誤匹配率比文獻(xiàn)[3]降低11.33%，比文獻(xiàn)[9]降低3.21%，車輛跟蹤準(zhǔn)確率比文獻(xiàn)[9]高出10%。

[1] Kuang Huilin，Chen Long，Gu Feng，et al.Combining region-of-interest extraction and image enhancement for nighttime vehicle detection[J].Intelligent Systems IEEE，2016，31（3）.

[2] Hajimolahoseini H，Amirfattahi R，Soltanian-Zadeh H.Robust vehicle tracking algorithm for nighttime videos captured by fixed cameras in highly reflective environments[J].Iet Computer Vision，2014，8（6）：535-544.

[3] Chen Yenlin，Wu Bingfei，Huang Haoyu，et al.A real-time vision system for nighttime vehicle detection and traffic surveillance[J].IEEE Transactions on Industrial Electronics，2011，58（5）：2030-2044.

[4] Zhang Wei，Wang Guanghui，You Xinge，et al.Tracking and pairing vehicle headlight in night scenes[J].IEEE Transactions on Intelligent Transportation Systems，2012，13（1）：140-153.

[5] Tang Chunming，Hussain A.Robust vehicle surveillance in night traffic videos using an azimuthally blur technique[J].IEEE Transactions on Vehicular Technology，2015，64（10）：4432-4440.

[6] Cheng H Y，Hsu S H.Intelligent highway traffic surveillance with self-diagnosis abilities[J].IEEE Transactions on Intelligent Transportation Systems，2011，12（4）：1462-1472.

[7] Salvi G.An automated nighttime vehicle counting and detection system for traffic surveillance[C]//International Conference on Computational Science and Computational Intelligence，Las Vegas，NV，2014：131-136.

[8] 湯春明，聶美玲，丁騰飛，等.基于最小特征匹配代價的夜間車輛檢測和追蹤[J].計算機應(yīng)用與軟件，2015，32（4）：292-296.

[9] Zou Qi，Ling Haibin，Luo Siwei，et al.Robust nighttime vehicle detection by tracking and grouping headlights[J].IEEE Transactions on Intelligent Transportation Systems，2015，16（5）：2838-2849.

[10] O’malley R，Jones E，Glavin M.Rear-lamp vehicle detection and tracking in low-exposure color video for night conditions[J].IEEE Transactions on Intelligent Transportation Systems，2010，11（2）：453-462.

[11] Tian B，Li Y，Li B，et al.Rear-view vehicle detection and tracking by combining multiple parts for complex urbansurveillance[J].IEEETransactionsonIntelligent Transportation Systems，2014，15（2）：597-606.

[12] 湯春明，曹志升，林祥清，等.基于大氣反射-散射模型的復(fù)原圖像中交通視頻車燈檢測[J].自動化學(xué)報，2016，42（4）：605-616.

[13] Hartley R，Zisserman A.Multiple view geometry in computer vision[M].2nd ed.UK：Cambridge University Press，2004：32-36.

[14] Zhu Qingsong，Mai Jiaming，Shao Ling.A fast single image haze removal algorithm using color attenuation prior[J].IEEE Transactions on Image Processing，2015，11（24）：3522-3532.

[15] 胡珂立，谷宇章，王營冠，等.基于分水嶺分割和尺度不變特征點的多目標(biāo)全自主跟蹤算法[J].電子與信息學(xué)報，2012，34（8）：1827-1832.

[16] 馬永明，李鵬飛，王彬.一種新的夜間交通流量檢測方法[J].西北師范大學(xué)學(xué)報：自然科學(xué)版，2015，51（3）：43-49.

TANG Chunming,XIAO Wenna,DONG Yancheng,et al.Complete extraction of trajectories of different vehicles in nighttime city traffic surveillance.Computer Engineering andApplications,2018,54（6）：205-209.

TANG Chunming,XIAO Wenna,DONG Yancheng,LIN Xiangqing

School of Electronical and Information Engineering,Tianjin Polytechnic University,Tianjin 300387,China

The presented tracking system combines the vehicle’s type and trajectory feedback correction in order to obtain the complete trajectory in nighttime traffic surveillance.After filtering the restored headlight blobs in the distant,middle and close regions separately,the initial trajectories of headlights are obtained by area overlapping and trajectory feedback is then used for correction mismatching.Vehicles are classified according to the actual vehicle’s width which is calculated by homography matrix.Based on the temporal and spatial similarity,headlights are paired.The obtained trajectories of vehicles are finally corrected and optimized.The complete extraction of vehicles’trajectories between the two adjacent monitoring points are achieved.Compared with the other similar algorithms,the number of frames that vehicles are tracked is increased by 500 frames,headlight matching rate is increased by 11.33%and vehicle tracking rate is increased by 10%.

complete trajectory extraction;vehicles classification;feedback correction

針對夜間城市交通視頻中各類車輛軌跡的完整提取，提出結(jié)合車輛類型與軌跡反饋修正的跟蹤系統(tǒng)。在視頻遠(yuǎn)中近區(qū)域篩選復(fù)原車燈光斑后，用面積重疊法獲得車燈初始軌跡，再應(yīng)用反饋糾正誤匹配；通過單應(yīng)性矩陣推算實際車寬，并依此給車輛分類后，按照時空相似度完成車燈配對；最后修正、優(yōu)化車輛跟蹤結(jié)果，實現(xiàn)相鄰兩個監(jiān)控點間車輛軌跡的完整提取。與同類算法相比，車輛跟蹤幀數(shù)增加了500幀，車燈匹配率提高了11.33%，車輛跟蹤率提高了10%。

軌跡完整提取；車輛分類；反饋修正

2016-09-27

2017-01-20

1002-8331（2018）06-0205-05

A

TP391.41

10.3778/j.issn.1002-8331.1609-0384

天津市第三批千人計劃項目（No.62014511）；天津工業(yè)大學(xué)引進教師科研啟動項目（No.030367）。

湯春明（1971—），女，博士，教授，研究領(lǐng)域為圖像處理與模式識別，視頻中目標(biāo)識別與追蹤；肖文娜（1990—），女，碩士研究生，研究領(lǐng)域為圖像處理與模式識別，視頻中目標(biāo)識別與追蹤，E-mail：937884976@qq.com；董燕成（1992—），男，碩士研究生，研究領(lǐng)域為圖像處理，目標(biāo)識別與追蹤；林祥清（1990—），男，碩士研究生，研究領(lǐng)域為目標(biāo)識別與追蹤。

◎工程與應(yīng)用◎