羅亦樂，梁艷平，王 妍

北京交通大學(xué) 城市交通復(fù)雜系統(tǒng)理論與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100089

1 引言

交通信息是現(xiàn)代交通管理與控制的基礎(chǔ)[1]，是智能交通系統(tǒng)中最基礎(chǔ)的子系統(tǒng)。交通信息的采集有多種方法，比如線圈檢測(cè)[2]、微波雷達(dá)[3]、激光雷達(dá)[4]、超聲波[5]、視頻檢測(cè)等方法，其中基于視頻的交通信息采集方法是當(dāng)前的前沿研究方向之一，與傳統(tǒng)的交通檢測(cè)方法相比，它具有節(jié)約安裝維護(hù)成本，無需破壞路面和影響交通，且能夠?qū)崿F(xiàn)多車道監(jiān)控和多種交通流參數(shù)檢測(cè)等優(yōu)點(diǎn)[6-7]。

當(dāng)前大范圍的視頻車輛信息研究主要集中在飛艇、航拍視頻、無人機(jī)視頻等方面，學(xué)者們提出了一些車輛檢測(cè)和交通流參數(shù)提取的方法[8-13]。如王文龍等[8]針對(duì)以飛艇為載體的低空遙感平臺(tái)獲得的交通視頻數(shù)據(jù)，提出了一種以道路特征為約束，基于車輛形狀特征模糊分類的車輛檢測(cè)方法。Apeltauer等[9]針對(duì)交叉口區(qū)域，利用模板訓(xùn)練和匹配的方法實(shí)現(xiàn)了車輛檢測(cè)和軌道自動(dòng)跟蹤，該方法需要預(yù)先進(jìn)行車輛配準(zhǔn)。但基于模板匹配的方法的實(shí)現(xiàn)需要提取大量車輛特征信息，并且匹配需要大量的計(jì)算量，難以提高檢測(cè)效率。Ke R等[10]提出了一種基于無人機(jī)視頻的雙向交通流的車輛檢測(cè)和速度提取的方法，該方法具有較高的可靠性，并且實(shí)現(xiàn)了實(shí)時(shí)運(yùn)行。Cao等[11]提出了一種基于KLT特征和粒子濾波的視頻車輛跟蹤方法，該方法具有較高的跟蹤精度，但沒有實(shí)現(xiàn)自動(dòng)檢測(cè)。Hickman等[12]則提出了通過航拍視頻進(jìn)行車速、旅行時(shí)間、密度、排隊(duì)延遲交通參數(shù)估計(jì)的方法，并且取得了很高的精度，但該方法除攝像機(jī)外還借助了GPS和其他大量數(shù)據(jù)資源的支持，增加了檢測(cè)成本和處理時(shí)間。Kopsiaftis等[13]基于高分辨率衛(wèi)星視頻，運(yùn)用背景差分法對(duì)道路車輛進(jìn)行檢測(cè)和計(jì)數(shù)，并估計(jì)了道路車輛密度，但沒能提取出車速。

隨著商業(yè)遙感技術(shù)的不斷發(fā)展，國(guó)內(nèi)外已有多家公司（如Urthecast、Google Skybox、Blacksky Global等）能夠提供抽樣精度可達(dá)1 m的高分辨率高清衛(wèi)星視頻，基于衛(wèi)星視頻的交通信息檢測(cè)已經(jīng)成為可能。衛(wèi)星視頻與傳統(tǒng)的遙感影像相比，能夠?qū)\(yùn)動(dòng)目標(biāo)進(jìn)行分析，進(jìn)而獲得運(yùn)動(dòng)目標(biāo)的速度和方向，擁有著廣闊的應(yīng)用前景[14]，但目前衛(wèi)星視頻還存在著分辨率不足，環(huán)境背景復(fù)雜，運(yùn)動(dòng)目標(biāo)數(shù)量較多等問題[7]，這使得交通信息的提取需要解決一些新問題，尤其是在衛(wèi)星視頻中，運(yùn)動(dòng)的車輛目標(biāo)僅顯示為一個(gè)或幾個(gè)像素點(diǎn)，采用傳統(tǒng)的方法很難檢測(cè)識(shí)別。本文針對(duì)衛(wèi)星視頻中車輛的特點(diǎn)，利用Shi-Tomasi角點(diǎn)檢測(cè)方法和LK光流法，實(shí)現(xiàn)了基于衛(wèi)星視頻的交通流信息的采集。

2 相關(guān)的思路及算法

2.1 LK光流法簡(jiǎn)述

Lucas-Kanade光流算法是一種常見的基于兩幀差分的光流估計(jì)算法，它基于以下三個(gè)假設(shè)[15]：

（1）亮度恒定；

（2）時(shí)間連續(xù)或者運(yùn)動(dòng)相對(duì)于時(shí)間來說比較緩慢；

（3）空間一致性，同一場(chǎng)景中同一表面上的鄰近點(diǎn)運(yùn)動(dòng)情況相似。

由假設(shè)1，可以得到圖像約束方程：

由假設(shè)2，通過泰勒公式，可以得到：

當(dāng)移動(dòng)足夠小的時(shí)候，可以忽略二階和更高階的項(xiàng)。結(jié)合公式（1），可以得到：

令上式可得：

由于LK光流法假設(shè)在一個(gè)大小為n×n的小區(qū)域范圍內(nèi)像素點(diǎn)的運(yùn)動(dòng)是一致的，則可以得到下面的一組方程：

可表示為Av=-b，利用最小二乘法，可以求得：

其中，I(x,y,t)表示一個(gè)像素點(diǎn)(x,y)在t時(shí)刻的亮度值，A為系數(shù)矩陣，b為常數(shù)項(xiàng)，V=(u,v)T表示通過光流法估計(jì)出來的像素在x和y方向的運(yùn)動(dòng)分量，通過LK光流法可以得到角點(diǎn)的光流矢量，實(shí)現(xiàn)角點(diǎn)的跟蹤。

2.2 交通流參數(shù)提取方法

根據(jù)LK光流法的原理，本文基于衛(wèi)星視頻的特點(diǎn)，為提高交通流參數(shù)提取的精度，在角點(diǎn)檢測(cè)、車輛計(jì)數(shù)及車速提取方面采用了相應(yīng)的策略和方法。

2.2.1 角點(diǎn)檢測(cè)策略

角點(diǎn)是進(jìn)行車輛計(jì)數(shù)、跟蹤的前提，因此在本文的方法中角點(diǎn)的準(zhǔn)確檢測(cè)對(duì)于算法的運(yùn)行至關(guān)重要。為了提高角點(diǎn)檢測(cè)的準(zhǔn)確性，首先對(duì)衛(wèi)星視頻進(jìn)行預(yù)處理，通過預(yù)處理將車輛目標(biāo)所在區(qū)域的視頻提取出來，即只在道路上進(jìn)行角點(diǎn)檢測(cè)，減少大范圍的衛(wèi)星視頻背景對(duì)角點(diǎn)檢測(cè)的干擾。由于范圍被限定在了一條道路上，無效角點(diǎn)的數(shù)量將大大減少，并提高算法的效率。

2.2.2 車輛計(jì)數(shù)方法

在抽樣分辨率為1 m的高清衛(wèi)星視頻中，經(jīng)過視頻預(yù)處理，檢測(cè)出的角點(diǎn)基本都集中在道路區(qū)域。為了保證車輛與角點(diǎn)的一一對(duì)應(yīng)，對(duì)檢測(cè)出的角點(diǎn)可進(jìn)行如下處理：（1）靜止不動(dòng)的物體在連續(xù)兩幀視頻中的角點(diǎn)位置不變，可通過這一特性來排除這些非運(yùn)動(dòng)目標(biāo)角點(diǎn)。（2）對(duì)于檢測(cè)出的集中在運(yùn)動(dòng)車輛上的角點(diǎn)，可以通過設(shè)置一個(gè)兩角點(diǎn)之間的最小距離的閾值算法，排除掉距離過于接近的角點(diǎn)。（3）由于在短暫的衛(wèi)星視頻中車輛數(shù)目是隨時(shí)可能發(fā)生變化的，即車輛在視頻中的出現(xiàn)和消失，針對(duì)這種情況，角點(diǎn)檢測(cè)必須實(shí)時(shí)更新，即每一幀都必須重新進(jìn)行一次角點(diǎn)檢測(cè)。通過以上策略來保證車輛與角點(diǎn)的對(duì)應(yīng)關(guān)系，并進(jìn)而利用角點(diǎn)來對(duì)車輛進(jìn)行分析。

2.2.3 交通流參數(shù)提取

對(duì)任意兩個(gè)相鄰的視頻幀而言，在實(shí)現(xiàn)對(duì)上一視頻幀角點(diǎn)的準(zhǔn)確檢測(cè)后，利用Lucas-Kanade光流法得到上一視頻幀角點(diǎn)的光流矢量，即角點(diǎn)在下一幀圖像中的位置，實(shí)現(xiàn)角點(diǎn)跟蹤，由于角點(diǎn)與車輛是一一對(duì)應(yīng)的，進(jìn)而可以得到車輛在兩視頻幀中的位置信息，實(shí)現(xiàn)兩幀之間車輛的匹配，并進(jìn)而可以利用位置信息進(jìn)行相關(guān)交通參數(shù)的計(jì)算。

假設(shè)實(shí)驗(yàn)視頻為一個(gè)幀率為 f的道路衛(wèi)星影像，取一對(duì)連續(xù)幀之間某一個(gè)角點(diǎn)i的初始坐標(biāo)為(xi,yi)，利用光流法得到的角點(diǎn)的新位置的坐標(biāo)為(x′i,y′i)，則可定義新位置的角點(diǎn)的X軸坐標(biāo)x′i與初始坐標(biāo)的X坐標(biāo) xi的差值Di：

利用角點(diǎn)之間的坐標(biāo)差Di，可以判斷角點(diǎn)對(duì)應(yīng)的車輛的運(yùn)動(dòng)方向，這里定義，當(dāng)Di＜0時(shí)，認(rèn)為車輛下行，當(dāng) Di＞0時(shí)，認(rèn)為車輛上行。 則通過公式（8）～（13）計(jì)算衛(wèi)星視頻中車輛目標(biāo)的雙向平均車速。

利用兩點(diǎn)之間的坐標(biāo)，可得到兩點(diǎn)之間的像素距離di。

角點(diǎn)移動(dòng)的實(shí)際距離dt：

對(duì)于一個(gè)幀率為 f的衛(wèi)星視頻，可知連續(xù)兩幀之間的時(shí)間差t：

從而可得到角點(diǎn)i的實(shí)際速度Vi：

可以得到兩幀間上行方向所有車輛的平均速度為：

其中nU為連續(xù)兩幀中判定屬于上行車輛的數(shù)量-，同理，可以得到兩幀間下行方向所有車輛的平均速度VD為：

其中，(xi,yi)和 (x′i,y′i)為角點(diǎn)在視頻幀中的坐標(biāo)，單位是像素（pixel）；di為角點(diǎn)在視頻圖像中移動(dòng)的距離，單位是像素（pixel）；dt為角點(diǎn)移動(dòng)的實(shí)際距離，單位為m；ds為視頻圖像中實(shí)際距離與像素距離的比值；t為連續(xù)兩幀之間的時(shí)間差，單位為s；Vi為i角點(diǎn)的實(shí)際速度，單位為m/s；為兩幀間上行方向所有車輛的平均速度，單位為m/s； 為兩幀間下行方向所有車輛的平均速度，單位為m/s。

3 實(shí)驗(yàn)及結(jié)果分析

本實(shí)驗(yàn)中所使用的算法在C++和OpenCV3.0上實(shí)現(xiàn)，所測(cè)試的衛(wèi)星數(shù)據(jù)來源于溫哥華UrtheCast公司在網(wǎng)上公開的于2015年6月17日通過Iris傳感器獲得的超高清波士頓衛(wèi)星視頻（如圖1所示），該視頻影像的尺寸為1 920×1 080，抽樣分辨率為1 m，幀率為30幀/s，本實(shí)驗(yàn)從視頻源中選取了連續(xù)的200幀進(jìn)行實(shí)驗(yàn)（大致從視頻的第4 s開始），經(jīng)過預(yù)處理之后，影像的尺寸為267×42（圖中紅框所示），其余參數(shù)保持不變。

圖1 實(shí)驗(yàn)數(shù)據(jù)

3.1 角點(diǎn)檢測(cè)結(jié)果

運(yùn)用本文中所使用的算法，對(duì)視頻幀進(jìn)行角點(diǎn)檢測(cè)，圖2為待檢測(cè)的視頻幀，圖3為角點(diǎn)檢測(cè)結(jié)果，可以發(fā)現(xiàn)，由于車輛在視頻幀中所占的像素較少，而且車輛對(duì)應(yīng)的像素點(diǎn)相比較于周圍的道路比較顯著，因此借助算法來實(shí)現(xiàn)角點(diǎn)與車輛的一一對(duì)應(yīng)是可行的，即通過角點(diǎn)的信息來進(jìn)行對(duì)應(yīng)車輛信息的提取是可以實(shí)現(xiàn)的。

圖2 待檢測(cè)的視頻幀

圖3 檢測(cè)后的視頻幀

運(yùn)用本文中的算法，得到車輛的漏檢率、正確率如表1所示，由表1可以知道運(yùn)用本文中的算法得到的上行方向和下行方向車輛檢測(cè)準(zhǔn)確率平均都在90%左右，漏檢率在10%左右，算法得到的檢測(cè)結(jié)果是比較可靠的。

表1 車輛檢測(cè)結(jié)果 %

通過進(jìn)一步分析，得到本文算法在識(shí)別過程中出現(xiàn)誤差的原因主要有兩點(diǎn)：

（1）視頻本身的原因。通過觀看原視頻可知，存在少數(shù)車輛的顏色與路面顏色比較接近，使得目標(biāo)角點(diǎn)由于與周圍對(duì)比不明顯而無法被Shi-Tomasi角點(diǎn)檢測(cè)方法檢測(cè)出來。

表2 速度計(jì)算結(jié)果

（2）由于算法的原因。由于在算法中設(shè)定了角點(diǎn)之間的最小距離，但角點(diǎn)的距離過小的時(shí)候其中的一個(gè)角點(diǎn)會(huì)被舍棄，這使得當(dāng)兩輛車的距離過小的時(shí)候，可能只有一輛車被檢測(cè)到。

3.2 交通流參數(shù)提取結(jié)果

利用OpenCV得到的角點(diǎn)坐標(biāo)信息，可以近似計(jì)算每一幀中角點(diǎn)的速度，進(jìn)而用角點(diǎn)的速度來計(jì)算車輛的速度。算法選取15幀即0.5 s為一個(gè)計(jì)算區(qū)間，在該時(shí)間區(qū)間內(nèi)可近似認(rèn)為車輛勻速。同時(shí)為便于比較，選取每15幀車輛運(yùn)行的平均速度（目視判別并計(jì)算）作為衛(wèi)星視頻中車輛運(yùn)動(dòng)的近似真值。

對(duì)于交通流來說，一輛車的速度并不能代表整個(gè)交通流的速度，為了測(cè)量算法的精度，分別采用兩幀間上行方向所有車輛的平均速度和兩幀間下行方向所有車輛的平均速度作為該時(shí)段上下行車流速度的參考，得到的結(jié)果如表2所示。

角點(diǎn)檢測(cè)，進(jìn)而利用衛(wèi)星視頻中車輛目標(biāo)的特點(diǎn)和角點(diǎn)特性采用相應(yīng)的策略實(shí)現(xiàn)角點(diǎn)和車輛的一一對(duì)應(yīng)，從而實(shí)現(xiàn)車輛計(jì)數(shù)；然后將相關(guān)角點(diǎn)作為L(zhǎng)K光流法的輸入，計(jì)算角點(diǎn)的光流矢量；最后根據(jù)角點(diǎn)運(yùn)動(dòng)方向上的差異，實(shí)現(xiàn)雙向平均車速的計(jì)算，由實(shí)驗(yàn)結(jié)果可知本算法具有較高的可靠性。

在本算法中車輛速度計(jì)算的前提是角點(diǎn)保持穩(wěn)定，因此當(dāng)?shù)缆飞系能囕v數(shù)較多，或者車輛進(jìn)出視頻經(jīng)常發(fā)生的時(shí)候，算法的計(jì)算精度將下降；同時(shí)由于光流法的計(jì)算復(fù)雜，算法所需的時(shí)間比較長(zhǎng)，從表2可以得出，速度計(jì)算結(jié)果的準(zhǔn)確率平均為89.67%，平均誤差為10.33%，可以發(fā)現(xiàn)結(jié)果的準(zhǔn)確度浮動(dòng)比較大，通過觀察可知，當(dāng)?shù)缆奋囕v比較少的時(shí)候，車輛能被準(zhǔn)確檢測(cè)，速度計(jì)算比較準(zhǔn)確；當(dāng)?shù)缆奋囕v比較密集的時(shí)候，則有可能出現(xiàn)準(zhǔn)確度下降的情況。

進(jìn)一步分析可知，在速度測(cè)算中誤差產(chǎn)生的原因主要來源于兩方面：一方面來源于角點(diǎn)的檢測(cè)誤差，即當(dāng)角點(diǎn)的個(gè)數(shù)與車輛的個(gè)數(shù)不相等時(shí)，會(huì)產(chǎn)生速度計(jì)算的誤差；另一方面，算法所選取的速度計(jì)算區(qū)間也會(huì)對(duì)計(jì)算的誤差產(chǎn)生一定的影響。

4 結(jié)論與展望

本文提出了一種在高分辨率衛(wèi)星視頻中實(shí)現(xiàn)車輛計(jì)數(shù)和雙向平均車速的交通流參數(shù)提取方法。該方法分為以下幾步：首先利用Shi-Tomasi方法進(jìn)行因此下一步研究的重點(diǎn)是如何提供算法精度并實(shí)現(xiàn)算法的實(shí)時(shí)運(yùn)行。

：

[1]馮奇，周小鵬，孫立軍，等.視頻圖像處理技術(shù)在實(shí)時(shí)交通信息采集中的應(yīng)用[J].上海公路，2004（1）：50-52.

[2]孫亞，彭國(guó)雄，皮曉亮，等.基于環(huán)形線圈檢測(cè)器采集信息的數(shù)據(jù)挖掘方法研究[J].交通信息與安全，2005，23（1）：46-49.

[3]孫閩紅.微波雷達(dá)在實(shí)時(shí)道路交通信息采集系統(tǒng)中的應(yīng)用研究與設(shè)計(jì)[D].成都：成都理工大學(xué)，2005.

[4]甘志梅，王春香，楊明.基于激光雷達(dá)的車輛跟蹤與識(shí)別方法[J].上海交通大學(xué)學(xué)報(bào)，2009（6）：923-926.

[5]鐘華.利用超聲波采集高速公路交通量信息并進(jìn)行數(shù)據(jù)網(wǎng)絡(luò)傳輸?shù)脑O(shè)計(jì)與實(shí)現(xiàn)[D].長(zhǎng)春：吉林大學(xué)，2005.

[6]Gupte S，Masoud O，Martin R F K，et al.Detection and classification of vehicles[J].IEEE Transactions on Intelligent Transportation Systems，2002，3（1）：37-47.

[7]Setchell C，Dagless E L.Vision-based road-traffic monitoring sensor[J].IEE Proceedings-Vision Image and Signal Processing，2001，148（1）：78-84.

[8]王文龍，李清泉，唐爐亮.基于低空機(jī)載視頻的車輛檢測(cè)方法[J].武漢理工大學(xué)學(xué)報(bào)，2010（10）：155-158.

[9]Apeltauer J，Babinec A，Herman D，et al.Automatic vehicle trajectory extraction for traffic analysis from aerial video data[J].ISPRS-International Archives of the Photogrammetry，Remote Sensing and Spatial Information Sciences，2015，XL-3/W2：9-15.

[10]Ke R，Li Z，Kim S，et al.Real-time bidirectional traffic flow parameter estimation from aerial videos[J].IEEE Transactions on Intelligent Transportation Systems，2017，PP（99）：1-12.

[11]Cao X，Gao C，Lan J，et al.Ego motion guided particle filter for vehicle tracking in airborne videos[J].Neurocomputing，2014，124（S1）：168-177.

[12]Angel A，Hickman M，Mirchandani P，et al.Methods of analyzing trafficimagery collected from aerialplatforms[J].IEEE Transactions on Intelligent Transportation Systems，2003，4（2）：99-107.

[13]Kopsiaftis G，Karantzalos K.Vehicle detection and traffic density monitoring from very high resolution satellite video data[C]//2015 IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2015：1881-1884.

[14]張學(xué)陽(yáng)，項(xiàng)軍華.基于運(yùn)動(dòng)信息的視頻圖像空間目標(biāo)檢測(cè)[J].海軍航空工程學(xué)院學(xué)報(bào)，2016，31（2）.

[15]Li Y.Recognition of radar signals modulation based on shorttime Fouriertransform and reduced fractional Fourier transform[J].Journal of Information&Computational Science，2013，10（10）：5171-5178.