單玉剛,汪家寶,李世興,董 爽

(1.湖北文理學(xué)院 教育學(xué)院，湖北 襄陽 441053; 2.北方自動控制技術(shù)研究所，太原 030006;3.北京聯(lián)合大學(xué)，北京 100101)

基于運動檢測的多車輛跟蹤方法研究

單玉剛1,汪家寶1,李世興2,董 爽3

(1.湖北文理學(xué)院 教育學(xué)院，湖北 襄陽 441053; 2.北方自動控制技術(shù)研究所，太原 030006;3.北京聯(lián)合大學(xué)，北京 100101)

針對交通監(jiān)控場景中多目標(biāo)粘連造成跟蹤上的困難和前后兩幀車輛關(guān)聯(lián)困難，提出了區(qū)域運動相似性分割方法和相似度關(guān)聯(lián)矩陣的解決方案；在運動目標(biāo)檢測過程中, 首先使用背景差分法提取運動區(qū)域，經(jīng)過消除缺口、空洞和分離等處理，在運動區(qū)域所在范圍內(nèi)進行塊匹配搜索和局部光流計算區(qū)域運動矢量，然后使用模糊聚類方法對運動矢量區(qū)域融合，完整的分割出粘連運動目標(biāo)；在目標(biāo)跟蹤部分，目標(biāo)跟蹤建立在目標(biāo)關(guān)聯(lián)的基礎(chǔ)上，提出建立連續(xù)兩幀目標(biāo)間距離和局部二元模式相似度關(guān)聯(lián)矩陣的方法進行運動目標(biāo)標(biāo)定，從而實現(xiàn)多目標(biāo)關(guān)聯(lián)；使用公共視頻庫的圖像序列進行測試，所提算法都能實現(xiàn)連續(xù)的跟蹤和準(zhǔn)確的運動目標(biāo)分割，且處理速度快，表明了算法具有魯棒性和適用性。

運動相似性；粘連分割；目標(biāo)關(guān)聯(lián)；運動檢測

0 引言

智能視頻監(jiān)控廣泛應(yīng)用于軍事、安保、交通、航空、醫(yī)療等領(lǐng)域。視頻圖像的車輛檢測與跟蹤技術(shù)是智能交通系統(tǒng)的核心技術(shù)，它可以同時獲取車型、車流量、車速等交通信息，實現(xiàn)對交通智能管理，并為車輛的行駛提供參考。

多車輛檢測與跟蹤的效果主要受到兩個因素的制約 ，一是場景中多目標(biāo)粘連車輛間的相互遮擋造成跟蹤上的困難，二是前后兩幀車輛關(guān)聯(lián)困難。在復(fù)雜的交通環(huán)境中車輛間的遮擋是不可避免的,目前還沒有能夠完全解決車輛之間因遮擋而造成粘連的方法 。對于車輛粘連，常用的方法有特征模型、統(tǒng)計模型、推理模型等[1]。文獻[2]利用車輛的角點作為特征點建立特征模型解決粘連問題，文獻[3]使用馬爾可夫隨機場模型可以有效解決遮擋問題，但其計算復(fù)雜，不適合實時性場合。文獻[4]提出基于凹性分析的粘連車輛分割，但在復(fù)雜條件下，效果不佳。文獻[5]提出基于運動一致性的分割方法，但全局性運動矢量計算影響實時性。

多目標(biāo)跟蹤的一個關(guān)鍵是確定多目標(biāo)數(shù)據(jù)關(guān)聯(lián)方法。常見的多目標(biāo)數(shù)據(jù)關(guān)聯(lián)算法中：kalman預(yù)測和模板匹配易丟失目標(biāo)，概率數(shù)據(jù)關(guān)聯(lián)(PDA)，JPDA的數(shù)據(jù)關(guān)聯(lián)和基于蟻群數(shù)據(jù)關(guān)聯(lián)[6-8]等方法計算量較大。

針對復(fù)雜交通環(huán)境中運動車輛遮擋的問題本文提出一種改進的基于區(qū)域運動相似性的粘連車輛分割方法，提高了精度，滿足了實時性。在車輛跟蹤部分，使用基于背景差分的運動目標(biāo)檢測方法，這種方法可以有效避免模板漂移造成的跟蹤丟失，始終保持對運動目標(biāo)的檢測。目標(biāo)之間的匹配建立在目標(biāo)關(guān)聯(lián)層次上，采用將運動目標(biāo)符號化[9]的方法改進文獻[10]方法，采用建立前后兩幀目標(biāo)間距離和局部二元模式(Local binary pattern,簡稱LBP)[11]相似度關(guān)聯(lián)矩陣的運動目標(biāo)標(biāo)定方法實現(xiàn)目標(biāo)匹配。實驗驗證表明該方法是有效的。

1 運動車輛檢測

1.1 背景差分目標(biāo)檢測

我們采用通過 Surendra 的建模背景，使用背景差分法對視頻中的運動區(qū)域進行分割。若將背景幀記為B(x，y)，當(dāng)前幀記為I(x，y)，背景差掩模圖像記為F(x，y)，則：

(1)

式中，Thr為二值化閾值，由Otsu法自適應(yīng)計算得到。當(dāng)F(x，y)為 1 時，對應(yīng)的是前景圖像及部分噪聲，為0時對應(yīng)背景。

對于背景點,將以一定的學(xué)習(xí)速率對原來的背景進行修正，以達到動態(tài)維護背景的目的，背景更新采用公式：

Bi=Bi-1*BWi+(alpha*fi+

(1-alpha)*Bi-1)*(1-BWi)

(2)

其中，alpha是學(xué)習(xí)速率，B、BW和f分別表示背景圖像、二值圖像和序列圖像，i表示當(dāng)前幀號。

1.2 運動目標(biāo)區(qū)域標(biāo)定

從背景差分獲得二值圖像到運動目標(biāo)區(qū)域的標(biāo)定，還需要經(jīng)過形態(tài)學(xué)處理，用8-鄰域搜索的區(qū)域生長算法完成連通區(qū)域的檢測，以及消除背景差法造成的目標(biāo)區(qū)域的缺口、空洞和分離等步驟完成運動目標(biāo)區(qū)域標(biāo)定。

對于目標(biāo)分離，文獻[12]給出了對當(dāng)前幀使用區(qū)域間距離判斷是否合并的公式，但有時兩車輛之間相距很近時，會把兩車合為一體，導(dǎo)致勿分。本文增加了比較前后兩幀位置的限制條件：

(3)

其中：xcc，ycc表示當(dāng)前幀目標(biāo)的中心點坐標(biāo)，xpc，ypc表示前一幀目標(biāo)的中心點坐標(biāo)，wcx，wcy，wpx，wpy分別為當(dāng)前幀和前一幀目標(biāo)的長寬。

兩目標(biāo)是否粘連根據(jù)前后兩幀區(qū)域重疊數(shù)量和區(qū)域面積變化情況判斷：

(4)

2 基于運動一致性車輛粘連分割

2.1 目標(biāo)運動矢量場

由于同一目標(biāo)在運動時，它的各個組成部分的運動的速度和方向是相似的，具有運動一致性，因此可以使用運動矢量場來表示目標(biāo)的運動信息。通過計算區(qū)域運動信息，能實現(xiàn)對運動一致性區(qū)域合并，實現(xiàn)對粘連目標(biāo)的分割。區(qū)域運動矢量場計算如下：

1) 對算法運動檢測部分檢測出的運動區(qū)域依次進行目標(biāo)粘連判斷，若發(fā)生粘連，選取當(dāng)前幀與前一幀的這個區(qū)域范圍進行運動矢量場計算，得到該區(qū)域的運動矢量場圖，即速度大小和方向圖，具體計算在第2步。車輛是否粘連依據(jù)前后兩幀目標(biāo)矩形框重疊數(shù)量和重疊區(qū)域面積變化情況，即：根據(jù)公式(4)判斷。

2) 將前后兩幀該運動區(qū)域適當(dāng)擴大尺寸，以便進行局域光流計算，然后分成多個大小相等的小塊，使用塊匹配運動矢量計算方法，計算當(dāng)前幀與上一幀相同區(qū)域范圍的小塊運動矢量場，每一個塊就轉(zhuǎn)化成一個點，這里塊大小取8×8個像素點，這樣可提高匹配計算速度，每一小塊用Ri表示。塊過大會降低運動矢量精度。按照區(qū)域標(biāo)記，計算每個區(qū)域中每個小塊運動矢量方向θi和幅值A(chǔ)i，i表示是塊號。塊匹配運動估計得到一幀二維圖像上對應(yīng)的運動矢量圖陣列。運動矢量圖陣列映射成二維坐標(biāo)平面上的點集 ，每一個子圖像塊對應(yīng)坐標(biāo)平面上的一個點。塊匹配搜索算法比較多，常用的有全局搜索、對數(shù)搜索、三步搜索、四步搜索等算法[13]。塊匹配搜索算法計算速度快，但由于受到相似度量限制，塊匹配搜索算法精度不是非常高。光流估計算法在小位移量的圖像匹配精度高。本文采取塊匹配搜索結(jié)合光流估計的運動矢量場計算方法，首先用塊匹配搜索大致位置，然后在這個位置用光流估計微小變化，充分發(fā)揮兩者優(yōu)勢。本文塊匹配搜索采用對數(shù)搜索策略，得運動矢量[Mvbx,Mvby]。

文獻[14]采用點匹配計算光流，可將其方法擴展到塊匹配光流估計應(yīng)用中。用A(x,y)，B(x,y)表示前后兩幀圖像的灰度值，塊Ri大小為M×N，塊Ri的運動矢量為[vx，vy]，vx，vy分別表示水平和垂直方向的位移。為了估計運動參數(shù)，建立如下灰度差平方和誤差函數(shù)：

(5)

其中：v=(vx,vy)，在搜索窗口范圍內(nèi)，ε取最小值的位置為最佳匹配位置。這時的vx，vy即為所求的運動矢量。采用泰勒優(yōu)化法求解該問題。

對式(5)進行二元泰勒展開，略去高項：

(6)

(7)

v=G-1b。

(8)

塊Ri總的運動矢量：

(9)

3) 獲取目標(biāo)區(qū)域的運動矢量幅值和方向后，把每個小塊的運動矢量分配到塊中每個像素中，最終得到該區(qū)域運動矢量幅值和方向。

2.2 塊合并

在區(qū)域運動矢量場的基礎(chǔ)上，合并運動幅值和運動方向一致的塊，最終實現(xiàn)分割運動區(qū)域。本文對運動矢量場的幅值使用模糊C均值聚類[15]分析(初始類別數(shù)為車輛粘連數(shù)量)，將塊聚類到由若干個相同或相近并且基本連通的多個子塊構(gòu)成的子區(qū)域，這樣不同的圖像區(qū)域塊代表具有不同運動速度的目標(biāo)。

經(jīng)過幅值聚類分析得到的分割結(jié)果還不精確，需進一步使用區(qū)域運動矢量方向和幅值的相似性對區(qū)域合并。如 果 區(qū)域的第i和 第j像素的 運動矢量 的 夾 角小于15度，即：Angle(j)-Angle(k)<15*pi/180，且幅 值 差 異 的 絕 對 值滿足小于區(qū)域均值的百分之八十條件時，即：

(10)

判定這兩個點具有運動一致性，進行合并。

3 運動車輛跟蹤

多車輛跟蹤的一個關(guān)鍵是進行車輛數(shù)據(jù)關(guān)聯(lián)，對于視頻圖像序列，就是要在相鄰幀間進行目標(biāo)匹配。根據(jù)本幀檢測出的目標(biāo)區(qū)域的外接矩形框特征和前一幀目標(biāo)區(qū)域外接矩形框特征建立和維持兩張車輛表，一個當(dāng)前幀車輛表newObject_info，另一個是前一幀車輛表oldObject_info。每個表項包括目標(biāo)序號index、車輛狀態(tài)state、車輛坐標(biāo)位置position(包括外接矩形框的left、right、top、bottom坐標(biāo))、車輛形心centriod、車輛速度velocity、車輛標(biāo)號label等項。當(dāng)前目標(biāo)表中沒有包括粘連車輛，粘連車輛已經(jīng)被分割開，車輛始終單獨存在。當(dāng)幀數(shù)更新時，前一幀目標(biāo)表項繼承于當(dāng)前目標(biāo)表項。

依據(jù)這兩張基本表建立距離相似度關(guān)聯(lián)矩陣和LBP相似度關(guān)聯(lián)矩陣來處理當(dāng)前車輛狀態(tài)。LBP特征描述方法具有旋轉(zhuǎn)不變性和灰度不變性等顯著的優(yōu)點，對車輛尺度變化、光線變化不明顯，匹配精度要優(yōu)于模板匹配精度。關(guān)聯(lián)矩陣中的一行表示當(dāng)前幀第i個目標(biāo)，一列表示前一幀第k個目標(biāo)。距離相似度：

(11)

通常使用巴氏距離衡量LBP相似性：

(12)

本文把車輛目標(biāo)狀態(tài)分為 三種情況：新車輛、車輛消失、車輛正常。把多車輛粘連和正常的車輛運動情況歸為正常狀態(tài)，因為本文會把多車輛粘連分割開，始終以獨立的目標(biāo)存在。通過按行、列掃描匹配矩陣，確定當(dāng)前幀目標(biāo)匹配狀態(tài)。三種情況處理如下：

(1)新增：在距離和LBP相似度關(guān)聯(lián)矩陣中第i行的每個元素都小于某個閾值，那么表示當(dāng)前幀的第k個目標(biāo)為新出現(xiàn)目標(biāo),State更新為New。新增目標(biāo)標(biāo)號需查找上一幀車輛表中消失的目標(biāo)號或最大目標(biāo)號進行設(shè)定。

(2)消失：在距離和LBP相似度關(guān)聯(lián)矩陣中第k列的每個元素都小于某個閾值，表示上一幀的第k個目標(biāo)消失，State更新為Disappear。

(3)正常：正常狀態(tài)是找到當(dāng)前幀中一目標(biāo)與前一幀中匹配的某目標(biāo)的過程。按行掃描特征關(guān)聯(lián)矩陣，取出Dik和Lik，計算兩個目標(biāo)的相似度：

Sik=α*Dik+(1-α)*Lik

(13)

α是權(quán)值，本文取0.6，距離特征比紋理特征更重要，具有最大相似度的目標(biāo)就是所求目標(biāo)。為了減小計算，規(guī)定：如果距離或LBP特征相似度小于一定閾值，就忽略該目標(biāo)。計算結(jié)束后更新第i個目標(biāo)的目標(biāo)標(biāo)號項，賦予與前一幀中第 k個目標(biāo)相同的標(biāo)號，State狀態(tài)為Normal。多目標(biāo)關(guān)聯(lián)方法如圖1所示。

圖1 目標(biāo)關(guān)聯(lián)方法

運動目標(biāo)檢測和跟蹤的總體算法流程圖如圖 2所示。

圖2 基于運動檢測的多運動目標(biāo)分割與跟蹤流程圖

4 實 驗

實 驗 環(huán) 境 為CPU:AMDAthlonX2，操 作 系統(tǒng):Windows8.0，運 行 軟 件:MATLAB2013a。使用PETS視頻庫視頻源來驗證本文提出算法的效果，選取了兩種實驗場景：一個比較復(fù)雜，一個比較簡單。第一種場景中是車輛運行在高速公路上的視頻序列圖像，分辨率320×240，車輛以比較快的速度持續(xù)運動，且車流量較大。第二種場景中運動車輛較稀少，但背景對前景干擾較大。

圖3 基于運動相似性的車輛粘連分割

在第一場景第24幀中，有車輛遮擋造成了粘連現(xiàn)象，整個粘連分割處理流程如圖3(a)～3(d)所示。我們可以看到最右側(cè)的白色車和它上方的黑色車經(jīng)過檢測確定為發(fā)生了粘連，如圖3(a)。這種情況下，我們在這個粘連區(qū)域進行運動估計產(chǎn)生運動目標(biāo)區(qū)域運動矢量圖，如圖3(b)所示，根據(jù)區(qū)域運動矢量的幅值大小和區(qū)域運動方向進行聚類的效果如圖3(c)所示。將分割映射到原圖中，并進行后續(xù)的形態(tài)學(xué)處理后，可以看到粘連車輛被準(zhǔn)確地分割，從而實現(xiàn)單獨跟蹤，如圖3(d)所示。

第一場景中第20幀到第31幀車輛跟蹤效果如圖4所示。可以看到從第24幀到第31幀，最右邊的兩輛車都一直處于遮擋狀態(tài)，由于粘連分割正確，兩車均被正確單獨跟蹤。

圖4 粘連情況下跟蹤

第二場景中車輛較少，場景不復(fù)雜，如圖5所示，但在第72-75幀中，由于有的車輛的車窗反射造成玻璃與地面紋理相似，這時使用背景差分進行運動檢測會導(dǎo)致同一車輛分為兩個或多個目標(biāo)。運用本文車輛合并判斷和合并處理算法能準(zhǔn)確地實現(xiàn)車輛分離部分的合并。

圖5 目標(biāo)合并

圖6是圖4中目標(biāo)8從出現(xiàn)到消失的運動信息面積變化曲線圖，平滑的曲線說明了本文算法對粘連目標(biāo)分割的有效性。在圖4、圖5兩個不同場景中，本文算法都能實現(xiàn)連續(xù)的跟蹤和準(zhǔn)確的目標(biāo)分割，表明本文車輛檢測和跟蹤算法具有魯棒性和適用性。

本文算法與文獻[16] 中的車輛跟蹤方法進行了比較，結(jié)果如表1所示。從表1中可以看出：本文方法的跟蹤準(zhǔn)確率高于文獻[16]中的方法，而且處理速度與后者相差不多，12幀/s的處理速度可以滿足實時系統(tǒng)的要求。

圖6 目標(biāo)面積變化曲線

表1 算法比較

5 結(jié)論

本文針對交通視頻多目標(biāo)跟蹤的車輛分割和目標(biāo)關(guān)聯(lián)難點，提出了一種固定攝像機監(jiān)控視頻序列中多運動目標(biāo)的檢測和跟蹤方法。該方法首先采用背景差法進行運動檢測，經(jīng)過形態(tài)學(xué)濾波和合并處理提取當(dāng)前幀中運動目標(biāo)區(qū)域，然后對檢測出含有粘連運動目標(biāo)區(qū)域分別采用基于區(qū)域運動一致性分割算法進行車輛粘連分割，取得較好分割效果。同時由于算法先進行變化檢測，在運動窗口范圍內(nèi)進行運動分割，避免了在整個圖像平面上進行計算，能夠大大減少運算量。在車輛跟蹤部分，目標(biāo)跟蹤建立在目標(biāo)關(guān)聯(lián)的基礎(chǔ)上，通過建立幀間特征相似度關(guān)聯(lián)矩陣實現(xiàn)目標(biāo)匹配的方法對檢測出的運動車輛進行實時跟蹤。實驗結(jié)果表明了本文算法具有有效性。

[1]CavallaroA,SteigerO,EbrahimiT.Trackingvideoobjectsinclutteredbackground[J] .IEEETransactionsonCircuitsandSystemsforVideoTechnology, 2005, 15(4):575-584.

[2]CoifmanB，BeymerD，MclauchlanP，etal.Areal-timecomputervisionsystemforvehicletrackingandtrafficsurveillance[J].TransportationResearchPartC:EmergingTechnologies, 1998, 6(8):271-288.

[3]ZhouY,TaoH.Abackgroundlayermodelforobjecttrackingthroughocclusion[A].9thIEEEInternationalConferenceonComputerVision[C].NewYork:IEEE, 2003:1079-1085.

[4] 吳忻生,劉 洋,戚其豐. 基于凹性分析的粘連車輛分割[J].計算機應(yīng)用研究，2012，29(1): 344-347.

[5] 洪澤宏，王占輝，周榕軍. 基于運動一致性的視頻對象分割方法研究[J]. 海軍工程大學(xué)學(xué)報，2007，19(4):90-94.

[6]Bar-ShalomY,DaumF,HuangJ.Theprobabilisticdataassociationfilter[J].IEEEControlSystems, 2010,29(6):82-100.

[7]SvenssonL,SvenssonD,GuerrieroM,etal.SetJPDAFilterforMultitargetTracking[J].IEEETransactionsonSignalProcessing, 2011,59(10):4677-4691.

[8] 康 莉，謝維信，黃敬雄.一種基于蟻群算法的多目標(biāo)跟蹤數(shù)據(jù)關(guān)聯(lián)方法[J].電子學(xué)報，2008，36(3):586-589.

[9] 王 栓, 艾海舟, 何克忠. 基于差分圖像的多運動目標(biāo)的檢測與跟蹤[J] . 中國圖像圖形學(xué)報, 1999, 4(6):470-474.

[10]LMarcenaro,MFerrari,LMarchesotti,etal.MultipleObjectTrackingunderHeavyOcclusionsbyUsingKalmanFiltersBasedonShapeMatching[A].InternationalConferenceonImageProcessing[C]. 2002.341-344.

[11]OjalaT,ValkealahtiK,OjaE,PietikainenM.Texturediscriminationwithmultidimensionaldistributionsofsignedgray-leveldifferences[J].PatternRecognition, 2001,34(3):727-739.

[12] 危自福,畢篤彥等.基于背景重構(gòu)和水平集的多運動目標(biāo)分割[J].光電工程,2009,36(7):28-35.

[13] 劉海峰,郭寶龍,馮宗哲.用于塊匹配運動估值的正方形-菱形搜索算法[J].計算機學(xué)報,2002,25(7):747-752.

[14] 戴 斌,方宇強.基于光流技術(shù)的運動目標(biāo)檢測和跟蹤方法研究[J].科技導(dǎo)報,2009,27(12):55-60.

[15]KannanSR,RamathilagamS，ChungPC.Effectivefuzzyc-meansclusteringalgorithmsfordataclusteringproblems[J].ExpertSystemswithApplications,2012,39(7):6292-6300.

[16] 李躍發(fā).基于視頻的車輛檢測與跟蹤技術(shù)研究[D].西安：西安電子科技大學(xué),2007.

Research on Multiple Moving Vehicles Tracking Method Based on Motion Detection

Shan Yugang1, Wang Jiabao1, Li Shixing2, Dong Shuang3

(1.Hubei University of Arts and Science, Xiangyang 441053,China; 2.North Automation Control Technology Institute,Taiyuan 030006,China; 3.Beijing Union University, Beijing 100101,China)

In view of the difficulties in tracking the overlapping targets in traffic surveillance scene and the difficulty of the vehicle correlation in two consecutive frames, the solutions of the region motion similarity segmentation and the similarity correlation matrix are proposed，background substraction is used for detecting targets，after eliminating gaps, holes and separation, etc. ,motion vector is calculated in the motion region by block matching search and local optical flow method, and then the fuzzy clustering method is used to implement the regional integration of motion vectors, which completes adhesion segmentation of the moving target, and reduces the amount of computation.In the part of tracking, target tracking is established on the basis of the target correlation, and the target matching is completed by using similarity correlation matrix of distance and local binary pattern features between frames , so as to realize the multiple target correlation. By using image sequences in PETS to test, The proposed algorithm can achieve continuous tracking and accurate target segmentation,and the processing speed is fast,which shows that the algorithm is robust and applicable.

motion similarity; adhesion segmentation; target correlation; motion detection

2016-09-27；

2016-11-24。

湖北省教育廳科學(xué)技術(shù)研究項目(B2016175);湖北文理學(xué)院博士基金(2015B002)。

單玉剛(1971-)，男，遼寧沈陽人，講師，博士，主要從事目標(biāo)跟蹤、模式識別方向的研究。

汪家寶(1964-)，男，湖北隨州人，教授，碩士，主要從事教育信息化方向的研究。

1671-4598(2017)03-0024-05

10.16526/j.cnki.11-4762/tp.2017.03.008

TP391.41

A