劉李漫, 張治國

(1中南民族大學(xué) 生物醫(yī)學(xué)工程學(xué)院，武漢 430074；2華中科技大學(xué) 自動化學(xué)院，武漢 430074)

隨著計算機(jī)技術(shù)的不斷發(fā)展，運動目標(biāo)的檢測與跟蹤技術(shù)在軍事制導(dǎo)、視覺導(dǎo)航、機(jī)器人、智能交通、公共安全等領(lǐng)域都有著越來越廣泛的應(yīng)用. 在智能交通管理中，進(jìn)行多目標(biāo)的跟蹤、運動目標(biāo)的運動參數(shù)及狀態(tài)的采集是非常重要的步驟，對其后續(xù)進(jìn)行事件分析并最終形成決策起著關(guān)鍵作用.

典型的智能交通管理系統(tǒng)通常包括場景中多個運動目標(biāo)的自動檢測、跟蹤以及多個目標(biāo)的運動參數(shù)的提取計算，從而分析獲得監(jiān)控結(jié)果. 在此過程中，主要是通過固定的監(jiān)視攝像頭對監(jiān)控場景進(jìn)行實時錄像，在靜態(tài)背景下通過對序列圖像進(jìn)行分析研究，根據(jù)運動信息獲得靜態(tài)場景下運動目標(biāo)的檢測結(jié)果. 然后利用多目標(biāo)的跟蹤對檢測到的多個運動目標(biāo)進(jìn)行跟蹤，從而獲得視頻序列中相同目標(biāo)之間的相對運動速度和位移等參數(shù). 這些參數(shù)可以作為緩解交通擁堵等現(xiàn)象的依據(jù). 其中，對監(jiān)控場景中運動的多目標(biāo)進(jìn)行自動檢測和跟蹤是智能交通監(jiān)控的重要挑戰(zhàn).

針對監(jiān)控視頻大多具有固定攝像頭、靜止背景的特點，對運動目標(biāo)的檢測提取目前較為廣泛采用的是基于背景統(tǒng)計模型的目標(biāo)分割技術(shù)[1, 2]、基于變化的目標(biāo)分割技術(shù)[3]、基于圖論[4]這3種目標(biāo)提取算法.

此外，Yang 等[5]設(shè)計了計算模型來估計運動目標(biāo)及其方向，并認(rèn)為更符合視覺觀察特性；Yamamoto等[6]和Eveland 等[7]采用背景信息估計運動目標(biāo). Yamamoto等根據(jù)目標(biāo)的點、線、面的特征，以及這些特征與背景的關(guān)系，估計運動目標(biāo)的運動范圍作為先驗，增強(qiáng)了運動目標(biāo)檢測和跟蹤的準(zhǔn)確性. 文獻(xiàn)[8-15]分別提出基于核密度估計、粒子濾波、超級像素、顏色屬性、局部稀疏表示、連續(xù)目標(biāo)序列標(biāo)記等多目標(biāo)跟蹤方法.

本文首先采用基于高斯混合模型[2]的背景建模方法檢測運動的目標(biāo)，然后提取運動目標(biāo)的團(tuán)塊信息，并根據(jù)目標(biāo)的團(tuán)塊信息在前后幀之間的匹配結(jié)果，實現(xiàn)目標(biāo)的自動跟蹤. 同時，根據(jù)道路交通監(jiān)控場景中的多個運動目標(biāo)的目標(biāo)狀態(tài)，構(gòu)建目標(biāo)狀態(tài)列表. 針對被劃分到不同列表中的目標(biāo)，采用不同的目標(biāo)狀態(tài)管理策略對目標(biāo)狀態(tài)進(jìn)行維護(hù)和更新，增強(qiáng)目標(biāo)檢測和跟蹤的魯棒性. 系統(tǒng)流程如圖1所示.

圖1 多目標(biāo)跟蹤流程圖Fig.1 Flow chart of multi-tracking

1 算法原理及系統(tǒng)設(shè)計

利用基于高斯混合模型的背景建模，提取連續(xù)幀圖像中的運動前景區(qū)域，并根據(jù)歷史信息對運動區(qū)域進(jìn)行篩選和過濾，實現(xiàn)運動目標(biāo)的檢測和標(biāo)記. 然后根據(jù)檢測結(jié)果提取目標(biāo)模板，利用模板跟蹤場景中的多目標(biāo). 采用不同狀態(tài)目標(biāo)分類管理策略，根據(jù)不同的目標(biāo)狀態(tài)，有針對性地進(jìn)行目標(biāo)狀態(tài)的更新和維護(hù).

1.1 目標(biāo)信息提取

根據(jù)目標(biāo)的運動特性，模塊采用基于高斯混合模型[2]的背景建模方法，提取連續(xù)幀中的運動目標(biāo). 這步驟的主要目的是將場景中所有潛在的運動目標(biāo)區(qū)域提取出來，對運動目標(biāo)進(jìn)行初步分割，分割結(jié)果用來進(jìn)行后續(xù)的目標(biāo)檢測以及跟蹤. 通過高斯混合模型對視頻序列中的目標(biāo)進(jìn)行運動信息提取，獲得一系列的離散運動像素點或者像素點聚集的團(tuán)塊. 對提取的運動團(tuán)塊，進(jìn)行團(tuán)塊歷史信息的分析，進(jìn)一步獲得目標(biāo)檢測結(jié)果.

1.2 目標(biāo)檢測

采用高斯混合模型提取的運動信息往往會由于實際視頻中的背景動態(tài)干擾、噪聲等因素的影響導(dǎo)致不夠魯棒.如圖2為高斯背景建模示例圖，有較多的噪聲點，對于在圖像中位置較為接近的目標(biāo)，經(jīng)建模后得到的車輛團(tuán)塊被合并成一團(tuán)，不能對車輛位置進(jìn)行很好的區(qū)分. 因此，本文在目標(biāo)檢測模塊中將前一步初步提取的運動目標(biāo)信息進(jìn)行了分析，從而得到精確的運動目標(biāo)檢測結(jié)果，同時過濾了虛警等非運動目標(biāo)區(qū)域.

圖2 背景建模示例Fig.2 Example of background generation

在目標(biāo)檢測模塊中，通過對提取的目標(biāo)信息在視頻序列中的歷史狀態(tài)的分析來實現(xiàn)目標(biāo)檢測. 將目標(biāo)信息提取得到的每一幀目標(biāo)信息形成目標(biāo)信息歷史序列. 對序列進(jìn)行分析，采用匹配算法將其中較為穩(wěn)定的區(qū)域作為精確的目標(biāo)檢測結(jié)果(圖3).

圖3 基于歷史信息的目標(biāo)檢測方法Fig.3 Object detection based on historical information

首先對連續(xù)視頻序列中獲得的前景點或者前景簇信息進(jìn)行團(tuán)塊檢測，通過團(tuán)塊檢測得到視頻序列在當(dāng)前時刻所有可能的團(tuán)塊. 圖3中對于每一時刻的目標(biāo)信息提取即為獲得每一時刻的團(tuán)塊信息. 團(tuán)塊檢測通過對每一幀中前景點的聚類獲得. 通過圖割的方法獲得前景點團(tuán)塊信息，獲得的團(tuán)塊信息被存儲在團(tuán)塊列表，列表中的所有團(tuán)塊所在區(qū)域被認(rèn)為是潛在的運動目標(biāo)所在區(qū)域. 對于得到的團(tuán)塊列表，通過對視頻中當(dāng)前幀的歷史幀中團(tuán)塊列表進(jìn)行統(tǒng)一性分析，對目標(biāo)歷史序列中每一幀的團(tuán)塊進(jìn)行檢測，得到具有統(tǒng)一運動方向的團(tuán)塊，即為當(dāng)前時刻的運動目標(biāo)區(qū)域. 具體算法如下：

(1) 對視頻序列中當(dāng)前幀以及當(dāng)前幀之前的歷史幀中提取得到的目標(biāo)運動信息進(jìn)行團(tuán)塊檢測，得到當(dāng)前幀的所有團(tuán)塊的列表：

BLt=(B1,t,……，Bi,t，……，Bn,t),

(1)

BLt表示t時刻檢測獲得的所有團(tuán)塊，Bi,t表示當(dāng)前幀中的第i個團(tuán)塊.

(2) 在運動目標(biāo)團(tuán)塊列表中進(jìn)行統(tǒng)一性檢測，目的是進(jìn)一步精確地確定目標(biāo)，濾除虛警. 具體算法如圖4所示.

圖4 統(tǒng)一性檢測Fig.4 Consistency detection

圖4的每列為t-i時刻的團(tuán)塊列表形成的團(tuán)塊隊列，其中0≤i

(1)對于不同的團(tuán)塊隊列，如果團(tuán)塊Ba,j與Bb,j(其中i，j表示相鄰的兩幀)區(qū)域位置相交且兩個團(tuán)塊中心之間距離(歐氏距離)最近，則進(jìn)行(2)中的判斷.

(2)如果上述兩個團(tuán)塊的特征還同時滿足以下條件，則最終判定團(tuán)塊Ba,j和團(tuán)塊Bb,j具備統(tǒng)一性：

θ1≤Ba,j·w/Bb,j·w≤θ2,

(2)

β1≤Ba,j·h/Bb,j·h≤β2,

(3)

其中，Ba,j·w與Bb,j·w分別為團(tuán)塊Ba,j和Bb,j的寬度，Ba,j與Bb,j分別為兩個團(tuán)塊的高度. 實驗中參數(shù)θ1(β1)與θ2(β2)分別取0.7和1.3.

通過對團(tuán)塊列表中的所有潛在目標(biāo)團(tuán)塊進(jìn)行統(tǒng)一性檢測，可精確判定當(dāng)前幀的運動目標(biāo)團(tuán)塊，并且抑制虛警和噪聲對目標(biāo)檢測的影響.

1.3 多目標(biāo)跟蹤與管理

多目標(biāo)跟蹤與管理用于實現(xiàn)對道路交通監(jiān)控場景中多個運動目標(biāo)的同時跟蹤并對跟蹤過程中目標(biāo)狀態(tài)的更新與維護(hù). 在多目標(biāo)的跟蹤過程中，常常出現(xiàn)跟蹤目標(biāo)偏移現(xiàn)象. 本方法通過目標(biāo)分類管理，能夠有效解決多目標(biāo)在跟蹤過程中的偏移問題. 同時，通過對不同目標(biāo)分類的實時維護(hù)，減少目標(biāo)跟蹤過程中的跟蹤丟失現(xiàn)象. 本模塊將跟蹤的目標(biāo)分為三類，目標(biāo)的分類及具體流程如圖5所示.

圖5 目標(biāo)列表對比Fig.5 Object list contrast

1.3.1 目標(biāo)跟蹤

在進(jìn)行多目標(biāo)跟蹤中采用模板匹配方法, 首先將目標(biāo)檢測模塊得到的目標(biāo)區(qū)域?qū)?yīng)的灰度圖像作為目標(biāo)模板，然后在當(dāng)前幀中進(jìn)行相似度計算，最終匹配得到當(dāng)前幀中該目標(biāo)的區(qū)域位置.

相似度計算的目的是在當(dāng)前待檢測圖像中得到與目標(biāo)模板相似度最大的目標(biāo)窗口. 相似度計算公式如下：

(4)

式中，(U,V)表示目標(biāo)模板的左右邊界，(x，y)表示移動的范圍. 目標(biāo)模板T(U,V)由檢測得到的目標(biāo)灰度圖像獲得，目標(biāo)模板在當(dāng)前幀圖像Is(X,Y)內(nèi)采用滑動窗的方式移動，計算出當(dāng)前幀中每一點與目標(biāo)圖像的相似度值，即公式(4)中歸一化評價函數(shù)NC的結(jié)果，從而得到當(dāng)前幀的相似度矩陣，其中最大值對應(yīng)的點即為模板匹配得到的當(dāng)前幀的目標(biāo)跟蹤位置.

1.3.2 目標(biāo)更新及管理

目標(biāo)更新與管理首先是對比當(dāng)前幀跟蹤得到的目標(biāo)與檢測得到的目標(biāo)，并將當(dāng)前幀的目標(biāo)劃分為三類：新進(jìn)入的目標(biāo)、下一時刻需要繼續(xù)跟蹤的老目標(biāo)以及需要進(jìn)行模板更新的目標(biāo). 目標(biāo)劃分是通過目標(biāo)列表對比完成的，通過列表中目標(biāo)與邊界信息之間的對比結(jié)果，將目標(biāo)劃分為如圖5所示的三類目標(biāo). 對比完成后，對三類目標(biāo)分別進(jìn)行不同策略的管理.

(1) 對于新進(jìn)入監(jiān)控視野的目標(biāo)，初始化目標(biāo)位置為目標(biāo)檢測得到的目標(biāo)區(qū)域；然后該目標(biāo)區(qū)域?qū)?yīng)的當(dāng)前幀圖像區(qū)域，作為該目標(biāo)的模板保存下來以便在下一時刻進(jìn)行目標(biāo)跟蹤算法；將該目標(biāo)標(biāo)記為需要繼續(xù)跟蹤的老目標(biāo)，并存入相應(yīng)的列表.

(2)對于正常跟蹤的目標(biāo)，其管理工作主要分為三個部分：對需要跟蹤的目標(biāo)，采用本文中的跟蹤算法進(jìn)行繼續(xù)跟蹤；將跟蹤丟失或是從視場中移出的目標(biāo)從列表中刪除；將未被移出的目標(biāo)重新融入到下一時刻的相應(yīng)跟蹤列表.

(3) 對于需要進(jìn)行模板更新的目標(biāo)，將目標(biāo)檢測所得的區(qū)域?qū)?yīng)的圖像作為該目標(biāo)的模板保存下來并使用該更新后的模板進(jìn)行跟蹤算法. 這一工作可以及時更新運動目標(biāo)的特征模板，以便更好地進(jìn)行后續(xù)跟蹤，很大程度上避免了由于運動目標(biāo)的方位變化或者輕微遮擋所導(dǎo)致的目標(biāo)丟失現(xiàn)象.

2 算法描述

本文基于交通監(jiān)控視頻序列，實現(xiàn)視頻序列中多目標(biāo)的信息提取、多目標(biāo)檢測、多目標(biāo)的跟蹤以及目標(biāo)管理等. 整個系統(tǒng)的具體算法描述如下：

系統(tǒng)輸入：視頻的圖像序列l(wèi)1，l2,…,lt.

系統(tǒng)輸出：監(jiān)控場景視頻序列中所有運動目標(biāo)的跟蹤結(jié)果，并利用目標(biāo)矩形Ri,j進(jìn)行標(biāo)記，Ri,j表示目標(biāo)i在t時刻的標(biāo)記.

初始化：

(2) 根據(jù)運動目標(biāo)信息提取結(jié)果，初始化歷史團(tuán)塊列表隊列BLLt=(BLt-n+1,BLt-n+2，…，BLt-1，BLt),其中BLT為t時刻的團(tuán)塊檢測結(jié)果.

過程描述：

(1)運動目標(biāo)信息提取

(2) 目標(biāo)檢測

(3) 目標(biāo)跟蹤與管理

(a)如果列表中的目標(biāo)移動出所在監(jiān)控視頻的視野內(nèi)，則從列表中刪除相應(yīng)的目標(biāo)記錄.

(b)如果列表中的目標(biāo)與目標(biāo)模板之間的匹配度小于設(shè)定的閾值，則從列表中刪除該目標(biāo)的記錄.

(c)如果未發(fā)生以上兩種情況，則將該目標(biāo)加入列表TLt+1中.

2) 利用矩形框?qū)α斜鞹Lt+1中的所有目標(biāo)進(jìn)行標(biāo)記，并輸出.

實驗中目標(biāo)信息歷史圖像序列最大保存數(shù)目n取5，每一時刻的團(tuán)塊列表中存儲團(tuán)塊列表的最大數(shù)目取10.

3 實驗結(jié)果與分析

采用兩個實際的交通監(jiān)控視頻對本文提出的多目標(biāo)跟蹤算法框架進(jìn)行實驗分析，效果如圖6和7所示.

注：從左到右從上到下分別為視頻的第363、404、1218、1248、1276、1305幀，每個目標(biāo)用矩形框標(biāo)記，并具有唯一的數(shù)字標(biāo)識 圖6 多目標(biāo)跟蹤實驗結(jié)果Fig.6 Experimental results of multi-object tracking

首先采用高斯背景建模方法逐漸提取視頻中的運動目標(biāo)，進(jìn)而采用模板匹配及信息融合的方式進(jìn)行目標(biāo)跟蹤，在跟蹤的同時亦檢測視頻中新增加的目標(biāo). 整個過程對視頻中的檢測及跟蹤的目標(biāo)進(jìn)行列表處理，包括新增目標(biāo)、跟蹤目標(biāo)以及溢出目標(biāo). 對疑似目標(biāo)在跟蹤的同時還進(jìn)行時間序列分析，對于虛假的不實目標(biāo)予以剔除，只有真實的目標(biāo)才會進(jìn)入跟蹤目標(biāo)列表. 系統(tǒng)有效地利用了圖像序列之間的關(guān)聯(lián)信息，因而具有很好的實時性. 程序采用C++編寫，在VC 6.0平臺上完成. 帶有2.0 GHz處理器及4 GB內(nèi)存的筆記本電腦能夠同時完成對30個運動視頻目標(biāo)實時的檢測跟蹤，每一幀的平均處理時間約為0.067 s.

根據(jù)對實驗結(jié)果的分析可以得出，本文所提出的多目標(biāo)檢測跟蹤方法，能夠?qū)崿F(xiàn)在道路交通場景中，多目標(biāo)的實時自動檢測和跟蹤. 同時，本方法利用目標(biāo)信息提取、融合目標(biāo)歷史信息以及對目標(biāo)采取分類管理和維護(hù)的方法，能夠有效地抑制多目標(biāo)跟蹤過程中出現(xiàn)的目標(biāo)偏移以及跟蹤丟失等問題.

注：從左到右從上到下分別為視頻的第891、911、942、973幀. 每個目標(biāo)用矩形框標(biāo)記，并具有唯一的數(shù)字標(biāo)識圖7 多目標(biāo)自動跟蹤實驗結(jié)果.Fig.7 Experimental results of multi-object tracking

為了進(jìn)一步驗證本方法跟蹤的魯棒性，對本文方法與模板跟蹤方法的跟蹤效果進(jìn)行了比較. 由于模板匹配需要手動確定初始幀中的目標(biāo)，通過矩形框的形式在視頻的第一幀中給出跟蹤目標(biāo)的位置. 同時，模板匹配為單目標(biāo)跟蹤，因此在對比過程中僅僅對場景中的一個目標(biāo)的跟蹤效果進(jìn)行了比較. 圖8表示的是本文方法與模板跟蹤方法在驗證視頻中的對比結(jié)果(圖8a本方法，圖8b模板跟蹤法). 圖中分別為驗證視頻的第302、325、348、371、394、417幀. 從圖8a中可以看出，在驗證視頻中，本文提出的方法能夠?qū)崿F(xiàn)多目標(biāo)的有效跟蹤. 在第325幀，目標(biāo)雖然被場景中的物體所遮擋，仍然能夠?qū)δ繕?biāo)進(jìn)行很好的跟蹤. 在第417幀處，兩輛車的相對位置非常相近，依然能夠準(zhǔn)確地跟蹤到目標(biāo)車輛. 從圖8b中可以看出，在第417幀處，由于兩輛車位置相近并且外觀特征較為接近，同時由于目標(biāo)的行駛方向產(chǎn)生偏轉(zhuǎn)，導(dǎo)致模板跟蹤方法丟失所跟蹤目標(biāo).

注：從左到右，從上到下分別為視頻的第302、325、348、371、394、417幀，矩形框表示所跟蹤目標(biāo)的跟蹤框圖8 本文提出的跟蹤方法與模板跟蹤方法的對比結(jié)果.Fig.8 Comparison between the proposed method and template tracking

4 結(jié)語

提出了一種基于道路交通場景的運動物體多目標(biāo)的自動檢測與自動跟蹤方法. 首先利用背景建模的方法提取目標(biāo)的運動信息，通過對當(dāng)前時刻幀以及當(dāng)前時刻幀對應(yīng)的歷史幀中目標(biāo)的運動信息的統(tǒng)一性分析，得到多目標(biāo)的檢測結(jié)果. 然后，利用模板跟蹤的方法，對檢測到的目標(biāo)進(jìn)行目標(biāo)跟蹤，同時對不同的目標(biāo)狀態(tài)，針對性地將目標(biāo)劃分為三類：新進(jìn)入監(jiān)控視野目標(biāo)、正常跟蹤目標(biāo)和需要進(jìn)行模板更新目標(biāo)，對每一類目標(biāo)采用不同的跟蹤和管理策略. 通過對真實道路監(jiān)控場景的試驗證明，本文中提出的方法能夠有效地實現(xiàn)交通場景下多目標(biāo)的自動檢測與跟蹤.