楊 晨,路 紅,*,費(fèi)樹岷,胡云層,湯 皓

(1.南京工程學(xué)院自動化學(xué)院,南京 211167;2.東南大學(xué)自動化學(xué)院,南京 210096)

目標(biāo)跟蹤是利用一定的方法估計視頻或者圖像序列中目標(biāo)的運(yùn)動軌跡,該過程須使用檢測器或手動給出初始目標(biāo)的位置和形狀等觀測信息.然而,一些高性能跟蹤器主要致力于算法魯棒性的提高,初始化階段多手動給出目標(biāo)信息.Wang等[1]提出的局部稀疏表示在線判別單目標(biāo)跟蹤算法中采用手動初始化方法.王秩等[2]提出的基于DST-PCR5的多目標(biāo)跟蹤(multi-target tracking,MTT)算法同樣是手動給出目標(biāo)初始信息.目前,已有的一些MTT算法[3-6]通過引入檢測環(huán)節(jié)實現(xiàn)自動跟蹤初始化,但是由于采用的檢測和跟蹤算法具有強(qiáng)關(guān)聯(lián)性,故初始化部分不具普適性.結(jié)構(gòu)數(shù)組能將不同類型不同維數(shù)的數(shù)組組合到一起,為管理和維護(hù)大數(shù)據(jù)提供了方便.本文擬基于struct函數(shù)構(gòu)建動態(tài)結(jié)構(gòu)數(shù)組實現(xiàn)2個完全獨立的目標(biāo)檢測與跟蹤模塊的連接且減小工作量,以解決跟蹤系統(tǒng)自動初始化問題,進(jìn)而實現(xiàn)更多數(shù)據(jù)集的多個目標(biāo)分類、定位和跟蹤.

1 基于動態(tài)結(jié)構(gòu)數(shù)組的多目標(biāo)檢測和跟蹤模塊接口參數(shù)選擇

現(xiàn)以文獻(xiàn)[7]多目標(biāo)檢測算法和文獻(xiàn)[8]多目標(biāo)跟蹤算法為例,對本文方法進(jìn)行原理性說明,如圖1所示.圖1中,x,y分別為目標(biāo)矩形區(qū)域中心點坐標(biāo);w,h分別為目標(biāo)矩形區(qū)域的寬度和高度;Ndetect,Ntrack分別為檢測器和跟蹤器對應(yīng)的圖像序列幀數(shù),Ntotal為序列圖像的總幀數(shù).將文獻(xiàn)[7-8]分別作為本文方法中的檢測算法和跟蹤算法模塊,兩者的目標(biāo)特征不完全相同,檢測算法以HOG邊緣、尺度和位置等作為特征,而跟蹤算法則采用了色彩、尺度和速度特征.2種算法互相獨立.

利用檢測算法獲得與跟蹤算法相匹配的目標(biāo)初始狀態(tài)信息,生成結(jié)構(gòu)體數(shù)組,并自動保存為標(biāo)準(zhǔn)形式的文件.若是視頻首幀,該過程可實現(xiàn)被跟蹤多目標(biāo)軌跡的全局初始化,并觸發(fā)目標(biāo)跟蹤算法實現(xiàn)視頻序列全自動MTT;若是非首幀中新出現(xiàn)的目標(biāo),則該過程可實現(xiàn)對新目標(biāo)的動態(tài)初始化.由于本文方法主要是針對MTT初始化的研究,因此這里對具體的檢測與跟蹤算法未詳細(xì)展開闡述.

圖1 整體結(jié)構(gòu)流程示意圖Fig.1 Overall structure flow chart

計算目標(biāo)l的矩形區(qū)域中心點坐標(biāo)(xl,yl):

(1)

計算目標(biāo)l的寬度wl和高度hl:

(2)

2 構(gòu)建動態(tài)結(jié)構(gòu)數(shù)組實現(xiàn)跟蹤系統(tǒng)初始化

3) 建立結(jié)構(gòu)體數(shù)組.利用Matlab中的struct函數(shù)定義動態(tài)結(jié)構(gòu)體數(shù)組.x,y,w,h代表struct函數(shù)的4個字段.循環(huán)整個序列的檢測過程,將最終生成的元胞數(shù)組賦值至檢測信息存儲單元D,

(3)

并保存為.mat文件到跟蹤算法程序包指定的文件路徑下.

3 實驗結(jié)果與分析

為了評估本文方法的有效性,筆者在CAVIAR走廊國際標(biāo)準(zhǔn)視頻序列(Dataset1)、自己拍攝的校園視頻(Dataset2)和國際標(biāo)準(zhǔn)數(shù)據(jù)集TUD_Crossing(Dataset3)等3個數(shù)據(jù)集上分別進(jìn)行實驗,結(jié)果如圖2～4所示.所有實驗均在Matlab R2014b,3.5 GHz CPU PC,Windows 7操作系統(tǒng)下進(jìn)行.

3.1 實驗方案設(shè)計

為了驗證本文方法針對不同跟蹤器全局初始化的自適應(yīng)性能,現(xiàn)利用CoP檢測方法[7]構(gòu)建動態(tài)結(jié)構(gòu)數(shù)組并分別初始化3個跟蹤算法,設(shè)計如下3組初始化實驗:

實驗1: 基于數(shù)據(jù)關(guān)聯(lián)和跟蹤管理(data association and track management,DA-TM)跟蹤算法[8]的多目標(biāo)初始化.

實驗2: 基于軌跡片段置信度和核相關(guān)濾波器在線跟蹤算法的多目標(biāo)初始化.該跟蹤方法在實驗1的DA-TM跟蹤框架基礎(chǔ)上,將文獻(xiàn)[9]中Henriques等人提出的核相關(guān)濾波器(kernelized correlation filters,KCF)與文獻(xiàn)[10]中峰旁瓣比相結(jié)合計算被跟蹤目標(biāo)的外觀得分,以提升計算速度.

實驗3: 基于局部稀疏表示在線判別目標(biāo)跟蹤算法[1]的多目標(biāo)初始化.區(qū)別于實驗1～2,本實驗未添加新目標(biāo)穩(wěn)定出現(xiàn)的判定條件,而是依據(jù)結(jié)構(gòu)數(shù)組中的檢測數(shù)據(jù)在目標(biāo)出現(xiàn)的圖像首幀初始化跟蹤算法,通過與前兩組實驗對比,證明本文所提判穩(wěn)條件的有效性.該跟蹤算法是針對單目標(biāo)跟蹤,但本實驗中主要利用檢測數(shù)據(jù)初始化場景中每個有效目標(biāo)的過完備字典實現(xiàn)多目標(biāo)跟蹤.

3.2 實驗結(jié)果對比

圖2給出了Dataset1檢測結(jié)果及實驗1～3中Dataset1的跟蹤結(jié)果,由左至右依次為第265幀、第320幀和第360幀圖像.由圖2可見：1) 第265幀圖像中,實驗1和實驗3中正確初始化了目標(biāo)身份標(biāo)記ID=1.依據(jù)新出現(xiàn)目標(biāo)的判穩(wěn)條件,實驗2在初始化目標(biāo)1的過程中,檢測數(shù)據(jù)沒有滿足5幀內(nèi)穩(wěn)定出現(xiàn)的條件,故該目標(biāo)未能作為有效目標(biāo)賦予身份標(biāo)記;2) 第320幀圖像中,實驗1～3中2個新出現(xiàn)目標(biāo)均被確定為有效目標(biāo),并賦予身份標(biāo)記ID=2,3.然而實驗3中,由于未設(shè)置初始化目標(biāo)的判穩(wěn)條件,出現(xiàn)了2處誤初始化;3) 第360幀圖像中,實驗1中標(biāo)記為ID=4的目標(biāo)被穩(wěn)定跟蹤;實驗2中,標(biāo)記為ID=2,4的目標(biāo)由于KCF算法定位的目標(biāo)圖像塊大小固定,而檢測數(shù)據(jù)隨目標(biāo)的運(yùn)動狀態(tài)和尺度的變化而變化,造成兩者匹配相似度偏低,目標(biāo)不穩(wěn)定,重新初始化后分別自動標(biāo)記為ID=5,6;實驗3中,由于不受判穩(wěn)條件的限制,當(dāng)出現(xiàn)新目標(biāo)時直接將其標(biāo)記為ID=5.

表1 第6幀目標(biāo)跟蹤置信度計算結(jié)果Tab.1 Tracking confidence result of frame 6

圖3給出了Dataset2檢測結(jié)果及實驗1～3中Dataset2的跟蹤結(jié)果,由左至右依次是第1幀、第38幀和第89幀圖像.同時,為了定量分析本文初始化方法的有效性,表1給出了實驗1～2在第6幀圖像中5個目標(biāo)各自置信度計算結(jié)果和分布規(guī)律.實驗1的第1幀中,被標(biāo)記為ID=1,3,4,5的目標(biāo)在第6幀跟蹤置信度均大于0.5,滿足判定新目標(biāo)穩(wěn)定性條件中規(guī)定的目標(biāo)須連續(xù)出現(xiàn)5幀的初始化要求,因此這4個目標(biāo)被成功初始化.實驗2中,表1顯示唯有標(biāo)記ID=2的置信度大于0.5,因此被初始化并賦予身份標(biāo)記.實驗3的初始化過程并未設(shè)置判定目標(biāo)穩(wěn)定的條件,所有目標(biāo)均被標(biāo)記出來.實驗2的第38幀中,由于KCF算法對目標(biāo)尺度變化不具自適應(yīng)性,致使在跟蹤過程中多數(shù)目標(biāo)被誤判為新目標(biāo)而重新初始化為新的標(biāo)號.實驗1的第89幀中,原ID=7的目標(biāo)出現(xiàn)跟蹤框漂移,導(dǎo)致跟蹤算法預(yù)估的目標(biāo)區(qū)域框信息無法與檢測數(shù)據(jù)關(guān)聯(lián),故發(fā)生2次重新初始化并標(biāo)記為ID=15,16;實驗2中受KCF算法的影響,大部分目標(biāo)多次被視為新目標(biāo),重新初始化為新的標(biāo)號;實驗3中未出現(xiàn)跟蹤異常的情況.

圖3 Dataset2實驗結(jié)果Fig.3 Experimental results of Dataset2

圖4 Dataset3實驗結(jié)果Fig.4 Experimental results of Dataset3

圖4給出了Dataset3檢測結(jié)果及實驗1～3中Dataset3的跟蹤結(jié)果,由左至右依次是第6幀、第24幀和第149幀.實驗1～2的第6幀中標(biāo)號為ID=2,3的目標(biāo)在連續(xù)5幀中的識別結(jié)果不滿足初始化過程中新出現(xiàn)的目標(biāo)穩(wěn)定出現(xiàn)的判斷條件,因此沒有被成功初始化.實驗1的第24幀中標(biāo)號為ID=5的目標(biāo)因歷史幀中跟蹤誤差累積,導(dǎo)致當(dāng)前幀跟蹤區(qū)域信息與檢測區(qū)域信息不匹配,以至于被重新初始化為ID=7.實驗2中出現(xiàn)類似情況,原ID=2的目標(biāo)被多次誤判為新出現(xiàn)目標(biāo)初始化,先后被賦予標(biāo)號ID=8,10.第149幀,實驗1中標(biāo)號為ID=17的目標(biāo)與實驗2中標(biāo)號為ID=56的目標(biāo)實際為同一目標(biāo),但是由于兩者重新初始化的次數(shù)不同,所以被賦予不同的標(biāo)號.實驗3中,標(biāo)號為ID=12的目標(biāo)在第145幀首次出現(xiàn)并初始化跟蹤.

對比上述實驗結(jié)果,由于實驗1～2增加了對動態(tài)數(shù)組中各新出現(xiàn)目標(biāo)是否穩(wěn)定存在的判斷條件,從而增加了目標(biāo)的標(biāo)號數(shù)目.然而,從MTT的可靠性角度考慮,這種條件的限制可以減少誤初始化,提高跟蹤精度.實驗3中由于沒有判穩(wěn)條件的限制,瞬間出現(xiàn)的干擾目標(biāo)會被視為有效目標(biāo),跟蹤效率下降.

4 結(jié)論

本文提出了一種全自動初始化多目標(biāo)跟蹤方法.根據(jù)檢測算法獲得的目標(biāo)觀測信息構(gòu)建動態(tài)結(jié)構(gòu)數(shù)組,為跟蹤算法提供全局初始化數(shù)據(jù)以及跟蹤過程中新出現(xiàn)目標(biāo)的動態(tài)初始化數(shù)據(jù),實現(xiàn)了全自動多目標(biāo)跟蹤;通過設(shè)計新出現(xiàn)目標(biāo)判斷方法和有效目標(biāo)判穩(wěn)條件,提高了真實目標(biāo)的判斷準(zhǔn)確性及系統(tǒng)初始化可靠性.本文方法因不需要檢測算法和跟蹤算法具備完全相同的目標(biāo)特征,且任何一個能夠輸出目標(biāo)區(qū)域信息的多目標(biāo)檢測算法都能替代本文選擇的檢測器,故具有一定的靈活性和推廣意義.