徐 蕾,劉 曼,彭月平
(武警工程大學,陜西 西安 710086)
復雜背景下視頻運動目標跟蹤算法研究
徐 蕾,劉 曼,彭月平
(武警工程大學,陜西 西安 710086)
隨著視頻監(jiān)控技術的進步,運動目標跟蹤作為計算機視覺領域的難點問題,具有廣闊的發(fā)展前景,其采用的算法種類繁多,效果也各有千秋。結合文獻資料介紹了目前普遍適用的四種目標跟蹤算法,對比分析了其優(yōu)勢和局限性,可以綜合采用兩種以上算法進行跟蹤研究來提高目標跟蹤識別的精度和效率。最后歸納總結了目標跟蹤算法亟待解決的問題和研究趨勢,對未來跟蹤算法的發(fā)展進行展望。
運動目標跟蹤;跟蹤算法;均值漂移;粒子濾波
Abstract: With the continuous development of video surveillance technology, moving target tracking as a difficult problem in the field of computer vision, has a wide development prospect. It has many kinds of algorithms and they have different effects. In this paper, four kinds of tracking algorithms are introduced, and their advantages and limitations are compared and analyzed.We can combine two or more algorithms to take the tracking research, that can improve the accuracy and efficiency of target tracking. Finally, the problems that tracking algorithm needs to improve and research trends of target tracking algorithm are summarized, also the future development of tracking algorithms is prospected.
Key words:moving target tracking; tracking algorithm; Mean Shift; particle filter
運動目標跟蹤是指從視頻圖像序列中獲取單個或者多個目標隨時空變化的運動軌跡信息?;谝曨l圖像的運動目標跟蹤是計算機視覺領域的重要研究方向,它在軍事偵查、交通系統(tǒng)等方面有著廣泛應用,但在實際應用中,背景干擾和目標外觀變化等因素會直接影響目標跟蹤效果??蓪⒛繕烁檰栴}分為目標檢測和目標跟蹤兩個階段,檢測算法用來發(fā)現(xiàn)目標并確定其位置,而跟蹤算法可以確定目標運動軌跡、外觀等參數(shù),方便進行后續(xù)的觀察分析。本文主要是對目前較實用的目標跟蹤算法進行簡述和比較,并分析各自的優(yōu)缺點。
常見的運動目標跟蹤算法分為基于主動輪廓的跟蹤、基于目標特征的跟蹤、基于目標區(qū)域的跟蹤和基于濾波的跟蹤[1]。本文按照這四種類型來介紹目前適用的幾種算法。
目前運動目標跟蹤算法的技術難點主要有三方面:
(1)運動目標的陰影與目標本身的運動特征幾乎相同,易被當成前景信息而被錯誤檢測并提取出來。
(2)在高密度人群的視頻圖像中,目標之間相對擁擠,存在相互之間遮擋的情形,導致目標提取困難,難以準確跟蹤。
(3)視頻圖像的信息量大,在跟蹤運動目標的過程中,其可靠性和精確性的提高,對所采用的算法有著更高的要求,尤其在實時性問題的解決上。
1.1基于人臉Haar-like特征頭部檢測跟蹤法
該方法屬于基于主動輪廓的跟蹤,它是在獲得目標整體信息的基礎上提取邊界輪廓信息作為模板,再對后續(xù)圖像序列的二值邊緣圖像進行匹配,從而實現(xiàn)目標跟蹤。其優(yōu)點在于不需要考慮先驗知識,目標的輪廓信息可以隨著圖像序列的輸入不斷更新,且計算量小,匹配速度快。
大多數(shù)視頻圖像跟蹤問題中的場景圖像序列是采用位置不變的攝像機獲取的,有的是采用背景建模的方式提取運動區(qū)域,還有些是通過背景減除法來檢測跟蹤,這些方法對低密度人群的檢測跟蹤有一定效果,但對于復雜場景下的高密度人群會出現(xiàn)遺漏和差錯。在假設監(jiān)控攝像機架設在一定高度的前提下,提出了基于人臉Haar-like特征的Viola-Jones分類器檢測臉部的跟蹤方法[2],對于背向攝像機的人群,采用輪廓特征Logistic回歸分類器進行檢測。其主要原理就是利用該分類器檢測到某一幀圖像中所需跟蹤采集的目標頭部輪廓特征,提取特征向量后采用似然函數(shù)計算權重值,再利用這個分類器預測下一幀圖像中該位置是否存在同一頭部輪廓特征。
此類方法主要是基于對人體頭部輪廓特征的檢測,避免了背景建模的復雜性,能夠滿足實時跟蹤移動目標的需求,但是對于目標遮擋或重疊問題仍有一定的弊端。另外邊界輪廓的初始化過程較為困難[3],只有當目標邊緣輪廓曲線的能量最小時才能獲得其真實輪廓。
1.2多特征融合目標跟蹤算法
該算法屬于基于目標特征的跟蹤方法?;叶葓D像的特征信息只有彩色圖像的1/3,因此單純利用灰度值作為特征值,會導致目標丟失,無法進行定位和識別[4]。因而提出了利用圖像x和y方向的梯度特征和灰度特征融合形成多特征直方圖對目標進行穩(wěn)定跟蹤的方法。
首先建立包含灰度特征和梯度特征兩個部分的特征模型,利用sobel算子對待匹配模板的圖像求其x和y方向的紋理特征,然后提取加權特征,采用背景建模方法提取主要前景目標,減少背景特征值產(chǎn)生的干擾信息。若待匹配圖像的像素位置屬于前景圖像,則統(tǒng)計當前概率密度;若屬于背景圖像,則對概率密度圖像取高斯概率分布函數(shù)的小概率隨機數(shù)[5]。最后為了減少光照、形變等外界因素對匹配度的影響,在對待匹配圖像的像素點進行尺度變換后再做直方圖統(tǒng)計,使用MeanShift(均值漂移)算法算出特征值,并通過迭代確定目標的最終位置。
對x和y兩個方向的梯度和灰度特征進行融合,能夠使得目標和背景信息的對比更加明顯,從而優(yōu)化跟蹤效果。基于特征的跟蹤方法是對運動目標中具有不變性的元素特征進行檢測跟蹤,在后續(xù)視頻圖像中利用算法進行匹配來跟蹤運動目標。為了使得算法結果更加精確,通??梢越Y合多個特征因素進行跟蹤。
1.3基于旋轉不變LBP特征的Mean Shift跟蹤算法
它屬于基于目標區(qū)域的跟蹤方法。Mean Shift跟蹤算法是通過以均值漂移為基礎的模式匹配進行迭代算法,再計算搜索目標的位置。鑒于顏色直方圖對圖像的模糊程度、尺度變化等信息的敏感度不強,導致對目標顏色分布的分析判斷存在缺陷,因而傳統(tǒng)Mean Shift跟蹤算法計算量較大,實時性差。在此基礎上引入COV算子、HOG算子等,但仍不能很好地滿足區(qū)分同一梯度不同紋理像素的要求,而LBP特征的旋轉相關性能夠較好地區(qū)分并解決此問題[1]。
Mean Shift跟蹤算法是對前一幀目標位置的鄰域范圍進行匹配度最大值的尋找,從而完成算法迭代,通過不斷移動改變概率密度的梯度方向,直至達到其局部密度的最大值。該算法的整體思路是:手動選定視頻圖像首幀的運動目標區(qū)域,并計算該區(qū)域和候選區(qū)域的旋轉不變LBP特征值,它由擴展的LBP數(shù)據(jù)循環(huán)移位實現(xiàn),公式如下:
(1)
然后尋找運動目標和候選目標在LBP特征空間內的最小距離,即相似度最大值[6]。接著讀取下一幀視頻圖像,通過迭代前一幀的位置形成一個循環(huán)跟蹤模型。引入旋轉不變LBP特征后的Mean Shift跟蹤算法能夠克服傳統(tǒng)Mean Shift算法魯棒性差、易丟失目標的弊端,可對光照突變和背景相似條件下的視頻目標進行跟蹤,對于目標旋轉和形變等情況也能夠很好解決。這種跟蹤算法區(qū)別于傳統(tǒng)點對點匹配算法,采用自適應迭代的方法快速進行模式匹配和計算,能對高概率密度部分進行精搜索,對低概率密度部分進行粗搜索。
基于區(qū)域的跟蹤方法將視頻首幀作為參考模板,計算它和后續(xù)圖像序列的相關性來確定目標位置,依據(jù)運動目標區(qū)域內的單個或者多個特征進行跟蹤,在無遮擋條件下其精確度和穩(wěn)定性較好,對于陰影和遮擋問題的處理仍有不足。均值偏移算法忽略了目標在運動過程中的連貫性,僅搜索有限條件下相匹配的目標,匹配精確度有待提高[7]。
1.4顏色粒子濾波目標跟蹤
它屬于基于濾波和顏色特征的跟蹤方法,主要是建立系統(tǒng)動態(tài)模型估計運動目標狀態(tài)從而達到實時掌控目標運動狀態(tài)的目的,它包括線性濾波跟蹤和非線性濾波兩大類,卡爾曼濾波屬于線性濾波的算法,而非線性濾波,是根據(jù)貝葉斯估計的相關理論實現(xiàn)的。
該方法針對顏色粒子濾波對光照敏感的問題提出。粒子濾波算法是以貝葉斯估計為基礎的一種能有效解決非線性系統(tǒng)的狀態(tài)估計問題的算法,對于運動目標局部遮擋的魯棒性要優(yōu)于Mean Shift跟蹤算法,其應用范圍也更廣泛。將顏色直方圖和運動目標的空間分布信息結合起來,并建立多個顏色模型來改善跟蹤效果[8],提高精確度,但無法有效避免或減少光照條件對目標跟蹤效果的影響。顏色粒子濾波算法是在對顏色直方圖改進后的基礎上,針對顏色特征的光照敏感性等缺陷,設計了相應的自適應更新目標模型和能夠動態(tài)調節(jié)粒子數(shù)目的方法,從而解決了運動目標的遮擋問題。
該算法的原理是采用蒙特卡羅統(tǒng)計模擬方法來實現(xiàn)貝葉斯多重積分問題,通過系統(tǒng)狀態(tài)空間中的粒子描述后驗概率分布情況,即把系統(tǒng)狀態(tài)估計問題轉化為用大量帶權粒子求解后驗概率分布問題[9],同時不斷更新粒子以確保算法的實時性和有效性。其實質就是采用系統(tǒng)狀態(tài)空間的隨機樣本點來計算后驗概率密度函數(shù),再利用重采樣的方法循環(huán)遞推計算,假設樣本空間足夠大時,所采集的概率密度即為真實的概率密度結果。該方法能夠將多重積分和概率密度計算的復雜程度降低,在實時場景下快速完成目標運動狀態(tài)的估計和預測問題,并且能夠支持非線性和非高斯狀態(tài)的系統(tǒng)模型,對于局部遮擋和運動突變造成的影響可以予以克服,魯棒性好,其計算精度與最優(yōu)估計接近[10]。但是對于長時間遮擋或者相似目標交錯的情況會存在明顯的誤差,甚至出現(xiàn)目標跟蹤失敗的情況。
目前所研究的基于場景模式的運動目標跟蹤算法均是以理想環(huán)境為前提,不完全代表實際應用中出現(xiàn)的干擾和影響因素。對簡單語義的行為信息能夠快速識別理解,但對于復雜場景下的深層運動模式的理解還有所缺乏,可結合混合高斯模型、馬爾科夫模型等更為復雜的數(shù)學模型加以分析研究,以提高分析理解能力。
運動目標跟蹤作為智能視頻監(jiān)控系統(tǒng)的關鍵技術,在軍事領域能夠實現(xiàn)對軍事目標的實時跟蹤,在智能交通方面可以對違規(guī)車輛進行跟蹤,在醫(yī)學方面能夠跟蹤研究微觀細胞等,其研究價值越來越高,也意味著所采用的算法要進一步優(yōu)化。魯棒性好和精確度高一直是衡量目標跟蹤算法是否適用的標準,因而需要找到高效、快速、穩(wěn)定的算法來應對復雜環(huán)境下的目標跟蹤。在未來的研究中需要進一步解決以下問題:
(1)對于目標遮擋或重疊問題,一直是視頻監(jiān)控和目標跟蹤的難點問題,尤其是在對多個運動目標的檢測和跟蹤上,以上算法的效果還存在缺陷,因而使用多個攝像機實現(xiàn)多方位監(jiān)控仍是目前最有效的手段。
(2)在背景復雜的情形下,采用多種方法結合的算法能夠有效解決目標運動軌跡變化的問題,但當目標停止運動或者緩慢運動時,會出現(xiàn)難以獲取穩(wěn)定背景模型的情況[11],給圖像的處理帶來困難。因而要綜合多方面因素來設計算法,既要滿足目標突變時的跟蹤,又能完成目標慢變化時背景模型的獲取。
[1] 李菊.復雜背景下的運動目標檢測與跟蹤[D].合肥:合肥工業(yè)大學,2015.
[2] 曹瑞,王敏,段瀟瀟.密集人群場景下的行人檢測與跟蹤[J].計算機與現(xiàn)代化,2017(1):75-78.
[3] 高瑞華.智能視頻監(jiān)控中運動目標檢測與跟蹤算法研究[D].南京:南京航空航天大學,2014.
[4] 鄒薇,趙勛杰,李權,等.一種基于運動檢測的行人多目標跟蹤算法[J].計算機應用與軟件,2014,31(8): 132-135.
[5] 江山,張銳,韓廣良,等.復雜背景灰度圖像下的多特征融合運動目標跟蹤[J].中國光學,2016,6(3):320-328.
[6] 肖亮,陳想,丁亮.一種改進的Mean Shift運動目標跟蹤算法[J].信息技術,2017(1):127-130.
[7] 張英,車進,牟曉凱,等.改進的Meanshift運動目標跟蹤算法[J].電視技術,2016,40(10):97-100.
[8] 王歡.復雜場景下的運動目標檢測與跟蹤研究[D].北京:北京理工大學,2015.
[9] 楊陽,陳淑榮.融合顏色與紋理特征的粒子濾波目標跟蹤[J].微型機與應用,2015,6(11):47-50.
[10] 楊戈,溫詩偉,黃靜.基于粒子濾波的視覺跟蹤器的設計與實現(xiàn)[J].電子技術應用,2013,39(11):142-144.
[11] 王紅茹,季鳴.一種新型的實效運動目標檢測與跟蹤方法[J].江蘇科技大學學報(自然科學版),2016,30(6):586-590.
Research of moving target tracking algorithms under complex background
Xu Lei, Liu Man, Peng Yueping
(Engineering University of PAP, Xi’an 710086, China)
TP391.4
A
10.19358/j.issn.1674- 7720.2017.18.005
徐蕾,劉曼,彭月平.復雜背景下視頻運動目標跟蹤算法研究[J].微型機與應用,2017,36(18):15-17.
2017-03-20)
徐蕾(1992-),女,在讀研究生,主要研究方向:作戰(zhàn)環(huán)境。
彭月平(1976-),男,博士,副教授,主要研究方向:數(shù)字信號處理。
劉曼(1991-),女,在讀研究生,主要研究方向:武警通信。