鄭嘉+趙潤
摘 要:視頻中的目標(biāo)檢測與跟蹤是視頻行為分析與行為識別的技術(shù)基礎(chǔ),該論文介紹了近10年來主流目標(biāo)檢測技術(shù)和目標(biāo)跟蹤技術(shù)的主要成果,對比了主流目標(biāo)跟蹤和目標(biāo)檢測技術(shù)的性能,并介紹了這兩項技術(shù)的未來發(fā)展方向。
關(guān)鍵詞:視頻信息;目標(biāo)檢測;目標(biāo)跟蹤;行為識別;行為分析
中圖分類號:TP391 文獻(xiàn)標(biāo)識碼:A 文章編號:2095-1302(2017)04-00-03
0 引 言
在視頻中人或運動物體行為理解的整個流程中,運動目標(biāo)的檢測與跟蹤非常關(guān)鍵。通常一個視頻監(jiān)控系統(tǒng)大體可分解為四個不同的功能單元,即目標(biāo)檢測,搜索系統(tǒng)感興趣的目標(biāo)區(qū)域;目標(biāo)跟蹤,捕獲感興趣區(qū)域的運動軌跡;目標(biāo)分類,將被跟蹤目標(biāo)分為人,汽車或其他移動物體;目標(biāo)行為識別,對跟蹤目標(biāo)進(jìn)行行為識別。目標(biāo)檢測作為視頻監(jiān)控的前提,屬于低層次的視覺問題,目前己有多種較為成熟的算法。而目標(biāo)跟蹤作為視頻監(jiān)控最基本的功能屬于中等層次的視覺問題,是當(dāng)前制約視頻監(jiān)控系統(tǒng)性能的主要瓶頸之一。
1 主流的目標(biāo)檢測方法介紹
1.1 背景分割法
背景分割法適用于運動場景固定且比較簡單的場合,通過建立背景模型,用圖像序列的特征參數(shù)與背景模型比較,分割出背景和前景,從而得到運動對象。背景差分圖像的主要原理是通過現(xiàn)有圖像對比已知背景圖像,且背景圖像中不含任何感興趣的對象,是背景模型[1]。該對比過程被稱為前景檢測。該過程將觀測圖像分為兩個互補(bǔ)的像素集合,可覆蓋全部圖像,包括感興趣的運動對象及前景與前景的補(bǔ)集,即背景。
背景減除法最大的缺陷是,沒有成熟和高性能的規(guī)則來定義前景區(qū)域和對象,因此其使用范圍受限。有許多背景減除算法是針對特定需求提出來的,因此對模型和分割策略也提出了特殊要求。如文獻(xiàn)[2],它必須適用于平緩或快速的光照變化,場景運動變化,復(fù)雜的背景或背景變化。由于部分場合要求由硬件承擔(dān)背景減除功能,因此算法負(fù)載成為最基本的要求。對于戶外視頻監(jiān)控系統(tǒng)而言,算法對噪聲的魯棒性以及算法對光照變化的適應(yīng)能力是最基本的要求。
1.2 相鄰幀間差分法
該方法選擇相鄰的兩幀進(jìn)行比對,選擇參數(shù)可以是直方圖,也可以是亮度或其他圖像的特征參數(shù),兩個相鄰的圖像幀進(jìn)行減法運算,結(jié)果的矩陣值與預(yù)設(shè)的閾值進(jìn)行比較,通過差的絕對值與閾值大小來判斷是否有運動。在這個原理的框架下有更多的改進(jìn)算法被提出,比如基于亮度假設(shè)檢驗和高階統(tǒng)計量的相鄰幀差法等[3]。
幀間差分法的優(yōu)點在于可以很好地適用于存在多個運動物體,或者當(dāng)攝像機(jī)移動的情況。但是該方法對噪音干擾的魯棒性較差。
1.3 光流法
光流法(Optical Flow or Optic Flow)通過檢測圖像像素點的強(qiáng)度隨時間的變化情況來推斷物體的移動速度及方向。對于每個像素點,每一個時刻均有一個二維或多維的向量集合,如(x,y,t),表示指定坐標(biāo)在t點的瞬時速度。設(shè)I(x,y,t)為t時刻(x,y)點的強(qiáng)度,在很短的時間Δt內(nèi),x,y分別增加Δx,Δy,則光流變化的情況如公式(1)所示:
1.4 統(tǒng)計法
統(tǒng)計法通過建立統(tǒng)計模型來區(qū)分前景和后景。在魏波[4]的文章中,場景的統(tǒng)計,前景和后景的分布情況統(tǒng)計被作為基礎(chǔ),建立了間斷點的分布模型,此模型被用來實現(xiàn)運動目標(biāo)的檢測。王長安,朱善安[5]在其論文中提出了改進(jìn)的GVF-Snake模型與統(tǒng)計模型融合的算法思想,實驗表明,融合后的方法結(jié)合了GVF-Snake與統(tǒng)計模型的各自優(yōu)點,對靜態(tài)背景的目標(biāo)檢測有很好的效果。各種文獻(xiàn)資料都表明,統(tǒng)計法適合在復(fù)雜場景中檢測運動對象,且算法的時間復(fù)雜度低,易于硬件實現(xiàn),但由于檢測效果受先驗知識的影響,統(tǒng)計法的準(zhǔn)確度并不高。
1.5 小波法
數(shù)學(xué)界有一種公認(rèn)的提法,即小波分析是近代數(shù)學(xué)的一項重要成就,它已經(jīng)發(fā)展成為一個新的數(shù)學(xué)分支,是多學(xué)科結(jié)合的產(chǎn)物,包括泛函數(shù)值計算、Fourier變換等,是一種多尺度,多分辨的分析技術(shù),在信息融合、語音處理、信號處理、大氣模型、地震預(yù)測等諸多領(lǐng)域都有著廣泛的使用價值,在目標(biāo)檢測方面亦有廣闊的應(yīng)用。在李紅艷[6]的文獻(xiàn)中,Haar小波變換的低Signal-to-Noise微小目標(biāo)檢測方法被提出,仿真實驗結(jié)果表明,李紅艷提出的方法可以有效提高目標(biāo)的Signal-to-Noise。小波分析的優(yōu)勢在于檢測復(fù)雜場景下的微弱目標(biāo),但大規(guī)模成熟應(yīng)用的情況還比較少。
2 主流的目標(biāo)檢測方法性能比較
幾種典型目標(biāo)檢測方法的性能比較情況見表1所列[7-10]。
3 主流的目標(biāo)跟蹤方法介紹
目標(biāo)跟蹤是機(jī)器視覺的關(guān)鍵功能步驟,在機(jī)器視覺的所有應(yīng)用領(lǐng)域,如視頻監(jiān)控,視頻壓縮,人機(jī)交互,醫(yī)學(xué)圖像處理等領(lǐng)域都是極具挑戰(zhàn)性的課題。目標(biāo)跟蹤除要在圖像序列中檢測出目標(biāo)外,還需要獲取目標(biāo)的位置、速度、運動軌跡、加速度等運動參數(shù),從而為下一步運動目標(biāo)的行為識別與理解提供技術(shù)參數(shù)。經(jīng)過多年的發(fā)展,出現(xiàn)了許多目標(biāo)跟蹤的方法,這些方法都各自有其優(yōu)缺點。
3.1 基于特征匹配的跟蹤方法
運動目標(biāo)總會有一些區(qū)別于其他事物的屬性,如幾何形狀,外形輪廓,子空間特征等屬性,這些屬性具有可靠性,獨立性,稀疏性和可區(qū)分性等特點,可被用作目標(biāo)跟蹤的依據(jù)。特征點提取是該算法的關(guān)鍵,目前常用的特征點提取算法有SIFT 算法,Kanade Lucas Tomasi(KLT)算法,Harris 算法及SURF 算法等。
3.2 基于貝葉斯的跟蹤方法
在文獻(xiàn)[11]中,二階AR模型被用來跟蹤目標(biāo)運動,一階AR模型被用來跟蹤目標(biāo)尺度變化,理論推導(dǎo)和仿真實驗顯示,一階、二階融合的方法取得了較好的跟蹤效果。在貝葉斯跟蹤方法中,Kalman 濾波(KF)是最早被成熟應(yīng)用的方法,KF具有準(zhǔn)確預(yù)測平穩(wěn)運動目標(biāo)下一個時間點位置的特性,因此在彈道目標(biāo)跟蹤中有成熟的產(chǎn)品應(yīng)用。但KF的缺陷是只能處理線性高斯模型,雖然KF有各種改進(jìn)模型,但都不能處理非高斯非線性模型。