景 平 董 娜 景雪寧
(蘭州理工大學(xué) 蘭州 730050)
運動目標(biāo)跟蹤是計算機視覺領(lǐng)域內(nèi)的一個重要的研究內(nèi)容,它在交通監(jiān)控、視頻交互、行為分析等一些領(lǐng)域有著廣泛的應(yīng)用。目標(biāo)跟蹤技術(shù)主要由三個部分組成:1)目標(biāo)的特征提取,如何從目標(biāo)的圖片信息中提取出能夠顯著性表達(dá)目標(biāo)特點的信息特征;2)外觀模型,外觀模型的作用是在當(dāng)前幀中判決候選圖像區(qū)域是被跟蹤目標(biāo)的可能性;3)目標(biāo)運動位置預(yù)測,其通過描述幀與幀目標(biāo)運動狀態(tài)之間的關(guān)系,預(yù)測出下一幀的目標(biāo)所處位置的可能區(qū)域[1]。
起初人們采用全局直方圖來表示目標(biāo)特征信息,利用直方圖之間的巴氏距離來判斷圖像塊的匹配關(guān)系,但是用直方圖來表示圖像特征只能描述特征元素在整幅圖像特征中所占的比例關(guān)系,忽略了特征元素所處的空間位置,因此該特征模型不能完整反映目標(biāo)的信息。為了應(yīng)對上述問題,學(xué)者們在構(gòu)建外觀模型時加入了分塊-聯(lián)合機制[2~3]。在應(yīng)對復(fù)雜背景下的目標(biāo)跟蹤問題,人們又利用判別分類法去描述目標(biāo)外觀,例如Helmut在文獻(xiàn)[4]中提到的Boosting算法,該算法基本思想為:針對同一個訓(xùn)練集訓(xùn)練不同的分類器(弱分類器),然后把這些弱分類器集合起來,構(gòu)成一個更強的最終分類器(強分類器),但是采用該分類器處理跟蹤問題時運行幀率不能滿足實時性需求。為了解決計算復(fù)雜度大的問題,Zhang在文獻(xiàn)[5]中提出了快速壓縮跟蹤算法。該算法是通過對圖像信息降維處理方式來提取目標(biāo)特征信息,進而實現(xiàn)高效的跟蹤,但是經(jīng)過這樣處理會使得所構(gòu)建的外觀模型不能精確地描述目標(biāo)細(xì)節(jié)信息,容易在處理背景雜波干擾的跟蹤問題就會出現(xiàn)錯誤匹配現(xiàn)象。隨后,有學(xué)者[6]將稀疏矩陣模型用在跟蹤領(lǐng)域,該模型利用目標(biāo)模板和瑣碎模板來構(gòu)建目標(biāo)外觀模型,與此同時還有人提出多實例學(xué)習(xí)算法[7]和TLD算法[8],這些算法相較于之前有著很大的進步,但還需進一步的完善和改進。最近神經(jīng)網(wǎng)絡(luò)[9~11]在跟蹤領(lǐng)域引來廣泛的關(guān)注,該方法借鑒人類視覺神經(jīng)的層級結(jié)構(gòu)作為訓(xùn)練模型,通過一層層的組合優(yōu)化來反映圖像的分布特征,然而該方式用于處理數(shù)據(jù)信息需要消耗大量的時間資源,不能滿足跟蹤的實時性要求。文獻(xiàn)[12~15]應(yīng)用到極限學(xué)習(xí)機算法來處理視頻的跟蹤問題,該算法是Huang在文獻(xiàn)[16]中提出的一種前饋神經(jīng)網(wǎng)絡(luò)算法,由于其隱層參數(shù)是隨機給定,隱藏層到輸出層的權(quán)值通過最小二乘法求解得到,因此該方法有較高的計算效率。在線極端學(xué)習(xí)機是一種基于極端學(xué)習(xí)機的增量學(xué)習(xí)方法,它不需將所有計數(shù)據(jù)代入計算,只需在原有數(shù)據(jù)的基礎(chǔ)上增量學(xué)習(xí)當(dāng)前幀的數(shù)據(jù),因此在線更新過程沒有太大的計算負(fù)擔(dān)。
關(guān)于目標(biāo)位置預(yù)測,滑動窗口算法[17]采用的是窮盡式搜索方法,它需用不同尺寸的窗口多次遍歷整個圖像區(qū)域,采用該方式進行搜索定位會搜集到大量含有背景雜波的候選目標(biāo)樣本,這將會大大增加檢測失敗的概率。Meanshift算法[18~20]是通過概率密度的梯度爬升尋求局部最優(yōu)的方式來實現(xiàn)目標(biāo)位置的預(yù)測,然而其在目標(biāo)的搜索定位過程容易陷入局部最優(yōu),導(dǎo)致目標(biāo)位置預(yù)測失敗。為了應(yīng)對復(fù)雜環(huán)境下的目標(biāo)跟蹤問題,后來人們將卡爾曼濾波算法[21~22]應(yīng)用于目標(biāo)位置預(yù)測,卡爾曼濾波算法是kalman于1960年提出,其通過已有物體位置的觀察序列(可能有偏差)預(yù)測出物體的位置的坐標(biāo)及速度。因為卡爾曼濾波算法較適合帶有高斯噪聲的線性系統(tǒng),所以,該算法對于復(fù)雜環(huán)境下的非線性系統(tǒng)的搜索定位問題不能很好的解決。為了應(yīng)對該問題,后面人們將粒子濾波算法[23~24]引入到目標(biāo)跟蹤領(lǐng)域。該算法是采用蒙特卡洛方法來近似狀態(tài)空間模型,即利用有限的粒子近似的運動狀態(tài)空間。雖然該算法對于運動狀態(tài)變化較慢的目標(biāo)能夠較好的應(yīng)對,但是對于運動狀態(tài)變化迅速的目標(biāo)定位問題存在很大的滯后性。
基于上述理論,本文從特征信息提取、運動模型構(gòu)建、外觀模型更新三個方面著手來提高視頻運動目標(biāo)的跟蹤精度。為了減少計算量同時還能提取出圖片中價值容量大的信息,提出了梯度稀疏矩陣來提取圖片的顏色特征信息,該方式利用一定閾值來精分各像素處的梯度幅值,然后將大于閾值處的九鄰域內(nèi)的零矩陣置一來獲得梯度稀疏矩陣。然后針對復(fù)雜環(huán)境下存在大量的背景雜波問題和目標(biāo)運動狀態(tài)多變問題,本文采用改進煙花算法對目標(biāo)運動位置進行更精確的預(yù)測,該算法不同于傳統(tǒng)煙花算法采用固定的爆炸半徑參量,而是在此基礎(chǔ)上考慮了目標(biāo)運動多變的情況,將目標(biāo)的運動速率量加入到煙花爆炸半徑參數(shù)中,進而使得煙花的爆炸半徑能夠隨著目標(biāo)的運動速度變化情況動態(tài)的進行調(diào)整,同時為了防止煙花多樣性問題造成的煙花種群收斂于與目標(biāo)具有相似外觀的雜波信息處,該算法利用煙花的置信度方差特征來調(diào)節(jié)煙花的變異概率,進而將煙花的多樣性控制在合理范圍內(nèi),提高位置的預(yù)測精度。為了應(yīng)對目標(biāo)形變問題,本文提出了動態(tài)更新機制,該方式是利用相鄰幀間目標(biāo)的置信度變化率來調(diào)整更新樣本的數(shù)目,然后利用在線極限學(xué)習(xí)機算法來增量學(xué)習(xí)相應(yīng)數(shù)目的樣本信息。為了驗證該跟蹤技術(shù)的可行性,本文將該跟蹤器在公共數(shù)據(jù)集OTB上進行測試,通過實驗表明本文算法不僅兼顧跟蹤的實時性而且擁有較高的跟蹤精度。
為了使得提取到的圖片特征信息保留了顏色的空間特征,同時還能夠降低數(shù)據(jù)的計算維度,本文提出了一種利用梯度稀疏矩陣的方式提取顏色信息。其實現(xiàn)原理為:通過將梯度突變處(梯度幅值大于設(shè)定閾值的矩陣位置)九鄰域內(nèi)的零矩陣置1的方式來生成梯度稀疏矩陣,然后利用邊緣稀疏矩陣來提取圖片的特征信息,得到顏色梯度矩陣。具體的實現(xiàn)步驟如下所示。
1)計算稀疏梯度矩陣
首先,對圖片進行伽馬校正,解決光線分布不均的問題,同時提取H通道的顏色矩陣。
然后,計算每個像素的水平和垂直梯度值,進而得到每個像素的梯度幅值,具體的計算公式如式(1)、(2)、(3)所示:
上式中Gx(x,y),Gy(x,y)表示顏色矩陣(x,y)處的水平和垂直方向的梯度值,f(x-1,y),f(x+1,y),f(x,y-1)f(x,y+1)表 示 圖 片(x-1,y),(x+1,y),(x,y-1),(x,y+1)處的像素值,G(x,y)表示像素(x,y)處的梯度幅值。
之后利用每個像素的梯度幅值來判斷圖片中物體的邊緣輪廓分布,將邊緣輪廓處九鄰域內(nèi)數(shù)值置1,進而得到梯度稀疏矩陣,具體的實現(xiàn)公式見式(4):
上式中Im,n為m行n列的零矩陣,該矩陣的維數(shù)與顏色矩陣相同,δ表示精分梯度幅值的閾值。上式通過將梯度幅值大于閾值δ處像素的9領(lǐng)域內(nèi)零矩陣數(shù)值置1來獲得梯度稀疏矩陣。
2)提取特征信息
計算得到梯度稀疏矩陣后,利用稀疏矩得到兼具邊緣輪廓信息的顏色梯度矩陣,如下式所示:
當(dāng):
A表示在圖片提取到的基于HSV空間的H通道的顏色矩陣,B表示利用梯度稀疏矩陣提取的顏色梯度矩陣。為了使得提取的圖片信息對小范圍光線變化和微小形變具有一定魯棒性,本文學(xué)習(xí)借鑒了提取HOG特征的處理方式,將圖片矩陣進行局部區(qū)域標(biāo)準(zhǔn)化。
首先將顏色梯度矩陣劃分為若干個不重疊的4*4像素的cell,提取每個cell的顏色梯度向量;然后將局部cell放入block中依據(jù)對比度大小進行歸一化,此處的block大小為2×2個cell,block與block之間有重疊,且block的移動步長為8個像素,標(biāo)準(zhǔn)化后得到每個block的顏色梯度向量;最后為了得到整個矩陣的顏色梯度向量,將一個個block向量連接起來。
1)極端學(xué)習(xí)機構(gòu)建初始幀外觀模型
通過前面的處理已獲得正負(fù)樣本的特征向量[Xp1,Xp2,…,Xpn,XN1,XN2,…,XNk]T及其 對應(yīng) 的觀測值[YP1,YP2,…,YPn,YN1,YN2,…,YNk],根據(jù)極限學(xué)習(xí)機的訓(xùn)練公式可以計算得到輸出權(quán)重矩陣β,具體表示如式(6)、(7)、(8)所示:
其中:
其中:
其中wi,bi表示輸入層和隱層之間的權(quán)重向量和偏置向量,它是隨機生成的。G(.)表示激活函數(shù),H表示隱層的輸出矩陣,H?為H的廣義轉(zhuǎn)置。
2)動態(tài)在線極限學(xué)習(xí)機更新分類器
動態(tài)在線極限學(xué)習(xí)機包括兩個部分:動態(tài)更新機制和在線極限學(xué)習(xí)機。動態(tài)更新機制用于確定更新目標(biāo)外觀模型的正樣本的數(shù)目,通過這種方式不僅能夠滿足外觀模型中納入更多目標(biāo)的實時信息,同時還能免得造成由更新不足或納入太多錯誤信息引起的分類精度降低的情況。在確定更新樣本的數(shù)目后,利用在線極限學(xué)習(xí)機對這些樣本進行增量學(xué)習(xí),完成對分類器的更新。
在第t幀中用來更新外觀模型的正樣本數(shù)目Ntp(其中包含10個靜態(tài)樣本,該樣本是從初始幀隨機抽取的10個正樣本),隨著目標(biāo)的置信度值的改變而動態(tài)調(diào)整,具體表現(xiàn)為:
MaxPt(Xi)代表在第t幀候選目標(biāo)圖像塊中最大的置信度值,其反映的是第t幀外觀模型對目標(biāo)外觀的模擬能力。目標(biāo)的置信度值變化率越大說明目標(biāo)外觀模型的更新不能適應(yīng)目標(biāo)的外觀變化,因此需增加正樣本的數(shù)目,使得分類器的更新速度和目標(biāo)的外觀變化持平。并且通過試驗得到相鄰兩幀的目標(biāo)函數(shù)差值比率小于0.05時,目標(biāo)的外觀變化與相鄰兩幀目標(biāo)的函數(shù)差值比率呈正相關(guān)。而當(dāng)其差值比率大于0.05,目標(biāo)跟蹤失敗的概率較大,因此為防止在外觀模型中引入太多錯誤信息,需要將正樣本的采集數(shù)目減少為20。
提取到目標(biāo)的正負(fù)樣本后,利用2.1節(jié)所述方法來獲得每個樣本的顏色梯度向量[Xp1,Xp2,…,XNtp,XN1,XN2,…,XNk]T及各訓(xùn)練樣本所對應(yīng)的期望值矩陣,根據(jù)在線極限學(xué)習(xí)機的更新原理可以得到其更新后的輸出權(quán)重矩陣如下:
其中:
這里增量學(xué)習(xí)樣本的隱層輸出矩陣Ht通過公式(15)計算得到。
對運動狀態(tài)多變的運動物體的搜索定位不僅需要有較高的收斂能力,同時還要兼顧全局的搜索能力,使得當(dāng)物體保持有規(guī)律的狀態(tài)運動時,能夠收斂于一定區(qū)域內(nèi),降低匹配識別的壓力,而當(dāng)物體發(fā)生突變時,能夠擴大搜索范圍來搜尋目標(biāo)的位置,基于此本文利用煙花爆炸算法[25]的可控的爆炸搜索模式來預(yù)測目標(biāo)的位置。為了使得該搜索定位方式能夠較好的解決目標(biāo)跟蹤問題,本文對煙花算法的爆炸算子和變異策略進行改進,具體措施如下。
1)爆炸算子
由于傳統(tǒng)的煙花算法的爆炸半徑參數(shù)為固定不變的常量,其不能較好地應(yīng)對運動目標(biāo)狀態(tài)突變的情況,因此需要加入目標(biāo)的運動速率參數(shù)來調(diào)整每幀中爆炸半徑大小。同時傳統(tǒng)煙花算法的爆炸算子的計算方式不太適應(yīng)跟蹤問題的解決,本文采用粒子濾波算法的權(quán)值思想將適應(yīng)度值的差值差異化運算改成權(quán)值比例運算,其具體的實現(xiàn)方式如下。
爆炸半徑:煙花的爆炸半徑由目標(biāo)運動速率以及煙花置信度值權(quán)重共同決定。其計算方式如式(16)所示:
其中:
其中Ai為第i個煙花的爆炸半徑,為目標(biāo)運動速率,其中(xt,yt),(xt-1,yt-1)為相鄰兩幀間目標(biāo)的中心坐標(biāo),k為調(diào)整半徑大小的常量參數(shù)。Pt(Xi)為第t幀第i個煙花的置信度值。
爆炸火花數(shù):煙花的爆炸火花數(shù)與該煙花的適應(yīng)度值在煙花種群中所占權(quán)重成正比。其計算方式如式(17)所示:
其中Si為第i個煙花生成預(yù)測煙火的數(shù)目,M為調(diào)整預(yù)測煙火數(shù)目大小的常量參數(shù),Pt(Xi)為第t幀第i個煙花的置信度值。
2)煙花選擇策略
根據(jù)目標(biāo)運動的連續(xù)性,相鄰幀之間的目標(biāo)的位移較小。因此為了提高搜索精度,我們應(yīng)該預(yù)留50%*Q個置信度較優(yōu)的煙火作為預(yù)留煙火,以保證目標(biāo)附近擁有足夠的煙花火種。其余的50%*Q個預(yù)留煙火通過輪盤賭法來在煙花種群里獲得,來增加煙花多樣性,防止目標(biāo)狀態(tài)突然改變或目標(biāo)運動過快,導(dǎo)致漏搜現(xiàn)象。
3)煙花變異策略
為了增加煙花的多樣性,跳出持續(xù)跟蹤錯誤物體的死循環(huán),本文應(yīng)用變異策略來解決該現(xiàn)象。其通過判斷候選目標(biāo)置信度值的方差值來確定每個煙火變異的概率,方差值越小說明候選樣本間的區(qū)分度較小,煙花的多樣性不足,因此需要提高煙火多樣性,因此給于較大的概率來生成變異火花;反之亦然。具體表現(xiàn)為
當(dāng):
獲得變異的概率后,選定要變異的煙火進行變異操作,具體實現(xiàn)見下式:
式(21)中xF,yF表示煙火矩形框的中心坐標(biāo),k表示常量參數(shù),g表示高斯噪聲,g~N(1,1)表示g服從均值為1,方差為1的高斯分布。
4)搜索框的尺度調(diào)整
為了提高的匹配精度,搜索矩形框的尺度應(yīng)隨著目標(biāo)的大小的變化進行調(diào)整。其調(diào)整方式為
式(23)中Rectt.h eight,Rectt.width表示第t幀第i個煙火的跟蹤矩形框的高度和寬度,scale表示尺度調(diào)節(jié)參數(shù),scale服從-0.2~0.2的均勻分布。
算法:OSELM-FWA跟蹤算法
輸入:帶有初始狀態(tài)s0的視頻圖像f0,f1,...,fn
3.按照2.2節(jié)所述,計算ELM網(wǎng)絡(luò)輸出層的初始輸出權(quán)重形成初始ELM分類器。
4.初始化M個位置圖像塊為煙花種群。
for每幀fi,i=2,3...n
1.獲取M個位置的候選樣本并根據(jù)2.1節(jié)所示提取特征。
2.根據(jù)公式Y(jié)=Hβ和置信度計算公式計算出每個候選樣本的置信度值Pt(Xi)。
3.對每個候選樣本按置信度值進行排序,置信度值最大的即為目標(biāo)。
4.根據(jù)2.3節(jié)所述方法來更新煙花種群。
5.根據(jù)式(16)、(17)計算爆炸半徑和爆炸火花數(shù)目,通過爆炸搜索獲得個位置,并獲得其對應(yīng)位置的候選目標(biāo)樣本。
6.在目標(biāo)周圍采集正負(fù)樣本來更新外觀模型,具體更新方式如2.2小節(jié)介紹。
輸出:標(biāo)識出視頻中要跟蹤的目標(biāo)。
本部分首先展示本文算法與其他8個較優(yōu)算法的跟蹤效果圖,隨后利用評價方法來評估本文算法和其他算法的跟蹤精度,并展示這9個算法的跟蹤精度圖。進行對比試驗的8個算法包括CT算法、TLD算法、IVT算法、DFT算法、ASLA算法、L1APG算法、ORIA算法、MTT算法。
試驗是在引入OpenCV2.4.9庫文件的Visual C++2010上進行編程實現(xiàn)的,電腦硬件配置為Intel(R)3.4GHz CPU,4 GB RAM,Win7×86系統(tǒng),本文的跟蹤結(jié)果測試是在OTB數(shù)據(jù)集上進行。
單個視頻試驗很難全面地說明算法的有效性,因此本文為了評估算法能否應(yīng)對視頻目標(biāo)跟蹤中的常見關(guān)鍵性難題,如背景雜波問題、運動模糊問題、部分遮擋問題、姿態(tài)變化問題等,我們對8個包含不同場景的視頻進行跟蹤試驗。本文次實驗的視頻資源和數(shù)據(jù)資源都來自于OTB標(biāo)準(zhǔn)數(shù)據(jù)集。表1展示的是本文所用視頻信息的基本資料和存在的跟蹤試驗關(guān)鍵難題。下述8個視頻包含視頻目標(biāo)跟蹤中的常見關(guān)鍵難題,因此通過跟蹤處理該視頻圖像能夠全面評估算法的有效性。
表1 視頻屬性表格
參數(shù)設(shè)定也是影響算法實現(xiàn)目標(biāo)跟蹤關(guān)鍵因素,因此下面給出通過實驗得到的合理參數(shù):各視頻第一幀目標(biāo)的初始位置是來自于數(shù)據(jù)集OTB中的初始狀態(tài)數(shù)據(jù),初始分類器建立需要搜集250個正樣本、280個負(fù)樣形成訓(xùn)練數(shù)據(jù)集,并且初始幀還需初始化100個位置的圖像塊為煙火集,后續(xù)幀中我們每幀保留的預(yù)留煙火數(shù)目為20。在搜索定位中爆炸半徑的計算用到的參數(shù)A=150,爆炸火花數(shù)目計算參數(shù)M=150。并且確定煙火變異概率時所用到的閾值δ=0.008,α=0.003,為了兼顧跟蹤精度和跟蹤效率,本章神經(jīng)節(jié)點的個數(shù)取L=150。在提取特征時,我們將候選目標(biāo)樣本調(diào)整為32×32像素的圖像,每個cell大小為4×4,其中2×2個cell組成一個block。
圖1顯示的是各算法對singer1、Soccer、Dog1、Shaking、Boy、Car4、Bolt、Trellis這8個視頻的部分跟蹤效果圖。其中ASLA算法的跟蹤效果圖,通過singer1、Shaking、Trellis三個視頻跟蹤表現(xiàn)顯示ASLA算法在處理光線變化問題時在有著明顯的優(yōu)勢。通過Soccer視頻的第155幀的跟蹤結(jié)果顯示該算法在處理背景雜波和部分遮擋時不能精確的跟蹤目標(biāo),并且該算法在跟蹤Bolt和Boy視頻中的目標(biāo)時,其在后面的視頻幀中出現(xiàn)完全跟丟目標(biāo)的現(xiàn)象,說明該算法在應(yīng)對快速運動和大的形變問題時,存在較大的缺陷。圖中ORIA算法的跟蹤結(jié)果,通過其對視頻Singer1、Dog1的跟蹤結(jié)果顯示,該算法能夠應(yīng)對單存的光線變化和尺度變化問題,當(dāng)出現(xiàn)目標(biāo)的大尺度形變和快速運動問題時,其就會出現(xiàn)偏移目標(biāo)的現(xiàn)象,如Bolt和Boy視頻的跟蹤結(jié)果截圖顯示。盡管CT和TLD應(yīng)用了一些在線更新機制去學(xué)習(xí)目標(biāo)的外觀,但是在遇到較大的姿態(tài)變化(Bolt)問題或者遮擋問題(e.g Soccer)時,依然存在跟丟現(xiàn)象。IVT算法通過對Singer1、Dog1、Boy、Car4和Trellis視頻的跟蹤效果顯示,其能夠從始至終精確的定位目標(biāo),說明該算法能夠處理尺度變化、較小形變、快速運動及光線變化問題,但是當(dāng)存在如視頻Soccer較大面積的部分遮擋和雜波問題和大尺度的形變問題(e.g Bolt、Shaking)就出現(xiàn)丟失目標(biāo)的現(xiàn)象。DFT算法能夠很好地定位快速運動的(e.g Boy)目標(biāo)及存在較小光線變化場景下的運動物體,然而在處理尺度變化(e.g Singer 1)、大區(qū)域的遮擋(e.g Soccer)、較大形變(e.g Bolt)問題時表現(xiàn)較差。MTT算法在跟蹤視頻Shaking時能夠穩(wěn)定的跟蹤目標(biāo),而對于形變較大(e.g Bolt)和移動過快(Bolt)的運動目標(biāo),存在魯棒性差的特點。L1APG算法能夠?qū)σ曨lTellis、Singer1和Dog1自始至終進行定位跟蹤,對于其他的視頻就會存在很大的偏移現(xiàn)象。
圖1 基于8個視頻的跟蹤效果圖
通過比較能夠看出本文算法相較與其他8個算法在應(yīng)對光線變化、姿態(tài)變化、部分遮擋、移動模糊等關(guān)鍵難題時有著明顯的優(yōu)勢,本文算法表現(xiàn)良好的原因主要歸因于以下三方面:1)從特征提取方面,本文算法的特征提取方式是采用梯度稀疏矩陣來提取圖片信息,使提取的特征信息不僅包含顏色信息而且還兼顧圖片的輪廓分布特點;因此,該特征能夠顯著的表達(dá)圖片的信息,并且在提取特征時,我們采用分區(qū)域提取,能夠一定程度上解決區(qū)域光線變化、較小變形等問題。2)從分類器構(gòu)建與更新方面,本文采用動態(tài)更新策略來更新分類器,使得分類器不僅能夠隨著目標(biāo)外觀變化進行實時更新,而且還能防止在外觀模型分類器模型里引入太多非目標(biāo)信息,基于此構(gòu)建的分類器才能較好的分類出目標(biāo)和背景信息。3)在運動模型構(gòu)建方面,采用改進煙花算法進行搜索定位。該運動模型在搜索定位時,考慮了運動狀態(tài)的變化情況利用運動速率量來調(diào)整爆炸半徑參數(shù),進而能夠保證煙花種群能夠較好地收斂于目標(biāo)所在區(qū)域,并且本文還通過預(yù)測煙火置信度的方差值來調(diào)節(jié)預(yù)測煙火的變異的概率,來保持煙花的多樣性,避免出現(xiàn)漏搜現(xiàn)象。
為了更好地評價各算法的跟蹤質(zhì)量,本文采用了重疊率(VOR)來對跟蹤結(jié)果進行評價,該方法能夠很好的評估跟蹤的整體性能。式(24)為顯示的是重疊率計算公式:
這里的RT代表跟蹤結(jié)果矩形框,RG指相應(yīng)的標(biāo)準(zhǔn)標(biāo)定框。當(dāng)VOR大于指定的閾值時,表示本幀跟蹤成功。假定有跟蹤視頻,其視頻幀數(shù)用length表示,并且定義該視頻第t幀的跟蹤VOR值用Q(t)表示,設(shè)定成功率為S(τ),τ為重疊率閾值,則該視頻的成功率計算公式如下:
單獨的重疊率來評價跟蹤結(jié)果不能全面反映各算法表現(xiàn),因此下面我們用中心偏差值來評價各算法跟蹤精度。該方法是通過判斷跟蹤結(jié)果矩形框的中心坐標(biāo)與標(biāo)準(zhǔn)標(biāo)定框的中心坐標(biāo)之間的距離,其計算公式如式(26)所示:
上式中D(t)表示第t幀跟蹤結(jié)果矩形框中心坐標(biāo)與標(biāo)準(zhǔn)標(biāo)定矩形框的中心坐標(biāo)之間的距離,xt,yt表示該幀跟蹤框中心坐標(biāo)的橫縱坐標(biāo),xg_t,yg_t表示標(biāo)準(zhǔn)標(biāo)定框的中心坐標(biāo)的橫縱坐標(biāo)。當(dāng)D(t)小于指定閾值時表示本幀跟蹤成功。則其計算公式如式(27)所示:
本文根據(jù)上述評價方法來生成各算法的跟蹤成功率對比圖和跟蹤精度對比圖,如下圖所示。左圖Success plots of OPE為跟蹤的成功率評價圖,圖中橫軸表示重疊率閾值,縱軸對應(yīng)該重疊率閾值的成功率值;右圖Precision plots of OPE為跟蹤精度評價圖,圖中橫軸表示中心偏差閾值,縱軸對應(yīng)該閾值的成功率值。圖2是我們繪制出的8個視頻的總的成功率圖和精度圖,本文算法OSELM_FWA用紅色曲線表示,可以看出本文算法無論是采用重疊率的評價方式還是中心偏差的評價方式,其綜合跟蹤精度表現(xiàn)良好。圖3~圖9為該評價方法基于單個跟蹤難題的跟蹤效果評價圖,從圖中能夠看出本文跟蹤算法在應(yīng)對背景雜波、平面內(nèi)外旋轉(zhuǎn)、光線變化、部分遮擋、快速運動和運動模糊問題時其跟蹤成功率在一定范圍內(nèi)(評價指標(biāo)在設(shè)定的閾值范圍內(nèi))趨近于1,相較于幾種傳統(tǒng)算法有一定優(yōu)勢。
圖2 總體成功率圖和精度圖
圖3 基于背景雜波單項問題跟蹤效果評價圖
圖9 基于運動模糊單項問題跟蹤效果評價圖
圖4 基于平面內(nèi)旋轉(zhuǎn)單項問題跟蹤效果評價圖
圖5 基于平面外旋轉(zhuǎn)單項問題跟蹤效果評價圖
圖6 基于光線變化單項問題跟蹤效果評價圖
圖7 基于部分遮擋單項問題的跟蹤效果評價圖
圖8 基于快速運動單項問題跟蹤效果評價圖
跟蹤精度和跟蹤效率是驗證跟蹤算法可行的兩個關(guān)鍵因素,前面圖表已經(jīng)詳細(xì)說明算法的跟蹤效果和精度,下面需要說明本文算法的跟蹤效率。表2展示各算法的處理幀率,其中本文算法OSELM-FWA的幀率為22,其跟蹤效率不如CT算法的幀率36和IVT算法的幀率26,但是優(yōu)于多數(shù)的對比算法的效率。因此,本文算法的處理效率還是在可接受的范圍。
表2 算法跟蹤速度對比表平均FPS幀/s
為了解決復(fù)雜背景下的視頻目標(biāo)跟蹤問題,本文提出一種融合極限學(xué)習(xí)機算法和改進煙花算法的混合式目標(biāo)跟蹤技術(shù)。在特征提取方面,該算法利用梯度稀疏矩陣來獲得圖片特征,并應(yīng)用分區(qū)域的信息提取方式來提取完整的圖片信息。在分類構(gòu)建與更新方面,初始幀利用極限學(xué)習(xí)機來構(gòu)建初始分類器,后續(xù)幀中利用動態(tài)在線極端學(xué)習(xí)機來動態(tài)更新分類器。在運動模型方面,利用改進煙花算法的爆炸搜索方式來生成獲選目標(biāo)圖像塊。實驗表明,本文算法相較于其他跟蹤算法不僅擁有較高的跟蹤精度,而且還能兼顧跟蹤效率。