陸 兵，顧蘇杭,2

(1.常州輕工職業(yè)技術(shù)學(xué)院 信息工程學(xué)院，江蘇 常州 213164；2.江南大學(xué) 數(shù)字媒體學(xué)院，江蘇 無(wú)錫 214122)

0 引 言

復(fù)雜環(huán)境下由于存在與目標(biāo)顏色相似的物體[1]，且在跟蹤過(guò)程中易發(fā)生目標(biāo)形變、目標(biāo)旋轉(zhuǎn)以及目標(biāo)部分被遮擋[2-5]等，這些因素都會(huì)增加目標(biāo)檢測(cè)與跟蹤的難度。徐天陽(yáng)等[6]針對(duì)粒子濾波方法在狀態(tài)處理方面的實(shí)際效果并不理想的問(wèn)題，提出級(jí)聯(lián)多種特征濾除無(wú)效粒子以增強(qiáng)目標(biāo)跟蹤的有效性；劉海燕等[7]研究了復(fù)雜環(huán)境下的運(yùn)動(dòng)目標(biāo)跟蹤，將梯度特征與顏色特征進(jìn)行融合，解決了利用單一特征進(jìn)行跟蹤目標(biāo)易丟失的問(wèn)題；李艷荻等[8]利用目標(biāo)的輪廓及位置信息提取目標(biāo)特征塊，解決了復(fù)雜環(huán)境下的運(yùn)動(dòng)目標(biāo)檢測(cè)問(wèn)題，繼而通過(guò)特征塊匹配結(jié)合依據(jù)顏色特征序列自適應(yīng)更新背景實(shí)現(xiàn)動(dòng)態(tài)背景下的運(yùn)動(dòng)目標(biāo)跟蹤；黃奇等[9]在關(guān)聯(lián)相鄰幀目標(biāo)的基礎(chǔ)上融合顏色直方圖、HOG特征等多個(gè)目標(biāo)信息，魯棒地對(duì)目標(biāo)進(jìn)行全面表達(dá)，通過(guò)多次迭代關(guān)聯(lián)實(shí)現(xiàn)遮擋、目標(biāo)自身變形以及背景干擾等復(fù)雜環(huán)境下的多目標(biāo)跟蹤。

融合多種特征信息能夠從整體角度全方位地表達(dá)目標(biāo)，目標(biāo)檢測(cè)精確度可得到大幅提高，十分有利于實(shí)際場(chǎng)景中的目標(biāo)跟蹤。因此，根據(jù)上述幾種運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤策略，提出一種基于級(jí)聯(lián)特征的隨機(jī)森林運(yùn)動(dòng)目標(biāo)跟蹤算法。將經(jīng)主成分分析法降維后保留關(guān)鍵信息的目標(biāo)ASIFT特征與目標(biāo)輪廓信息進(jìn)行級(jí)聯(lián)，并將級(jí)聯(lián)特征作為正樣本經(jīng)訓(xùn)練生成隨機(jī)森林以分類后續(xù)序列圖像中的目標(biāo)和背景特征，能夠從復(fù)雜背景中精確地檢測(cè)出目標(biāo)，為后續(xù)實(shí)現(xiàn)穩(wěn)定跟蹤目標(biāo)提供前提；利用CamShift算法對(duì)檢測(cè)出的目標(biāo)進(jìn)行跟蹤，將目標(biāo)搜索窗口中的少量背景特征作為負(fù)樣本并進(jìn)行訓(xùn)練更新隨機(jī)森林，下一幀序列圖像完成特征分類后刪除當(dāng)前幀負(fù)樣本對(duì)應(yīng)的決策樹可降低整體算法的運(yùn)算量；對(duì)目標(biāo)搜索窗口中的正負(fù)樣本特征進(jìn)行加權(quán)確定目標(biāo)質(zhì)心位置，不僅能夠有效地解決CamShift跟蹤算法目標(biāo)搜索窗口易發(fā)散的問(wèn)題，而且能夠有效地提高目標(biāo)跟蹤的穩(wěn)定性。

1 目標(biāo)檢測(cè)

1.1 PCA-ASIFT特征

ASIFT算法[10]是一種完全放射不變特征提取算法，與SIFT算法[11]相比，ASIFT算法中主要增加了對(duì)緯度、經(jīng)度方向的合理模擬，能夠在各種變換情況下提取數(shù)量相當(dāng)可觀的ASIFT特征。ASIFT特征是128維的向量，大量的特征計(jì)算勢(shì)必會(huì)影響目標(biāo)跟蹤的實(shí)時(shí)性。因此，文中在保證目標(biāo)檢測(cè)精度的基礎(chǔ)上利用主成分分析法(principal component analysis，PCA)對(duì)目標(biāo)ASIFT特征進(jìn)行降維[12]，生成目標(biāo)PCA-ASIFT特征。PCA在保留原有特征關(guān)鍵信息的前提下，旨在通過(guò)空間變換，將原有的樣本特征進(jìn)行線性變換投影到某一低維度、相互正交的空間中。

1.2 級(jí)聯(lián)特征

為了能夠利用更多的目標(biāo)信息以進(jìn)一步區(qū)分目標(biāo)和背景，更好地適應(yīng)復(fù)雜環(huán)境下的目標(biāo)跟蹤，在提取目標(biāo)PCA-ASIFT特征后級(jí)聯(lián)目標(biāo)輪廓中每個(gè)像素包含的位置信息以及每個(gè)像素到目標(biāo)質(zhì)心的距離。在目標(biāo)跟蹤過(guò)程中加入目標(biāo)質(zhì)心作為跟蹤信息，可提高CamShift跟蹤算法復(fù)雜環(huán)境下的抗干擾能力。為了能夠提取較為完整的目標(biāo)輪廓，混合使用活動(dòng)輪廓線模型(Snake模型)和Canny邊緣檢測(cè)算法。

最基本的Snake模型由Kass等提出[13]，典型的模型主要包括參數(shù)Snake模型和幾何Snake模型兩種[14]。Snake模型已成功用于計(jì)算機(jī)視覺(jué)圖像處理，可解決遮擋、光照變化以及目標(biāo)旋轉(zhuǎn)等多種復(fù)雜情況下的運(yùn)動(dòng)目標(biāo)輪廓提取，得到近似于目標(biāo)真實(shí)邊緣的連續(xù)且封閉的輪廓。Snake模型的主要思想是通過(guò)最小化輪廓曲線能量函數(shù)使得初定的目標(biāo)輪廓逐漸逼近目標(biāo)真實(shí)邊緣。

為了提取比較完整的目標(biāo)輪廓，得到豐富的目標(biāo)邊緣信息，混合使用Snake模型與Canny邊緣檢測(cè)算法[15]，將Canny算法檢測(cè)出的目標(biāo)邊緣作為Snake模型的初始輪廓，通過(guò)最小化輪廓曲線能量函數(shù)[14-15]生成較為完整的目標(biāo)輪廓。記錄當(dāng)前序列圖像中的目標(biāo)輪廓每個(gè)像素i的位置(xi,yi)以及與目標(biāo)質(zhì)心(xc,yc)之間的距離di，將這些信息與目標(biāo)PCA-ASIFT特征進(jìn)行級(jí)聯(lián)用于分類目標(biāo)與背景特征，以提高目標(biāo)檢測(cè)的精確度。

1.3 隨機(jī)森林分類器構(gòu)建

隨機(jī)森林(random forests，RF)分類器由Leo Breiman提出[16]，是一種由一系列弱分類器—決策樹(decision tree)組合而成的強(qiáng)分類器算法[17]，相比于經(jīng)典的機(jī)器學(xué)習(xí)模型—神經(jīng)網(wǎng)絡(luò)算法，隨機(jī)森林在不增加運(yùn)算量的前提下顯著提高了分類精度。在應(yīng)用隨機(jī)森林分類器進(jìn)行目標(biāo)與背景特征分類前需要先對(duì)樣本特征進(jìn)行訓(xùn)練，具體訓(xùn)練過(guò)程可參照文獻(xiàn)[17]，訓(xùn)練過(guò)程中應(yīng)注意到：目標(biāo)PCA-ASIFT特征維度為128，因此級(jí)聯(lián)后的特征維度為131；基于級(jí)聯(lián)特征的方法只需判斷目標(biāo)與背景兩類特征，因此隨機(jī)森林中的每棵決策樹只需這兩類特征的歸屬進(jìn)行投票。

2 目標(biāo)跟蹤

2.1 加權(quán)質(zhì)心

CamShift算法主要適用于目標(biāo)顏色較為單一或者目標(biāo)與背景顏色相差較大情況下的目標(biāo)跟蹤，因此在復(fù)雜環(huán)境下，由于時(shí)常存在目標(biāo)相似物、光照變化以及目標(biāo)遮擋等因素，目標(biāo)搜索窗口易發(fā)散而導(dǎo)致跟蹤失敗，CamShift算法并不能取得較好的運(yùn)動(dòng)目標(biāo)跟蹤效果[18]。針對(duì)該問(wèn)題，將采用加權(quán)的方式來(lái)計(jì)算每一幀序列圖像中目標(biāo)搜索窗口的質(zhì)心。

由于相鄰兩幀序列圖像時(shí)間間隔較小，背景變化較為緩慢，因此將當(dāng)前幀中確定的目標(biāo)搜索窗口包含的少量非目標(biāo)特征，作為負(fù)樣本進(jìn)行特征訓(xùn)練生成決策樹并更新隨機(jī)森林，待下一幀序列圖像檢測(cè)出運(yùn)動(dòng)目標(biāo)后，刪除這些決策樹以減少算法運(yùn)算量，提高跟蹤的實(shí)時(shí)性。為了能夠?qū)崿F(xiàn)穩(wěn)定跟蹤運(yùn)動(dòng)目標(biāo)，需計(jì)算當(dāng)前序列圖像目標(biāo)搜索窗口的加權(quán)質(zhì)心(xc,yc)，并將該質(zhì)心作為下一幀序列圖像初始值，即下一幀序列圖像目標(biāo)搜索窗口的中心(x0,y0)。其中，目標(biāo)搜索窗口的加權(quán)質(zhì)心計(jì)算過(guò)程如下：

(1)在顏色概率分布(反向投影)圖中確定當(dāng)前序列圖像目標(biāo)搜索窗口WS，根據(jù)目標(biāo)搜索窗口內(nèi)的正負(fù)樣本，其中正樣本由目標(biāo)級(jí)聯(lián)特征構(gòu)成，負(fù)樣本由目標(biāo)搜索窗口內(nèi)非目標(biāo)特征構(gòu)成，分別賦予正負(fù)樣本權(quán)重WP、WB，有：

(1)

為了使計(jì)算出的當(dāng)前序列圖像目標(biāo)搜索窗口的質(zhì)心更貼近于實(shí)際值，提高運(yùn)動(dòng)目標(biāo)跟蹤的魯棒性，設(shè)置正樣本權(quán)重大于負(fù)樣本權(quán)重，即WP>WB。

(2)在目標(biāo)搜索窗口WS中計(jì)算零階矩。

(2)

式2計(jì)算了目標(biāo)搜索窗口WS中的所有像素值之和，可用來(lái)度量目標(biāo)搜索窗口的大小，其中，I(x,y)表示某個(gè)具體像素，Wweigh表示像素對(duì)應(yīng)的權(quán)重，其取值為WP或WB。

(3)在零階矩M00基礎(chǔ)上計(jì)算得出目標(biāo)搜索窗口的一階矩。

(3)

由一階矩可確定目標(biāo)搜索窗口的質(zhì)心在x軸、y軸的分布位置。

(4)

文中方法的加權(quán)質(zhì)心在不增加算法運(yùn)算量的前提下可有效地克服復(fù)雜環(huán)境下CamShift算法單純利用目標(biāo)顏色直方圖致目標(biāo)搜索窗口易發(fā)散的問(wèn)題，能夠使得每一幀序列圖像目標(biāo)搜索窗口質(zhì)心穩(wěn)定地朝著目標(biāo)搜索窗口中心收斂，從而實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的穩(wěn)定跟蹤。圖1所示為不同情況下幾種方法計(jì)算得到的目標(biāo)質(zhì)心，其中黑色方框?yàn)檫\(yùn)動(dòng)目標(biāo)跟蹤過(guò)程中的目標(biāo)搜索窗口，“*”為文中方法目標(biāo)加權(quán)質(zhì)心，“x”為文獻(xiàn)[18]方法計(jì)算得出的目標(biāo)質(zhì)心，“★”為文獻(xiàn)[19]方法計(jì)算得出的目標(biāo)質(zhì)心，“o”為目標(biāo)實(shí)際質(zhì)心，“+”為一般CamShift算法計(jì)算得出的目標(biāo)質(zhì)心。

由圖1可知，文中算法與文獻(xiàn)[19]的方法都能將目標(biāo)搜索窗口中心與質(zhì)心收斂于一定閾值范圍內(nèi)，從而解決了因目標(biāo)搜索窗口發(fā)散而導(dǎo)致跟蹤失敗的問(wèn)題；文獻(xiàn)[18]方法計(jì)算得出的目標(biāo)質(zhì)心與實(shí)際目標(biāo)質(zhì)心存在較小誤差；另外，與文獻(xiàn)[18]、文獻(xiàn)[19]方法相比，文中方法計(jì)算得出的目標(biāo)質(zhì)心由目標(biāo)搜索窗口內(nèi)的加權(quán)正負(fù)樣本確定，而正樣本由目標(biāo)級(jí)聯(lián)特征組成，不僅能夠?qū)⒏嗟哪繕?biāo)信息用于目標(biāo)檢測(cè)，提高目標(biāo)檢測(cè)精確度，而且能夠有效地實(shí)現(xiàn)遮擋、光照變化等復(fù)雜環(huán)境下的目標(biāo)跟蹤。

2.2 算法流程

基于級(jí)聯(lián)特征的隨機(jī)森林運(yùn)動(dòng)目標(biāo)跟蹤算法的具體流程如圖2所示。

針對(duì)圖2目標(biāo)跟蹤流程中的“訓(xùn)練負(fù)樣本并更新隨機(jī)森林分類器”，待下一幀目標(biāo)檢測(cè)完成后應(yīng)刪除由當(dāng)前序列圖像目標(biāo)搜索窗口中負(fù)樣本訓(xùn)練生成的決策樹。一方面，增加負(fù)樣本訓(xùn)練生成的決策樹可擴(kuò)大復(fù)雜環(huán)境下目標(biāo)檢測(cè)的范圍，有利于提高目標(biāo)檢測(cè)的精度；另一方面，刪除負(fù)樣本訓(xùn)練生成的決策樹可降低目標(biāo)檢測(cè)耗時(shí)，有利于提高目標(biāo)跟蹤的實(shí)時(shí)性。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證所提算法的有效性和可靠性，選取文獻(xiàn)[20]建立的圖像庫(kù)作為標(biāo)準(zhǔn)實(shí)驗(yàn)測(cè)試數(shù)據(jù)庫(kù)。該圖像庫(kù)包括動(dòng)態(tài)背景、光照變化、目標(biāo)旋轉(zhuǎn)以及目標(biāo)遮擋等多種復(fù)雜環(huán)境因素下的檢測(cè)與跟蹤測(cè)試圖像。實(shí)驗(yàn)環(huán)境：操作系統(tǒng)為64位的Microsoft Windows 7專業(yè)版，處理器為Intel(R) Core(TM) i5-4690，主頻為3.50 GHz，內(nèi)存為3.2 GB，所有程序均在Matlab R2010b軟件平臺(tái)上編寫實(shí)現(xiàn)。

實(shí)驗(yàn)采用對(duì)比的形式，將文中方法取得的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤效果分別與文獻(xiàn)[18-19]以及一般的CamShift算法進(jìn)行對(duì)比。其中，文獻(xiàn)[18]通過(guò)卡爾曼濾波算法預(yù)測(cè)目標(biāo)位置進(jìn)行二次搜索確定目標(biāo)搜索窗口，從而實(shí)現(xiàn)目標(biāo)相似物、遮擋等復(fù)雜情況下的實(shí)時(shí)目標(biāo)跟蹤；文獻(xiàn)[19]采用OTSU法對(duì)圖像進(jìn)行分割并結(jié)合Snake模型提取目標(biāo)輪廓，由輪廓最小外接矩形包含的所有像素信息計(jì)算目標(biāo)質(zhì)心與CamShift算法中的目標(biāo)搜索窗口質(zhì)心建立閾值判斷策略，以此提高復(fù)雜環(huán)境下目標(biāo)跟蹤的穩(wěn)定性。實(shí)驗(yàn)結(jié)果如下。

實(shí)驗(yàn)一：遮擋情況下序列圖像背景比較單一，目標(biāo)為被書不斷遮擋的人。由圖3可知，文中算法在跟蹤目標(biāo)過(guò)程中能精確鎖定目標(biāo)，即使目標(biāo)不同部分被遮擋，如圖3(c)、3(e)所示。另外，由于將部分背景特征作為負(fù)樣本訓(xùn)練決策樹并更新隨機(jī)森林分類器，針對(duì)連續(xù)序列圖像間變化緩慢，文中算法可識(shí)別出目標(biāo)被遮擋的部分，如圖3(d)、3(e)。雖然文獻(xiàn)[18]、文獻(xiàn)[19]中的算法也可實(shí)現(xiàn)目標(biāo)跟蹤，但不能識(shí)別出目標(biāo)被遮擋的部分，如圖3(i)、(j)、(n)、(o)。一般CamShift算法只以目標(biāo)顏色為跟蹤信息，當(dāng)目標(biāo)被遮擋時(shí)，目標(biāo)搜索窗口開始發(fā)散，如圖3(q)，直至目標(biāo)完全跟丟，如圖3(t)所示。

圖3 遮擋(第一至四排分別是：文中算法、文獻(xiàn)[18]算法、文獻(xiàn)[19]算法和一般CamShift算法，下圖同)

圖4 旋 轉(zhuǎn)

實(shí)驗(yàn)二：旋轉(zhuǎn)情況下的序列圖像背景比較單一，目標(biāo)為跳舞的人。由圖4可知，與文獻(xiàn)[18]、文獻(xiàn)[19]算法相比，文中算法能夠穩(wěn)定地實(shí)現(xiàn)目標(biāo)跟蹤，能夠從目標(biāo)不斷變化的過(guò)程中很好地收斂于目標(biāo)。一般CamShift算法雖能實(shí)現(xiàn)目標(biāo)跟蹤，但目標(biāo)搜索窗口不能很好地鎖定目標(biāo)，窗口內(nèi)包含較大面積的背景，如圖4(s)、4(t)所示。

實(shí)驗(yàn)三：光照變化情況下的序列圖像背景環(huán)境較為復(fù)雜，目標(biāo)為行走的人。目標(biāo)在運(yùn)動(dòng)過(guò)程中，背景不斷變化，且光照強(qiáng)度也不斷變化。如圖5可知，由于文中算法級(jí)聯(lián)特征包含目標(biāo)特征及目標(biāo)輪廓信息，由目標(biāo)級(jí)聯(lián)特征訓(xùn)練生成強(qiáng)分類器隨機(jī)森林，以及通過(guò)目標(biāo)加權(quán)質(zhì)心的方式改進(jìn)CamShift算法，即使復(fù)雜環(huán)境下光照發(fā)生明顯變化，所該算法依然能夠穩(wěn)定地跟蹤目標(biāo)，如圖5(a)、(c)、(e)所示；在存在大量噪聲及圖像背景發(fā)生明顯變化時(shí)，傳統(tǒng)的卡爾曼濾波器并不能很好地預(yù)測(cè)目標(biāo)狀態(tài)[21]，因此，文獻(xiàn)[18]并不能完整地確定目標(biāo)，如圖5(h)、(i)、(j)所示；文獻(xiàn)[19]采用閾值判斷法來(lái)確定目標(biāo)搜索窗口，在光照變化情況下基本能夠完整地識(shí)別出目標(biāo)；一般CamShift算法在光照發(fā)生明顯變化的情況下跟蹤效果較差，目標(biāo)搜索窗口容易發(fā)散，如圖5(p)、(q)所示，在第181幀時(shí)，目標(biāo)已跟蹤丟失，跟蹤失敗，如圖5(r)所示。

圖5 光照變化

表1從兩個(gè)角度來(lái)比較不同情況下的分類性能。當(dāng)將隨機(jī)森林作為特征分類器時(shí)，通過(guò)訓(xùn)練級(jí)聯(lián)特征生成的特征分類器性能明顯優(yōu)于單一的ASIFT特征；當(dāng)使用不同分類方法時(shí)，文中采用的隨機(jī)森林在遮擋、目標(biāo)旋轉(zhuǎn)以及光照變化等復(fù)雜情況下的目標(biāo)檢測(cè)率優(yōu)于神經(jīng)網(wǎng)絡(luò)以及支持向量機(jī)(SVM)兩種分類方法；另外，訓(xùn)練目標(biāo)搜索窗口內(nèi)少量非目標(biāo)特征生成決策樹并更新隨機(jī)森林在一定程度上提高了背景與目標(biāo)特征分類的精度。表1中的結(jié)果進(jìn)一步驗(yàn)證了文中算法的有效性。

表1 不同組合/不同情況下的分類性能比較 %

4 結(jié)束語(yǔ)

實(shí)際運(yùn)動(dòng)目標(biāo)跟蹤過(guò)程中一般CamShift算法跟蹤效果并不理想，由于背景環(huán)境十分復(fù)雜，常發(fā)生目標(biāo)遮擋、目標(biāo)旋轉(zhuǎn)以及光照變化等，且背景不斷變化，一般CamShift算法易因目標(biāo)搜索窗口發(fā)散而導(dǎo)致目標(biāo)跟蹤失敗，實(shí)際的運(yùn)動(dòng)目標(biāo)跟蹤效果在很大程度上取決于特征包含的目標(biāo)信息量以及有效的特征分類器。文中級(jí)聯(lián)特征在目標(biāo)整體狀態(tài)的基礎(chǔ)上融入目標(biāo)輪廓信息，以增加可利用的目標(biāo)跟蹤信息；由級(jí)聯(lián)特征訓(xùn)練生成的弱分類器—決策樹組成強(qiáng)分類器，按最終的得票數(shù)對(duì)背景與目標(biāo)特征進(jìn)行分類；為了進(jìn)一步提高特征分類精度，將目標(biāo)搜索窗口中少量背景特征作為負(fù)樣本進(jìn)行訓(xùn)練生成決策樹并更新隨機(jī)森林，在下一幀序列圖像中特征分類完成后予以刪除以提高目標(biāo)檢測(cè)實(shí)時(shí)性；目標(biāo)加權(quán)質(zhì)心的方法可很好地收斂于實(shí)際目標(biāo)質(zhì)心，使得目標(biāo)搜索窗口能夠精確鎖定目標(biāo)。實(shí)驗(yàn)結(jié)果表明，該算法在目標(biāo)遮擋、目標(biāo)旋轉(zhuǎn)以及光照變化等情況下可有效地實(shí)現(xiàn)目標(biāo)的檢測(cè)與跟蹤。