程 帥孫俊喜曹永剛劉廣文*韓廣良（長春理工大學(xué)電子信息工程學(xué)院 長春 130022）

②（東北師范大學(xué)計算機(jī)科學(xué)與信息技術(shù)學(xué)院 長春 130117）

③（中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所 長春 130000）

多示例深度學(xué)習(xí)目標(biāo)跟蹤

程 帥①孫俊喜②曹永剛①③劉廣文*①韓廣良③
①（長春理工大學(xué)電子信息工程學(xué)院 長春 130022）

②（東北師范大學(xué)計算機(jī)科學(xué)與信息技術(shù)學(xué)院 長春 130117）

③（中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所 長春 130000）

為解決多示例跟蹤算法中外觀模型和運動模型不足導(dǎo)致跟蹤精度不高的問題，該文提出多示例深度學(xué)習(xí)目標(biāo)跟蹤算法。針對原始多示例跟蹤算法中采用Haar-like特征不能有效表達(dá)圖像信息的缺點，利用深度去噪自編碼器提取示例圖像的有效特征，實現(xiàn)圖像信息的本質(zhì)表達(dá)，易于分類器正確分類，提高跟蹤精度。針對多示例學(xué)習(xí)跟蹤算法中選取弱特征向量不能更換，難以反映目標(biāo)自身和外界條件變化的缺點，在選擇弱分類器過程中，實時替換判別力最弱的特征以適應(yīng)目標(biāo)外觀的變化。針對原始多示例跟蹤算法中運動模型中僅假設(shè)幀間物體運動不會超過某個范圍，不能有效反映目標(biāo)的運動狀態(tài)的缺點，引入粒子濾波算法對目標(biāo)進(jìn)行預(yù)測，提高跟蹤的準(zhǔn)確性。在復(fù)雜環(huán)境下不同圖片序列實驗結(jié)果表明，與多示例跟蹤算法及其他跟蹤算法相比，該文算法具有更高跟蹤精確度和更好的魯棒性。

目標(biāo)跟蹤；多示例學(xué)習(xí)；深度學(xué)習(xí)；弱特征更換；粒子濾波

1 引言

目標(biāo)跟蹤是計算機(jī)視覺研究領(lǐng)域的重要組成部分，廣泛應(yīng)用在智能監(jiān)控、人機(jī)交互等領(lǐng)域，但依然面臨多方面的挑戰(zhàn)，如目標(biāo)外觀改變、光照變化、遮擋、相似目標(biāo)等［1］，這些因素都將導(dǎo)致目標(biāo)漂移甚至跟蹤失敗?；谀繕?biāo)外觀模型將跟蹤算法分為生成模型［2-4］和判別模型［5-7］。生成模型通過構(gòu)建外觀模型對目標(biāo)進(jìn)行描述，在后續(xù)的每一幀圖像中，將匹配度最高的作為跟蹤結(jié)果。判別模型將跟蹤視為二值分類問題，有效地利用目標(biāo)和背景信息訓(xùn)練分類器，利用分類器把目標(biāo)從背景中分離出來。在基于判別模型跟蹤算法中，不精確的分類可能導(dǎo)致樣本的錯誤標(biāo)記，以錯誤標(biāo)記樣本訓(xùn)練分類器必然降低分類器的性能。為解決判別模型的問題，Babenko等人［8］提出的多示例跟蹤算法不是對單個樣本進(jìn)行標(biāo)注，而是對多樣例包進(jìn)行標(biāo)注，達(dá)到弱化監(jiān)督效應(yīng)的目的，解決訓(xùn)練樣本潛在歧義性導(dǎo)致的目標(biāo)漂移問題。但此方法存在如下問題：（1）運動模型簡單，依據(jù)最近鄰的準(zhǔn)則在上一幀中目標(biāo)的位置附近一定鄰域范圍內(nèi)估計目標(biāo)位置。因為目標(biāo)運動的不確定性，如果估計的位置與真實位置相差很大，這樣進(jìn)行候選樣本的采樣時就會帶來較大的誤差；（2）目標(biāo)外觀模型采用Haar-like特征對每個示例進(jìn)行表達(dá)，此特征不能有效表達(dá)圖像的本質(zhì)信息；（3）在第1幀提取的目標(biāo)與背景特征向量在后續(xù)幀中一直被使用，在跟蹤過程中由于外界環(huán)境的影響導(dǎo)致目標(biāo)和背景的特征不斷發(fā)生變化，某些特征向量不能顯著區(qū)分目標(biāo)與背景區(qū)域，對分類器的構(gòu)建貢獻(xiàn)較小，在長時間和復(fù)雜條件下的跟蹤過程中容易引起漂移。文獻(xiàn)［9-11］對多示例跟蹤算法進(jìn)行改進(jìn)，但文獻(xiàn)中均采用像素級特征，不能反映目標(biāo)的本質(zhì)信息，像素級特征不利于分類器的正確分類。深度學(xué)習(xí)［12］是目前研究的熱點問題，通過構(gòu)建深層非線性網(wǎng)絡(luò)結(jié)構(gòu)可從少數(shù)樣本集中學(xué)習(xí)圖像信息的本質(zhì)特征，最終提高分類器分類的準(zhǔn)確性。

為解決多示例外觀模型和運動模型不足問題，實現(xiàn)更精確、穩(wěn)定的目標(biāo)跟蹤，本文提出多示例深度學(xué)習(xí)目標(biāo)跟蹤算法。利用深度去噪自編碼器（Stacked Denoising AutoEncoder， SDAE）［13］提取示例的本質(zhì)特征，易于分類器正確分類。在分類器選擇過程中用新生成的分類器響應(yīng)較大的特征向量實時替換和淘汰部分分類器響應(yīng)最小的特征向量，從而在目標(biāo)表示中引入新的信息，以適應(yīng)目標(biāo)外觀的各種變化。引入粒子濾波算法預(yù)測目標(biāo)位置信息，改進(jìn)目標(biāo)的運動模型，提高跟蹤精度。

2 多示例學(xué)習(xí)算法

多示例學(xué)習(xí)算法［8］訓(xùn)練數(shù)據(jù)形式為｛（X1，y1），其中 Xi為一個樣本包，包含多個示例是對應(yīng)樣本包的標(biāo)簽。樣本包標(biāo)簽定義為

式中， yij是示例標(biāo)簽，即至少包含一個正示例的包就是正包，反之為負(fù)包。在目標(biāo)跟蹤過程中采用增強(qiáng)學(xué)習(xí)方法訓(xùn)練分類器，即最大化對數(shù)似然函數(shù)。

各示例的似然概率計算公式為

在目標(biāo)跟蹤過程中，一次性獲得所有的弱特征極為困難，也很難滿足跟蹤的實時性要求。所以原始多示例學(xué)習(xí)跟蹤算法從所有弱特征中隨機(jī)產(chǎn)生M個弱特征組成弱特征池，作為后續(xù)特征選擇的樣本集。該算法保持M ＞ K個候選弱分類器，采用增強(qiáng)學(xué)習(xí)的框架依次挑選K個弱分類器，即

式中，L與式（2）中的L相同。如式（2）所示，挑選弱分類器的本質(zhì)是級聯(lián)該弱分類器后的強(qiáng)分類器可以使正負(fù)包響應(yīng)之間的差異最大化。在整個弱分類器集中能使L最大的弱分類器h被選擇。

弱分類器由Haar-like特征 fk（x）和4個參數(shù)在線估計。弱分類器計算公式為在線估計，弱分類器計算公式為

式中，0 ＜ ρ＜ 1為學(xué)習(xí)率，對于 μ0和 σ0的更新與式（8），式（9）類似。

3 多示例深度學(xué)習(xí)目標(biāo)跟蹤

3.1 特征提取

SDAE從施加噪聲的訓(xùn)練集中學(xué)習(xí)、重構(gòu)原始數(shù)據(jù)，通過優(yōu)化重構(gòu)誤差提高深度網(wǎng)絡(luò)對噪聲的魯棒性［14］。采用無監(jiān)督特征學(xué)習(xí)和逐層貪婪算法［15］預(yù)訓(xùn)練多個自編碼器，預(yù)訓(xùn)練過程如圖 1（a）。每個編碼器隱藏層的網(wǎng)絡(luò)單元都為輸入層網(wǎng)絡(luò)單元的一半，直到隱藏層網(wǎng)絡(luò)單元數(shù)減到256為止，通過組合低層特征形成更加抽象的高層特征，相比于底層，高層可用較少的參數(shù)表示圖像的本質(zhì)特征。預(yù)訓(xùn)練完成后，展開多個自編碼器得到 SDAE，網(wǎng)絡(luò)結(jié)構(gòu)如圖1（b）所示。SDAE由編碼器和解編碼器構(gòu)成，解碼器與編碼器有著對稱的網(wǎng)絡(luò)結(jié)構(gòu)，并在隱藏層添加超完備濾波層（2560）。為獲得更有效的網(wǎng)絡(luò)參數(shù)，反向傳播原始數(shù)據(jù)與重構(gòu)數(shù)據(jù)之間誤差微調(diào)整個網(wǎng)絡(luò)，微調(diào)后網(wǎng)絡(luò)結(jié)構(gòu)如圖1（c）。由圖1（b），圖1（c）的輸出結(jié)果可看出，微調(diào)后得到的重構(gòu)數(shù)據(jù)更接近原始數(shù)據(jù)，實現(xiàn)了網(wǎng)絡(luò)參數(shù)優(yōu)化。將SDAE編碼器的多層網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用到在線跟蹤中，在線跟蹤階段網(wǎng)絡(luò)結(jié)構(gòu)如圖1（d）。SDAE編碼器提取圖像塊的特征向量取代原有的Haar-like特征，實現(xiàn)圖像的有效表達(dá)，作為分類器輸入完成特征的分類。

3.2 更新弱特征向量

為了在目標(biāo)表達(dá)中引入新的信息以適應(yīng)跟蹤過程中的各種變化，在跟蹤過程中動態(tài)更換特征。如2節(jié)所述，在目標(biāo)跟蹤中，樣本訓(xùn)練采用在線學(xué)習(xí)的方式保持M＞K個候選弱分類器，采用增強(qiáng)學(xué)習(xí)的框架依次挑選K個弱分類器來最大化對數(shù)似然函數(shù)。對每一幀圖像，在特征選擇過程中，不僅挑選出K個分類器響應(yīng)最大特征，也同時挑選出N個分類器響應(yīng)最小的特征。然后重新產(chǎn)生N個全新的特征來替換那些響應(yīng)最小的特征，即

式中，hnew表示新生成的特征。通過對特征的動態(tài)更換，及時在目標(biāo)表示中引入了新信息，更好地符合跟蹤過程中各種條件變化的需要。

3.3 粒子濾波

圖1 SDAE構(gòu)建圖

為改進(jìn)多示例學(xué)習(xí)目標(biāo)跟蹤算法的運動模型，采用粒子濾波來預(yù)測目標(biāo)在下一幀可能的位置。粒子濾波是基于蒙特卡洛和遞推貝葉斯估計的非線性濾波方法［16］，被廣泛應(yīng)用在目標(biāo)跟蹤中，但在目標(biāo)跟蹤過程中存在粒子衰減和貧化問題。為解決上述問題，對粒子集進(jìn)行雙重采樣。第1次采樣為在順序重要性采樣過程中引入重采樣算法，抑制或者剔除小權(quán)重粒子，保留大權(quán)重粒子，根據(jù)粒子權(quán)重重新分配計算資源，得到等權(quán)重粒子集。第2次采樣為粒子稀疏化聚合采樣［17］，基于粒子空間尺度網(wǎng)格劃分對粒子稀疏化加權(quán)聚合，以縮減粒子集規(guī)模，實現(xiàn)粒子集規(guī)模與粒子空間規(guī)模的“自適應(yīng)”一致。

多示例深度學(xué)習(xí)跟蹤算法的流程如下：

（2）利用提取的特征向量構(gòu)建弱分類器，然后利用增強(qiáng)學(xué)習(xí)算法在線挑選出最具判別力的弱分類器構(gòu)建強(qiáng)分類器，同時用新產(chǎn)生的特征向量更換部分判別力最弱的特征；

（3）使用強(qiáng)分類器對所有 x ∈Xs估計 p（y= 1|x ）；

（4）更新目標(biāo)的最佳位置：

（6）使用正樣本包 Xγ和負(fù)樣本包 Xγ，β更新外觀模型。

4 實驗結(jié)果

4.1 算法實現(xiàn)

離線預(yù)訓(xùn)練階段，將32 × 32自然圖像集［18］進(jìn)行歸一化處理，并用1024維特征向量表示，每一維對應(yīng)一個像素，即編碼器第1層為1024個網(wǎng)絡(luò)單元，下一編碼器隱藏層的網(wǎng)絡(luò)單元都為輸入層網(wǎng)絡(luò)單元的一半，直到隱藏層網(wǎng)絡(luò)單元數(shù)減到256為止。根據(jù)人類 V1層神經(jīng)生理學(xué)理論［19］，在網(wǎng)絡(luò)結(jié)構(gòu)中添加超完備濾波層（超完備層）可更好地提取圖像結(jié)構(gòu)信息，超完備濾波層所使用的超完備濾波器大部分為局部邊緣檢測器。

為獲得更有效的網(wǎng)絡(luò)參數(shù)，反向傳播原始數(shù)據(jù)與重構(gòu)數(shù)據(jù)之間誤差微調(diào)整個網(wǎng)絡(luò)，優(yōu)化問題為

式中， ρj為第j個單元的稀疏級， ?ρj為所有單元的平均激活率，m為隱藏單元的個數(shù)。

利用預(yù)處理的數(shù)據(jù)，通過無監(jiān)督特征學(xué)習(xí)預(yù)訓(xùn)練 SDAE，將預(yù)訓(xùn)練得到編碼器應(yīng)用到在線跟蹤階段。在線初始化階段，首先在第1幀圖像中手動選取待跟蹤目標(biāo)，采集正負(fù)樣本包，通過正負(fù)樣本包有監(jiān)督訓(xùn)練分類器。通過SDAE編碼器提取樣本包的特征，利用提出特征集和類標(biāo)記訓(xùn)練分類器。在線跟蹤階段，即采用多示例深度學(xué)習(xí)跟蹤算法完成目標(biāo)跟蹤。在線跟蹤階段網(wǎng)絡(luò)結(jié)構(gòu)如圖1（d），為平衡SDAE提取特征的有效性和計算成本的復(fù)雜度，SDAE編碼器采用5層網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)為（1024-2560-1024-512-256）， SDAE編碼器利用非線性多層網(wǎng)絡(luò)結(jié)構(gòu)提取圖像塊的本質(zhì)信息，將特征向量作為分類器輸入完成特征的分類。

SDAE為非線性多層網(wǎng)絡(luò)結(jié)構(gòu)，每層中都包含大量的網(wǎng)絡(luò)節(jié)點及參數(shù)，使得在特征提取、微調(diào)網(wǎng)絡(luò)參數(shù)時比較耗時，為提高處理速度，離線訓(xùn)練階段和在線跟蹤階段均采用并行計算和圖形處理單元加速技術(shù)。

多示例學(xué)習(xí)參數(shù)設(shè)置，正樣本采集半徑為γ= 5～9，得到 60～180個樣本的正包，當(dāng)目標(biāo)運動較快或外觀變化較大時，設(shè)置 γ= 9。負(fù)樣本集 Xγ，β半徑為 β = 2.5γ，在負(fù)樣本集 Xξ，β中隨機(jī)選取70～110個負(fù)樣本組成負(fù)包。候選弱分類器池M設(shè)置較大的值，可包含足夠多候選特征使被選擇的特征更具判別性，然而，M值越大必然增加計算成本。為了平衡跟蹤的魯棒性和跟蹤效率，M=200（原始多示例算法M=250）。響應(yīng)最大的弱分類器個數(shù)K=25，可達(dá)到穩(wěn)定跟蹤效果且比原始多示例學(xué)習(xí)算法（K=50）更高效。被替換的響應(yīng)最小的弱分類器個數(shù) N為3～8個不等，弱分類器更新的學(xué)習(xí)率ρ為0.9。

4.2 實驗結(jié)果與分析

本文算法與 6個主流跟蹤算法在序列 david［2］，faceOcc1［2］， faceOcc2［2］， girl［2］， sylvester［2］， tiger2［2］，singer1［2］共 7個具有挑戰(zhàn)的圖片序列上進(jìn)行測試。對比跟蹤算法：CT［3］， TLD［7］， MIL［8］， WMIL［9］，CXT［20］， MTT［21］這些算法參數(shù)均使用默認(rèn)值，具體實現(xiàn)參考相應(yīng)文獻(xiàn)。通過3種不同的策略來進(jìn)行定量比較，分別為跟蹤結(jié)果與真實位置的中心誤差（表1）、正確跟蹤幀占視頻序列的百分比（表2）和跟蹤算法處理速度（表3）進(jìn)行定量比較。在每一幀，如果（A ∩ B ）/（A ∪ B ）＞ 0.5，則表示它被準(zhǔn)確跟蹤，其中A表示跟蹤結(jié)果矩形框，B表示目標(biāo)位置真實值矩形框。表中加粗為最好結(jié)果，斜體為次好結(jié)果。

中心誤差表示跟蹤結(jié)果與真實目標(biāo)的中心位置的歐氏距離，距離越小表示跟蹤結(jié)果越有效、越精確。由表1可得，本文算法中心誤差總體上小于其他算法，表明跟蹤結(jié)果具有較高的精確度。

如表2所示，在7組序列中本文算法有6組為最優(yōu)。平均行為7組序列正確跟蹤幀數(shù)百分比的均值，明顯高于其他算法。由此可見，本文算法具有更高的準(zhǔn)確度和魯棒性。

由表3可得，每個圖片序列中目標(biāo)受到外界環(huán)境的影響不同，導(dǎo)致跟蹤算法處理速度有所差異，與原始MIL算法相比，本文算法中采用并行計算與圖像處理單元加速技術(shù)，同時選取較小的弱分類器池及響應(yīng)最大的弱分類器的個數(shù)，提高了處理速度。CT算法的3種處理速度明顯高于其他算法，這是因為CT算法是基于壓縮感知理論，對多尺度高維圖像特征進(jìn)行降維，降維后的特征依然可以高概率地重構(gòu)出高維特征，很大程度上降低了特征提取的時間復(fù)雜度。

表1 平均中心誤差

表2 正確跟蹤幀占視頻序列的百分比

表3 算法處理速度對比（幀/s）

圖2為7種跟蹤算法在7組圖片序列的部分幀的跟蹤結(jié)果。在 david序列目標(biāo)在跟蹤時存在光照和旋轉(zhuǎn)。在180幀，david行走過程中光照發(fā)生變換，CT， MIL算法出現(xiàn)目標(biāo)漂移，WMIL， CXT， MTT算法跟蹤失敗，本文算法和 TLD算法能夠正確跟蹤。在460幀人臉發(fā)生旋轉(zhuǎn)，CXT算法跟蹤失敗，本文算法可實現(xiàn)正確跟蹤，但其他算法有不同程度的漂移問題。表情變化以及行走中摘掉眼鏡等姿態(tài)變化，導(dǎo)致WMIL， CXT算法跟蹤失敗，本文算法和TLD算法實現(xiàn)穩(wěn)定的跟蹤。可見，本文算法對較慢的光線變化、物體旋轉(zhuǎn)、尺度變化具有較好的魯棒性。

在faceOccl序列在靜態(tài)背景下目標(biāo)在跟蹤過程中發(fā)生多次和長時間遮擋，導(dǎo)致有些算法出現(xiàn)目標(biāo)漂移問題，在第133幀，TLD， MIL， CXT算法都出現(xiàn)嚴(yán)重的目標(biāo)偏移現(xiàn)象，其他算法均能穩(wěn)定跟蹤。在696幀，只有本文算法能夠精確地跟蹤，其他算法都出現(xiàn)不同程度的目標(biāo)漂移問題。在780幀，目標(biāo)大部分區(qū)域被遮擋，本文算法能夠正確跟蹤，其他算法都有不同程度的漂移問題。由此可得本文算法可有效處理長時間遮擋，實現(xiàn)穩(wěn)定的跟蹤。

圖2 不同算法跟蹤結(jié)果

在faceOcc2序列在跟蹤目標(biāo)過程中存在旋轉(zhuǎn)、遮擋、光照變化等情況，在487幀，目標(biāo)被遮擋同時有旋轉(zhuǎn)，大部分算法都能進(jìn)行跟蹤但都有不同程度的漂移問題，本文算法能夠正確跟蹤。在712幀，目標(biāo)受到嚴(yán)重遮擋情況下，本文算法依然能非常穩(wěn)定地跟蹤到目標(biāo)，其他算法都出現(xiàn)了目標(biāo)漂移現(xiàn)象。因此本文算法對目標(biāo)旋轉(zhuǎn)、部分遮擋和尺度變化具有很好的魯棒性。

在girl序列中女孩頭部不斷出現(xiàn)旋轉(zhuǎn)、姿勢變化、部分遮擋。由于目標(biāo)旋轉(zhuǎn)、傾斜和搖擺導(dǎo)致大部分算法出現(xiàn)目標(biāo)偏移問題，如119， 240幀。在441幀，出現(xiàn)人臉的部分遮擋時，WMIL， TLD算法目標(biāo)偏移問題嚴(yán)重，CXT， MIL， MTT和CT算法甚至跟蹤失敗，只有本文算法能夠正確地跟蹤。因此，本文算法對目標(biāo)旋轉(zhuǎn)、部分遮擋具有很好的魯棒性。

在sylvester序列目標(biāo)在運動過程有姿態(tài)變化、快速運動。在616， 676幀，目標(biāo)發(fā)生姿態(tài)變化，導(dǎo)致WMIL， MTT算法跟蹤失敗，TLD算法出現(xiàn)目標(biāo)漂移問題，本文等算法可實現(xiàn)正確。在955幀，目標(biāo)發(fā)生快速運動只有本文算法能夠正確跟蹤，其他算法出現(xiàn)目標(biāo)漂移甚至跟蹤失敗。可得，本文算法對姿態(tài)變化、快速運動具有良好的魯棒性。

在tiger2序列跟蹤目標(biāo)是快速運動的玩具，在跟蹤過程中伴有姿勢變化、旋轉(zhuǎn)、快速運動造成的模糊、遮擋等干擾。在第159， 189幀，由于姿勢變化的干擾下，除本文算法外，其他算法都已跟蹤失敗。在338幀，快速運動引起的模糊拖影現(xiàn)象只有本文算法能夠正確跟蹤，而其他算法都已跟蹤失敗?？梢?，在快速運動、模糊拖影及遮擋環(huán)境下，本文算法能實現(xiàn)穩(wěn)定的目標(biāo)跟蹤。

在singer1序列中，跟蹤目標(biāo)是在舞臺上表演的歌手，攝像機(jī)的相對運動導(dǎo)致目標(biāo)尺度、及光照在整個序列都在變化。在108幀，尺度變化伴隨著光照的劇烈變亮，CT， MIL已跟蹤失敗，其他算法可完成跟蹤，但 CXT算法出現(xiàn)嚴(yán)重的漂移問題。在162幀，由于尺度變化較大，只有CXT， TLD算法可適應(yīng)尺度的變化，本文算法可完成跟蹤，但由于本文算法采用單尺度，出現(xiàn)目標(biāo)漂移問題，由此表明本文算法可適應(yīng)光照突變、但當(dāng)尺度變化較大的情況下出現(xiàn)目標(biāo)漂移問題。

5 結(jié)論

本文提出多示例深度學(xué)習(xí)的跟蹤算法，利用深度學(xué)習(xí)實現(xiàn)圖像的有效表達(dá)，并將離線訓(xùn)練得到的信息應(yīng)用到在線跟蹤過程中。通過實時更換深度網(wǎng)絡(luò)提取的特征向量，在目標(biāo)表示中引入新的特征信息，及時反映跟蹤過程中目標(biāo)的外觀變化，提高了其表示外觀模型的適應(yīng)性和魯棒性。引入粒子濾波算法改進(jìn)多示例學(xué)習(xí)的運動模型，提高跟蹤精度。

通過幾組圖片序列進(jìn)行測試，實驗結(jié)果表明在復(fù)雜環(huán)境下本文算法具有更高的精確度和魯棒性，提高多示例學(xué)習(xí)目標(biāo)跟蹤的精確度，尤其在遮擋、光照變化、快速運動、外觀變化等條件下都具有較好的跟蹤效果，具有極高的實用價值。但本文算法僅采用單尺寸跟蹤，當(dāng)尺度大幅度變化時出現(xiàn)嚴(yán)重的目標(biāo)漂移問題，在多示例學(xué)習(xí)目標(biāo)跟蹤中引入多尺度，將是我們下一步需要研究的問題。同時將采用基于隨機(jī)森林的在線隨機(jī)樸素貝葉斯分類器，減少計算量，提高分類準(zhǔn)確性。

［1］ Wu Y， Lim J， and Yang M H. Online object tracking: a benchmark［C］. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition， Portland， USA，2013: 2411-2418.

［2］ Ross D A， Lim J， Lin R S， et al.. Incremental learning for robust visual tracking［J］. International Journal of Computer Vision， 2008， 77（3）: 125-141.

［3］ Zhang K， Zhang L， and Yang M H. Fast compressive tracking［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2014， 36（10）: 2002-2015.

［4］ Zhong W， Lu H C， and Yang M H. Robust object tracking via sparse collaborative appearance model［J］. IEEE Transactions on Image Processing， 2014， 23（5）: 2356-2368.

［5］ 陳思， 蘇松志， 李紹滋， 等. 基于在線半監(jiān)督boosting的協(xié)同訓(xùn)練目標(biāo)跟蹤算法［J］. 電子與信息學(xué)報， 2014， 36（4）: 888-895. Chen S， Su S Z， Li S Z， et al.. A novel co-training object tracking algorithm based on online semi-supervised boosting［J］. Journal of Electronics & Information Technology，2014， 36（4）: 888-895.

［6］ Zhang K， Zhang L， Liu Q， et al.. Fast tracking via dense spatio-temporal context learning［C］. Proceedings of European Conference on Computer Vision， Zurich，Switzerland， 2014: 127-141.

［7］ Kalal Z， Mikolajczyk K， and Matas J. Trackinglearning-detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 34（7）: 1409-1422.

［8］ Babenko B， Yang M H， and Belongie S. Robust object tracking with online multiple instance learning［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2011， 33（8）: 1619-1632.

［9］ Zhang K H and Song H H. Real-time visual tracking via online weighted multiple instance learning［J］. Pattern Recognition， 2013， 46（1）: 397-411.

［10］ 陳東成， 朱明， 高文， 等. 在線加權(quán)多示例學(xué)習(xí)實時目標(biāo)跟蹤［J］. 光學(xué) 精密工程， 2014， 22（6）: 1661-1667. Chen D C， Zhu M， Gao W， et al.. Real-time object tracking via online weighted multiple instance learning［J］. Optics and Precision Engineer， 2014， 22（6）: 1661-1667.

［11］ 寧紀(jì)鋒， 趙耀博， 石武禎. 多通道Haar-like特征多示例學(xué)習(xí)目標(biāo)跟蹤［J］. 中國圖象圖形學(xué)報， 2014， 19（7）: 1038-1045. Ning J F， Zhao Y B， and Shi W Z. Multiple instance learning based object tracking with multi-channel haar-like feature［J］. Journal of Image and Graphics， 2014， 19（7）: 1038-1045.

［12］ 鄭胤， 陳權(quán)崎， 章毓晉. 深度學(xué)習(xí)及其在目標(biāo)和行為識別中的新進(jìn)展［J］. 中國圖像圖形學(xué)報， 2014， 19（2）: 175-184. Zheng Y， Chen Q， and Zhang Y. Deep learning and its new progress in object and behavior recognition［J］. Journal of Image and Graphics， 2014， 19（2）: 175-184.

［13］ Vincent P， Larochellel H， Lajoie I， et al.. Stacked denoising autoencoders: learning useful representations in a deep network with a local denoising criterion［J］. Journal of Machine Learning Research， 2010， 11: 3371-3408.

［14］ 程帥， 曹永剛， 孫俊喜， 等. 基于增強(qiáng)群跟蹤器和深度學(xué)習(xí)的目標(biāo)跟蹤［J］. 電子與信息學(xué)報， 2015， 37（7）: 1646-1653. Cheng S， Cao Y G， Sun J X， et al.. Target tracking based on enhanced flock of tracker and deep learning［J］. Journal of Electronics & Information Technology， 2015， 37（7）: 1646-1653.

［15］ Hinton G E and Salakhutdinov R R. Reducing the dimensionality of data with neural networks［J］. Science， 2006，313（5786）: 504-507.

［16］ Rob H and Alan F. Discriminatively trained particle filters for complex multi-object tracking［C］. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，Miami， USA， 2009: 240-247.

［17］ 李天成， 孫樹棟. 采用雙重采樣的移動機(jī)器人Monte Carlo定位方法［J］. 自動化學(xué)報， 2010， 36（9）: 1279-1286. Li T C and Sun S D. Double-resampling based monte carlo localization for mobile robot［J］. Acta Automatica Sinica， 2010，36（9）: 1279-1286.

［18］ Torralba A， Fergus R， and Freeman W T. 80 million tiny images: a large data set for nonparametric object and scene recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2008， 30（11）: 1958-1970.

［19］ Olshausen B and Field D. Sparse coding with an overcomplete basis set: a strategy employed by V1［J］. Vision Research， 1997， 37（23）: 3311-3326.

［20］ Dinh T B， Vo N， and Medion G. Context tracker: exploring supporters and distracters in unconstrained environments［C］. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition， Providence， USA， 2011: 1177-1184.

［21］ Zhang T， Ghanem B， Liu S， et al.. Robust visual tracking via multi-task sparse learning［C］. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，Providence， USA， 2012: 2042-2049.

程 帥： 男，1987 年生，博士生，研究方向為圖像處理、目標(biāo)跟蹤、深度學(xué)習(xí).

曹永剛： 男，1972 年生，研究員，研究方向為光電測控設(shè)備總體及時統(tǒng)技術(shù).

孫俊喜： 男，1971 年生，教授，研究方向為模式識別與智能系統(tǒng)、目標(biāo)的檢測與跟蹤、嵌入式車牌識別系統(tǒng)、醫(yī)學(xué)圖像處理與分析.

劉廣文： 男，1971年生，副教授，研究方向為智能信息處理.

韓廣良： 男，1968年生，研究員，研究方向為實時視頻處理、視頻目標(biāo)識別和跟蹤、計算機(jī)視覺.

Target Tracking Based on Multiple Instance Deep Learning

Cheng Shuai①Sun Jun-xi②Cao Yong-gang①③Liu Guang-wen①Hang Guang-liang③
①（School of Electronic Information Engineering， Changchun University of Science and Technology， Changchun 130022， China）②（School of Computer Science and Information Technology， Northeast Normal University， Changchun 130117， China）
③（Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences， Changchun 130000， China）

To overcome the problem that the deficiency of the appearance model and the motion model often leads to low precision in original Multiple Instance Learning （MIL）， a target tracking algorithm is proposed based on multiple instance deep learning. In original MIL algorithm， the image is not represented effectively by Haar-like feature. To improve the tracking precision， a stacked denoising autoencoder is used to learn image features and express the image representations obtained effectively. Selected feature vector could not be replaced in the original MIL algorithm， which has difficulty reflecting the changes of the target and the background.Thus， some weakest discriminative feature vector is replaced with new randomly generated feature vector when weak classifiers are selected. It introduces new information to the target model and adapts to the dynamic changes of the target. Aiming at the deficiency of using motion model where the location of the target is likely to appear within a radius in original MIL algorithm， the particle filter estimates object’s location to increase the tracking precision. Compared with the original MIL algorithm and other state-of-the-art trackers in the complex environment， the experiments on variant image sequences show that the proposed algorithm raise the tracking accuracy and the robustness.

Target tracking； Multiple instance learning； Deep learning； Weak classifier replacement； Particle filter

s: The National Natural Science Foundation of China （61172111）； The Science and Technology Department of Jilin Province （20090512， 20100312）

TP391.4

A

1009-5896（2015）12-2906-07

10.11999/JEIT150319

2015-03-17；改回日期：2015-07-27；網(wǎng)絡(luò)出版：2015-10-13

*通信作者：劉廣文 lgwen_2003@126.com

國家自然科學(xué)基金（61172111）和吉林省科技廳項目（20090512， 20100312）