蘇超群,朱正為,郭玉英
(西南科技大學(xué)信息工程學(xué)院,四川綿陽(yáng)621010)
目標(biāo)跟蹤是機(jī)器視覺(jué)領(lǐng)域的重點(diǎn)研究?jī)?nèi)容之一,其廣泛應(yīng)用于智能監(jiān)控、智能交通控制、飛行器跟蹤等眾多領(lǐng)域[1-3]。在目標(biāo)跟蹤過(guò)程中,目標(biāo)通常會(huì)受到光照變化、尺度變化、背景干擾、目標(biāo)形狀旋轉(zhuǎn)、遮擋等干擾的影響,因此,如何快速精準(zhǔn)地進(jìn)行目標(biāo)跟蹤成為國(guó)內(nèi)外研究者們關(guān)注的熱點(diǎn)問(wèn)題。
近年來(lái),相關(guān)濾波算法越來(lái)越多地被應(yīng)用于目標(biāo)跟蹤,這不僅催生出許多改進(jìn)的相關(guān)濾波算法,也促使目標(biāo)跟蹤技術(shù)取得突破性進(jìn)展。文獻(xiàn)[4]設(shè)計(jì)出MOOSE 相關(guān)濾波器,利用輸出誤差平方和損失函數(shù)訓(xùn)練濾波器來(lái)實(shí)現(xiàn)目標(biāo)跟蹤。文獻(xiàn)[5-6]在MOSSE 相關(guān)濾波器的基礎(chǔ)上引入循環(huán)矩陣和核函數(shù),解決了稀疏采樣造成的樣本冗余問(wèn)題。文獻(xiàn)[7]將多通道的顏色屬性引入CSK 算法中,使其具有對(duì)彩色視頻的跟蹤能力。文獻(xiàn)[8]提出一種DSST 算法,分別利用位移相關(guān)濾波器和尺度相關(guān)濾波器實(shí)現(xiàn)目標(biāo)的尺度自適應(yīng)跟蹤。文獻(xiàn)[9-10]將單一特征擴(kuò)展為多種特征,針對(duì)多特征尺度自適應(yīng)濾波器,利用尺度池的方法實(shí)現(xiàn)目標(biāo)自適應(yīng)跟蹤。文獻(xiàn)[11]采用連續(xù)卷積方法將不同空間分辨率的特征圖進(jìn)行整合,可更準(zhǔn)確地實(shí)現(xiàn)目標(biāo)跟蹤。文獻(xiàn)[12]利用分解卷積算子和樣本的緊湊生成模型解決計(jì)算復(fù)雜及過(guò)度擬合問(wèn)題,提高了計(jì)算速度和算法魯棒性。文獻(xiàn)[13]采用多通道圖像表示特征組合的選擇方法提高DCF跟蹤器性能。
由于相關(guān)濾波算法利用循環(huán)矩陣在頻域中進(jìn)行計(jì)算會(huì)產(chǎn)生邊界效應(yīng),從而影響到目標(biāo)跟蹤性能,因此研究人員采用多種方法來(lái)克服邊界效應(yīng)。文獻(xiàn)[14]引入空間權(quán)重函數(shù)增強(qiáng)目標(biāo)樣本對(duì)濾波器的影響,進(jìn)而弱化邊界效應(yīng)的作用。文獻(xiàn)[15-16]將目標(biāo)背景信息作為負(fù)樣本擴(kuò)大搜索區(qū)域,從而降低邊界效應(yīng)的影響。文獻(xiàn)[17]將空間正則化和時(shí)間正則化引入DCF 框架中,不僅減少了邊界效應(yīng)影響,還提升了算法的成功率。文獻(xiàn)[18]通過(guò)為正樣本采樣訓(xùn)練相關(guān)濾波器和引入空間懲罰來(lái)抵消由過(guò)多背景信息引入的噪聲,從而消除邊界效應(yīng)對(duì)目標(biāo)跟蹤結(jié)果的影響。此外,針對(duì)跟蹤過(guò)程中因目標(biāo)旋轉(zhuǎn)、遮擋、光照變化等導(dǎo)致的響應(yīng)圖突變問(wèn)題,文獻(xiàn)[19]提出一種基于循環(huán)特征圖的跟蹤方法,通過(guò)在訓(xùn)練階段驗(yàn)證響應(yīng)圖質(zhì)量來(lái)判斷是否更新濾波器,在一定程度上消除了響應(yīng)圖突變的影響。文獻(xiàn)[20]將多個(gè)相關(guān)濾波器集成為一個(gè)網(wǎng)絡(luò),為每一幀響應(yīng)圖訓(xùn)練神經(jīng)網(wǎng)絡(luò),并在下一幀響應(yīng)圖中選擇合適的相關(guān)濾波器,以避免響應(yīng)圖突變的問(wèn)題。文獻(xiàn)[21]在背景感知濾波器的基礎(chǔ)上加入響應(yīng)圖變化率,有效減少了響應(yīng)圖異常問(wèn)題。文獻(xiàn)[22]引入局部響應(yīng)圖變化情況使更多正樣本用于訓(xùn)練濾波器,并基于整體響應(yīng)圖變化情況來(lái)判斷是否更新濾波器。上述方法雖然針對(duì)響應(yīng)圖突變進(jìn)行了改進(jìn),但其在抑制響應(yīng)圖的異常上作用有限。
為解決邊界效應(yīng)和響應(yīng)圖突變問(wèn)題,本文提出一種基于高效卷積算子(Efficient Convolution Operator,ECO)的目標(biāo)跟蹤算法。在訓(xùn)練相關(guān)濾波器時(shí)引入空間懲罰和響應(yīng)圖變化率,使其在更大的搜索區(qū)域消除邊界效應(yīng)的影響,同時(shí)抑制響應(yīng)圖突變,并將本文算法與多種算法在OTB100 數(shù)據(jù)集上的目標(biāo)跟蹤性能進(jìn)行對(duì)比和分析。
ECO 目標(biāo)跟蹤算法(以下稱為ECO 算法)是在C-COT 跟蹤算法的基礎(chǔ)上,利用因式分解卷積方法減少訓(xùn)練模型的參數(shù)量,以提高濾波器訓(xùn)練速度,并采用高斯混合模型生成緊湊且多樣化的樣本,改變了模型更新策略,從而降低過(guò)度擬合的風(fēng)險(xiǎn)和計(jì)算復(fù)雜度,提高了算法的魯棒性。
ECO 算法基于M個(gè)訓(xùn)練樣本來(lái)訓(xùn)練卷積濾波器。每個(gè)特征層有獨(dú)立的分辨率Nd。通過(guò)引入運(yùn)算符Jd得到的插值模型,將特征圖轉(zhuǎn)移到連續(xù)空間域t∈[0,T),相關(guān)表達(dá)式如下:
其中:bd是周期T>0 的插值內(nèi)核,Jd{xd}是周期為T的周期函數(shù),也是一個(gè)插值特征層。
通過(guò)訓(xùn)練一個(gè)連續(xù)的T周期多通道卷積濾波器f=(f1,f2,…,fD)來(lái)計(jì)算目標(biāo)的響應(yīng)值Sf{x}(t),其表達(dá)式為:
其中:J{x}表示整個(gè)插值特征圖。
ECO 算法使用高斯混合模型(Gaussian Mixed Model,GMM)的不同分量來(lái)代替樣本,每個(gè)分量對(duì)應(yīng)一組相似樣本,不同分量之間差異性較大。
通過(guò)樣本特征圖x及其相應(yīng)響應(yīng)輸出值y的聯(lián)合概率分布p(x,y),確定使期望相關(guān)誤差最小的濾波器,表達(dá)式如下:
其中:期望E在聯(lián)合樣本概率分布p(x,y)上取值,ω為解決邊界效應(yīng)的懲罰因子(定義在連續(xù)空間上)。樣本分布為訓(xùn)練樣本(xj,yj)的狄拉克脈沖函數(shù)。
假設(shè)目標(biāo)在圖像區(qū)域的中心位置且所有y=y0均相同,則樣本分布可分解如下:p(x,y)=p(x)δy0(y)。采用高斯混合模型使,I為單位矩陣,L為高斯分量的數(shù)量,πl(wèi)為高斯分量的權(quán)重,μl為高斯分量的平均值。
當(dāng)更新模型時(shí),針對(duì)每個(gè)新樣本xj,初始化一個(gè)新分量m,其中,πm=υ,μm=xj,υ為學(xué)習(xí)速率。如果模型數(shù)量超過(guò)限制L,則丟棄權(quán)重πl(wèi)小于閾值的模型;否則將兩個(gè)最近的分量k和l合并為一個(gè)公共分量n,表達(dá)式如下:
因此,最小化目標(biāo)函數(shù)表達(dá)式可轉(zhuǎn)化為:
其中:樣本數(shù)量從M減少到。
ECO 算法采用分解卷積的方法減少模型參數(shù)量,通過(guò)因式卷積操作后,得到目標(biāo)響應(yīng)值如下:
其中:P為D×C的矩陣,PT為線性降維算子,pd,c為濾波器的學(xué)習(xí)系數(shù),是由特征層d的濾波器和pd,c構(gòu)成的線性組合。
本文算法是將抑制異常與相關(guān)濾波器的訓(xùn)練相結(jié)合,為了抑制異常,首先對(duì)異常進(jìn)行識(shí)別。引入歐幾里得范數(shù)定義兩個(gè)響應(yīng)圖M1和M2的差分水平如下:
其中,p和q分別為二維空間兩個(gè)響應(yīng)圖中峰值的位置差,[φp,q]表示使兩個(gè)峰值彼此重合進(jìn)行的移位操作。當(dāng)發(fā)生異常時(shí),兩個(gè)響應(yīng)圖相似度會(huì)突然下降,式(7)的值會(huì)變大,因此可通過(guò)判斷式(7)的值來(lái)判斷是否發(fā)生異常。
為抑制訓(xùn)練過(guò)程中的偏差,對(duì)訓(xùn)練目標(biāo)進(jìn)行優(yōu)化使目標(biāo)函數(shù)最小化,表達(dá)式如下:
其中:k和k-1分別表示視頻序列的第k幀和第k-1幀;式(8)等號(hào)右側(cè)第3 項(xiàng)是限制響應(yīng)圖異常的正則化項(xiàng);引入?yún)?shù)γ作為異常懲罰,將γ設(shè)置為0.7。變換和優(yōu)化部分通過(guò)式(8)轉(zhuǎn)換到頻域內(nèi)進(jìn)行,以便在訓(xùn)練相關(guān)濾波器時(shí)進(jìn)行異常抑制。
式(8)通過(guò)ECO 算法保留矩陣P并降低模型數(shù)量,使模型從D維降低到C維,同時(shí)保留懲罰因子ω以減少邊界效應(yīng)的影響。
為訓(xùn)練濾波器f,需最小化傅里葉域中函數(shù)(見(jiàn)式(8))。由傅里葉分析結(jié)果可以看出,由和z=J{x}可得到插值后特征圖的傅里葉系數(shù),通過(guò)xd利用離散傅里葉變換的線性和卷積性質(zhì)獲得Xd[k],進(jìn)而得到輸出響應(yīng)函數(shù)(見(jiàn)式(2))的傅里葉系數(shù),將其代入式(8)得到:
本文采用高斯-牛頓法進(jìn)行迭代,并使用共軛梯度法優(yōu)化二次子問(wèn)題。高斯-牛頓法是通過(guò)展開(kāi)一階泰勒級(jí)數(shù)來(lái)實(shí)現(xiàn)式(9)中殘差線性化。當(dāng)前估計(jì)值周圍的雙線性項(xiàng)?可近似表示為:
迭代i的高斯-牛頓子問(wèn)題是通過(guò)將式(10)的一階近似值代入式(9)而得到,表達(dá)式如下:
式(11)是線性最小二乘問(wèn)題,采用共軛梯度法對(duì)每個(gè)高斯-牛頓子問(wèn)題進(jìn)行優(yōu)化以獲得新濾波器和矩陣增量ΔP*,將濾波器和矩陣估計(jì)值分別更新為和Pi+1=Pi+ΔP*。由于濾波器的適應(yīng)性,僅從第一幀就可得到矩陣P,且矩陣P在第一幀之后是恒定的。
為避免連續(xù)更新模型導(dǎo)致計(jì)算量增大,本文算法采用和ECO 算法類似的稀疏更新方案,僅當(dāng)目標(biāo)發(fā)生一定程度的變化時(shí)才更新模型,而并非在每一幀圖像都以連續(xù)方式更新模型。通過(guò)每個(gè)第N幀圖像來(lái)更新濾波器,參數(shù)NS為濾波器的更新頻率,在每個(gè)第NS幀圖像中,執(zhí)行固定數(shù)量的NCG共軛梯度迭代次數(shù)來(lái)改進(jìn)模型,該稀疏更新模型可使每幀CG 迭代的平均數(shù)量減少到,本文中NS=6,以減少更新濾波器增大的計(jì)算量,降低計(jì)算復(fù)雜度,從而有效實(shí)現(xiàn)算法加速。
本文提出的抑制響應(yīng)圖突變的跟蹤算法流程如圖1所示,具體步驟如下:
圖1 本文算法流程Fig.1 Procedure of the proposed algorithm
1)輸入視頻序列,獲取目標(biāo)的位置信息和尺度。
2)從視頻序列第一幀圖像中提取目標(biāo)并提取其特征,計(jì)算搜索區(qū)域和初始化比例因子,初始化相關(guān)濾波器,形成目標(biāo)區(qū)域的初始樣本集。
3)對(duì)初始樣本集進(jìn)行高斯混合模型處理以獲取樣本的緊湊模型。
4)對(duì)相關(guān)濾波器進(jìn)行卷積分解,獲取基本濾波器的緊湊集合。
5)獲取新一幀多分辨率特征圖,分別與濾波器卷積后將所有響應(yīng)圖加權(quán)得到最終響應(yīng)圖。
6)通過(guò)所得響應(yīng)圖的值M2與前一幀響應(yīng)圖的值M1計(jì)算出變化率φp,q。
7)將響應(yīng)圖的值最高的區(qū)域作為當(dāng)前幀中的目標(biāo)位置,并用跟蹤框標(biāo)記。
8)將步驟7 中目標(biāo)位置所在區(qū)域作為樣本集并用式(8)訓(xùn)練下一幀圖像的濾波器。
9)循環(huán)執(zhí)行步驟3~步驟8 直到視頻序列的最后一幀圖像結(jié)束。
本文使用MATLAB R2018b 軟件進(jìn)行仿真實(shí)驗(yàn),采用Inter Core i5-8400 計(jì)算機(jī),主頻為2.80 GHz,操作系統(tǒng)為windows10。實(shí)驗(yàn)使用VGG-m網(wǎng)絡(luò)中第一個(gè)卷積層(Conv-1)和最后一個(gè)卷積層(Conv-5)的特征組合。測(cè)試集使用目標(biāo)跟蹤算法評(píng)估的數(shù)據(jù)集OTB100,該數(shù)據(jù)集包含光照變化、尺度變化、遮擋或半遮擋、快速運(yùn)動(dòng)等多種復(fù)雜情況。
本文采用一次測(cè)試的實(shí)驗(yàn)結(jié)果,通過(guò)距離精度曲線和成功率曲線對(duì)算法性能進(jìn)行評(píng)估。距離精度曲線計(jì)算中心位置誤差低于某個(gè)閾值的幀數(shù)占所有幀數(shù)的百分比,本文設(shè)定像素閾值為25。成功率曲線用于計(jì)算跟蹤重疊率大于某個(gè)閾值的幀數(shù)占所有幀數(shù)的百分比,其中跟蹤重疊率指目標(biāo)跟蹤框與真實(shí)目標(biāo)框的重疊面積與后者總面積的比值,本文設(shè)定跟蹤重疊率閾值為0.5。以每秒平均幀數(shù)表示算法的跟蹤速度。
將本文算法和KCF 算法、SRDCF 算法、BACF算法、ECO 算法、ARCF 算法、GFSDCF 算法在OTB100 數(shù)據(jù)集上的目標(biāo)跟蹤性能進(jìn)行對(duì)比和分析。
上述7種算法在100組視頻序列上的成功率曲線和距離精度曲線如圖2所示。由圖2可知,本文算法的成功率和距離精度在7種算法中均為最高,分別是80.2%和86.4%,較GFSDCF算法分別高1.0個(gè)百分點(diǎn)和0.2個(gè)百分點(diǎn),較ECO算法分別高3.1個(gè)百分點(diǎn)和1.9個(gè)百分點(diǎn),較BACF算法分別高4.0個(gè)百分點(diǎn)和5.5個(gè)百分點(diǎn),較ARCF算法分別高5.9個(gè)百分點(diǎn)和7.4個(gè)百分點(diǎn),較SRDCF算法分別高8.5個(gè)百分點(diǎn)和8.6個(gè)百分點(diǎn),較KCF算法分別高25.7個(gè)百分點(diǎn)和17.6個(gè)百分點(diǎn)。由此可見(jiàn),增加抑制響應(yīng)圖突變后的ECO 算法優(yōu)于改進(jìn)前的ECO 算法。
圖2 7 種算法在OTB100 數(shù)據(jù)集上的成功率曲線和距離精度曲線Fig.2 Success rate curve and distance accuracy curve of seven algorithms on OTB100 dataset
上述7 種算法在6 組視頻序列中的跟蹤速度如表1所示。由表1 可見(jiàn),KCF 算法的平均跟蹤速度最高,達(dá)到80.4 frame/s,其次是ECO 算法,平均跟蹤速度為33.63 frame/s,本文算法平均跟蹤速度為22.98 frame/s,較ECO 算法少10.65 frame/s,但成功率和距離精度卻優(yōu)于ECO 算法。成功率和距離精度排第二位的GFSDCF算法平均跟蹤速度較慢,僅為7.96 frame/s。
表1 7 種算法在不同視頻序列中的跟蹤速度Table 1 Tracking speed of seven algorithms in different video sequences (frame·s-1)
圖3~圖6 為上述7 種算法分別在human3、lemming、shaking 和bird1 視頻序列中的定性測(cè)評(píng)結(jié)果(彩色效果參見(jiàn)《計(jì)算機(jī)工程》官網(wǎng)HTML 版)。在human3 視頻序列中(見(jiàn)圖3),當(dāng)存在與目標(biāo)非常相似的干擾物(見(jiàn)圖3(a))和遮擋(見(jiàn)圖3(b)~圖3(e))時(shí),只有本文算法和ECO 算法能準(zhǔn)確跟蹤目標(biāo),其他算法均無(wú)法準(zhǔn)確跟蹤目標(biāo)。從第88 幀圖像開(kāi)始,除了本文算法和ECO 算法,其他算法均跟蹤失敗。本文算法由于引入響應(yīng)圖異常抑制框架,因此能準(zhǔn)確跟蹤目標(biāo)。在lemming 視頻序列中(見(jiàn)圖4),當(dāng)目標(biāo)被遮擋(見(jiàn)圖4(a)和圖4(b))時(shí),SRDCF 算法、ARCF 算法和KCF 算法跟蹤失敗,當(dāng)目標(biāo)存在運(yùn)動(dòng)模糊、旋轉(zhuǎn)、超出視野外(見(jiàn)圖4(c)和圖4(d))時(shí),ECO 算法、GFSDCF 算法和BACF 算法跟蹤效果較差,不能完全跟蹤目標(biāo),本文算法在上述情況下均能準(zhǔn)確跟蹤目標(biāo)。在shaking 視頻序列中(見(jiàn)圖5),當(dāng)目標(biāo)受到光照變換、背景雜波的影響(見(jiàn)圖5(a)和圖5(b))時(shí),SRDCF 算法、ARCF 算法和KCF 算法目標(biāo)跟蹤失敗,而目標(biāo)發(fā)生旋轉(zhuǎn)(見(jiàn)圖5(c)和圖5(d))后,其他算法跟蹤效果均較差,僅本文算法跟蹤效果較準(zhǔn)確。在bird1 視頻序列中(見(jiàn)圖6):當(dāng)目標(biāo)出現(xiàn)快速移動(dòng)和形變(見(jiàn)圖6(a))時(shí),SRDCF 算法和KCF 算法目標(biāo)跟蹤失敗,其他算法跟蹤效果良好;當(dāng)目標(biāo)存在運(yùn)動(dòng)模糊和超出視野范圍(見(jiàn)圖6(b)和圖6(c))時(shí),只有GFSDCF 算法和本文算法能繼續(xù)進(jìn)行目標(biāo)跟蹤,其他算法均目標(biāo)跟蹤失敗;從圖6(d)可明顯看出本文算法的跟蹤效果較GFSDCF 算法更好。
圖3 7 種算法在視頻序列human3 中的測(cè)評(píng)結(jié)果Fig.3 Evaluation results of seven algorithms in video sequence human3
圖4 7 種算法在視頻序列l(wèi)emming 中的測(cè)評(píng)結(jié)果Fig.4 Evaluation results of seven algorithms in video sequence lemming
圖5 7 種算法在視頻序列shaking 中的測(cè)評(píng)結(jié)果Fig.5 Evaluation results of seven algorithms in video sequence shaking
圖6 7 種算法在視頻序列bird1 中的測(cè)評(píng)結(jié)果Fig.6 Evaluation results of seven algorithms in video sequence bird1
7 種算法在不同干擾因素下的目標(biāo)跟蹤成功率如表2所示。由表2 可見(jiàn),在相似背景、快速運(yùn)動(dòng)、尺度變化、形態(tài)變化、遮擋、運(yùn)動(dòng)模糊的情況下,本文算法的目標(biāo)跟蹤成功率均最高,在其他情況下目標(biāo)跟蹤成功率僅較表現(xiàn)最好的算法略低。在光照變化、平面外旋轉(zhuǎn)、平面內(nèi)旋轉(zhuǎn)、視野外、低分辨率的情況下本文算法的目標(biāo)跟蹤成功率分別比表現(xiàn)最好的算法GFSDCF 低0.3 個(gè)百分點(diǎn)、3.7 個(gè)百分點(diǎn)、1.4 個(gè)百分點(diǎn)、7.7 個(gè)百分點(diǎn)和6.8 個(gè)百分點(diǎn)。在所有干擾因素中,本文算法的目標(biāo)跟蹤成功率僅在低分辨率情況下低于ECO 算法,在多種環(huán)境下本文算法較ECO算法具有更高的目標(biāo)跟蹤成功率。
表2 7 種算法在不同干擾因素下的目標(biāo)跟蹤成功率Table 2 Target tracking success rates of seven algorithms under different interference factors
將本文算法和ECO 算法對(duì)human3 和lemming兩組視頻序列的跟蹤結(jié)果進(jìn)行對(duì)比,通過(guò)比較前一幀響應(yīng)圖和當(dāng)前響應(yīng)圖之間的差值來(lái)判斷跟蹤效果,響應(yīng)圖差值越小表明跟蹤效果越好,結(jié)果如圖7所示。圖7(a)是視頻序列human3 前200 幀響應(yīng)圖的差值曲線,從整體上來(lái)看,本文算法的響應(yīng)圖差值較ECO算法更小。當(dāng)?shù)?3幀~第67幀、第118幀~第130幀圖像中目標(biāo)被遮擋時(shí),ECO 算法的響應(yīng)圖差值顯著變大,而本文算法的響應(yīng)圖差值明顯更小,目標(biāo)跟蹤效果更好。圖7(b)是視頻序列l(wèi)emming 第1 000 幀~第1 300 幀響應(yīng)圖的差值曲線,可以看出第1 020 幀響應(yīng)圖中目標(biāo)在平面內(nèi)旋轉(zhuǎn)、快速移動(dòng)和運(yùn)動(dòng)模糊時(shí),ECO 算法的響應(yīng)圖差值變化較大,而本文算法的響應(yīng)圖差值遠(yuǎn)比ECO 算法的響應(yīng)圖差值更小,目標(biāo)跟蹤效果更好。
圖7 2 種算法對(duì)2 種視頻序列的響應(yīng)圖差值曲線Fig.7 Response graph difference curves of two algorithms for two video sequences
本文提出一種改進(jìn)的ECO 異常抑制目標(biāo)跟蹤算法。在ECO 目標(biāo)跟蹤算法的基礎(chǔ)上,將異常抑制與訓(xùn)練相關(guān)濾波器相結(jié)合,通過(guò)引入前一幀響應(yīng)圖變化率來(lái)限制響應(yīng)圖異常變化,以防止跟蹤過(guò)程中目標(biāo)發(fā)生漂移。在OTB100 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,在光照變化、尺度變化、平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)、背景雜波等干擾下,本文算法較其他相關(guān)濾波算法成功率更高。后續(xù)將對(duì)不同目標(biāo)特征進(jìn)行融合,進(jìn)一步優(yōu)化算法的跟蹤性能。