王洪雁，邱賀磊，裴騰達(dá)

(大連大學(xué) 信息工程學(xué)院，遼寧 大連 116622)

目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域的研究方向之一，其在視頻監(jiān)控、自動(dòng)駕駛、人機(jī)交互等方面具有廣泛應(yīng)用。近年來(lái)，視覺(jué)跟蹤方法取得顯著進(jìn)步，許多高效、魯棒的跟蹤算法被提出[1-3]。然而，許多具有挑戰(zhàn)性的問(wèn)題仍未得到有效解決，如光照變化、尺度變化、遮擋及背景雜波等，從而導(dǎo)致跟蹤算法的性能顯著下降。

為改善復(fù)雜場(chǎng)景下視覺(jué)跟蹤性能，WANG等[4]提出用于模板更新的非負(fù)字典學(xué)習(xí)方法，將最近所得跟蹤結(jié)果融合以產(chǎn)生魯棒性較好的模板，進(jìn)而利用該模板實(shí)現(xiàn)目標(biāo)精確跟蹤。然而，當(dāng)存在復(fù)雜的背景雜波時(shí)，該算法難以有效地區(qū)分目標(biāo)與相似背景。針對(duì)此問(wèn)題，XIE等[5]對(duì)目標(biāo)及鄰近背景的外觀(guān)信息編碼，利用樣本訓(xùn)練判別模型提高字典的判別能力，改善跟蹤性能。然而，由于目標(biāo)及鄰近背景位置選取的樣本存在共同特征，從而導(dǎo)致字典的判別能力顯著降低。針對(duì)此問(wèn)題，WEN等[6]同時(shí)利用類(lèi)內(nèi)信息和類(lèi)間相關(guān)性學(xué)習(xí)類(lèi)內(nèi)和共享字典，則類(lèi)內(nèi)字典具有較強(qiáng)的獨(dú)立性，使得所構(gòu)建字典具有較強(qiáng)的判別能力。然而，該算法未考慮遮擋或噪聲等干擾，使其易受異常值影響而導(dǎo)致跟蹤漂移?；诖藛?wèn)題，SUI等[7]構(gòu)造子空間表示目標(biāo)及鄰近背景，并提出一種判別準(zhǔn)則以提高字典的判別能力。此外，該方法使用稀疏誤差項(xiàng)補(bǔ)償損壞樣本以提高算法對(duì)遮擋或噪聲等的魯棒性。然而，該方法使用有偏的l1范數(shù)懲罰誤差矩陣，其可能過(guò)度懲罰較大變量而導(dǎo)致優(yōu)化問(wèn)題獲得次優(yōu)解[8-10]，進(jìn)而影響目標(biāo)跟蹤精度。針對(duì)此問(wèn)題，文獻(xiàn)[10]利用近乎無(wú)偏的極大極小凹加函數(shù)懲罰誤差矩陣，以克服l1范數(shù)對(duì)誤差矩陣不平衡懲罰。然而，該非凸約束方法并未被有效應(yīng)用于視覺(jué)跟蹤領(lǐng)域。

針對(duì)上述問(wèn)題，筆者提出一種目標(biāo)跟蹤方法。該方法考慮了目標(biāo)的時(shí)空局部相關(guān)性。時(shí)間局部相關(guān)表明目標(biāo)之間在時(shí)域上具有顯著局部相關(guān)性；空間局部相關(guān)表明背景與目標(biāo)的空間距離越近，目標(biāo)與背景的相關(guān)性越強(qiáng)?；诖?，根據(jù)最近若干幀的跟蹤結(jié)果選取目標(biāo)樣本，并在目標(biāo)位置周?chē)蓸哟_定背景樣本。針對(duì)目標(biāo)及背景字典中具有共同特征的原子，在判別字典學(xué)習(xí)模型中施加字典不一致約束項(xiàng)，使目標(biāo)及背景字典更具獨(dú)立性，從而提高字典的判別能力。針對(duì)遮擋或噪聲等問(wèn)題，在所提算法中加入可捕獲異常值的誤差項(xiàng)以有效減少異常值影響，從而提高算法的魯棒性。另外，使用極大極小凹加范數(shù)懲罰稀疏編碼矩陣和誤差矩陣，以避免對(duì)一些較大變量過(guò)度懲罰而導(dǎo)致次優(yōu)解，提高目標(biāo)跟蹤精度。針對(duì)所構(gòu)建的非凸判別字典優(yōu)化問(wèn)題，使用基于優(yōu)化最小化(Majorization-Minimization, MM)的不精確增廣拉格朗日乘子(Inexact Augmented Lagrange Multiplier, IALM)方法求解該問(wèn)題，以獲得較好的收斂性?；谒米顑?yōu)判別字典計(jì)算候選目標(biāo)的重構(gòu)誤差以構(gòu)建目標(biāo)觀(guān)測(cè)模型，并基于貝葉斯推理框架以實(shí)現(xiàn)目標(biāo)的精確跟蹤。

1 判別字典學(xué)習(xí)算法

首先描述所提判別字典學(xué)習(xí)模型，而后介紹所得非凸判別字典優(yōu)化問(wèn)題的求解方法，并分析算法的收斂性及計(jì)算復(fù)雜度，最后給出初始化方法及字典更新方法。

1.1 判別字典學(xué)習(xí)模型

給定訓(xùn)練樣本集Xi∈Rd×qi,i=1,2，其中d表示各訓(xùn)練樣本的特征維度，qi為第i類(lèi)訓(xùn)練樣本集的數(shù)量。根據(jù)訓(xùn)練樣本集學(xué)習(xí)得到字典Di∈Rd×ki，其中ki表示第i類(lèi)字典的原子數(shù)量。Ci∈Rki×qi，為第i類(lèi)訓(xùn)練樣本集Xi在字典Di上的編碼系數(shù)矩陣。基于稀疏表示理論，應(yīng)有Xi≈DiCi，則基本字典學(xué)習(xí)模型為

(1)

由于訓(xùn)練樣本中難免存在遮擋或噪聲等問(wèn)題，導(dǎo)致當(dāng)前訓(xùn)練樣本中存在異常值，進(jìn)而降低字典學(xué)習(xí)算法的魯棒性。針對(duì)此問(wèn)題，在字典學(xué)習(xí)模型中加入誤差項(xiàng)以捕捉這些異常值，即

(2)

其中，Pi為誤差矩陣，β為正則化參數(shù)。易知，式中的l0范數(shù)優(yōu)化問(wèn)題為NP-hard問(wèn)題，通常使用l1范數(shù)松弛處理[4-5,7]。然而l1范數(shù)為有偏估計(jì)量，其可能會(huì)對(duì)較大變量過(guò)度懲罰。針對(duì)此問(wèn)題，采用非凸極大極小凹加函數(shù)代替l0范數(shù)以獲得近乎無(wú)偏估計(jì)[8-10]。首先給出極大極小凹加函數(shù)定義。

設(shè)向量a=(a1,a2,…,ap)T∈Rp，當(dāng)υ>0，γ>1時(shí)，MCP懲罰函數(shù)表示為

(3)

其中，(u)+=max{u,0}。設(shè)A為矩陣，將矢量極大極小凹加函數(shù)擴(kuò)展到矩陣形式[8-9]，表示為

(4)

為便于表述，令Jγ(A)=J1,γ(A)，Mγ(A)=M1,γ(A)，則當(dāng)γ→時(shí)，Jγ(A)→|A|，其為對(duì)應(yīng)l1范數(shù)的軟閾值算子；當(dāng)γ→1時(shí)，其為對(duì)應(yīng)l0范數(shù)的硬閾值算子[10]。設(shè)γ∈(1,)。

利用極大極小凹加函數(shù)代替式(2)中l(wèi)0范數(shù)，則字典學(xué)習(xí)模型可表示為

(5)

綜上所述，判別字典學(xué)習(xí)模型可構(gòu)建為

(6)

其中，i=1,2,j=1,2,j≠i，λ為正則化參數(shù)。

1.2 所提模型優(yōu)化方法

由于模型(6)中極大極小凹加函數(shù)非凸，因而所提字典學(xué)習(xí)模型為非凸優(yōu)化問(wèn)題，不能直接采用凸優(yōu)化方法求解。受ZHANG等[8]所提求解方法啟發(fā)，基于MM-IALM方法求解所得非凸判別字典優(yōu)化問(wèn)題。該方法包含內(nèi)環(huán)和外環(huán)。每次迭代中，外環(huán)用局部線(xiàn)性近似來(lái)逼近原非凸問(wèn)題以將其轉(zhuǎn)化為加權(quán)凸優(yōu)化問(wèn)題；內(nèi)環(huán)則采用不精確增廣拉格朗日乘子法求解該問(wèn)題以將其最小化，多次迭代求解可逼近原目標(biāo)函數(shù)最優(yōu)解。

Dτ,W(H)=sign(Hmn)(|Hmn|-τWmn)+，

(7)

其可看成問(wèn)題(8)的閉環(huán)解

(8)

給定Aold，則問(wèn)題(8)中Qγ(A|Aold)即為Mγ(A)的局部線(xiàn)性近似，可表示為

(9)

基于以上所述算法，給出所提非凸判別字典優(yōu)化問(wèn)題的求解方法，如下所述。

外環(huán)為減少計(jì)算量，采用一步局部線(xiàn)性近似方法，即只運(yùn)行外環(huán)一次[8-9]，而非等待收斂或達(dá)到最大迭代次數(shù)。實(shí)驗(yàn)表明，采用多步局部線(xiàn)性近似方法(即等待外環(huán)收斂)只比一步局部線(xiàn)性近似有微小提升，但運(yùn)算量較大。

基于式(9)，利用代理函數(shù)Qγ(Ci|Coldi)及Qγ(Pi|Poldi)分別替代Mγ(Ci)和Mγ(Pi),得式(6)的上界函數(shù):

(10)

內(nèi)環(huán)使用不精確增廣拉格朗日乘子方法求解問(wèn)題，注意到問(wèn)題中第一個(gè)約束項(xiàng)關(guān)于Di和Ci乘積耦合。為利用形如式(7)的閉環(huán)解求解變量Ci，需引入輔助優(yōu)化變量Bi=Ci，則式(10)等價(jià)為

(11)

利用拉格朗日乘子法將約束優(yōu)化問(wèn)題轉(zhuǎn)化為無(wú)約束優(yōu)化問(wèn)題，則目標(biāo)函數(shù)可寫(xiě)為

(12)

其中，Vi為拉格朗日乘子；μi>0，為懲罰參數(shù)。問(wèn)題的求解可分為若干個(gè)子問(wèn)題:

(13)

已知式(7)為問(wèn)題(8)的解，則可得式(13)中關(guān)于變量Bi和Pi的子問(wèn)題的解。已知式(13)中關(guān)于變量Ci和Di的子問(wèn)題為凸問(wèn)題，根據(jù)矩陣微分知識(shí)，可得關(guān)于變量Bi和Pi的子問(wèn)題的解。式(13)的解分別表示如下:

(14)

其中，I∈Rki×ki,為單位矩陣。WBi和WPi的初始化方法詳見(jiàn)表1。

根據(jù)式(14)，在第q+1次迭代中，依次更新各變量，然后更新Vi和μ1：

(15)

重復(fù)上述過(guò)程，直至滿(mǎn)足收斂條件(收斂條件見(jiàn)算法1)。關(guān)于問(wèn)題(6)的整體求解算法如算法1所示。

算法1MM-IALM方法解決問(wèn)題(6)。

(4) 重復(fù)以下4步，直至收斂：

④q=q+1；

(5) 輸出：Di。

1.3 收斂性和計(jì)算復(fù)雜度分析

收斂性和計(jì)算復(fù)雜度是評(píng)價(jià)優(yōu)化算法優(yōu)劣的兩個(gè)標(biāo)準(zhǔn)，本小節(jié)分別從這兩個(gè)方面分析所提優(yōu)化算法。

1.3.1 收斂性分析

所提字典學(xué)習(xí)模型非凸，因此難以給出全局收斂的嚴(yán)格數(shù)學(xué)證明，但其存在局部收斂性[8-9]。如上所述，MM-IALM優(yōu)化方法在外環(huán)使用一步局部線(xiàn)性近似方法逼近原非凸問(wèn)題，即只運(yùn)行外環(huán)一次，則該優(yōu)化方法的收斂性主要取決于內(nèi)環(huán)?；谑?9)，目標(biāo)函數(shù)在每次迭代中滿(mǎn)足如下引理。

(16)

由式(16)可知目標(biāo)函數(shù)f(Di,Ci,Pi)單調(diào)非遞增，則MM-IALM優(yōu)化算法具有局部收斂性。此外，ZHANG[8]和LI[9]的研究表明，該非凸問(wèn)題的局部最優(yōu)解通常優(yōu)于凸松弛所得問(wèn)題的全局最優(yōu)解。

1.3.2 計(jì)算復(fù)雜度分析

1.4 初始化和字典更新

1.4.1 初始化

1.4.2 字典更新

為確保所提方法能適應(yīng)目標(biāo)外觀(guān)變化，筆者在線(xiàn)更新字典Di。由于第1幀中手動(dòng)選擇目標(biāo)，因此首幀目標(biāo)始終真實(shí)。在整個(gè)字典學(xué)習(xí)過(guò)程中始終保留首幀獲取的訓(xùn)練樣本集X1以緩解漂移問(wèn)題。為獲得更具魯棒性和判別性的字典，算法從連續(xù)T幀中收集目標(biāo)及背景樣本，并設(shè)置樣本池Xtrain和臨時(shí)樣本池Xtemp。Xtemp={Xt-T+1,Xt-T+2,…,Xt}，表示從前T幀收集的所有訓(xùn)練樣本，Xt表示根據(jù)第t幀跟蹤結(jié)果收集的訓(xùn)練樣本，從而得到一個(gè)樣本池Xtrain={X1,Xtemp}。使用樣本池Xtrain即可學(xué)得新字典Di以用于跟蹤下一幀中的目標(biāo)。獲得最優(yōu)判別字典后需清空Xtemp，以收集新的訓(xùn)練樣本。

在樣本收集過(guò)程中，當(dāng)樣本積累到Xtemp中時(shí)，跟蹤結(jié)果可能包含遮擋或噪聲等干擾。若跟蹤器確定的目標(biāo)最優(yōu)位置的評(píng)估值(評(píng)估方法見(jiàn)3.1小節(jié))大于重構(gòu)誤差閾值θ，則跟蹤結(jié)果不可靠，跳過(guò)此幀以避免引入噪聲；否則將該幀所得樣本積累到Xtemp中。需要注意的是，當(dāng)某一幀被跳過(guò)時(shí)，若臨時(shí)樣本池未收集完畢，則不更新字典。此外，需要說(shuō)明的是，重構(gòu)誤差閾值θ的選擇問(wèn)題本身就比較復(fù)雜。針對(duì)此問(wèn)題，國(guó)內(nèi)外研究人員做了大量研究。筆者根據(jù)試驗(yàn)確定θ取值，關(guān)于其最優(yōu)取值問(wèn)題將在后續(xù)研究中予以關(guān)注。

2 所提視覺(jué)目標(biāo)跟蹤算法

所提跟蹤模型基于貝葉斯框架[7]?；谏瞎?jié)所得字典來(lái)描述貝葉斯框架中的觀(guān)察模型，以實(shí)現(xiàn)精確的目標(biāo)跟蹤。

對(duì)于當(dāng)前候選目標(biāo)集Y，需解決如下優(yōu)化問(wèn)題：

(17)

其中，Ci表示利用字典Di候選目標(biāo)集Y所得稀疏編碼矩陣，Pi表示對(duì)應(yīng)的誤差項(xiàng)，β1為正則化參數(shù)。

P∝exp(-σεD1/(εD2+δ)) ，

(18)

其中，σ為常數(shù)，δ為避免分母為零的約束因子。根據(jù)式(18)可估計(jì)各候選目標(biāo)的后驗(yàn)概率。根據(jù)貝葉斯推理框架可得目標(biāo)狀態(tài)的最優(yōu)估計(jì)，從而實(shí)現(xiàn)目標(biāo)的精確追蹤。

3 實(shí)驗(yàn)分析

實(shí)驗(yàn)硬件環(huán)境：處理器為Intel Core(TM) i7-8550U，主頻為1.8 GHz，內(nèi)存為7.88 GB；軟件仿真環(huán)境為MATLAB R2017b。為驗(yàn)證所提算法的性能，筆者在WU等[11]提出的目標(biāo)跟蹤基準(zhǔn)中選取8組測(cè)試序列和4種主流跟蹤算法進(jìn)行對(duì)比實(shí)驗(yàn)。

表1 測(cè)試序列及其主要挑戰(zhàn)

說(shuō)明：√表示對(duì)應(yīng)測(cè)試序列存在相應(yīng)的挑戰(zhàn)因素。

3.1 參數(shù)設(shè)置

3.2 實(shí)驗(yàn)結(jié)果分析

圖1為5種跟蹤方法在8個(gè)測(cè)試序列上的部分跟蹤結(jié)果。相應(yīng)地，其平均中心位置誤差和平均跟蹤重疊率如表2所示。其中，用加粗字體標(biāo)識(shí)最大平均跟蹤重疊率和最小平均中心位置誤差，用下劃線(xiàn)標(biāo)識(shí)次小值。下面由圖1和表1、表2分析所提算法在光照變化、尺度變化、遮擋及背景雜波等挑戰(zhàn)下的準(zhǔn)確性。

圖1 不同算法的部分跟蹤結(jié)果

(1)光照變化。由表1知，測(cè)試序列包括Car1，Car2，Singer1，F(xiàn)aceocc2和Car4。當(dāng)測(cè)試序列發(fā)生頻繁光照變化時(shí)，所提算法仍能穩(wěn)定跟蹤目標(biāo)，說(shuō)明所提算法在光照變化下具有較好的魯棒性，而4種對(duì)比算法則丟失了目標(biāo)或發(fā)生嚴(yán)重漂移。圖1(e)和圖1(h)中，由于TLD算法加入重定位組件，在丟失目標(biāo)一段時(shí)間后重新定位目標(biāo)，但仍未能精確定位目標(biāo)。

(2)尺度變化。由表1知，測(cè)試序列包括Car1，Dudek，Walking2，Car2，Singer1和Car4。由圖1相關(guān)測(cè)試序列知，當(dāng)測(cè)試序列發(fā)生尺度變化時(shí)，所提算法能適應(yīng)尺度變化，具有較好的魯棒性。然而4種對(duì)比算法均丟失了目標(biāo)或發(fā)生漂移。其中，CT算法缺少尺度更新機(jī)制，目標(biāo)外觀(guān)模型隨著目標(biāo)尺度變化產(chǎn)生冗余或錯(cuò)誤，最終導(dǎo)致跟蹤失敗。由于筆者提出的算法采用非凸極大極小凹加函數(shù)懲罰稀疏矩陣和誤差矩陣，以獲得目標(biāo)的無(wú)偏估計(jì)，因而可獲得較好的跟蹤精度。

(3)遮擋。由表1知，測(cè)試序列包括Faceocc1，Dudek，Walking2，Singer1和Faceocc2。由圖1相關(guān)測(cè)試序列可知，當(dāng)目標(biāo)發(fā)生遮擋時(shí)，4種對(duì)比算法均發(fā)生不同程度漂移或跟蹤目標(biāo)框與真實(shí)目標(biāo)大小不符。特別是在圖1(d)中，當(dāng)目標(biāo)被另一人遮擋時(shí)，4種對(duì)比算法均丟失目標(biāo)。然而，筆者所提算法仍能穩(wěn)定跟蹤目標(biāo)，具有較高的跟蹤精度和魯棒性，其可歸因于所提算法為解決目標(biāo)遮擋和噪聲等問(wèn)題而加入了誤差項(xiàng)。

(4)背景雜波。由表1可知，測(cè)試序列包括Car1，Dudek和Car2。由圖1相關(guān)測(cè)試序列知，當(dāng)目標(biāo)處于背景雜波且伴隨光照或尺度變化的情況下，4種對(duì)比算法均發(fā)生不同程度漂移或丟失目標(biāo)。在圖1(a)和圖1(e)中，目標(biāo)駛?cè)腙幱皡^(qū)域后外觀(guān)發(fā)生較大變化，且和周?chē)尘坝休^大的相似性，對(duì)比算法受到相似目標(biāo)影響而發(fā)生漂移甚至丟失目標(biāo)。然而，所提算法能穩(wěn)定鎖定目標(biāo)，具有較高的跟蹤精度和魯棒性，其原因在于所提算法不僅針對(duì)目標(biāo)學(xué)習(xí)字典，還考慮目標(biāo)周?chē)谋尘靶畔?，利用所得判別字典可有效減輕相似背景干擾。

表2 不同跟蹤方法的平均跟蹤重疊率及平均中心位置誤差

由表2可知，所提算法在測(cè)試序列Car1，F(xiàn)aceocc1，Dudek，Walking2，Singer1均有較好的表現(xiàn)，其在所有測(cè)試序列上的平均跟蹤重疊率及平均中心位置誤差分別為0.78和5.98。

在目標(biāo)跟蹤問(wèn)題中，算法運(yùn)行速度是最重要的性能指標(biāo)之一。對(duì)比5種算法的運(yùn)行速度，分析所提算法的實(shí)時(shí)性。表3示出不同跟蹤方法在各個(gè)測(cè)試序列下的平均運(yùn)行速度(幀/秒)。由表3可知，相較于基于稀疏表示的對(duì)比算法，筆者提出的算法及其他對(duì)比算法運(yùn)行速度較高，實(shí)時(shí)性較好。然而，需要注意的是，雖然其他對(duì)比算法比筆者提出的算法運(yùn)行速度快，但跟蹤性能欠佳。

在通常條件下，基于稀疏表示的跟蹤算法的計(jì)算量與候選粒子數(shù)量成正比?；诖耍ㄟ^(guò)合理選擇粒子數(shù)量，并用復(fù)雜度較低的一步局部線(xiàn)性近似方法，可在顯著降低算法復(fù)雜度的情況下取得較好的跟蹤性能。

表3 不同跟蹤方法在各個(gè)測(cè)試序列下的平均運(yùn)行速度 幀/秒

綜上所述，與現(xiàn)有的主流跟蹤器相比，所提算法具有較好的魯棒性、精度和時(shí)效性。其主要原因歸結(jié)為：

(1) 所提算法考慮了目標(biāo)的時(shí)空局部相關(guān)性，因此不易受背景信息干擾，具有較高的魯棒性。

(2) 所提算法采用極大極小凹加函數(shù)懲罰稀疏和誤差矩陣以獲得近乎無(wú)偏估計(jì)，從而獲得了更高的跟蹤精度。

(3) 所提字典學(xué)習(xí)模型中字典不一致約束項(xiàng)使目標(biāo)及背景字典更獨(dú)立，從而提高了字典的判別能力。

(4) 針對(duì)遮擋或噪聲等問(wèn)題，所提算法在字典學(xué)習(xí)模型中加入誤差項(xiàng)以進(jìn)一步提高算法的魯棒性和精度。

4 結(jié)束語(yǔ)

針對(duì)復(fù)雜環(huán)境下目標(biāo)跟蹤性能顯著下降的問(wèn)題，提出一種視覺(jué)跟蹤方法。該方法首先根據(jù)最近若干幀跟蹤結(jié)果獲取目標(biāo)樣本，并在跟蹤結(jié)果鄰近區(qū)域獲取背景樣本。而后，在字典學(xué)習(xí)模型中施加不一致約束項(xiàng)使得目標(biāo)及背景字典更為獨(dú)立以提高字典的判別能力。同時(shí)，針對(duì)遮擋或噪聲等問(wèn)題干擾，所提方法利用誤差項(xiàng)捕獲異常值以改善算法的魯棒性。此外，該模型使用極大極小凹加函數(shù)懲罰稀疏編碼矩陣和誤差矩陣，以避免l1范數(shù)對(duì)一些較大變量過(guò)度懲罰，從而提高目標(biāo)跟蹤精度。為求解所得非凸判別字典的優(yōu)化問(wèn)題，提出基于MM-IALM的求解方法以獲得具有較好收斂性的高效求解。最后，根據(jù)所獲得的最優(yōu)判別字典構(gòu)建目標(biāo)觀(guān)測(cè)模型，并基于貝葉斯推理框架實(shí)現(xiàn)目標(biāo)精確跟蹤。仿真結(jié)果表明，與現(xiàn)有的主流算法相比，所提方法在光照變化、尺度變化、遮擋及背景雜波等環(huán)境下具有較高的跟蹤精度及魯棒性。