景星爍， 鄒衛(wèi)軍， 夏 婷， 李 超， 許 旭

(1.南京理工大學(xué)，南京 210094； 2.山東農(nóng)業(yè)大學(xué)，山東 泰安 271018)

0 引言

目標(biāo)跟蹤是在連續(xù)的圖像序列中估計(jì)目標(biāo)的位置，需要面臨諸多困難，是一個(gè)具有挑戰(zhàn)性的難題。最初的研究算法主要是基于生成模型來進(jìn)行跟蹤，如文獻(xiàn)[1-2]，但這些算法的魯棒性不是太高，計(jì)算量很大，不適合進(jìn)行實(shí)時(shí)跟蹤。隨著目標(biāo)跟蹤算法的進(jìn)一步發(fā)展，基于判別模型[3]的跟蹤成為研究熱點(diǎn)?；趬嚎s感知理論[4]的壓縮跟蹤算法[5]就是基于判別模型，通過生成一個(gè)稀疏的投影矩陣，然后將壓縮后的數(shù)據(jù)作為特征來進(jìn)行分類，優(yōu)點(diǎn)是簡(jiǎn)單、高效；但該算法仍存在一些缺陷，如對(duì)光照比較敏感，而且不能適應(yīng)目標(biāo)尺度的變化。隨后，研究人員在壓縮跟蹤的基礎(chǔ)上也做了一些改進(jìn)。文獻(xiàn)[6]以多個(gè)矩陣作為壓縮感知中的投影矩陣，將壓縮后的數(shù)據(jù)作為特征提取出跟蹤所需的多種特征，使算法能夠適應(yīng)紋理和光照變化，但跟蹤框大小固定，所以不能夠適應(yīng)目標(biāo)尺度的變化。文獻(xiàn)[7]通過結(jié)構(gòu)約束性采樣，獲取不同位置不同尺度的掃描窗，離線計(jì)算不同尺度下的稀疏隨機(jī)感知矩陣，并用于降維，解決了目標(biāo)的基本姿態(tài)變化及尺度縮放的問題，但是沒有解決光照變化、遮擋等問題。

本文綜合考慮以上缺陷，提出了改進(jìn)算法：分析了HOG類特征對(duì)光照的不敏感性，與Haar-like特征采用固定比值方式進(jìn)行融合，并結(jié)合尺度估計(jì)相關(guān)濾波器[8]，尋找使濾波器得到最大響應(yīng)的尺度，更新特征提取模板，從而實(shí)時(shí)地調(diào)整跟蹤窗口進(jìn)行精確跟蹤。

1 CT算法相關(guān)概念

壓縮跟蹤算法的主要思想就是利用符合壓縮感知RIP條件的隨機(jī)感知矩陣對(duì)高維圖像特征進(jìn)行降維，并且對(duì)降維后的特征采用簡(jiǎn)單的樸素貝葉斯分類器進(jìn)行二分類，然后每幀通過在線學(xué)習(xí)更新分類器，實(shí)現(xiàn)目標(biāo)跟蹤?；趬嚎s感知理論[4]的降維公式可以描述為：V=RX，其中,X為高維特征信號(hào)(m維)，V為低維特征信號(hào)(n維)，R代表隨機(jī)測(cè)量矩陣。其特征降維過程為

(1)

2 Haar-like特征與HOG類特征的融合

2.1 Haar-like特征算法

Haar-like特征[5]是通過統(tǒng)計(jì)多個(gè)矩形框內(nèi)的像素和，然后由這幾個(gè)矩形框內(nèi)的像素和線性表示而成，此特征在圖像內(nèi)的不同區(qū)域形成像素灰度特征，在目標(biāo)發(fā)生一定形變時(shí)有較好的魯棒性，但是該特征由于引入的是顏色信息，所以對(duì)光照比較敏感，不能應(yīng)對(duì)較大的光照變化情況。

每個(gè)樣本[5]的Haar-like特征算式為

(2)

式中：f(i)為第i個(gè)特征；Rrect(rk)為第k個(gè)矩形框內(nèi)像素值的和；wk為第k個(gè)矩形框的權(quán)重；N是矩形特征f(i)中含有的矩形框總個(gè)數(shù)，其值在2～4之間。

2.2 HOG類特征算法

2005年，DALAL提出HOG(梯度向量直方圖)[9]特征，是指使用梯度的幅值和方向圍繞興趣點(diǎn)或圖像的一個(gè)區(qū)域構(gòu)建直方圖。HOG特征表征了圖像矩形區(qū)域內(nèi)的梯度強(qiáng)度和梯度方向的分布情況，由于它是在圖像的局部單元上操作的，所以對(duì)圖像的幾何和光學(xué)上的形變有著良好的不變性，彌補(bǔ)了Haar-like特征的不足。

計(jì)算HOG特征時(shí)首先要計(jì)算像素的梯度與梯度方向。圖像各像素點(diǎn)(x,y)的梯度算式為

Gx(x,y)=i(x+1,y)-i(x-1,y)

(3)

Gy(x,y)=i(x,y+1)-i(x,y-1)

(4)

式中，Gx(x,y)，Gy(x,y)，i(x,y)分別代表輸入圖像中像素點(diǎn)A(x,y)水平方向上的梯度、垂直方向上的梯度和該點(diǎn)像素值。所以，該像素點(diǎn)的梯度值與梯度方向分別為

(5)

θ=arctan(Gx/Gy)。

(6)

但是，使用上式直接計(jì)算梯度，計(jì)算量十分巨大，不能滿足實(shí)時(shí)性的要求，所以實(shí)際計(jì)算時(shí)采用中心向量算子[9][1，0，-1]來估計(jì)梯度。

為了與Haar-like特征進(jìn)行融合，本文提出一種有別于傳統(tǒng)HOG特征的HOG類特征表示方法：在采集得到正負(fù)樣本之后，首先計(jì)算每個(gè)樣本圖像中所有像素點(diǎn)的梯度和梯度方向。其次，把梯度方向平均分成B個(gè)特征區(qū)間，按照每個(gè)像素點(diǎn)的梯度方向統(tǒng)計(jì)各像素點(diǎn)的梯度向量直方圖。最終，在每個(gè)特征區(qū)間，都能得到一幅梯度幅值圖像，進(jìn)而得到B幅梯度幅值圖像。根據(jù)式(2)，對(duì)每個(gè)梯度幅值圖像分別采用與Haar-like相同的處理方法，便可以得到上文所提到的HOG類特征。其特征數(shù)量為Haar-like特征數(shù)量的B倍。

由于每個(gè)Haar-like特征與HOG類特征提取時(shí)要統(tǒng)計(jì)矩形框內(nèi)像素的和，計(jì)算量是十分龐大的，無法滿足實(shí)際要求。為了減少計(jì)算量，本文仍采用積分圖像[5]進(jìn)行加速運(yùn)算。

2.3 特征融合

在實(shí)際提取特征時(shí)，需要使用上述所提到的隨機(jī)測(cè)量矩陣的方法進(jìn)行降維。本文采用Haar-like特征與HOG類特征固定比值融合的方法，提取圖像更多有用的信息。利用隨機(jī)測(cè)量矩陣將高維特征X投影到低維空間。

vi=(yi1,yi 2,…,yiB,zi)

(7)

V=(v1,v2,…，vn)=RX

(8)

式中：(yi1,yi 2,…,yiB)代表HOG類特征值，B代表每個(gè)融合特征組中HOG類特征個(gè)數(shù)；zi代表Haar-like特征值；V代表壓縮之后的特征向量，即通過隨機(jī)測(cè)量矩陣R得到的所有融合特征組。本文為了保持算法的實(shí)時(shí)性，在特征融合過程中采用的是固定比值融合，即參與訓(xùn)練的Haar-like特征數(shù)與HOG類特征數(shù)的比值設(shè)置為1:B(B的大小可以根據(jù)不同場(chǎng)景和目標(biāo)特征進(jìn)行適當(dāng)調(diào)整)，然后使用融合特征組訓(xùn)練和更新分類器并進(jìn)行分類。

2.4 樸素貝葉斯分類器的構(gòu)建與更新

對(duì)于上述所計(jì)算的Haar-like與HOG類特征組，本文仍采用樸素貝葉斯分類器進(jìn)行分類，假定V中的各元素是獨(dú)立分布的，構(gòu)建分類器為

(9)

(10)

這4個(gè)參數(shù)會(huì)進(jìn)行增量更新，即

(11)

式中：學(xué)習(xí)因子λ>0；

(12)

式(11)可以由最大化似然估計(jì)[5]得到。

3 自適應(yīng)尺度相關(guān)濾波器的設(shè)計(jì)

3.1 濾波器的設(shè)計(jì)

針對(duì)目標(biāo)運(yùn)動(dòng)過程中出現(xiàn)的尺度變化問題，本文借鑒多尺度跟蹤方法[10]，通過學(xué)習(xí)一個(gè)獨(dú)立的一維相關(guān)濾波器去檢測(cè)目標(biāo)尺度的變化，稱之為尺度相關(guān)濾波器。尺度估計(jì)方法為：首先在檢測(cè)出的目標(biāo)周圍采集一系列不同尺度的圖像塊xsi，提取d維HOG特征進(jìn)行圖像塊表達(dá)，對(duì)應(yīng)的高斯函數(shù)標(biāo)簽為ysi；利用這些圖像塊訓(xùn)練RLS分類器[9]，并在線性空間進(jìn)行求解，獲得一個(gè)一維的尺度相關(guān)濾波器；最后通過尋找這個(gè)濾波器的最大輸出響應(yīng)來完成尺度檢測(cè)。

訓(xùn)練RLS分類器，得到尺度相關(guān)濾波器模板Bnum，Bden的計(jì)算和更新公式分別為

Bnum(i)=(1-ηs)Bnum(i-1)+ηsF(ysi)⊙F*(xsi)

(13)

(14)

式中，ηs是固定的參數(shù)。

尺度分類器的輸出響應(yīng)為

(15)

隨著目標(biāo)尺度的變化，特征提取模板也要變化。本文采用比例縮放的方式更新模板，即通過縮放特征模板中小矩形框的大小來保證適應(yīng)目標(biāo)尺度的改變。

3.2 改進(jìn)后的整體算法流程

改進(jìn)后的算法流程如下：

1) 初始化有關(guān)參數(shù)[5,10]并手動(dòng)設(shè)定第一幀中被跟蹤目標(biāo)的中心位置及尺度；

2) 讀取新幀圖像，判斷是否為初始幀，若是，轉(zhuǎn)到8);否則,轉(zhuǎn)3)；

3) 在圖像上一幀的目標(biāo)中心位置的候選區(qū)域(距離半徑r≤γ[5])中提取候選樣本，并計(jì)算Haar-like和HOG類特征組的特征值；

4) 使用樸素貝葉斯分類器從候選區(qū)域中找到使分類數(shù)最大的目標(biāo)中心位置作為新位置；

5) 在新目標(biāo)區(qū)域周圍為尺度相關(guān)濾波器提取33個(gè)尺度樣本[10]，并計(jì)算其特征值；

6) 計(jì)算尺度分類器的響應(yīng)值，找到最大響應(yīng)時(shí)的尺度；

7) 更新目標(biāo)尺度，并更新特征模板；

8) 在圖像目標(biāo)中心的內(nèi)鄰域(距離半徑r≤α[5])與環(huán)形域(距離半徑ζ≤r≤β[5])分別提取當(dāng)前尺度的正樣本和負(fù)樣本，用稀疏測(cè)量矩陣在正負(fù)樣本上提取Haar-like和HOG類特征組，并計(jì)算特征值；

9) 由8)得到的特征值更新樸素貝葉斯分類器參數(shù)；

10) 在目標(biāo)區(qū)域周圍為尺度相關(guān)濾波器提取33個(gè)尺度樣本[10]，并計(jì)算樣本特征值；

11) 更新尺度分類器的參數(shù)；

12) 判斷是否為最后一幀，如果是，則算法終止；否則,轉(zhuǎn)到2)。

4 實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)的計(jì)算機(jī)配置為：處理器為Intel(R) Core(TIM) i5-3230M CPU@2.60 GHz，內(nèi)存為8.00 GB，64位Windows8 操作系統(tǒng)。開發(fā)環(huán)境為Matlab與C++的混合編譯環(huán)境，版本為Matlab 2014a。實(shí)驗(yàn)中所用到的6組視頻序列來自公開的OTB數(shù)據(jù)集，每個(gè)視頻序列的特點(diǎn)如表1所示。Struck跟蹤算法[11]是基于結(jié)構(gòu)輸出預(yù)測(cè)的自適應(yīng)目標(biāo)跟蹤框架，利用支持向量機(jī)(SVM) 原理實(shí)現(xiàn)跟蹤，其跟蹤速度與精度都不錯(cuò)。實(shí)驗(yàn)中，對(duì)比了原始?jí)嚎s跟蹤算法和Struck跟蹤算法，并在下文做出了具體分析。

表1 各視頻序列的特點(diǎn)

4.1 參數(shù)設(shè)置及評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)過程中，設(shè)置基本參數(shù)為：梯度區(qū)間B取4，Haar-like特征數(shù)仍然取原始?jí)嚎s跟蹤算法中的50，學(xué)習(xí)率為0.85，α=4，β=30，ζ=8，γ=20；有關(guān)尺度估計(jì)的參數(shù)設(shè)置見文獻(xiàn)[10]。

中心距離精度PD、重疊率RO、中心位置誤差ECL是度量跟蹤算法性能的重要指標(biāo)。其中：ECL是跟蹤目標(biāo)位置與實(shí)際位置的歐氏距離，單位為像素；PD是ECL<20的幀數(shù)占總幀數(shù)的比值；RO的定義為

(16)

式中：RT為跟蹤得到的目標(biāo)框；RG為標(biāo)定目標(biāo)框；S(·)表示矩形框(·)的面積。當(dāng)RO大于0.5時(shí)，認(rèn)為可以成功跟蹤到目標(biāo)。

4.2 定性結(jié)果比較

選取的6組視頻序列分別用Struck算法、CT算法及本文算法進(jìn)行跟蹤測(cè)試，跟蹤效果對(duì)比如圖1所示。

通過以上跟蹤結(jié)果的定性對(duì)比，并且結(jié)合每個(gè)視頻序列所具有的特點(diǎn)，可以分以下幾種情況進(jìn)行分析。

光照變化情況：圖1c、圖1d、圖1e中所示的視頻序列展示了光照變化對(duì)跟蹤算法的影響。對(duì)于CarDark序列，在夜晚道路上有明顯的光照變化，原始CT算法在開始時(shí)就已經(jīng)跟蹤失敗，而Struck算法開始時(shí)跟蹤良好，但后期目標(biāo)框產(chǎn)生了少許偏移，本文算法整體跟蹤都十分成功；Man序列中黑暗背景下CT算法與本文算法跟蹤很好，但發(fā)生光照劇烈變化時(shí)，CT算法跟蹤失敗，本文算法仍然可以精確跟蹤；Trellis序列中的光照變化也十分明顯，可以看到后期光照變化時(shí)Struck算法與CT算法直接跟丟目標(biāo)，而本文算法十分穩(wěn)定?？梢钥闯?，Struck算法與CT算法對(duì)光照都十分敏感。

尺度變化情況：圖1a、圖1b、圖1e、圖1f所示序列都有目標(biāo)的尺度變化，明顯看出,本文算法在加入了尺度自適應(yīng)算法后效果比未加入尺度估計(jì)的Struck算法和CT算法效果更好。

旋轉(zhuǎn)與形變問題：圖1a、圖1b所示序列都涉及平面內(nèi)旋轉(zhuǎn)問題，由Dog1序列中第650幀可以看出，本文算法應(yīng)對(duì)此類問題比其他兩類算法更好，Dog2序列中的形變問題在第70，96，113幀可以明顯對(duì)比，Struck算法與CT算法跟蹤的目標(biāo)位置已經(jīng)出現(xiàn)了偏移，效果不如本文算法。圖1e中涉及平面外旋轉(zhuǎn)，可以看出,本文算法在應(yīng)對(duì)平面外旋轉(zhuǎn)的情況時(shí)魯棒性有所欠缺。

背景相似干擾與部分遮擋問題：圖1c、圖1e所示序列中含有背景相似干擾，CarDark序列中Struck算法與本文算法都可以成功跟蹤，而在Trellis序列中只有本文算法可以成功跟蹤。對(duì)于Walking中的部分遮擋問題，本文算法與Struck算法都能跟蹤目標(biāo)，且效果較Struck算法好一些。

綜合以上分析，本文算法不僅能夠大大降低對(duì)光照的敏感度，而且還能適應(yīng)目標(biāo)尺度的變化，另外，對(duì)于一些平面內(nèi)旋轉(zhuǎn)形變及部分遮擋問題也能進(jìn)行跟蹤，算法魯棒性有了一定的提高。

4.3 定量分析結(jié)果

分別針對(duì)Struck算法、CT算法及本文算法的目標(biāo)跟蹤結(jié)果定量計(jì)算出中心距離精度、重疊率以及中心位置誤差3項(xiàng)評(píng)價(jià)指標(biāo)，如表2所示，并繪出跟蹤過程中的定位誤差的實(shí)時(shí)曲線，如圖2所示。

表2 中心距離精度、重疊率及中心位置誤差

圖2 各視頻序列定位誤差對(duì)比

表2及圖2都是對(duì)本文所進(jìn)行對(duì)比的3種算法針對(duì)不同視頻序列的定量分析結(jié)果。實(shí)驗(yàn)數(shù)據(jù)表明，不論是從中心距離精度、中心位置誤差還是重疊率方面來對(duì)比，本文算法性能都更加優(yōu)越。本文算法取得了最低的中心位置誤差，還取得了最高的中心距離精度和重疊率，只有Dog2序列的跟蹤重疊率較其他序列低一些。在實(shí)時(shí)性上，以Dog1序列為例，在上述計(jì)算機(jī)配置環(huán)境下，圖像像素大小為240×320，初始跟蹤框像素大小為51×36，本文算法平均速度為13.49幀/s，雖然相比原始?jí)嚎s跟蹤算法64.4幀/s和Struck算法20.2幀/s的速度有所降低，但仍然滿足準(zhǔn)實(shí)時(shí)性要求。所以，本文算法整體跟蹤效果優(yōu)于其他兩種算法。

5 結(jié)論

本文以傳統(tǒng)的壓縮跟蹤算法為基礎(chǔ)，提出了一種融合HOG類特征的尺度自適應(yīng)壓縮跟蹤算法。由于融合了HOG類特征，大大降低了算法對(duì)光照變化的敏感度，而且加入了相關(guān)濾波尺度估計(jì)，能夠適應(yīng)目標(biāo)尺度的變化，提高了跟蹤算法的性能。實(shí)驗(yàn)表明，本文算法在跟蹤難點(diǎn)如光照變化、平面內(nèi)旋轉(zhuǎn)、形變、相似背景干擾及部分遮擋下跟蹤性能表現(xiàn)良好，具有較好的魯棒性。算法雖然仍具有準(zhǔn)實(shí)時(shí)性，但在原始CT算法基礎(chǔ)上降速很多，所以在本文算法基礎(chǔ)上繼續(xù)提升速度是下一步的研究計(jì)劃。另外，本文對(duì)于兩類特征的融合采用了固定比值的融合方式，在保證算法實(shí)時(shí)性條件下兩種特征的自適應(yīng)融合也將是本文未來的研究方向。