張?bào)@雷,姜松濤(1.天津市復(fù)雜系統(tǒng)控制理論及應(yīng)用重點(diǎn)實(shí)驗(yàn)室,天津300384;2.天津市理工大學(xué)自動(dòng)化學(xué)院,天津300384)
基于改進(jìn)壓縮感知的運(yùn)動(dòng)目標(biāo)跟蹤*
張?bào)@雷1,2,姜松濤1,2
(1.天津市復(fù)雜系統(tǒng)控制理論及應(yīng)用重點(diǎn)實(shí)驗(yàn)室,天津300384;2.天津市理工大學(xué)自動(dòng)化學(xué)院,天津300384)
針對(duì)運(yùn)動(dòng)目標(biāo)在被遮擋和目標(biāo)紋理變化大時(shí)會(huì)導(dǎo)致跟蹤丟失以及跟蹤誤差大等問(wèn)題,提出了一種改進(jìn)的壓縮感知(CS)算法。算法采用設(shè)置Sigmoid函數(shù)響應(yīng)閾值,判定是否存在遮擋,以決定是否更新分類(lèi)器參數(shù),使得目標(biāo)在遇到較大遮擋時(shí)目標(biāo)模型不會(huì)被錯(cuò)誤更新;針對(duì)特征單一導(dǎo)致跟蹤不穩(wěn)定問(wèn)題,提出根據(jù)設(shè)定融合規(guī)則進(jìn)行灰度特征和紋理特征融合的方法,使得兩種特征指導(dǎo)跟蹤。實(shí)驗(yàn)證明:改進(jìn)后的算法比傳統(tǒng)算法跟蹤成功率提高了17.84%,平均誤差率降低11.59%。
壓縮感知;目標(biāo)跟蹤;目標(biāo)模型;特征融合
目標(biāo)跟蹤技術(shù)是計(jì)算機(jī)視覺(jué)系統(tǒng)中不可或缺的環(huán)節(jié),在軍事制導(dǎo)、導(dǎo)航、智能交通等領(lǐng)域都有廣泛應(yīng)用。在眾多跟蹤算法中,壓縮感知(compressive sensing,CS)算法是近年來(lái)學(xué)者們研究的熱點(diǎn),由Donoho D L[1]和Candes E[2]率先提出的,其理論思想是:若采樣信號(hào)在某一個(gè)正交空間具有稀疏性或者可壓縮性,就能以遠(yuǎn)小于Nyquist采樣率的條件下獲取該信號(hào)的離散樣本,并可能以高概率精確的重建該信號(hào)。通過(guò)引用該理論,CS被應(yīng)用于跟蹤領(lǐng)域,產(chǎn)生了CS跟蹤算法,但傳統(tǒng)的CS跟蹤算法在目標(biāo)遮擋和紋理變化劇烈時(shí)依然存在缺陷。
傳統(tǒng)CS跟蹤算法中分類(lèi)器的參數(shù)更新模式是固定的,如果此時(shí)發(fā)生遮擋情況,則背景誤差就會(huì)在更新過(guò)程中被引入到模型參數(shù)中,逐漸累積,最終導(dǎo)致跟蹤失敗。因此,本文提出當(dāng)出現(xiàn)較大遮擋的情況時(shí)外觀(guān)模型停止更新。另外,CS跟蹤算法能夠快速地提取特征,跟蹤實(shí)時(shí)性很好。但采樣的特征單一[3],當(dāng)目標(biāo)紋理發(fā)生劇烈變化時(shí)容易發(fā)生漂移,跟蹤穩(wěn)定性不夠好。本文提出灰度特征和紋理特征的融合方法,解決了由于特征單一引起的跟蹤不穩(wěn)定問(wèn)題。
1.1特征的提取
CS理論[4]提出:R為一個(gè)n×m的隨機(jī)測(cè)量矩陣,其中,nm。它可以利用式(1)將一個(gè)高維圖像信號(hào)x(m維)壓縮成一個(gè)低維信號(hào)v(n維)。其公式如下
Johnson-Lindenstrauss推論[5]表明:若隨機(jī)選取一個(gè)合適的高維子空間,向量空間中兩點(diǎn)投影到這個(gè)子空間,那么有很高的概率它們之間的距離關(guān)系會(huì)被保留。Baraniuk R[6]證明了滿(mǎn)足Johnson-Lindenstrauss推論的隨機(jī)矩陣同樣滿(mǎn)足壓縮感知理論的RIP(restricted isometry property)條件,即:若隨機(jī)測(cè)量矩陣R滿(mǎn)足Johnson-Lindenstrauss的推論,且x是可壓縮的或是稀疏的,則就能以高概率從v中在最小誤差的情況下將x重建。
CS跟蹤算法優(yōu)點(diǎn)在于選取了一個(gè)合適的測(cè)量矩陣,由于R是一個(gè)滿(mǎn)足RIP條件的隨機(jī)測(cè)量矩陣,但m的維數(shù)很高,矩陣相對(duì)稠密,其運(yùn)算量和存儲(chǔ)消耗是非常大的,因此,采用了稀疏的測(cè)量矩陣對(duì)其進(jìn)行降維處理,其中,rij~N(0,1),其矩陣元素定義如下
式中p為rij取某值的概率,而s取值在2~4中隨機(jī)選取。其特征生成過(guò)程如圖1所示。
圖1 特征生成示意圖Fig 1 Diagram of feature generation
圖1表明R對(duì)原始圖像的特征x進(jìn)行映射,得到采樣特征v。在測(cè)量矩陣R中,灰色、黑色和白色分別代表矩陣元素為正數(shù)、負(fù)數(shù)和零。
1.2分類(lèi)器的構(gòu)建和更新
假設(shè)v中的各元素vi分布獨(dú)立,從而利用樸素貝葉斯分類(lèi)器[7]來(lái)建模
式中p(vi|y=1)和p(vi|y=0)符合高斯分布,y∈{0,1}為二值變量,用來(lái)表示樣本的正負(fù),當(dāng)y=0時(shí)為負(fù)樣本,當(dāng)y=1時(shí)為正樣本,假設(shè)兩個(gè)類(lèi)的先驗(yàn)概率p(y=1)=p(y= 0)。Diaconis P和Freedman D證明:高維隨機(jī)向量的隨機(jī)投影幾乎都服從高斯分布[8]。其中
最終,選取H(v)值最大的區(qū)域作為新一幀的目標(biāo)區(qū)域。在確定區(qū)域后,重新進(jìn)行降維獲取正、負(fù)樣本,并通過(guò)式(5)更新相關(guān)系數(shù)
式中λ>0為學(xué)習(xí)因子,它影響更新的速度,λ越小則說(shuō)明分類(lèi)器更新的速度越快。
2.1對(duì)發(fā)生遮擋情況的改進(jìn)
通過(guò)對(duì)分類(lèi)器更新的機(jī)制發(fā)現(xiàn),一旦出現(xiàn)目標(biāo)被遮擋的情況,會(huì)造成一些誤差被引入到參數(shù)模型模型參數(shù)當(dāng)中。在后續(xù)的跟蹤過(guò)程中,如不加以更正,誤差會(huì)逐漸累積,而導(dǎo)致目標(biāo)跟蹤失敗。因此,本文提出了一種根據(jù)分類(lèi)器響應(yīng)值H(v)和Sigmoid函數(shù)檢測(cè)遮擋的方法,在目標(biāo)遭到嚴(yán)重遮擋或者新的模板存在問(wèn)題的時(shí)候,停止更新模型參數(shù)。
基于檢測(cè)的跟蹤可看作一個(gè)二元分類(lèi)問(wèn)題[4],分類(lèi)器響應(yīng)值H(v)或者Sigmoid函數(shù)響應(yīng)值較大者作為新的跟蹤結(jié)果。Sigmoid函數(shù)如式(6)所示
定義:響應(yīng)值若大于0.5(H(v)>0)時(shí),判定樣本為正樣本;否則,為負(fù)樣本。在CT跟蹤算法的檢測(cè)階段,如果所有樣本的分類(lèi)器響應(yīng)值均小于0,即分類(lèi)器所得到的目標(biāo)樣本(響應(yīng)最大的樣本)是負(fù)樣本,則這種情況一般是在目標(biāo)遭到遮擋的情況下出現(xiàn)。因此,此時(shí)不更新目標(biāo)是較為合適,以免將誤差引入模型參數(shù)當(dāng)中
即,當(dāng)Hmax<0時(shí),分類(lèi)器不更新。
2.2對(duì)特征單一問(wèn)題的改進(jìn)
當(dāng)特征提取式(2)中時(shí),隨機(jī)測(cè)量矩陣中每一行只存在1或者-1的概率如下:
因此,隨機(jī)測(cè)量矩陣ri中只存在1或者只存在-1的概率為
由此可知,有30%的情況下,只存在1或者只存在-1,則這時(shí)采樣后的特征表現(xiàn)出的是圖像的灰度特征。有70%的情況下,1和-1同時(shí)存在,則這時(shí)采樣后的特征表現(xiàn)的是圖像的紋理特征。灰度特征在目標(biāo)運(yùn)動(dòng)時(shí)比較穩(wěn)定,而紋理特征在目標(biāo)紋理變化時(shí)比較穩(wěn)定。由于測(cè)量矩陣提取的樣本特征70%都為紋理特征,這會(huì)導(dǎo)致當(dāng)目標(biāo)紋理發(fā)生變化時(shí),跟蹤不穩(wěn)定的問(wèn)題,主要是因?yàn)樘卣鬏^為單一。
為了提高跟蹤的穩(wěn)定性,本文提出了用多特征來(lái)描述樣本。融合灰度特征與紋理特征來(lái)解決因特征單一而造成的跟蹤不穩(wěn)定的問(wèn)題。定義融合的特征提取矩陣的生成公式為
這里,r1i,r2i分別表示特征提取矩陣的第i行,k表示特征提取矩陣中第i行中第k個(gè)非零值。從式(9)中可以看出,當(dāng)r1i中同時(shí)存在1和-1時(shí),r2i只存在1,因此,有70%的情況下體現(xiàn)的是圖像的灰度特征;當(dāng)r1i中只存在1或-1時(shí),導(dǎo)致r2i中1和-1同時(shí)存在,因此,有30%的情況下體現(xiàn)的是圖像的紋理特征。利用這兩種特征指導(dǎo)跟蹤,實(shí)現(xiàn)了特征融合采樣,解決了特征單一的問(wèn)題,使得跟蹤效果得到提升。
2.3算法流程
1)初始化選取目標(biāo),采集目標(biāo)樣本和背景樣本;
2)根據(jù)式(2)生成特征提取矩陣r1,再根據(jù)式(9)和矩陣r1的值生成特征提取矩陣r2;
3)根據(jù)式(1)生成特征向量v,利用式(4)計(jì)算樣本特征的均值和方差μ0和δ0,μ1和δ1;
4)讀取新的一幀圖像,設(shè)置搜索半徑,尋找候選區(qū)域,計(jì)算特征然后將其帶入式(3),使用分類(lèi)器H(v)對(duì)特征進(jìn)行分類(lèi)。找到分類(lèi)計(jì)算值最大的樣本作為當(dāng)前跟蹤到的目標(biāo)位置。若Hmax<0則不更新,返回步驟1對(duì)下一幀進(jìn)行采樣處理;
5)若Hmax>0,則分類(lèi)器更新,得到新目標(biāo)位置lt,以lt為中心α為半徑采集正樣本集:Dα={z|‖l(z)-lt‖<α};以α<ζ<β為半徑采集負(fù)樣本集:Dβ={z|ζ<‖l(z)-lt‖<α},根據(jù)兩樣本集的特征,更新分類(lèi)器參數(shù);
6)跳轉(zhuǎn)到步驟(1)進(jìn)行下一幀處理。
為了驗(yàn)證本文算法與傳統(tǒng)CS跟蹤算法在跟蹤目標(biāo)過(guò)程中的性能,進(jìn)行了一系列的實(shí)驗(yàn)驗(yàn)證,并與CS跟蹤算法進(jìn)行對(duì)比。視頻序列包含了在跟蹤過(guò)程中經(jīng)常出現(xiàn)的一些影響,例如:大面積遮擋,光照變化,目標(biāo)運(yùn)動(dòng)等問(wèn)題。算法在Window7 64位系統(tǒng)下Matlab R2010a環(huán)境下運(yùn)行。實(shí)驗(yàn)采用公認(rèn)的Benchmark視頻數(shù)據(jù)庫(kù)中的視頻序列進(jìn)行驗(yàn)證,下面列舉其中的典型視頻序列進(jìn)行說(shuō)明,如圖2、圖3所示,其中,實(shí)線(xiàn)代表本文算法的跟蹤效果,虛線(xiàn)代表傳統(tǒng)的CT算法的跟蹤效果。
實(shí)驗(yàn)一:遮擋和姿勢(shì)變化
如圖2所示的face視頻序列是檢測(cè)對(duì)人臉的跟蹤效果,共812幀圖像。在跟蹤過(guò)程中,發(fā)生了小幅度姿勢(shì)變換、面部被遮擋情況。從視頻序列中可以看出,在起初的跟蹤過(guò)程中,兩個(gè)算法均保持較穩(wěn)定的跟蹤效果。在第492幀面部被大部分遮擋時(shí),兩種算法均發(fā)生漂移現(xiàn)象,這時(shí)傳統(tǒng)CS跟蹤算法模型發(fā)生更新,誤差參數(shù)不斷累積,因此,在第522幀當(dāng)遮擋情況結(jié)束,跟蹤目標(biāo)再次出現(xiàn)后,本文算法并沒(méi)有更新外觀(guān)模型,仍能較好地跟蹤目標(biāo),而CS跟蹤算法由于盲目更新導(dǎo)致錯(cuò)誤信息不斷累積,最終跟蹤目標(biāo)失敗。
圖2 對(duì)face視頻序列的跟蹤效果Fig 2 Tracking effect of face video sequence
實(shí)驗(yàn)二:光照和紋理變化
如圖3所示的suv視頻序列是驗(yàn)證在光照和紋理均有變化的情況的跟蹤效果。在第240幀以后,光線(xiàn)由暗變明且車(chē)開(kāi)始換道時(shí),傳統(tǒng)的CS跟蹤算法僅靠一種特征進(jìn)行跟蹤,因此,出現(xiàn)了漂移現(xiàn)象,第275幀后由于累計(jì)錯(cuò)誤模型導(dǎo)致完全跟丟目標(biāo)。本文算法由于采用了灰度及紋理特征融合,仍能繼續(xù)跟蹤。
圖3 對(duì)suv視頻序列的跟蹤效果Fig 3 Tracking effect of suv video sequence
為定量評(píng)價(jià)實(shí)驗(yàn)結(jié)果,引入兩個(gè)評(píng)價(jià)指標(biāo),即成功率和平均誤差。首先成功率的定義為
式中Rt為目標(biāo)實(shí)際區(qū)域;Ra為算法的跟蹤區(qū)域;如果S>0.5,則可以認(rèn)為跟蹤成功。
則平均誤差為
由式(12)可知,平均誤差越小,則代表整個(gè)視頻序列跟蹤精度越高。
上述實(shí)驗(yàn)的成功率和平均誤差數(shù)據(jù)如表1所示。與傳統(tǒng)CS跟蹤算法相比,本文算法在處理遮擋情況和光照、紋理變化情況的性能均優(yōu)于傳統(tǒng)算法,其中,跟蹤成功率提高了18%,平均誤差降低了12%。
表1 評(píng)價(jià)指標(biāo)Tab 1 Evaluation index
本文在CS跟蹤算法的基礎(chǔ)上,提出了在跟蹤過(guò)程中發(fā)生目標(biāo)遮擋、光照和紋理變化時(shí)的解決方案。經(jīng)過(guò)對(duì)經(jīng)典測(cè)試視頻序列實(shí)驗(yàn)驗(yàn)證,結(jié)果表明:本文算法在目標(biāo)發(fā)生遮擋和紋理、光照變化時(shí),跟蹤評(píng)價(jià)指標(biāo)有明顯的提高。但在一些復(fù)雜的跟蹤場(chǎng)景,目標(biāo)快速移動(dòng)且形變劇烈時(shí),算法還需進(jìn)一步改進(jìn)。
[1]Donoho D L.Compressed sensing[J].IEEE Transaction on Information Theories,2006,52(4):1289-1306.
[2]Candes E,Tao T.Near optimal signal recovery from random projections and universal encoding strategies[J].IEEE Transactions on Information Theory,2006,52:5406-5425.
[3]Wang S,Lu H CH,Yang F,et al.Superpixel tracking[C]∥IEEE International Conference on Computer Vision(ICCV),Barcelona,Spain,2011:1323-1330.
[4]Zhang K H,Zhang L,Yang M H.Real-time compressove tracking[C]∥Proc of the 12th European Conference on Computer Vision,Berlin:Springer-Verlag,2012:864-877.
[5]Achlioptas D.Database-friendly random projections:Johnson-Lindenstrauss with binary coins[J].Journal of Computer and System Sciences,2003,66:671-687.
[6]Baraniuk R,Davenport M,DeVore R,et al.A simple proof of the restricted isometry property for random matrices[J].Constructive Approximation,2008,28:253-263.
[7]Ng A,Jordan M.On discriminative vs generative classifier:A comparison of logistic regression and nave bayes[J].Neural Information Processing Systems,2002,52:841-848.
[8]Diaconis P,F(xiàn)reedman D.Asymptotics of graphical projection pursuit[J].The Annals of Statistics,1984,12(3):228-235.
姜松濤,通訊作者,E—mail:446707284@qq.com。
Moving targets tracking based on improved compressive sensing*
ZHANG Jing-lei1,2,JIANG Song-tao1,2
(1.Tianjin Key Laboratory for Control Theory&Application in Complicated System,Tianjin 300384,China;2.School of Electrical Engineering,Tianjin University of Technology,Tianjin 300384,China)
Aiming at the problems of tracking failure and large tracking error in the case of target occlusion and textures change in moving targets tracking,an improved compressive sensing(CS)algorithm is proposed.Response threshold of a sigmoid function is used to judge whether occlusion exist,to determine whether to update classifier parameter or not,in order to avoid object model is mistake updated when heavy occlusion exists.To solve the tracking instability cause by single feature,a feature fusion method under rules that combined grey features and texture features is presented.Tracking is guided by the fused feature.Experiments verify that the improved algorithm has 17.84%higher success tracking rates,and 11.59%lower average error rate compared with traditional algorithm.
compressive sensing(CS);target tracking;object model;feature fusion
TP391.4
A
1000—9787(2016)06—0120—04
10.13873/J.1000—9787(2016)06—0120—04
2015—10—21
天津市教委科技發(fā)展基金資助項(xiàng)目(20090718)
張?bào)@雷(1969-),男,天津人,博士,副教授,碩士研究生導(dǎo)師,主要研究方向?yàn)橹悄芙煌ㄏ到y(tǒng)、模式識(shí)別、圖像處理。