朱甦， 薄煜明， 何亮

(1.南京理工大學 自動化學院， 江蘇 南京 210094; 2.南京理工大學 紫金學院 電子信息與光電技術學院, 江蘇 南京 210046)

基于冗余字典的多特征壓縮感知目標跟蹤算法

朱甦1，2， 薄煜明1， 何亮1

(1.南京理工大學 自動化學院， 江蘇 南京 210094; 2.南京理工大學 紫金學院 電子信息與光電技術學院, 江蘇 南京 210046)

針對多特征壓縮感知算法中，要求信號稀疏表示的基是一個正交矩陣的問題，提出了提取紅外與可見光的多特征目標構造冗余字典子空間下的稀疏表示，分析了壓縮感知算法中感知矩陣的選擇和稀疏信號的重構。根據(jù)對信號稀疏表示的重構，提出粒子濾波框架下基于冗余字典的多特征壓縮感知跟蹤方法，能夠自動檢測復雜場景中出現(xiàn)的動態(tài)目標。實驗結果表明，與其他經(jīng)典算法相比，該算法在光照變化、相似外形的干擾目標遮擋等復雜場景中具有更好的魯棒性及實時性。

信息處理技術； 冗余字典； 壓縮感知； 粒子濾波； 目標跟蹤

0 引言

光電跟蹤系統(tǒng)作為一種新型無源跟蹤裝備，其特點是采用光電傳感器探測和跟蹤目標,在復雜背景下迅速、可靠地提取目標影像，配合激光測距設備建立目標運動航跡，實現(xiàn)對目標連續(xù)穩(wěn)定的狀態(tài)估計和濾波，為各類火控系統(tǒng)實施火力打擊提供精確解算的射擊諸元信息[1]。因此對目標跟蹤算法的穩(wěn)定性和魯棒性提出了更高的要求。2004年Candes等[2]提出壓縮感知理論，根據(jù)原信號的稀疏性，以遠小于Nyqusit頻率的隨機采樣獲取原信號的離散樣本，并通過重構算法構造出具有原信號特性的降維信號，并在2012年前后將壓縮感知算法引入目標跟蹤所形成的基于壓縮感知的跟蹤算法。Mei等[3]提出L1跟蹤器，把之前幀目標圖像看成一組目標模板和瑣碎模板的稀疏表示，然后基于粒子濾波(PF)框架下進行目標跟蹤。在應對一定的實時復雜場景下與均值漂移(MS)等算法相比其具有更好的跟蹤性能。但該算法對于每個粒子均需要求解l1范數(shù)平方最小化，數(shù)據(jù)計算量較大；Li等[4]提出實時壓縮感知跟蹤(RTCST)算法，在L1跟蹤器的基礎上進行了改進，利用感知矩陣壓縮采樣目標圖像，與L1跟蹤器相比提高了跟蹤速度，并且減少了計算復雜度，但處理光照強度發(fā)生突變時跟蹤效果不好。

跟蹤目標的表述形式與跟蹤算法有著密不可分的關聯(lián)。研究表明，多特征方法比單一特征具有更好的魯棒性[5-6]。可見光傳感器具有分辨率高、成本低的特點，但其性能易受光照變化、陰影等因素的影響。而紅外傳感器的成像依賴于物體的輻射，對光照和陰影變化具有魯棒性，但信噪比低，在明暗對比強烈處存在光暈現(xiàn)象等缺點[7]。將這兩種傳感器結合用于圖像序列的目標跟蹤，可以降低跟蹤難度，擴大跟蹤系統(tǒng)的應用范圍，增強跟蹤系統(tǒng)的穩(wěn)定性和跟蹤精度，提高跟蹤算法的魯棒性。Zhao等[8]利用可見光圖像的顏色、紋理特征和紅外圖像的灰度特征，結合MS算法和水平集曲線演化算法，提出紅外與可見光雙通道目標跟蹤(IVDT)算法跟蹤視頻圖像；Fabrizio等[9]利用紅外強度和邊緣線索作為目標特征模板，基于PF框架下進行行人目標的跟蹤；He等[10]提取紅外與可見光圖像的目標特征構成模板詞典并稀疏表示，設計了加速多特征壓縮感知跟蹤(A-MFCST)算法，在處理遮擋和光照突變的復雜場景時具有較好的實時性和魯棒性。

以上算法對信號的稀疏表示均有一定的要求，即要求信號稀疏表示的基是一個正交矩陣,常見的稀疏表示基有傅里葉變換(FT)、離散余弦變換(DCT)及小波變換(Wavelet)等。如上述提到的L1跟蹤器、A-MFCST等算法中直接將目標圖像構成詞典，但對于部分復雜背景下目標的識別和區(qū)分貢獻并不大。因此本文算法主要創(chuàng)新點體現(xiàn)在進行了冗余詞典的擴展，用字典的超完備冗余函數(shù)系統(tǒng)取代原來的基函數(shù)，盡可能符合被逼近信號的結構，并且其構成可以沒有任何限制，提出一種基于冗余字典的多特征壓縮感知目標跟蹤(RD-MCST)算法。首先提取可見光和紅外圖像的多特征目標構造冗余字典子空間下的稀疏表示，分析壓縮感知算法中感知矩陣的選擇和稀疏信號的重構，以減少數(shù)據(jù)采樣值，節(jié)省硬件資源；其次根據(jù)對信號稀疏表示的重構，評估PF框架下的粒子相似度。該算法能夠自動檢測復雜場景中出現(xiàn)的動態(tài)目標，滿足實時性的要求；最后在大量實驗測試序列中，與其他非常優(yōu)秀的跟蹤算法相比，本文算法在光照變化、相似外形的干擾目標遮擋等復雜場景中具有更好的魯棒性、實時性及適用范圍。

1 相關工作

1.1 PF跟蹤框架

PF[11]提供了一種基于蒙特卡洛方法的離散貝葉斯迭代估計方法。一般對動態(tài)時變系統(tǒng)描述為

(1)

式中：xk表示k時刻的系統(tǒng)狀態(tài)；yk表示k時刻的觀測序列；υk、ωk分別為獨立同分布的系統(tǒng)噪聲和觀測噪聲序列。

(2)

式中：δ(g)表示Dirac函數(shù)。

(3)

(4)

1.2 壓縮感知

對提取的目標特征進行表示。假設信號x∈RN，能夠用一組基Ψ=[ψ1,ψ2，…，ψN]線性表示。

(5)

式中：s是N×1的系數(shù)向量。如果系數(shù)si僅有k個非零，則稱信號x在基Ψ上是稀疏的，Ψ為信號x的稀疏基或稀疏字典。對x的測量可以表示為

y=Φx,

(6)

式中：Φ∈Rm×n是測量矩陣；y∈Rm×1是測量值。由于m

y=Φx=ΦΨs=Θs,

(7)

式中：Θ=ΦΨ是m

(8)

(8)式的最優(yōu)化問題可以通過基于l1范數(shù)的最優(yōu)化方法求解目標信號x，那么信號也能夠重建[12]。

2 基于冗余字典的多特征壓縮感知目標跟蹤算法

2.1 特征提取

考慮紅外與可見光圖像特性，本文特征提取的具體方法如下：選取紅外與可見光雙通道圖像的紋理特征、顏色特征以及邊緣特征，其中紋理特征即目標可見光與紅外圖像的局部二值模式(LBP)特征，顏色特征采用了紅外圖像的灰度直方圖，以及可見光圖像的色調(diào)、飽和度、明度(HSV)直方圖，邊緣特征使用邊緣方向直方圖描述。

2.1.1 顏色直方圖和灰度直方圖

圖像的直方圖對目標進行建模是最常見的方法。但相似顏色分布的目標不容易區(qū)分，容易導致誤追蹤。為了解決這個問題，本文采用核函數(shù)的直方圖來進行表示。設{xi}(i=1,2,…，m)是目標圖像，有m個點構成，y是目標圖像的中心點，則目標圖像的核函數(shù)直方圖可以表示為

(9)

(10)

圖像的直方圖特征不具有空間信息，所以對于旋轉、縮放和平移具有不變性。

2.1.2 LBP特征

LBP特征是紋理分類問題上常用的特征。首先將檢測窗口切分為小的區(qū)塊(比如每個區(qū)塊16像素×16像素)，然后對區(qū)塊中的每個像素x0，與其8個領域像素{xi},i=0,…,7進行比較，如果中心像素大于某領域，則設為1，否則設為0. 像素x0的LBP值計算為

(11)

而后對每個區(qū)塊計算直方圖并歸一化，然后串聯(lián)所有區(qū)塊的直方圖，就得到了當前檢測窗口的特征向量。

2.1.3 邊緣特征

邊緣方向直方圖中對目標區(qū)域圖像I的每個像素I(x,y)計算其梯度幅值g(x,y)和梯度方向d(x,y)：

(12)

將邊緣方向角0°～360°量化成36級的角度直方圖，統(tǒng)計對應角度的像素梯度幅值，歸一化之后就得到邊緣方向直方圖。

在L1跟蹤器算法[3]中跟蹤目標u可以表示為

(13)

式中：I=[i1,…,in]∈Rd×d為瑣碎模板，-I、I為d×d的單位矩陣；a=(a1,a2,…,an)T∈Rn為目標模板系數(shù)向量；e+∈Rd,e-∈Rd稱為正、負瑣碎系數(shù)向量；B=[T,I,-I]表示所有的模板集合。

由于紅外和可見光圖像中特征的互補性，可將(13)式改進為

(14)

式中：I是反映噪聲與遮擋的模板集合；e′為相應的噪聲模板集的系數(shù)；D是模板集，或稱為詞典；c′是目標的系數(shù)向量。

模板初始化得到詞典D列數(shù)比行數(shù)多，不是一個正交矩陣，而是一個冗余字典。

2.2 感知矩陣的選擇和稀疏信號的重構

假設信號x∈Rn在冗余詞典D∈Rn×d下的表示為

x=De,

(15)

e=D*x為稀疏系數(shù)，同時將測量值y∈Rm×1記為

y=Ax+σ,

(16)

式中：σ表示測量噪聲；A是感知矩陣。

此時詞典D是任意矩陣，不一定正交，詞典D中的列向量之間可能存在關聯(lián)性，難以找到一個足夠小的有限等距性質(RIP)常數(shù)使感知矩陣滿足RIP性質。因此為獲得此情況下信號的重構，需要研究新的環(huán)境下感知矩陣的選取條件。Candes等[13]給出了冗余詞典下RIP性質的定義(定義1)。

定義1 令Σl表示由詞典D的所有l(wèi)列張成的子空間的集合，如果對于任意的υ∈Σs，均存在常數(shù)δs，使得感知矩陣A滿足：

(17)

則稱矩陣A滿足D-RIP性質。

將測量值y中恢復原信號x可以表示為

(18)

(19)

式中：M0和M1是僅與δ2s相關的常數(shù)；(D*x)s表示由D*x前s個最大元素組成的向量。

根據(jù)Haltmeier等[14]提出：令K:U→V表示從希爾伯特空間U和V之間的有界投影，μ是原信號，μ*是相應的去噪信號，υδ=Kμ,υδ∈V是μ通過K在V上的投影，假設噪聲有上界δ，那么可以得到‖υδ-Kμ*‖≤δ. 另外，記D={φω:ω∈Ω}為希爾伯特空間U上的一個字典構成的空間，信號μ在這個字典上的分解構成一個集合ΦTμ={〈φω,μ〉ω∈Ω}，那么，(18)式等價于：

min‖ΦTμ‖1, s.t. ‖Kμ-υδ‖≤δ.

(20)

若上述假定成立，且?guī)г肼暤男盘枽驭摹蔞滿足‖υδ-Kμ*‖≤δ，則下述結果成立：

‖μδ-μ*‖≤c1δ,

(21)

本文算法采用了高斯隨機矩陣作為投影矩陣K. 由于目標在特征詞典下是近似稀疏的，所以(14)式中的詞典D定義了一個希爾伯特空間上的框架，信號的恢復可以采用(20)式進行求解。本文算法采用了信號空間的壓縮采樣匹配追蹤(CoSaMP)算法[15]進行求解。

2.3 算法步驟

盧志文：我比較提倡教育家辦學。教育應該由懂教育的人辦，改革學校行政化管理模式，取消學校的行政級別。公辦學校本質上是“教育局辦學”，學校辦學自主權的獲得源于體制；民辦學校中，學校的辦學制度是一種法律，校長作為經(jīng)理進行考察。中國經(jīng)濟的繁榮奇跡，是從解放企業(yè)和企業(yè)家開始的，中國教育的繁榮也將從解放學校和校長開始。只有每個細節(jié)都被激活了，機體的生命力才會旺盛。體制是一種結構，變革體制是以結構謀功能，結構決定性質，性質決定功用，所以體制創(chuàng)新是一種結構創(chuàng)新，盡管都是碳原子，但彼此的組合方式不同，形成的物質也千差萬別。

1) 初始化ΦD的每一列；

4)提取紅外幀與可見光幀的特征建立觀測矩陣xi=[pir(yi),pvl(yi)]T，根據(jù)冗余字典得到測量值yi=Φxi+σ；

5)使用CoSaMP算法求解得到s；

6)計算殘差ri=‖yi-Dst‖2；

7)得到觀測相似度li=exp (-λri)；

11)更新目標模板集T；

輸出：跟蹤目標g；更新目標動態(tài)狀態(tài)sk；更新目標模板集T.

2.4 目標模板更新

(22)

圖1 實驗1測試序列在不同方法下部分圖像幀的跟蹤結果Fig.1 Tracking results of some image frames in test sequence of Experiment 1

5)標準化模板T每列數(shù)據(jù)；

輸出：更新模板集D=[T,I].

3 實驗驗證

為了測試本文跟蹤算法的有效性，與基于PF的自適應多線索跟蹤(AMPF)算法[16]和IVDT算法進行比較，采用同一特征，使用實際拍攝的多個可見光和紅外視頻序列進行對比測試。視頻序列來源于國際電氣和電子工程師協(xié)會OTCBVS WS Series Bench基準數(shù)據(jù)集中Dataset 03彩色熱量數(shù)據(jù)庫，傳感器參數(shù):紅外傳感器為Raytheon PalmIR 250D，可見光傳感器為Sony TRV87 Handycam；紅外圖像為8位灰度表示，大小為320像素×240像素;可見光圖像為24位彩色表示，大小為320像素×240像素。

實驗中初始目標在第1幀中手動選取。圖1給出了實驗1測試序列在同一場景不同方法下部分圖像幀的跟蹤結果，對象為行人。從結果中可以看出，當目標行人從背景車輛邊經(jīng)過的時候，AMPF算法的跟蹤結果漂移到了背景車輛的前輪上。造成這一問題的是目標行人在可見光中的顏色與紅外幀中的灰度均與車輛前輪的區(qū)域相似，AMPF算法中圖像的特征提取并不是十分合理。

實驗2對另一個更復雜場景的測試序列進行跟蹤，對象仍為行人，場景變化包括陰影、遮擋、光照變化和類目標干擾(指其他行人干擾)，參與對比的方法與實驗1相同，圖2給出了實驗2測試序列在不同方法下部分圖像幀的跟蹤結果。在230幀中目標行人與陰影區(qū)背景混為一體，但目標行人在可見光幀中與背景混淆，在紅外幀中清晰可辨。3種算法均能較好地處理這一場景。270幀的跟蹤結果表明3種算法均有一定的處理光照變化的能力，但是在322幀中目標行人經(jīng)過前進方向的第1個路燈的時候，AMPF算法的跟蹤結果發(fā)生了漂移，并在接下來的視頻幀中錯誤的跟蹤了第1個路燈，明顯AMPF算法處理遮擋能力不足。第374幀的跟蹤結果顯示當目標行人經(jīng)過前進方向的第2個路燈時IVDT算法跟蹤失敗。因為這一場景中第2個路燈對目標形成遮擋，在紅外與可見光中，該路燈在外觀和形態(tài)上均與目標相似，且遮擋區(qū)域較大，IVDT算法在處理大面積遮擋問題時跟蹤效果不好。以上算法跟蹤失敗主要原因在于采用的特征存在強相關性，對目標跟蹤進行了干擾。相比之下，本文算法全程均能獲得較為魯棒和精確的跟蹤結果。

圖2 實驗2測試序列在不同方法下部分圖像幀的跟蹤結果Fig.2 Tracking results of some image frames in test sequence of Experiment 2

為了綜合評估算法的性能，表1列舉了本文算法與前面提到的幾種稀疏性目標跟蹤算法在實驗1和實驗2中各運行10次的平均運行速度，處理速度以每秒幀數(shù)的形式表示。算法的實現(xiàn)是基于Windows操作系統(tǒng)，運用MATLAB仿真軟件編程實現(xiàn)，計算機配置為Inter(R) Core(TM)i5-4200UCPU,1.60 GHz,2.00 GB內(nèi)存。

表1 4種算法速度比較Tab.1 Comparison of computational speeds of four algorithms 幀/s

結果表明，較之AMPF算法和IVDT算法，本文算法具有更高的平均處理速度，但是與A-MFCST算法相比，由于本文算法需要構造冗余字典，運行速度上受到了一定的影響。

4 結論

本文提出了一種基于冗余字典的多特征壓縮感知目標跟蹤算法，將跟蹤目標建模為由目標區(qū)域紅外與可見光幀特征組成的冗余詞典子空間下的稀疏表示，由于該稀疏表示不再基于緊致框架，在冗余詞典下對信號稀疏采樣需要感知矩陣滿足D-RIP性質，其次，由于此時信號稀疏分解表達式是欠定的，因此采用信號空間的CoSaMP算法。實驗結果表明，本文算法能夠獲得更加魯棒和精確的跟蹤結果。后續(xù)工作針對不同算法如何優(yōu)化冗余詞典構成及信號的重構方式，再做進一步研究。

References)

[1] 張合，江小華. 目標探測與識別技術[M]. 北京：北京理工大學出版社，2015:1-5. ZHANG He, JIANG Xiao-hua. Target detection and recognition technology[M]. Beijing:Beijing Institute of Technology Press,2015:1-5. (in Chinese)

[2] Candes E, Romberg J, Tao T. Robust uncertainty principles: exact signal reconstruction from highly incomplete frequency information[J].IEEE Transactions on Information Theory, 2006, 52(1): 489-509.

[3] Mei X, Ling H.Robust visual tracking usingl1minimization[C]∥2009 IEEE 12th International Conference on Computer Vision. Kyoto:IEEE, 2009: 1436-1443.

[4] Li H, Shen C, Shi Q. Real-time visual tracking using compressive sensing[C]∥ IEEE Conference on Computer Vision & Pattern Recognition. Providence, US:IEEE,2012:1305-1312.

[5] Li Y, Zhu J. A scale adaptive kernel correlation filter tracker with feature integration[C]∥ European Conference on Computer Vision. Zurich:IEEE,2014: 254-265.

[6] 王麗佳，賈松敏，李秀智，等. 分塊多特征目標描述子的移動機器人目標跟蹤[J]. 控制與決策，2016,31(2)：337-342. WANG Li-jia, JIA Song-min, LI Xiu-zhi, et al. Person tracking for robot using patches-based-multi-cues representation[J]. Control and Decision, 2016,31(2):337-342. (in Chinese)

[7] 趙高鵬，薄煜明，陳益. 多特征提取的紅外與可見光目標跟蹤方法[J]. 兵工學報，2011,32(4):445-451. ZHAO Gao-peng, BO Yu-ming, CHEN Yi. A method for tracking object in infrared and visible image based on multiple features[J]. Acta Armamentarii, 2011,32(4):445-451. (in Chinese)

[8] Zhao G P, Bo Y M, Ying M F. An object tracking methods based on infrared and visible dual-channel video [J]. Journal of Electronics & Information Technology, 2012, 34(3): 529-534.

[9] Lamberti F, Sanna A, Paravati G, et al. IVF3: exploiting intensity variation function for high-performance pedestrian tracking in forward-looking infrared imagery[J]. Optical Engineering, 2014, 53(2):42-45.

[10] He L, Bo Y, Zhao G. Accelerated multi-feature based compressive sensing tracking[J]. Infrared Physics & Technology, 2015, 71:424-431.

[11] Nummiaro K, Koller-Meier E, Gool L V. An adaptive color-based particle filter[J]. Image & Vision Computing, 2003, 21(1):99-110.

[12] Feng L, Lum K Y, Chen B M, et al. Development of a vision-based ground target detection and tracking system for a small unmannedhelicopter [J]. Science in China Series F: Information Sciences, 2009, 52(11): 2201-2215.

[13] Candès E J, Eldar Y C, Needell D, et al. Compressed sensing with coherent and redundant dictionaries[J]. Applied & Computational Harmonic Analysis, 2010, 31(1):59-73.

[14] Haltmeier M. Stable signal reconstruction vial(1)-minimization in redundant, non-tight frames[J]. IEEE Transactions on Signal Processing, 2013, 61(2):420-426.

[15] Davenport M A, Needell D, Wakin M B. Signal space CoSaMP for sparse recovery with redundant dictionaries[J]. IEEE Transactions on Information Theory, 2013, 59(10):6820-6829.

[16] Dou J F, Li J X. Robust visual tracking base on adaptively multi-feature fusion and particle filter[J]. Optik-International Journal for Light and Electron Optics, 2014, 125(5):1680-1686.

Multi-feature Compressive Sensing Target Tracking AlgorithmBased on Redundant Dictionary

ZHU Su1， 2, BO Yu-ming1, HE Liang1

(1.School of Automation, Nanjing University of Science and Technology, Nanjing 210094, Jiangsu, China;2.School of Electronic Information and Optoelectronic Technology, Zijin College, Nanjing University of Science andTechnology, Nanjing 210046, Jiangsu, China)

In consideration that the basis of signal sparse representation is an orthogonal matrix in the multi-feature compressed sensing algorithm, the multi-features of infrared and visible images are extracted to construct a sparse representation in a subspace of redundant dictionary, and the selection of sensing matrix and the reconstruction of sparse signal in the algorithm are analyzed. A redundant dictionary-based target tracking algorithm of multi-feature compressed sensing in the framework of particle filter is proposed by reconstructing the signal sparse representation, which can automatically detect dynamic targets in complex environment. Experimental results show that, compared with other classical algorithms, the proposed algorithm has better robustness and real-time in complex environment like illumination change and interference object occlusion.

information processing technology; redundant dictionary; compressive sensing; particle filter; target tracking

2016-10-24

國家自然科學基金項目(U1330133)

朱甦(1982—), 女, 講師，博士研究生。E-mail: 14988817@qq.com

薄煜明(1965—)，男，教授，博士生導師。E-mail:byming@njust.edu.cn

TP391.413

A

1000-1093(2017)06-1140-07

10.3969/j.issn.1000-1093.2017.06.013