高 升 袁寶峰 齊 哲 陳 磊 王 康 梁常春

（北京空間飛行器總體設(shè)計部空間智能機器人系統(tǒng)技術(shù)與應(yīng)用北京市重點實驗室，北京 100094）

基于稀疏直方圖的空間機械臂視覺目標(biāo)跟蹤方法

高 升 袁寶峰 齊 哲 陳 磊 王 康 梁常春

（北京空間飛行器總體設(shè)計部空間智能機器人系統(tǒng)技術(shù)與應(yīng)用北京市重點實驗室，北京 100094）

視覺系統(tǒng)作為空間機械臂的重要組成部分，一項重要功能就是在復(fù)雜空間環(huán)境下在規(guī)定周期內(nèi)自主、可靠地完成對空間目標(biāo)的跟蹤，即在相機采集的圖像序列中定位目標(biāo)區(qū)域。文章面向空間機械臂視覺跟蹤的應(yīng)用需求，提出一種基于稀疏直方圖的視覺目標(biāo)跟蹤方法，在目標(biāo)區(qū)域內(nèi)選取相互重疊的局部圖像塊，通過組合全部圖像塊的稀疏系數(shù)構(gòu)造直方圖以獲取目標(biāo)表示，采用基于簇比重信息的相似性度量方法計算目標(biāo)模板與候選目標(biāo)之間的距離，將此距離作為粒子濾波的觀測模型以在圖像中確定目標(biāo)位置。標(biāo)準(zhǔn)測試集測試、室內(nèi)環(huán)境和在軌環(huán)境試驗的定性和定量分析結(jié)果均表明文中方法可以實現(xiàn)對相機視場范圍內(nèi)目標(biāo)的準(zhǔn)確和可靠跟蹤。

目標(biāo)表示 稀疏直方圖 相似性度量 空間機械臂 視覺系統(tǒng)

0 引言

空間機械臂是深入開展航天活動必不可少的工具。在中國的載人航天三期工程中，空間機械臂作為支持空間站建設(shè)和運營的關(guān)鍵性技術(shù)，承擔(dān)著艙段轉(zhuǎn)位、懸停飛行器捕獲和輔助對接、支持航天員出艙活動、艙外貨物搬運、艙外狀態(tài)檢查、有效載荷照料等任務(wù)?？臻g機械臂也是空間服務(wù)領(lǐng)域的重要基礎(chǔ)技術(shù)，實現(xiàn)對目標(biāo)飛行器的接近和捕獲，進而完成對航天器故障部件的檢測、維修和更換等任務(wù)?？臻g機械臂還是開展月球及深空探測所必須的支撐性技術(shù)，當(dāng)探測器在目標(biāo)星球著陸后，需要空間機械臂對采樣目標(biāo)進行近距離的觀察、分析和選取，進而對采樣樣本進行清理、抓取、搬運和裝載等操作。空間機械臂在軌完成上述任務(wù)過程中，不但要能夠進行大范圍運動，還需要完成一系列精度高、穩(wěn)定性強的精準(zhǔn)操作。為滿足這些要求，機械臂必備組成之一就是空間視覺系統(tǒng)，它相當(dāng)于機械臂的眼睛，機械臂除開環(huán)控制外的所有工作模式都不能離開視覺系統(tǒng)的引導(dǎo)和輔助而獨立實現(xiàn)，沒有視覺系統(tǒng)，空間機械臂將失去其主要的功能。因此，空間視覺技術(shù)成為機械臂從研制到應(yīng)用的整個過程中亟待突破的關(guān)鍵技術(shù)之一。面向空間機械臂的應(yīng)用需求，視覺系統(tǒng)擔(dān)負(fù)著監(jiān)視與測量兩項主要任務(wù)，其中一個重要的基本功能就是在規(guī)定周期內(nèi)自主、可靠地完成對空間目標(biāo)的跟蹤，即在相機采集的圖像序列中定位目標(biāo)區(qū)域。

國外以國際空間站和航天飛機為平臺，現(xiàn)已在軌運行或經(jīng)過飛行驗證了“加拿大 I臂”Canadarm（shuttle remote manipulator system，SRMS）、“加拿大II臂”Canadarm 2（space station remote manipulator system，SSRMS）、“特殊用途靈巧機械臂”（special purpose dexterous manipulator，SPDM）、“日本臂”（Japanese experiment module remote manipulator system，JEMRS）等多個空間機械臂系統(tǒng)。為滿足空間機械臂的在軌應(yīng)用需求，已至少發(fā)展了“空間視覺系統(tǒng)”（space vision system，SVS）[1]、“先進空間視覺系統(tǒng)”（advanced space vision system，ASVS）[2]、“加拿大空間視覺系統(tǒng)”（Canadian space vision system，CSVS）[3]等三代空間視覺系統(tǒng)，完成空間目標(biāo)的識別、位姿測量和跟蹤，輔助SRMS、SSRMS、SPDM空間機械臂完成在軌作業(yè)任務(wù)。

空間目標(biāo)視覺跟蹤方法主要有兩類[4]：自底向上（bottom-up）和自頂向下（top-down）。自底向上的方法也稱為數(shù)據(jù)驅(qū)動的方法，這類方法不依賴于先驗知識，根據(jù)圖像的底層特征獲取目標(biāo)信息并完成跟蹤，具有計算速度快、便于工程實現(xiàn)的優(yōu)點，目前已經(jīng)有大量采用這類方法完成目標(biāo)跟蹤的應(yīng)用系統(tǒng)[5]。自底向上的方法在相機固定、靜止的情況下效果較好，但是在相機處于運動的情況下，魯棒性較差。自頂向下的方法也稱為模型驅(qū)動的方法，這類方法依賴于所構(gòu)建的目標(biāo)模型和有關(guān)運動的先驗知識，一般采用“預(yù)測—匹配—更新”的計算模式，在貝葉斯理論框架下求解后驗概率，并選取最大后驗概率所對應(yīng)的狀態(tài)向量表示目標(biāo)的當(dāng)前狀態(tài)[6]?；谀Ｐ偷姆椒梢缘玫奖容^精確的跟蹤結(jié)果，但是存在先驗知識難以表達(dá)、計算耗時等問題。為了克服上述兩類方法的不足，實現(xiàn)優(yōu)勢互補，研究學(xué)者提出了二者相結(jié)合的方法用于目標(biāo)跟蹤，以提高目標(biāo)視覺跟蹤的魯棒性、準(zhǔn)確性、實時性。為了解決目標(biāo)表示（即表觀模型的建立）這一關(guān)鍵問題，研究學(xué)者相繼提出基于顏色直方圖特征[7]、基于核密度估計[8]、基于混合高斯模型[9]的方法建模目標(biāo)表觀信息，解決目標(biāo)視覺跟蹤問題。近年來，一些研究團隊還將目標(biāo)視覺跟蹤視為一個目標(biāo)區(qū)域和非目標(biāo)區(qū)域的二分類問題[10-11]，通過構(gòu)建分類器將目標(biāo)與非目標(biāo)區(qū)分開來，這一類方法也被稱為判別式跟蹤方法，如多事例學(xué)習(xí)檢測跟蹤方法（multiple instance learning，MIL）、跟蹤學(xué)習(xí)檢測算法（tracking learning detection，TLD）。

本文針對空間機械臂對視覺系統(tǒng)的應(yīng)用需求，提出一種基于稀疏直方圖的視覺目標(biāo)跟蹤方法，在粒子濾波目標(biāo)跟蹤框架下，通過組合目標(biāo)區(qū)域內(nèi)相互重疊的局部圖像塊的稀疏系數(shù)構(gòu)造直方圖以獲取目標(biāo)表示，采用基于簇比重信息的相似性度量方法計算目標(biāo)模板與候選目標(biāo)之間的距離，并作為粒子濾波的觀測模型，進而在圖像序列中實現(xiàn)目標(biāo)定位。

1 基于稀疏直方圖的目標(biāo)跟蹤方法

1.1 目標(biāo)表示

近年來，稀疏表示作為一種有效的目標(biāo)表示策略在目標(biāo)視覺跟蹤領(lǐng)域得到了廣泛應(yīng)用[12]。稀疏表示的核心思想是將數(shù)據(jù)表示為一個字典中若干基元的線性組合，而且只需要較少的幾個基元就可以實現(xiàn)數(shù)據(jù)表示，線性組合權(quán)重向量稱之為稀疏系數(shù)。

本文使用圖像的灰度特征表示目標(biāo)的表觀信息，采用重疊滑動窗口的方式在目標(biāo)區(qū)域歸一化的圖像上提取N個W×H大小的圖像塊。對于第i個圖像塊，利用該圖像塊內(nèi)全部像素點的灰度特征提取圖像塊的特征向量

式中 Iij為第i個圖像塊內(nèi)第j個像素點的灰度值，其中m W H= × 。

在第一幀圖像中，利用 N個圖像塊，運用 k-means算法聚類得到字典其中Di（i=1,2,3,…,n）表示字典的基元，n表示聚類中心的數(shù)量，這n個聚類中心可以很好地體現(xiàn)目標(biāo)中比較有代表性的模式。每個圖像塊可以表示成字典基元的稀疏線性組合。每個圖像塊特征向量稀疏系數(shù)）可通過式（1）計算

式中 λ為正則化參數(shù)。

組合N個圖像塊的稀疏系數(shù)并做歸一化處理，將得到的歸一化直方圖作為目標(biāo)表示，其中M表示直方圖維度。

1.2 相似性度量

本文采用基于簇比重信息的相似性度量方法[13]計算目標(biāo)模板與候選目標(biāo)之間的距離。定義和 q分別為根據(jù)上節(jié)方法得到的目標(biāo)模板與候選目標(biāo)的直方圖，p和q的第i簇的距離可定義為

1.3 目標(biāo)定位

假定相鄰兩幀間目標(biāo)的運動是仿射運動，用仿射運動參數(shù)表示目標(biāo)狀態(tài)，其中 xt和 yt分別表示目標(biāo)在圖像水平方向和垂直方向的位置； μt、 θt、 ωt、 φt分別表示尺度、旋轉(zhuǎn)角、縱橫比和傾斜方向，并假定 xt、 yt、μt、θt、ωt、φt彼此之間都是相互獨立的。假定運動模型p（stst-1）為高斯模型。觀測模型）定義為

采用最大后驗估計的策略，在一系列候選目標(biāo)中選取后驗概率最大的作為當(dāng)前時刻目標(biāo)跟蹤的結(jié)果。

2 試驗

2.1 標(biāo)準(zhǔn)測試集測試

采用標(biāo)準(zhǔn)測試集對本文所提出的視覺跟蹤方法進行了定量測試[14]。為了驗證方法的魯棒性和穩(wěn)定性，在各次測試過程中，參數(shù)的設(shè)置完全相同，其中歸一化圖像大小為32×32，以2個像素為步長采用重疊滑動窗口的方式提取N=169個W×H=8×8的圖像塊。字典D中基元數(shù)量（聚類中心數(shù)量）n=50，正

則化參數(shù)λ=0.1。粒子數(shù)量為400，仿射運動參數(shù) st為

采用平均中心點誤差和平均重疊率兩個指標(biāo)作為跟蹤結(jié)果的評價準(zhǔn)則。中心點誤差定義為圖像中跟蹤結(jié)果與目標(biāo)真值的中心點之間的歐氏距離（單位：像素），計算公式為

式中 xR和 yR分別為跟蹤結(jié)果圖像區(qū)域中心點在圖像水平方向和垂直方向上的像素坐標(biāo)；xT和 yT分別為目標(biāo)真值圖像區(qū)域中心點在圖像水平方向和垂直方向上的像素坐標(biāo)。則平均中心點誤差εP定義為

式中 f為圖像序列中圖像的數(shù)量。

重疊率定義為

式中 AR代表跟蹤結(jié)果的圖像區(qū)域； AT代表目標(biāo)真值的圖像區(qū)域。則平均重疊率定義為

根據(jù)式（6）、（8）可知：平均中心點誤差εP越小、平均重疊率εo越大，表示目標(biāo)跟蹤性能越好。

本文方法及MIL、TLD跟蹤算法在4個標(biāo)準(zhǔn)測試集上（圖像序列首幀如圖1所示）的測試結(jié)果見表1?？梢钥闯觯疚乃岱椒ǖ哪繕?biāo)跟蹤性能與MIL及TLD算法相當(dāng)。

圖1 標(biāo)準(zhǔn)測試集圖像序列首幀（矩形框代表目標(biāo)區(qū)域）Fig.1 The first frame of each benchmark dataset

表1 標(biāo)準(zhǔn)測試集目標(biāo)跟蹤測試結(jié)果Tab.1 Object tracking results on benchmark datasets

2.2 真實環(huán)境試驗

在室內(nèi)環(huán)境和空間在軌環(huán)境下分別進行視覺目標(biāo)跟蹤測試，以定性評估本文所提出方法在實際環(huán)境中的性能。

室內(nèi)環(huán)境試驗下，在機械臂執(zhí)行目標(biāo)捕獲任務(wù)過程中，自目標(biāo)進入機械臂視覺系統(tǒng)[15]視場直至機械臂完成對目標(biāo)的捕獲，視覺系統(tǒng)需完成對目標(biāo)（合作目標(biāo)上安裝的視覺標(biāo)記）的連續(xù)跟蹤。在此過程中，從相機采集的圖像序列（共359幀圖像）中選取9幅代表性圖片，目標(biāo)跟蹤結(jié)果如圖2所示，矩形框代表在圖像中定位出的目標(biāo)區(qū)域。結(jié)果表明，本文方法可以實現(xiàn)對相機視場范圍內(nèi)目標(biāo)的準(zhǔn)確、可靠跟蹤。

在軌環(huán)境試驗中，采用NASA公布的國際空間站“加拿大II臂”執(zhí)行目標(biāo)（龍飛船）捕獲任務(wù)視頻進行測試。從相機采集的圖像序列（共608幀圖像）選取6幅代表性圖片，目標(biāo)跟蹤結(jié)果如圖3所示，矩形框代表在圖像中定位出的目標(biāo)區(qū)域。跟蹤結(jié)果表明本文方法可以實現(xiàn)對相機視場范圍內(nèi)目標(biāo)的準(zhǔn)確、可靠跟蹤。

圖2 室內(nèi)環(huán)境下目標(biāo)跟蹤試驗結(jié)果（矩形框代表目標(biāo)區(qū)域）Fig.2 Object tracking results in indoor environment（The bounding box depicts the object location）

圖3 在軌環(huán)境下目標(biāo)跟蹤試驗結(jié)果（矩形框代表目標(biāo)區(qū)域）Fig.3 Object tracking results in on-orbit environment（The bounding box depicts the object location）

3 結(jié)束語

面向空間機械臂的應(yīng)用需求，視覺系統(tǒng)擔(dān)負(fù)著監(jiān)視與測量兩項主要任務(wù)，其中一個重要的基本功能就是在規(guī)定周期內(nèi)自主、可靠地完成對空間目標(biāo)的跟蹤，即在相機采集的圖像序列中定位目標(biāo)區(qū)域。本文針對空間機械臂視覺目標(biāo)跟蹤問題，提出一種基于稀疏直方圖的視覺目標(biāo)跟蹤方法。在粒子濾波目標(biāo)跟蹤框架下，通過組合目標(biāo)區(qū)域內(nèi)相互重疊的局部圖像塊的稀疏系數(shù)構(gòu)造直方圖以獲取目標(biāo)表示，采用基于簇比重信息的相似性度量方法計算目標(biāo)模板與候選目標(biāo)之間的距離并作為粒子濾波的觀測模型，進而在圖像序列中實現(xiàn)目標(biāo)定位。標(biāo)準(zhǔn)測試集測試的定量分析結(jié)果以及室內(nèi)環(huán)境和在軌環(huán)境試驗的定性分析結(jié)果均表明：本文方法可以實現(xiàn)對相機視場范圍內(nèi)目標(biāo)的準(zhǔn)確、可靠跟蹤，為空間機械臂視覺系統(tǒng)的設(shè)計、研制和應(yīng)用提供借鑒。

References)

[1] Maclean G S, Pinkey H F L. Calibration Procedures for the Space Vision System Experiment[J]. Industrial Vision Metrology, 1991, 1526: 113-122.

[2] Blais F, Couvillon R A, Rioux M, et al. Real-time Tracking of Objects for Space Applications Using a Laser Range Scanner

[R]. Washington D.C. : NASA, 1991.

[3] James C. Utilization of the Space Vision System as an Augmented Reality System for Mission Operations[R]. Washington D.C. : NASA, 2003.

[4] Yilmaz A, Javed O, Shah M. Object Tracking: A Survey[J]. ACM Computing Surveys, 2006, 38(4): Article 13.

[5] Tai J, Tsang S, Lin C, et al. Real-time Image Tracking for Automatictraffic Monitoringand Enforcement Application[J]. Image and Vision Computing, 2004, 22(6): 485-501.

[6] Wu Y, Huang T. Robust Visual Trackingby Integrating Multiple Cues Basedon Co-inference Learning[J]. International Journal of Computer Vision, 2004, 58(1): 55-71.

[7] Nummiaroa K, Koller-Meierb E, Gool L V. An Adaptive Color-based Particle Filter[J]. Image and Vision Computing, 2003, 21(1): 99-110.

[8] Yang C, Duraiswami R, Davis L S. Efficient Mean-shift Tracking via a New Similarity Measure[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005: 176-183.

[9] Wang H, Suter D, Schindler K. Effective Appearance Model and Similarity Measure for Particle Filtering and Visual Tracking [C]. European Conference on Computer Vision, 2006: 606-618.

[10] Babenko B, Yang M H, Belongie S. Robust Object Tracking with Online Multiple Instance Learning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(8): 1619-1632.

[11] Kalal Z, Mikolajczyk K, Matas J. Tracking-learning-detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7): 1409-1422.

[12] Zhang S, Yao H, Sun X, et al. Sparse Coding Based Visual Tracking: Review and Experimental Comparison[J]. Pattern Recognition, 2013, 46(7): 1772-1788.

[13] Xie N, Ling H, Hu W, et al. Use Bin-Ratio Information for Category and Scene Classification[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2010: 2313-2319.

[14] Wu Y, Lim J, Yang M H. Online Object Tracking: a Benchmark[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2013: 2411-2418.

[15] 陳磊, 高升, 袁寶峰, 等. 基于多相機的空間機械臂視覺系統(tǒng)[J]. 航天返回與遙感, 2014, 35(3): 35-42.

CHEN Lei, GAO Sheng, YUAN Baofeng, et al. Multi-camera Based Space Manipulator Vision System[J]. Spacecraft Recovery & Remote Sensing, 2014, 35(3): 35-42. (in Chinese)

Space Manipulator Visual Object Tracking Method Using Sparsity-based Histogram

GAO Sheng YUAN Baofeng QI Zhe CHEN Lei WANG Kang LIANG Changchun

（Beijing Key Laboratory of Intelligent Space Robotic Systems Technology and Applications, Beijing Institute of Spacecraft System Engineering, Beijing 100094, China）

Vision system is a key part of a space manipulator system. Space object tracking or object localization in image sequences from cameras, which is implemented autonomously and reliably within a given time in complex space environment, is one of the important functions of the vision system. In this paper, we propose a sparsity-based histogram visual object tracking method for a space manipulator system. The object representation is acquired by combining the sparse coefficients of overlapped image patches in the object region, and the distance between the candidate and the template is calculated by using the bin-ratio information based similarity measure. Tracking is carried out within a particle filter framework, in which the distance is used to construct the observation model. Experiments conducted on benchmark set and image sequences captured by manipulator vision systems in indoor environment and on-orbit environment demonstrate qualitatively and quantitatively that the proposed method can perform accurate and reliable tracking of the object in the camera field of view.

object representation; sparsity-based histogram; similarity measure; space manipulator; vision system

V11

A

1009-8518(2015)03-0092-07

10.3969/j.issn.1009-8518.2015.03.013

高升，男，1973年生，2006年獲中國空間技術(shù)研究院飛行器設(shè)計專業(yè)碩士學(xué)位，高級工程師。研究方向為飛行器供配電系統(tǒng)設(shè)計、空間視覺系統(tǒng)信息處理。E-mail: castgaosheng@163.com。

2015-01-15

國家自然科學(xué)基金（61231018，61305112）