李金健, 胡 權

北京理工大學, 北京 100090

0 引 言

空間機械臂在完成在軌抓取操作、在軌組裝以及空間碎片捕獲等任務時,首先要解決對周邊環(huán)境、操作對象的感知與測量問題[1].為此,通常攜帶傳統(tǒng)圖像相機作為視覺傳感器[2].但是傳統(tǒng)圖像相機具有數(shù)據(jù)量大、測量延遲高等缺點,當目標在快速旋轉或移動時,獲得的圖像具有拖影,給測量、辨識以及跟蹤帶來了難題.除此之外,傳統(tǒng)相機動態(tài)范圍低,難以在空間復雜光學環(huán)境下開展目標識別與跟蹤工作.針對以上問題,本文選取動態(tài)視覺傳感器(dynamic vision sensor, DVS)作為感知器件來解決空間機械臂的測量和控制問題.

動態(tài)視覺傳感器又稱為事件相機(event camera),是一種受生物啟發(fā)的基于地址-事件格式表達的新型視覺傳感器.如圖1所示[3],與傳統(tǒng)相機同步輸出圖像幀的原理不同,事件相機只捕捉場景的運動信息,并異步輸出事件流數(shù)據(jù),這使得事件相機具有一些傳統(tǒng)相機無法比擬的優(yōu)勢,如低延遲、高時間分辨率、低數(shù)據(jù)量以及高動態(tài)范圍特性等[4].事件相機一般能達到120 dB以上的場景動態(tài)范圍,遠高于傳統(tǒng)相機的60 dB,這使得其在復雜空間環(huán)境下仍能有效開展工作.由于事件相機具有諸多傳統(tǒng)視覺傳感器不具備的優(yōu)勢,期望將事件相機作為感知測量器件,提升空間機械臂的感知與操作能力.

圖1 事件相機與傳統(tǒng)圖像相機的工作原理對比Fig.1 Comparison of principles between event cameras and traditional image cameras

目前,在機械臂視覺伺服領域,結合事件相機的研究成果較少,大多數(shù)工作依舊使用傳統(tǒng)圖像相機作為視覺傳感器.RAJKUMA等[5]于2020年首次基于事件相機實現(xiàn)了機械臂視覺伺服,其采用Harris算子提取活躍事件表面中的角點信息,并通過圖像雅可比矩陣、角點熱圖等實現(xiàn)對目標的跟蹤和抓取.隨后,他們又引入基于位置的視覺伺服方法實現(xiàn)了基于事件相機的鉆孔任務[6].對于視覺伺服而言,高精度、高幀率的特征檢測與跟蹤是任務成功的關鍵.上述研究中所使用的角點特征存在跟蹤困難、跟蹤精度低等缺點.相比于角點特征,圓形特征所攜帶的信息更多,跟蹤相對容易.目前基于事件的圓形特征檢測主要基于Hough變換開展,如eHough和梯度eHough算法等[7],但這些算法都存在計算量大的缺點.本文提出了基于迭代重加權最小二乘的圓形特征檢測與跟蹤算法,能夠在實現(xiàn)同等跟蹤成功率的情況下實現(xiàn)更高幀率的特征檢測反饋,充分發(fā)揮事件相機的高時間分辨率優(yōu)勢.隨后,利用基于事件的視覺伺服(event-based visual servo, EBVS)方法[5],設計了跟蹤運動目標的視覺控制律.所設計的控制方法能夠有效降低視覺延遲,提高特征檢測頻率以及機械臂伺服精度.

1 基于事件的圓形特征檢測跟蹤

1.1 事件生成模型

事件相機由獨立的像素組成,這些像素根據(jù)亮度的變化生成異步事件流數(shù)據(jù).若像素x=[xy]T處產(chǎn)生的亮度增量滿足式(1)則會產(chǎn)生一個事件

ΔL(xi,ti)=piC,i∈N

(1)

式中,i代表事件序號,ΔL表示亮度增量,ti是第i個事件發(fā)生的時間戳,pi∈{-1,+1}代表事件的極性,C>0是恒正的時間對比度閾值.當同一像素處ΔL增大到超過時間對比度閾值,則該像素輸出一個正極性(ON)事件;若光線變暗,ΔL降低到一定閾值,則會輸出一個負極性(OFF)事件.因此,事件e可以被異步的表示為如下形式:

ei=[xitipi]T

(2)

在處理事件數(shù)據(jù)時,針對不同的應用有不同的處理方法.常用的方法包括逐事件處理、批量事件處理以及合成事件幀處理等[4].其中,合成事件幀方法通過累積事件生成灰度圖像以適配傳統(tǒng)視覺算法,具有較大延遲且背離了事件異步處理范式.相比而言,逐事件和批量事件方法更貼合異步處理事件的初衷.

1.2 圓形特征檢測跟蹤算法

由于事件數(shù)據(jù)與圖像數(shù)據(jù)在編碼方式上大為不同,傳統(tǒng)視覺中的邊緣檢測或Hough變換等算法很難有效應用于事件數(shù)據(jù)處理.因此,針對基于事件相機的圓形特征檢測任務,首先使用批量事件處理方法將N個事件統(tǒng)一為一組,然后基于擬合的方式檢測圓形特征.

批量事件處理中的事件數(shù)量可以采用固定數(shù)量或固定時間的方式確定.其中,固定數(shù)量累積的方式會產(chǎn)生不規(guī)則的視覺反饋信息,不便于視覺伺服控制器的設計.除此之外,考慮到事件相機的實際信號采集,事件以包的形式按固定時間傳輸,因此采用固定時間累積方法.取時間間隔ΔT,第k個周期累積得到的事件集合可以表示為

(3)

由于事件相機生成的稀疏事件大多分布于邊緣特征附近,因此可采用類似迭代最近點的方法[8],通過求解如下優(yōu)化問題來擬合圓形特征的圓心坐標c=[cxcy]T以及半徑r.

(4)

式(4)本質上是圓的幾何擬合方法,需要非線性優(yōu)化求解,求解速度較慢.為了匹配事件相機的超高時間分辨率特性,可以使用圓的代數(shù)擬合方法作為近似[9],該優(yōu)化問題可表示為

(5)

式(5)為線性最小二乘問題,存在解析解且求解速度快.文獻[9]證明了其與式(4)的擬合精度相近,并且擁有相同的擬合方差.為了進一步提高檢測精度,降低事件流中背景活動噪聲的影響[10],本文使用基于Tukey權重函數(shù)的迭代重加權最小二乘方法(iterative reweight least square, IRLS)求解上述線性最小二乘問題[11].

(6)

(7)

其中:最大半徑rmax是為了避免ROI的無限擴大所設計的半徑上限,與跟蹤的特征大小有關;rmultiple為縮放系數(shù),本文取為1.5獲得ROI后,用于后續(xù)擬合以及跟蹤的事件集合為

(8)

2 基于事件的空間機械臂視覺伺服

2.1 視覺伺服系統(tǒng)框架

航天器的對接裝置、表面圓孔等會在相機圖像坐標系中形成二維圓形特征.基于觀察到的二維特征,可使用視覺伺服的方式實現(xiàn)空間機械臂的抵近操作,從而為后續(xù)空間機械臂的操作任務提供基礎.EBVS是基于圖像的視覺伺服(image-based visual servo, IBVS)方法的推廣[12],其控制流程圖如圖2所示.視覺伺服任務需建立任務變量與機械臂控制變量之間的微分關系,通過設計視覺控制器使任務變量與期望任務變量之間的誤差趨近于零.本文采用單目手眼配置的視覺伺服框架,事件相機安裝于空間機械臂末端.經(jīng)過特征檢測的事件流數(shù)據(jù)被轉化為EBVS控制器可用的特征信息從而實現(xiàn)視覺伺服.

圖2 EBVS控制結構圖Fig.2 Control structure diagram of EBVS

(9)

其中:JC為時變的復合雅克比矩陣,該矩陣由3個雅克比矩陣復合而成:第一部分是圖像雅可比矩陣JS,第二部分是空間機械臂廣義雅可比矩陣JG[13],第三部分是相機速度與機械臂末端速度之間的微分雅克比矩陣JT;?s/?t是目標運動引起的特征變化率.廣義雅可比矩陣JG是基座姿態(tài)Ψb、機械臂關節(jié)角q以及各剛體質量mi和慣量Ii的函數(shù),i表示各剛體序號.考慮基座受控狀態(tài)時,廣義雅克比矩陣近似只與機械臂關節(jié)角有關.

2.2 圖像雅可比矩陣構造

基于1.2節(jié)提出的圓形特征檢測跟蹤算法構造圖像雅可比矩陣.圓形特征屬于圖像矩特征的一種.對于連續(xù)密集分布的圖形O,i+j階原點矩定義為

(10)

根據(jù)文獻[14]中的結論,原點矩特征可由格林公式計算圖像雅可比矩陣.對于圓形特征還可以找到一組解耦特征,即規(guī)范化重心-面積特征,使得所控制的3個平動自由度解耦.規(guī)范化重心-面積特征為

(11)

2.3 視覺控制律設計

設計視覺控制律使得當前特征收斂至期望特征附近.為保證1.2節(jié)圓形特征檢測跟蹤算法有效,需要使目標特征所在平面與事件相機的成像平面始終平行,因此本文按此工況設計視覺控制律,使用檢測得到的圓形特征來控制事件相機的平動自由度,同時使用基于位置的視覺伺服獨立控制相機的轉動自由度,從而保證平行條件.若需要處理不平行的情況,需要改進1.2節(jié)的算法以檢測透視投影后的橢圓特征參數(shù),另外還需要設計橢圓特征的圖像雅可比矩陣等,本文對此不做討論.

使用具有前饋環(huán)節(jié)的比例負反饋設計速度級視覺控制器.當目標運動引起的特征變化率被準確估計的情況下,控制平動自由度的方程為

(12)

控制轉動自由度的方程為

w=-λwθu

(13)

(14)

第k-1個控制周期給定控制量所引起的圓形特征變化率可以寫為JS,k-1vk-1.假設目標在第k個控制周期的速度保持不變,可以將式(12)寫為

(15)

2.4 時間對比度閾值調節(jié)策略

使用事件相機進行視覺伺服會面臨一個傳統(tǒng)視覺伺服不會遇到的問題,即在特征誤差收斂到0的過程中,相機與目標之間的相對速度逐漸趨近于0,會造成事件量降低并引起特征檢測失效.

對式(1)進行線性化后可得[4]

piLt(xi,ti)Δti=C

(16)

其中,Δti為xi像素處發(fā)生的事件相距上一事件之間的時間差.考慮理想的事件生成模型,且像素xi處所有事件的極性在較短的ΔT內不變.使用亮度恒定性假設,可以獲得光流和事件數(shù)量之間的近似關系

(17)

本節(jié)對C設計調節(jié)策略來主動改善事件量大小,使其維持在能夠實現(xiàn)特征檢測的程度.與此同時,該調節(jié)策略也可以避免過大事件量造成的計算效率下降.定義時間對比度靈敏度σ=1/C,采用如下調節(jié)策略:

(18)

其中,κ為調節(jié)增益,N*為期望事件量,σ的上限和下限分別取5和1.5[16].得到所需的時間對比度閾值之后,按照對數(shù)特性調節(jié)事件相機的內部電流.對于事件仿真器而言可以直接修改C值,對于商業(yè)事件相機,可調用時間對比度設定接口.

3 仿真驗證

3.1 仿真環(huán)境

本文的仿真環(huán)境基于第二代機器人操作系統(tǒng)(robot operating system2, ROS2)以及Ignition Gazebo仿真器搭建.仿真中使用六自由度機械臂,DH參數(shù)與AUBO-i5機械臂一致.仿真相機固定于機械臂末端,形成手眼配置視覺伺服系統(tǒng).對于事件相機仿真,需要根據(jù)高幀率圖像信號合成事件流信號.本文調用Ignition Gazebo圖像話題,使用V2E模擬器生成合成事件[17],原始圖像幀速率(frames per second, FPS)為200.表1列出了仿真環(huán)境中事件相機相關的參數(shù).

表1 仿真環(huán)境參數(shù)表Tab.1 Simulation environment parameters

關于時間對比度閾值方差,截斷頻率以及各噪聲的具體參數(shù)含義可參考文獻[16].搭建的仿真環(huán)境如圖3所示,目標在XY平面內繞點(0.55,0.2)m,以角速度0.4 rad/s做半徑為0.1 m的圓周運動.

圖3 視覺伺服仿真場景Fig.3 Simulation scene of the visual servo

3.2 圓形特征檢測跟蹤實驗結果

為驗證基于事件的特征檢測算法的性能,對比了傳統(tǒng)的基于幀的Hough算法以及eHough算法[7].該算法根據(jù)每個事件的梯度方向進行Hough變換,有效減少了Hough變換的變換次數(shù).

本文總共進行了10次特征檢測跟蹤實驗,單次實驗時長為30 s.測試時,機械臂靜止,只啟用特征檢測模塊且目標始終位于相機視野中.基于事件的檢測算法以ΔT=500 μs的間隔累積事件,各算法的檢測速率按照總計算時長除以檢測次數(shù)來計算.3種算法都實現(xiàn)了100%的跟蹤率,即實驗時均沒有發(fā)生目標丟失.本文所提出算法在單次實驗中的部分結果展示于圖4,其中,黃色點為累積事件,內部紅色圓形為檢測得到的圓特征,外部紫色圓形為當前時刻ROI.圖4顯示了從初始跟蹤到跟蹤收斂的過程,該算法在短時間內實現(xiàn)了10次跟蹤.

圖4 基于事件的圓形特征檢測結果Fig.4 Results of event-based circular feature detection

三種算法的平均檢測速率列于表2可以看出,本文提出的圓形特征檢測跟蹤算法實現(xiàn)了極高的檢測速率,并且遠遠超過了傳統(tǒng)相機的檢測極限.

表2 圓形特征檢測算法對比Tab.2 Comparison of circular detection algorithms

3.3 運動目標伺服跟蹤實驗結果

本節(jié)對比了IBVS控制器與本文設計的EBVS控制器在運動目標伺服跟蹤實驗上的效果,兩者都使用相同的視覺控制律,區(qū)別僅在于特征檢測算法.IBVS從圖像中提取圓形特征而EBVS使用1.2節(jié)所設計的檢測跟蹤算法.

機械臂的初始關節(jié)角為(-1.11, 0.06, 1.29, -0.34, 1.57, 0.46) rad,歸一化的期望特征量為(0,0,0.4),期望深度為0.4 m.當目標發(fā)生移動時,特征檢測模塊將輸出圓形特征的規(guī)范化表達,然后采用ROS2通訊將該信息傳輸給機械臂視覺伺服模塊.若系統(tǒng)狀態(tài)正常,則該模塊計算特征誤差,根據(jù)視覺控制律生成機械臂關節(jié)速度指令,控制機械臂快速移動至期望位置.啟動控制節(jié)點后,IBVS和EBVS都可以在短時間內使特征收斂至期望特征附近,收斂結果如圖5所示.

圖5 視覺伺服收斂結果對比Fig.5 Comparison of convergence results of visual servo

圖5(b)中外圈圓為EBVS收斂時刻的ROI.圖5(c)為伺服過程中相機中心的三維軌跡,IBVS與EBVS都能夠實現(xiàn)對圓周運動目標的跟蹤,然而,在跟蹤圓周運動的過程中IBVS出現(xiàn)了漂移.盡管EBVS始終處于較好的跟蹤狀態(tài),但跟蹤軌跡存在一定抖動,這是由于事件流相比圖像數(shù)據(jù)具有更多的噪聲,在EBVS高頻反饋下,造成了控制量出現(xiàn)抖動.

IBVS和EBVS的特征誤差以及機械臂關節(jié)角的仿真結果如圖6與圖7所示.圖6(a)與圖7(a)表示歸一化特征誤差隨時間的變化,圖6(b)與圖7(b)表示機械臂各關節(jié)角隨時間的變化情況.仿真結果顯示,兩種視覺傳感器的收斂時間相近,說明視覺伺服的控制周期長短對對收斂時間影響較小.

圖6 基于圖像的視覺伺服結果Fig.6 Results of the IBVS

圖7 基于事件的視覺伺服結果Fig.7 Results of the EBVS

然而,在伺服收斂階段,使用這兩種視覺傳感器所形成的震蕩程度是不同的,EBVS最終的穩(wěn)態(tài)誤差約為0.01,對于IBVS則約為0.017,且存在速度突變的風險.這是因為在設計目標速度補償時,假設了目標在相鄰兩個周期的速度相同,但這在實際情況下是很難滿足的.當控制周期較長時,目標在下一時刻的速度已經(jīng)發(fā)生較大變化,造成了跟蹤精度較低.從這個角度來看,使用事件相機可以很輕松的達到高幀率的視覺反饋,能夠為機械臂伺服跟蹤系統(tǒng)提供有力跟蹤保證,從而實現(xiàn)較高精度的伺服跟蹤.但需要注意的是,這需要2.4節(jié)調節(jié)策略的支撐,否則在特征誤差極小時,事件相機可能無法形成足夠的事件用于進行特征檢測.

4 實驗驗證

所使用的地面實驗系統(tǒng)包括AUBO-i5六自由度機械臂,CeleX-V事件相機[18]以及工控計算機,上位機軟件基于ROS2開發(fā).針對CeleX-V參數(shù)標定,首先使用其灰度功能采集圖像幀,使用張正友標定法[19]與Tsai-Lenz法[20]分別對其內參、外參進行標定.運動目標視覺伺服與跟蹤地面實驗場景及實驗過程如圖8所示.

圖8 運動目標視覺伺服實驗過程Fig.8 Experimental process of servo tracking of moving targets

目標在二維平面內多次進行快速運動.啟動特征檢測模塊與機械臂視覺伺服模塊后,機械臂根據(jù)事件相機檢測到的特征信息向目標趨近.伺服過程中,目標每進行一次運動,機械臂便會立即跟隨同一方向移動,從而使特征誤差快速趨近于零,最終使圓形特征移動至圖像中心.

圖9展示了其中一次地面實驗的特征誤差變化曲線,特征跟蹤誤差能在3 s內收斂,說明所設計的圓形特征檢測與跟蹤算法以及機械臂視覺伺服方法是合理且有效的.

圖9 基于事件的視覺伺服地面實驗結果Fig.9 Experiment results of the event-based visual servo

5 結 論

本文提出一種應用于事件相機的基于擬合的圓形特征檢測與跟蹤算法,在該算法的基礎上,研究了基于規(guī)劃化重心-面積特征的空間機械臂視覺伺服方法,設計了具有前饋速度補償?shù)囊曈X控制律并論述了在跟蹤運動目標時,事件相機的高時間分辨率特性能夠提高伺服控制精度.仿真實驗結果表明,提出的特征檢測與跟蹤算法能夠在獲得高跟蹤成功率的情況下實現(xiàn)高幀率特征檢測反饋.進一步的,事件相機的高幀率反饋也增加了視覺伺服的收斂精度.地面實驗中,機械臂在事件相機的驅動下能夠快速收斂至目標位置附近,驗證了基于事件的視覺伺服的可行性.本文所提出的方法推動了事件相機在空間機械臂感知與控制領域的應用.未來將進一步探討事件相機在太空環(huán)境下的其他應用模式,改進和提升特征檢測與跟蹤算法在復雜空間環(huán)境下的跟蹤精度,設計變步長自適應控制律以適配事件相機的視覺反饋信號.