徐德

視覺(jué)可以為機(jī)器人提供外部信息,是機(jī)器人的重要信息源,是機(jī)器人實(shí)現(xiàn)自動(dòng)作業(yè)以及自主作業(yè)的重要保障.因此,視覺(jué)在機(jī)器人領(lǐng)域具有重要的地位和作用.視覺(jué)伺服是利用視覺(jué)信息對(duì)機(jī)器人或者相機(jī)位姿進(jìn)行的伺服控制,其目標(biāo)是控制機(jī)器人或者相機(jī)快速到達(dá)期望的位姿.

視覺(jué)伺服涉及視覺(jué)信息與運(yùn)動(dòng)的映射、特征選擇、控制律設(shè)計(jì)、視覺(jué)系統(tǒng)標(biāo)定等問(wèn)題.早在1996年,Hutchinson等[1]撰寫(xiě)了視覺(jué)伺服的教程,將視覺(jué)伺服按照控制系統(tǒng)的構(gòu)成方式分為基于位置的視覺(jué)伺服(Position-based visual servo)、基于圖像的視覺(jué)伺服(Image-based visual servo).其中,基于位置的視覺(jué)伺服在3D笛卡爾空間構(gòu)成閉環(huán)控制系統(tǒng),利用視覺(jué)信息獲得被觀(guān)測(cè)對(duì)象在笛卡爾空間的位置和姿態(tài),與期望的位置和姿態(tài)相比較形成誤差,根據(jù)該誤差設(shè)計(jì)控制律,控制機(jī)器人或者相機(jī)運(yùn)動(dòng);基于圖像的視覺(jué)伺服在2D圖像空間構(gòu)成閉環(huán)控制系統(tǒng),利用視覺(jué)信息獲得被觀(guān)測(cè)對(duì)象在圖像空間的特征,與期望的圖像特征相比較形成誤差,根據(jù)該誤差設(shè)計(jì)控制律,控制機(jī)器人或者相機(jī)運(yùn)動(dòng).1999年,Malis等[2]提出了混合視覺(jué)伺服方法.混合視覺(jué)伺服包含了在3D笛卡爾空間構(gòu)成的閉環(huán)控制系統(tǒng)和2D圖像空間構(gòu)成的閉環(huán)控制系統(tǒng),一部分自由度采用基于位置的視覺(jué)伺服,另一部分自由度采用基于圖像的視覺(jué)伺服.混合視覺(jué)伺服結(jié)合了基于位置和基于圖像的視覺(jué)伺服,既含有3D空間又含有2D空間的伺服控制,所以又稱(chēng)為2.5D視覺(jué)伺服[3].2003年,Hashimoto[4]對(duì)工業(yè)機(jī)器人基于視覺(jué)的控制方法進(jìn)行了綜述,Kragic等[5]對(duì)基于位置、基于圖像的視覺(jué)伺服方法進(jìn)行了工業(yè)機(jī)器人的抓取實(shí)驗(yàn),Gans等[6]對(duì)不同的視覺(jué)伺服系統(tǒng)的性能進(jìn)行了測(cè)試.基于位置的視覺(jué)伺服在3D笛卡爾空間設(shè)計(jì)控制律,能夠保證系統(tǒng)的全局漸近穩(wěn)定,但相機(jī)標(biāo)定誤差和機(jī)器人的模型誤差對(duì)控制精度具有明顯影響.基于圖像的視覺(jué)伺服在2D圖像空間構(gòu)成閉環(huán),對(duì)相機(jī)標(biāo)定誤差和機(jī)器人的模型誤差不敏感,具有很高的穩(wěn)態(tài)控制精度,但控制系統(tǒng)只是局部穩(wěn)定,對(duì)于大幅度旋轉(zhuǎn)的伺服控制效果較差[6],而且圖像雅可比矩陣的奇異性也會(huì)導(dǎo)致伺服控制失敗.混合視覺(jué)伺服結(jié)合了基于位置和基于圖像的視覺(jué)伺服的優(yōu)點(diǎn),利用基于位置的視覺(jué)伺服對(duì)姿態(tài)進(jìn)行控制,可防止姿態(tài)變化過(guò)大導(dǎo)致的伺服失敗;利用基于圖像的視覺(jué)伺服對(duì)位置進(jìn)行控制,可提高位置控制精度;但單應(yīng)性矩陣(Homography matrix)的估計(jì)對(duì)圖像噪聲敏感,且需要對(duì)單應(yīng)性矩陣進(jìn)行分解.2005年,Marchand等[7]設(shè)計(jì)了視覺(jué)伺服平臺(tái)的Matlab工具箱,Mariottini等[8]設(shè)計(jì)了基于極線(xiàn)幾何視覺(jué)伺服的Matlab工具箱,為視覺(jué)伺服系統(tǒng)的設(shè)計(jì)和仿真提供了便利.2006年,Chaumette和Hutchinson[9?10]再度撰寫(xiě)了視覺(jué)伺服的教程,分別介紹了視覺(jué)伺服的基本方法和先進(jìn)方法,基本方法包括基于位置的視覺(jué)伺服、基于圖像的視覺(jué)伺服,先進(jìn)方法包括2.5D混合視覺(jué)伺服、全分離式視覺(jué)伺服(Partitioned visual servo)、開(kāi)關(guān)式視覺(jué)伺服(Switching visual servo)等.其中,全分離式視覺(jué)伺服選擇6個(gè)特征,對(duì)線(xiàn)速度和角速度的6個(gè)自由度分別進(jìn)行控制.開(kāi)關(guān)式視覺(jué)伺服采用開(kāi)關(guān)控制器選擇當(dāng)前的有效控制器[11?12],在誤差較大時(shí)選用基于位置的視覺(jué)伺服,在誤差較小時(shí)采用基于圖像的視覺(jué)伺服.2010年,Staniak等[13]以工業(yè)機(jī)器人趨近與抓取靜態(tài)對(duì)象的任務(wù)為背景,分別針對(duì)Eye-in-hand和Eye-to-hand視覺(jué)系統(tǒng),對(duì)基于位置、基于圖像、開(kāi)關(guān)式視覺(jué)伺服進(jìn)行了分析和實(shí)驗(yàn),對(duì)影響穩(wěn)態(tài)誤差的因素進(jìn)行了分析和驗(yàn)證.2011年Janabi-Sharif i等[14]對(duì)基于位置和基于圖像的視覺(jué)伺服方法進(jìn)行了對(duì)比,包括系統(tǒng)穩(wěn)定性、魯棒性、靈敏性和在笛卡爾空間與圖像空間的動(dòng)態(tài)性能.兩者均能夠局部漸近穩(wěn)定,而且對(duì)建模誤差局部魯棒,但笛卡爾空間與圖像空間的軌跡以及時(shí)間收斂性受到相機(jī)、對(duì)象和機(jī)器人建模誤差的影響.2015年,賈丙西等[15]對(duì)機(jī)器人視覺(jué)伺服進(jìn)行了綜述,重點(diǎn)介紹了視覺(jué)系統(tǒng)中改善動(dòng)態(tài)性能和處理噪聲的方法.

視覺(jué)系統(tǒng)常用的構(gòu)成方式包括單目視覺(jué)和雙目立體視覺(jué).雖然雙目立體視覺(jué)能夠測(cè)量特征點(diǎn)的三維坐標(biāo),便于構(gòu)成基于位置的視覺(jué)伺服控制系統(tǒng),但是其內(nèi)外參數(shù)標(biāo)定比較繁雜,與單目視覺(jué)相比成本較高,使用與維護(hù)的方便性較差.單目視覺(jué)具有成本較低、使用與維護(hù)較方便等特點(diǎn),受到機(jī)器人視覺(jué)領(lǐng)域研究人員的普遍重視,近年來(lái)針對(duì)視覺(jué)伺服的研究主要面向單目視覺(jué)系統(tǒng).因此,本文針對(duì)單目視覺(jué)系統(tǒng)討論視覺(jué)伺服.此外,現(xiàn)有的關(guān)于機(jī)器人視覺(jué)伺服的綜述或者教程,如Hutchinson等的視覺(jué)伺服教程[1,9?10],主要從視覺(jué)信息與運(yùn)動(dòng)映射和控制律設(shè)計(jì)的角度討論視覺(jué)伺服,較少涉及特征選擇、視覺(jué)系統(tǒng)標(biāo)定等問(wèn)題.為了更好地體現(xiàn)不同的視覺(jué)伺服方法的特點(diǎn),本文從視覺(jué)信息與運(yùn)動(dòng)映射、控制律設(shè)計(jì)、特征選擇、視覺(jué)系統(tǒng)標(biāo)定等角度介紹視覺(jué)伺服近年來(lái)的研究進(jìn)展.

本文內(nèi)容安排如下:第1節(jié)介紹了視覺(jué)信息與運(yùn)動(dòng)映射關(guān)系,包括交互矩陣、單應(yīng)性矩陣、基本矩陣.交互矩陣描述相機(jī)運(yùn)動(dòng)與特征變化之間的關(guān)系,單應(yīng)性矩陣描述兩視點(diǎn)之間的位姿關(guān)系,基本矩陣描述兩視點(diǎn)之間的極線(xiàn)約束.第2節(jié)分別針對(duì)不同的誤差表征方式,討論了不同視覺(jué)伺服方法的控制律設(shè)計(jì).第3節(jié)對(duì)視覺(jué)伺服的關(guān)鍵問(wèn)題進(jìn)行了討論,包括相機(jī)選擇、特征選擇、誤差表征、深度估計(jì)、位姿解耦、系統(tǒng)穩(wěn)定性、系統(tǒng)標(biāo)定等.第4節(jié)簡(jiǎn)要介紹了視覺(jué)伺服的部分典型應(yīng)用,給出了未來(lái)發(fā)展的幾個(gè)方向.最后,對(duì)全文進(jìn)行了總結(jié).

1 視覺(jué)信息與運(yùn)動(dòng)映射關(guān)系

視覺(jué)信息與運(yùn)動(dòng)映射關(guān)系的獲取,主要包括交互矩陣、單應(yīng)性矩陣、基本矩陣等方式.

1.1 交互矩陣

交互矩陣(Interaction matrix)描述相機(jī)運(yùn)動(dòng)與圖像特征變化之間的關(guān)系,又稱(chēng)為圖像雅可比矩陣(Image Jacobian matrix).早在1992年,Chaumette等[16]推導(dǎo)了點(diǎn)、線(xiàn)和圓特征的交互矩陣.空間圓的交互矩陣較復(fù)雜,此處從略.

對(duì)于笛卡爾空間的特征點(diǎn),其3D空間位置在攝像機(jī)坐標(biāo)系中表示為(X,Y,Z),其在相機(jī)焦距歸一化成像平面上的成像點(diǎn)在攝像機(jī)坐標(biāo)系中表示為(x,y,1),則點(diǎn)特征的交互矩陣為[16]:

其中,Lp是點(diǎn)特征的交互矩陣.

將直線(xiàn)表示為兩個(gè)空間平面的交線(xiàn):

其中,a1、b1、c1、d1、a2、b2、c2、d2為兩個(gè)平面的平面方程參數(shù).d1和d2不同時(shí)為零.

直線(xiàn)特征的交互矩陣見(jiàn)式(3).其中,ρ和θ為3D空間直線(xiàn)在相機(jī)焦距歸一化成像平面上的成像直線(xiàn)的極坐標(biāo)方程參數(shù).時(shí)i=1,d1=0時(shí)i=2.Lθ和Lρ分別是θ和ρ的交互矩陣.

由式(1)和式(3)可知,點(diǎn)、直線(xiàn)特征的交互矩陣是分別基于在相機(jī)焦距歸一化成像平面上的成像點(diǎn)坐標(biāo)和直線(xiàn)參數(shù)的.因此,需要對(duì)相機(jī)進(jìn)行標(biāo)定,獲得相機(jī)的內(nèi)參數(shù).然后,根據(jù)圖像坐標(biāo)和相機(jī)內(nèi)參數(shù),計(jì)算出在相機(jī)焦距歸一化成像平面上的成像點(diǎn)坐標(biāo).從式(1)可以發(fā)現(xiàn),點(diǎn)特征交互矩陣Lp與深度Z相關(guān).在相機(jī)內(nèi)參數(shù)已知的情況下,x和y可以由圖像坐標(biāo)和相機(jī)內(nèi)參數(shù)計(jì)算獲得.如果點(diǎn)在相機(jī)坐標(biāo)系中的深度Z已知,那么Lp就可以確定.因此,如何估計(jì)深度Z成為獲取點(diǎn)特征的交互矩陣的關(guān)鍵.從式(3)可以發(fā)現(xiàn),求取直線(xiàn)特征的交互矩陣時(shí),需要已知含有該直線(xiàn)的平面在相機(jī)坐標(biāo)系中的平面方程.由于含有直線(xiàn)的平面在相機(jī)坐標(biāo)系中的平面方程難以獲得,制約了直線(xiàn)特征的交互矩陣在機(jī)器人視覺(jué)伺服中的應(yīng)用.

對(duì)于虛擬現(xiàn)實(shí)而言,可以在相機(jī)坐標(biāo)系中預(yù)先設(shè)定一個(gè)含有直線(xiàn)的平面,即含有直線(xiàn)的平面在相機(jī)坐標(biāo)系中的平面方程是已知的.因此,直線(xiàn)特征的交互矩陣能夠在虛擬現(xiàn)實(shí)中得到較好的應(yīng)用.例如,2006年Comport等[17]以當(dāng)前圖像特征作為期望值,以當(dāng)前相機(jī)位姿下場(chǎng)景投影到圖像的特征作為當(dāng)前值,通過(guò)視覺(jué)伺服控制攝像機(jī)的運(yùn)動(dòng),使得圖像特征的偏差最小化,從而實(shí)現(xiàn)虛擬現(xiàn)實(shí)中相機(jī)的位姿估計(jì).Comport等采用了點(diǎn)到直線(xiàn)的距離作為特征,其中的點(diǎn)是在圖像上的給定點(diǎn),其圖像坐標(biāo)保持不變.

為了克服含有直線(xiàn)的平面在相機(jī)坐標(biāo)系中的平面方程的制約,文獻(xiàn)[18]利用直線(xiàn)上相鄰點(diǎn)的極坐標(biāo)推導(dǎo)了直線(xiàn)特征的交互矩陣.從成像平面坐標(biāo)系原點(diǎn)到直線(xiàn)作垂線(xiàn),得到垂線(xiàn)與直線(xiàn)的交點(diǎn)即垂點(diǎn).利用直線(xiàn)上垂點(diǎn)及其兩側(cè)小鄰域內(nèi)對(duì)稱(chēng)的兩點(diǎn),推導(dǎo)出了直線(xiàn)特征的交互矩陣,見(jiàn)式(4).其中,Z0是垂足在相機(jī)坐標(biāo)系中的深度,Z1和Z2是垂足的兩個(gè)鄰點(diǎn)在相機(jī)坐標(biāo)系中的深度,ρ和θ是直線(xiàn)在相機(jī)焦距歸一化成像平面上的成像直線(xiàn)的極坐標(biāo)方程參數(shù),ρ1是成像平面坐標(biāo)系原點(diǎn)到垂足的一個(gè)鄰點(diǎn)的距離,Lθvx和Lθvy是Z1、Z2、ρ和θ的函數(shù),Lρ和Lθ分別是ρ和θ的交互矩陣.

對(duì)于垂直于攝像機(jī)光軸的直線(xiàn),Z1=Z2,得到Lθvx=0,Lθvy=0.此時(shí),式(4)的Lθ改寫(xiě)為:

式(5)交互矩陣與深度無(wú)關(guān),而且與平移無(wú)關(guān).由式(3)、式(4)和式(5)可以發(fā)現(xiàn),相機(jī)的旋轉(zhuǎn)運(yùn)動(dòng)與θ變化之間的關(guān)系與深度無(wú)關(guān),即旋轉(zhuǎn)運(yùn)動(dòng)與θ的交互矩陣Lθw與深度無(wú)關(guān),見(jiàn)式(6).因此,利用相機(jī)焦距歸一化成像平面上直線(xiàn)參數(shù)ρ和θ計(jì)算出式(6)的旋轉(zhuǎn)交互矩陣Lθw,可以用于姿態(tài)控制.

此外,Chaumette等[19?20]假設(shè)特征點(diǎn)均處于同一個(gè)平面內(nèi),基于點(diǎn)特征的交互矩陣以及平面方程,對(duì)各階矩的交互矩陣進(jìn)行了推導(dǎo),并推導(dǎo)出了橢圓、直線(xiàn)的矩的交互矩陣.Chaumette等采用基于二階矩的方向和兩個(gè)不變量矩,實(shí)現(xiàn)了對(duì)姿態(tài)的視覺(jué)伺服控制[19].2012年Lin等[21]定義了4個(gè)最低矩不變量,實(shí)現(xiàn)了基于模型的圖像跟蹤.基于矩的交互矩陣的視覺(jué)伺服,不需要特征提取與匹配,魯棒性強(qiáng)[22].

1.2 單應(yīng)性矩陣

單應(yīng)性矩陣描述了兩個(gè)視點(diǎn)之間的幾何關(guān)系,也是攝像機(jī)坐標(biāo)系中在焦距歸一化成像平面上特征點(diǎn)的位置矢量之間的關(guān)系.在相機(jī)坐標(biāo)系中,兩個(gè)視點(diǎn)下的特征點(diǎn)在焦距歸一化成像平面上的坐標(biāo)之間存在如下關(guān)系[3,23]:

其中,m=[x y1]T是特征點(diǎn)在當(dāng)前視點(diǎn)下在焦距歸一化成像平面上的位置矢量,m?=[x?y?1]T是特征點(diǎn)在期望視點(diǎn)下在焦距歸一化成像平面上的位置矢量,Z是特征點(diǎn)在當(dāng)前視點(diǎn)下的深度,Z?是特征點(diǎn)在期望視點(diǎn)下的深度,H是3×3的單應(yīng)性矩陣.

利用兩個(gè)視點(diǎn)下所采集的圖像中的4組及以上匹配特征點(diǎn),可以構(gòu)成一系列式(7)所示的方程,利用最小二乘法求解獲得單應(yīng)性矩陣.單應(yīng)性矩陣中只含外參數(shù),可以表示為:

其中,n?是期望視點(diǎn)的相機(jī)坐標(biāo)系原點(diǎn)到平面Π的單位法向量,d?是期望視點(diǎn)的相機(jī)坐標(biāo)系原點(diǎn)到平面Π的距離.R是當(dāng)前視點(diǎn)到期望視點(diǎn)的相機(jī)坐標(biāo)系之間的旋轉(zhuǎn)矩陣,t是當(dāng)前視點(diǎn)到期望視點(diǎn)的相機(jī)坐標(biāo)系之間的平移向量.Π是含有特征點(diǎn)的平面.

將H除以第3行第3列的元素,得到He.對(duì)He進(jìn)行奇異值分解,求解出R和e與t相差一個(gè)比例因子.R用于姿態(tài)控制,te用于位置控制,構(gòu)成基于位置的視覺(jué)伺服控制系統(tǒng).

1.3 基本矩陣

由兩個(gè)視點(diǎn)之間的極線(xiàn)幾何約束,得到特征點(diǎn)圖像坐標(biāo)的關(guān)系[23]:

基本矩陣F為3×3矩陣,包含了內(nèi)外參數(shù),形成兩幅圖像之間的極線(xiàn)幾何約束.利用8組及以上的匹配特征點(diǎn)得到的式(9)所示方程,采用最小二乘法估計(jì)出基本矩陣F.得到基本矩陣后,結(jié)合內(nèi)參數(shù)矩陣,計(jì)算出本質(zhì)矩陣E.

其中,A是相機(jī)的內(nèi)參數(shù)矩陣.

本質(zhì)矩陣只含外參數(shù),是在焦距歸一化成像平面上的幾何約束.由本質(zhì)矩陣E,計(jì)算出R和te,分別用于姿態(tài)控制和位置控制,構(gòu)成基于位置的視覺(jué)伺服控制系統(tǒng).

2 誤差表征與控制律設(shè)計(jì)

本節(jié)按照視覺(jué)信息與運(yùn)動(dòng)映射關(guān)系的獲取方式,對(duì)視覺(jué)伺服控制律的設(shè)計(jì)進(jìn)行介紹.

2.1 基于交互矩陣的視覺(jué)伺服

2.1.1 基于點(diǎn)交互矩陣的傳統(tǒng)方法

傳統(tǒng)的基于點(diǎn)交互矩陣的視覺(jué)伺服,選擇n個(gè)特征點(diǎn)在相機(jī)的焦距歸一化成像平面上的坐標(biāo)作為圖像特征,利用圖像特征偏差和交互矩陣控制相機(jī)的運(yùn)動(dòng).當(dāng)特征點(diǎn)數(shù)量n≥4時(shí),其控制律見(jiàn)式(11),可使偏差按照指數(shù)規(guī)律下降[9,24].

其中,是相機(jī)的線(xiàn)速度,是相機(jī)的角速度,λ>0是系數(shù),是特征點(diǎn)的圖像坐標(biāo)偏差,是n個(gè)特征點(diǎn)交互矩陣Lpn的偽逆矩陣.

傳統(tǒng)的基于點(diǎn)交互矩陣的視覺(jué)伺服,屬于基于圖像的視覺(jué)伺服.計(jì)算交互矩陣Lpn時(shí),需要用到特征點(diǎn)在相機(jī)坐標(biāo)系的深度,涉及到特征點(diǎn)的深度獲取.該深度信息可以根據(jù)相機(jī)的運(yùn)動(dòng)進(jìn)行在線(xiàn)估計(jì),但難以獲得準(zhǔn)確值.計(jì)算Lpn時(shí),可以采用在線(xiàn)估計(jì)的深度,也可以采用期望視點(diǎn)下的深度.文獻(xiàn)[9]分別采用在線(xiàn)估計(jì)深度計(jì)算的Lpn、期望視點(diǎn)下的深度計(jì)算的L?pn、以及二者的均值 (Lpn+L?pn)/2,進(jìn)行了視覺(jué)伺服實(shí)驗(yàn),三種情況下控制系統(tǒng)均收斂.其中,采用Lpn的視覺(jué)伺服收斂較快.

傳統(tǒng)的基于點(diǎn)交互矩陣的視覺(jué)伺服,在旋轉(zhuǎn)量較大時(shí)存在相機(jī)后退問(wèn)題(Camera retreat),即相機(jī)沿法線(xiàn)方向離開(kāi)目標(biāo)然后返回,屬于無(wú)效運(yùn)動(dòng)[25].針對(duì)相機(jī)后退問(wèn)題,Iwatsuki等[26]推導(dǎo)了柱面坐標(biāo)系下的點(diǎn)交互矩陣,基于柱面坐標(biāo)的視覺(jué)伺服可消除純旋轉(zhuǎn)時(shí)的相機(jī)后退現(xiàn)象.此外,在rank(Lpn)<6時(shí),式(11)控制律會(huì)造成相機(jī)速度過(guò)大,從而導(dǎo)致目標(biāo)丟失.

2000年,Kelly等[27]將點(diǎn)特征的交互矩陣與機(jī)械臂的雅可比矩陣相結(jié)合,構(gòu)成機(jī)器人的圖像雅可比矩陣.利用圖像雅可比矩陣的轉(zhuǎn)置,將圖像空間的特征偏差轉(zhuǎn)換為關(guān)節(jié)空間的力矩.在兩連桿機(jī)器人上進(jìn)行了控制實(shí)驗(yàn),取得了較好的效果.

2.1.2 基于點(diǎn)交互矩陣的分離式視覺(jué)伺服

2001年,Corke和Hutchinson[25]提出了一種分離式視覺(jué)伺服方法.將與Z方向相關(guān)的2個(gè)自由度的控制分離出來(lái),其他的4個(gè)自由度利用基于交互矩陣的方法進(jìn)行控制.由式(1),得:

其中,是圖像特征的變化率,Lpxy是與X、Y方向運(yùn)動(dòng)相關(guān)的交互矩陣,Lpz是與Z方向運(yùn)動(dòng)相關(guān)的交互矩陣.(vx,vy,vz)和(ωx,ωy,ωz)分別為相機(jī)的線(xiàn)速度和角速度.一個(gè)點(diǎn)的交互矩陣Lpxy和Lpz見(jiàn)式(13).

由式(12),得:

其中,L+pxy是Lpxy的偽逆矩陣.

利用圖像空間特征點(diǎn)連線(xiàn)與水平方向的夾角作為繞Z軸旋轉(zhuǎn)的特征,用于確定ωz.利用特征點(diǎn)構(gòu)成的多邊形面積作為沿Z軸平移的特征,用于確定vz.獲得vz和ωz后,根據(jù)式(14)確定X、Y方向的運(yùn)動(dòng)線(xiàn)速度和角速度.該方法可以消除傳統(tǒng)方法的相機(jī)后退問(wèn)題[25].

2016年,Xu等[28]將旋轉(zhuǎn)和平移控制律分開(kāi)設(shè)計(jì).利用式(11)計(jì)算出相機(jī)的角速度ω,然后利用式(15)計(jì)算線(xiàn)速度v.

2.1.3 基于多種特征交互矩陣的分離式視覺(jué)伺服

Tahri等[19]和Chaumette[20]選擇6個(gè)組合矩特征分別控制相機(jī)的6個(gè)自由度,實(shí)現(xiàn)了解耦的視覺(jué)伺服.以對(duì)象的重心表征沿X、Y軸平移,以對(duì)象的圖像面積作為表征深度Z的特征,采用橢圓長(zhǎng)軸方向表征繞Z軸的旋轉(zhuǎn),以基于二階矩的兩個(gè)不變量矩的組合分別控制繞X、Y軸的旋轉(zhuǎn).該方法的優(yōu)點(diǎn)是針對(duì)對(duì)象的圖像計(jì)算矩,不需要點(diǎn)匹配,魯棒性較強(qiáng).缺點(diǎn)是旋轉(zhuǎn)控制并不能完全解耦.在對(duì)象表面平行于成像平面時(shí),繞X、Y軸的旋轉(zhuǎn)是解耦的,但對(duì)象表面不平行于成像平面時(shí),旋轉(zhuǎn)控制仍然存在耦合問(wèn)題.

2008年,徐德等[29]針對(duì)矩形對(duì)象,選擇其圖像重心表征沿X、Y軸平移,以對(duì)象的圖像面積作為表征深度Z的特征,以矩形兩長(zhǎng)邊中心線(xiàn)的方向角表征繞Z軸的旋轉(zhuǎn),分別以長(zhǎng)邊和短邊的變化表征繞X、Y軸的旋轉(zhuǎn).利用上述6個(gè)特征分別控制相機(jī)的6個(gè)自由度,能夠?qū)崿F(xiàn)解耦的視覺(jué)伺服.2012年,Anh等[30]采用SURF特征搜索并分割對(duì)象,將對(duì)象的區(qū)域標(biāo)注為四邊形ROI(Region of interest),采用上述6個(gè)特征分別控制機(jī)械臂末端相機(jī)的6個(gè)自由度,實(shí)現(xiàn)了解耦的視覺(jué)伺服,能夠控制機(jī)械臂快速對(duì)對(duì)象進(jìn)行趨近和對(duì)準(zhǔn).這種方法的優(yōu)點(diǎn)是特征與運(yùn)動(dòng)之間的關(guān)系比較簡(jiǎn)單、直觀(guān),缺點(diǎn)是限制條件比較苛刻,對(duì)象在期望位姿下的成像必需為矩形且矩形的邊需要平行于成像平面的x、y軸,應(yīng)用受到極大的制約.此外,這種方法的解耦并不完善,導(dǎo)致運(yùn)動(dòng)過(guò)程中存在較大的波動(dòng).

2017年,Xu等[31]提出了一種采用多種特征的分離式視覺(jué)伺服方法.對(duì)點(diǎn)、線(xiàn)、面特征的靈敏性進(jìn)行了分析,點(diǎn)特征對(duì)沿相機(jī)坐標(biāo)系X、Y軸的平移靈敏性高,面特征對(duì)沿相機(jī)坐標(biāo)系Z軸的運(yùn)動(dòng)非常靈敏,直線(xiàn)特征對(duì)旋轉(zhuǎn)非常靈敏.因此,采用式(6)所示的直線(xiàn)交互矩陣控制旋轉(zhuǎn)運(yùn)動(dòng),設(shè)計(jì)了旋轉(zhuǎn)運(yùn)動(dòng)控制律.采用點(diǎn)特征和面特征的交互矩陣控制平移運(yùn)動(dòng),并對(duì)旋轉(zhuǎn)運(yùn)動(dòng)導(dǎo)致的平移在平移控制律中進(jìn)行了補(bǔ)償.旋轉(zhuǎn)和平移控制律分開(kāi)設(shè)計(jì),選擇的靈敏特征有利于保證交互矩陣的秩為3,消除了交互矩陣的奇異問(wèn)題.此外,旋轉(zhuǎn)運(yùn)動(dòng)對(duì)平移運(yùn)動(dòng)的補(bǔ)償,有利于將對(duì)象保持在相機(jī)的視野中,避免視覺(jué)伺服失敗問(wèn)題.

2.2 基于單應(yīng)性矩陣的視覺(jué)伺服

2.2.1 基于單應(yīng)性矩陣的傳統(tǒng)方法

利用單應(yīng)性矩陣分解獲得姿態(tài)矩陣R和帶比例因子的平移矢量e后,將R轉(zhuǎn)換為轉(zhuǎn)軸和轉(zhuǎn)角θ表示的姿態(tài).基于單應(yīng)性矩陣的傳統(tǒng)方法為基于位置的視覺(jué)伺服[9],視覺(jué)伺服的目標(biāo)是使得相機(jī)從當(dāng)前視點(diǎn)運(yùn)動(dòng)到期望視點(diǎn).選擇兩個(gè)視點(diǎn)之間的位移矢量和軸角θ作為特征.在當(dāng)前相機(jī)坐標(biāo)系下,位置誤差為,姿態(tài)誤差為θ.相機(jī)運(yùn)動(dòng)與特征之間的交互矩陣為:

其中,

其中,I3是3×3的單位陣,是的反斜對(duì)稱(chēng)矩陣.

可見(jiàn),在相機(jī)坐標(biāo)系下,基于單應(yīng)性矩陣的傳統(tǒng)視覺(jué)伺服方法為解耦控制.相機(jī)在笛卡爾空間的運(yùn)動(dòng)軌跡為直線(xiàn).但隨著相機(jī)姿態(tài)的變化,對(duì)象上的有些特征點(diǎn)可能出視野,會(huì)導(dǎo)致視覺(jué)伺服失敗.此外,單應(yīng)性矩陣的誤差以及分解為R和te時(shí)產(chǎn)生的誤差,會(huì)導(dǎo)致系統(tǒng)存在穩(wěn)態(tài)誤差.

2.2.2 基于單應(yīng)性矩陣的解耦控制

2007年Benhimane等[32]提出了一種直接利用單應(yīng)性矩陣的解耦視覺(jué)伺服方法.該方法不需要對(duì)單應(yīng)性矩陣進(jìn)行分解,在圖像空間實(shí)現(xiàn)視覺(jué)伺服.利用單應(yīng)性矩陣構(gòu)造了分別描述位移和姿態(tài)誤差的特征,見(jiàn)式(20).基于這些特征設(shè)計(jì)的控制律見(jiàn)式(21),可實(shí)現(xiàn)控制系統(tǒng)的局部穩(wěn)定.2014年P(guān)linval等[33]利用上述方法,實(shí)現(xiàn)了無(wú)人直升機(jī)對(duì)地面目標(biāo)的視覺(jué)跟蹤.2015年Jia等[34]利用上述方法,結(jié)合迭代學(xué)習(xí)控制實(shí)現(xiàn)了工業(yè)機(jī)器人軌跡跟蹤.

當(dāng)相機(jī)到達(dá)期望視點(diǎn)的位姿時(shí),R=I3,te=0,此時(shí)H=I3.由式(20)可知,此時(shí)位移誤差ev=0,姿態(tài)誤差ew=0.這說(shuō)明在穩(wěn)態(tài)時(shí),采用式(20)描述的誤差與實(shí)際相符.

將式(22)中的H代入式(20),得到:

在R=I3,時(shí),解耦后應(yīng)該沒(méi)有旋轉(zhuǎn).但式(23)表明,利用H?HT表征姿態(tài)誤差時(shí),會(huì)導(dǎo)致相機(jī)繞X、Y軸的旋轉(zhuǎn).因此,該方法實(shí)際上并沒(méi)有實(shí)現(xiàn)位置與姿態(tài)的真正解耦,在視覺(jué)伺服過(guò)程中存在姿態(tài)與位置的耦合問(wèn)題,會(huì)導(dǎo)致姿態(tài)控制上有超調(diào).

為解決上述問(wèn)題,2012年Silveira等[35]對(duì)H進(jìn)行了重新定義,令H=A?1GA,G=ARA?1.于是,H與R等價(jià).將式(20)的第1式位置誤差修改為e,此處的是極點(diǎn)的圖像坐標(biāo).

2.2.3 2.5D視覺(jué)伺服

1999年Malis等[2]提出了一種基于單應(yīng)性矩陣的混合視覺(jué)伺服方法,在3D笛卡爾空間進(jìn)行姿態(tài)控制,在2D圖像空間進(jìn)行位置控制.定義了特征點(diǎn)在焦距歸一化成像平面上的擴(kuò)展坐標(biāo),在當(dāng)前視點(diǎn)下的擴(kuò)展坐標(biāo)為,在期望視點(diǎn)下的擴(kuò)展坐標(biāo)為.擴(kuò)展坐標(biāo)用于在圖像空間的位置控制.由單應(yīng)性矩陣H分解出姿態(tài)矩陣R,轉(zhuǎn)換為用于姿態(tài)控制[36].系統(tǒng)的誤差定義為.相機(jī)運(yùn)動(dòng)速度與誤差之間的交互矩陣為

其中,Lev是相機(jī)線(xiàn)速度與擴(kuò)展坐標(biāo)之間的交互矩陣,Lew是相機(jī)角速度與擴(kuò)展坐標(biāo)之間的交互矩陣.

設(shè)計(jì)的控制律為:

顯然,混合視覺(jué)伺服需要獲得兩個(gè)視點(diǎn)之間的姿態(tài)矩陣R.2000年,Malis等[3]介紹了估計(jì)兩個(gè)視點(diǎn)之間位姿的方法,包括8點(diǎn)法估計(jì)基本矩陣、虛擬平面法估計(jì)單應(yīng)性矩陣等.獲得基本矩陣或者單應(yīng)性矩陣后,經(jīng)過(guò)分解獲得姿態(tài)矩陣R.針對(duì)多特征點(diǎn)問(wèn)題,Malis等[37]于2003年給出了輪廓上多特征點(diǎn)的視覺(jué)伺服方法,位置控制部分仍然采用3×3的交互矩陣Lev和Lew,交互矩陣的每個(gè)元素采用單點(diǎn)特征交互矩陣相應(yīng)元素的均值.為解決特征選擇與匹配問(wèn)題,2005年Malis等[38]將視覺(jué)跟蹤和視覺(jué)伺服技術(shù)相結(jié)合,提出了基于模板的視覺(jué)伺服.將ESM(Efficient second-order minimization)算法用于視覺(jué)跟蹤,在幀間偏移量較大的情況下,可以實(shí)現(xiàn)基于模板的跟蹤以及對(duì)單應(yīng)性矩陣的實(shí)時(shí)估計(jì).

2005年 Chen等[39?40]針對(duì) Eye-in-hand和Eye-to-hand視覺(jué)系統(tǒng),采用上述2.5D視覺(jué)伺服方法設(shè)計(jì)了控制系統(tǒng).Chen等分別給出了開(kāi)環(huán)系統(tǒng)和閉環(huán)系統(tǒng),開(kāi)環(huán)系統(tǒng)是攝像機(jī)與目標(biāo)相對(duì)運(yùn)動(dòng)的特性,閉環(huán)系統(tǒng)是增加控制律后的系統(tǒng).利用基于Lyapunov穩(wěn)定性的自適應(yīng)控制策略補(bǔ)償對(duì)象模型未知和深度未知帶來(lái)的影響,實(shí)現(xiàn)了機(jī)器人末端對(duì)笛卡爾空間期望軌跡的有效跟蹤.

2009年,Hu等[41]在相機(jī)的內(nèi)參數(shù)未知情況下,利用消失點(diǎn)計(jì)算出單應(yīng)性矩陣.由于視點(diǎn)到消失點(diǎn)的距離為∞,由式(8)可知,此時(shí)計(jì)算出的單應(yīng)性矩陣就是攝像機(jī)兩個(gè)視點(diǎn)之間的相對(duì)姿態(tài)矩陣.將姿態(tài)表示為四元數(shù)[41?42],設(shè)計(jì)了高增益魯棒控制器用于姿態(tài)控制.設(shè)計(jì)了用于位置控制的自適應(yīng)控制器,針對(duì)未知的深度信息和攝像機(jī)內(nèi)參數(shù)進(jìn)行了補(bǔ)償.

Dixon等[43?44]將單應(yīng)性矩陣H用于移動(dòng)機(jī)器人控制,只考慮移動(dòng)機(jī)器人在平面內(nèi)的2自由度平移和1自由度旋轉(zhuǎn).估計(jì)H后,分解獲得θ和位置偏差.設(shè)計(jì)控制律時(shí),先計(jì)算角速度,然后基于角速度計(jì)算線(xiàn)速度.Lopez-Nicolas等[45]定義了移動(dòng)機(jī)器人的3種路徑,分別為旋轉(zhuǎn)、直線(xiàn)、對(duì)數(shù)螺旋曲線(xiàn)路徑.直接利用單應(yīng)性矩陣的元素,針對(duì)3種路徑設(shè)計(jì)多階段式的控制算法.

基于單應(yīng)性矩陣的2.5D視覺(jué)伺服,單應(yīng)性矩陣的估計(jì)誤差以及分解出R時(shí)產(chǎn)生的誤差,會(huì)導(dǎo)致系統(tǒng)存在穩(wěn)態(tài)誤差.為此,2011年Zhang等[46]不采用單應(yīng)性矩陣,而是在考慮移動(dòng)機(jī)器人的2自由度平移和1自由度旋轉(zhuǎn)的約束情況下,直接估計(jì)旋轉(zhuǎn)角和平移量.然后,旋轉(zhuǎn)采用基于位置的控制,平移采用基于圖像的控制,形成2.5D混合視覺(jué)伺服.

2.3 基于基本矩陣的視覺(jué)伺服

基于基本矩陣的視覺(jué)伺服,利用極線(xiàn)幾何約束形成方程(9),在圖像空間估計(jì)兩個(gè)視點(diǎn)之間的基本矩陣F,然后結(jié)合內(nèi)參數(shù)矩陣計(jì)算本質(zhì)矩陣E.也可以在焦距歸一化成像空間,利用估計(jì)本質(zhì)矩陣E.對(duì)本質(zhì)矩陣E分解獲得旋轉(zhuǎn)矩陣R和平移向量te,用于對(duì)姿態(tài)和位置的控制.

1999年Basri等[47]利用估計(jì)本質(zhì)矩陣E.利用E t=0求解出,然后利用求解帶有比例因子,在的基礎(chǔ)上,利用3個(gè)視點(diǎn)構(gòu)成的直線(xiàn)交比不變性確定出t.由于不可逆,所以采用其第3列,采用E的前兩列叉乘作為第3列,保留和E的前兩列,構(gòu)成新的等式.兩邊乘以的逆,獲得旋轉(zhuǎn)矩陣R.利用獲得的R和t分別控制姿態(tài)和平移,將相機(jī)從當(dāng)前視點(diǎn)運(yùn)動(dòng)到期望視點(diǎn).2009年Sebastian等[48]將式(9)作為約束,引入基于圖像雅可比矩陣的視覺(jué)伺服,提高了視覺(jué)伺服的魯棒性.

基于極線(xiàn)幾何的視覺(jué)方法,在移動(dòng)機(jī)器人的控制中比較常見(jiàn)[49?53].例如,文獻(xiàn)[49]和[50]采用基于極線(xiàn)幾何的方法,設(shè)計(jì)了對(duì)準(zhǔn)、趨近策略,第1步對(duì)準(zhǔn)目標(biāo),第2步接近目標(biāo),實(shí)現(xiàn)了移動(dòng)機(jī)器人對(duì)目標(biāo)的趨近.2013年,Montijano等[52]利用極線(xiàn)幾何約束,實(shí)現(xiàn)了多移動(dòng)機(jī)器人的一致性控制.2014年,Mitic等[53]提出了一種基于演示和極線(xiàn)約束的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法,用于非完整約束移動(dòng)機(jī)器人的視覺(jué)控制.

在視覺(jué)伺服的收斂過(guò)程中,在當(dāng)前圖像與期望圖像比較接近時(shí),極線(xiàn)約束退化.此時(shí),難以準(zhǔn)確估計(jì)兩個(gè)視點(diǎn)之間的位姿[10].

2.4 其他視覺(jué)伺服方法

2002年Andref f等[54]提出了基于線(xiàn)特征的視覺(jué)伺服,實(shí)現(xiàn)了姿態(tài)與位置控制的解耦.直線(xiàn)的方向在3D笛卡爾空間進(jìn)行估計(jì),不同方向直線(xiàn)的交匯點(diǎn)作為特征點(diǎn)用于位置控制.當(dāng)不同方向的直線(xiàn)形成正交三面體(Orthogonal trihedron)時(shí),控制律與深度無(wú)關(guān),控制系統(tǒng)漸近穩(wěn)定.其他情況下,需要采用激光器測(cè)距獲得交匯點(diǎn)的深度信息.交匯點(diǎn)的深度獲取問(wèn)題,限制了該方法的應(yīng)用.

2008年,Wang等[55]提出了分別采用點(diǎn)、線(xiàn)特征的自適應(yīng)視覺(jué)伺服方法.基于相機(jī)透視成像模型和機(jī)器人模型,分別推導(dǎo)了點(diǎn)、線(xiàn)特征的圖像雅可比矩陣,并分別利用其轉(zhuǎn)置將特征偏差轉(zhuǎn)化為關(guān)節(jié)力矩.該方法將深度Z作為公共項(xiàng)從點(diǎn)、線(xiàn)交互矩陣中提出,剩余的交互矩陣不含有深度Z,稱(chēng)為深度無(wú)關(guān)的交互矩陣.利用該方法在3自由度機(jī)械臂上進(jìn)行的實(shí)驗(yàn)中,機(jī)械臂末端位置的變化范圍很小,X、Y、Z方向的變化范圍均為mm級(jí).實(shí)際上,如果不對(duì)深度進(jìn)行估計(jì),則該方法相當(dāng)于采用了固定深度Z=1.在深度變化較大的情況下,視覺(jué)伺服過(guò)程中產(chǎn)生的機(jī)器人末端軌跡會(huì)存在較大波動(dòng).2013年Liu等[56]分別推導(dǎo)了距離、角度、面積、質(zhì)心的圖像雅可比矩陣,但僅利用質(zhì)心坐標(biāo)的交互矩陣進(jìn)行了3自由度機(jī)器人的視覺(jué)伺服實(shí)驗(yàn).利用質(zhì)心的交互矩陣轉(zhuǎn)置,將特征偏差轉(zhuǎn)化為關(guān)節(jié)力矩,控制機(jī)器人的運(yùn)動(dòng).同樣的,深度相當(dāng)于固定值Z=1.

將多種控制器相結(jié)合,有利于發(fā)揮不同視覺(jué)伺服方法的優(yōu)勢(shì).例如,2010年Lopez-Nicolas等[57]的前兩列叉乘作為分別基于兩個(gè)視點(diǎn)之間的單應(yīng)性矩陣和極線(xiàn)幾何設(shè)計(jì)了兩個(gè)控制器,利用開(kāi)關(guān)控制律將這兩個(gè)控制器結(jié)合在一起,可避免基于單應(yīng)性矩陣或極線(xiàn)幾何的單一控制器的不足.

部分研究人員將對(duì)象的CAD模型作為先驗(yàn)知識(shí)用于視覺(jué)伺服[58?62].例如,Marchand等[59]提出了一種基于對(duì)象的2D-3D模型的視覺(jué)跟蹤方法,首先在2D空間對(duì)對(duì)象進(jìn)行跟蹤,然后在3D空間對(duì)對(duì)象進(jìn)行跟蹤.其中,2D空間的跟蹤基于仿射變換,3D空間的跟蹤基于CAD模型匹配[60].2005年Yesin等[61]針對(duì)微裝配,設(shè)計(jì)了基于CAD模型的跟蹤方法.2010年Tamadazte等[62]設(shè)計(jì)了一種基于CAD模型的跟蹤方法,采用點(diǎn)到直線(xiàn)的交互矩陣,實(shí)現(xiàn)了微裝配的視覺(jué)控制.

2011年Dame等[63]提出了一種基于互信息(Mutual information)的視覺(jué)伺服方法,以整幅圖像作為參考,將參考圖像的熵加當(dāng)前圖像的熵減去兩者的聯(lián)合熵定義為互信息特征,推導(dǎo)了互信息特征的交互矩陣.該方法的優(yōu)點(diǎn)是不需要匹配或者跟蹤圖像特征,對(duì)于光照變化魯棒,而且在同一個(gè)任務(wù)中可以有不同的圖像模式.該方法具有較高的精度,但笛卡爾空間的運(yùn)動(dòng)路徑不夠合理,收斂速度較慢.

3 若干關(guān)鍵問(wèn)題

3.1 相機(jī)選擇

常用的相機(jī)類(lèi)型包括透視投影相機(jī)和全景相機(jī)等.透視投影相機(jī)可以采用小孔模型描述,應(yīng)用比較廣泛.在鏡頭畸變較小可以忽略或者經(jīng)過(guò)畸變校正后,透視投影相機(jī)的成像具有下列特點(diǎn):直線(xiàn)的圖像仍然是直線(xiàn),不同視點(diǎn)下具有極線(xiàn)幾何約束.上述特點(diǎn)為點(diǎn)、線(xiàn)特征提取,特別是直線(xiàn)特征提取,帶來(lái)較大的便利.針對(duì)透視投影相機(jī)采集的圖像,提取出特征點(diǎn)后,可以計(jì)算交互矩陣、單應(yīng)性矩陣、基本矩陣等,進(jìn)而用于視覺(jué)伺服.事實(shí)上,前面討論的交互矩陣、單應(yīng)性矩陣、基本矩陣等,都是基于透視投影相機(jī)模型的.可見(jiàn),透視投影相機(jī)適合于對(duì)對(duì)象的視覺(jué)跟蹤,即適合于視覺(jué)伺服.全景相機(jī)可以采用球面模型描述,在移動(dòng)機(jī)器人中應(yīng)用較多.全景相機(jī)由二次曲面反射鏡和透視投影相機(jī)構(gòu)成,二次曲面反射鏡將360度方向的場(chǎng)景反射到透視投影相機(jī),成像后的圖像因尺度壓縮不同而具有很大畸變.全景相機(jī)能夠直接給出對(duì)象的方位,在移動(dòng)機(jī)器人的路徑跟蹤和對(duì)象跟蹤中具有優(yōu)勢(shì)[64?67].例如,2008年Hadj-Abdelkader等[66]針對(duì)中心折返式全景相機(jī),推導(dǎo)出直線(xiàn)特征的交互矩陣,分別實(shí)現(xiàn)了6自由度機(jī)械臂和非完整約束移動(dòng)機(jī)器人的視覺(jué)伺服.2010年Becerra等[67]基于1D的三視張量,實(shí)現(xiàn)了移動(dòng)機(jī)器人的全向視覺(jué)控制.

3.2 特征選擇與誤差表征

視覺(jué)系統(tǒng)的常用特征包括點(diǎn)、直線(xiàn)、圓、面積、矩[67?70]、熵[71]等特征.一般地,點(diǎn)特征的抗干擾能力較差,直線(xiàn)和圓特征的抗干擾能力較強(qiáng),面積和矩特征的抗干擾能力最強(qiáng).在視覺(jué)伺服中,上述特征均有應(yīng)用[72?84].例如,2005年Mahony等[74]利用平行線(xiàn)Plcker坐標(biāo)構(gòu)成圖像特征,實(shí)現(xiàn)了4旋翼無(wú)人機(jī)基于圖像的視覺(jué)伺服.2008年Mahony等[75]采用質(zhì)心和光流特征,實(shí)現(xiàn)了基于動(dòng)態(tài)圖像的視覺(jué)伺服.2010年Lopez-Nicolas等[77]采用三視點(diǎn)張量構(gòu)成交互矩陣,2017年Chen等[78]采用三視點(diǎn)張量估計(jì)方向和帶比例因子的位移,實(shí)現(xiàn)了移動(dòng)機(jī)器人的視覺(jué)伺服.1998年Lane等[80]基于光流進(jìn)行運(yùn)動(dòng)估計(jì)和目標(biāo)識(shí)別,但光流法可有效跟蹤的自由度較少[81].2012年Lin等[21]定義了4個(gè)低階矩不變量,實(shí)現(xiàn)了基于模型的視覺(jué)跟蹤.2013年Zhao等[82]利用改進(jìn)的圖像矩,實(shí)現(xiàn)了6自由度機(jī)器人的基于圖像的視覺(jué)伺服.2011年Fomena等[84]基于球面投影設(shè)計(jì)了一種位置與姿態(tài)分離的視覺(jué)伺服方法.其中,利用3個(gè)點(diǎn)的球面投影的笛卡爾空間距離,構(gòu)成3個(gè)旋轉(zhuǎn)不變量,用于位置控制;利用兩個(gè)點(diǎn)的圖像確定轉(zhuǎn)軸和轉(zhuǎn)角,用于姿態(tài)控制.

雖然點(diǎn)特征的抗干擾能力較差,但點(diǎn)特征既可用于基于交互矩陣的視覺(jué)伺服,又可用于基于單應(yīng)性矩陣和基于基本矩陣的視覺(jué)伺服.點(diǎn)特征用于基于交互矩陣的視覺(jué)伺服時(shí),由多個(gè)點(diǎn)特征計(jì)算點(diǎn)交互矩陣,在圖像空間實(shí)現(xiàn)視覺(jué)伺服.點(diǎn)特征用于基于單應(yīng)性矩陣的視覺(jué)伺服時(shí),利用4個(gè)及以上的點(diǎn)特征計(jì)算單應(yīng)性矩陣H.點(diǎn)特征用于基于基本矩陣的視覺(jué)伺服時(shí),利用8個(gè)及以上的點(diǎn)特征計(jì)算基本矩陣F.H或F分解出姿態(tài)矩陣R和平移向量te后,在笛卡爾空間實(shí)現(xiàn)視覺(jué)伺服.直線(xiàn)、圓、面積、矩等特征僅用于基于交互矩陣的視覺(jué)伺服,分別計(jì)算出其交互矩陣后,在圖像空間實(shí)現(xiàn)視覺(jué)伺服.

選擇的特征不同,對(duì)應(yīng)的誤差表征方式也不同.對(duì)于點(diǎn)特征,其誤差表征方式包括圖像特征偏差、笛卡爾空間偏差、式(20)所示的.值得注意的是,式(20)所示的是作為笛卡爾空間誤差對(duì)待的,但實(shí)際上它們既不屬于笛卡爾空間,也不屬于圖像空間.對(duì)于直線(xiàn)特征,其誤差表征方式為直線(xiàn)在焦距歸一化成像平面上的極坐標(biāo)參數(shù)ρ、θ的偏差.其中,θ的偏差較常用.對(duì)于圓特征,表征誤差的方式為圖像空間橢圓的二元二次方程的系數(shù)偏差,共5個(gè)參數(shù)[16].對(duì)于面積和矩等特征,表征誤差的方式為圖像空間的面積偏差和矩的偏差.在確定了特征以及誤差表征方式后,就確定了是在圖像空間還是在笛卡爾空間設(shè)計(jì)控制律.

部分研究人員采用對(duì)象的整體特征,以避免特征提取與匹配[35,85?87].例如,2011年Collewet等[85]利用所有像素點(diǎn)的亮度作為特征,采用基于交互矩陣的視覺(jué)伺服,實(shí)現(xiàn)了對(duì)目標(biāo)的定位與跟蹤.2012年Silveira等[35]提出了一種直接視覺(jué)伺服方法,利用對(duì)象的像素強(qiáng)度進(jìn)行匹配優(yōu)化,估計(jì)當(dāng)前視點(diǎn)與期望視點(diǎn)之間的投影參數(shù),如含有姿態(tài)的矩陣G=ARA?1和極點(diǎn)等.該方法可避免特征點(diǎn)提取與匹配,提高魯棒性.

3.3 深度估計(jì)

由式(1)可知,點(diǎn)交互矩陣與深度有關(guān),基于點(diǎn)交互矩陣的視覺(jué)伺服需要估計(jì)深度.在相機(jī)的運(yùn)動(dòng)已知的情況下,可以根據(jù)相機(jī)運(yùn)動(dòng)和特征點(diǎn)的變化估計(jì)深度,見(jiàn)式(28).此外,在當(dāng)前視點(diǎn)與期望視點(diǎn)的深度相差不是很大時(shí),可以采用期望視點(diǎn)的深度,見(jiàn)第2.1.1節(jié).

2008年Luca等[88]提出了一種基于狀態(tài)觀(guān)測(cè)器的深度估計(jì)方法.定義狀態(tài)為,輸出為,其中,(u,v)是特征點(diǎn)的圖像坐標(biāo),(u0,v0)是光軸中心點(diǎn)即主點(diǎn)的圖像坐標(biāo).Luca等建立了狀態(tài)方程,設(shè)計(jì)了狀態(tài)觀(guān)測(cè)器.在相機(jī)運(yùn)動(dòng)為非純旋轉(zhuǎn)的情況下,利用觀(guān)測(cè)器可以得到深度Z.但在相機(jī)進(jìn)行純旋轉(zhuǎn)運(yùn)動(dòng)時(shí),不能對(duì)深度進(jìn)行觀(guān)測(cè).2010年Cheah等[89]設(shè)計(jì)了一種基于自適應(yīng)雅可比矩陣的視覺(jué)控制方法,將深度作為機(jī)器人關(guān)節(jié)角的函數(shù),根據(jù)機(jī)器人的關(guān)節(jié)角對(duì)深度信息進(jìn)行估計(jì).該方法將深度與機(jī)器人的關(guān)節(jié)角關(guān)聯(lián),具有較大的局限性.

在基于單應(yīng)性矩陣的2.5D視覺(jué)伺服中,ρ1=Z/d?,ρ2=Z/Z?.ρ2可以利用式 (7)估計(jì),如果期望視點(diǎn)下的Z?和d?已知,則可以計(jì)算出ρ1.在基于基本矩陣的視覺(jué)伺服中,利用兩個(gè)視點(diǎn)的極線(xiàn)幾何估計(jì)出的位置矢量te帶比例因子,給控制帶來(lái)不便.為解決上述問(wèn)題,部分研究人員采用三視幾何方法[47,50].例如,Basri等[47]利用3個(gè)視點(diǎn)構(gòu)成的直線(xiàn)交比不變性確定出t.Becerra等[50]以增加中間輔助視點(diǎn)的方式,將視覺(jué)伺服分為對(duì)準(zhǔn)和趨近目標(biāo)兩步,第1步調(diào)整姿態(tài)和位置從而對(duì)準(zhǔn)目標(biāo),第2步保持姿態(tài)并調(diào)整位置以便趨近目標(biāo).該方法對(duì)相機(jī)的標(biāo)定誤差不靈敏.

部分研究人員采用其他輔助傳感器獲得深度.例如,2009年Xie等[90]采用激光結(jié)構(gòu)光測(cè)距獲得特征的深度信息,將位置控制與姿態(tài)控制分離,設(shè)計(jì)了開(kāi)關(guān)式視覺(jué)伺服方法.該方法包括3個(gè)階段,分別為旋轉(zhuǎn)階段、平移階段和精確對(duì)準(zhǔn)階段.其中,在平移階段,采用矩形的4個(gè)角點(diǎn)和激光光斑作為特征,旋轉(zhuǎn)量設(shè)定為0,采用測(cè)距獲得的深度計(jì)算平移圖像雅可比矩陣,利用基于圖像的視覺(jué)伺服將圖像特征移動(dòng)到期望特征附近.

深度估計(jì)的準(zhǔn)確性對(duì)視覺(jué)伺服的性能具有重要影響.在視覺(jué)伺服中如何有效估計(jì)深度,仍然是亟待解決的問(wèn)題.

3.4 位姿解耦

位置控制與姿態(tài)控制的耦合作用給視覺(jué)伺服系統(tǒng)的性能帶來(lái)不利影響,位姿解耦的目的是消除位置控制與姿態(tài)控制之間的耦合.但實(shí)際上,位置控制與姿態(tài)控制之間的耦合作用是難以消除的.例如,第2.2.1節(jié)的基于位置的視覺(jué)伺服方法,雖然位置控制和姿態(tài)控制在控制律上是解耦的,但在運(yùn)行過(guò)程中,姿態(tài)控制會(huì)對(duì)相機(jī)的位置控制產(chǎn)生影響,姿態(tài)與位置的耦合作用并不能夠消除.在姿態(tài)調(diào)整量較大的情況下,對(duì)象可能出相機(jī)的視野,導(dǎo)致視覺(jué)伺服失敗.類(lèi)似地,第2.2.2節(jié)的解耦控制和第2.2.3節(jié)的2.5D視覺(jué)伺服,也存在上述問(wèn)題.Anh等[30]的分離控制方法,分別選擇表征位置、姿態(tài)的6個(gè)特征,針對(duì)每一個(gè)自由度分別設(shè)計(jì)控制器.這種選擇不同特征的分離控制方法,同樣存在耦合影響問(wèn)題.

另一種思路是在設(shè)計(jì)控制律時(shí)考慮耦合影響.對(duì)于安裝在6自由度工業(yè)機(jī)器人末端的相機(jī),相機(jī)的平移對(duì)表征姿態(tài)的特征不會(huì)產(chǎn)生影響,但相機(jī)的旋轉(zhuǎn)會(huì)對(duì)表征位置的特征產(chǎn)生影響.因此,在設(shè)計(jì)工業(yè)機(jī)器人的視覺(jué)伺服控制律時(shí),可以先設(shè)計(jì)旋轉(zhuǎn)控制律,再設(shè)計(jì)平移控制律,并對(duì)旋轉(zhuǎn)運(yùn)動(dòng)導(dǎo)致的平移在平移控制律中進(jìn)行補(bǔ)償,從而降低旋轉(zhuǎn)對(duì)平移的影響[28,31].對(duì)于安裝在移動(dòng)機(jī)器人上的相機(jī),由于受非完整性約束(Nonholonomic constraints),相機(jī)在垂直于移動(dòng)機(jī)器人前進(jìn)的側(cè)向上不能直接平移,只能結(jié)合旋轉(zhuǎn)運(yùn)動(dòng)才能產(chǎn)生側(cè)向移動(dòng),平移與旋轉(zhuǎn)的耦合更加緊密.因此,在設(shè)計(jì)移動(dòng)機(jī)器人的視覺(jué)伺服控制律時(shí),往往先設(shè)計(jì)旋轉(zhuǎn)控制律,再結(jié)合旋轉(zhuǎn)角速度設(shè)計(jì)平移控制律[51].文獻(xiàn)[49]和[50]將移動(dòng)機(jī)器人的視覺(jué)伺服分為兩個(gè)階段,第1階段為對(duì)準(zhǔn),通過(guò)旋轉(zhuǎn)運(yùn)動(dòng)使得移動(dòng)機(jī)器人正對(duì)著被跟蹤對(duì)象;第2階段為趨近,通過(guò)向前平移運(yùn)動(dòng)使得移動(dòng)機(jī)器人接近被跟蹤對(duì)象.在設(shè)計(jì)控制律時(shí),結(jié)合運(yùn)動(dòng)機(jī)構(gòu)的特性,考慮姿態(tài)控制與位置控制的耦合作用,對(duì)于改善視覺(jué)伺服系統(tǒng)的性能具有重要作用.但也有研究人員給定移動(dòng)機(jī)器人的前進(jìn)速度,然后只設(shè)計(jì)移動(dòng)機(jī)器人的旋轉(zhuǎn)控制律.例如,2011年Cherubini等[91]設(shè)定非完整約束移動(dòng)機(jī)器人以恒速運(yùn)動(dòng),分別采用基于姿態(tài)和基于圖像的視覺(jué)伺服方法,計(jì)算出移動(dòng)機(jī)器人的角速度,實(shí)現(xiàn)對(duì)路徑的趨近與跟蹤.

3.5 系統(tǒng)穩(wěn)定性與目標(biāo)丟失

理論上,基于圖像的視覺(jué)伺服系統(tǒng),能夠?qū)崿F(xiàn)局部穩(wěn)定;基于位置的視覺(jué)伺服系統(tǒng),能夠?qū)崿F(xiàn)全局漸近穩(wěn)定[92].對(duì)于基于位置的視覺(jué)伺服系統(tǒng),只要被跟蹤對(duì)象處于相機(jī)視野內(nèi),且獲得的相機(jī)當(dāng)前位姿正確,則通過(guò)合理選擇控制參數(shù)能夠保證系統(tǒng)的穩(wěn)定性[93].對(duì)于基于圖像的視覺(jué)伺服系統(tǒng),在采用點(diǎn)特征時(shí),存在多解問(wèn)題和交互矩陣奇異問(wèn)題.由PnP(Perspective-n-point)問(wèn)題可知,對(duì)于1組特征點(diǎn)的圖像坐標(biāo),相機(jī)可能有多個(gè)對(duì)應(yīng)視點(diǎn),即存在多解.如果不對(duì)笛卡爾空間的特征點(diǎn)進(jìn)行約束,即使有無(wú)窮多個(gè)特征點(diǎn),也會(huì)存在多解問(wèn)題[94].多解問(wèn)題對(duì)于控制非常不利,會(huì)導(dǎo)致出現(xiàn)較大的波動(dòng).如果4個(gè)可區(qū)分的特征點(diǎn)共面且其中任意3個(gè)特征點(diǎn)不共線(xiàn),則PnP問(wèn)題具有唯一解.因此,對(duì)于基于點(diǎn)交互矩陣的視覺(jué)伺服,需要選擇至少4個(gè)共面特征點(diǎn),且需要滿(mǎn)足4個(gè)共面特征點(diǎn)中任意3個(gè)特征點(diǎn)不共線(xiàn).在交互矩陣的秩小于6時(shí),可以增加補(bǔ)償項(xiàng),避免出現(xiàn)相機(jī)速度過(guò)高現(xiàn)象.

無(wú)論基于圖像的視覺(jué)伺服還是基于位置的視覺(jué)伺服,都存在目標(biāo)丟失問(wèn)題.一旦被跟蹤對(duì)象從相機(jī)的視野中丟失,則導(dǎo)致視覺(jué)伺服失敗.為解決目標(biāo)丟失問(wèn)題,研究人員提出了一系列策略[95?106].最簡(jiǎn)單的方法是對(duì)旋轉(zhuǎn)量進(jìn)行限制,例如2007年Metni等[95]為了保證對(duì)象不出相機(jī)的視野,將每一次的旋轉(zhuǎn)角度限定到很小的范圍內(nèi).另一種策略是采用開(kāi)關(guān)式方法避免目標(biāo)丟失[96?97].例如,2004年Chesi等[96]設(shè)計(jì)了一種開(kāi)關(guān)式方法,使得圖像特征在視覺(jué)伺服過(guò)程中保持在相機(jī)的視野內(nèi).2005年Deng等[97]提出了一種混合運(yùn)動(dòng)控制策略,利用開(kāi)關(guān)控制切換基于位置的視覺(jué)伺服和基于圖像的視覺(jué)伺服,以避免圖像奇異與局部極小.將對(duì)象在相機(jī)視野內(nèi)作為約束,對(duì)相機(jī)路徑進(jìn)行規(guī)劃或者優(yōu)化,是避免目標(biāo)丟失的一類(lèi)有效方法[98?103].例如,2003年Mezouar等[98]對(duì)基于圖像的視覺(jué)伺服的相機(jī)3D軌跡進(jìn)行優(yōu)化,在優(yōu)化中引入對(duì)象處于相機(jī)視野內(nèi)以及機(jī)械臂的關(guān)節(jié)限位等約束,以避免目標(biāo)丟失和關(guān)節(jié)限位導(dǎo)致的視覺(jué)伺服失敗.2003年Kragic等[99]提出對(duì)視覺(jué)線(xiàn)索投票的方法,以提高視覺(jué)伺服的魯棒性.2014年Ibarguren等[100]在獲得圖像特征后經(jīng)粒子濾波估計(jì)位姿,采用基于位置的視覺(jué)伺服,提高系統(tǒng)的魯棒性.2004年Chesi等[101]以目標(biāo)為中心設(shè)定圓弧,控制相機(jī)在圓弧上運(yùn)動(dòng),保證目標(biāo)處于相機(jī)的視野中.2005年Cowan等[102]認(rèn)為可視特征集及其圖像是微分流形,而且是全局微分同胚的,可采用微分同胚在全局范圍內(nèi)保持圖像特征在相機(jī)視野內(nèi).2006年Schramm等[103]利用兩個(gè)視點(diǎn)的多個(gè)匹配點(diǎn)特征的圖像坐標(biāo),計(jì)算出G=A?1RA和.對(duì)G進(jìn)行特征值分解獲得轉(zhuǎn)角θ和矢量,對(duì)θ插值得到,進(jìn)而獲得中間插值的姿態(tài)Ri.對(duì)插值獲得,即獲得中間插值的位置.利用插值進(jìn)行路徑規(guī)劃,可以細(xì)分姿態(tài)變化,保證對(duì)象的特征處于相機(jī)視野內(nèi).上述運(yùn)動(dòng)規(guī)劃方法以及限制旋轉(zhuǎn)角的方法,存在的不足之處是明顯降低了視覺(jué)伺服的收斂速度.采用學(xué)習(xí)或者自適應(yīng)策略,也是解決目標(biāo)丟失的有效途徑[104?106].例如,2010年Wang等[104]針對(duì)移動(dòng)機(jī)器人,提出了一種基于圖像的視覺(jué)伺服與Q學(xué)習(xí)相結(jié)合的方法,通過(guò)Q學(xué)習(xí)確定機(jī)器人的行為,使得視覺(jué)特征保持在相機(jī)的視野內(nèi).2011年Gans等[105]采用欠定任務(wù)函數(shù)調(diào)節(jié)圖像特征的均值與方差,通過(guò)調(diào)整任務(wù)函數(shù)以保持特征點(diǎn)處于相機(jī)的視野內(nèi).2012年,Fang等[106]針對(duì)移動(dòng)機(jī)器人提出了一種自適應(yīng)主動(dòng)視覺(jué)伺服方法.在移動(dòng)機(jī)器人運(yùn)動(dòng)時(shí),攝像機(jī)旋轉(zhuǎn)使得被觀(guān)測(cè)點(diǎn)位于圖像中心.該方法采用單應(yīng)性矩陣估計(jì)移動(dòng)機(jī)器人與目標(biāo)之間的位姿.在攝像機(jī)的內(nèi)參數(shù)經(jīng)過(guò)預(yù)先標(biāo)定的情況下,推導(dǎo)出了攝像機(jī)旋轉(zhuǎn)速度與圖像特征偏差、移動(dòng)機(jī)器人角速度之間的關(guān)系.該方法能夠保證移動(dòng)機(jī)器人運(yùn)動(dòng)過(guò)程中目標(biāo)始終處于相機(jī)的視野內(nèi).

此外,由式(1)可知,平移產(chǎn)生的特征點(diǎn)圖像特征變化較小,旋轉(zhuǎn)產(chǎn)生的特征點(diǎn)圖像特征變化較大,特別是繞X、Y軸的旋轉(zhuǎn)引起的特征點(diǎn)圖像特征變化最大.一般地,平移不會(huì)導(dǎo)致目標(biāo)丟失,旋轉(zhuǎn)后進(jìn)行平移補(bǔ)償可以使得目標(biāo)保持在相機(jī)視野內(nèi).

3.6 系統(tǒng)標(biāo)定

如果采用的特征處在相機(jī)的焦距歸一化成像平面上,例如前述特征m,則需要對(duì)相機(jī)的內(nèi)參數(shù)進(jìn)行標(biāo)定.相機(jī)的內(nèi)參數(shù)經(jīng)過(guò)預(yù)先標(biāo)定后,利用特征點(diǎn)的圖像坐標(biāo)和相機(jī)內(nèi)參數(shù),可以計(jì)算出特征點(diǎn)在焦距歸一化成像平面上位置矢量m.如果采用圖像平面的特征,則相機(jī)的內(nèi)參數(shù)需要包含在交互矩陣內(nèi),同樣需要對(duì)相機(jī)的內(nèi)參數(shù)進(jìn)行標(biāo)定.例如,文獻(xiàn)[88]采用點(diǎn)的圖像坐標(biāo)作為特征,在交互矩陣中包含了放大系數(shù)k和主點(diǎn)圖像坐標(biāo)(u0,v0).除了交互矩陣之外,在獲取式(7)所示的單應(yīng)性矩陣或者式(10)所示的基本矩陣時(shí),均需要相機(jī)的內(nèi)參數(shù).可見(jiàn),無(wú)論是基于交互矩陣的視覺(jué)伺服,還是基于單應(yīng)性矩陣、基本矩陣的視覺(jué)伺服,都需要對(duì)相機(jī)的內(nèi)參數(shù)進(jìn)行標(biāo)定.相機(jī)的內(nèi)參數(shù)一般采用預(yù)先標(biāo)定的方式.基于圖像的視覺(jué)伺服,對(duì)相機(jī)內(nèi)參數(shù)的誤差不靈敏,只需要對(duì)相機(jī)內(nèi)參數(shù)粗略標(biāo)定即可.基于位置的視覺(jué)伺服,例如第2.2節(jié)和第2.3節(jié)中的視覺(jué)伺服方法,分別需要從單應(yīng)性矩陣H或者本質(zhì)矩陣E中分解出旋轉(zhuǎn)變換矩陣R和位移矢量需要獲得準(zhǔn)確的H或者E,從而需要準(zhǔn)確的相機(jī)內(nèi)參數(shù).

前述視覺(jué)伺服的控制律,大部分是針對(duì)相機(jī)坐標(biāo)系給出的.裝載相機(jī)的運(yùn)動(dòng)機(jī)構(gòu)的坐標(biāo)系,往往與相機(jī)的坐標(biāo)系不同,這就需要標(biāo)定兩者之間的關(guān)系,即進(jìn)行外參數(shù)的標(biāo)定.通常,為了提高使用的方便性,在安裝相機(jī)時(shí)使得相機(jī)坐標(biāo)系與運(yùn)動(dòng)機(jī)構(gòu)坐標(biāo)系的坐標(biāo)軸平行,以避免外參數(shù)的標(biāo)定.

為了克服相機(jī)參數(shù)標(biāo)定帶來(lái)的不便,大量研究人員致力于研究無(wú)標(biāo)定或者在線(xiàn)標(biāo)定視覺(jué)伺服方法[107?117]. 例如,Piepmeier 等[109?110]提出了一種無(wú)標(biāo)定視覺(jué)伺服方法,利用Broyden法[111]或牛頓法在線(xiàn)估計(jì)圖像雅可比矩陣,實(shí)現(xiàn)了Eye-in-hand視覺(jué)系統(tǒng)的視覺(jué)伺服.2003年Shen等[112]針對(duì)無(wú)標(biāo)定的Eye-to-hand視覺(jué)系統(tǒng),在線(xiàn)估計(jì)視覺(jué)系統(tǒng)的旋轉(zhuǎn)變換矩陣.2006年,Liu等[113]提出了無(wú)標(biāo)定視覺(jué)伺服方法,采用結(jié)合Slotine-Li方法的自適應(yīng)算法,在線(xiàn)最小化特征點(diǎn)在投影平面的誤差,實(shí)現(xiàn)了機(jī)器人對(duì)平面上點(diǎn)特征的跟蹤.2017年,Zhang等[114]提出了一種無(wú)標(biāo)定視覺(jué)伺服方法,用于移動(dòng)機(jī)器人的控制.該方法分為兩個(gè)階段,第1階段采用自適應(yīng)速度控制器,將角度誤差和側(cè)向位置誤差調(diào)整到零附近;第2階段采用比例控制器調(diào)整縱向位置誤差.2004年Malis[116]提出了一種不依賴(lài)于相機(jī)內(nèi)參數(shù)的視覺(jué)伺服方法,采用3個(gè)空間點(diǎn)圖像坐標(biāo)組成的矩陣的逆與圖像點(diǎn)坐標(biāo)構(gòu)成針對(duì)攝像機(jī)內(nèi)參數(shù)的不變性變量,利用不變性變量實(shí)現(xiàn)了視覺(jué)伺服.2011年Kosmopoulos[117]將小工作空間內(nèi)的雅可比矩陣看作是常數(shù),通過(guò)離線(xiàn)標(biāo)定獲得.由于上述方法做了許多假設(shè),所以其在實(shí)際應(yīng)用中受到限制.

4 典型應(yīng)用與未來(lái)趨勢(shì)

4.1 典型應(yīng)用

視覺(jué)伺服具有廣泛的應(yīng)用前景,近年來(lái)在工業(yè)、農(nóng)業(yè)、交通、航空航天、醫(yī)療等眾多領(lǐng)域均有視覺(jué)伺服應(yīng)用的報(bào)道.視覺(jué)伺服在工業(yè)領(lǐng)域的應(yīng)用極其廣泛[118?120].例如,1998年Horaud等[118]將基于交互矩陣的視覺(jué)伺服用于機(jī)器人的趨近抓取.2000年Xiao等[119]針對(duì)Eye-to-hand視覺(jué)系統(tǒng),采用基于交互矩陣的視覺(jué)伺服控制目標(biāo)的線(xiàn)速度,實(shí)現(xiàn)了工業(yè)機(jī)器人力位混合控制.2007年Lippiello等[120]采用混合視覺(jué)系統(tǒng),在由多臺(tái)工業(yè)機(jī)器人構(gòu)成的制造單元中實(shí)現(xiàn)了基于位置的視覺(jué)伺服.

除了在工業(yè)領(lǐng)域的應(yīng)用之外,視覺(jué)伺服在微裝配領(lǐng)域的應(yīng)用也很廣泛,常用于操作手或微零件的趨近和對(duì)準(zhǔn)控制等[121?126].例如,2000年Ralis等[123]采用由粗到精的視覺(jué)伺服策略,在不考慮Z方向平移的情況下,利用基于交互矩陣的視覺(jué)伺服,實(shí)現(xiàn)了微裝配系統(tǒng)的精確定位.2004年Ferreira等[124]提出了一種基于視覺(jué)伺服和虛擬現(xiàn)實(shí)的自動(dòng)微裝配系統(tǒng),采用基于推動(dòng)的微操作策略,利用基于位置的視覺(jué)伺服實(shí)現(xiàn)硅片的軌跡跟蹤,將硅片運(yùn)動(dòng)到期望位置和姿態(tài);采用基于視覺(jué)的力傳感方法,實(shí)現(xiàn)微夾鉗的微夾持力控制.2008年Wang等[125]采用基于圖像矩的視覺(jué)伺服,實(shí)現(xiàn)了微軸孔的裝配.2008年Wang等[126]采用基于位置的視覺(jué)伺服控制,實(shí)現(xiàn)了微零件的自動(dòng)裝配.

視覺(jué)伺服也常用于生物醫(yī)學(xué)領(lǐng)域的微操作,用于注射針對(duì)細(xì)胞或胚胎的對(duì)準(zhǔn)[127?131].例如,2002年Sun等[128]將視覺(jué)伺服用于生物醫(yī)學(xué)領(lǐng)域,利用自主微機(jī)器人系統(tǒng)實(shí)現(xiàn)了生物細(xì)胞注射.2009年Zhang等[129]采用基于位置的視覺(jué)伺服控制,實(shí)現(xiàn)了注射針對(duì)細(xì)胞的趨近與注射.2009年Sakaki等[130]采用基于圖像的視覺(jué)伺服,利用5自由度機(jī)械臂實(shí)現(xiàn)了對(duì)細(xì)胞的定位和注射.2017年,Zhuang等[131]將視覺(jué)伺服用于斑馬魚(yú)幼體心臟微注射系統(tǒng).

視覺(jué)伺服在醫(yī)療機(jī)器人領(lǐng)域的應(yīng)用也比較常見(jiàn),常用于對(duì)組織的定位與跟蹤[132?134].例如,1997年Wei等[132]將視覺(jué)伺服用于腹腔鏡膽囊切除術(shù),根據(jù)圖像坐標(biāo)確定機(jī)器人的運(yùn)動(dòng)方向,實(shí)現(xiàn)了運(yùn)動(dòng)方向解耦.2003年Krupa等[133]基于交比不變性估計(jì)激光指向儀器與人體組織之間的距離.基于運(yùn)動(dòng)標(biāo)定獲得的圖像雅可比矩陣,對(duì)2個(gè)旋轉(zhuǎn)自由度和沿Z方向的平移自由度進(jìn)行估計(jì).結(jié)合圖像特征的坐標(biāo)和深度信息,實(shí)現(xiàn)儀器對(duì)指向的人體組織的定位.使用過(guò)程中,該指向儀器根據(jù)圖像特征誤差,利用視覺(jué)伺服算法實(shí)現(xiàn)在圖像平面內(nèi)的跟蹤與對(duì)準(zhǔn).2002年Abolmaesumi等[134]將超聲探頭加裝在機(jī)器人上,以超聲圖像中的探針為特征,利用圖像雅可比矩陣建立探針圖像特征變化與機(jī)器人運(yùn)動(dòng)之間的關(guān)系,采用基于圖像的視覺(jué)伺服,實(shí)現(xiàn)了對(duì)探針跟蹤頸動(dòng)脈的有效控制.

基于圖像的視覺(jué)伺服常用于無(wú)人機(jī)控制中,用于目標(biāo)跟蹤以及自主降落等[135?145].例如,2006年Mejias等[140]基于Kalman濾波在圖像空間跟蹤目標(biāo),實(shí)現(xiàn)自主直升機(jī)在城區(qū)的視覺(jué)伺服.2008年Guenard等[141]以4點(diǎn)構(gòu)成的靶標(biāo)質(zhì)心為特征,采用基于圖像的視覺(jué)伺服,實(shí)現(xiàn)了4旋翼無(wú)人機(jī)相對(duì)于靶標(biāo)的懸?？刂?2009年Bourquardez等[142]針對(duì)4旋翼無(wú)人機(jī),采用基于圖像的視覺(jué)伺服,實(shí)現(xiàn)了無(wú)人機(jī)的平移運(yùn)動(dòng)控制.2017年,Xie等[143]提出了一種輸入飽和的基于圖像視覺(jué)伺服方法,采用內(nèi)環(huán)控制無(wú)人機(jī)的高度,外環(huán)控制無(wú)人機(jī)的側(cè)向速度和偏航速度.2012年Mahony等[144]撰寫(xiě)了關(guān)于多旋翼無(wú)人機(jī)控制的教程,認(rèn)為未來(lái)無(wú)人機(jī)基于視覺(jué)的感知與控制包括兩種方法,分別為SLAM方法和基于圖像雅可比矩陣的視覺(jué)伺服方法.基于位置的視覺(jué)伺服在無(wú)人機(jī)控制中也有應(yīng)用.例如,2014年P(guān)linval等[33]利用基于單應(yīng)性矩陣的解耦控制方法,實(shí)現(xiàn)了無(wú)人直升機(jī)對(duì)地面目標(biāo)的視覺(jué)跟蹤.

此外,2002年Marchand等[146]將視覺(jué)伺服應(yīng)用于虛擬現(xiàn)實(shí).2003年Gracias等[147]將視覺(jué)伺服用于水下機(jī)器人,基于單應(yīng)性估計(jì)機(jī)器人的位姿,創(chuàng)建基于馬賽克(Mosaic-based)的海底地圖;利用創(chuàng)建的海底地圖進(jìn)行導(dǎo)航,采用基于圖像雅可比矩陣的視覺(jué)伺服實(shí)現(xiàn)對(duì)規(guī)劃路徑的跟蹤.2014年Mehta等[148]將視覺(jué)伺服用于柑橘收獲機(jī)器人,采用視覺(jué)伺服控制機(jī)器人的作業(yè),其姿態(tài)采用基于位置的控制,位置采用基于圖像的控制.2015年Mehta等[149]將視覺(jué)伺服用于導(dǎo)彈制導(dǎo),通過(guò)單應(yīng)性矩陣計(jì)算出目標(biāo)在導(dǎo)彈坐標(biāo)系中的位置,以及坐標(biāo)系之間的姿態(tài)矩陣.2015年Cai等[150]提出了基于模板匹配的視覺(jué)伺服,用于空間系留機(jī)器人對(duì)非合作目標(biāo)的跟蹤.2017年,Wang等[151]針對(duì)具有內(nèi)窺鏡視覺(jué)反饋的軟體機(jī)器人,基于分段常曲率假設(shè)設(shè)計(jì)了一種自適應(yīng)視覺(jué)伺服方法.基于圖像特征對(duì)機(jī)器人操作器實(shí)際長(zhǎng)度和目標(biāo)位置進(jìn)行在線(xiàn)估計(jì),消除軟體機(jī)器人不確定性的影響.

4.2 未來(lái)趨勢(shì)

傳統(tǒng)的視覺(jué)伺服并未考慮路徑合理性與約束問(wèn)題.例如,基于圖像的視覺(jué)伺服,雖然在圖像空間相機(jī)的軌跡是合理的,但在3D空間相機(jī)的軌跡不盡合理,在偏移較大時(shí)會(huì)導(dǎo)致伺服失敗.為此,研究人員對(duì)相機(jī)的運(yùn)動(dòng)軌跡進(jìn)行路徑規(guī)劃[98,152?160].例如,2003年Mezouar等[98]針對(duì)基于圖像的視覺(jué)伺服,在生成的期望軌跡上引入約束,包括對(duì)象處于相機(jī)視野內(nèi)以及機(jī)械臂的關(guān)節(jié)限位等,進(jìn)而對(duì)相機(jī)運(yùn)動(dòng)軌跡進(jìn)行優(yōu)化,以避免視覺(jué)伺服失敗.2005年P(guān)omares等[152]提出基于運(yùn)動(dòng)流的視覺(jué)伺服,用于軌跡跟蹤時(shí)在圖像空間和笛卡爾空間產(chǎn)生正確的行為.2007年Chesi等[153]考慮工業(yè)機(jī)器人視覺(jué)伺服中的約束問(wèn)題,包括可視性、工作空間(含避障等)、關(guān)節(jié)限位等,建立了包含跨圖像區(qū)域、軌跡長(zhǎng)度和曲率的目標(biāo)函數(shù),通過(guò)優(yōu)化獲得視覺(jué)伺服的全局路徑[154].2009年Gracia等[155]在視覺(jué)伺服中考慮濾波、視覺(jué)系統(tǒng)時(shí)延等因素.2009年Fontanelli等[156]通過(guò)建立擴(kuò)展視覺(jué)地圖,存儲(chǔ)一系列圖像、搜索相位、拓?fù)渑c空間信息的轉(zhuǎn)換關(guān)系、連通性、可行路徑等信息,采用視覺(jué)伺服實(shí)現(xiàn)了移動(dòng)機(jī)器人在大場(chǎng)景中的自主導(dǎo)航.為提高視覺(jué)伺服的魯棒性,2013年Kazemi等[157]提出了一種隨機(jī)全動(dòng)態(tài)路徑規(guī)劃方法.該方法考慮相機(jī)動(dòng)態(tài)、圖像臨界集和物理約束,生成連續(xù)可微的相機(jī)軌跡.通過(guò)迭代擴(kuò)展搜索樹(shù)并跟蹤機(jī)器人空間中的軌跡,搜索相機(jī)的狀態(tài)空間尋找可行軌跡.相機(jī)軌跡投影到圖像空間生成期望的圖像軌跡,用于基于圖像的視覺(jué)伺服.2010年Tahri等[158]采用ESM優(yōu)化圖像雅可比矩陣的偽逆,減小估計(jì)誤差,提高視覺(jué)伺服系統(tǒng)的性能.2016年,Gao等[160]提出了一種多層次模型預(yù)測(cè)的基于圖像的視覺(jué)伺服方法,用于水下機(jī)器人的控制.外環(huán)利用非線(xiàn)性模型預(yù)測(cè)控制器生成期望速度,在可視性和速度約束下對(duì)預(yù)測(cè)的圖像軌跡進(jìn)行優(yōu)化.在動(dòng)態(tài)速度跟蹤內(nèi)環(huán),設(shè)計(jì)了基于神經(jīng)網(wǎng)絡(luò)的模型參考自適應(yīng)控制器,用于在具有不確定性的情況下保證速度跟蹤誤差的收斂性.考慮笛卡爾空間相機(jī)路徑的合理性與運(yùn)動(dòng)機(jī)構(gòu)約束問(wèn)題,利用優(yōu)化方法對(duì)相機(jī)路徑進(jìn)行規(guī)劃,是視覺(jué)伺服未來(lái)的重要發(fā)展方向之一.

學(xué)習(xí)能力對(duì)提高視覺(jué)伺服系統(tǒng)性能具有重要幫助,因此,大量研究人員致力于對(duì)視覺(jué)伺服系統(tǒng)賦予學(xué)習(xí)能力[161?165].例如,2008年Zhao等[161]提出了一種基于外觀(guān)特征的機(jī)器人視覺(jué)伺服方法,利用小波神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像雅可比矩陣功能.2013年Miljkovic等[162]將基于神經(jīng)網(wǎng)絡(luò)的增強(qiáng)學(xué)習(xí)引入工業(yè)機(jī)器人的視覺(jué)伺服,建立了表示學(xué)習(xí)樣本的數(shù)據(jù)庫(kù),用于加速神經(jīng)網(wǎng)絡(luò)的收斂速度并實(shí)時(shí)學(xué)習(xí)機(jī)器人的行為.為保證特征的可視性,視覺(jué)伺服分為兩步,第1步中的機(jī)器人對(duì)準(zhǔn)行為采用神經(jīng)網(wǎng)絡(luò)增強(qiáng)學(xué)習(xí)控制器實(shí)現(xiàn),第2步中的趨近行為采用開(kāi)關(guān)控制在傳統(tǒng)的基于圖像的視覺(jué)伺服和神經(jīng)網(wǎng)絡(luò)增強(qiáng)學(xué)習(xí)之間切換實(shí)現(xiàn).2015年Sadeghzadeh等[163]將自學(xué)習(xí)引入視覺(jué)伺服,利用模糊神經(jīng)網(wǎng)絡(luò)和Q學(xué)習(xí)實(shí)現(xiàn)了機(jī)械臂的視覺(jué)伺服.2018年,Shi等[164]提出了高度與速度解耦的視覺(jué)伺服控制方法,利用模糊Q學(xué)習(xí)實(shí)現(xiàn)對(duì)無(wú)人機(jī)控制增益的調(diào)節(jié).2015年Zhao等[165]利用兩個(gè)神經(jīng)網(wǎng)絡(luò),解耦計(jì)算繞X、Y軸旋轉(zhuǎn)的圖像矩,可避免機(jī)械臂視覺(jué)伺服中的奇異問(wèn)題.此外,示教編程是指示教者在相機(jī)前演示期望的動(dòng)作,由機(jī)器人跟蹤并重現(xiàn)這些動(dòng)作.示教編程是機(jī)器人模仿人的過(guò)程,屬于模仿學(xué)習(xí).2007年Jiang等[166]認(rèn)為機(jī)器人的模仿過(guò)程是在圖像平面的具有未知時(shí)變圖像雅可比矩陣的離散跟蹤控制問(wèn)題.采用一系列神經(jīng)網(wǎng)絡(luò)逼近演示軌跡采樣點(diǎn)處的未知圖像雅可比矩陣,局部網(wǎng)絡(luò)的時(shí)變權(quán)重通過(guò)重復(fù)跟蹤即間接迭代學(xué)習(xí)控制(Indirect iterative learning control)進(jìn)行識(shí)別.如何結(jié)合機(jī)器學(xué)習(xí)的最新研究成果,提高視覺(jué)伺服系統(tǒng)的學(xué)習(xí)能力,大幅度改善視覺(jué)伺服系統(tǒng)的適應(yīng)能力,將是視覺(jué)伺服未來(lái)的重要發(fā)展方向之一.

在視覺(jué)伺服的實(shí)際應(yīng)用中,往往存在大量的先驗(yàn)知識(shí),將這些先驗(yàn)知識(shí)結(jié)合到視覺(jué)伺服中,有利于更好地完成跟蹤、趨近等任務(wù)[167?169].例如,2007年Mansard等[167]將一個(gè)任務(wù)分解為多個(gè)子任務(wù),然后采用基于交互矩陣的視覺(jué)伺服分別進(jìn)行控制,降低了完成任務(wù)的難度.2014年Larouche等[168]利用EKF(Extended Kalman filter)估計(jì)目標(biāo)的運(yùn)動(dòng)狀態(tài),利用視覺(jué)伺服和運(yùn)動(dòng)預(yù)測(cè)控制,實(shí)現(xiàn)了機(jī)械臂對(duì)非合作目標(biāo)的捕獲.2015年Tsai等[169]提出了一種混合開(kāi)關(guān)反應(yīng)式視覺(jué)伺服,用于5自由度機(jī)械臂的拾取和擺放任務(wù).先驗(yàn)知識(shí)的加入,可以有效避免視覺(jué)伺服失敗,有利于改進(jìn)運(yùn)動(dòng)靈活性.例如,由于移動(dòng)機(jī)器人受到非限定性約束,沿垂直于驅(qū)動(dòng)輪的水平方向不能直接平移.在需要沿垂直于驅(qū)動(dòng)輪的水平方向平移時(shí),需要結(jié)合旋轉(zhuǎn)運(yùn)動(dòng).采用類(lèi)似于車(chē)輛變換車(chē)道的方式,在旋轉(zhuǎn)運(yùn)動(dòng)后進(jìn)行適當(dāng)?shù)姆聪蛐D(zhuǎn),可以在旋轉(zhuǎn)后使得對(duì)象在相機(jī)視野內(nèi).如果在旋轉(zhuǎn)后對(duì)象移出相機(jī)的視野,那么適當(dāng)?shù)姆聪蛐D(zhuǎn)能夠使得對(duì)象重新回到相機(jī)的視野內(nèi),降低了對(duì)旋轉(zhuǎn)運(yùn)動(dòng)量的限制.因此,如何充分利用先驗(yàn)知識(shí),提高運(yùn)動(dòng)的靈活性,提高系統(tǒng)應(yīng)用的方便性,是視覺(jué)伺服未來(lái)的重要發(fā)展方向之一.

網(wǎng)絡(luò)化有利于對(duì)計(jì)算能力的大幅度提升,將復(fù)雜的計(jì)算放在云端,可以極大地簡(jiǎn)化本地控制系統(tǒng)[170].例如,2013年Wu等[170]提出基于云的網(wǎng)絡(luò)化視覺(jué)伺服,采用網(wǎng)絡(luò)化的3D計(jì)算,提高了分布計(jì)算能力.因此,基于網(wǎng)絡(luò)化的視覺(jué)伺服也是未來(lái)發(fā)展趨勢(shì)之一.

5 結(jié)論

為了更好地體現(xiàn)不同的視覺(jué)伺服方法的特點(diǎn),本文針對(duì)單目視覺(jué)系統(tǒng),介紹了視覺(jué)伺服的運(yùn)動(dòng)映射關(guān)系,結(jié)合誤差表征介紹了視覺(jué)伺服的控制律設(shè)計(jì).對(duì)影響視覺(jué)伺服的關(guān)鍵因素,例如相機(jī)選擇、特征選擇、誤差表征、深度估計(jì)、位姿解耦、目標(biāo)保持、相機(jī)標(biāo)定等,分別進(jìn)行了分析和論述.最后,給出了視覺(jué)伺服在微裝配、醫(yī)療機(jī)器人和無(wú)人機(jī)等不同領(lǐng)域的典型應(yīng)用,并指出了視覺(jué)伺服未來(lái)的主要發(fā)展方向.