楊月全， 秦瑞康， 李福東， 曹志強(qiáng)， 季 濤， 張?zhí)炱?/p>

(1.揚(yáng)州大學(xué) 信息工程學(xué)院 江蘇 揚(yáng)州 225009； 2.中科院自動(dòng)化研究所 復(fù)雜系統(tǒng)管理與控制國家重點(diǎn)實(shí)驗(yàn)室 北京 100190)

0 引言

自從機(jī)器人誕生以來，其應(yīng)用之初主要在工業(yè)制造領(lǐng)域, 后逐漸擴(kuò)大至軍事、航天、醫(yī)療、娛樂、生活等領(lǐng)域[1-8]．傳統(tǒng)的機(jī)器人控制一般使用示教再現(xiàn)方式，這種方法精度很高，但缺乏靈活性．后來將CCD像機(jī)用到機(jī)器人上，帶有視覺功能的機(jī)器人技術(shù)成為研究熱點(diǎn)．最初是一種“看后走”方法，該方法首先對(duì)物體進(jìn)行特征提取，計(jì)算出像機(jī)坐標(biāo)系下物體的位姿信息，通過正向運(yùn)動(dòng)學(xué)得出期望位姿；然后根據(jù)期望位姿通過解逆運(yùn)動(dòng)學(xué)來求解相應(yīng)的期望關(guān)節(jié)向量．這種方法只能運(yùn)用于靜止物體，而且進(jìn)度受多方面影響，如標(biāo)定精度、機(jī)器人結(jié)構(gòu)參數(shù)等．為了提高任務(wù)精度，1973年Shirai和Inoue提出了傳統(tǒng)的視覺反饋[9]，稱之為“靜態(tài)邊走邊看”，但受當(dāng)時(shí)圖像處理技術(shù)發(fā)展的限制，實(shí)時(shí)性無法得到滿足．1979年，Hill和Park正式提出了“視覺伺服”的概念[10]，與傳統(tǒng)的視覺反饋的不同之處在于圖像的處理與信息的反饋是同時(shí)進(jìn)行的，控制精度、靈活性以及魯棒性都有了較大提高．結(jié)合近幾年的國內(nèi)外對(duì)視覺伺服控制研究情況, 本文重點(diǎn)對(duì)機(jī)器人視覺伺服控制進(jìn)展進(jìn)行了回顧, 對(duì)該領(lǐng)域研究所面臨的挑戰(zhàn)進(jìn)行了分析.

1 機(jī)器人視覺伺服系統(tǒng)

自從機(jī)器人視覺伺服被提出來以后，研究人員提出了許多伺服方法和伺服結(jié)構(gòu)，按不同的標(biāo)準(zhǔn)可以將其分成不同的類別．根據(jù)攝像機(jī)個(gè)數(shù)不同，可分為單目視覺系統(tǒng)、雙目視覺系統(tǒng)和多目視覺系統(tǒng)等．根據(jù)攝像機(jī)的安裝方式，可分為手眼視覺系統(tǒng)(eye-in-hand)和場景視覺系統(tǒng)(eye-to-hand)等．根據(jù)輸出信號(hào)的形式，可分為基于動(dòng)力學(xué)的視覺伺服和基于運(yùn)動(dòng)學(xué)的視覺伺服．根據(jù)攝像機(jī)參數(shù)的需求情況，可分為基于標(biāo)定的視覺伺服和基于無標(biāo)定的視覺伺服．下面，根據(jù)反饋信息的類型，從基于位置的視覺伺服、基于圖像的視覺伺服和混合視覺伺服等對(duì)國內(nèi)外研究現(xiàn)狀進(jìn)行分析．

1.1 基于位置的視覺伺服

在基于位置的視覺伺服結(jié)構(gòu)中，其初始給定信息與反饋信息都以笛卡爾空間的形式呈現(xiàn)．在笛卡爾空間中，將機(jī)器人末端執(zhí)行器和目標(biāo)物體間的相對(duì)位姿定義為伺服任務(wù)．利用所采集的圖像信號(hào)得到機(jī)器人的當(dāng)前位姿信息，將當(dāng)前位姿與期望位姿的差值傳輸給視覺控制器，形成閉環(huán)反饋[11-14]．

在基于位置的模型依賴視覺伺服結(jié)構(gòu)中，利用擴(kuò)展卡爾曼濾波器來求得相對(duì)位姿，文獻(xiàn)[15]采用擁有eye-in-hand/eye-to-hand混合配置的多像機(jī)配置，這種方法計(jì)算量?。硗?，廣義預(yù)測(cè)控制器[16]與自回歸模型[17]等方法也可用來估計(jì)機(jī)械手的位姿．在基于位置的模型無關(guān)的視覺伺服結(jié)構(gòu)中，可以通過分解機(jī)器人當(dāng)前和期望圖像之間的本質(zhì)矩陣[18]，求得旋轉(zhuǎn)和平移信息，以使其完成伺服任務(wù). 利用當(dāng)前圖像與目標(biāo)圖像間的對(duì)極幾何關(guān)系, 文獻(xiàn)[19]得到兩幅圖像間分別在位置和方向上的參數(shù). 采用基于位置的視覺伺服控制器和常規(guī)PD控制器相結(jié)合的方法, 文獻(xiàn)[20]實(shí)現(xiàn)了機(jī)器人對(duì)目標(biāo)運(yùn)動(dòng)的跟蹤．針對(duì)激光焊接工業(yè)機(jī)器人運(yùn)動(dòng)軌跡的精度問題，文獻(xiàn)[21]提出一種基于視覺反饋的激光焊接機(jī)器人軌跡跟蹤控制策略．針對(duì)eye-to-hand單目視覺配置的目標(biāo)跟蹤問題，文獻(xiàn)[22]提出了一種利用虛擬視覺伺服算法，使得CAD模型在圖像空間中的投影收斂至目標(biāo)邊緣, 從而實(shí)現(xiàn)笛卡爾空間中三維目標(biāo)物的精確跟蹤的基于模型的三維跟蹤算法．針對(duì)利用視覺引導(dǎo)的機(jī)器魚水下追蹤問題，文獻(xiàn)[23]利用基于模糊滑膜控制機(jī)器魚到達(dá)目標(biāo)水深并保持該水深的位置，利用多步驟的方法控制機(jī)器魚的走向，并且保持快速性與準(zhǔn)確性.

由于伺服任務(wù)的精度較大程度依賴于系統(tǒng)標(biāo)定．像機(jī)標(biāo)定包括像機(jī)內(nèi)參標(biāo)定與像機(jī)外參標(biāo)定，主要有直接線性變換、Tsai兩步法[24]、張正友平面標(biāo)定法[25]、平面圓標(biāo)定法[26]、平行圓標(biāo)定法[27]等. 基于標(biāo)定板的傳統(tǒng)標(biāo)定方法，為了進(jìn)一步改進(jìn)內(nèi)參標(biāo)定的精度，文獻(xiàn)[28]在傳統(tǒng)標(biāo)定方法的基礎(chǔ)上，提出一種共面點(diǎn)的改進(jìn)攝像機(jī)標(biāo)定方法．基于張正友標(biāo)定法，文獻(xiàn)[29]提出一種新的基于遺傳算法的攝像機(jī)內(nèi)參標(biāo)定優(yōu)化．文獻(xiàn)[30-32]分別提出一種新的標(biāo)定板塊及配套的、遠(yuǎn)心鏡頭的、基于兩相同圓的標(biāo)定算法．以上方法都是針對(duì)標(biāo)定模板的標(biāo)定方法，無法應(yīng)用于無模板的場合.另外，自標(biāo)定方法[33]研究主要有直接求解Kruppa方程法[34]、分層逐步標(biāo)定法[35-36]、絕對(duì)二次曲面自標(biāo)定[37]等. 為了提高外參標(biāo)定的精度，文獻(xiàn)[38]提出了一種迭代計(jì)算的方法．針對(duì)位置姿態(tài)分開標(biāo)定引起的測(cè)量誤差，文獻(xiàn)[39]提出了一種奇異值分解的方法．以上的標(biāo)定方法使得像機(jī)標(biāo)定的精度問題得到有效解決．在實(shí)際應(yīng)用過程中，每當(dāng)系統(tǒng)發(fā)生改變的時(shí)候都需要重新精確標(biāo)定．這種伺服方法在伺服控制中計(jì)算量較大，由于機(jī)器人運(yùn)動(dòng)過程中可能部分或者全部不在視野之內(nèi)，使得伺服任務(wù)較難以完成．

1.2 基于圖像的視覺伺服

基于圖像的視覺伺服將給定信息與反饋信息均定義在圖像特征空間．通過當(dāng)前圖像與期望圖像相關(guān)特征的比較，求出兩種圖像間的誤差關(guān)系，并將此作為控制信號(hào)，形成閉環(huán)反饋，通過控制機(jī)器人，使其末端執(zhí)行器滿足當(dāng)前圖像與期望圖像特征相等的條件以完成伺服任務(wù)．

使用此種伺服結(jié)構(gòu)，比較重要的一個(gè)任務(wù)就是解決圖像雅可比矩陣的求解問題[40-45]．求解圖像雅可比矩陣也就是求解機(jī)器人末端執(zhí)行器空間速度與圖像特征變化率之間的變換關(guān)系．常數(shù)近似法是利用目標(biāo)位姿得到的圖像雅可比矩陣用于整個(gè)伺服過程，這種求解方法只能在期望位姿的小范圍內(nèi)完成伺服任務(wù)．文獻(xiàn)[41]中指出在線估計(jì)不需要三維物體模型和精確像機(jī)標(biāo)定參數(shù)．直接估計(jì)法是在機(jī)器人進(jìn)行伺服任務(wù)時(shí)，用辨識(shí)來直接獲取圖像雅可比矩陣．與基于位置的視覺伺服控制方法相比，這種伺服控制方法無須進(jìn)行位姿估計(jì)，也無須對(duì)物體三維重構(gòu)，復(fù)雜程度大大降低．此外，這種方法不需要精確手眼標(biāo)定，因此對(duì)手眼標(biāo)定誤差的魯棒性較強(qiáng)．但這種方法也存在一些弊端．首先，這種伺服控制方法可以確保伺服系統(tǒng)局部漸近穩(wěn)定，但確定穩(wěn)定域大小卻有一定的困難[43]．其次，其本身是在二維空間定義的，無法對(duì)三維空間的路徑直接控制，此時(shí)的路徑可能無法達(dá)到最優(yōu)．此外，雅可比矩陣的求解過程中還存在奇異性問題和局部極小值的問題．文獻(xiàn)[44]指出選取3個(gè)以上的圖像特征可一定程度上避免奇異性問題．

1.3 混合視覺伺服

無論是基于位置的視覺伺服，還是基于圖像的視覺伺服，都存在各自的優(yōu)缺點(diǎn)，因此，法國專家Malis等人提出了混合視覺伺服的方法[46]．與基于圖像的視覺伺服相比，混合視覺伺服可使任務(wù)空間嚴(yán)格收斂，與基于位置的視覺伺服相比，混合視覺伺服不需要物體的三維模型信息．

在這種伺服結(jié)構(gòu)中，需要提前知道機(jī)器人的期望位姿信息，由機(jī)器人當(dāng)前位姿與期望位姿之間的關(guān)系可得到對(duì)應(yīng)的單應(yīng)性矩陣，通過這個(gè)矩陣對(duì)機(jī)器人旋轉(zhuǎn)操作控制．由圖像特征的變化得到平移信息，從而對(duì)機(jī)器人平移操作控制．此方法實(shí)現(xiàn)了對(duì)機(jī)器人平移運(yùn)動(dòng)和旋轉(zhuǎn)運(yùn)動(dòng)的部分解耦，也可將其稱為基于單應(yīng)性矩陣的視覺伺服控制．這種方法一定程度上可解決局部極小值問題.此外，文獻(xiàn)[46]指出這種視覺伺服方法不存在奇異性問題.文獻(xiàn)[47]對(duì)像機(jī)標(biāo)定和手眼像機(jī)標(biāo)定的誤差進(jìn)行了穩(wěn)定性和魯棒性分析．但是這種混合視覺伺服方法也存在不足，主要是單應(yīng)性矩陣的求解問題．文獻(xiàn)[46]指出單應(yīng)性矩陣的求解對(duì)特征點(diǎn)的個(gè)數(shù)有要求，單應(yīng)性矩陣的求解過程耗時(shí)大，而且可能存在多解問題，另外單應(yīng)性矩陣的求解過程中對(duì)圖像噪聲比較敏感．

2 基于無標(biāo)定的視覺伺服

傳統(tǒng)視覺伺服一般需要像機(jī)內(nèi)外參數(shù)標(biāo)定[48-55], 受像機(jī)畸變以及圖像噪聲的影響，使得標(biāo)定的結(jié)果很難達(dá)到要求．鑒于基于標(biāo)定的視覺伺服仍存在很多的問題，1994年Hosoda等提出了無標(biāo)定視覺伺服[51]．這種方法的本質(zhì)是通過求解圖像雅可比矩陣設(shè)計(jì)視覺控制器，在只有粗略的像機(jī)內(nèi)外參數(shù)以及粗略的機(jī)器人結(jié)構(gòu)和運(yùn)動(dòng)參數(shù)的情況下控制機(jī)器人．無標(biāo)定視覺伺服分為雅可比在線估計(jì)法、雅可比自適應(yīng)法、深度獨(dú)立雅可比矩陣估計(jì)法等．

2.1 雅可比在線估計(jì)法

該法又稱為雅可比直接估計(jì)，是一種研究較為廣泛的方法[56-67]．針對(duì)不同運(yùn)行速度的系統(tǒng)，文獻(xiàn)[51]提出了靜態(tài)加權(quán)Broyden法和指數(shù)加權(quán)遞歸最小二乘法的辨識(shí)方法．針對(duì)不依賴先驗(yàn)知識(shí)的情況，文獻(xiàn)[58]提出了一種基于切比雪夫多項(xiàng)式構(gòu)成成本函數(shù)的Broyden圖像雅可比矩陣估計(jì)方法，該方法有較好的收斂速度與系統(tǒng)性能．為了解決大偏差對(duì)系統(tǒng)的影響問題，基于誤差仿射模型，利用擬牛頓法估計(jì)圖像雅可比矩陣，文獻(xiàn)[59]提出了大偏差條件下的無標(biāo)定視覺伺服控制策略．針對(duì)殘差項(xiàng)的問題，基于動(dòng)態(tài)割線法獲得圖像雅可比矩陣，文獻(xiàn)[60]提出了全局Hessian矩陣逆的D-BFGS直接估計(jì)法．針對(duì)高斯牛頓法在大殘量情況時(shí)可能不收斂或不能收斂到期望值的問題，文獻(xiàn)[61]提出了一種采用L-M方法的無標(biāo)定視覺伺服控制方法．在雅可比的求解過程中，環(huán)境噪聲會(huì)對(duì)其求解造成影響，文獻(xiàn)[62]提出了一種基于卡爾曼濾波器的雅可比在線估計(jì)方法．針對(duì)計(jì)算雅可比偽逆矩陣引起的奇異性問題，文獻(xiàn)[66]提出了一種遞推最小二乘法估計(jì)圖像雅可比矩陣偽逆．針對(duì)視覺信息獲取延時(shí)問題，文獻(xiàn)[67]提出了一種帶有時(shí)延補(bǔ)償?shù)囊曈X跟蹤方法．

2.2 雅可比自適應(yīng)估計(jì)法

雅可比自適應(yīng)估計(jì)法不需要任何手眼系統(tǒng)參數(shù)，利用各種自適應(yīng)算法對(duì)手眼系統(tǒng)參數(shù)進(jìn)行在線估計(jì)[68-78]．在運(yùn)動(dòng)學(xué)方面，基于單應(yīng)性矩陣分解，文獻(xiàn)[68]提出了一種eye-to-hand系統(tǒng)運(yùn)動(dòng)學(xué)自適應(yīng)控制策略．利用分解單應(yīng)性矩陣的方法，文獻(xiàn)[69]設(shè)計(jì)高增益魯棒控制器使得旋轉(zhuǎn)誤差穩(wěn)定，以補(bǔ)償未知深度信息和像機(jī)標(biāo)定內(nèi)參的自適應(yīng)控制器使得平移誤差穩(wěn)定．在動(dòng)力學(xué)方面，針對(duì)深度信息不斷變化目標(biāo)跟蹤問題，文獻(xiàn)[71]設(shè)計(jì)了自適應(yīng)跟蹤控制器．基于李雅普諾夫方法的自適應(yīng)控制策略，文獻(xiàn)[73]對(duì)特征點(diǎn)的深度信息進(jìn)行補(bǔ)償．基于自適應(yīng)控制問題，文獻(xiàn)[76]提出一種基于SDU分解的模型在線標(biāo)定方法．在視覺跟蹤方面，針對(duì)運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)參數(shù)的不確定問題，文獻(xiàn)[77]提出了一種利用backstepping設(shè)計(jì)的自適應(yīng)雅可比跟蹤方法，設(shè)計(jì)觀測(cè)器避免關(guān)節(jié)和任務(wù)空間加速度問題．在不測(cè)量圖像空間速度的情況下，文獻(xiàn)[78]提出了一種基于非線性觀測(cè)器的控制方法，通過自適應(yīng)控制器實(shí)現(xiàn)了深度信息、動(dòng)力學(xué)參數(shù)以及深度無關(guān)運(yùn)動(dòng)模型參數(shù)的分離．

2.3 深度獨(dú)立雅可比矩陣估計(jì)法

該法既能對(duì)未標(biāo)定攝像機(jī)參數(shù)補(bǔ)償，也可對(duì)未知變化運(yùn)動(dòng)的深度信息補(bǔ)償，且對(duì)深度信息無約束[79-85]．利用Slotine-Li算法與圖像誤差梯度最小下降法在線估計(jì)系統(tǒng)未知參數(shù)信息，文獻(xiàn)[79]首次提出了深度獨(dú)立雅可比矩陣的無標(biāo)定視覺伺服控制方法．在定位方面，文獻(xiàn)[80]提出了一種可同時(shí)處理動(dòng)力學(xué)參數(shù)、機(jī)器人幾何參數(shù)以及攝像機(jī)內(nèi)外參數(shù)的自適應(yīng)定位方法．在動(dòng)態(tài)跟蹤方面，文獻(xiàn)[82]將基于深度獨(dú)立雅可比矩陣估計(jì)法應(yīng)用于eye-to-hand場景系統(tǒng)的單特征點(diǎn)動(dòng)態(tài)軌跡跟蹤問題．針對(duì)未知物體的跟蹤問題，文獻(xiàn)[84]提出了一種利用非線性觀測(cè)器，在線估計(jì)未知物體運(yùn)動(dòng)狀態(tài)的動(dòng)態(tài)視覺跟蹤方法，設(shè)計(jì)了基于深度獨(dú)立雅可比矩陣估計(jì)的動(dòng)態(tài)跟蹤器．針對(duì)系統(tǒng)建模偏差或者外部干擾所導(dǎo)致的測(cè)量誤差大和關(guān)節(jié)速度無法測(cè)量的問題，在使用深度無關(guān)矩陣實(shí)現(xiàn)參數(shù)線性表達(dá)的基礎(chǔ)上，文獻(xiàn)[85]提出了一種采用浸入與不變流形觀測(cè)器對(duì)關(guān)節(jié)速度進(jìn)行估計(jì)的無標(biāo)定視覺伺服．

2.4 其他無標(biāo)定視覺伺服方法

除了以上3種方法，還有其他無標(biāo)定視覺伺服方法．在只知道攝像機(jī)內(nèi)部粗略參數(shù)的情況下，文獻(xiàn)[86]提出了一種采用圖像特征信息和相對(duì)位姿分別作為平移運(yùn)動(dòng)和旋轉(zhuǎn)運(yùn)動(dòng)反饋信號(hào)，使得定位系統(tǒng)漸近穩(wěn)定的策略．基于自抗擾控制器，文獻(xiàn)[87]提出一種將圖像雅可比矩陣近似誤差作為擾動(dòng)進(jìn)行補(bǔ)償和估計(jì)的無標(biāo)定視覺伺服方法．

由于機(jī)器人的視覺系統(tǒng)與機(jī)械手末端之間的關(guān)系是一個(gè)非線性時(shí)變問題，而現(xiàn)在的優(yōu)化方法可能會(huì)導(dǎo)致某些情況下無解，或需要強(qiáng)約束條件. 故也有基于智能學(xué)習(xí)方法展開的研究[88-93]．針對(duì)人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)選取問題，文獻(xiàn)[89]設(shè)計(jì)了基于人工神經(jīng)網(wǎng)絡(luò)的視覺跟蹤控制器, 完成三維目標(biāo)跟蹤任務(wù)．針對(duì)自由度機(jī)器人平動(dòng)的視覺定位問題，文獻(xiàn)[91]提出了一種利用人工神經(jīng)網(wǎng)絡(luò)對(duì)全局有效的非線性視覺映射關(guān)系模型擬合的無標(biāo)定視覺伺服策略．由于雅可比矩陣本質(zhì)上是線性和局部的，這影響了神經(jīng)網(wǎng)絡(luò)對(duì)全局非線性輸入輸出關(guān)系的逼近能力．

自抗擾控制器是針對(duì)不確定系統(tǒng)的非線性控制器[94-99]. 將機(jī)器人視覺與機(jī)器人末端執(zhí)行器之間的未知映射關(guān)系作為未建模動(dòng)態(tài)，文獻(xiàn)[95]利用自抗擾控制器的思想設(shè)計(jì)控制器完成伺服任務(wù)．基于耦合的自抗擾控制器思想, 文獻(xiàn)[96]通過對(duì)系統(tǒng)建模的不確定性及其未知外擾進(jìn)行非線性補(bǔ)償，完成了相互耦合的不依賴于系統(tǒng)特定任務(wù)的無標(biāo)定手眼協(xié)調(diào)控制器的設(shè)計(jì)．基于自抗擾控制器思想，文獻(xiàn)[97]通過對(duì)系統(tǒng)未建模動(dòng)態(tài)和外部擾動(dòng)的補(bǔ)償，完成了不依賴于任務(wù)的無標(biāo)定手眼協(xié)調(diào)控制器的設(shè)計(jì)．利用一個(gè)外部擴(kuò)展?fàn)顟B(tài)觀測(cè)器估計(jì)未建模動(dòng)態(tài)和外部擾動(dòng)，文獻(xiàn)[87]設(shè)計(jì)了基于非線性狀態(tài)誤差反饋的控制策略．

3 面臨的挑戰(zhàn)

經(jīng)過幾十年的發(fā)展，機(jī)器人視覺伺服研究和應(yīng)用取得了很大的發(fā)展和成就．但可以看出大多數(shù)的伺服算法仍有一定的局限性．為了將機(jī)器人視覺伺服系統(tǒng)應(yīng)用于實(shí)際中，必須解決其精確度、實(shí)時(shí)性、可靠性以及魯棒性等問題和要求，在這些方面仍面臨很大挑戰(zhàn)．

第一，視覺伺服的實(shí)時(shí)性問題．視覺伺服的過程中包含圖像采集、圖像處理、特征提取與分析、控制信息(如位姿、深度信息等)轉(zhuǎn)換生成等．無論是基于位置的視覺伺服過程中的位姿估計(jì)，還是基于圖像的視覺伺服過程中的圖像雅可比矩陣估計(jì)、深度信息估計(jì)等，都需要有較強(qiáng)的算法來提高實(shí)時(shí)性．為了拓寬伺服系統(tǒng)的應(yīng)用領(lǐng)域，如何進(jìn)一步改善系統(tǒng)的實(shí)時(shí)性仍是當(dāng)前亟待深入研究的問題之一．

第二，復(fù)雜動(dòng)態(tài)環(huán)境下視覺伺服的可靠性問題．近年來針對(duì)視覺伺服的研究，往往將其處于理想的靜態(tài)環(huán)境下，或者假設(shè)環(huán)境已知對(duì)系統(tǒng)約束處理，但真實(shí)環(huán)境是復(fù)雜的，多變的、未知的動(dòng)態(tài)約束可能會(huì)導(dǎo)致機(jī)器人碰撞或者目標(biāo)物遮擋；其次，在實(shí)際應(yīng)用中會(huì)有圖像噪聲、控制延時(shí)和模型誤差等問題，從而使得系統(tǒng)的穩(wěn)定性以及動(dòng)態(tài)性能受到影響．因此，針對(duì)視覺伺服可靠性，還有很多問題值得深入探索．

第三，多傳感器的信息融合問題．當(dāng)前的研究大多是利用單一視覺傳感器進(jìn)行的，但其自身存在某些缺陷，如探測(cè)空間受限．在復(fù)雜的實(shí)際環(huán)境中，如何有效地使多視覺傳感器的信息進(jìn)行有效融合，從而提高實(shí)際控制的性能成為研究重點(diǎn)．

第四，多任務(wù)控制問題．當(dāng)前大多數(shù)的視覺伺服方法是基于單任務(wù)控制問題.但在一個(gè)實(shí)際應(yīng)用中往往有多個(gè)任務(wù)，如機(jī)器人抓取系統(tǒng)、裝配系統(tǒng)等，處理多任務(wù)控制問題是必不可少的．

第五，基于離散時(shí)間域以及混雜系統(tǒng)的控制器設(shè)計(jì)問題．由于當(dāng)前大多數(shù)的動(dòng)態(tài)視覺伺服控制器都是基于連續(xù)時(shí)間域的機(jī)器人動(dòng)力學(xué)設(shè)計(jì)的，但是實(shí)際應(yīng)用多是在離散時(shí)間域或連續(xù)/離散時(shí)間域混合情形下實(shí)現(xiàn)的．因此，如何基于離散時(shí)間域、混雜系統(tǒng)的機(jī)器人運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)設(shè)計(jì)與分析，開展動(dòng)態(tài)視覺伺服控制器問題變得越來越重要．

4 總結(jié)

本文根據(jù)反饋方式對(duì)視覺伺服分為基于位置的視覺伺服、基于圖像的視覺伺服和混合視覺伺服等3類，對(duì)其控制結(jié)構(gòu)、算法等進(jìn)行了回顧分析．此外，特別對(duì)無標(biāo)定視覺伺服進(jìn)行了著重分析和小結(jié)．最后，就當(dāng)前視覺伺服研究所面臨的挑戰(zhàn)進(jìn)行了分析．

參考文獻(xiàn)：

[1] KHURSHID J, HONG B R. Military robots-a glimpse from today and tomorrow[C]// Proceedings of the 8th International Conference on Control, Automation, Robotics and Vision. Kunming, 2004: 771-777.

[2] MILLS S, AOUF N, MEJIAS L. Image based visual servo control for fixed wing UAVs tracking linear infrastructure in wind[C]//Proceedings of 2013 IEEE International Conference on Robotics and Automation (ICRA). Karlsruhe,2013: 5769-5774.

[3] LUO R C, CHEN C T, PU Y J. Internet based remote supervisory system for Tele-medicine robot application[C]// Proceedings of IEEE Workshop on Advanced Robotics and its Social Impacts. USA: IEEE Computer Society, 2009: 153-158.

[4] ISHIDA T, KUROKI Y. Motion and real-world sensing system of a small biped entertainment robot[J]. Proceedings of the world congress on intelligent control & automation, 2004, 6(10): 4834-4839.

[5] 趙清杰, 連廣宇, 孫增圻. 機(jī)器人視覺伺服綜述[J]. 控制與決策, 2001, 16(6): 849-853.

[6] 方勇純. 機(jī)器人視覺伺服研究綜述[J]. 智能系統(tǒng)學(xué)報(bào), 2008, 3(2): 109-114.

[7] 黎志剛, 段鎖林, 趙建英, 等. 機(jī)器人視覺伺服控制及應(yīng)用研究的現(xiàn)狀[J]. 太原科技大學(xué)學(xué)報(bào), 2007, 28(1): 24-31.

[8] 賈丙西, 劉山, 張凱祥, 等. 機(jī)器人視覺伺服研究進(jìn)展: 視覺系統(tǒng)與控制策略[J]. 自動(dòng)化學(xué)報(bào),2015,41(5): 861-873.

[9] SHIRAI Y, INOUE H. Guiding a robot by visual feedback in assembling tasks[J]. Pattern recognition, 1973, 5(2): 99-106.

[10] HILL J, PARK W T. Real time control of a robot with a mobile camera[C]// Proceedings of intermational symposium on industrial robots. Washington: D C, 1979: 233-246.

[11] TAYLOR G, KLEEMAN L.Hybrid position-based visual servoing with online calibration for a humanoid robot[C]// Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems. Japan:Sendai,2004: 686-691.

[12] GANS N R, DANI A P, DIXON W E. Visual servoing to an arbitrary pose with respect to an object given a single known length[C]//Proceedings of the American Control Conference. Washington, 2008:1261-1267.

[13] 董鵬飛. 基于位置的工業(yè)機(jī)器人視覺伺服控制系統(tǒng)研究[D]. 廣州：華南理工大學(xué), 2015.

[14] 李國棟, 田國會(huì), 薛英花. 基于QRCode技術(shù)的家庭服務(wù)機(jī)器人視覺伺服抓取操作研究[J]. 東南大學(xué)學(xué)報(bào)(自然科學(xué)版), 2010, 40(S1): 30-36.

[15] LIPPIELLO V, SICILIANO B, VILLANI L.Eye-in-hand/eye-to-hand multi-camera visual servoing[C]// Proceedings of the 44th IEEE Conference on Decision and Control. Seville, 2005: 5354-5359.

[16] KOIVO A J, HOUSHANGI N. Real-time vision feedback for servoing robotic manipulator with self-tuning controller[J]. IEEE transactions on systems man and cybernetics, 1991, 21(1):134-142.

[17] WESTMORE D B, WILSON W J. Direct dynamic control of a robot using an end-point mounted camera and Kalman filter position estimation[C]// Proceedings of the IEEE International Conference on Robotics and Automation. Sacramento, CA, 1991:2376-2384.

[18] GEORGIEV G H, RADULOV V D. A practical method for decomposition of the essential matrix[J]. Applied mathematical sciences, 2014, 8(176): 8755-8770.

[19] BASRI R, RIVLIN E, SHIMSHONI I. Visual homing: Surfing on the epipoles[J]. International journal of computer vision, 1999, 33(2): 117-137.

[20] 趙艷花,盧秉娟.基于位置的機(jī)器人視覺伺服控制[J].洛陽理工學(xué)院學(xué)報(bào)(自然科學(xué)版),2008, 18(2): 77-79.

[21] 張文增,陳強(qiáng),都東,等.基于三維視覺的焊接機(jī)器人軌跡跟蹤[J].清華大學(xué)學(xué)報(bào)(自然科學(xué)版), 2007, 47(8): 1270 -1273.

[22] 張鵬程, 徐德. 基于CAD模型的目標(biāo)跟蹤和定位算法研究[J]. 高技術(shù)通訊, 2014, 24(6):623-631.

[23] YU J, SUN F, XU D, et al. Embedded vision-guided 3-D tracking control for robotic fish[J]. IEEE transactions on industrial electronics, 2016, 63(1): 355-363.

[24] TSAI R. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J]. IEEE journal on robotics and automation, 2003, 3(4):323-344.

[25] ZHANG Z. A flexible new technique for camera calibration[J]. IEEE transactions on pattern analysis and machine intelligence, 2000, 22(11):1330-1334.

[26] 孟曉橋,胡占義.一種新的基于圓環(huán)點(diǎn)的攝像機(jī)自標(biāo)定方法[J]. 軟件學(xué)報(bào), 2002, 13(5):957-965.

[27] 黃鳳榮,胡占義,吳毅紅.單幅圖像測(cè)量的一種新方法[J].自動(dòng)化學(xué)報(bào), 2004, 30(4):487-495.

[28] 劉楊豪,謝林柏.基于共面點(diǎn)的改進(jìn)攝像機(jī)標(biāo)定方法研究[J].計(jì)算機(jī)工程, 2016, 42(8):289-293.

[29] 徐中宇,李春龍,孫秋成,等.基于遺傳算法的攝像機(jī)內(nèi)部參數(shù)標(biāo)定優(yōu)化方法[J]. 吉林大學(xué)學(xué)報(bào)(理學(xué)版), 2014, 52(6):1267-1271.

[30] 文濤,左東廣,李忠科,等.一種魯棒的高精度攝像機(jī)標(biāo)定方法[J].計(jì)算機(jī)應(yīng)用研究,2015, 32(11):3489-3491.

[31] 李林娜,畢德學(xué),馬麗.基于有序圖像序列與可控外部參數(shù)的遠(yuǎn)心鏡頭標(biāo)定方法[J].天津科技大學(xué)學(xué)報(bào), 2015, 30(4):60-64.

[32] 張虎,達(dá)飛鵬,李勤.基于兩相同圓的自標(biāo)定方法[J].儀器儀表學(xué)報(bào),2010,31(3):618-624.

[33] 孟曉橋,胡占義.攝像機(jī)自標(biāo)定方法的研究與進(jìn)展[J].自動(dòng)化學(xué)報(bào),2003,29(1):110-124.

[34] MA S D. A self-calibration technique for active vision systems[J]. IEEE transactions on robotics and automation, 1996, 12(1):114-120.

[35] HEYDEN A, ASTROM K. Euclidean reconstruction from constant intrinsic parameters[C]// Proceedings of the 13th International Conference on Pattern Recognition: Austria, Vienna, 1996:339-341.

[36] POLLEFEYS M, GOOL L V. Self-calibration from the absolute conic on the plane at infinity[C]// Proceedings of the International Conference on Computer Analysis of Images and Patterns. Berlin: Springer Verlag, 1997:175-182.

[37] TRIGGS B. Autocalibration and the absolute quadric[C]// Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Argentina: San Juan, 1997:609-614.

[38] ZHANG H. Hand/eye calibration for electronic assembly robots[J]. IEEE Transactions on Robotics and Automation, 1998, 14(4):612-616.

[39] DANIILIDIS K, BAYRO-CORROCHANO E. The dual quaternion approach to hand-eye calibration[C]// Proceedings of 13th International Conference on Pattern Recognition. Austria:Vienna, 1996:318-322.

[40] CHAUMETTE F, BOUKIR S, BOUTHEMY P, et al. Structure from controlled motion[J]. IEEE transactions on pattern analysis and machine intelligence, 1996, 18(5): 492-504.

[41] DE LUCA A, ORIOLO G, GIORDANO P R. On-line estimation of feature depth for image-based visual servoing schemes[C]// Proceedings of 2007 IEEE International Conference on Robotics and Automation. Italy: Rome, 2007: 2823-2828.

[42] PIEPMEIER J A, MCMURRAY G V, LIPKIN H. Uncalibrated dynamic visual servoing[J]. IEEE transactions on robotics and automation, 2004, 20(1): 143-147.

[43] CHAUMETTE F. Potential problems of stability and convergence in image-based and position-based visual servoing[M]. London:Springer London, 1998:66-78.

[44] CHAUMETTE F, HUTCHINSON S. Visual servo control, part I: basic approaches[J]. IEEE robotics and automation magazine, 2007, 13(4):82-90.

[45] MA Z, SU J. Robust uncalibrated visual servoing control based on disturbance observer[J]. Isa transactions, 2015, 59:193-204.

[46] MALIS E, CHAUMETTE F, BOUDET S. 2-D visual servoing[J]. IEEE transactions on robotics and automation, 1999, 15(2): 238-250.

[47] MALIS E, CHAUMETTE F. Theoretical improvements in the stability analysis of a new class of model-free visual servoing methods[J]. IEEE transactions on robotics and automation, 2002, 18(2): 176-186.

[48] 江祥奎,紀(jì)旭.一種攝像機(jī)標(biāo)定系統(tǒng)的實(shí)現(xiàn)[J].西安郵電大學(xué)學(xué)報(bào), 2015, 20(5): 71-75.

[49] 胡小平,左富勇,謝珂.微裝配機(jī)器人手眼標(biāo)定方法研究[J].儀器儀表學(xué)報(bào), 2012, 33(7): 1521-1526.

[50] 馮春,周文.手眼系統(tǒng)中攝像機(jī)標(biāo)定和手眼標(biāo)定的同步算法[J].機(jī)械設(shè)計(jì)與制造,2015(12):58-61.

[51] HOSODA K, ASADA M. Versatile visual servoing without knowledge of true jacobian[C]// Proceedings of the IEEE/RSJ/GI International Conference on Intelligent Robots and Systems. Germany:Munich, 1994: 186-193.

[52] 付清山.機(jī)器人無標(biāo)定視覺伺服控制研究[D].南京：東南大學(xué), 2011.

[53] 梁新武.機(jī)械手無標(biāo)定動(dòng)態(tài)視覺伺服研究[D].武漢：華中科技大學(xué), 2011.

[54] 毛尚勤.微操作系統(tǒng)的機(jī)器視覺與無標(biāo)定視覺伺服研究[D].武漢：華中科技大學(xué), 2013.

[55] 陶波,龔澤宇,丁漢.機(jī)器人無標(biāo)定視覺伺服控制研究進(jìn)展[J].力學(xué)學(xué)報(bào), 2016, 48(4): 767-783.

[56] PIEPMEIER J A, MCMURRAY G V, LIPKIN H. Tracking a moving target with model independent visual servoing: a predictive estimation approach[C]//Proceedings of the IEEE International Conference on Robotics and Automation. Belgium:Leuven, 1998: 2652-2657.

[57] PIEPMEIER J A. Experimental results for uncalibrated eye-in-hand visual servoing[C]// Proceedings of the 35th Southeastern Symposium on System Theory. USA: Morgantown, W V, 2003: 335-339.

[58] 曾祥進(jìn),黃心漢,王敏.基于 Broyden 在線圖像雅可比矩陣辨識(shí)的視覺伺服[J]. 華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版), 2008, 36(9): 17-20.

[59] 趙杰,李牧,李戈,等.一種無標(biāo)定視覺伺服控制技術(shù)的研究[J]. 控制與決策, 2006, 21(9): 1015-1019.

[60] 楊誠,匡森,宋彩溫.基于動(dòng)態(tài) BFGS 法的無標(biāo)定視覺伺服控制[J].中國科學(xué)技術(shù)大學(xué)學(xué)報(bào), 2015, 45(1): 1-8.

[61] 付清山,張志勝,史金飛.一種采用 LM 方法的無標(biāo)定視覺伺服控制方法[J].中國機(jī)械工程, 2008, 19(21): 2622-2626.

[62] QIAN J, SU J. Online estimation of image Jacobian matrix by Kalman-Bucy filter for uncalibrated stereo vision feedback[C]//Proceedings of the IEEE International Conference on Robotics and Automation. USA: Washington, D C, 2002: 562-567.

[63] 趙清杰,陳云蛟,張立群. 基于粒子濾波的雅可比矩陣在線估計(jì)技術(shù)[J].北京理工大學(xué)學(xué)報(bào),2008, 28(5): 401-404.

[64] 張應(yīng)博.基于無極卡爾曼濾波算法的雅可比矩陣估計(jì)[J].計(jì)算機(jī)應(yīng)用, 2011, 31(6): 1699-1702.

[65] SUTANTO H, SHARMA R, VARMA V. The role of exploratory movement in visual servoing without calibration[J]. Robotics and autonomous systems, 1998, 23(3): 153-169.

[66] 康慶生,孟正大,戴先中.圖像雅可比矩陣偽逆估計(jì)在視覺伺服中的應(yīng)用[J].機(jī)器人,2006,28(4): 406-409.

[67] 吳越,匡森.帶時(shí)延補(bǔ)償?shù)囊曈X跟蹤控制[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2015, 24(9): 212-218.

[68] CHEN J, BEHAL A, DAWSON D M, et al. Adaptive visual servoing in the presence of intrinsic calibration uncertainty[C]//Proceedings of the IEEE Conference on Decision and Control. USA: Hawai, 2003:5396-5401.

[69] HU G, MACKUNIS W, GANS N, et al. Homography-based visual servo control with imperfect camera calibration[J]. IEEE transactions on automatic control, 2009, 54(6): 1318-1324.

[70] 金梅,李惠光,張立國. 基于雙目視覺模型的自適應(yīng)控制[J].微計(jì)算機(jī)信息, 2009,25( 19): 24-25.

[71] CHEAH C C, LIU C, SLOTINE J J E. Adaptive vision based tracking control of robots with uncertainty in depth information[C]//Proceedings of the IEEE International Conference on Robotics and Automation. Italy: Rome, 2007: 2817-2822.

[72] WU B, LI H G. Uncalibrated visual servoing of robots with new image Jacobian estimation method[J]. J System Simulation, 2008, 20(14): 3767-3771.

[73] CHEAH C C, LIU C, SLOTINE J J E. Adaptive Jacobian vision based control for robots with uncertain depth information[J]. Automatica, 2010, 46(7): 1228-1233.

[74] LIU Y H, WANG H, LAM K. Dynamic visual servoing of robots in uncalibrated environments[C]// Proceedings of the IEEE International Conference on Robotics and Automation. Spain:Barcelona, 2005: 3131-3136.

[75] 宋彩溫,匡森.未標(biāo)定視覺伺服系統(tǒng)的動(dòng)力學(xué)控制[J].中國科學(xué)技術(shù)大學(xué)學(xué)報(bào), 2015, 45(7): 537-545.

[76] LIZARRALDE F, LEITE A C, HSU L, et al. Adaptive visual servoing scheme free of image velocity measurement for uncertain robot manipulators[J]. Automatica, 2013, 49(5): 1304-1309.

[77] LIU C, CHEAH C C, SLOTINE J J E. Adaptive Jacobian tracking control of rigid-link electrically driven robots based on visual task-space information[J]. Automatica, 2006, 42(9): 1491-1501.

[78] WANG H. Adaptive visual tracking for robotic systems without image-space velocity measurement[J]. Automatica, 2015, 55(C): 294-301.

[79] LIU Y H, WANG H, WANG C, et al. Uncalibrated visual servoing of robots using a depth-independent interaction matrix[J]. IEEE transactions on robotics, 2006, 22(4): 804-817.

[80] WANG H, JIANG M, CHEN W, et al. Adaptive visual servoing with imperfect camera and robot parameters[J]. Life system modeling and intelligent computing, 2010,97: 124-131.

[81] WANG H, LIU Y H, ZHOU D. Adaptive visual servoing using point and line features with an uncalibrated eye-in-hand camera[J]. IEEE transactions on robotics, 2008, 24(4): 843-857.

[82] LIU Y, WANG H, ZHOU D. Dynamic tracking of manipulators using visual feedback from an uncalibrated fixed camera[C]// Proceedings of the IEEE International Conference on Robotics and Automation. USA: Orlando, Florida, 2006: 4124-4129.

[83] WANG H, LIU Y H, ZHOU D. Dynamic visual tracking for manipulators using an uncalibrated fixed camera[J]. IEEE transactions on robotics, 2007, 23(3): 610-617.

[84] WANG H, LIU Y H, CHEN W, et al. A new approach to dynamic eye-in-hand visual tracking using nonlinear observers[J]. IEEE/ASME transactions on mechatronics, 2011, 16(2): 387-394.

[85] HUA C, LIU Y, YANG Y. Image-based robotic control with unknown camera parameters and joint velocities[J]. Robotica, 2015, 33(8): 1718-1730.

[86] HU G, MACKUNIS W, GANS N, et al. Homography-based visual servo control via an uncalibrated camera[C]// Proceedings of American Control Conference. USA: Washington, 2008: 4791-4796.

[87] SU J, QIU W, MA H, et al. Calibration-free robotic eye-hand coordination based on an auto disturbance-rejection controller[J]. IEEE transactions on robotics, 2004, 20(5): 899-907.

[88] HASHIMOTO H, KUBOTA T, SATO M, et al. Visual control of robotic manipulator based on neural networks[J]. IEEE transactions on industrial electronics, 1992, 39(6): 490-496.

[89] 潘且魯,蘇劍波,席裕庚.眼在手上機(jī)器人手眼無標(biāo)定三維視覺跟蹤[J].自動(dòng)化學(xué)報(bào),2002, 28(3): 371-377.

[90] CUPERTINO F, GIORDANO V, MININNO E, et al. A neural visual servoing in uncalibrated environments for robotic manipulators[C]// Proceedings of the IEEE International Conference on Systems, Man and Cybernetics. Netherlands:The Hague, 2004, 6: 5362-5367.

[91] 張家駒,吳洪濤.基于神經(jīng)網(wǎng)絡(luò)的機(jī)器人無標(biāo)定視覺伺服系統(tǒng)仿真[J].應(yīng)用科技, 2011, 38(9): 1-5.

[92] SU J, XI Y, HANEBECK U D, et al. Nonlinear visual mapping model for 3-D visual tracking with uncalibrated eye-in-hand robotic system[J]. IEEE transactions on systems, man, and cybernetics:part B (Cybernetics), 2004, 34(1): 652-659.

[93] 辛菁,劉丁,徐慶坤. 基于LS-SVR 的機(jī)器人空間 4DOF 無標(biāo)定視覺定位[J]. 控制理論與應(yīng)用, 2010, 27(1): 1-9.

[94] HAN J. From PID to active disturbance rejection control[J]. IEEE transactions on industrial electronics, 2009, 56(3): 900-906.

[95] 蘇劍波.ADRC理論和技術(shù)在機(jī)器人無標(biāo)定視覺伺服中的應(yīng)用和發(fā)展[J].控制與決策,2015,30(1): 1-8.

[96] 馬紅雨,蘇劍波.基于耦合 ADRC 原理的機(jī)器人無標(biāo)定手眼協(xié)調(diào)[J].機(jī)器人,2003, 25(1): 39-43.

[97] 蘇劍波,邱文彬.基于自抗擾控制器的機(jī)器人無標(biāo)定手眼協(xié)調(diào)[J].自動(dòng)化學(xué)報(bào),2003, 29(2): 161-167.

[98] 馬紅雨,蘇劍波.基于自抗擾控制器的機(jī)器人無標(biāo)定三維手眼協(xié)調(diào)[J].自動(dòng)化學(xué)報(bào),2004,30(3): 400-406.

[99] SU J. Convergence analysis for the uncalibrated robotic hand-eye coordination based on the unmodeled dynamics observer[J]. Robotica, 2010, 28(4): 597-605.