賴穎杰， 張世昂， 朱立學(xué)

（仲愷農(nóng)業(yè)工程學(xué)院機電工程學(xué)院，廣東 廣州 510225）

0 引言

傳統(tǒng)的果實采摘是一個煩瑣且極其耗費勞動力的過程，為了更好地提高勞動生產(chǎn)效率、降低勞動強度，采摘機器人的研究應(yīng)用已成為當下農(nóng)業(yè)生產(chǎn)的迫切需要，并且具有重要的實用價值和廣闊的應(yīng)用前景。采摘機器人面對的作業(yè)環(huán)境不確定性強，因此視覺伺服控制技術(shù)成為采摘機器人系統(tǒng)的重要控制手段，為了更精準地識別果實并高效完成采摘，選用適應(yīng)性強的視覺伺服控制方法顯得格外重要。

視覺伺服控制系統(tǒng)主要包括視覺系統(tǒng)、機器人控制器和機器人結(jié)構(gòu)系統(tǒng)。視覺伺服控制是把相機采集到的圖像信息作為反饋信號，圖像信息經(jīng)過處理后可用作感知機器人當前位置與目標物體之間的相對位置，將計算得到的控制信號傳入機器人控制器用來規(guī)劃機器人的運動軌跡，引導(dǎo)機器人到達指定的位姿，完成相應(yīng)的動作。目前視覺伺服控制主要研究基于位置的視覺伺服、基于圖像的視覺伺服及混合視覺伺服，國內(nèi)外學(xué)者對視覺伺服控制技術(shù)已經(jīng)做了較為深入的研究，但該技術(shù)在農(nóng)業(yè)機器人領(lǐng)域的研究應(yīng)用不多，且存在一些問題難以解決[1-7]。如基于位置的視覺伺服受結(jié)構(gòu)模型的參數(shù)誤差影響大，基于圖像的視覺伺服處理算法較為復(fù)雜等。本文結(jié)合經(jīng)典視覺伺服控制方法研究進展和原理，對比總結(jié)各種控制方法的優(yōu)缺點和研究重點，對關(guān)鍵問題分析解決方法，同時提出對采摘機器人適應(yīng)性強的視覺伺服控制技術(shù)，并對技術(shù)發(fā)展趨勢進行展望。

1 視覺伺服控制技術(shù)研究進展

機器人視覺伺服控制的概念最早于20 世紀80 年代被提出，之后逐漸成為機器人研究領(lǐng)域中的一項關(guān)鍵技術(shù)。視覺伺服控制技術(shù)包含計算機視覺、運動學(xué)和機器人控制等多個知識領(lǐng)域，國內(nèi)外學(xué)者對此已經(jīng)進行了廣泛的研究。1973 年，SHIRAI Y 等[1]首次提出研發(fā)利用視覺反饋來完成裝配工作的機器人。美國斯坦福研究所在20 世紀80 年代研究出一種典型的手眼系統(tǒng)機器人Shakey（圖1a），其通過不斷的迭代信息來完成相應(yīng)的動作規(guī)劃[2]。20 世紀90 年代，由于計算機硬件和相關(guān)算法的不斷升級，視覺伺服控制技術(shù)得到高效且快速發(fā)展。周堯[3]提出一種以Jaguar 移動機器人平臺為基礎(chǔ)，基于RGB-D 相機的eye-in-hand 采摘機器人視覺伺服控制系統(tǒng)（圖1b）。CHAUMETTE F 等[4-5]提出的視覺伺服控制相關(guān)方法對有關(guān)視覺伺服控制的研究提供了重要的指導(dǎo)作用。楊軍莉[6]完成了基于遺傳神經(jīng)網(wǎng)絡(luò)的6 關(guān)節(jié)工業(yè)機器人視覺伺服系統(tǒng)的設(shè)計。張德偉等[7]提出基于圖像單應(yīng)性矩陣的混合視覺伺服控制方法，使機器人在深度信息不足的情況下仍可精準到達指定位姿，完成相應(yīng)操作。

圖1 視覺伺服機器人Fig. 1 Visual servo robot

目前，視覺伺服控制技術(shù)主要應(yīng)用在易操作的制造業(yè)領(lǐng)域和工業(yè)領(lǐng)域，在復(fù)雜的農(nóng)業(yè)生產(chǎn)環(huán)境下，面向采摘機器人的視覺伺服控制技術(shù)研究較少且實用性不強。

2 基于位置的視覺伺服控制方法

基于位置的視覺伺服控制方法（position based visual servoing，PBVS），首先需要對機器人視覺系統(tǒng)進行標定，將相機得到的目標二維圖像信息轉(zhuǎn)化成相對于相機的三維位置信息，實現(xiàn)二維到三維空間的信息轉(zhuǎn)化，即把得到的圖像信息表達在三維笛卡爾坐標中。通過將反饋得到的實時目標位姿信息與給定的目標期望位姿信息相對比得到的誤差信號傳入視覺伺服控制器，機器人關(guān)節(jié)控制器利用處理后得到的控制信號來驅(qū)動機器人，實現(xiàn)機器人對目標的定位或跟蹤，形成系統(tǒng)的閉環(huán)控制，其結(jié)構(gòu)如圖2 所示。該方法的最大優(yōu)點是系統(tǒng)的誤差信號和控制信號都是定義在三維空間的位姿信息，機器人可以在笛卡爾空間里找到最優(yōu)的動作軌跡。

圖2 基于位置的視覺伺服控制結(jié)構(gòu)Fig. 2 Structure of PBVS

因為目標的位姿信息是根據(jù)圖像信息轉(zhuǎn)化得到的，因此PBVS 的控制精度跟機器人的結(jié)構(gòu)模型和相機系統(tǒng)標定有關(guān)，且對標定參數(shù)誤差敏感。LIU Y C 等[8]提出的線性模型相機標定法是傳統(tǒng)的三維空間標定方法，類似經(jīng)典的標定方法對標定環(huán)境要求較高且需要高精度的標定板，其信息轉(zhuǎn)化計算過程也較困難。近年來，隨著相關(guān)視覺技術(shù)的不斷升級，國內(nèi)外學(xué)者對相機標定技術(shù)的研究也取得了一定的成果。鄒朋朋等[9]提出一種基于畸變矯正與平面單應(yīng)性矩陣結(jié)合，可同步求解相機內(nèi)外參的雙目相機標定方法。LUIS R 等[10]提出利用最小二乘法對圖像數(shù)字化和鏡頭畸變引起的誤差進行建模，從而獲得特定點三維坐標的標定方法。陳文藝等[11]提出基于雙神經(jīng)網(wǎng)絡(luò)的相機標定方法，既遵循了成像模型又提高了相機標定精度。目前應(yīng)用較普遍的標定方法為張正友標定法，其標定精度高且操作過程相對容易[12]。

因為PBVS 是用期望位姿和實時估計位姿的差值作為視覺伺服控制器的輸入量，因此機器人的位姿估計和機械臂的控制是PBVS 的關(guān)鍵技術(shù)。

在位姿估計方面，ZHAO Chunhui 等[13]利用卡爾曼濾波獲取和跟蹤圖像特征點運動，從而可實現(xiàn)對多相機視覺系統(tǒng)的實時位姿估計。ZHANG Lijun 等[14]在分析了圖像特征點信息容易丟失的情況下，提出了利用擴展卡爾曼濾波的位姿估計方法。RUPP M 等[15]在擴展卡爾曼濾波的原有基礎(chǔ)上加入了自適應(yīng)和迭代環(huán)節(jié)，極大提高了位姿估計精度及系統(tǒng)魯棒性。劉安東等[16]提出了利用滾動時域估計的機械臂位姿估計方法，克服了機械臂作業(yè)的運動空間約束。

在機械臂控制方面，研究者已經(jīng)提出了許多有效的控制算法，如PID 控制、自適應(yīng)控制、魯棒控制和神經(jīng) 網(wǎng) 絡(luò) 控 制 等[17]。MARUTHUPANDI A 等[18]利 用 視 覺反饋的PID 控制方法對機械臂實現(xiàn)了位置跟蹤。KEIGHOBADI J 等[19]在基于位置的視覺伺服系統(tǒng)的基礎(chǔ)上加入了自適應(yīng)控制算法，保證了機械臂視覺伺服系統(tǒng)的魯棒性及穩(wěn)定性。BURGER W 等[20]設(shè)計了基于PBVS 的二階滑?？刂破鳎瑢崿F(xiàn)了對7 自由度機械臂的位姿控制。REZA R A 等[21]提出一種基于多目標粒子群優(yōu)化算法的最優(yōu)分數(shù)階模糊PID 方法，通過模糊控制器來控制雙連桿機械臂末端到達期望的位置。周孚成[22]提出基于狀態(tài)空間方程的H∞魯棒性控制方法，有效降低了系統(tǒng)結(jié)構(gòu)模型和外部擾動的不確定性所帶來的影響。

基于位置的視覺伺服控制技術(shù)在采摘機器人上的研究應(yīng)用并不多。金玉成等[23]提出基于RealSense 深度視覺的手眼協(xié)調(diào)策略來完成采摘機器人的視覺伺服控制。宋家慧等[24]提出基于回歸數(shù)據(jù)的采摘機器人視覺伺服策略研究，可以準確得到果實中心位置坐標，從而穩(wěn)定地控制末端執(zhí)行器完成采摘作業(yè)。PBVS 在農(nóng)業(yè)生產(chǎn)的非結(jié)構(gòu)環(huán)境下，每次應(yīng)用環(huán)境的改變都需要對系統(tǒng)進行重新標定，且該方法無法時刻保證機器人或者目標始終處于相機的視野范圍之內(nèi)，對采摘機器人的適應(yīng)性不強。

3 基于圖像的視覺伺服控制方法

基于圖像的視覺伺服控制方法（image based visual servoing，IBVS）是直接在圖像信息中計算誤差，將得到的實時圖像特征與給定的期望圖像特征作對比，得到的誤差信號傳入視覺伺服控制器，機器人控制器利用得到的控制信號對機器人進行動作規(guī)劃，使末端不斷調(diào)整自己的位姿，實現(xiàn)機器人對目標的定位或跟蹤，其結(jié)構(gòu)如圖3 所示。

圖3 基于圖像的視覺伺服控制結(jié)構(gòu)Fig. 3 Structure of IBVS

這種控制方法可以省去煩瑣的相機標定及三維重構(gòu)過程，有更好的伺服控制魯棒性。但因為誤差信號是定義在二維空間的，而機器人控制器的輸入信號是定義在三維空間，因此需要找出目標圖像特征參數(shù)變化率與機器人關(guān)節(jié)位姿變化率的映射關(guān)系，即圖像雅可比矩陣，但該矩陣求解計算量大且易存在奇異點和局部發(fā)散性，因此IBVS 控制精度和控制器的設(shè)計有很強關(guān)聯(lián)性。

雅克比矩陣是對多元函數(shù)一階求導(dǎo)后按照一定順序排列組成的矩陣，它可以達到讓多元非線性函數(shù)在期望點線性逼近的目的。機器人末端位姿的變化率和目標圖像特征參數(shù)變化率的關(guān)系、機器人關(guān)節(jié)位姿變化率和機器人末端位姿的變化率關(guān)系為

J即為目標圖像特征參數(shù)變化率和機器人關(guān)節(jié)位姿變化率的對應(yīng)關(guān)系，研究者們常把J稱為圖像雅克比矩陣或特征敏感矩陣。由此可以看出，圖像雅克比矩陣是隨著機器人位姿變化而變化的，并且在IBVS 中還需要求其逆矩陣，因此IBVS 的一大難點就是求解圖像雅克比矩陣。

求解雅克比矩陣常用的方法有解析法、在線估計法和學(xué)習(xí)法。解析法是通過已知結(jié)構(gòu)模型計算得到圖像空間特征關(guān)于機械臂末端位姿的表達式。在線估計法適用于結(jié)構(gòu)模型模糊或較復(fù)雜時，利用算法處理獲得的數(shù)據(jù)使得到的雅克比矩陣不斷估計調(diào)整，因此該方法初始值的選擇非常關(guān)鍵。學(xué)習(xí)法主要是利用人工神經(jīng)網(wǎng)絡(luò)不斷訓(xùn)練學(xué)習(xí)，從而更簡便地得到雅克比矩陣。

近些年來，劉廣瑞等[25]提出基于Kalman 濾波的方法對系統(tǒng)的雅克比矩陣進行在線估計。王博等[26]提出基于迭代最小二乘法的動態(tài)擬牛頓法對圖像雅克比矩陣進行估計。周孚成[22]提出基于H∞的粒子濾波估計算法，對圖像雅克比矩陣進行估計。梁喜鳳等[27]提出基于自適應(yīng)無跡卡爾曼濾波的圖像雅克比矩陣估計方法，有效減少了系統(tǒng)噪聲對圖像雅克比矩陣估計精度的影響。

為解決圖像雅可比矩陣奇異性問題，JIANG P 等[28]提出了一種基于奇異值分解的權(quán)值修正策略，可實現(xiàn)目標精確跟蹤。谷雨等[29]提出一種基于圖像矩陣的視覺伺服控制方法，有效解決了由于圖像局部特征改變從而導(dǎo)致圖像雅可比矩陣結(jié)構(gòu)改變和奇異性等難點。陽建峰[30]提出一種基于遺傳優(yōu)化RBF 神經(jīng)網(wǎng)絡(luò)的無標定視覺伺服控制方法，不需要求解圖像逆雅克比矩陣。

國內(nèi)IBVS 在采摘機器人上的研究應(yīng)用正處于初步階段。宋健[31]提出基于圖像的采摘機器人模糊視覺伺服控制系統(tǒng)研究，具有較好的時效性和魯棒性。趙慶波等[32]提出采用基于圖像的視覺伺服控制方法對采摘機器人進行控制，并引入模糊PID 控制方法，提高了系統(tǒng)的動、靜態(tài)性能。因為采摘機器人作業(yè)環(huán)境復(fù)雜多變，影響系統(tǒng)的噪聲更多，圖像特征信息更難確定且穩(wěn)定性不高，因此在復(fù)雜作業(yè)環(huán)境下IBVS 的控制器設(shè)計和實際應(yīng)用難度更大。

4 混合視覺伺服控制方法

混合視覺伺服控制方法（homography based visual servoing，HBVS）結(jié)合了基于位置和基于圖像兩種視覺伺服控制方法各自的優(yōu)點，以獲取的目標圖像特征的圖像坐標誤差和相機旋轉(zhuǎn)誤差作為機器人控制器的輸入信號，從而控制機器人到達指定的位姿，該方法不需要計算圖像雅可比矩陣，也保證了對于系統(tǒng)結(jié)構(gòu)模型和標定參數(shù)誤差的魯棒性。

MALIS 等[33]提出了首個基于位置和基于圖像的混合視覺伺服控制系統(tǒng)（2-1/2-D 視覺伺服系統(tǒng)），其中基于位置的視覺伺服和基于圖像的視覺伺服分別對機器人末端的旋轉(zhuǎn)和平移進行控制，其結(jié)構(gòu)如圖4 所示。2-1/2-D 視覺伺服方法，需要在事先獲取相機內(nèi)參的條件下，計算當前圖像與理想圖像對應(yīng)的單應(yīng)性矩陣，將單應(yīng)性矩陣分解為旋轉(zhuǎn)分量和平移分量反饋回控制器，對應(yīng)控制機器人末端的旋轉(zhuǎn)和平移，控制器輸入的誤差信號e 定義為

圖4 混合視覺伺服控制結(jié)構(gòu)Fig. 4 Structure of HBVS

這種伺服控制方法雖然不需要計算圖像雅可比矩陣，但是目標圖像對應(yīng)特征間的單應(yīng)性矩陣需要實時計算并且對其進行分解，其計算量大且復(fù)雜。除此之外，該方法還可能出現(xiàn)目標不在相機視野范圍內(nèi)的情況。在計算單應(yīng)性矩陣時，傳統(tǒng)的解法是采用線性最小二乘法估計。李嘉惠等[34]提出一種基于改進RANSAC 算法的單應(yīng)性矩陣估計方法，有效增加了正確匹配率，相對提高了單應(yīng)性矩陣的精度。吳柔莞等[35]提出一種基于具有修正功能的無監(jiān)督級聯(lián)單應(yīng)性估計算法，相比傳統(tǒng)方法，該方法具有更準確的估計能力。

國內(nèi)外都極少有學(xué)者研究混合視覺伺服的控制方法在采摘機器人上的應(yīng)用。徐同慶[36]提出基于圖像的視覺伺服控制和改進模糊神經(jīng)網(wǎng)絡(luò)的滑?？刂扑惴ㄏ嘟Y(jié)合的策略，有效提高了系統(tǒng)穩(wěn)定性和采摘機器人的工作效率。HBVS 結(jié)合了IBVS 和PBVS 的優(yōu)點，可以較大程度減小作業(yè)環(huán)境對采摘機器人的影響，總體對采摘機器人有更強的適應(yīng)性，因此該方法有更廣的應(yīng)用范圍和更好的應(yīng)用前景。

5 各視覺伺服控制方法對比

從當前視覺伺服控制的研究現(xiàn)狀看，常見的3 種視覺伺服控制方法各有優(yōu)缺點，對比如表1 所示。

表1 視覺伺服控制方法的優(yōu)缺點Tab. 1 Advantages and disadvantages of visual servo control methods

6 結(jié)束語

采摘機器人使用視覺伺服控制的目的是為了讓機器人末端執(zhí)行器能夠根據(jù)視覺系統(tǒng)提供的控制信息，按照最優(yōu)的軌跡精準運動到目標點，并利用采摘末端精確順利地摘下果實。而果樹種植地貌類型復(fù)雜多樣，因此采摘機器人開展工作的難度較大，受到的干擾也更多。相比之下，混合視覺伺服控制的方法更適合采摘機器人，其減弱了平移自由度與旋轉(zhuǎn)自由度之間的相互影響，從圖像空間與笛卡兒空間雙方面考慮問題，可以較大程度地降低復(fù)雜環(huán)境對機器人伺服控制系統(tǒng)的影響，有效改善了非結(jié)構(gòu)因素對機器人系統(tǒng)的干擾性和全局穩(wěn)定性，但當下該方法在采摘機器人上的研究應(yīng)用還不夠成熟，結(jié)合采摘對象的精確定位需求，視覺伺服控制技術(shù)在以下4 個方面還有待開展深入研究。

（1）為了使采摘機器人順利進行視覺伺服控制，必須保證目標時刻處于相機視野范圍內(nèi)，否則將直接導(dǎo)致伺服作業(yè)失敗。未來可以有針對性地研究使用多相機視覺系統(tǒng)來完成視覺伺服控制，這有助于拓寬機器人的活動空間和增強系統(tǒng)穩(wěn)定性。

（2）為了高效引導(dǎo)采摘機器人執(zhí)行采摘任務(wù)，在使用視覺伺服控制時必須考慮實時性問題，即需要快速、魯棒地處理獲得的圖像特征信息以控制機器人流暢地做出相應(yīng)的動作，因此除了提高硬件條件外，根據(jù)實際工作場景選擇適用性強的視覺算法和控制算法顯得尤為重要。

（3）采摘機器人視覺伺服控制的性能很大程度上取決于所選的圖像特征，不當?shù)奶卣鬟x擇可能將直接導(dǎo)致視覺伺服的失敗。因此，如何通過人工或自動選擇性能最優(yōu)且適量的特征，后續(xù)如何進行特征處理，以及如何把全局特征與局部特征有效結(jié)合起來并加以應(yīng)用，這些都需要進一步的研究。

（4）采摘機器人的工作環(huán)境復(fù)雜且多變，而傳統(tǒng)的采摘機器人視覺伺服控制系統(tǒng)主要都是基于視覺傳感器的伺服控制，視覺傳感器很容易受到環(huán)境突變的影響，需要處理的數(shù)據(jù)量大且工作范圍有限。為了使采摘機器人能更全面地感知工作環(huán)境且高效地完成作業(yè)，機器人系統(tǒng)有必要融合其他外部傳感器協(xié)同作業(yè)，實現(xiàn)多信息交互，從而擴展機器人的有效工作空間，提高控制性能。