摘" 要： 在傳統(tǒng)的遙操作任務中，由于環(huán)境的不確定性和動態(tài)變化，傳統(tǒng)虛擬夾具面臨著實時適應環(huán)境變化的挑戰(zhàn)，這限制了其在多變環(huán)境中的應用范圍。為了解決這一問題，文中提出一種結合反向搜索可視圖路徑規(guī)劃算法與虛擬夾具技術的創(chuàng)新策略，以實現(xiàn)自適應虛擬夾具的構建和應用。搭建了基于觸覺設備Geomagic Touch和ABB公司的IRB 1410型機械臂的遙操作系統(tǒng)，在該系統(tǒng)上進行了路徑規(guī)劃對比實驗，并設計了具有突發(fā)情況的多組虛擬夾具對比實驗。實驗結果表明，這種自適應虛擬夾具有效地提高了遙操作系統(tǒng)在復雜環(huán)境中的適應能力，它不僅能夠保護遙操作系統(tǒng)免受意外傷害，還顯著提高了操作者的工作效率。研究結果證明了自適應虛擬夾具在提高遙操作系統(tǒng)靈活性和準確性方面的重要價值，為遙操作技術的進一步發(fā)展提供了有力的理論和實踐支持。

關鍵詞： 虛擬夾具； 遙操作； 機械臂； 路徑規(guī)劃； 觸覺； 共享控制； 自適應； 圖像采集； 運動控制

中圖分類號： TN911.73?34； TP249" " " " " " " " " 文獻標識碼： A" " " " " " " " " "文章編號： 1004?373X（2024）11?0118?07

Research on virtual fixture teleoperation combined with path planning

DING Shichan， ZHU Zhen， ZHONG Yongyan， CHEN Juan

（School of Electrical Engineering， Nantong University， Nantong 226019， China）

Abstract： In the traditional teleoperation tasks， due to the uncertainty and dynamic change of the environment， the traditional virtual fixture （VF） is faced with the challenge of adapting to the change of the environment in real time， which limits its application range in the changeable environment. In view of this， an innovative strategy combining reverse search viewable path planning algorithm and VF technology is proposed to realize the construction and application of adaptive VF. In this paper， a teleoperation system based on haptic device Geomagic Touch and ABB′s IRB 1410 robotic arm is set up， and a path planning contrast experiment is performed on the system， and multiple groups of VFs with unexpected situations are designed for contrast experiments. The experimental results show that the adaptive VF can effectively improve the adaptability of teleoperation system in complex environment. It can not only protect the teleoperation system from accidental damage， but also significantly improve the working efficiency of the operator. The research results prove the important value of adaptive VF in improving the flexibility and accuracy of teleoperation system， which provides strong theoretical and practical support for the further development of teleoperation technology.

Keywords： VF; teleoperation; robotic arm; path planning; sense of touch; shared control; self?adaptation; image acquisition; motion control

0" 引" 言

遙操作機器人是一種創(chuàng)新的交互模式，將人類智慧與遠程機器人的能力結合起來，從而拓展了人類的感知和作業(yè)范圍[1]。遙操作機器人用于幫助人們突破物理障礙阻隔，如超長距離操作（地空、深海操作）、有毒有害環(huán)境（核廢料、爆炸物處理）以及涉及到空間尺度變換場合（微納操作或大型機器操控）[2]。遙操作系統(tǒng)的控制方式根據(jù)主從端的連接形式和信息交換方式，可分為直接控制、監(jiān)督控制和共享控制[3]。其中，共享控制結合了直接控制的直接感知和監(jiān)督控制的從端自主智能，被認為是最理想的遙操作系統(tǒng)形式[4?5]。在共享控制策略中，虛擬夾具（Virtual Fixture， VF）作為一種關鍵的輔助工具，通過提供增強的引導力協(xié)助操作者按照特定路徑精確地操控遠程操作工具，從而有效提升遠程操作的性能[6]。

文獻[7]首次引入了虛擬夾具的概念，并通過遠程軸孔裝配實驗來驗證該技術的有效性。實驗表明，虛擬夾具可以幫助操作者更快速、更準確地完成任務。此后許多研究者開始探索虛擬夾具在其他領域的應用。文獻[8?9]在遙操作任務執(zhí)行前，根據(jù)操作者和任務的特點預先構建一系列虛擬夾具。使用隱式馬爾科夫模型學習操作者的行為，并在任務執(zhí)行過程中根據(jù)操作者的動作和概率進行匹配，以選擇合適的虛擬夾具。文獻[10]提出了一種基于視覺的機器人學習方法的遙操作虛擬夾具，通過學習專家的操作技能生成專家軌跡來訓練新手。文獻[11]針對白內障手術，提出了一種帶有虛擬夾具和虛擬力反饋的安全控制策略的主從式機器人系統(tǒng)，減少了手術對醫(yī)生經(jīng)驗的依賴。

上述的研究在系統(tǒng)設計初期就設置了多種虛擬夾具，以便在執(zhí)行任務時選擇最合適的夾具來輔助操作者。然而，這種方法由于任務的多樣性和虛擬夾具類型的固定性而受到限制。本文提出了一種新的方法，即基于路徑規(guī)劃算法自適應構建虛擬夾具。任務確定后，通過圖像識別和路徑規(guī)劃，并根據(jù)當前任務需求定制虛擬夾具，既保護系統(tǒng)，又輔助操作者。在已知環(huán)境的路徑規(guī)劃中，經(jīng)典方法如細胞分解和可視圖算法常被采用[12]。雖然這些傳統(tǒng)算法在搜索時間上可能不具優(yōu)勢，但它們能夠有效地找到地圖上的最短路徑。

因此，本文對可視圖路徑規(guī)劃算法進行改進，開發(fā)了一種高效的新型反向搜索可視圖算法。這種算法不僅有效地在地圖上尋找最短路徑，而且顯著提升了搜索速度，大幅縮短了所需時間。這項改進為虛擬夾具的高效構建提供了強大的技術支持，從而增強了其在遙操作系統(tǒng)中的實用性和靈活性。

1" 基于虛擬夾具的遙操作系統(tǒng)

基于虛擬夾具的遙操作系統(tǒng)的核心由四個主要模塊組成：主端控制模塊、從端控制模塊、觸覺交互模塊和視覺交互模塊，其系統(tǒng)原理框圖如圖1所示。

圖1中，從端攝像頭獲取到從端環(huán)境圖片，利用OpenCV對圖片中的障礙物進行處理，并規(guī)劃出從起點到終點的最短路徑，以圖像呈現(xiàn)給主端操作者；操作者利用該路徑信息操作主端操縱桿，虛擬夾具會根據(jù)操縱桿的位置信息（位移/速度）產(chǎn)生相應的牽引力或阻力；同時從端機器跟隨操縱桿動作，與環(huán)境接觸，感知接觸力；該接觸力與虛擬夾具生成的力疊加，作用于操縱桿，這樣操作者可以感受力反饋，并根據(jù)觸覺模塊提供的反饋來優(yōu)化控制。四個模塊的詳細功能及其在系統(tǒng)中的作用如下：

1） 主端控制模塊的觸覺設備負責收集操作者的運動信息和提供力反饋信息。通過這些設備，操作者可以感知和控制遠程機器人的動作。

2） 從端控制模塊包括一個或多個機械臂，這些機械臂在遠程環(huán)境中與物體直接交互。從端模塊的關鍵功能是將主端的運動指令通過觸覺設備和控制器映射到機械臂上，實現(xiàn)精確的遠程操作。

3） 觸覺交互模塊負責為操作者提供遠程機械臂交互中的觸覺感知。這一過程包括分析從端機械臂的力矩信息以獲取其與環(huán)境的接觸力，構建虛擬夾具并在模擬環(huán)境中設置特定的力學約束條件，以模擬真實的物理互動，最后結合從端機械臂的接觸力和虛擬夾具的力約束，通過觸覺設備向操作者提供相應的力反饋。

4） 視覺交互模塊的任務是將環(huán)境圖像傳輸?shù)斤@示器，并通過路徑規(guī)劃分析環(huán)境中的障礙物和目標區(qū)域，制定出最優(yōu)路徑，以確保遙控系統(tǒng)中的機械臂能夠安全、高效地到達目的地。這不僅減少了碰撞風險，也提高了操作的精確度和效率。

2" 反向搜索的可視圖路徑規(guī)劃算法

可視圖算法最早由文獻[13]提出，是解決多邊形障礙物中最短路徑問題的經(jīng)典方法?？梢晥D是一種緊湊的無向圖，通過記錄障礙物頂點之間的可用直線路徑，從而尋找從機器人初始位置到其目標位置的最短路徑。由于其用到的節(jié)點數(shù)量較多，導致算法規(guī)劃時間過長。

反向搜索可視圖算法基于可視圖路徑規(guī)劃，在其基礎上進行改進，實現(xiàn)在尋找最短路徑的同時縮短路徑規(guī)劃時間。其主要步驟包括：初始化、封閉矩形構建、新起點生成以及反向確定最短路徑等。

步驟1：初始化。反向搜索可視圖算法處理圖示意如圖2a）所示。其中，帶序號的多邊形代表障礙物，左下的叉點代表起始點[s]，右上的叉點代表終點[g]，虛線為起始點到終點的直線[L1]。

步驟2：在起始點和終點分別構建直角坐標系組成封閉矩形，完全在封閉空間外的障礙物無需考慮，經(jīng)過封閉空間處理可以減少小部分障礙物，一定程度上簡化了地圖。然后將其他障礙物的頂點按照順時針進行排序，如Ⅴ號障礙物。地圖處理如圖2b）所示。

步驟3：障礙物簡單處理后，開始正式構建可視圖。反向搜索可視圖算法的基本思想是在構建起始點與終點的直線[L1]后，依次處理穿過的障礙物，逐步生成可能的可視圖，最后找出最短路徑。如圖2c）所示，從左到右處理起始點與終點間的障礙物，圖中Ⅲ號障礙物阻礙了[L1]， 則起點[s]與Ⅲ號障礙物進行位置判斷，得出僅相交一次的交點[a1]和[a2]，并作為新的起始節(jié)點。

步驟4：重復上述步驟，直到得到起始點到終點的可用路徑，在所有路徑中取最短路徑即為反向搜索路線圖的目標路徑。

3" 自適應虛擬夾具

虛擬夾具是遙操作系統(tǒng)中的關鍵組件，分為剛性虛擬夾具和柔性虛擬夾具兩種類型[14]。剛性虛擬夾具通過對從端的運動施加嚴格限制，確保操作僅在指定空間內進行，并對任何超出范圍的運動提供剛性反饋。相對地，柔性虛擬夾具對從端的末端位置不設強制限制，允許在超出預設條件時在一定程度上執(zhí)行運動并提供適當?shù)牧Ψ答?，增加了操作的靈活性。剛性夾具適用于簡單、明確的任務，提高效率和精度；而柔性夾具則適用于復雜環(huán)境，能夠靈活處理突發(fā)情況并幫助避開障礙。本文提出的自適應虛擬夾具模型結合了這兩種夾具的優(yōu)勢，利用剛性夾具防止碰撞，同時通過柔性夾具指導和調整任務執(zhí)行，實現(xiàn)遙操作系統(tǒng)在不同場景下的高效和安全操作。

3.1" 剛性虛擬夾具建模

在考慮路徑規(guī)劃時，需要注意的是規(guī)劃出的路徑通常不包含寬度，這就要求在規(guī)劃路徑和構建剛性虛擬夾具時考慮到機器人末端的尺寸。為此，本文利用OpenCV對障礙物進行多邊形包圍，并在此基礎上向外擴展設定的偏移距離，這樣得到的擴展多邊形既作為剛性虛擬夾具的外觀尺寸，也用于路徑規(guī)劃中作為障礙物的參考。

多邊形擴充的頂點計算方式如下：當前頂點為[A（x，y）]，設定偏移長度為[l]，以頂點[A（x，y）]的兩條邊所組成的三角形的內心向外延伸，其偏移后的頂點為[A（xoffset，yoffset）]，當前頂點相鄰的頂點為[B（xp，yp）]和[C（xn，yn）]。

如圖3所示，已知偏移長度為[l]和[A（x，y）]，若能夠得到向量[AA]與[x]軸的夾角角度[∠α]，即可得到[A]的坐標值。

如圖3所示，通過角度與平行線的相關定理，可以得出：

[∠α=π2+∠p-∠n2]" （1）

由于頂點[ABC]的坐標已知，則可以得到：

[∠p=arctany-ypx-xp] （2）

[∠n=arctany-ynx-xn]" （3）

通過以上式子，[∠α]的計算與已知條件聯(lián)系起來，下面通過三角函數(shù)計算[∠α]的值：

[tan∠α=-tan∠p-∠n2]" （4）

[tan∠α=-sin∠n+sin∠p-cos∠n+cos∠p]" （5）

[∠α=arctansin∠n+sin∠pcos∠n-cos∠p] （6）

根據(jù)以上分析，已知偏移長度為[l]、頂點[A]的坐標[（x，y）]和角度[∠α]，[A]的坐標[（xoffset，yoffset）]計算如下：

[xoffset=x+l×cos∠α] （7）

[yoffset=y+l×sin∠α] （8）

實物圖進行輪廓擴充后效果如圖4所示，從圖4中可以看到擴充效果和預想效果一致。圖中障礙物外圍的黑色粗線為障礙物的多邊形輪廓，黑色細線為擴充后的障礙物范圍，左上角的點為起始點，右下角的點為終點。

以上述的擴充輪廓建立剛性虛擬夾具，對于機器人深入剛性虛擬夾具的運動不予執(zhí)行，并反饋給操作者較大的力覺反饋，能夠有效地保護機器人與障礙物的直接接觸，能夠有效地保證遙操作系統(tǒng)的安全運行。

3.2" 柔性虛擬夾具建模

在進行剛性虛擬夾具建模后，采用反向搜索可見圖算法進行路徑規(guī)劃，測試效果如圖5所示。圖中虛線路徑為改進的可見圖算法所有備選路徑，實線路徑為代價最小的路徑。

路徑確定后，柔性虛擬夾具根據(jù)該路徑創(chuàng)建輔助功能，通過生成一個基于胡克定律的力場環(huán)繞路徑。該力場的設計使得反饋力隨著與路徑距離的增加而增強。在操作者與路徑的距離較小時，由于主端設備的硬件特性，操作者可以清晰地感受到柔性虛擬夾具的輔助效果。然而，當距離增加到一定程度，硬件無法提供更大的力反饋時，柔性虛擬夾具會自動屏蔽那些會導致進一步偏離路徑的運動指令。

4" 系統(tǒng)實現(xiàn)及實驗驗證

4.1" 系統(tǒng)搭建

根據(jù)結合路徑規(guī)劃的虛擬夾具遙操作系統(tǒng)框圖構建了硬件上基于IRB 1410機械臂和Geomagic Touch的遙操作系統(tǒng)。從端包括攝像頭和IRB 1410機械臂，用來與環(huán)境進行交互；主端包括計算機和觸覺設備Geomagic Touch，完成與操作者的交互。遙操作系統(tǒng)實物如圖6所示，圖中左邊是主端，右邊是從端。

計算機通過3D system提供的QuickHaptics軟件工具包進行開發(fā)，調用相應API與觸覺設備Geomagic Touch進行數(shù)據(jù)交互以實現(xiàn)坐標讀取和力反饋控制；計算機獲取從端影像是通過OpenCV軟件庫訪問攝像頭IP地址并逐幀讀??；計算機通過建立Socket通信與IRB 1410機械臂進行數(shù)據(jù)交互，以實現(xiàn)獲取機械臂的實時參數(shù)及運動控制。

4.2" 遙操作實驗

4.2.1" 路徑規(guī)劃實驗

在圖7所示的任務環(huán)境中，操作者通過操作主端的觸覺設備，控制從端機械臂避開障礙物的前提下完成從左下角[S]點到右上角點[G]。

針對上述任務環(huán)境，首先采用反向搜索可視圖算法對上述任務進行路徑規(guī)劃。為了證明算法的有效性，除了將反向搜索路線圖算法和路線圖算法對比，實驗對比環(huán)節(jié)加入Informed RRT*算法。

4.2.2" 虛擬夾具實驗

在上述實驗完成路徑規(guī)劃的基礎上加入突發(fā)情況，如圖8所示，突然出現(xiàn)的障礙物在圖中由矩形框出。

為了明確看出柔性虛擬夾具的特點以及與剛性虛擬夾具進行對比，將柔性虛擬夾具指導實驗分為兩個不同彈性系數(shù)進行實驗。因此，共需進行4個實驗，在有突發(fā)情況的前提下開展，具體如下：

1） 無虛擬夾具輔助實驗；

2） 剛性虛擬夾具指導實驗；

3） [k]=0.03的柔性虛擬夾具指導實驗；

4） [k]=0.10的柔性虛擬夾具指導實驗。

4.3" 實驗結果與分析

4.3.1" 路徑規(guī)劃算法對比

算法對比實驗的設備運行環(huán)境如下：CPU為2.40 GHz的Intel i5?9300H，操作系統(tǒng)為64位的Windows 10家庭中文版20H2，RAM為8.00 GB。對比實驗在同一設備環(huán)境和圖7實驗場景下進行，路徑規(guī)劃對比圖如圖9所示。

在圖9中，同一實驗環(huán)境中，可視圖算法的子路徑是最多的，反向搜索可視圖算法子路徑是最少的；從最終規(guī)劃的路徑中則可以看出，可視圖算法和反向搜索可視圖算法規(guī)劃的路徑一樣，且較為規(guī)則，而Informed RRT*算法規(guī)劃的路徑則較為復雜。三種算法的搜索時間及路徑代價對比如表1所示。

從表1可以看出，運行時間的對比為反向搜索路線圖算法是最短的，約為路線圖算法的一半，且都比路線圖算法的運行時間低一個數(shù)量級；從路徑代價來看，路線圖算法和反向搜索路線圖算法都是最短路徑，都是優(yōu)于Informed RRT*算法規(guī)劃的路徑。

4.3.2" 虛擬夾具實驗對比

在實驗中，4個小實驗分別整理機械臂末端位置及主端操作者所受到的力反饋，結果如圖10所示，實驗對應完成的時間記錄如表2所示。其中，突發(fā)情況為規(guī)劃路徑上突然出現(xiàn)的障礙物，障礙物在[x]坐標等于800之后出現(xiàn)。

由圖10可看出，虛擬夾具在突發(fā)狀況的表現(xiàn)各不相同。從圖10a）可以看出，在遇到突發(fā)情況時，無虛擬夾具的影響，操作者能夠完美躲避障礙物完成任務。圖10b）中表示在遇到突發(fā)情況后只有預規(guī)劃的路徑，因為剛性虛擬夾具無法偏離預規(guī)劃路徑，故無法完成任務。圖10c）和圖10d）的柔性虛擬夾具，能夠給予操作者一定的自由，在遇到突發(fā)情況后，操作者能夠實現(xiàn)避障操作。在完成避障后，由于虛擬夾具的力反饋效果，操作者在虛擬夾具的輔助之下會很快回到預規(guī)劃的路徑上，其中彈性系數(shù)越大，操作者偏離路徑時付出的努力越多。

表2中，由于剛性虛擬夾具下操作者無法完成任務實驗，對實驗時間不進行分析。實驗時間對比中可以看出，在[k]=0.03的柔性虛擬夾具輔助下，實驗完成的時間最短，無虛擬夾具完成實驗所需的時間最長。對于兩個不同彈性系數(shù)的柔性虛擬夾具指導下的實驗，彈性系數(shù)小的柔性虛擬夾具輔助下的實驗時間最短。

5" 結" 論

構建一個遙操作系統(tǒng)，在該系統(tǒng)上對本文提出的方法進行實驗驗證，得到以下結論：

1） 反向搜索可視圖算法在運行時間上優(yōu)于一般的概率性路徑規(guī)劃算法，能夠遠遠小于同類型的路徑規(guī)劃算法，且保留了同類型算法能夠找到最短路徑的優(yōu)點。

2） 在無需避障的環(huán)境中，剛性虛擬夾具指導下的遙操作任務，能夠快速且準確地指導操作者完成任務，但是在需避障時，剛性虛擬夾具反而會起到反作用，甚至無法完成任務；其中操作者自主操作與柔性虛擬夾具指導下的操作，都可以較好地適應各種環(huán)境并完成任務，在柔性虛擬夾具的指導下，操作者完成任務的時間較短，可以看出柔性虛擬夾具對于提升操作者的任務執(zhí)行效率有一定的作用。

注：本文通訊作者為鐘永彥。

參考文獻

[1] EL RASSI I， EL RASSI J M. A review of haptic feedback in tele?operated robotic surgery [J]. Journal of medical engineering amp; technology， 2020， 44（5）： 247?254.

[2] NIEMEYER G， PREUSCHE C， STRAMIGIOLI S， et al. Telerobotics [M]// SICILIANO B， KHATIB O. Springer handbook of robotics. Heidelburg， Gernamy： Springer， 2016： 1085?1108.

[3] LUO J， LIN Z D， LI Y N， et al. A teleoperation framework for mobile robots based on shared control [J]. IEEE robotics and automation letters， 2020， 5（2）： 377?384.

[4] SELVAGGIO M， CACACE J， PACCHIEROTTI C， et al. A shared?control teleoperation architecture for nonprehensile object transportation [J]. IEEE transactions on robotics， 2022， 38（1）： 569?583.

[5] GOTTARDI A， TORTORA S， TOSELLO E， et al. Shared control in robot teleoperation with improved potential fields [J]. IEEE transactions on human?machine systems， 2022， 52（3）： 410?422.

[6] PRUKS V， RYU J H. Method for generating real?time interactive virtual fixture for shared teleoperation in unknown environments [J]. The international journal of robotics research， 2022， 41（9/10）： 925?951.

[7] ROSENBERG L B. Virtual fixtures： Perceptual tools for telerobotic manipulation [C]// Proceedings of IEEE Virtual Reality Annual International Symposium. New York： IEEE， 2020： 76?82.

[8] KRAGIC D， MARAYONG P， LI M， et al. Human?machine collaborative systems for microsurgical applications [J]. International journal of robotics research， 2005， 24（9）： 731?741.

[9] EKVALL S， AARNO D， KRAGIC D. Online task recognition and real?time adaptive assistance for computer?aided machine control [J]. IEEE transactions on robotics， 2006， 22： 1029?1033.

[10] SHARP A， PRYOR M. Virtual fixture generation for task planning with complex geometries [J]. Journal of computing and information science in engineering， 2021， 21（6）： 061001.

[11] YANG Y F， JIANG Z L， YANG Y Y， et al. Safety control method of robot?assisted cataract surgery with virtual fixture and virtual force feedback [J]. Journal of intelligent amp; robotic systems， 2020， 97（1）： 17?32.

[12] PATLE B K， PANDEY A， PARHI D R K， et al. A review： On path planning strategies for navigation of mobile robot [J]. Defence technology， 2019， 15（4）： 582?606.

[13] LOZANO?PéREZ T， WESLEY M A. An algorithm for planning collision?free paths among polyhedral obstacles [J]. Communications of the ACM， 1979， 22（10）： 560?570.

[14] 張韜.基于虛擬夾具的力反饋遙操作技術研究[D].北京：北京郵電大學，2014.