摘要：虛擬夾具在提高人機(jī)協(xié)作手術(shù)的操作性能和安全性方面發(fā)揮著重要作用。然而，虛擬夾具一般是預(yù)先人工設(shè)計的，無法適應(yīng)操作者指定的技能?；趯κ中g(shù)數(shù)據(jù)的學(xué)習(xí)，本文提出了一種基于強(qiáng)化學(xué)習(xí)策略訓(xùn)練方法的機(jī)器人輔助眼科手術(shù)虛擬夾具控制的通用框架，來輔助醫(yī)生完成手術(shù)任務(wù)。虛擬夾具的執(zhí)行模塊經(jīng)過了重新設(shè)計，用來增強(qiáng)順應(yīng)性阻抗而不是固定阻抗，并且在從端生成了動態(tài)笛卡爾力反饋。技能學(xué)習(xí)模塊基于強(qiáng)化學(xué)習(xí)方法進(jìn)行虛擬夾具的調(diào)整以及配置優(yōu)化。本文提出的強(qiáng)化學(xué)習(xí)策略訓(xùn)練方法的有效性通過模擬白內(nèi)障撕囊實驗進(jìn)行評估。在所提出方法的幫助下，經(jīng)驗豐富醫(yī)生的操作精度提高了50.3%，新手醫(yī)生的操作精度提高了45.5%。在不花費更多執(zhí)行時間的情況下提高了性能，這表明了所提出的方法使虛擬夾具的冗余減少，并且提高了虛擬夾具對于經(jīng)驗豐富醫(yī)生和新手醫(yī)生的適應(yīng)性。

關(guān)鍵詞：強(qiáng)化學(xué)習(xí)；虛擬夾具；適應(yīng)性；機(jī)器人輔助眼科手術(shù)

中圖分類號： TP242.3文獻(xiàn)標(biāo)識碼： ADOI：10.3969/j.issn.1007-791X.2024.03.0030引言

機(jī)器人硬件機(jī)械臂和控制算法的進(jìn)步極大地推動了醫(yī)療機(jī)器人的研究進(jìn)展。機(jī)器人輔助手術(shù)系統(tǒng)結(jié)合了專門的靈巧機(jī)械手、手部震顫過濾和運(yùn)動縮放技術(shù)，通過減少附帶損傷和患者術(shù)后恢復(fù)時間來改善患者預(yù)后[1]。根據(jù)醫(yī)療機(jī)器人自主性的程度[2]，醫(yī)療機(jī)器人被劃分為0～5級6個自主等級，其中1級稱為機(jī)器人輔助，手術(shù)機(jī)器人在執(zhí)行任務(wù)時提供一些機(jī)械指導(dǎo)或協(xié)助，而手術(shù)的主動權(quán)由醫(yī)生全權(quán)掌握，微創(chuàng)手術(shù)一般采用1級的機(jī)器人系統(tǒng)和技術(shù)。在1級自主水平的背景下，虛擬夾具是提高輔助手術(shù)性能的主要控制方法。虛擬夾具是手術(shù)機(jī)器人系統(tǒng)中常用的一種人機(jī)協(xié)作方式，它可以通過提供虛擬力反饋來幫助操作員執(zhí)行手術(shù)任務(wù)。虛擬夾具可以分為引導(dǎo)型虛擬夾具和禁止區(qū)域型虛擬夾具。引導(dǎo)型虛擬夾具將運(yùn)動引導(dǎo)至預(yù)定義的路徑，而禁止區(qū)域型虛擬夾具將不希望的運(yùn)動限制在禁止區(qū)域。虛擬夾具的有效性在鼻部手術(shù)[3]、小兒內(nèi)窺鏡手術(shù)[4]、息肉解剖程序[5]、眼科手術(shù)[6]以及穿針和打結(jié)[7]中被證實。

在醫(yī)療機(jī)器人1級自主等級下，機(jī)器人輔助的性能取決于預(yù)定義的虛擬夾具模型的準(zhǔn)確性以及它是否與醫(yī)生的任務(wù)特征和操作技能相匹配。目前的主要挑戰(zhàn)是設(shè)計一種具有高適應(yīng)性和準(zhǔn)確性的虛擬夾具生成方法。如今，無輔助遙控機(jī)器人手術(shù)的操作精度大于10 mm，虛擬夾具輔助遙操作機(jī)器人手術(shù)的操作精度為2～5 mm[5，8]。但是眼科手術(shù)所需的精度需要小于0.5 mm[9]，需要虛擬夾具來提供更具體和有效的幫助。利用虛擬夾具輔助醫(yī)生操作時，虛擬夾具的參數(shù)需要通過實驗進(jìn)行手工調(diào)整，經(jīng)驗不同的醫(yī)生有不同的操作習(xí)慣，每次重新調(diào)整虛擬夾具參數(shù)的任務(wù)量大且不準(zhǔn)確。因此，賦予虛擬夾具以高度智能來自主適應(yīng)環(huán)境和操作技能是可行的。強(qiáng)化學(xué)習(xí)是一種處理順序決策問題的方法，通過與環(huán)境的交互迭代來自動更新策略，能夠賦予虛擬夾具一定程度的智能性。

強(qiáng)化學(xué)習(xí)具有很大的環(huán)境適應(yīng)性和自動學(xué)習(xí)能力，是用于描述并且解決智能體在與環(huán)境交互過程中獲得回報最大化的方法，因此在機(jī)器人領(lǐng)域的應(yīng)用也越來越廣泛。在之前的相關(guān)工作中，Liu提出了使用虛擬夾具的靈活人機(jī)協(xié)作方法[10]、Huang提出了雙向連續(xù)樹搜索和神經(jīng)網(wǎng)絡(luò)的路徑規(guī)劃方法[11]、Ni提出了一種用于手術(shù)器械語義分割的注意力引導(dǎo)網(wǎng)絡(luò)[12-13]來加強(qiáng)機(jī)器人輔助眼科手術(shù)的性能。

為了適應(yīng)醫(yī)生的操作習(xí)慣，本文提出了一種基于強(qiáng)化學(xué)習(xí)的框架來生成虛擬夾具，此框架融合在線訓(xùn)練的約束執(zhí)行模塊，采用強(qiáng)化學(xué)習(xí)策略動態(tài)調(diào)整阻抗系數(shù)，代替?zhèn)鹘y(tǒng)的彈簧模型和彈簧阻尼模型，能夠減少新手醫(yī)生和有經(jīng)驗的醫(yī)生在手術(shù)過程中的操作誤差以及操作時間。

1問題描述

全世界對于醫(yī)療機(jī)器人硬件和智能控制算法研究的逐漸深入和相互交叉使機(jī)器人輔助醫(yī)生完成精細(xì)復(fù)雜的手術(shù)操作成為可能，虛擬夾具作為協(xié)作式協(xié)助手段在醫(yī)療機(jī)器人方向的研究也日益普遍。但是針對更精密的眼科機(jī)器人手術(shù)，現(xiàn)有的虛擬夾具模型和生成算法在輔助適應(yīng)性方面存在巨大挑戰(zhàn)。利用虛擬夾具輔助醫(yī)生操作時，具體的模型參數(shù)通過實驗法手工調(diào)整，這種傳統(tǒng)方法一方面限制了虛擬夾具的參數(shù)空間和適應(yīng)性，另一方面，對于不同醫(yī)生的操作習(xí)慣和肌肉阻抗特征，每次重新調(diào)整虛擬夾具參數(shù)的任務(wù)量很大，且不一定準(zhǔn)確，不符合眼科手術(shù)的精準(zhǔn)度要求。因此，本文提出了一種機(jī)器人手術(shù)約束控制通用框架和基于強(qiáng)化學(xué)習(xí)的策略訓(xùn)練方法，以提取潛在的交互特征和操作技能，實現(xiàn)約束的自動配置，改善部分不良性能。

2基于強(qiáng)化學(xué)習(xí)的適應(yīng)性虛擬夾具設(shè)計

2.1基于強(qiáng)化學(xué)習(xí)的虛擬夾具生成框架

2.1.1控制系統(tǒng)構(gòu)成

基于強(qiáng)化學(xué)習(xí)的機(jī)器人手術(shù)約束控制通用框架如圖1所示，該框架的結(jié)構(gòu)可以分為三部分，分別是包含主機(jī)遠(yuǎn)程操作和交互模擬的用戶界面的機(jī)器人系統(tǒng)主端、執(zhí)行操作命令的機(jī)器人系統(tǒng)從端和工作站。該工作站的主要任務(wù)是策略學(xué)習(xí)和約束渲染。由于醫(yī)學(xué)術(shù)式特征和用戶操作技能特征是影響約束有效性的潛在因素，強(qiáng)化學(xué)習(xí)模塊試圖通過配置柔順的虛擬夾具匹配這些特征，從而為不同經(jīng)驗水平和操作習(xí)慣的醫(yī)生提供合適的輔助。為了實現(xiàn)這一點，本文通過對醫(yī)生操作數(shù)據(jù)的分析和學(xué)習(xí)，提出了機(jī)器人輔助眼科手術(shù)虛擬夾具控制的通用框架和強(qiáng)化學(xué)習(xí)策略訓(xùn)練方法。在變阻抗控制的基礎(chǔ)上施加虛擬夾具。因此，虛擬夾具工作站主要由阻抗控制器、約束幾何、碰撞檢測與力合成模塊和基于強(qiáng)化學(xué)習(xí)方法的動態(tài)約束決策模塊組成。

2.1.2基于強(qiáng)化學(xué)習(xí)的約束決策模塊

本文將約束空間中的時序運(yùn)算任務(wù)視為無后遺癥的隨機(jī)過程，簡化為馬爾可夫模型。笛卡爾任務(wù)空間對應(yīng)狀態(tài)空間，阻抗配置的約束參數(shù)對應(yīng)動作空間。在操作的過程中，約束Agent根據(jù)末端執(zhí)行器的位置生成虛擬夾具配置。致力于眼科手術(shù)的應(yīng)用，本文引入了改進(jìn)的強(qiáng)化學(xué)習(xí)算法來訓(xùn)練策略?；赟ARSA算法和一些提高學(xué)習(xí)性能的有效技術(shù)，本文提出了Double Expected SARSA（lambda）算法，方法有更高的安全性。與動態(tài)規(guī)劃相比，SARSA算法不需要環(huán)境的狀態(tài)轉(zhuǎn)換模型，并且與蒙特卡洛方法相比，它不需要完整的狀態(tài)序列，因此更加靈活。

SARSA（lambda）是一種保守的同策略時間序列差分強(qiáng)化學(xué)習(xí)算法，專注于每一個行為決策，該算法對錯誤很敏感，可以防止其做出危險選擇。在懸崖測試中，沿著懸崖邊行走最省時間，相比于貪婪策略，同策略的SARSA方法在懸崖測試中避開了貪婪但危險的行為，取得了更好的表現(xiàn)。在眼科手術(shù)中，部分手術(shù)禁止區(qū)域等同于懸崖，例如眼底黃斑前膜的夾取和撕除需要盡量避免接觸視網(wǎng)膜。交互作業(yè)中緊貼視網(wǎng)膜操作可以節(jié)省手術(shù)時間獲得更多獎勵，但平移操作中力控制困難，貼近視網(wǎng)膜操作易造成組織損傷，以SARSA方法為基礎(chǔ)進(jìn)行安全的虛擬夾具配置，可以抑制危險的手術(shù)操作。與單步策略更新方法不同，SARSA（lambda）更新策略是基于衰減參數(shù)更新路徑上采取的每一步驟。將路徑中較遠(yuǎn)的步驟視為次要步驟，減少了冗余步驟的權(quán)重。因此SARSA（lambda）可以更快更有效地學(xué)習(xí)到最優(yōu)策略。策略的更新如下：

δ←R+γQ（S′，A′）-Q（S，A），（1）

T（S，A）←T（S，A）+1，（2）

對于狀態(tài)集合中的每個狀態(tài)以及動作集合中的動作，Q表更新和T的更新形式如下：

Q（s，a）←Q（s，a）+αδT（s，a），（3）

T（s，a）←γλT（s，a），（4）

其中，T是資格跡，它用于存儲在路徑中執(zhí)行的每個步驟，以便在每次更新時更新前一個步驟。S是狀態(tài)，A是動作，δ是策略更新的值，α是學(xué)習(xí)速率，γ是折扣因子，λ是衰減參數(shù)。

為了減少隨機(jī)行為選擇所產(chǎn)生的方差，對策略更新的形式進(jìn)行了改進(jìn)，并利用值函數(shù)的期望值進(jìn)行策略更新。更新形式如下：

δ←R+γE［Q（S′，A′）|S′-Q（S，A）］，（5）

式（5）的等價形式為

其中，π是當(dāng)前狀態(tài)轉(zhuǎn)移的策略。

上述策略更新的方法中，策略以Q值最大化為目標(biāo)進(jìn)行更新，導(dǎo)致值函數(shù)出現(xiàn)正偏差。本文結(jié)合雙學(xué)習(xí)機(jī)制的解決方案來克服這一問題。樣本被分成兩個單元，用來學(xué)習(xí)兩個不同的估計值函數(shù)Q1（S，A），Q2（S，A）。其中一個用于生成最大化行為，另一個用于更新最大化行為對應(yīng)的行為值，以得到無偏估計。

δ1←R+γE［Q2（S′，Q1（S′，A））-Q1（S，A）］，（7）

Q1（S，A）←Q1（S，A）+αδ1T（S，A），（8）

δ2←R+γE［Q1（S′，Q2（S′，A））-Q2（S，A）］，（9）

Q2（S，A）←Q2（S，A）+αδ2T（S，A）。（10）

模擬白內(nèi)障撕囊術(shù)中使用的獎勵函數(shù)設(shè)置如下：

其中，tf、tr表示一次操作的執(zhí)行時間和預(yù)期執(zhí)行時間。Rf是成功完成實驗收獲的獎勵，手術(shù)執(zhí)行時間段tf接近預(yù)期時間段tr時，且累計操作偏差較小時，Rf取較大值。Ri是每一步的直接回報。er是最大允許運(yùn)行偏差，e是偏離參考路徑的瞬時偏差。

按照公式約束控制策略的訓(xùn)練的偽代碼如下所示：

2.2適應(yīng)性虛擬夾具

2.2.1人體手臂動力學(xué)模型

觸覺指導(dǎo)的人機(jī)交互過程是虛擬夾具技術(shù)的主要研究方面。為了滿足日益精細(xì)的手術(shù)任務(wù)需求，虛擬夾具需要為用戶提供更有價值的指導(dǎo)信息，直觀地匹配協(xié)同過程中潛在的特征，包括醫(yī)學(xué)術(shù)式特征和用戶操作技能特征。綜合以上特征進(jìn)行方法設(shè)計，本文利用阻抗函數(shù)來逼近虛擬夾具和人之間的理想交互動態(tài)，并替換靜態(tài)阻抗參數(shù)。

對用戶的操作技能評估和適宜其操作技能的約束評定主要基于如下場景。首先，在具體醫(yī)生操作技能薄弱區(qū)域，需要根據(jù)精度要求進(jìn)行局部約束調(diào)整，這對于有固有操作難點的新手醫(yī)生來說十分有效。其次，對不同熟練程度的手術(shù)環(huán)節(jié)，靈活的約束調(diào)整既可以保證手術(shù)精度也可以降低手術(shù)操作負(fù)擔(dān)。顯微外科手術(shù)提高了受約束任務(wù)的精度要求，較高的機(jī)器人阻抗有利于提升精細(xì)操作的表現(xiàn)。然而，為了系統(tǒng)穩(wěn)定，過度的約束阻抗必須加以限制。同時，對于大多數(shù)手術(shù)任務(wù)，高阻抗給操作人員帶來了額外的工作負(fù)擔(dān)，易導(dǎo)致操作疲勞影響手術(shù)狀態(tài)，也造成約束冗余。

研究表明人的手臂是一個無源阻抗系統(tǒng)，機(jī)器人系統(tǒng)的阻抗模式將直接影響操作。手握和手指結(jié)構(gòu)的運(yùn)動學(xué)模型可以簡化為7自由度模型。通過主動調(diào)整機(jī)器人系統(tǒng)中人機(jī)交互的阻抗方式，直接影響到人手的輸入，從而影響位置控制的精度和力的交互效果。另外，本文根據(jù)有經(jīng)驗醫(yī)生和新手醫(yī)生對手術(shù)的熟練程度，研究制定了針對醫(yī)生肌肉阻抗的虛擬夾具方案。

在笛卡爾阻抗空間中，采用融入學(xué)習(xí)的虛擬夾具方案，人機(jī)交互過程的動力學(xué)公式可以表示為

式中，K（q）是剛度函數(shù)，D（q）是阻尼函數(shù)，q是約束空間位置向量，pe為末端執(zhí)行器的位置向量，pd為末端執(zhí)行器的期望位置向量，τu為執(zhí)行器施加的參考力矩，τh為操作者施加的扭矩。

操作者所施加的力可以表示為

τh=KJ（p-pd），（15）

式中，KJ為關(guān)節(jié)剛度矩陣，可表示為

其中，τ是關(guān)節(jié)力矩矢量，q是關(guān)節(jié)角度矢量。

2.2.2約束執(zhí)行模型

阻抗控制作為一類高效的人機(jī)協(xié)作柔順控制方案，一般可以通過靈活的阻抗調(diào)節(jié)來實現(xiàn)物理交互任務(wù)。本文基于該方法生成了虛擬夾具，以控制機(jī)器人在期望動態(tài)關(guān)系下的運(yùn)動和接觸力。

為了建立動態(tài)虛擬夾具，并滿足全局約束幾何生成和阻抗調(diào)節(jié)，可將人機(jī)交互環(huán)境下機(jī)器人歐拉拉普拉斯動力學(xué)表示為

式中，M是慣性方陣，C是向心力和科里奧利力方陣，G是重力矢量，D是表示粘性摩擦力的方陣，τ是表示控制器施加的力的矢量，τc為機(jī)械手與環(huán)

采用彈簧-阻尼-質(zhì)量系統(tǒng)對被動機(jī)械手進(jìn)行簡化，模擬人與機(jī)械手柔性交互的期望動態(tài)阻抗：

其中，Md、Bd、Kd為正定方陣，表示期望系統(tǒng)阻抗的慣性、阻尼與剛度分量。

虛擬夾具控制器計算關(guān)節(jié)空間的力反饋，推導(dǎo)出系統(tǒng)動力學(xué)方程如下：

式中，τd為執(zhí)行器施加的期望反饋力矩。

采用精簡的阻抗動態(tài)解析方法，式（19）可以表示為

3基于強(qiáng)化學(xué)習(xí)的機(jī)器人手術(shù)輔助控制實驗3.1實驗平臺

對比實驗由5名經(jīng)驗豐富的醫(yī)生和5名新手醫(yī)生完成，實驗中每個基本測試執(zhí)行3次。通過實驗前的操作訓(xùn)練，使參與醫(yī)生基本熟悉手術(shù)訓(xùn)練系統(tǒng)的相關(guān)操作。訓(xùn)練過程顯示，經(jīng)驗豐富的醫(yī)生對相應(yīng)的手術(shù)過程掌握有熟練的操作技能，而新醫(yī)生對手術(shù)操作有習(xí)慣性操作失誤。機(jī)器人系統(tǒng)主側(cè)的觸覺裝置采用了Omega7，這是一種成熟的阻抗裝置，具有7自由度，滿足實驗的性能指標(biāo)要求。它支持完成實驗中虛擬夾具的配置，支持工作空間160×110 mm，230×140×180 deg操作，剛度14.5 N/mm，傳導(dǎo)力12 N。Omega7用于采集實驗中用戶輸入數(shù)據(jù)，完成遙操作眼科機(jī)器人手術(shù)操作交互。另外，虛擬夾具施加在此設(shè)備上，用于指導(dǎo)醫(yī)生的手術(shù)操作。

如圖2所示，實驗基于模擬手術(shù)平臺進(jìn)行，該平臺是為了測試虛擬夾具方案，并提供統(tǒng)一的觸覺信息接口而建立的。主界面包括可視化數(shù)據(jù)流和實時手術(shù)圖像。控制器采用多線程，包括執(zhí)行虛擬夾具的觸覺線程和接收約束決策模塊的可變阻抗線程。數(shù)據(jù)更新頻率為觸覺渲染4 000 Hz，可變阻抗渲染10 Hz，圖像渲染60 Hz。觸覺裝置用于收集醫(yī)生手術(shù)的實時數(shù)據(jù)。然后工作站根據(jù)約束幾何形狀和約束執(zhí)行策略計算觸覺力反饋。狀態(tài)空間對應(yīng)于10×10×5 mm3的三維笛卡爾任務(wù)空間，動作空間對應(yīng)于包含剛度和阻尼的虛擬夾具配置空間。剛度和阻尼限制在5 000 N/m和30 N/（m/s）。強(qiáng)化學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)來自于模擬手術(shù)平臺，強(qiáng)化學(xué)習(xí)決策模塊輸入為手術(shù)機(jī)器人的位姿，輸出為虛擬夾具計算的阻抗配置。根據(jù)醫(yī)生在模擬手術(shù)平臺的操作數(shù)據(jù)在線訓(xùn)練位姿-約束配置函數(shù)。

實驗的主要任務(wù)是通過模擬白內(nèi)障撕囊來評價所提出的方法。任務(wù)過程是在眼球前囊膜上完成一次環(huán)形撕囊，實現(xiàn)直徑6 mm的撕囊孔。在此過程中，利用不同的虛擬夾具配置方案計算虛擬力反饋，各向異性地抑制不理想的運(yùn)動分量，引導(dǎo)執(zhí)行器沿參考路徑運(yùn)動。操作觸點與手術(shù)器械的末端相對應(yīng)。實驗中，通過比較操作偏差和執(zhí)行時間的來評估不同虛擬夾具配置方法的性能。

3.2對比實驗設(shè)計

通過兩組對比實驗，分別評估提出方法對新手醫(yī)生和經(jīng)驗豐富醫(yī)生完成模擬白內(nèi)障撕囊手術(shù)的輔助效果。在每組對比實驗中，本文通過評估跟蹤軌跡和操作誤差，將所提出的基于強(qiáng)化學(xué)習(xí)的適應(yīng)性虛擬夾具方法的性能與其他三種基礎(chǔ)方法的性能進(jìn)行比較：

1） 僅運(yùn)動縮放：操作者在10倍工作空間縮放的輔助下，通過手握Omega7觸覺設(shè)備運(yùn)行完成模擬撕囊過程。

2） 結(jié)合運(yùn)動縮放與區(qū)域限制型虛擬夾具：設(shè)計直徑是7 mm，高度是3 mm的圓柱體操作空間，外部為禁止區(qū)域。在禁止區(qū)域內(nèi)通過各向異性的約束，對不利方向的運(yùn)動分量進(jìn)行限制。

3） 結(jié)合運(yùn)動縮放與引導(dǎo)型虛擬夾具：一個預(yù)先確定的參考路徑被設(shè)置為引導(dǎo)模型。吸引型約束作用于觸覺設(shè)備，來輔助用戶跟蹤預(yù)定義的路徑。

4） 結(jié)合運(yùn)動縮放與基于強(qiáng)化學(xué)習(xí)的適應(yīng)性虛擬夾具：采用提出的約束執(zhí)行模塊，并利用醫(yī)生操作數(shù)據(jù)訓(xùn)練約束配置智能。在手術(shù)過程中，虛擬夾具的阻抗由智能決策模塊實時配置。

3.3實驗結(jié)果與數(shù)據(jù)分析

理想的撕囊手術(shù)表現(xiàn)為晶狀體前囊上完整的、精確的、位于中央的圓形孔，直徑為6 mm。因此，撕囊軌跡形成一個6 mm直徑的標(biāo)準(zhǔn)圓是模擬白內(nèi)障撕囊手術(shù)的操作目標(biāo)。平均偏差和執(zhí)行時間是方法性能的評價指標(biāo)。一方面，跟蹤誤差的大小是評價不同方案輔助性能的主要依據(jù)。另一方面，單次手術(shù)執(zhí)行時間的延長提高了手術(shù)并發(fā)癥的風(fēng)險，延長了術(shù)后恢復(fù)時間，執(zhí)行時間同樣作為方案效果評價指標(biāo)之一。實驗測試了4種輔助方案，每一種方案的數(shù)據(jù)由3次嘗試獲得。圖3和圖4整理了有經(jīng)驗醫(yī)生和新手醫(yī)生在4種方案下實驗得到的跟蹤軌跡和操作誤差結(jié)果，它們代表不同虛擬夾具方案的輔助表現(xiàn)。

圖3是4種控制方案下經(jīng)驗豐富醫(yī)生的模擬白內(nèi)障撕囊手術(shù)的結(jié)果。引導(dǎo)型和提出的強(qiáng)化學(xué)習(xí)虛擬夾具方法有效地改善了手術(shù)表現(xiàn)。然而，引導(dǎo)型虛擬夾具導(dǎo)致了操作時間的顯著延長。由于引導(dǎo)型虛擬夾具在手術(shù)過程中對操作干擾度高，影響了醫(yī)生根據(jù)其熟練操作技能的正常操作?；趶?qiáng)化學(xué)習(xí)的適應(yīng)性虛擬夾具對操作表現(xiàn)良好的區(qū)域，采用低水平約束輔助，從而縮短手術(shù)操作時間。

圖4是4種控制方案下新手醫(yī)生模擬白內(nèi)障撕囊手術(shù)的結(jié)果。提出的強(qiáng)化學(xué)習(xí)虛擬夾具方法表現(xiàn)出最佳的輔助效果。新手醫(yī)生大多具有習(xí)慣性的操作弱點，如部分醫(yī)生在完成機(jī)器人輔助撕囊手術(shù)時出現(xiàn)九點鐘方向的操作偏差。如圖4所示，均勻的虛擬夾具不足以糾正新手醫(yī)生操作弱點帶來的偏差?；趶?qiáng)化學(xué)習(xí)的適應(yīng)性虛擬夾具對部分區(qū)域的高操作偏差非常敏感，這會導(dǎo)致很高的負(fù)面回報。因此，硬虛擬夾具配置在高操作偏差處讓醫(yī)生感受到更強(qiáng)的約束反饋，這將減少新手醫(yī)生習(xí)慣性的誤操作，幫助新手醫(yī)生在固定操作弱點區(qū)域更好的完成手術(shù)操作。

圖3和4中所示的操作誤差示意圖直觀比較了4種控制方案下的跟蹤誤差和操作時間。該誤差是比較執(zhí)行器末端位置到標(biāo)準(zhǔn)圓參考路徑的偏差來計算的。在沒有虛擬夾具輔助的情況下，自由操作的嘗試在手術(shù)操作中呈現(xiàn)高偏差，這將明顯增加后續(xù)撕囊手術(shù)的風(fēng)險。區(qū)域限制型虛擬夾具的輔助，可以有效地抑制較高的執(zhí)行偏差。此外，引導(dǎo)型虛擬夾具在花費更多手術(shù)時間的情況下，跟蹤結(jié)果顯示了較高的手術(shù)精度，但較長的手術(shù)時間提高了醫(yī)源性損傷風(fēng)險，增長了病患平均恢復(fù)時間?；趶?qiáng)化學(xué)習(xí)的虛擬夾具方法較好地克服了新手醫(yī)生在撕囊術(shù)中的習(xí)慣性誤操作，提高了手術(shù)的安全性和穩(wěn)定性。

4種控制方案下的模擬手術(shù)的平均操作誤差和手術(shù)執(zhí)行時間的詳細(xì)數(shù)據(jù)，如表1和表2所示。在基于強(qiáng)化學(xué)習(xí)的虛擬夾具方法輔助下，熟練醫(yī)生的平均誤差從0.431 mm減少到0.214 mm，減少了50.3%，新手醫(yī)生的平均誤差從0.525 mm減少到0.286 mm，減少了45.5%。同時，采用提出的虛擬夾具方案縮短了手術(shù)執(zhí)行時間，熟練醫(yī)生的執(zhí)行時間從35.7 s減少到29.6 s，減少了17.1%，新手醫(yī)生的執(zhí)行時間從38.7 s減少到34.5 s，減少了10.9%。

4結(jié)論

本文將人機(jī)交互過程中醫(yī)生的操作技能特點匹配于虛擬夾具的生成框架中，提出了一種基于醫(yī)生操作數(shù)據(jù)學(xué)習(xí)的機(jī)器人手術(shù)約束控制框架和強(qiáng)化學(xué)習(xí)策略訓(xùn)練方法，能夠適應(yīng)不同醫(yī)生的操作習(xí)慣和肌肉阻抗特征，經(jīng)驗豐富醫(yī)生操作準(zhǔn)確率提升了50.3%，新手醫(yī)生的操作準(zhǔn)確率提升了45.5%，減少了手動調(diào)整配置參數(shù)的工作量，提升配置效率，擴(kuò)展了約束的實際應(yīng)用，實現(xiàn)智能化的操作偏差補(bǔ)償。

參考文獻(xiàn)

[1] BOWYER S A，DAVIES B L，Y BAENA F R.Active constraints/virtual fixtures：a survey[J].IEEE Transactions on Robotics，2013，30（1）：138-157.

[2] YANG G Z，CAMBIAS J，CLEARY K，et al.Medical robotics-regulatory，ethical，and legal considerations for increasing levels of autonomy[J].Science Robotics，2017，2（4）：eaam8638.

[3] ZHENG Q，HE Y，QI X，et al.Automatic tracking motion based on flexible forbidden virtual fixtures design in robot assisted nasal surgery[C]//2018 IEEE 8th Annual International Conference on CYBER Technology in Automation，Control，and Intelligent Systems，Tianjin，China，2018：271-275.

[4] MARINHO M M，ISHIDA H，HARADA K，et al.Virtual fixture assistance for suturing in robot-aided pediatric endoscopic surgery[J].IEEE Robotics and Automation Letters，2020，5（2）：524-531.

[5] MOCCIA R，SELVAGGIO M，VILLANI L，et al.Vision-based virtual fixtures generation for robotic-assisted polyp dissection procedures[C]//2019 IEEE/RSJ International Conference on Intelligent Robots and Systems，Macau，China，2019：7934-7939.

[6] DRAELOS M，KELLER B，TANG G，et al.Real-time image-guided cooperative robotic assist device for deep anterior lamellar keratoplasty[C]//2018 IEEE International Conference on Robotics and Automation，Brisbane， Australia，2018：4013-4018.

[7] CHEN Z，MALPANI A，CHALASANI P，et al.Virtual fixture assistance for needle passing and knot tying[C]//2016 IEEE/RSJ International Conference on Intelligent Robots and Systems，Daejeon， Korea，2016：2343-2350.

[8] QUINTERO C P，DEHGHAN M，RAMIREZO，et al.Flexible virtual fixture interface for path specification in tele-manipulation[C]//2017 IEEE International Conference on Robotics and Automation，Singapore，2017：5363-5368.

[9] NAGY Z Z，KRNITZ K，TAKACS A I，et al.Comparison of intraocular lens decentration parameters after femtosecond and manual capsulotomies[J].Journal of Refractive Surgery，2011，27（8）：564-569.

[10] LIU W，SU Y，WU W，et al.An operating smooth man-machine collaboration method for cataract capsulorhexis using virtual fixture[J].Future Generation Computer Systems，2019，98：522-529.

[11] HUANG R J，BIAN G B，XIN C，et al.Path planning for surgery robot with bidirectional continuous tree search and neural network [C]//2019 IEEE/RSJ International Conference on Intelligent Robots and Systems，Macau，China，2019：3302-3307.

[12] NI Z L，BIAN G B，ZHOU X H，et al.Raunet：residual attention u-net for semantic segmentation of cataract surgical instruments [C]//International Conference on Neural Information Processing，Sydney，Australia，2019：139-149.

[13] NI Z L，BIAN G B，HOU Z G，et al.Attention-guided lightweight network for real-time segmentation of robotic surgical instruments [C]//2020 IEEE International Conference on Robotics and Automation，Paris， France，2020：9939-9945.

Design of adaptive virtual fixture for robot-assisted ophthalmic

surgery based on reinforcement learning

Abstract： Virtual fixture plays a significant role in enhancing manipulation performance and safety for man-machine collaborate surgery.However，the virtual fixture is pre-fixed and hand-designed，unable to adapt to the operator-specified skills.Based on the learning of surgical data，a general framework for virtual fixture control of robot-assisted ophthalmic surgery based on reinforcement learning policy training method is proposed to assist doctors to complete surgical tasks.The virtual fixture enforcement module is redesigned to reinforces compliant impedance rather than a fixed one and generates dynamic Cartesian force feedback on the client side.The skill learning module is carried out the virtual fixture adjusting and configuration optimization based on reinforcement learning method.The proposed method is evaluated by simulated cataract capsulorexis experiments.With the assistance of the proposed method，the performance of experienced doctors is enhanced in precision by 50.3%，to fresh doctors the precision is increased by 45.5%.The performance is enhanced without spending more execution time，which shows the proposed method enables the cutback of virtual fixture redundancy and the improvement of adaptability of virtual fixture to both experienced and fresh doctors.

Keywords： reinforcement learning;virtual fixture;adaptability;robot-assisted ophthalmic surgery