編者按 醫(yī)學(xué)與工程技術(shù)的融合發(fā)展是未來(lái)醫(yī)學(xué)的發(fā)展趨勢(shì)之一,工程技術(shù)的發(fā)展、儀器設(shè)備的更新?lián)Q代,將不斷促進(jìn)醫(yī)學(xué)的發(fā)展。當(dāng)前,機(jī)器人技術(shù)、大數(shù)據(jù)、5G通信技術(shù)、新材料等正在加速推進(jìn)醫(yī)學(xué)工程進(jìn)入“智慧醫(yī)學(xué)”領(lǐng)域,而醫(yī)療機(jī)器人是醫(yī)工融合的典型應(yīng)用。醫(yī)療機(jī)器人研究領(lǐng)域涉及醫(yī)學(xué)、生物學(xué)、計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)通信技術(shù)和機(jī)械等多個(gè)學(xué)科,其在醫(yī)學(xué)中的應(yīng)用能使手術(shù)更加精準(zhǔn)化、標(biāo)準(zhǔn)化、智能化、遠(yuǎn)程化,同時(shí)具有微創(chuàng)、安全、術(shù)后恢復(fù)快等優(yōu)勢(shì),因而具有較大的臨床應(yīng)用空間。
作為國(guó)內(nèi)第一本機(jī)器人外科學(xué)全學(xué)科學(xué)術(shù)期刊,本刊不僅聚焦機(jī)器人手術(shù)新技術(shù),也關(guān)注手術(shù)機(jī)器人研發(fā)領(lǐng)域新進(jìn)展、新成果。本期特開(kāi)設(shè)“醫(yī)工融合—醫(yī)療機(jī)器人研發(fā)”,以期搭建一個(gè)探討醫(yī)工交叉學(xué)科融合發(fā)展的學(xué)術(shù)交流平臺(tái)。
摘 要 自20世紀(jì)80年代中期機(jī)器人技術(shù)被引入到手術(shù)室以來(lái),醫(yī)生和研究人員就一直尋求把更高智能化的技術(shù)與機(jī)器人系統(tǒng)進(jìn)行結(jié)合。與常規(guī)手術(shù)相比,具有更高智能化的手術(shù)機(jī)器人系統(tǒng)往往需要具備更高的安全性和準(zhǔn)確性,并能夠通過(guò)配套的感知系統(tǒng)和當(dāng)前所處的手術(shù)階段來(lái)進(jìn)行決策調(diào)整。雖然完全自主的手術(shù)機(jī)器人系統(tǒng)距真正的臨床使用還有一定距離,但隨著技術(shù)的積累和發(fā)展,具備半自主和部分醫(yī)生參與決策的機(jī)器人智能技術(shù)會(huì)逐漸被引入到手術(shù)室,并為臨床手術(shù)的開(kāi)展提供了更好的平臺(tái)。本文主要對(duì)當(dāng)前機(jī)器人輔助手術(shù)及相關(guān)智能化技術(shù)的進(jìn)展進(jìn)行總結(jié)和展望。
關(guān)鍵詞 手術(shù)機(jī)器人;自主式操作;人工智能
中圖分類(lèi)號(hào) R608 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 2096-7721(2023)04-0281-18
Progress of autonomous technology on robot-assisted surgery
GUO Jing1, WU Di2, 3, CHENG Zhuoqi4, LI Changsheng5, LIU Chao6
(1. School of Automation, Guangdong University of Technology, Guangzhou 510006, China; 2. Technical University of Munich, Faculty of Mechanical Engineering, Munich 85748, Germany; 3. KU Leuven, Department of Mechanical Engineering, Leuven 3001, Belgium;
4. MMMI, Syddansk University, Odense 5230, Denmark; 5. School of Mechatronical Engineering, Beijing Institute of Technology, Beijing 100081, China; 6. LIRMM, University of Montpellier/Frerch National Center for Scpentific Research, Montpellier 34095, France)
Abstract Since the first introduction of robotic system into the operating room in the mid-1980s, surgeons and scientific researchers have been trying to integrate higher intelligent technologies with the robot-assisted surgery. Compared with traditional surgeries, the intelligent robotic surgical system should possess higher accuracy and safety, and be able to make decisions based on the results of matched sensing system and current surgical stage. Although fully autonomous robotic surgical systems are still far from real operating room, it is envisioned that the development of related technologies will enable the clinical application of semi-autonomous and partially surgeonscollaborated robotic systems, which would eventually lead to enhanced surgical platforms. In this paper, the current development of autonomy technologies in robot-assisted surgery was introduced and discussed.
Key words Surgical robot; Autonomous operation; Artificial intelligence
機(jī)器人自主性是指在執(zhí)行任務(wù)中由智能機(jī)器人系統(tǒng)完成部分或全部任務(wù),常被用到工業(yè)、服務(wù)業(yè)等領(lǐng)域。在機(jī)器人輔助手術(shù)中,合理地引入智能化技術(shù)也一直受到科研人員和臨床醫(yī)生的關(guān)注。機(jī)器人輔助手術(shù)操作必須保證安全和精準(zhǔn),因此機(jī)器人輔助手術(shù)系統(tǒng)需要充分感知環(huán)境和患者狀態(tài),并能夠在不同情況下做出決策,以適應(yīng)環(huán)境的變化。在手術(shù)操作中,有一部分比較容易實(shí)施的任務(wù)已經(jīng)得到了應(yīng)用,如減少手部動(dòng)作顫抖的工作;而另外一些自主式操作,如機(jī)器人輔助心臟消融或腫瘤切除等手術(shù),目前還需要在醫(yī)生的控制下開(kāi)展。當(dāng)前人工智能的發(fā)展還遠(yuǎn)遠(yuǎn)無(wú)法達(dá)到完全自主式手術(shù),但是半自主式機(jī)器人以其自動(dòng)執(zhí)行重復(fù)性操作等優(yōu)勢(shì),有助于醫(yī)生將注意力集中在重要的手術(shù)任務(wù)中,從而確保和提高手術(shù)治療效果[1]。而與實(shí)現(xiàn)手術(shù)機(jī)器人智能化操作任務(wù)相關(guān)的研究與技術(shù),如機(jī)器人設(shè)計(jì)與控制、醫(yī)學(xué)圖像處理集成、實(shí)時(shí)信號(hào)處理及人工智能和機(jī)器學(xué)習(xí)等,往往涉及多個(gè)領(lǐng)域,本文將會(huì)對(duì)這些技術(shù)分別進(jìn)行介紹。
1 自主式手術(shù)機(jī)器人
1.1 自主式的范疇
作為自主式范疇的基礎(chǔ),自動(dòng)化技術(shù)在手術(shù)機(jī)器人中的應(yīng)用范圍較為廣闊,根據(jù)用戶(hù)交互程度不同,可以分為直接/雙邊遙操作、共享控制或者監(jiān)督控制等。楊廣中等人[2]分析了醫(yī)療機(jī)器人的智能化程度,并將醫(yī)療機(jī)器人分為非自主式、輔助性自主、任務(wù)自主、有條件自主、高度自主和完全自主6個(gè)等級(jí)(分別對(duì)應(yīng)Level 0~5)。同時(shí),在ISO/IEC聯(lián)合工作組的討論和技術(shù)報(bào)告中也對(duì)自主式機(jī)器人技術(shù)進(jìn)行了類(lèi)似的6個(gè)等級(jí)的劃分[3]。
1.2 自主式手術(shù)機(jī)器人優(yōu)勢(shì)
自主式手術(shù)機(jī)器人可在手術(shù)過(guò)程中對(duì)一些手術(shù)任務(wù)進(jìn)行自主式處理。外科手術(shù)醫(yī)生擅長(zhǎng)對(duì)患者的處理進(jìn)行高水平的決策,但是不一定都具有執(zhí)行高精度任務(wù)的能力,尤其是長(zhǎng)時(shí)間操作后因疲憊而引起的手抖等因素,容易降低精細(xì)手術(shù)任務(wù)的穩(wěn)定性。而過(guò)度勞累的醫(yī)生往往會(huì)出現(xiàn)注意力不集中等問(wèn)題,還可能導(dǎo)致人為決策失誤等。機(jī)器人自主式操作則避免了此類(lèi)問(wèn)題的發(fā)生,能夠保證手術(shù)治療過(guò)程的標(biāo)準(zhǔn)和質(zhì)量。
與傳統(tǒng)人工手術(shù)相比,機(jī)器人手術(shù)系統(tǒng)能夠提供更大的靈活性[4],如目前應(yīng)用較為廣泛的達(dá)芬奇機(jī)器人手術(shù)系統(tǒng)已經(jīng)在臨床得到驗(yàn)證[5-6];醫(yī)學(xué)圖像導(dǎo)航技術(shù)輔助的內(nèi)窺鏡機(jī)器人和導(dǎo)管機(jī)器人(Hansen醫(yī)療系統(tǒng))[7]具備無(wú)需臨床醫(yī)生控制即可定位機(jī)器人末端來(lái)完成相關(guān)手術(shù)操作的潛在能力,不僅減少了醫(yī)生學(xué)習(xí)相關(guān)操作所花費(fèi)的時(shí)間[8],還可以使手術(shù)醫(yī)生避免受到X光機(jī)等透視設(shè)備產(chǎn)生的輻射[8-9]。
機(jī)器人輔助手術(shù)的自主性在醫(yī)院收治和處理患者方面也具備一定的優(yōu)勢(shì)。與傳統(tǒng)腹腔鏡相比,達(dá)芬奇機(jī)器人開(kāi)展手術(shù)過(guò)程中需要更多熟練的技術(shù)人員,如術(shù)中的助理人員等需要開(kāi)展組織取回、縫合、抽吸及消毒等操作。機(jī)器人系統(tǒng)如果可以自主完成以上部分操作,則一方面可以提高手術(shù)效率,讓醫(yī)生投入到更多的手術(shù)中;另一方面可以重新調(diào)配熟練手術(shù)人員投入到醫(yī)院其他區(qū)域,進(jìn)一步提高醫(yī)院運(yùn)行效率。
2 手術(shù)機(jī)器人臨床應(yīng)用及相關(guān)平臺(tái)
2.1 臨床應(yīng)用
目前投入臨床應(yīng)用的手術(shù)機(jī)器人根據(jù)應(yīng)用場(chǎng)景可大致分為骨科、心血管(導(dǎo)管介入)、神經(jīng)外科和腹腔鏡手術(shù)機(jī)器人等四大類(lèi)。外科手術(shù)領(lǐng)域的自動(dòng)化仍處于起步階段,信息的采集分析、手術(shù)計(jì)劃的制定和手術(shù)的執(zhí)行三個(gè)重要階段仍需大量的研究和積累[10]。在臨床應(yīng)用中,如何根據(jù)病患術(shù)前的影像數(shù)據(jù)制定治療方案,并根據(jù)患者組織結(jié)構(gòu)特征進(jìn)行匹配尤為重要。但是從術(shù)前到術(shù)中階段,患者的組織結(jié)構(gòu)可能會(huì)因生理運(yùn)動(dòng)或者移動(dòng)而發(fā)生一定偏移,對(duì)術(shù)前和術(shù)中信息匹配造成極大困擾。機(jī)器人自主手術(shù)早期應(yīng)用在骨科場(chǎng)景,是因?yàn)楣趋酪话惚徽J(rèn)為是非可形變結(jié)構(gòu)并且容易被操作。而針對(duì)軟組織操作的機(jī)器人自主手術(shù)尚在研究階段,主要由于軟組織容易發(fā)生形變,需要在術(shù)中采用多種手段將制定的手術(shù)規(guī)劃與實(shí)際軟組織環(huán)境進(jìn)行實(shí)時(shí)匹配與調(diào)整,而且相較于骨科手術(shù),其涉及更多的周邊血管和神經(jīng)組織。隨著技術(shù)的進(jìn)一步發(fā)展,面向軟組織的自主式手術(shù)機(jī)器人也會(huì)在更多的臨床場(chǎng)景中得到測(cè)試和應(yīng)用。
2.2 商用機(jī)器人系統(tǒng)
從1994年AESOP1000商業(yè)化開(kāi)始,國(guó)內(nèi)外至今已有多款外科手術(shù)機(jī)器人成功商業(yè)化(如圖1)。目前,部分商用手術(shù)機(jī)器人采用共享控制和監(jiān)督自治的系統(tǒng),已具備一定自主性。但是這類(lèi)產(chǎn)品所執(zhí)行的手術(shù)任務(wù)通常是常規(guī)性任務(wù),并且需要醫(yī)生在術(shù)前和術(shù)中的高度參與。這類(lèi)產(chǎn)品將機(jī)器人在運(yùn)算和機(jī)械化方面的優(yōu)勢(shì)與外科醫(yī)生的場(chǎng)景理解和高層次智能相結(jié)合,因此在臨床上得到了成功應(yīng)用。1991年在英國(guó)帝國(guó)理工大學(xué)開(kāi)發(fā)完成的Probot,屬于最早在外科手術(shù)中得到應(yīng)用的具備監(jiān)督自主的手術(shù)機(jī)器人系統(tǒng)之一。該機(jī)器人設(shè)計(jì)用于經(jīng)尿道鏡前列腺切除術(shù)。在機(jī)器人手術(shù)過(guò)程中,醫(yī)生可以通過(guò)控制緊急開(kāi)關(guān)來(lái)停止機(jī)器人實(shí)施預(yù)料外的動(dòng)作[11-12]。
Acrobot系統(tǒng)于1991年由帝國(guó)理工學(xué)院研究開(kāi)發(fā),并由Acrobot 有限公司負(fù)責(zé)其商業(yè)化[13]。
與Probot不同的是,Acrobot系統(tǒng)在操作過(guò)程中可以選擇醫(yī)生直接控制系統(tǒng),并且在手術(shù)過(guò)程中可以將機(jī)器人的運(yùn)動(dòng)限制在預(yù)先設(shè)計(jì)好的安全區(qū)域內(nèi)[13]。如果在手術(shù)過(guò)程中醫(yī)生的操作超出該安全區(qū)域,則會(huì)受到一定阻力,從而避免進(jìn)一步的錯(cuò)誤操作[14-15]。
ROBODOC和CyberKnife系統(tǒng)是分別用于骨科和立體定向放射外科等臨床應(yīng)用的具有監(jiān)督自治的手術(shù)機(jī)器人系統(tǒng)。這兩款機(jī)器人均利用術(shù)前影像數(shù)據(jù)進(jìn)行手術(shù)規(guī)劃,并可在術(shù)中執(zhí)行手術(shù)規(guī)劃的過(guò)程中不受到外界干擾(緊急情況下除外)。這兩款機(jī)器人的不同之處在于如何解決術(shù)前影像和術(shù)中患者之間的配準(zhǔn)問(wèn)題[16]。ROBODOC系統(tǒng)要求將患者固定,并利用術(shù)前影像來(lái)直接生成手術(shù)規(guī)劃;而CyberKnife則使用實(shí)時(shí)的成像和跟蹤技術(shù)來(lái)制定手術(shù)規(guī)劃,因此可以解決由于患者呼吸運(yùn)動(dòng)引起的移位等問(wèn)題[17-18]。
近些年,隨著國(guó)內(nèi)政策的促進(jìn)和臨床需求的增加,國(guó)產(chǎn)手術(shù)機(jī)器人也迅猛發(fā)展。上海微創(chuàng)醫(yī)療機(jī)器人(集團(tuán))股份有限公司于2014年開(kāi)始自主研發(fā)國(guó)產(chǎn)手術(shù)機(jī)器人系統(tǒng),截至2021年,
已經(jīng)成為世界上第2個(gè)臨床上適用的單孔術(shù)式腔鏡手術(shù)機(jī)器人,同時(shí)已完成用于注冊(cè)的全部臨床試驗(yàn)入組工作,成為國(guó)內(nèi)首個(gè)在泌尿外科領(lǐng)域完成多中心注冊(cè)臨床試驗(yàn)病例入組的國(guó)產(chǎn)腔鏡手術(shù)機(jī)器人。成立于2017年的深圳精鋒醫(yī)療科技股份有限公司則在多孔腹腔鏡手術(shù)機(jī)器人系統(tǒng)、單孔腹腔鏡手術(shù)機(jī)器人系統(tǒng)和超高清立體內(nèi)窺鏡3個(gè)技術(shù)方向上快速發(fā)展,均已在2021年進(jìn)入臨床試驗(yàn)階段。蘇州康多機(jī)器人有限公司成立于2014年,主要圍繞腹腔鏡微創(chuàng)手術(shù)機(jī)器人進(jìn)行研發(fā),目前已經(jīng)在進(jìn)行動(dòng)物實(shí)驗(yàn)和臨床試驗(yàn)。北京術(shù)銳有限公司成立于2014年,依托新1代柔性連續(xù)體機(jī)械臂的核心技術(shù),成為國(guó)內(nèi)第1家能夠完整、獨(dú)立自主研發(fā)第3代微創(chuàng)手術(shù)機(jī)器人系統(tǒng)的企業(yè),已完成大量動(dòng)物實(shí)驗(yàn),并正在開(kāi)展臨床注冊(cè)。隨著技術(shù)的完善和臨床的開(kāi)展,目前國(guó)內(nèi)外商用手術(shù)機(jī)器人將會(huì)在婦科、介入科、骨科、神經(jīng)外科等臨床場(chǎng)景逐漸得到廣泛的應(yīng)用。
2.3 科研機(jī)器人系統(tǒng)
外科手術(shù)自主化致力于提高系統(tǒng)的安全性和可靠性,并逐漸成為目前該領(lǐng)域的一個(gè)研究熱點(diǎn),吸引了眾多研究人員的關(guān)注。開(kāi)源的機(jī)器人系統(tǒng)則為促進(jìn)該領(lǐng)域研究的發(fā)展提供了較好的平臺(tái)。在真正進(jìn)入臨床試驗(yàn)之前,采用開(kāi)源研究平臺(tái)模擬手術(shù)過(guò)程并測(cè)試新的技術(shù)顯得尤為重要。本節(jié)將介紹幾種主流的開(kāi)源手術(shù)機(jī)器人平臺(tái)。
Da Vinci Research Kit(“達(dá)芬奇”研究工具包簡(jiǎn)稱(chēng)dVRK,如圖2)是基于第1代達(dá)芬奇外科手術(shù)機(jī)器人的系統(tǒng)提供的開(kāi)源控制系統(tǒng)[19],
并由美國(guó)Intuitive Surgical公司提供的硬件來(lái)作為研究工具。該系統(tǒng)包括2個(gè)主段操作手(Master)、2個(gè)進(jìn)入患者身體的機(jī)械臂(Slave)和1個(gè)高分辨率的內(nèi)窺鏡以及腳踏板等設(shè)備。目前,全世界已有超過(guò)三十多家高校擁有該平臺(tái),并在此平臺(tái)基礎(chǔ)上開(kāi)展了諸如清創(chuàng)術(shù)、組織切割等自主式手術(shù)任務(wù)的研究[20]。
Raven II手術(shù)機(jī)器人平臺(tái)是由華盛頓大學(xué)開(kāi)發(fā)的用于腹腔鏡微創(chuàng)手術(shù)的開(kāi)源機(jī)器人平臺(tái)(如圖3),目前由Applied Dexterity公司負(fù)責(zé)其商業(yè)化和管理。與dVRK不同,Raven II系統(tǒng)的初衷是鼓勵(lì)研究人員之間進(jìn)行跨學(xué)科和跨方向的合作以提高平臺(tái)的智能性與穩(wěn)定性[21]。Raven II系統(tǒng)包括兩個(gè)線(xiàn)驅(qū)動(dòng)的腹腔鏡臂,可以獨(dú)立安裝在手術(shù)部位的兩側(cè),并實(shí)現(xiàn)在一個(gè)空間內(nèi)4條機(jī)械臂協(xié)作完成手術(shù)。目前Raven II手術(shù)機(jī)器人系統(tǒng)已經(jīng)在全世界近18個(gè)高校和研究機(jī)構(gòu)完成安裝,并被用于腫瘤消融[22]和清創(chuàng)[23]等手術(shù)任務(wù)的自主性研究。
德國(guó)航天航空中心(German Aerospace Center)
研發(fā)的MiroSurge系統(tǒng)也是專(zhuān)用于腹腔鏡微創(chuàng)手術(shù)的研究平臺(tái)(如圖4)。該系統(tǒng)的大部分組件,包括位置傳感器等都安裝在機(jī)械手上。機(jī)械手整體重量較輕,可以安裝在天花板甚至墻壁上,具有較好的適應(yīng)性和通用性。盡管MiroSurge能夠開(kāi)展部分自主式手術(shù)操作,但是其研究團(tuán)隊(duì)目前尚未進(jìn)行相關(guān)的嘗試和推廣。
除了以上科研平臺(tái)外,國(guó)內(nèi)外也有研究組利用工業(yè)或者協(xié)作機(jī)械臂來(lái)開(kāi)展部分手術(shù)操作自主化的研究工作[24-25]。這類(lèi)機(jī)械臂在可操作性上為高層次自主式操作提供一定的支持,但很難被應(yīng)用到臨床。然而,其圍繞具體臨床需求所開(kāi)發(fā)的算法等相關(guān)研究仍具有一定的意義和價(jià)值,并可以被靈活應(yīng)用到不同機(jī)器人輔助手術(shù)平臺(tái)上,從而進(jìn)一步促進(jìn)應(yīng)用于不同臨床場(chǎng)景的手術(shù)機(jī)器人自主式技術(shù)的發(fā)展,同時(shí)對(duì)機(jī)器人系統(tǒng)的結(jié)構(gòu)、驅(qū)動(dòng)、感知和控制也提出了更高的要求。
3 自主式機(jī)器人輔助手術(shù)相關(guān)技術(shù)
3.1 機(jī)構(gòu)與驅(qū)動(dòng)
3.1.1 手術(shù)機(jī)器人機(jī)構(gòu)
手術(shù)機(jī)器人的機(jī)構(gòu)主要包括遠(yuǎn)心(Remote Center of Motion,RCM)機(jī)構(gòu)、串聯(lián)機(jī)構(gòu)、并聯(lián)機(jī)構(gòu)和連續(xù)體機(jī)構(gòu)等幾大類(lèi)[7, 26-28]。遠(yuǎn)心機(jī)構(gòu)是指機(jī)構(gòu)的輸出構(gòu)件可以圍繞空間中的某個(gè)固定點(diǎn)轉(zhuǎn)動(dòng)的機(jī)構(gòu)。典型的RCM機(jī)構(gòu)包括雙平行四邊形RCM機(jī)構(gòu)和雙同步帶RCM機(jī)構(gòu)。其中,雙平行四邊形RCM機(jī)構(gòu)結(jié)構(gòu)簡(jiǎn)單,剛度和精度較高,如“神刀華佗”微創(chuàng)手術(shù)機(jī)器人[26]和“華鵲I”型腹腔鏡手術(shù)機(jī)器人均采用了該類(lèi)型機(jī)構(gòu)[29]。雙同步帶RCM機(jī)構(gòu)關(guān)節(jié)數(shù)和連桿數(shù)較少、結(jié)構(gòu)緊湊,如Da Vinci Surgical System[30]和“Revo-I”[31]微創(chuàng)手術(shù)機(jī)器人;串聯(lián)機(jī)構(gòu)由一系列結(jié)構(gòu)簡(jiǎn)單的單自由度剛性關(guān)節(jié)串聯(lián)而成,如天津大學(xué)的“妙手S”機(jī)器人[27];并聯(lián)機(jī)構(gòu)是由多個(gè)并行鏈構(gòu)成的閉環(huán)機(jī)構(gòu),具有移動(dòng)慣量小和可精確控制的特點(diǎn)。LI C等人[28]以3-PRS并聯(lián)機(jī)構(gòu)為基礎(chǔ),結(jié)合超彈性鎳鈦合金桿研發(fā)了一種柔性并聯(lián)機(jī)構(gòu),并應(yīng)用于自然腔道手術(shù)機(jī)器人。沈桐等人[4]通過(guò)兩個(gè)解耦并聯(lián)機(jī)構(gòu),提出了一種新型混聯(lián)的腹腔鏡手術(shù)機(jī)器人;連續(xù)體機(jī)構(gòu)是由具有連續(xù)切向量曲線(xiàn)的材料構(gòu)成的可執(zhí)行機(jī)構(gòu),利用材料的彈性變形來(lái)傳遞運(yùn)動(dòng)和力,如卡內(nèi)基·梅隆大學(xué)研發(fā)的用于心臟外科手術(shù)的微創(chuàng)手術(shù)機(jī)器人系統(tǒng)(HARP)[15-16]已成功應(yīng)用于心臟外膜手術(shù),以及XU K等人[7]研發(fā)的用于單孔腹腔鏡手術(shù)的機(jī)器人系統(tǒng)(SURS)。
3.1.2 手術(shù)機(jī)器人驅(qū)動(dòng)
手術(shù)機(jī)器人的驅(qū)動(dòng)方式主要包括繩驅(qū)動(dòng)、智能材料驅(qū)動(dòng)、流體驅(qū)動(dòng)和磁驅(qū)動(dòng)4種[8, 32-34]。
繩驅(qū)動(dòng)作為一種柔性傳動(dòng),可以通過(guò)柔性套管和滑輪傳遞動(dòng)力,具有質(zhì)量輕和生物相容性好等優(yōu)點(diǎn),廣泛應(yīng)用于各類(lèi)外科手術(shù)機(jī)器人。如用于腹腔鏡手術(shù)的達(dá)芬奇EndoWrist微創(chuàng)手術(shù)機(jī)器人[9]。智能材料驅(qū)動(dòng)是通過(guò)智能材料的形變來(lái)驅(qū)動(dòng)手術(shù)器械末端執(zhí)行器。典型的智能材料,如形狀記憶合金(Shape Memory Alloy,SMA)在溫度改變時(shí)能夠發(fā)生有規(guī)律的形狀變化,通過(guò)調(diào)控溫度實(shí)現(xiàn)對(duì)SMA的形狀控制?;赟MA驅(qū)動(dòng),YUAN X等人[32]提出了腹腔鏡微創(chuàng)手術(shù)機(jī)器人。流體驅(qū)動(dòng)具有和繩驅(qū)動(dòng)相同的特性。由于流體具有高靈活性,流體通過(guò)導(dǎo)管可以驅(qū)動(dòng)微創(chuàng)器械的末端執(zhí)行器,如Eastwood K等人[33]利用微型高純度硅膠管和鍍銀編織網(wǎng)制成10個(gè)可收縮的流體驅(qū)動(dòng)執(zhí)行器。磁驅(qū)動(dòng)通過(guò)使用移動(dòng)的外部永磁體或電磁體驅(qū)動(dòng)內(nèi)部磁體,將動(dòng)力和扭矩從外部單元通過(guò)腹壁傳送到內(nèi)部執(zhí)行單元,如Garbin K等人[34]提出了一種基于局部磁驅(qū)動(dòng)(Local Magnetic Actuation,LMA)的單自由度腹腔鏡組織牽開(kāi)器。
3.2 感知與規(guī)劃
機(jī)器人感知系統(tǒng)利用搭載的傳感器將機(jī)器人內(nèi)部狀態(tài)信息及復(fù)雜手術(shù)環(huán)境從物理信號(hào)轉(zhuǎn)變?yōu)橛行?shù)據(jù)信息。獲取的信息在自主化手術(shù)中用于匹配術(shù)前規(guī)劃、實(shí)現(xiàn)閉環(huán)反饋運(yùn)動(dòng)控制、判斷系統(tǒng)狀態(tài)傳遞、技能增強(qiáng)學(xué)習(xí),以及其他相關(guān)手術(shù)記錄和人機(jī)交互等。
對(duì)手術(shù)器械的精準(zhǔn)定位是實(shí)現(xiàn)手術(shù)自主化及保證手術(shù)安全的必要條件。由于手術(shù)機(jī)器人的執(zhí)行末端往往具有較大的柔順性,通過(guò)逆運(yùn)動(dòng)學(xué)推導(dǎo)其空間位置很難保證自動(dòng)化手術(shù)的精度要求,最常用的方式是通過(guò)內(nèi)窺鏡進(jìn)行視覺(jué)圖像處理來(lái)獲取跟蹤器械的位置[35-36]。近年來(lái),隨著深度學(xué)習(xí)的迅速發(fā)展,大量的研究也在關(guān)注如何利用深度神經(jīng)網(wǎng)絡(luò)從圖像中分割并估算器械位姿[37-40]。此外,對(duì)設(shè)備的定位方法還包括通過(guò)加裝激光發(fā)射器[41]、射頻標(biāo)簽[42]以及磁定位[43]等。
在手術(shù)過(guò)程中,軟組織由于呼吸脈搏等生理運(yùn)動(dòng)以及與器械交互時(shí)會(huì)導(dǎo)致形變移位,對(duì)軟組織進(jìn)行實(shí)時(shí)定位是機(jī)器人自主手術(shù)操作的一個(gè)研究重點(diǎn)。目前研究的熱點(diǎn)是通過(guò)視覺(jué)算法對(duì)內(nèi)窺鏡的視覺(jué)圖像進(jìn)行重構(gòu)和位置估算[44]。針對(duì)軟組織的周期性運(yùn)動(dòng),Moreira P等人[45]和Bebek O等人[46]分別提出通過(guò)監(jiān)測(cè)器械接觸力與利用超聲波傳感對(duì)目標(biāo)軟組織位置進(jìn)行實(shí)時(shí)跟蹤與控制補(bǔ)償。
另外,手術(shù)機(jī)器人在執(zhí)行任務(wù)的過(guò)程中需要對(duì)目標(biāo)組織(例如病變組織)進(jìn)行精確識(shí)別,相關(guān)的研究工作集中于開(kāi)發(fā)觸覺(jué)[47-50]與視覺(jué)[51]的感知技術(shù)。為增強(qiáng)目標(biāo)組織的成像對(duì)比度,特別是血管與淋巴,術(shù)中熒光顯像的技術(shù)方法正被普遍使用[52]。除上述方法外,Cheng Z 等人[53-54]
提出通過(guò)測(cè)量生物組織電屬性識(shí)別不同組織的方法,來(lái)驗(yàn)證對(duì)深層病變組織探測(cè)的可行性。
對(duì)手術(shù)機(jī)器人感知的相關(guān)研究工作還包括對(duì)傳感信息進(jìn)行整合,并提出更準(zhǔn)確高效的測(cè)量方法。有研究提出了主動(dòng)搜索(Active Search)的感知方法,將已測(cè)量的結(jié)果作為前提判斷下一個(gè)測(cè)量點(diǎn),實(shí)現(xiàn)對(duì)區(qū)域搜索過(guò)程的優(yōu)化[55-57]。此外,針對(duì)多通道傳感信息的融合方法,LI Y等人[58]和Ren H等人[59]提出了相關(guān)系統(tǒng)構(gòu)架和算法設(shè)計(jì)。
3.3 控制與學(xué)習(xí)
3.3.1 控制方式
手術(shù)機(jī)器人控制的最簡(jiǎn)單形式是執(zhí)行用戶(hù)預(yù)先定義的軌跡或操作,且不會(huì)在術(shù)中更新計(jì)劃。為安全起見(jiàn),醫(yī)生會(huì)全程監(jiān)控這一過(guò)程的實(shí)施。這一控制形式通常需要一個(gè)精準(zhǔn)的標(biāo)定程序,因此常用于骨科手術(shù)或神經(jīng)外科手術(shù)中[60]。
主從控制是現(xiàn)有腹腔鏡手術(shù)機(jī)器人和腔內(nèi)介入機(jī)器人中常用的控制方式[61]。該控制方式由主手和從手兩部分構(gòu)成,醫(yī)生通常位于主手端,而手術(shù)機(jī)器人的末端執(zhí)行器作為從手端。從手端通常擁有較高的自由度,以實(shí)現(xiàn)復(fù)雜的手術(shù)操作。從手能夠復(fù)現(xiàn)主手的動(dòng)作,同時(shí)從手的位置信息及手術(shù)環(huán)境也會(huì)以視覺(jué)信息等反饋方式傳遞給醫(yī)生[62]。這一控制方式使醫(yī)生能夠遠(yuǎn)程完成手術(shù),減輕電離輻射對(duì)于醫(yī)生的傷害,降低醫(yī)生的體力消耗,也提高了手術(shù)的精度和安全性[63]。在上述兩種控制方式中,手術(shù)機(jī)器人沒(méi)有提供任何輔助或?qū)б?,僅機(jī)械地執(zhí)行或復(fù)現(xiàn)醫(yī)生的命令,因此均屬于直接非自主式 (Level 0)的范疇[2, 64]。
實(shí)現(xiàn)更高程度的自動(dòng)化有助于輔助醫(yī)生更好地開(kāi)展手術(shù)。輔助控制是指機(jī)器人能夠?yàn)獒t(yī)生提供主動(dòng)的輔助。在輔助控制中,手術(shù)機(jī)器人并沒(méi)有能力去自主執(zhí)行任務(wù),醫(yī)生仍然持續(xù)控制系統(tǒng),手術(shù)機(jī)器人僅提供輔助或?qū)б?,或是?duì)醫(yī)生的操作做出反應(yīng)。輔助控制比直接控制擁有更高的自動(dòng)化程度,其自動(dòng)化程度介于輔助性自主 (level 1)和任務(wù)自主(level 2)之間[2]。
輔助控制中一個(gè)例子是主動(dòng)運(yùn)動(dòng)補(bǔ)償。手術(shù)效果會(huì)受到患者呼吸或心跳等周期運(yùn)動(dòng)的影響,所以如果能夠主動(dòng)補(bǔ)償這些運(yùn)動(dòng),將會(huì)減少手術(shù)機(jī)器人執(zhí)行器和環(huán)境的不必要接觸,從而提高手術(shù)的效果。Ruszkowski A等人[65]針對(duì)冠狀動(dòng)脈旁路移植手術(shù),基于達(dá)芬奇手術(shù)機(jī)器人實(shí)現(xiàn)了心跳運(yùn)動(dòng)的補(bǔ)償,這一方法可以讓醫(yī)生在手術(shù)機(jī)器人的幫助下顯著降低手術(shù)時(shí)長(zhǎng)。Yuen S G等人[66]對(duì)二尖瓣環(huán)的運(yùn)動(dòng)進(jìn)行了建模,并據(jù)此模型設(shè)計(jì)了一款運(yùn)動(dòng)補(bǔ)償裝置以幫助醫(yī)生實(shí)現(xiàn)在運(yùn)動(dòng)二尖瓣上的操作。
輔助控制中的另一個(gè)重要例子是主動(dòng)約束。主動(dòng)約束是由軟件生成的約束,它可以通過(guò)視覺(jué)、力覺(jué)或聽(tīng)覺(jué)對(duì)操作者提供反饋來(lái)實(shí)現(xiàn)輔助控制,亦或是直接將手術(shù)機(jī)器人的運(yùn)動(dòng)范圍限定在一個(gè)預(yù)先定義好的區(qū)域內(nèi)部,或是引導(dǎo)機(jī)器人按照設(shè)定好的軌跡進(jìn)行運(yùn)動(dòng)[67]。主動(dòng)約束可以在縫合等手術(shù)任務(wù)中提高手術(shù)效率[68]。
隨著圖像處理和視覺(jué)傳達(dá)相關(guān)技術(shù)的發(fā)展,視覺(jué)伺服也作為一種輔助控制技術(shù)被運(yùn)用在外科手術(shù)中。在視覺(jué)伺服中,經(jīng)由各種成像方式獲取手術(shù)器械及周?chē)h(huán)境的信息,這些信息也會(huì)被進(jìn)一步地用于手術(shù)機(jī)器人的閉環(huán)控制中。鑒于手術(shù)視覺(jué)伺服針對(duì)成像方式實(shí)時(shí)性要求,目前可采用的成像方式有超聲圖像、MRI、內(nèi)窺鏡圖像、X線(xiàn)、CT等[69]。目前一個(gè)代表性的相關(guān)研究是自主式內(nèi)窺鏡攝像頭的運(yùn)動(dòng),例如Krupa A等人[70]利用視覺(jué)伺服實(shí)現(xiàn)了自動(dòng)將手術(shù)器械置于內(nèi)窺鏡圖像的中心。
3.3.2 自主式手術(shù)
盡管在骨科和神經(jīng)外科手術(shù)機(jī)器人系統(tǒng)中,監(jiān)督自主機(jī)器人手術(shù)的方式已經(jīng)得到了驗(yàn)證和應(yīng)用,但在腹腔鏡手術(shù)機(jī)器人中的自主式操作仍處于探索和研究階段。隨著腹腔鏡手術(shù)過(guò)程中有用數(shù)據(jù)的大量積累以及對(duì)自主式操作標(biāo)準(zhǔn)和分類(lèi)的完善,未來(lái)自主式腹腔鏡手術(shù)機(jī)器人程序有望得到一定的推進(jìn)[2, 17]。但是針對(duì)軟組織或者具有生理運(yùn)動(dòng)特性器官操作環(huán)境下的自主式手術(shù)機(jī)器人技術(shù)尚存挑戰(zhàn),主要集中于信息獲取和任務(wù)執(zhí)行等方面。因此大量的研究工作正在圍繞下一代認(rèn)知型手術(shù)機(jī)器人開(kāi)展,以期解決上述難題[71]。以下將從信息獲取和任務(wù)執(zhí)行兩方面進(jìn)行簡(jiǎn)單闡述。
3.3.2.1 信息獲取
視覺(jué)反饋是機(jī)器人輔助手術(shù)中最直接獲取信息的來(lái)源,包括術(shù)野中組織、器官和手術(shù)器械等。對(duì)操作過(guò)程中視覺(jué)和運(yùn)動(dòng)信息的分割與理解將進(jìn)一步推動(dòng)機(jī)器人自主手術(shù)任務(wù)的實(shí)施,因此場(chǎng)景檢測(cè)、位置確定和手術(shù)器械跟蹤顯得尤為重要[72]。在場(chǎng)景檢測(cè)中,通常使用的方法包括場(chǎng)景色差[73]、幾何特征配準(zhǔn)[74]、場(chǎng)景色質(zhì)與紋理特征[75]等。定位與跟蹤的方法則可以采用基于標(biāo)記物的方式,比如利用特殊設(shè)計(jì)的黑白混合模式的激光儀與光學(xué)標(biāo)記物結(jié)合的方法[70, 76]。
而無(wú)標(biāo)記物的方法也可以被用于定位和跟蹤,比如根據(jù)機(jī)器人末端執(zhí)行器的幾何和在線(xiàn)動(dòng)力學(xué)模型數(shù)據(jù)獲取末端姿態(tài)預(yù)估信息等[77-78]。此外,還可以根據(jù)器械先驗(yàn)幾何信息的概率算法[79],
運(yùn)動(dòng)學(xué)融合隨機(jī)樹(shù)方法[80-81],基于形態(tài)特征的姿態(tài)預(yù)估方法[82],以及基于深度學(xué)習(xí)的器械分割方法等[83-84]。在面向軟組織操作的機(jī)器人系統(tǒng)中,由于在動(dòng)態(tài)環(huán)境下對(duì)軟組織的視覺(jué)跟蹤和辨識(shí)尚存在較多挑戰(zhàn),目前很難實(shí)現(xiàn)自主的機(jī)器人軟組織操作手術(shù)[85]。目前針對(duì)手術(shù)場(chǎng)景分割和器械跟蹤的方法仍依賴(lài)于內(nèi)窺鏡反饋視覺(jué)信息[86-87]。利用術(shù)前CT等數(shù)據(jù)可以先初步將組織器官進(jìn)行圖像分割,隨后將獲取的組織器官模型與內(nèi)窺鏡視野進(jìn)行配準(zhǔn),并考慮器官的運(yùn)動(dòng)和變形,這是一種比較主流的方法,但是必須先獲取術(shù)前影像數(shù)據(jù)。此外,還有利用圖像處理和機(jī)器學(xué)習(xí)的方法來(lái)避免利用術(shù)前數(shù)據(jù),比如簡(jiǎn)單的閾值融合法[88]、同質(zhì)色彩[89]、基于梯度的方法[90]和光流法等[91]。而基于機(jī)器學(xué)習(xí)的分割方法則包括隨機(jī)森林[92]、支持向量機(jī)[93]、卷積神經(jīng)網(wǎng)絡(luò)[94]等。隨著大量醫(yī)學(xué)數(shù)據(jù)的公開(kāi)使用,這些方法有望得到更普及的應(yīng)用。除了分割針對(duì)組織的圖像外,在手術(shù)過(guò)程中對(duì)手術(shù)器械的跟蹤也很重要,一般定義為手術(shù)任務(wù)分割,這種方式被廣泛應(yīng)用于手術(shù)技能評(píng)估[95-96]或者為實(shí)現(xiàn)自動(dòng)化手術(shù)所構(gòu)建的有限狀態(tài)機(jī)[20, 97]。
早期的研究主要集中在監(jiān)督手術(shù)任務(wù)分割[98-100],但是需要提前獲取預(yù)定義手術(shù)動(dòng)作及相對(duì)應(yīng)的手術(shù)場(chǎng)景。考慮到腹腔鏡手術(shù)操作很難完全按照預(yù)定義模式開(kāi)展及不可避免的手抖等因素,這種監(jiān)督學(xué)習(xí)的方式很難有效實(shí)現(xiàn)術(shù)者動(dòng)作識(shí)別。隨著大量數(shù)據(jù)集的出現(xiàn),手動(dòng)標(biāo)注更加難以實(shí)現(xiàn)且很難保證標(biāo)注的有效性。近期有部分研究者開(kāi)始關(guān)注非監(jiān)督學(xué)習(xí)下的手術(shù)任務(wù)分割[101-103],
并發(fā)現(xiàn)該方法也能夠很好地實(shí)現(xiàn)手術(shù)任務(wù)分割與重現(xiàn)[103]。
3.3.2.2 手術(shù)任務(wù)規(guī)劃與執(zhí)行
縫合與打結(jié)是腹腔鏡微創(chuàng)手術(shù)中最基本的兩個(gè)任務(wù),由于在體內(nèi)軟組織環(huán)境下開(kāi)展,該動(dòng)作比較耗時(shí)且對(duì)周邊軟組織具有一定的風(fēng)險(xiǎn)。在此過(guò)程中,由于線(xiàn)的靈活性、定位和拉張力及軟組織變形和操作環(huán)境限制等因素,針對(duì)縫合與打結(jié)的自主執(zhí)行任務(wù)非常具有挑戰(zhàn)性。在微創(chuàng)手術(shù)中第1例機(jī)器人自主縫合術(shù)的研究中,EndoBot根據(jù)手工縫合操作進(jìn)行觀察,并提出一種自主機(jī)器人縫合算法,主要分為縫穿、穿線(xiàn)、打結(jié)和固定打結(jié)4個(gè)子任務(wù)[104]。為了避免軟組織變形及縫合針位置帶來(lái)的不確定性,其他相關(guān)路徑規(guī)劃方法也被提出,如基于運(yùn)動(dòng)學(xué)分析和集合建模的縫穿任務(wù)[105]、利用手工縫合數(shù)據(jù)統(tǒng)計(jì)模型[106]以及序列凸規(guī)劃[107]等方法。針對(duì)上述操作中的非確定性問(wèn)題,采用在線(xiàn)學(xué)習(xí)的方式進(jìn)行調(diào)整也被研究人員所關(guān)注,主要包括:①醫(yī)生指引:由醫(yī)生利用激光筆在所需要縫合點(diǎn)進(jìn)行標(biāo)記,然后采用視覺(jué)伺服控制的方式控制機(jī)器人自動(dòng)尋找縫合點(diǎn)位置[108];②熒光影像:采用紅外熒光圖像檢測(cè)和跟蹤軟組織變形,并自動(dòng)地計(jì)算縫合規(guī)劃[109];③軟組織變形建模:采用縫合針刺入軟組織引起變形矩陣的方式自適應(yīng)地估測(cè)縫合軌跡等[110]。另外,基于學(xué)習(xí)的方法也被用來(lái)進(jìn)行手術(shù)子任務(wù)的動(dòng)作規(guī)劃[1]。如利用EndoPAR機(jī)器人基于RNN的自主打結(jié)[111]、基于示教學(xué)習(xí)的有用動(dòng)作元分解[112]、基于迭代學(xué)習(xí)控制方法[113]及基于示教場(chǎng)景與測(cè)試場(chǎng)景的非結(jié)構(gòu)配準(zhǔn)方法等[114]。除了縫合與打結(jié)外,還有其他的自主手術(shù)子任務(wù)也有開(kāi)展相關(guān)研究,如清創(chuàng)術(shù)[115]、組織切割[20]、電外科[116]、觸診[117]、組織分離[118]等。這些子任務(wù)有望用于機(jī)器人手術(shù)子任務(wù)的實(shí)施和規(guī)劃,并通過(guò)一定的整合,最終促進(jìn)未來(lái)自主式手術(shù)機(jī)器人功能的開(kāi)發(fā)和完善。
4 存在挑戰(zhàn)
4.1 技術(shù)問(wèn)題
目前大部分自主式手術(shù)機(jī)器人相關(guān)技術(shù)仍然處在實(shí)驗(yàn)室研發(fā)階段,可以預(yù)計(jì)當(dāng)這些技術(shù)被真正運(yùn)用在實(shí)際手術(shù)環(huán)境中時(shí),將會(huì)面臨更大的挑戰(zhàn)。
當(dāng)前大多數(shù)手術(shù)機(jī)器人系統(tǒng)仍然只有視覺(jué)反饋而缺乏力反饋,所以當(dāng)手術(shù)器械與患者軟組織的接觸發(fā)生在屏幕區(qū)域之外時(shí)(即醫(yī)生缺少視覺(jué)反饋時(shí))將會(huì)非常危險(xiǎn)。讓手術(shù)機(jī)器人具備力感知和反饋的能力,能夠讓醫(yī)生具有“臨場(chǎng)感”,從而顯著提高手術(shù)的安全性。但是目前為止,即使如著名的達(dá)芬奇手術(shù)機(jī)器人系統(tǒng),外科醫(yī)生也無(wú)法得到完整的觸覺(jué)力反饋[61]。力反饋的基礎(chǔ)是力感知,力感知根據(jù)原理不同可以分為直接力感知和間接力感知。在直接力感知中,需要在手術(shù)機(jī)器人末端執(zhí)行器附近安裝力傳感器,這一設(shè)計(jì)通常難以實(shí)現(xiàn),因?yàn)槠涫艿絺鞲衅鞔笮 缀涡螤?、布線(xiàn)、成本、生物兼容性以及可消毒性等因素的限制[119]。而間接力感知雖然規(guī)避了上述困難,但是需要對(duì)機(jī)器人系統(tǒng)進(jìn)行建模、標(biāo)定等復(fù)雜工作,且容易導(dǎo)致力感知不夠精確[119-120]。此外,手術(shù)機(jī)器人的控制也是一大難點(diǎn),而連續(xù)體手術(shù)機(jī)器人的建模及控制更是一大難題。連續(xù)體手術(shù)機(jī)器人可以通過(guò)自然腔道或小的創(chuàng)口進(jìn)入人體,經(jīng)由復(fù)雜的腔道完成特定任務(wù),典型代表包括血管介入導(dǎo)管、腸鏡、胃鏡、支氣管鏡等等。但是由于驅(qū)動(dòng)方式、制造材料等的非線(xiàn)性特性(如遲滯)[121],以及不確定的外部環(huán)境的影響,連續(xù)體手術(shù)機(jī)器人的建模、導(dǎo)航和控制也是亟待解決的問(wèn)題。由于手術(shù)機(jī)器人的外部環(huán)境是人體組織,因此周?chē)h(huán)境的不確定性也是一大挑戰(zhàn),例如無(wú)法避免的人體運(yùn)動(dòng)給手術(shù)帶來(lái)的難度,如呼吸、心跳等。目前很多研究者提出了不同的方法來(lái)實(shí)現(xiàn)運(yùn)動(dòng)補(bǔ)償[122]。其他值得關(guān)注的挑戰(zhàn)還包括手術(shù)機(jī)器人部件的小型化設(shè)計(jì)[123]、
特殊環(huán)境下的機(jī)器人制造與驅(qū)動(dòng)(如MRI兼容機(jī)器人[124])、成像技術(shù)與傳感器信息融合等[125]。
4.2 倫理問(wèn)題和相關(guān)立法
近年來(lái),機(jī)器人輔助手術(shù)的發(fā)展非常迅速,但是相關(guān)立法仍然比較欠缺。隨著手術(shù)機(jī)器人自動(dòng)化程度的不斷提高,由此帶來(lái)的倫理問(wèn)題以及相關(guān)立法需求仍需關(guān)注。
在手術(shù)過(guò)程中,患者的安全始終處于首要地位。因此在機(jī)器人輔助手術(shù)普遍運(yùn)用的情況下,如何保證患者安全是一個(gè)值得探討的問(wèn)題。在現(xiàn)階段,由于大部分手術(shù)機(jī)器人仍然處在較低的自主化程度,沒(méi)有決策的能力或權(quán)限,因此醫(yī)生仍然是保護(hù)患者安全的第一責(zé)任人。即便是面對(duì)達(dá)到輔助性自主(Level 1)和任務(wù)自主(Level 2)的機(jī)器人系統(tǒng),醫(yī)生也需要在機(jī)器人執(zhí)行任何行動(dòng)前制定手術(shù)計(jì)劃或校驗(yàn)由機(jī)器人制定的手術(shù)計(jì)劃,并全程監(jiān)督手術(shù)機(jī)器人的自主操作[1]。除此以外,通過(guò)硬件或軟件的方式,手術(shù)機(jī)器人可以進(jìn)一步采取一些安全輔助措施,在醫(yī)生監(jiān)督的基礎(chǔ)上,為患者安全提供“雙保險(xiǎn)”,如前文提到的主動(dòng)運(yùn)動(dòng)約束[67],
它可以將手術(shù)機(jī)器人的運(yùn)動(dòng)范圍約束在一個(gè)事先計(jì)算好的安全區(qū)域內(nèi)。
與自動(dòng)駕駛汽車(chē)發(fā)生事故后的責(zé)任劃分問(wèn)題類(lèi)似,具有一定自動(dòng)化程度的手術(shù)機(jī)器人如果發(fā)生失誤,其責(zé)任劃分仍然很難界定[126]。在現(xiàn)階段,手術(shù)機(jī)器人仍然被認(rèn)為是一個(gè)輔助性工具,而不是一個(gè)具備獨(dú)立行為能力的個(gè)體,因此醫(yī)生仍需要為機(jī)器人輔助手術(shù)中的操作失誤負(fù)責(zé)[127]。但隨著手術(shù)機(jī)器人自動(dòng)化程度的發(fā)展,機(jī)器人和醫(yī)生誰(shuí)該主導(dǎo)手術(shù)、誰(shuí)該為手術(shù)負(fù)責(zé)是一個(gè)亟待討論的問(wèn)題。如果手術(shù)機(jī)器人發(fā)生失誤,那么可能承擔(dān)責(zé)任的個(gè)體包括手術(shù)機(jī)器人的使用者(醫(yī)生)、醫(yī)院、機(jī)器人的設(shè)計(jì)和制造商以及保險(xiǎn)公司[1]。如何順應(yīng)手術(shù)機(jī)器人自動(dòng)化的發(fā)展,開(kāi)展相應(yīng)的立法工作,明確所有環(huán)節(jié)參與者的責(zé)任仍需持續(xù)關(guān)注與思考。
5 展望
使手術(shù)機(jī)器人具備類(lèi)似甚至超越人類(lèi)外科醫(yī)生的操作技能是手術(shù)機(jī)器人發(fā)展的終極目標(biāo),同時(shí)也是全自主機(jī)器人外科手術(shù)的必要條件。為了實(shí)現(xiàn)全自主機(jī)器人手術(shù)的目標(biāo),醫(yī)生、機(jī)器人、人工智能等領(lǐng)域內(nèi)的研究人員需要緊密配合,推進(jìn)跨學(xué)科合作。為了達(dá)到這一目標(biāo),各業(yè)內(nèi)領(lǐng)先的研究隊(duì)伍和學(xué)者都在開(kāi)展進(jìn)一步的研究工作,所涉及的方向包含軟件、硬件2個(gè)方面。
在軟件方面,主要借助于近年來(lái)在人工智能領(lǐng)域取得的突破性科技成果,如機(jī)械學(xué)習(xí)、深度學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)等。所要提升的方面包括機(jī)器人對(duì)環(huán)境尤其是復(fù)雜環(huán)境的感知能力以及在此基礎(chǔ)上學(xué)習(xí)人類(lèi)醫(yī)生手術(shù)技能的能力?,F(xiàn)有的手術(shù)機(jī)器人感知能力仍以模擬和擴(kuò)展人類(lèi)操作所需要的信息為主,譬如三維視覺(jué)、力覺(jué)和觸覺(jué)等。未來(lái)手術(shù)機(jī)器人的自主操作和決策要求對(duì)所有可能的操作環(huán)境都有精確的建模、檢測(cè)及預(yù)判,這對(duì)現(xiàn)有感知能力提出了更高的要求。一些超出人類(lèi)直觀感受的感知能力也將成為必須,如通過(guò)術(shù)中對(duì)操作區(qū)域的實(shí)時(shí)超聲檢測(cè)、淺層光學(xué)掃描、精確手術(shù)器械與環(huán)境定位等獲取操作表面下腫瘤、血管、神經(jīng)等的三維分布信息和計(jì)算手術(shù)器械與操作對(duì)象的相對(duì)位置從而自動(dòng)規(guī)劃手術(shù)路徑和操作動(dòng)作等。強(qiáng)大的感知能力是手術(shù)機(jī)器人學(xué)習(xí)人類(lèi)醫(yī)生手術(shù)技能的重要基礎(chǔ)。外科醫(yī)生的手術(shù)技能從本質(zhì)上來(lái)講可以分為較低層面的操作技能(Operation/Motor Skills)和較高層面的認(rèn)知技能(Cognition Skills)。操作技能主要涉及具體手術(shù)步驟的執(zhí)行,其相對(duì)容易在多模態(tài)傳感器的觀測(cè)下進(jìn)行建模和學(xué)習(xí)。認(rèn)知技能主要涉及操作流程、術(shù)中決策、突發(fā)情況的處理等,其相較于操作技能更加難以建模和學(xué)習(xí)。未來(lái)手術(shù)機(jī)器人在這兩個(gè)層面的技能學(xué)習(xí)能力將直接決定其在手術(shù)過(guò)程中自主性程度,比如在手術(shù)機(jī)器人操作技能方面的進(jìn)展[128-130]和在認(rèn)知技能方面的進(jìn)展[131-133]等。
為適應(yīng)軟件的發(fā)展和需要,自主手術(shù)機(jī)器人在多模態(tài)傳感器和靈巧操作器械方面對(duì)硬件也提出了更高的要求。在進(jìn)一步提高傳統(tǒng)傳感器精確度的基礎(chǔ)上,新型傳感器的發(fā)展將使得手術(shù)機(jī)器人對(duì)操作環(huán)境有更加深入和全面的感知,如用于血管檢測(cè)的光學(xué)相干斷層掃描血管造影(Optical Coherence Tomography Angiography,OCTA)以及用于器械定位的GPS系統(tǒng)等。另外,對(duì)于外科醫(yī)生的手術(shù)技能學(xué)習(xí)也需要盡可能多類(lèi)型的傳感器信息采集和融合,以及在此基礎(chǔ)上通過(guò)人工智能技術(shù)對(duì)于多模態(tài)傳感器數(shù)據(jù)的分析和學(xué)習(xí)。在手術(shù)操作層面,新型操作器械的發(fā)展將緩解控制器設(shè)計(jì)的負(fù)擔(dān)并提高特定傳統(tǒng)操作的效率,從而提高自主操作的可行性和可靠性。如目前處于研究熱點(diǎn)的柔性手術(shù)操作器械使得通過(guò)復(fù)雜路徑到達(dá)操作區(qū)域的微創(chuàng)或無(wú)創(chuàng)手術(shù)成為可能,將來(lái)機(jī)器人輔助的柔性手術(shù)器械輔以更加精確和全面的感知和規(guī)劃功能將使得復(fù)雜環(huán)境下的手術(shù)操作更加高效。得益于計(jì)算機(jī)運(yùn)算能力及機(jī)械設(shè)計(jì)精度的提高,在不影響操作準(zhǔn)確性和靈巧性的情況下,機(jī)器人輔助器械可以實(shí)現(xiàn)小型化和緊湊化,從而拓寬其應(yīng)用范圍。此外,因?yàn)椴皇苋耸稚斫Y(jié)構(gòu)的限制,全自主機(jī)器人手術(shù)器械的機(jī)械結(jié)構(gòu)及操控設(shè)計(jì)可以更加靈活,譬如機(jī)械結(jié)構(gòu)上采用多自由度、轉(zhuǎn)并聯(lián)混合結(jié)構(gòu)等,操控上采用執(zhí)行單元和動(dòng)力單元分離(無(wú)線(xiàn)通信及無(wú)線(xiàn)動(dòng)力傳輸)等方式。
參考文獻(xiàn)
[1] Yip M, Das N. Robot autonomy for surgery. In the encyclopedia of MEDICAL ROBOTICS: volume 1 minimally invasive surgical robotics[M]. New Jersey: World Scientific, 2019: 281-313.
[2] Yang G Z, Cambias J, Cleary K, et al. Medical robotics—regulatory, ethical, and legal considerations for increasing levels of autonomy[J]. Sci Robot, 2017, 2(4): 8638.
[3] Haidegger T. Autonomy for surgical robots: concepts and paradigms[J]. IEEE Trans Med Robot Bionics, 2019, 1(2): 65-76.
[4] 沈桐, 宋成利, 徐兆紅.新型混聯(lián)腹腔鏡手術(shù)機(jī)器人的運(yùn)動(dòng)學(xué)建模與優(yōu)化[J].機(jī)械科學(xué)與技術(shù), 2016, 35(1): 56-62.
[5] Degani A, Choset H, Wolf A, et al. Highly articulated robotic probe for minimally invasive surgery[C]// Proceedings 2006 IEEE International Conference on Robotics and Automation, 2006. ICRA 2006. Piscataway: IEEE, 2006: 4167-4172.
[6] Ota T, Degani A, Schwartzman D, et al. A highly articulated robotic surgical system for minimally invasive surgery[J]. Ann Thorac Surg, 2009, 87(4): 1253-1256.
[7] XU K, ZHAO J R, FU M X. Development of the SJTU unfoldable robotic system (SURS) for single port laparoscopy[J]. IEEE ASME Trans Mechatron, 2014, 20(5): 2133-2145.
[8] Kim Y H, Park Y J, In H K, et al. Design concept of hybrid instrument for laparoscopic surgery and its verification using scale model test[J]. IEEE ASME Trans Mechatron, 2015, 21(1): 142-153.
[9] Breedveld P, Stassen H G, Meijer D W, et al. Manipulation in laparoscopic surgery: overview of impeding effects and supporting aids[J]. J Laparoendosc Adv Surg Tech A, 1999, 9(6): 469-480.
[10] Manzey D, Strauss G, Trantakis C, et al. Automation in surgery: a systematic approach[J]. Surg Technol Int, 2009, PMID: 19579188.
[11] Harris S J, Arambula-Cosio F, Mei Q, et al. The Probot—an active robot for prostate resection[J]. Proc Inst Mech Eng H, 1997, 211(4): 317-325.
[12] Mei Q, Harris S J, Arambula-Cosio F, et al. PROBOT—a computer integrated prostatectomy system[C]// In International Conference on Visualization in Biomedical Computing. Berlin, Heidelberg: Springer, 1996: 581-590.
[13] Rodriguez Y, Baena F, Davies B. Robotic surgery: from autonomous systems to intelligent tools[J]. Robotica, 2010, 28(2): 163-170.
[14] Jakopec M, Harris S J, Baena y, et al. Acrobot: a “hands- on” robot for total knee replacement surgery[C]// In 7th International Workshop on Advanced Motion Control. Proceedings (Cat. No. 02TH8623). Piscataway: IEEE. 2002: 116-120.
[15] Hagag B, Abovitz R, Kang H, et al. RIO: Robotic-arm interactive orthopedic system MAKOplasty: user interactive haptic orthopedic robotics[M]. Boston, MA: Springer, 2011: 219-246.
[16] Eggers G, Mühling J, Marmulla R. Image-to-patient registration techniques in head surgery[J]. Int J Oral Maxillofac Surg, 2006, 35(12): 1081-1095.
[17] Moustris G P, Hiridis S C, Deliparaschos K M, et al. Evolution of autonomous and semi-autonomous robotic surgical systems: a review of the literature[J]. Int J Med Robot, 2011, 7(4): 375-392.
[18] Sayeh S, Wang J, Main W T, et al. Respiratory motion tracking for robotic radiosurgery. In Treating tumors that move with respiration[M]. Berlin, Heidelberg: Springer, 2007: 15-29.
[19] Chen Z H, Deguet A, Taylor R, et al. An open-source hardware and software platform for telesurgical robotics research[J]. SACAI Workshop at MICCAI 2013, 2013. DOI: 10.54294/2dcog6.
[20] Murali A, Sen S, Kehoe B, et al. Learning by observation for surgical subtasks: multilateral cutting of 3D viscoelastic and 2D orthotropic tissue phantoms[C]// In 2015 IEEE International Conference on Robotics and Automation (ICRA). Piscataway: IEEE. 2015: 1202-1209.
[21] Hannaford B, Rosen J, Friedman D W, et al. Raven-II: an open platform for surgical robotics research[J]. IEEE Trans Biomed Eng, 2012, 60(4): 954-959.
[22] Hu D, Gong Y, Hannaford B, et al. Semi-autonomous simulated brain tumor ablation with RAVENⅡ surgical robot using behavior tree[C]// In 2015 IEEE International Conference on Robotics and Automation (ICRA). Piscataway: IEEE, 2015: 3868-3875.
[23] Kehoe B, Kahn G, Mahler J, et al. Autonomous multilateral debridement with the raven surgical robot[C]// In 2014 IEEE International Conference on Robotics and Automation (ICRA) . Piscataway: IEEE, 2014: 1432-1439.
[24] Su H, Danioni A, Mira R M, et al. Experimental validation of manipulability optimization control of a 7-DoF serial manipulator for robot-assisted surgery[J]. Int J Med Robot, 2021, 17(1): 1-11.
[25] Maris B, Tenga C, Vicario R, et al. Toward autonomous robotic prostate biopsy: a pilot study[J]. Int J Comput Assist Radiol Surg, 2021. DOI: 10.1007/s11548-021-02437-7.
[26] TANG A, CAO Q, TAN H, et al. Motion Control of a Master-Slave Minimally Invasive Surgical Robot based on the Hand-Eye-Coordination. In Computer Aided Surgery[M]. Tokyo: Springer, 2016: 57-71.
[27] LUO D, LIU Y, ZHU H, et al. The MicroHand S robotic-assisted versus Da Vinci robotic-assisted radical resection for patients with sigmoid colon cancer: a single-center retrospective study[J]. Surg Endosc, 2020, 34(8): 3368-3374.
[28] LI C, GU X, XIAO X, et al. Flexible robot with variable stiffness in transoral surgery[J]. IEEE ASME Trans Mechatron, 2019, 25(1): 1-10.
[29] FENG M, FU Y, PAN B, et al. Development of a medical robot system for minimally invasive surgery[J]. Int J Med Robot Comp, 2012, 8(1): 85-96.
[30] Sun L W, Van Meer F, Bailly Y, et al. Design and development of a da vinci surgical system simulator[C]//2007 International Conference on Mechatronics and Automation. Piscataway: IEEE, 2007: 1050-1055.
[31] Kim D K, Park D W, Rha K H. Robot-assisted partial nephrectomy with the REVO-I robot platform in porcine models[J]. Eur Urol, 2016, 69(3): 541-542.
[32] YUAN X, LIU D, GONG M. Design and research on a shape memory alloy-actuated single-port laparoscopic surgical robot[C]// 2014 IEEE International Conference on Mechatronics and Automation. Piscataway: IEEE, 2014: 1654-1658.
[33] Eastwood K, Looi T, Naguib H E, et al. Fluidic actuators for minimally invasive neurosurgical instruments[C]// In The Hamlyn Symposium on Medical Robotics. 2014: 75.
[34] Garbin N, Di Natali C, Buzzi J, et al. Laparoscopic tissue retractor based on local magnetic actuation[J]. J Med Device, 2015, 9(1): 011005.
[35] ZHANG L, YE M, CHAN P L, et al. Real-time surgical tool tracking and pose estimation using a hybrid cylindrical marker[J]. Int J Comput Assist Radiol Surg, 2017, 12(6): 921-930.
[36] Pratt P, Jaeger A, Hughes-Hallett A, et al. Robust ultrasound probe tracking: initial clinical experiences during robot-assisted partial nephrectomy[J]. Int J Comput Assist Radiol Surg, 2015, 10(12): 1905-1913.
[37] ZHAO Z, CAI T, CHANG F, et al. Real-time surgical instrument detection in robot-assisted surgery using a convolutional neural network cascade[J]. Healthc Technol Lett, 2019, 6(6): 275.
[38] Zhao Z, Voros S, Weng Y, et al. Tracking-by-detection of surgical instruments in minimally invasive surgery via the convolutional neural network deep learning-based method[J]. Comput Assist Surg (Abingdon), 2017, 22(sup1): 26-35.
[39] CLaina I, Rieke N, Rupprecht C, et al. Concurrent segmentation and localization for tracking of surgical instruments[C]// In International conference on medical image computing and computer-assisted intervention. Cham, Switzerland: Springer, 2017: 664-672.
[40] Nwoye C I, Mutter D, Marescaux J, et al. Weakly supervised convolutional LSTM approach for tool tracking in laparoscopic videos[J]. Int J Comput Assist Radiol Surg, 2019, 14(6): 1059-1067.
[41] Krupa A, Gangloff J, Doignon C, et al. Autonomous 3-D positioning of surgical instruments in robotized laparoscopic surgery using visual servoing[J]. IEEE Trans Rob Autom, 2003, 19(5): 842-853.
[42] Kranzfelder M, Schneider A, Fiolka A, et al. Real-time instrument detection in minimally invasive surgery using radiofrequency identification technology[J]. J Surg Res, 2013, 185(2): 704-710.
[43] Ha X T, Ourak M, Al-Ahmad O, et al. Robust catheter tracking by fusing electromagnetic tracking, fiber bragg grating and sparse fluoroscopic images[J].IEEE Sens J, 2021, 21( 20): 23422-23434.
[44] Penza V, Ortiz J, Mattos L S, et al. Dense soft tissue 3D reconstruction refined with super-pixel segmentation for robotic abdominal surgery[J]. Int J Comput Assist Radiol Surg, 2016, 11(2): 197-206.
[45] Moreira P, Zemiti N, Liu C, et al. Viscoelastic model based force control for soft tissue interaction and its application in physiological motion compensation[J]. Comput Methods Programs Biomed, 2014, 116(2): 52-67.
[46] Bebek O, Cavusoglu M C. Intelligent control algorithms for robotic-assisted beating heart surgery[J]. IEEE Trans Robot, 2007, 23(3): 468-480.
[47] Kim U, Lee D H, Yoon W J, et al. Force sensor integrated surgical forceps for minimally invasive robotic surgery[J]. IEEE Trans Robot, 2015, 31(5): 1214-1224.
[48] Suzuki H, Masuda H, Hongo K, et al. Development and testing of force-sensing forceps using FBG for bilateral micro-operation system[J]. IEEE Robot Autom Lett, 2018, 3(4): 4281-4288.
[49] Back J, Dasgupta P, Seneviratne L, et al. September. Feasibility study-novel optical soft tactile array sensing for minimally invasive surgery[C]// In 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) . Piscataway: IEEE, 2015: 1528-1533.
[50] Trejos A L, Jayender J, Perri M T, et al. Robot-assisted tactile sensing for minimally invasive tumor localization[J]. Int J Rob Res, 2009, 28(9): 1118-1133.
[51] Moccia S, De Momi E, Mattos, et al. Supervised tissue classification in optical images: towards new applications of surgical data science[M]. 2018, https: //nearlab.polimi.it/wp-content/uploads/2019/02/thesis_moccia_compressed.pdf.
[52] Dell’Oglio P, Meershoek P, Maurer T, et al. A DROP-IN gamma probe for robot-assisted radioguided surgery of lymph nodes during radical prostatectomy[J]. Eur Urol, 2021, 79(1): 124-132.
[53] Cheng Z, Dall’Alba D, Foti S, et al. Design and integration of electrical bio-impedance sensing in surgical robotic tools for tissue identification and display[J]. Front Robot AI, 2019. DOI: 10.3389/frobt.2019.00055.
[54] Cheng Z Q, Schwaner K L, Dall’Alba D, et al. An electrical bioimpedance scanning system for subsurface tissue detection in robot assisted minimally invasive surgery[J]. IEEE Trans Biomed Eng, 2021. DOI: 10.1109/TBME.2021.3091326.
[55] Salman H, Ayvali E, Srivatsan R A, et al. Trajectory-optimized sensing for active search of tissue abnormalities in robotic surgery[C]// In 2018 IEEE International Conference on Robotics and Automation (ICRA) . Piscataway: IEEE, 2018: 5356-5363.
[56] Garg A, Sen S, Kapadia R, et al. Tumor localization using automated palpation with gaussian process adaptive sampling[C]// In 2016 IEEE International Conference on Automation Science and Engineering (CASE), Piscataway: IEEE, 2016: 194-200.
[57] YAN Y, PAN J. Fast Localization and Segmentation of Tissue Abnormalities by Autonomous Robotic Palpation[J]. IEEE Robot Autom Lett, 2021, 6(2): 1707-1714.
[58] Li Y, Richter F, Lu J, et al. Super: A surgical perception framework for endoscopic tissue manipulation with surgical robotics[J]. IEEE Robot Autom Lett, 2020, 5(2): 2294-2301.
[59] Ren H, Rank D, Merdes M, et al. Multisensor data fusion in an integrated tracking system for endoscopic surgery[J]. IEEE Trans Inf Technol Biomed, 2011, 16(1): 106-111.
[60] Rosen J, Hannaford B, Satava R M. Medical devices: surgical and image guided technologies[M]. Wiley, 2011: 301-306.
[61] CHEN Y, WU Z, YANG B, et al. Review of surgical robotic systems for keyhole and endoscopic procedures: state of the art and perspectives[J]. Front Med, 2020," 14(4): 382-403.
[62] Simorov A, Otte R S, Kopietz C M, et al. Review of surgical robotics user interface: what is the best way to control robotic surgery?[J]. Surg Endosc, 2012, 26(8): 2117-2125.
[63] ZHAO Y, XING H, GUO S, et al. A novel noncontact detection method of surgeon’s operation for a master-slave endovascular surgery robot[J]. Med Biol Eng Comput, 2020, 58(4): 871-885.
[64] Attanasio A, Scaglioni B, De Momi E, et al. Autonomy in surgical robotics[J]. Annu Rev Control Robot Auton Syst, 2020, 4(1): 441-463.
[65] Ruszkowski A, Mohareri O, Lichtenstein S, et al. On the feasibility of heart motion compensation on the daVinci? surgical robot for coronary artery bypass surgery: Implementation and user studies[C]// In 2015 IEEE International Conference on Robotics and Automation (ICRA). Piscataway: IEEE, 2015: 4432-4439.
[66] Yuen S G, Kettler D T, Novotny P M, et al. Robotic motion compensation for beating heart intracardiac surgery[J]. Int J Rob Res, 2009, 28(10): 1355-1372.
[67] 肖晶晶, 楊洋, 沈麗君, 等, 視網(wǎng)膜顯微手術(shù)機(jī)器人的約束運(yùn)動(dòng)規(guī)劃及仿真[J]. 機(jī)器人, 2018, 40(6): 870-877.
[68] Fontanelli G A, Yang G Z and Siciliano B. A comparison of assistive methods for suturing in MIRS[C]// In 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway: IEEE, 2018: 4389-4395.
[69] Azizian M, Khoshnam M, Najmaei N, et al. Visual servoing in medical robotics: a survey. Part I: endoscopic and direct vision imaging-techniques and applications[J]. Int J Med Robot Comp, 2014, 10(3): 263-274.
[70] Krupa A, Gangloff J, Doignon C, et al. Autonomous 3-D positioning of surgical instruments in robotized laparoscopic surgery using visual servoing[J]. IEEE Trans Rob Autom, 2003, 19(5): 842-853.
[71] Hoeckelmann M, Rudas I J, Fiorini P, et al. Current capabilities and development potential in surgical robotics[J]. Int J Adv Robot Syst, 2015, 12(5): 61.
[72] Münzer B, Schoeffmann K, B?sz?rmenyi L. Content-based processing and analysis of endoscopic images and videos: a survey[J]. Multimed Tools Appl, 2018, 77(1): 1323-1362.
[73] Wei G Q, Arbter K, Hirzinger G. Real-time visual servoing for laparoscopic surgery. Controlling robot motion with color image segmentation[J]. IEEE Eng Med Biol Mag, 1997, 16(1): 40-45.
[74] Voros S, Long J A, Cinquin P. Automatic detection of instruments in laparoscopic images: a first step towards high-level command of robotic endoscopic holders[J]. Int J Rob Res, 2007, 26(11-12): 1173-1190.
[75] Pezzementi Z, Voros S, Hager G D. Articulated object tracking by rendering consistent appearance parts[C]// In 2009 IEEE International Conference on Robotics and Automation. Piscataway: IEEE, 2009: 3940-3947.
[76] Nageotte F, Zanne P, Doignon C, et al. Visual servoing-based endoscopic path following for robot-assisted laparoscopic surgery[C]// In 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway: IEEE, 2006: 2364-2369.
[77] Frangi A F, Schnabel J A, Davatzikos C, et al. Medical image computing and computer assisted intervention-MICCAI 2018[M]. Cham, Switzerland: Springer, 2018. DOI: 10.1007/978-3-030-00931-1.
[78] Ye M L, Zhang L, Giannarou S, et al. Real-time 3d tracking of articulated tools for robotic surgery[C]// In International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham, Switzerland: Springer, 2016: 386-394.
[79] Wolf R, Duchateau J, Cinquin P, et al. 3D tracking of laparoscopic instruments using statistical and geometric modeling[C]// In International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin, Heidelberg: Springer, 2011: 203-210.
[80] Allan M, Ourselin S, Thompson S, et al. Toward detection and localization of instruments in minimally invasive surgery[J]. IEEE Trans Biomed Eng, 2012, 60(4): 1050-1058.
[81] Reiter A, Allen P K, Zhao T. Appearance learning for 3D tracking of robotic surgical tools[J]. Int J Rob Res, 2014, 33(2): 342-356.
[82] Reiter A, Goldman R E, Bajo A, et al. A learning algorithm for visual pose estimation of continuum robots[C]// In 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway: IEEE, 2011: 2390-2396.
[83] Garcia-Peraza-Herrera L C, Li W, Fidon L, et al. Toolnet: holistically-nested real-time segmentation of robotic surgical tools[C]// In 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway: IEEE, 2017: 5717-5722.
[84] Shvets A A, Rakhlin A, Kalinin A A, et al. Automatic instrument segmentation in robot-assisted surgery using deep learning[C]// In 2018 17th IEEE International Conference on Machine Learning and Applications (ICMLA). Piscataway: IEEE, 2018: 624-628.
[85] Shademan A, Decker R S, Opfermann J D, et al. Supervised autonomous robotic soft tissue surgery[J]. Sci Transl Med, 2016. DOI: 10.1126/scitranslmed.aad9398.
[86] Nakamoto M, Ukimura O, Gill I S, et al. Realtime organ tracking for endoscopic augmented reality visualization using miniature wireless magnetic tracker[C]// In International Workshop on Medical Imaging and Virtual Reality. Berlin, Heidelberg: Springer, 2008: 359-366.
[87] Nosrati M S, Peyrat J M, Abinahed J, et al. Efficient multi-organ segmentation in multi-view endoscopic videos using pre-operative priors[C]// In International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham, Switzerland: Springer, 2014: 324-331.
[88] Bilodeau G A, Shu Y, Cheriet F. Multistage graph-based segmentation of thoracoscopic images[J]. Comput Med Imaging Graph, 2006, 30(8): 437-446.
[89] Tjoa M P, Krishnan S M, Kugean C, et al. Segmentation of clinical endoscopic image based on homogeneity and hue[C]// In 2001 Conference Proceedings of the 23rd Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway: IEEE, 2001, 3: 2665-2668.
[90] Figueiredo I N, Moreno J C, Prasath V S, et al. A segmentation model and application to endoscopic images[C]// In International Conference Image Analysis and Recognition. Berlin, Heidelberg: Springer, 2012: 164-171.
[91] Wu S Q, Nakao M, Matsuda T. Continuous lung region segmentation from endoscopic images for intra-operative navigation[J]. Comput Biol Med, 2017. DOI: 10.1016/j.compbiomed.2017.05.029.
[92] Bodenstedt S, Wagner M, Mayer B, et al. Image-based laparoscopic bowel measurement[J]. Int J Comput Assist Radiol Surg, 2016, 11(3): 407-419.
[93] Chhatkuli A, Bartoli A, Malti A, et al. Live image parsing in uterine laparoscopy[C]// In 2014 IEEE 11th international symposium on biomedical imaging (ISBI). Piscataway: IEEE, 2014: 1263-1266.
[94] Moccia S, Foti S, Rossi S M, et al. FCNN-based segmentation of kidney vessels-Towards constraints definition for safe robot-assisted nephrectomy[C]// In Joint Workshop on New Technologies for Computer/Robot Assisted Surgery. 2018: 1-2.
[95] Rosen J, Hannaford B, Richards C G, et al. Markov modeling of minimally invasive surgery based on tool/tissue interaction and force/torque signatures for evaluating surgical skills[J]. IEEE Trans Biomed Eng, 2001, 48(5): 579-591.
[96] Lin H C, Shafran I, Yuh D, et al. Towards automatic skill evaluation: detection and segmentation of robot-assisted surgical motions[J]. Comput Aided Surg, 2006, 11(5): 220-230.
[97] Padoy N, Blum T, Ahmadi S A, et al. Statistical modeling and recognition of surgical workflow[J]. Med Image Ana, 2012, 16(3): 632-641.
[98] Ahmidi N, Tao L, Sefati S, et al. A dataset and benchmarks for segmentation and recognition of gestures in robotic surgery[J]. IEEE Trans Biomed Eng, 2017, 64(9): 2025-2041.
[99] Tao L, Elhamifar E, Khudanpur S, et al. Sparse hidden markov models for surgical gesture classification and skill evaluation[C]// In International conference on information processing in computer-assisted interventions. Heidelberg, Berlin: Springer, 2012: 167-177.
[100] Zappella L, Béjar B, Hager G, et al. Surgical gesture classification from video and kinematic data[J]. Med Image Ana, 2013, 17(7): 732-745.
[101] Despinoy F, Bouget D, Forestier G, et al. Unsupervised trajectory segmentation for surgical gesture recognition in robotic training[J].IEEE Trans Biomed Eng, 2015, 63(6): 1280-1291.
[102] Murali A, Garg A, Krishnan S, et al. Tsc-dl: Unsupervised trajectory segmentation of multi-modal surgical demonstrations with deep learning[C]// In 2016 IEEE International Conference on Robotics and Automation (ICRA). Piscataway: IEEE, 2016: 4150-4157.
[103] Krishnan S, Garg A, Patil S, et al. Transition state clustering: unsupervised surgical trajectory segmentation for robot learning[J]. Int J Rob Res, 2017, 36(13-14): 1595-1618.
[104] Kang H, Wen J T. Endobot: a robotic assistant in minimally invasive surgeries[C]// In Proceedings 2001 ICRA. IEEE International Conference on Robotics and Automation (Cat. No. 01CH37164). Piscataway: IEEE, 2001, 2: 2031-2036.
[105] Nageotte F, Zanne P, Doignon C, et al. Stitching planning in laparoscopic surgery: towards robot-assisted suturing[J]. Int J Med Robot, 2009, 28(10): 1303-1321.
[106] Jackson R C, ?avu?o?lu M C. Needle path planning for autonomous robotic surgical suturing[C]// In 2013 IEEE International Conference on Robotics and Automation. Piscataway: IEEE, 2013: 1669-1675.
[107] Sen S, Garg A, Gealy D V, et al. Automating multi-throw multilateral surgical suturing with a mechanical needle guide and sequential convex optimization[C]// In 2016 IEEE international conference on robotics and automation (ICRA). Piscataway: IEEE, 2016: 4178-4185.
[108] Staub C, Osa T, Knoll A, et al. Automation of tissue piercing using circular needles and vision guidance for computer aided laparoscopic surgery[C]// In 2010 IEEE International Conference on Robotics and Automation. Piscataway: IEEE, 2010: 4585-4590.
[109] Leonard S, Wu K L, Kim Y, et al. Smart tissue anastomosis robot (STAR): a vision-guided robotics system for laparoscopic suturing[J]. IEEE Trans Biomed Eng, 2014, 61(4): 1305-1317.
[110] ZHONG F X, WANG Y Q, WANG Z R, et al. Dual-arm robotic needle insertion with active tissue deformation for autonomous suturing[J]. IEEE Robot Autom Lett, 2019, 4(3): 2669-2676.
[111] Mayer H, Gomez F, Wierstra D, et al. A system for robotic heart surgery that learns to tie knots using recurrent neural networks[J]. Adv Robotics, 2008, 22(13-14): 1521-1537.
[112] Mayer H, Nagy I, Burschka D, et al. Automation of manual tasks for minimally invasive surgery[C]// In Fourth International Conference on Autonomic and Autonomous Systems (ICAS’08). Piscataway: IEEE, 2008: 260-265.
[113] Van Den Berg J, Miller S, Duckworth D, et al. Superhuman performance of surgical tasks by robots using iterative learning from human-guided demonstrations[C]// In 2010 IEEE International Conference on Robotics and Automation. Piscataway: IEEE, 2010: 2074-2081.
[114] Schulman J, Gupta A, Venkatesan S, et al. A case study of trajectory transfer through non-rigid registration for a simplified suturing scenario[C]// In 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway: IEEE, 2013: 4111-4117.
[115] Kehoe B, Kahn G, Mahler J, et al. Autonomous multilateral debridement with the raven surgical robot[C]// In 2014 IEEE International Conference on Robotics and Automation (ICRA). Piscataway: IEEE, 2014: 1432-1439.
[116] Le H N, Opfermann J D, Kam M, et al. Semi-autonomous laparoscopic robotic electro-surgery with a novel 3D endoscope[C]// In 2018 IEEE International Conference on Robotics and Automation (ICRA). Piscataway: IEEE, 2018: 6637-6644.
[117] Nichols K A, Okamura A M. Autonomous robotic palpation: Machine learning techniques to identify hard inclusions in soft tissues[C]// In 2013 IEEE International Conference on Robotics and Automation. Piscataway: IEEE, 2013: 4384-4389.
[118] Nagy D á, Nagy T D, Elek R, et al. Ontology-based surgical subtask automation, automating blunt dissection[J]. J Med Robot Res, 2018. DOI: 10.1142/S2424905X18410052.
[119] Marbán A, Casals A, Fernández J, et al. Haptic feedback in surgical robotics: Still a challenge[C]// In ROBOT2013: First Iberian Robotics Conference. Cham, Switzerland: Springer. 2014: 245-253.
[120] Van den Dobbelsteen J J, Lee R A, van Noorden M, et al.
Indirect measurement of pinch and pull forces at the shaft of laparoscopic graspers[J]. Med Biol Eng Comput, 2012, 50(3): 215-221.
[121] Wu D, Zhang Y, Ourak M, et al. Hysteresis modeling of robotic catheters based on long short-term memory network for improved environment reconstruction[J]. IEEE Robot Autom Lett, 2021, 6(2): 2106-2113.
[122] Aviles A I, Casals A. On genetic algorithms optimization for heart motion compensation[C]// In ROBOT2013: First Iberian Robotics Conference. Cham, Switzerland: Springer. 2014, 252: 237-244.
[123] Francis P, Eastwood K W, Bodani V, et al. Miniaturized instruments for the da Vinci research kit: design and implementation of custom continuum tools[J]. IEEE Robot Autom Mag, 2017, 24(2): 24-33.
[124] Wu D, Li G, Patel N, et al. Remotely actuated needle driving device for mri-guided percutaneous interventions[C]// In 2019 International Symposium on Medical Robotics (ISMR) . Piscataway: IEEE, 2019: 1-7.
[125] Ha X T, Ourak M, Al-Ahmad O, et al. Robust catheter tracking by fusing electromagnetic tracking, fiber bragg grating and sparse fluoroscopic images[J]. IEEE Sens J, 2021, 21(20): 23422-23434.
[126] Graur F, Frunza M, Elisei R, et al. Ethics in Robotic Surgery and Telemedicine[C]// Pisla D, Ceccarelli M, Husty M, et al. In New Trends in Mechanism Science. Berlin: Springer, 2010: 457-465.
[127] O’Sullivan S, Nevejans N, Allen C, et al. Legal, regulatory, and ethical frameworks for development of standards in artificial intelligence (AI) and autonomous robotic surgery[J]. Int J Med Robot Comp, 2019, 15(1): e1968.
[128] YANG C, GUO S X, BAO X Q, et al. A vascular interventional surgical robot based on surgeon’s operating skills[J]. Med Biol Eng Comput, 2019, 57(9): 1999-2010.
[129] Su H, Mariani A, Ovur S E, et al. Toward teaching by demonstration for robot-assisted minimally invasive surgery[J]. IEEE Trans Autom Sci Eng, 2021, 18(2): 484-494.
[130] GUO S X, WANG Y X, ZHAO Y, et al. A surgeon’s operating skills-based non-interference operation detection method for novel vascular interventional surgery robot systems[J]. IEEE Sens J, 2019, 20(7): 3879-3891.
[131] Shafiei S B, Hussein A A, Guru K A. Cognitive learning and its future in urology: surgical skills teaching and assessment[J]. Curr Opin Urol, 2017, 27(4): 342-347.
[132] Kinross J M, Mason S E, Mylonas G, et al. Next-generation robotics in gastrointestinal surgery[J]. Nat Rev Gastroenterol Hepatol, 2020, 17(7): 430-440.
[133] De Rossi G, Minelli M, Sozzi A, et al. Cognitive robotic architecture for semi-autonomous execution of manipulation tasks in a surgical environment[C]// In 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway: IEEE, 2019: 7827-7833.