程聰，陸馬乘，張燁

南京醫(yī)科大學附屬無錫市人民醫(yī)院 腔鏡外科，江蘇 無錫 214043

引言

隨著外科技術的進步，手術方式逐漸由開放向微創(chuàng)發(fā)展。腹腔鏡的應用，減少了手術創(chuàng)傷，縮短術后恢復期，降低切口并發(fā)癥的發(fā)生率[1]。手術機器人的出現(xiàn)使得微創(chuàng)外科的發(fā)展進入新的高度。從1985 年，第一臺基于工業(yè)機器人改裝的用于輔助腦活檢的手術機器人出現(xiàn)開始[2]，到現(xiàn)在應用最為廣泛的達芬奇機器人系統(tǒng)，手術機器人的發(fā)展取得了十足的進步。符合人體工程學的操作手柄，高自由度的機械臂，滿足了精細化、精準化的手術需求。立體腹腔鏡的應用[3]，改善了傳統(tǒng)單攝像頭腹腔鏡二維成像對深度感知的缺失。但是，目前臨床應用的手術機器人仍存在諸多弊端，如視覺感知的削弱，力反饋、觸覺反饋的缺乏[3]。

增強現(xiàn)實（Augmented Reality，AR）是一種將虛擬信息投射入真實世界的技術。在外科手術中，AR手術導航（AR Surgical Navigation，ARSN）系統(tǒng)可以將目標器官的半透明三維模型直觀顯示在手術視野中，輔助醫(yī)生判斷手術區(qū)域的解剖情況。在機器人手術中，ARSN 的應用可以彌補感知的削弱，降低手術難度，提高手術安全性與精確度[4]。目前，ARSN 系統(tǒng)在骨科[5]、神經外科[6]以及頜面外科[7]中已經得到了初步的應用。在腹腔鏡機器人手術（Robot-Assisted Laparoscopic Surgery，RALS）領域中，ARSN 技術也在逐漸推廣，其在肝切除術[8]、膽囊切除術[4]、腎癌根治術[9]、前列腺癌根治術[10]、胰十二指腸切除術[11]等手術中均有相關應用報道。然而，不同于骨科、神經外科及頜面外科，腹部器官具有動態(tài)非剛性特點，這使得ARSN 的應用有著更高的難度及挑戰(zhàn)性。本文基于ARSN 的技術要點，介紹AR 導航腹腔鏡機器人手術（AR-RALS）目前的臨床應用現(xiàn)狀，并提出現(xiàn)階段存在的技術難點及對未來發(fā)展的展望。

1 AR導航數(shù)據(jù)來源

ARSN 的導航信息以三維圖像為主要表現(xiàn)類型。而構建三維圖像的數(shù)據(jù)主要來源于術前或者術中的醫(yī)學影像學圖像。CT 及MRI 是常用的形態(tài)顯像技術。CT 為密度成像，基于X 射線在不同密度組織中的吸收率差異，產生可以顯示組織形態(tài)及輪廓的斷層圖像。MRI 利用核磁共振原理，通過識別人體電磁信號，獲取組織的形態(tài)信息，其對軟組織的分辨力相比于CT 成像更有優(yōu)勢?；颊咝g前的CT/MRI 影像是外科醫(yī)生判斷病灶解剖特點及術式選擇的重要依據(jù)，也是構建器官三維模型最主要的數(shù)據(jù)來源。但是，基于術前圖像重建的三維模型無法真實反映患者術中的情況。軟組織在術中的形變，使得高精度的實時配準、導航的實現(xiàn)變得困難。相較而言，術中CT/MRI成像具有更高的實效性，其可以直接捕捉術中組織器官的狀態(tài)并展示給術者。但是，較低的幀率、潛在的輻射危害以及設備嚴苛的環(huán)境要求，使其難以在臨床普及。

2 AR顯示技術

虛擬信息常用的顯示方法主要有3 種：視頻疊加、圖像投影及光學透視。

視頻疊加是指將虛擬圖像覆蓋至顯示器上的真實手術場景，該顯示方式是ARSN 在腹腔鏡手術中的主要應用形式。借助于顯示器，外科醫(yī)生和助手可以獲得同樣的視覺和視角。其缺點主要在于視野的局限和分辨率限制。圖像投影是通過投影儀將重建圖像直接投影至手術視野來實現(xiàn)的[12]。投影顯示需要經過仔細的校準，以補償組織表面曲率改變導致的投影圖像外觀變化。此外，由于投影需要直接的光線照射，因此常將其用于開放式手術或者基于體表定位的手術方式。光學透視是指外科醫(yī)生通過半透明的鏡子觀察手術區(qū)域，而虛擬模型則通過反射疊加在鏡子上，進而實現(xiàn)AR 可視化的顯示技術。其常見的形式是頭戴式顯示器，如目前主流的HoloLens、Meta2 及谷歌眼鏡等。將視網(wǎng)膜顯示器、耳機和攝像頭等設備集成，其可以實現(xiàn)多功能導航系統(tǒng)，如語音、手勢互動[13]。頭戴式顯示器提供了一種相對便攜、低成本且功能豐富的手術導航方案。

3 基于術前數(shù)據(jù)的AR-RALS技術要點

3.1 三維模型構建

術前獲取CT、MRI 影像數(shù)據(jù)，首先需要人工或者使用AI 深度學習方法[14]識別及標注組織器官的層次及邊界。隨后借助于建模軟件將醫(yī)學數(shù)字成像和通信（Digital Imaging and Communications in Medicine，DICOM）格式圖像進行分層渲染以及立體重建，最終獲得模塊化的三維器官模型。

3.2 術中模型配準

圖像配準是指將圖像信息與現(xiàn)實場景統(tǒng)一到同一個坐標系的過程。根據(jù)其參考物的不同，ARSN 的配準主要有2 種方式：基于點的配準和基于形狀的配準。

3.2.1 基于點的配準

基于點的配準系統(tǒng)主要有光學跟蹤系統(tǒng)（Optical Tracking System，OTSs）和電磁跟蹤系統(tǒng)（Electromagnetic Tracking System，EMTSs）[15]。其工作流程包括：傳感器識別植入組織內的光、電磁信號源，獲取標志點的定位；隨后，定位數(shù)據(jù)被傳輸至成像系統(tǒng)，調整三維模型中對應標記點在屏幕中的位置，進而實現(xiàn)導航數(shù)據(jù)的配準。OTSs 具有高跟蹤精度和對環(huán)境條件的穩(wěn)健性的優(yōu)勢[16]。Kenngott 等[17]在食管癌根治術中應用了基于紅外光學追蹤的圖像導航系統(tǒng)，并初步驗證了其在機器人手術中的可行性，但術中傳感器視線遮擋造成信號的丟失難以避免。EMTSs利用電磁場實現(xiàn)準確而快速的追蹤，沒有視線的限制。相關實驗室研究證實了EMTSs 具有較好的應用潛能[18]。其缺點在于電磁信號傳導易受到金屬或磁性材料的干擾。在復雜的手術導航場景中，標記點/傳感器的位置和數(shù)量、導航區(qū)域的大小、軟組織形變等均會顯著影響OTSs 和EMTSs 的準確性[16]。

3.2.2 基于形狀的配準

基于形狀的配準也稱為面配準，是指通過獲取術中器官組織的表面信息來實現(xiàn)與虛擬模型配準的方法[19-20]。其主要步驟包括：① 術前構建目標器官三維模型；② 術中根據(jù)腹腔鏡獲取的目標器官的圖像，進行表面三維重建；③ 將器官術前模型與表面重建模型進行人工初始配準，并獲取轉換矩陣；④ 使用圖像跟蹤算法實現(xiàn)自動配準。

自動配準是指在初始配準的基礎上，借助于圖像跟蹤配準算法自動更新導航信息。迭代最近點（Iterative Closest Point，ICP）[19]及其改良算法（如GO-ICP）[21]是常用的點云配準方法，其將三維模型與真實器官的表面重建點云進行配對，術中根據(jù)配對點移動實時調整模型的形態(tài)，進而實現(xiàn)自動化配準。在ICP 算法的基礎上，使用B 樣條[22]、薄板樣條變換[23]和相干點漂移[24]等方法可以有效補償軟組織形變。然而，這種基于表面特征進行的配準，無法反映器官內部結構的改變。對此，Suwelack 等[25]提出一種基于物理的形狀配準方法，借助于生物力學模型，該方法可以較為準確地模擬出深部組織的形變，顯著提升模型配準的精度。此外，Paulus等[26]應對組織變形的基礎上還考慮到了拓撲結構的改變，其提出的復合有限元模型可以有效模擬器官切割后的狀態(tài)，保證了破壞性操作后有效的導航精度，提高了導航數(shù)據(jù)的利用率。

相較于點配準，面配準不需要額外的跟蹤系統(tǒng)。但是，其對手術視野的暴露要求較高，器官表面重建比例直接影響配準的準確度[27]。然而在機器人手術中，腹腔鏡往往只能獲取器官的局部視野，這使得大面積的表面重建十分困難。與點配準結合以提高配準的魯棒性和準確度，可能是目前較為簡單的解決方案。雖然跟蹤系統(tǒng)的引入無法避免，但并不改變AR-RALS 的基本流程。

4 基于術中數(shù)據(jù)的AR-RALS技術要點

術前構建的器官模型往往無法反映術中器官的狀態(tài)，而目前的配準技術仍難以應對術中器官的復雜形變。因此，術中實時成像是ARSN 系統(tǒng)的理想數(shù)據(jù)來源，其將術中獲取的器官影像進行快速三維重建，可以直接與視頻畫面重疊而無需額外調整圖像形態(tài)，降低了配準難度，提高了導航的準確性。目前術中實時成像的方法主要包括CT、MRI、超聲成像（Ultrasonography，US）和近紅外熒光顯像。

4.1 術中CT/MRI成像

Shekhar 等[28]在動物試驗中驗證了基于術中CT 的AR-RALS 的可行性。手術過程中，每1 秒進行一次CT掃描成像，獲得的影像通過AR 渲染后配準至手術畫面中，為術者提供手術部位的解剖信息。結果顯示，這種“實時AR 模型”對軟組織形變具有很好的補償作用。但是，較低的刷新率可能會影響手術進程，以及輻射對術者健康造成的損害無法避免。此外，目前CT 或MRI 設備與手術機器人兼容性差，難以在AR-RALS 中應用。

4.2 術中超聲導航

術中超聲（Intraoperative Ultrasonography，IOUS）具有實時成像、廉價、無放射性等優(yōu)點。IOUS 在鑒別腫瘤及其周圍組織結構，指導實質臟器的切除方面具有獨特的優(yōu)勢[29]。隨著機器人技術的發(fā)展，手術機器人已經具有較為完善的IOUS 導航系統(tǒng)。在肝切除術中，IOUS 的應用被認為可以提高圍術期安全性，改善腫瘤學結果[30]。但是，IOUS 圖像的獲取與解讀依賴于手術醫(yī)生的影像學水平。對于外科醫(yī)生而言，其學習曲線長、影像認知負荷重。對此，Shen 等[31]將IOUS 與AR技術結合。將術中獲取的US 圖像進行三維重建并配準至手術視野，可以直觀顯示手術區(qū)域深部組織結構，為病灶的精準切除提供指導。相較于基于術前數(shù)據(jù)的ARRALS，基于IOUS 構建的AR 模型可以實時追蹤軟組織形變，在非剛性器官手術中具有更好的視覺效果。但是，IOUS 也存在顯著缺陷，如在空腔臟器中應用受限，當病灶與周圍組織密度均一時導航效果較差。

4.3 近紅外熒光顯像

近紅外熒光成像技術主要用于血管造影及腫瘤病灶顯像[32]。在肝臟手術中，吲哚菁綠可以用于膽管、血管以及淺表癌灶顯影，有助于解剖性肝段的切除，降低血管損傷及膽汁泄漏的風險，優(yōu)化腫瘤學結果[33]。將熒光顯影與AR 結合是一種具有潛力的術中導航工具。Diana等[34]將吲哚菁綠顯影圖像重建并配準至手術界面，直觀顯示腸系膜血流灌注情況，指導外科醫(yī)生建立結直腸吻合口，降低了吻合口并發(fā)癥的發(fā)生率。然而，熒光染料顯影僅可穿透皮下數(shù)毫米，空間分辨率較低、穩(wěn)定性差，應用場景較局限。將近紅外熒光成像技術與IOUS或術前器官三維模型結合，可以作為AR-RALS 系統(tǒng)在某些術式中的優(yōu)化策略。

5 AR-RALS的臨床應用

5.1 術前計劃

目前，對病灶及周圍組織結構的術前探查往往只能依賴于常規(guī)的影像學檢查，如CT、MRI 及B 超等。但是，由于其DICOM 成像二維切片的特性以及單調的灰度表現(xiàn)形式，很難直觀明確地顯示復雜解剖結構。而借助于虛擬模型，外科醫(yī)生可以將其放大、旋轉以及調整透明度，直接觀察手術區(qū)域重要結構，如血管、神經的走行及病灶的大小與位置等。在臨床，這種直接而仔細的觀察，對于提高手術安全性有著顯著積極的作用[35]。

隨著可視化數(shù)字技術的進步，外科醫(yī)生還可以在術前三維模型上進行虛擬探查及模擬手術，提高外科手術的可預測性、可控性。Mise 等[36]通過在肝臟三維模型上進行模擬手術，在術前對門靜脈血流灌注容積進行分析，并定量估算術后靜脈引流面積，進而優(yōu)化了切除平面。Diana 等[4]在評價VR-AR 技術在機器人膽囊切除術中的應用時，借助于建立的膽囊虛擬模型進行術前探查，靈敏地發(fā)現(xiàn)了解剖變異，從而提前確定手術方式，降低膽道損傷的概率。此外，詳細的術前計劃還可以增加術者信心，潛在提高手術的安全性[35]。

5.2 手術導航

手術機器人的出現(xiàn)使患者可以在較小的創(chuàng)傷下完成手術。但是外科醫(yī)生只能通過觀察顯示器上的二維圖像來獲取手術視野。相對狹小的視野以及立體感的減弱，增加了手術操作的難度。此外，觸覺反饋和力反饋的喪失，使術者難以通過手指獲取組織結構質地、硬度及形狀等信息，為術中決策帶來阻礙，增加了誤傷的風險。而使用AR-RALS 系統(tǒng)，術者可以隨時查看病灶的位置及其周圍組織解剖特征，選擇最佳的手術方式，進而實現(xiàn)精準手術。

目前，基于AR-RALS 系統(tǒng)的外科模式在臨床仍處于探索階段，而結構相對穩(wěn)定的肝臟、胰腺、前列腺及腎臟等器官是主要研究對象。在肝膽外科中，最大程度減少肝臟體積的損失和保證安全的切除邊界對于降低肝切除術后并發(fā)癥的發(fā)生率和死亡率至關重要[37]。然而由于肝臟血管、膽道高度變異性，以及常規(guī)機器人手術中環(huán)境感知能力受限，不必要的肝組織損傷常難以避免。使用AR-RALS 系統(tǒng)，術者可以通過觀察器官模型直接獲取腫瘤位置及周邊血管、膽管走行等信息，有效減少術中出血及正常肝臟體積的損失，顯著降低肝臟手術的難度[37-39]。在胰腺手術中，將熒光膽道造影與ARRALS 系統(tǒng)結合，有助于外科醫(yī)生更準確地識別胰頭周圍重要的血管及膽道結構，在保證安全邊界的同時避免造成額外的損傷[11]。

近年來，機器人手術在前列腺、腎臟等泌尿生殖系癌癥的管理中越來越重要[40]。AR-RALS 系統(tǒng)在泌尿系統(tǒng)手術中也逐漸得到應用。在前列腺癌手術中，ARRALS 系統(tǒng)的應用有助于外科醫(yī)生正確地認識前列腺的解剖結構，并根據(jù)患者病灶不同的解剖位置制定個性化手術方案，進而優(yōu)化腫瘤學結果，同時減少尿道的損傷，保證功能最大化[10,41-42]。在腎臟腫瘤的治療中，ARRALS 系統(tǒng)也存在顯著優(yōu)勢：術中腫瘤及其周圍血管的直觀顯示，降低了全腎缺血率，增加腫瘤摘除率的同時保留更多的健康腎單位，并且降低集合系統(tǒng)損傷概率[43-44]。

在結構呈顯著動態(tài)性的結直腸手術中，AR-RALS的應用則顯得尤為困難。2019 年，Atallah 等[45]首次嘗試ARSN 技術用于機器人輔助經肛門全直腸系膜切除，雖然初步證實了其在臨床具有一定的可行性。但是嚴重的技術缺陷使其無法真正用于臨床：① 姿勢的不同使得基于術前影像的三維模型無法反映術中情況；② 手術過程中煙霧、器械對跟蹤器視線的遮擋，造成配準信號的丟失；③ 手術操作過程中造成器官形變和拓撲結構的改變，顯著降低配準精度。

6 AR-RALS的優(yōu)勢和不足

6.1 AR-RALS的優(yōu)勢

相較于傳統(tǒng)的開放和腹腔鏡手術，機器人手術具有更高的精準度[46]。將AR 技術提供的透視“眼”與機器人靈巧的“手”相結合，可以更充分地發(fā)揮機器人高精準度的優(yōu)勢，實現(xiàn)真正意義上的精準手術[47]。不同于手持腹腔鏡的晃動，手術機器人能始終保持鏡頭的穩(wěn)定，顯著降低運動追蹤和模型配準的難度[48]。此外，目前的手術機器人已經具備較為完善的人機交互系統(tǒng)，依靠其自身的硬件設備和可視化系統(tǒng)可以基本滿足ARSN 系統(tǒng)的軟硬件需求。因此，在機器人手術中應用ARSN 系統(tǒng)更便于實施，并具有更高的性價比[3,19]。

6.2 AR-RALS的不足

6.2.1 運動跟蹤

在高度復雜和動態(tài)場景的外科手術中，由于生理運動和手術動作造成組織不斷移動和扭曲，使得圖像追蹤十分困難[48]。OTSs 或EMTSs 在追蹤的準確度上存在優(yōu)勢，但是信號易受干擾、昂貴的追蹤設備使其難以普及。而基于點云的方法，術中組織變形、運動模糊或遮擋導致的特征丟失是不可避免的[49]。近些年，同步定位和映射（Simultaneous Localization and Mapping，SLAM）[50-51]技術由于其魯棒性逐漸得到更多的關注。SLAM 技術可以同時估計相機的運動和重建周圍環(huán)境。相較于點云方法，SLAM 可以解除累計誤差，并在跟蹤失敗后重新定位。Mur-Artal 等[51]提出的ORB-SLAM2 是其最具代表性的應用。但是僵硬的場景重建，阻礙了其在AR-RALS 系統(tǒng)中的應用。對此，Bescos 等[52]提出基于深度學習方法進行手術場景分割，可以實現(xiàn)在動態(tài)環(huán)境中識別組織形變的SLAM 結果。然而較高的圖像分割計算成本，使其無法以實時速度運行。未來，隨著計算機硬件技術和人工智能的發(fā)展，更加完善的跟蹤技術或許并不遙遠。

6.2.2 非剛性配準

在不易變形的組織（如骨骼）中，剛性配準模型可以獲取較好的配準效果。但是當目標組織為腹腔內器官時，氣腹、體位改變以及器械作用會導致目標器官產生明顯的形變。剛性配準模型無法反映術中器官的真實形態(tài)。此時，使用非剛性配準模型是實現(xiàn)高精度導航的必需條件[10]。彈性有限元[10]和生物力學模型[23]在模擬組織形變上具有顯著的優(yōu)勢。然而，各個器官的彈性并非一致，基于某一方法建立的器官模型難以反映器官真實的彈性情況。理想的配準模型，應是獲取每個患者特異組織彈性數(shù)據(jù)并構建的個性化彈性三維模型。但是，復雜的步驟和高昂的成本使其難以普及。

6.2.3 高昂的成本

高昂的成本也是AR-RALS 系統(tǒng)目前難以回避的問題。雖然市面上具有多種渲染軟件，但對于較為復雜的器官（如肝臟、腎臟）的3D 渲染仍是復雜且耗時的工作[31]。深度學習算法的使用可能有利于圖像的分割和重建，但是現(xiàn)階段高質量的模塊化三維模型構建人工干預仍無法避免。此外，由于目前還缺乏能真正用于臨床的自動化配準方法，術中往往需要配備專門人員輔助圖像配準，額外的人工成本和不穩(wěn)定性，使其實用性大打折扣。

7 總結與展望

目前AR-RALS 已經具備了初步可行性，可以滿足臨床應用的基本要求?；谂R床的研究表明，其可以顯著提升手術的安全性、精準度。但是在廣泛臨床應用前還需要進一步改進技術，主要包括三維重建技術和自動化配準。當前基于AR-RALS 的研究還主要集中于技術可行性的探索[53]。各項研究之間存在顯著異質性，技術流程的不同和研究方式的差異也使得目前AR-RALS 的臨床研究結果缺乏可靠的多中心驗證。未來隨著技術的進步和程序的規(guī)范化，需要大量多中心、大樣本的隨機對照研究來進一步檢驗AR-RALS 在外科中的應用價值。