王帥，張燁，王彤

南京醫(yī)科大學(xué)附屬無錫人民醫(yī)院 腔鏡外科，江蘇 無錫 214000

引言

增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）是一種將虛擬模型實(shí)時(shí)結(jié)合到現(xiàn)實(shí)場(chǎng)景的新技術(shù)。其基本目標(biāo)是加強(qiáng)用戶對(duì)現(xiàn)實(shí)場(chǎng)景的感知和互動(dòng)，通過在現(xiàn)實(shí)世界中添加與現(xiàn)實(shí)世界共存的三維虛擬物體來補(bǔ)充現(xiàn)實(shí)世界。在醫(yī)學(xué)領(lǐng)域中，AR 設(shè)備的發(fā)展允許醫(yī)生將數(shù)據(jù)可視化納入診斷和治療程序，以提高工作效率和安全性，并加強(qiáng)外科培訓(xùn)。

昝瑛瑛等[1]在研究提到“sensorama”于20世紀(jì)50 年代被開發(fā)出來，這是一種可以提供所有感官的電影體驗(yàn)機(jī)器。“增強(qiáng)現(xiàn)實(shí)”一詞則是于1994年由Milgram等[2]正式提出。而將這種虛擬與現(xiàn)實(shí)結(jié)合的新技術(shù)正式應(yīng)用于外科領(lǐng)域中，則是Roberts等[3]于1986年發(fā)明的一種將CT圖像集成到手術(shù)顯微鏡的光學(xué)系統(tǒng)。此后，AR技術(shù)開始被廣泛應(yīng)用于各類外科手術(shù)之中。

1 AR系統(tǒng)的核心技術(shù)

1.1 跟蹤注冊(cè)技術(shù)（三維注冊(cè)）

AR系統(tǒng)的一個(gè)關(guān)鍵衡量標(biāo)準(zhǔn)是它們將增強(qiáng)功能與現(xiàn)實(shí)世界相結(jié)合的程度，而跟蹤注冊(cè)技術(shù)則是實(shí)現(xiàn)這種精準(zhǔn)匹配的關(guān)鍵性技術(shù)之一。其原理就是實(shí)時(shí)的將虛擬場(chǎng)景渲染到真實(shí)環(huán)境中準(zhǔn)確位置，從而確保映射的準(zhǔn)確性[4]。目前現(xiàn)有的跟蹤注冊(cè)技術(shù)主要有基于計(jì)算機(jī)視覺、基于硬件設(shè)備以及混合跟蹤注冊(cè)技術(shù)三種。

1.1.1 基于計(jì)算機(jī)視覺的跟蹤注冊(cè)技術(shù)

基于計(jì)算機(jī)視覺的跟蹤注冊(cè)技術(shù)主要有兩種方法，一為帶標(biāo)記追蹤的方法，二為不帶標(biāo)記（自然特征）追蹤的方法[4]?；趲?biāo)記的方法，需要在真實(shí)空間中放置標(biāo)識(shí)物，使用標(biāo)識(shí)物的目的就是能夠快速地在真實(shí)空間中找到標(biāo)識(shí)物，而后根據(jù)標(biāo)識(shí)物的信息快速建立虛擬空間與真實(shí)空間的坐標(biāo)映射關(guān)系?；谧匀惶卣鞯姆椒?，主要通過分析實(shí)時(shí)圖像，提取相匹配的自然特征點(diǎn)，再利用這些特征點(diǎn)計(jì)算出一個(gè)變化矩陣，從而得出一個(gè)與真實(shí)空間相對(duì)應(yīng)的三維虛擬空間。該項(xiàng)技術(shù)不需要額外的外部設(shè)備，計(jì)算精度高，且具有對(duì)多目標(biāo)識(shí)別追蹤能力。但特征點(diǎn)的提取需要大量繁雜的計(jì)算過程，因此基于自然特征的追蹤方法對(duì)設(shè)備具有較高要求且對(duì)環(huán)境變化的反應(yīng)較為遲緩。

1.1.2 基于硬件設(shè)備的跟蹤注冊(cè)技術(shù)

基于硬件設(shè)備的跟蹤注冊(cè)技術(shù)通過各類傳感器與感知器的相互作用實(shí)時(shí)捕捉觀察者的位置、視場(chǎng)等信息，從而達(dá)到虛擬空間坐標(biāo)系與真實(shí)空間坐標(biāo)系的準(zhǔn)確轉(zhuǎn)換，如GPS、陀螺儀、磁力傳感器等。其優(yōu)點(diǎn)在于定位速度快、攜帶方便、實(shí)時(shí)性好，但也有需要額外的外部設(shè)備及精度受外部環(huán)境影響較大等不足。

1.1.3 混合跟蹤注冊(cè)技術(shù)

不論是基于計(jì)算機(jī)視覺的跟蹤注冊(cè)技術(shù)還是基于硬件設(shè)備的跟蹤注冊(cè)技術(shù)都各自存在優(yōu)點(diǎn)和缺點(diǎn)。因此，二者相結(jié)合的混合跟蹤注冊(cè)技術(shù)既包含計(jì)算精度高、可同時(shí)識(shí)別多目標(biāo)的優(yōu)點(diǎn)，同時(shí)又兼有速度快、實(shí)時(shí)性好、方便攜帶。

1.2 顯示技術(shù)

顯示技術(shù)是AR系統(tǒng)中另一較為重要的技術(shù)。目前應(yīng)用于AR 系統(tǒng)的顯示設(shè)備主要有頭戴式顯示器、手持式顯示器（懸掛式顯示器）、投影顯示等。

1.2.1 頭戴式顯示器

頭戴式顯示器是一種可以加強(qiáng)用戶視覺沉浸感的顯示設(shè)備。因其出色的逼真感，可以增強(qiáng)用戶的感官體驗(yàn)。但是數(shù)字化圖像允許跟蹤頭部運(yùn)動(dòng)以更好的配準(zhǔn)，這也使得匹配真實(shí)和虛擬的感知延遲成為可能。所以在快速移動(dòng)頭部時(shí)，因?yàn)榕錅?zhǔn)誤差，可能會(huì)造成成像不夠精確[5]。

1.2.2 手持式顯示器（懸掛式顯示器）

手持式顯示器一般多指手機(jī)、PDA、平板電腦等移動(dòng)終端設(shè)備的顯示器，他們具有較高的便攜性，但手持式顯示器缺乏沉浸感，用戶體驗(yàn)稍有欠缺。目前，懸掛式視頻顯示設(shè)備在腹腔鏡手術(shù)中應(yīng)用的最為廣泛，通過將CT、MRI定位的深部血管或腫瘤圖像與腹腔鏡圖像融合直接顯示在屏幕上，以幫助醫(yī)生更有效地進(jìn)行手術(shù)操作[6]。

1.2.3 投影式顯示器

與上述兩種顯示技術(shù)不同，投影式顯示器是將生成的虛擬圖像信息直接投影到一個(gè)大現(xiàn)實(shí)場(chǎng)景之中。其能夠避免圖像因觀察者角度或焦點(diǎn)變化而變化，更適合室內(nèi)場(chǎng)景使用。但其缺點(diǎn)在于設(shè)備體積龐大、易受光照等環(huán)境因素影響等。

1.3 人機(jī)交互技術(shù)

交互就是幫助虛擬事物在現(xiàn)實(shí)中更好的呈現(xiàn)，因此想要得到更好的AR體驗(yàn)，交互就是其中的重中之重。從傳統(tǒng)的鼠標(biāo)鍵盤交互方式到語音、手勢(shì)交互方式等新型交互方式，人機(jī)交互技術(shù)的發(fā)展也將會(huì)極大的促進(jìn)AR系統(tǒng)在各個(gè)領(lǐng)域中的發(fā)展。

2 AR在外科中的應(yīng)用

2.1 普外科

2.1.1 開放性手術(shù)

肝內(nèi)血管和膽道結(jié)構(gòu)的解剖變異對(duì)外科醫(yī)生提出了挑戰(zhàn)。不必要的肝切除影響隨后的肝功能、術(shù)后并發(fā)癥和患者康復(fù)。AR產(chǎn)生術(shù)中視覺輔助手術(shù)導(dǎo)航，提高肝切除術(shù)的精度。運(yùn)用AR術(shù)前評(píng)估手術(shù)目標(biāo)相關(guān)解剖和生理功能也可以預(yù)測(cè)肝臟手術(shù)的結(jié)果。Tang等[7]描述了一例阻塞性肝細(xì)胞癌患者在開放根治性肝門膽管癌（Hilar Cholangiocarcinoma，HCAC）手術(shù)中應(yīng)用AR技術(shù)輔助手術(shù)切除HCAC并同時(shí)行左側(cè)半肝切除術(shù)。Onda等[8]為一位60歲男性轉(zhuǎn)移性肝癌患者的部分肝切除術(shù)和一位53歲男性膽管細(xì)胞癌患者的右肝葉切除術(shù)。使用兩個(gè)電荷耦合設(shè)備攝像機(jī)，一個(gè)立體顯示器和圓偏振3D眼鏡創(chuàng)建了一個(gè)類似于立體腹腔鏡的3D觀看環(huán)境。使用分析成像軟件進(jìn)行3D圖像重建，繪制肝臟及其血管結(jié)構(gòu)，并用彩色顯示。配對(duì)點(diǎn)匹配配準(zhǔn)通過評(píng)估3個(gè)或更多的內(nèi)臟地標(biāo)進(jìn)行，每個(gè)配準(zhǔn)周期需要12 min。Okamoto等[9]采用相似的表面渲染和基于視頻的AR顯示方法對(duì)3例患者進(jìn)行了治療，其中包括肝管空腸吻合術(shù)、右肝切除術(shù)和肝外膽管切除術(shù)，以及涉及Couinaud節(jié)段1和8的HCC切除術(shù)。使用沿下腔靜脈、肝臟邊界和肝門內(nèi)的點(diǎn)進(jìn)行配準(zhǔn)，沒有儀器跟蹤。在需要右肝切除的病例中，AR通過消除術(shù)中膽管造影的需要，提高了切除線的準(zhǔn)確性，縮短了手術(shù)時(shí)間。實(shí)際切除線與術(shù)前線之間的殘差約為5 mm。在肝細(xì)胞癌切除術(shù)中，AR的使用使鄰近血管得以保留。

2.1.2 腹腔鏡微創(chuàng)手術(shù)

腹腔鏡手術(shù)是應(yīng)用最多的微創(chuàng)外科手術(shù)，由于其具有創(chuàng)傷小、感染率小、住院時(shí)間短、患者恢復(fù)快等優(yōu)點(diǎn)。然而，由于視野的局限性，醫(yī)生在腹腔鏡手術(shù)中的環(huán)境感知能力十分有限。

而基于AR的導(dǎo)航技術(shù)的應(yīng)用能有效解決微創(chuàng)術(shù)中視野有限的問題。Volonté等[10]將基于AR技術(shù)的3D批量渲染圖像系統(tǒng)與達(dá)芬奇機(jī)器人結(jié)合并將之應(yīng)用于1例右半結(jié)腸腺癌的患者。術(shù)前計(jì)算機(jī)斷層掃描，后將掃描數(shù)據(jù)集中在開源OsiriX DICOM工作站上可視化。OsiriX允許非放射科專家（即外科醫(yī)生本人）輕松操作和分析圖像，包括生成體積渲染。這些圖像會(huì)在術(shù)中呈現(xiàn)在操作者的顯示器上，從而可以使術(shù)者在實(shí)時(shí)圖像與立體重建的渲染圖像之間任意切換。這種技術(shù)使外科醫(yī)生完全沉浸在手術(shù)領(lǐng)域，而補(bǔ)充信息直接顯示在醫(yī)生的面前。將重建的圖像顯示在內(nèi)窺鏡視圖旁邊，有助于外科醫(yī)生了解病人的解剖結(jié)構(gòu)和確定手術(shù)目標(biāo)也有助于識(shí)別重要的血管解剖和制定術(shù)中手術(shù)策略。AR在腹部手術(shù)中應(yīng)用難度較大，器官活動(dòng)量較大；然而，它目前被用于肝臟和胰腺手術(shù)，因?yàn)樗梢愿玫赝队按笱躘11]或腫瘤位置，由于這些器官的相對(duì)靜態(tài)性質(zhì)。通過將重建數(shù)據(jù)與術(shù)中超聲進(jìn)行比較，AR可用于肝切除術(shù)中指導(dǎo)。Yasuda等[12]開發(fā)了一種使用AR技術(shù)用于肝膽胰手術(shù)的圖像導(dǎo)航系統(tǒng)（Image Navigation System，IG‐NS）。區(qū)別于傳統(tǒng)的立體鏡，此系統(tǒng)使用了更為便宜且較易操控的平板電腦。經(jīng)過對(duì)比，IG‐NS具有更好的手術(shù)視野和更加便利的操作。在多發(fā)性轉(zhuǎn)移性肝癌的手術(shù)中其優(yōu)勢(shì)更加明顯，因?yàn)樗梢院苋菀锥ㄎ话┙M織和血管的位置。

2.2 神經(jīng)外科

神經(jīng)外科中的手術(shù)要求盡可能地切除病灶并對(duì)周圍功能區(qū)域產(chǎn)生最小侵害。而AR技術(shù)可以立體地呈現(xiàn)出患者的影像信息，使得術(shù)者對(duì)于手術(shù)切口的定位及手術(shù)入路有更為明確的判斷，從而最大程度地減少手術(shù)對(duì)于患者的損傷。在神經(jīng)腫瘤手術(shù)中，AR已被應(yīng)用于開放治療，主要是膠質(zhì)瘤和腦膜瘤。Sun等[13]利用基于AR技術(shù)的iMRI聯(lián)合光輻射神經(jīng)導(dǎo)航為44例鄰近視神經(jīng)輻射的腦腫瘤患者進(jìn)行了手術(shù)。此技術(shù)將腫瘤的切除率由88.3%提高到95.7%，同時(shí)顯著降低了視覺神經(jīng)損傷的幾率。在血管神經(jīng)外科中，AR主要應(yīng)用于動(dòng)脈瘤的開放治療[14‐15]和AVMs[16]，以及動(dòng)脈瘤的治療[17]。

2.3 顱頜面外科

對(duì)于顱頜面外科而言，AR導(dǎo)航技術(shù)目前最深入的應(yīng)用主要集中在整形外科領(lǐng)域相關(guān)手術(shù)。Wang等[18]運(yùn)用三維重建圖像為50例小耳畸形伴半側(cè)顏面短小患兒模擬設(shè)計(jì)患側(cè)耳，利用模擬生成的校正參數(shù)可以提高雙側(cè)耳對(duì)稱度，從而提高了小耳畸形和輕度顱骨畸形患者的手術(shù)效果。Yu等[19]對(duì)104例患者進(jìn)行頜面部CT掃描。所有手術(shù)均在基于術(shù)前模擬的導(dǎo)航系統(tǒng)引導(dǎo)下進(jìn)行，并實(shí)時(shí)疊加。通過測(cè)量虛擬方案與實(shí)際實(shí)現(xiàn)方案之間的誤差來評(píng)估導(dǎo)航系統(tǒng)的精度。平均誤差為1.4 mm。所有患者均痊愈，功能及外形均有明顯改善。此方法提高了操作的準(zhǔn)確性和降低了手術(shù)風(fēng)險(xiǎn)。Jiang等[20]提出了一種基于點(diǎn)云的術(shù)前圖像對(duì)患者注冊(cè)方法，以替代傳統(tǒng)的點(diǎn)對(duì)點(diǎn)注冊(cè)方法，進(jìn)而AR導(dǎo)航和傳統(tǒng)二維圖像導(dǎo)航兩種種植牙手術(shù)方式。與二維圖像導(dǎo)航法相比，在AR導(dǎo)航引導(dǎo)下，中切牙根尖區(qū)及犬齒區(qū)之水平、垂直及角度偏差均較小。與骨組織相比，AR在軟組織整形領(lǐng)域尚處于探索階段[21]。Schreiber等[22]應(yīng)用三維表面掃描技術(shù)對(duì)4例面部不對(duì)稱的患者行自體脂肪移植術(shù)，通過對(duì)其面部對(duì)稱性進(jìn)行客觀分析，創(chuàng)建一個(gè)數(shù)字化的三維外科地形圖并將虛擬圖像投射到患者面部指導(dǎo)術(shù)者進(jìn)行脂肪注射。Olsson等[23]描述了一種觸覺輔助手術(shù)計(jì)劃系統(tǒng)，通過確定和完善腓骨截骨術(shù)、吻合部位和皮瓣的配置，為4例頭頸部重建病例找到最佳腓骨皮瓣方案。

2.4 胸心外科

對(duì)于胸外科手術(shù)來講，特別是肺部手術(shù)，AR技術(shù)可以提供肺的支氣管、動(dòng)脈及靜脈影像，經(jīng)過數(shù)字處理形成三維圖像 ，再通過增強(qiáng)顯示技術(shù)，在術(shù)中與患者真實(shí)的術(shù)野進(jìn)行疊加，為外科醫(yī)師的精細(xì)操作提供強(qiáng)有力的支持。湯軼等[24]通過計(jì)算機(jī)對(duì)2例胸壁腫瘤患者的CT和MRI的圖像數(shù)據(jù)建立3D模型，而后實(shí)體打印。術(shù)中在VR＋AR＋MR共同幫助下確定手術(shù)切除范圍。與常規(guī)肉眼觀察相比，此方法可幫助術(shù)者更好的觀察腫瘤的大小、邊界、與周圍臟器及神經(jīng)血管的關(guān)系，提高手術(shù)的精度的同時(shí)降低了手術(shù)的風(fēng)險(xiǎn)。2例患者均手術(shù)順利，術(shù)后恢復(fù)良好出院。Faiella等[25]對(duì)496例患者進(jìn)行了低劑量CT引導(dǎo)下的經(jīng)皮肺活檢，記錄下病灶直徑、手術(shù)時(shí)間、病灶距胸膜表面的距離、手術(shù)針距、并發(fā)癥等數(shù)據(jù)，發(fā)現(xiàn)此系統(tǒng)在診斷微小病灶方面具有明顯優(yōu)勢(shì)。在心臟外科方面，Devernay等[26]將AR應(yīng)用于機(jī)器人輔助的微創(chuàng)心血管手術(shù)。他們結(jié)合了機(jī)器人的實(shí)用性，如彌補(bǔ)手術(shù)過程中外科醫(yī)生靈活性下降，和AR技術(shù)，如使無法正?？吹降慕Y(jié)構(gòu)可視化。在AR的幫助下，將冠狀動(dòng)脈的位置疊加到立體視頻圖像上。他們的結(jié)論是AR幫助定位心臟本身的冠狀動(dòng)脈，盡管冠狀動(dòng)脈的圖像在手術(shù)前幾天已經(jīng)獲得。De Buck等[27]將AR應(yīng)用于心導(dǎo)管消融過程的患者特異性指導(dǎo)，他們使用患者的術(shù)前磁共振成像來構(gòu)建心臟的三維重建圖像，根據(jù)磁共振圖像對(duì)雙翼透視圖像進(jìn)行校正。通過這種方法，電生理學(xué)家能夠在消融前和消融過程中獲得良好的心房形狀的三維感知。這增加了對(duì)心房解剖的認(rèn)識(shí)，導(dǎo)致一些病人治療策略的改變。該程序進(jìn)一步簡(jiǎn)化了彩色編碼，導(dǎo)致更少的精神負(fù)荷。他們認(rèn)為AR輔助系統(tǒng)的主要優(yōu)點(diǎn)是使電生理學(xué)家能夠在消融過程之前就做好準(zhǔn)備。

2.5 骨科

基于臨床數(shù)據(jù)，AR已被證實(shí)可以廣泛應(yīng)用于骨科手術(shù)，如腫瘤切除、骨折固定和全關(guān)節(jié)置換術(shù)中的假體對(duì)齊[28]。利用基于AR技術(shù)的三維建模及術(shù)中導(dǎo)航技術(shù)，為患者制定個(gè)體化的診療方案，有效提高手術(shù)的安全性和精確性，也能極大限度的縮短手術(shù)時(shí)間。

Van Duren等[29]描述了AR用于模擬動(dòng)態(tài)髖螺釘（Dynamic Hip Screw，DHS）植入治療髖關(guān)節(jié)囊外骨折的應(yīng)用。通過提供給一種容易獲得、經(jīng)濟(jì)和真實(shí)的模擬導(dǎo)絲插入，他們指出AR在訓(xùn)練骨科醫(yī)生進(jìn)行DHS固定方面具有很高的價(jià)值。此外，Hiranaka等[30]研究了AR是否可以提高從外側(cè)皮質(zhì)到股骨頭中心的塑料股骨k線放置的準(zhǔn)確性。他們注意到，與傳統(tǒng)方法相比，AR系統(tǒng)顯著縮短了放置時(shí)間、輻射暴露時(shí)間和尖頂距離。Elmi‐Terander等[31]的另一項(xiàng)研究表明，在胸椎椎弓根螺釘固定的準(zhǔn)確性方面，無需透視的AR輔助導(dǎo)航明顯優(yōu)于傳統(tǒng)技術(shù)。Kosterhon等[32]將AR應(yīng)用于先天性半椎體胸腰椎患者的手術(shù)中，發(fā)現(xiàn)該系統(tǒng)在復(fù)雜形狀的楔形骨切除術(shù)中可以提供更高的準(zhǔn)確性和患者安全性。

3 總結(jié)和展望

AR技術(shù)應(yīng)用于輔助臨床診斷和治療具有獨(dú)特的優(yōu)勢(shì)，其精度和安全性也足以滿足常規(guī)臨床實(shí)踐。將AR技術(shù)與計(jì)算機(jī)導(dǎo)航技術(shù)相結(jié)合已成為未來醫(yī)學(xué)發(fā)展的一個(gè)趨勢(shì)。盡管AR技術(shù)在外科手術(shù)中的應(yīng)用不斷深入，但仍有一些困難需要解決：① 測(cè)量及模型的重建會(huì)增加術(shù)前準(zhǔn)備所需要的時(shí)間，具體時(shí)間取決于手術(shù)的類型和AR系統(tǒng)的復(fù)雜性；② 所有的重建圖像都需要使用復(fù)雜的算法提前準(zhǔn)備，需要強(qiáng)大的計(jì)算機(jī)。這也就意味著需要額外增加對(duì)計(jì)算機(jī)等硬件設(shè)施的前期投入；③ 目前的AR技術(shù)所用的圖像皆是術(shù)前根據(jù)影像資料建立的，對(duì)于胃腸等活動(dòng)度較大的器官，可能術(shù)中實(shí)際情況與術(shù)前模型不完全相符。這就要求系統(tǒng)具有在術(shù)中自動(dòng)匹配校準(zhǔn)并重建三維圖像模型的功能[6]。