孫濤, 由渭平, 鄧飛, 李建, 唐金海

我國人口多、幅員遼闊,城鄉(xiāng)之間、東西部地區(qū)之間醫(yī)療資源、服務(wù)水平差別懸殊等問題都在推動著眾多醫(yī)療機(jī)構(gòu)走向智能化、信息化,許多專家與學(xué)者應(yīng)用互聯(lián)網(wǎng)技術(shù)在遠(yuǎn)程醫(yī)療方面做出有益的探索,但是大都限于內(nèi)科疾病或者慢性病[1-7]。新世紀(jì)以來,數(shù)字醫(yī)學(xué)技術(shù)(包括3D打印、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí))在外科領(lǐng)域應(yīng)用越來越廣泛,取得學(xué)者一致認(rèn)可[8-18]。醫(yī)學(xué)界將混合現(xiàn)實(shí)技術(shù)(mixed reality,MR)應(yīng)用于外科領(lǐng)域遠(yuǎn)程醫(yī)療的研究比較少,應(yīng)用于乳腺腫瘤遠(yuǎn)程精準(zhǔn)診療方面在國際上尚屬首次。MR流程主要包括影像數(shù)據(jù)獲取、三維模型重構(gòu)與可視化、遠(yuǎn)程手術(shù)規(guī)劃與醫(yī)患溝通、遠(yuǎn)程手術(shù)實(shí)時(shí)指導(dǎo)等,其流程詳見圖1。本文結(jié)合病例報(bào)道對乳腺腫瘤進(jìn)行介紹。

圖1 基于混合現(xiàn)實(shí)技術(shù)的遠(yuǎn)程診治流程圖

1 資料與方法

1.1 一般資料 患者女,42歲,陜西富平人,農(nóng)民,因“無明顯原因發(fā)現(xiàn)右側(cè)乳房腫塊兩周”入院。查體:右側(cè)乳房乳頭后方可觸及一大小2.0 cm×2.0 cm包塊,質(zhì)地較硬,邊界清楚,活動度可,周圍皮膚無紅腫,無橘皮樣改變,無壓痛,淺表靜脈無擴(kuò)張,乳頭無萎縮,無溢血、溢液,左乳未觸及明顯腫塊。雙側(cè)腋窩及雙側(cè)鎖骨上、下窩均未觸及腫大的淋巴結(jié)。乳腺鉬靶提示:右側(cè)乳頭后方高密度腫塊,TI-RADS分類 4A。患者發(fā)病以來,飲食可,二便正常,無發(fā)熱,無其他不適。否認(rèn)有既往病史。

設(shè)備：PHILIPS 16排螺旋CT;GE SignaHDxt 3.0T磁共振系統(tǒng) 、乳腺專用8通道相控陣線圈;北京維卓醫(yī)療科技發(fā)展有限公司開發(fā)的Visual Volume軟件和MR 3D醫(yī)學(xué)交互系統(tǒng)。

1.2 數(shù)據(jù)采集 患者按照檢查要求分別進(jìn)行多排螺旋CT胸部平掃,乳腺3.0T MR平掃加增強(qiáng)掃描,獲取DICOM原始數(shù)據(jù)。

1.3 三維模型重構(gòu)與可視化 三維重構(gòu)是將二維的多模態(tài)影像文件通過應(yīng)用特殊的算法與軟件,處理成三維數(shù)字模型的過程。將CT、MRI 采集到的DICOM原始數(shù)據(jù)輸入Visual Volume軟件，依次對正常腺體、腫瘤、血管、骨骼等多種組織進(jìn)行可視化分割提取,測量、計(jì)算生成STL格式(STereo Lithography)的三維網(wǎng)格模型,圖2為乳腺腫瘤的圖像分割示意圖。

圖2 右側(cè)乳腺腫瘤不同方位圖像分割示意圖

對STL格式的3D數(shù)字模型采用特定軟件進(jìn)一步調(diào)整物理參數(shù)、定位、渲染、高維態(tài)顯示,并載入到混合現(xiàn)實(shí)設(shè)備HoloLens眼鏡中實(shí)現(xiàn)在網(wǎng)上實(shí)時(shí)共享,乳腺腫瘤遠(yuǎn)程手術(shù)術(shù)前方案規(guī)劃、醫(yī)患溝通、實(shí)時(shí)手術(shù)指導(dǎo)研究提供三維可視化模型。

1.4 遠(yuǎn)程手術(shù)規(guī)劃與醫(yī)患溝通 基于混合現(xiàn)實(shí)技術(shù)支持，兩地醫(yī)患三方佩戴HoloLens眼鏡，進(jìn)行患者病情匯報(bào)討論、手術(shù)方案規(guī)劃、醫(yī)患溝通等操作。

1.5 遠(yuǎn)程手術(shù)實(shí)時(shí)指導(dǎo) 基于混合現(xiàn)實(shí)技術(shù)，醫(yī)生佩戴HoloLens眼鏡,在三維可視化模型與真實(shí)解剖結(jié)構(gòu)相融合與疊加后,按照手術(shù)方案,實(shí)施精準(zhǔn)的手術(shù)。

2 結(jié)果

2.1 影像判讀結(jié)果 按照以上流程,重構(gòu)的基于混合現(xiàn)實(shí)技術(shù)的三維可視化模型,詳見圖3。

圖3 基于混合現(xiàn)實(shí)技術(shù)三維可視化模型

分別采用不同顏色指代不同組織,渲染效果好,可以從不同角度觀察、縮放可視化模型,調(diào)節(jié)對比度與亮度,隱藏或者透明化各種組織等,影像診斷清晰明了、簡單易行。本例患者右乳頭后方可見一直徑2 cm的結(jié)節(jié),強(qiáng)化明顯,邊緣光滑,與周圍腺體組織邊界清,纖維腺瘤可能性大。

2.2 基于混合現(xiàn)實(shí)技術(shù)的遠(yuǎn)程手術(shù)規(guī)劃與醫(yī)患溝通

兩地醫(yī)生與患者患者如同面對面交談，沉浸感、真實(shí)感與實(shí)時(shí)性均強(qiáng)，通過不同手勢操作HoloLens眼鏡中的三維模型，改變不同組織結(jié)構(gòu)和器官的顏色，調(diào)整透明度來隱藏與透明化，使抽象的人體解剖結(jié)構(gòu)具體化，結(jié)合患者實(shí)際病情，手術(shù)方案規(guī)劃與醫(yī)患溝通高效、順暢。詳見圖4。

圖4 兩地遠(yuǎn)程手術(shù)規(guī)劃與醫(yī)患溝通現(xiàn)場圖

2.3 基于混合現(xiàn)實(shí)技術(shù)的遠(yuǎn)程手術(shù)實(shí)時(shí)引導(dǎo) 將由CT與MRI數(shù)據(jù)為基礎(chǔ)重構(gòu)的三維可視化虛擬模型同患者身體部位融合,實(shí)現(xiàn)對手術(shù)的圖像引導(dǎo)功能,醫(yī)生可在手術(shù)視野非常小的情況下掌握患者內(nèi)部信息,實(shí)施精準(zhǔn)手術(shù)方案。本例患者麻醉成功、常規(guī)消毒后,在遠(yuǎn)程端專家指導(dǎo)下,本地端醫(yī)生依據(jù)術(shù)前制訂的方案結(jié)合三維可視化模型,精確定位腫瘤,并完整切除,根據(jù)術(shù)中快速病理結(jié)果,行Ⅰ期腺體內(nèi)成形術(shù)。整臺手術(shù)出血約10 ml,手術(shù)時(shí)間30 min,患者及家屬滿意。

3 討論

3.1 創(chuàng)新之處 本次手術(shù)采用繪制渲染和處理技術(shù)、手術(shù)導(dǎo)航技術(shù)、異地三維坐標(biāo)信息實(shí)時(shí)同步傳輸和配準(zhǔn)等諸多核心技術(shù),實(shí)現(xiàn)多終端虛擬現(xiàn)實(shí)呈現(xiàn)和語音、視頻、三維場景信息的實(shí)時(shí)傳遞技術(shù),解決遠(yuǎn)程視頻指導(dǎo)和多用戶同時(shí)觀看同一三維場景的難題,體素提取和三維重建時(shí)間大大縮短,改變醫(yī)學(xué)影像三維重建必須依賴于國外軟件的現(xiàn)狀,大大降低當(dāng)前三維網(wǎng)格重建的時(shí)間成本和經(jīng)濟(jì)成本,手術(shù)實(shí)時(shí)導(dǎo)航順利進(jìn)行。通過本次手術(shù),總結(jié)和積累技術(shù)、經(jīng)驗(yàn),為以后的異地手術(shù)指導(dǎo)和遠(yuǎn)程操控手術(shù)機(jī)器人等其他項(xiàng)目提供底層級的技術(shù)支持。

3.2 基于混合現(xiàn)實(shí)技術(shù)遠(yuǎn)程醫(yī)療應(yīng)用價(jià)值與前景展望 隨著科技的發(fā)展,數(shù)字醫(yī)學(xué)技術(shù)(主要是3D打印、虛擬現(xiàn)實(shí)技術(shù)、增強(qiáng)現(xiàn)實(shí)術(shù)、MR)已越來越多應(yīng)用于肝膽、骨科等醫(yī)學(xué)領(lǐng)域[18-23],乳腺外科也有相關(guān)的報(bào)道[24-26]。MR作為一種數(shù)字全息影像技術(shù),是在虛擬現(xiàn)實(shí)技術(shù)(virtual reality, VR)和增強(qiáng)現(xiàn)實(shí)技術(shù)(augmentedreality,AR)的基礎(chǔ)上發(fā)展而來,盡管它在國內(nèi)外醫(yī)學(xué)領(lǐng)域的應(yīng)用才剛剛起步,但應(yīng)用前景非常令人期待[27-28],極可能給臨床、教育、科研以及醫(yī)患溝通等領(lǐng)域帶來突破性革命[29]。MR在虛擬環(huán)境中引入現(xiàn)實(shí)場景信息,在虛擬世界、現(xiàn)實(shí)世界與用戶之間搭起一個(gè)交互的信息反饋回路,以增強(qiáng)用戶體驗(yàn)。作用如下:①術(shù)前用于手術(shù)方案規(guī)劃、遠(yuǎn)程醫(yī)醫(yī)溝通、醫(yī)患溝通等多個(gè)領(lǐng)域,解決參與者之間的信息不對稱性問題;②術(shù)中可以將三維影像與病灶結(jié)構(gòu)融合在一起,醫(yī)生在保證創(chuàng)傷最小的前提下能看到病灶結(jié)構(gòu),不必依賴經(jīng)驗(yàn)或想象力來解決術(shù)中不確定性;③助力遠(yuǎn)程專家會診,建立專家和患者之間的聯(lián)系,使患者在本地即可接受外地專家的遠(yuǎn)程會診,從而節(jié)約了醫(yī)生和患者大量的時(shí)間和費(fèi)用,使醫(yī)療資源得到充分的利用;④可以提供遠(yuǎn)程醫(yī)療培訓(xùn),基層臨床醫(yī)務(wù)人員在“遠(yuǎn)程醫(yī)療”的過程中可以得到外地一流專家的指導(dǎo),有利于提高自身手術(shù)水平。

數(shù)字技術(shù),特別是MR與醫(yī)學(xué)有機(jī)融合,突破對經(jīng)驗(yàn)與想象力的依賴,為患者的精準(zhǔn)診療提供個(gè)性化三維可視化模型,用于手術(shù)方案規(guī)劃、醫(yī)患溝通、遠(yuǎn)程手術(shù)指導(dǎo),部分改變了臨床診療模式,不但可能符合未來外科發(fā)展方向,而且部分解決當(dāng)前醫(yī)療資源分布不平衡的難題,應(yīng)該有廣闊的發(fā)展空間。