李 然，婁 巖

1大連海洋大學(xué)信息工程學(xué)院，遼寧 大連 116023；2西南醫(yī)科大學(xué)醫(yī)學(xué)信息與工程學(xué)院，四川 瀘州646000

拓展現(xiàn)實技術(shù)（XR）是虛擬現(xiàn)實VR、增強(qiáng)現(xiàn)實AR、融合現(xiàn)實MR等多種技術(shù)的統(tǒng)稱。通過計算機(jī)技術(shù)和可穿戴設(shè)備使虛擬和現(xiàn)實融合，實現(xiàn)人機(jī)交互。XR包含了VR、AR、MR它們所有的特點，隨著這三種技術(shù)的發(fā)展，各種技術(shù)之間不斷產(chǎn)生交集，單一一種技術(shù)不能準(zhǔn)確描述具體應(yīng)用的分類，為了更準(zhǔn)確的表達(dá)，XR逐漸成為被使用的概念。

術(shù)中導(dǎo)航能夠?qū)崿F(xiàn)精確定位，是實時、可視化的手術(shù)輔助工具。術(shù)中導(dǎo)航的核心為三維空間定位技術(shù)，電磁定位是術(shù)中導(dǎo)航系統(tǒng)廣泛使用的定位技術(shù)之一。目前在臨床上廣泛應(yīng)用的電磁導(dǎo)航系統(tǒng)有美國Veran 公司生產(chǎn)的IG4 電磁導(dǎo)航系統(tǒng)、加拿大NDI公司生產(chǎn)的Aurora 電磁跟蹤定位系統(tǒng)等。另外，國內(nèi)的一些公司也自主研發(fā)了電磁導(dǎo)航系統(tǒng)［1-3］。上述應(yīng)用于臨床的電磁導(dǎo)航系統(tǒng)均基于二維圖像引導(dǎo)微創(chuàng)手術(shù)，當(dāng)需要準(zhǔn)確判斷病灶的位置、大小和幾何形狀等時，醫(yī)生通過觀察二維透視圖像很難做出準(zhǔn)確判斷，準(zhǔn)確率依賴醫(yī)生的經(jīng)驗，手術(shù)效率低，增加了穿刺并發(fā)癥風(fēng)險。此外，長時間的CT輻射對醫(yī)生和患者都具有潛在的輻射危險，且這些導(dǎo)航產(chǎn)品價格昂貴。國內(nèi)已有研究利用三維圖像實現(xiàn)術(shù)中導(dǎo)航［4,5］，但對電磁定位技術(shù)在三維術(shù)中導(dǎo)航中的應(yīng)用研究目前少見報道。本研究依托XR技術(shù)，使用電磁定位技術(shù)實現(xiàn)術(shù)中導(dǎo)航，基于患者的CT數(shù)據(jù)依托XR技術(shù)進(jìn)行三維重建，使醫(yī)生在深度沉浸式體驗中確定病灶的位置，提升判斷準(zhǔn)確率和效率。使用時僅利用術(shù)前三維重建的虛擬病例，醫(yī)生無需術(shù)中使用CT圖像進(jìn)行確認(rèn)，可實現(xiàn)無輻射的術(shù)中導(dǎo)航。

XR技術(shù)與5G技術(shù)融合是虛擬手術(shù)領(lǐng)域未來研究與發(fā)展的方向，5G以其高速率、低延遲等特點極大地促進(jìn)了遠(yuǎn)程手術(shù)與遠(yuǎn)程會診的發(fā)展。2022年英國和巴西的醫(yī)療團(tuán)隊成功完成超難連體嬰分離手術(shù)。醫(yī)生使用基于CT和MR影像的虛擬現(xiàn)實技術(shù)進(jìn)行一系列模擬手術(shù)訓(xùn)練。不同國家的外科醫(yī)生通過VR設(shè)備，在同一個“虛擬現(xiàn)實手術(shù)室”中一起完成遠(yuǎn)程手術(shù)。2019年中國人民解放軍總醫(yī)院成功完成了5G遠(yuǎn)程人體手術(shù)——帕金森病“腦起搏器”植入手術(shù)。經(jīng)公共5G網(wǎng)絡(luò)實現(xiàn)遠(yuǎn)程手術(shù)業(yè)務(wù)數(shù)據(jù)的傳輸和信號交互，操控信號和生理體征監(jiān)測數(shù)據(jù)、各類音視頻信號均傳輸穩(wěn)定［6］。田偉等［7］完成了5G遠(yuǎn)程控制脊柱手術(shù)，平均網(wǎng)絡(luò)延遲達(dá)到臨床要求。周翔等［8］實施5G遠(yuǎn)程超聲引導(dǎo)下的泌尿系結(jié)石取石術(shù)，術(shù)中單向數(shù)據(jù)傳輸延遲70 ms。上述研究對基于5G的遠(yuǎn)程手術(shù)進(jìn)行了積極的探索，驗證了5G遠(yuǎn)程醫(yī)療的可行性，但研究多為個案報道，大規(guī)模推廣使用仍存在諸多困難，亟需進(jìn)一步研究。其中，為高質(zhì)量輔助臨床手術(shù)，采用基于XR技術(shù)的虛擬手術(shù)環(huán)境和實時交互將產(chǎn)生大量數(shù)據(jù)，疊加手術(shù)過程中多維度手術(shù)操作、多模態(tài)監(jiān)測產(chǎn)生的檢測信息及各類音視頻信號，將使網(wǎng)絡(luò)出現(xiàn)數(shù)據(jù)傳輸卡頓、延遲等現(xiàn)象，影響遠(yuǎn)程醫(yī)生決策的準(zhǔn)確性。本研究將5G云技術(shù)與XR技術(shù)融合，基于XR構(gòu)建深度沉浸式虛擬孿生病例，實現(xiàn)術(shù)前規(guī)劃、虛擬手術(shù)。渲染在云端完成，通過5G網(wǎng)絡(luò)傳給用戶，研發(fā)優(yōu)化的網(wǎng)絡(luò)傳輸策略，突破遠(yuǎn)程虛擬手術(shù)室人數(shù)和時空上的限制，實現(xiàn)了多用戶流暢交互使用，降低了終端成本，為開展多終端遠(yuǎn)程協(xié)同手術(shù)提供技術(shù)支撐。

1 資源采集與建模

本研究資源采集與建模的對象為中國醫(yī)科大學(xué)附屬盛京醫(yī)院骨科2021年收治的患者8例。首先獲取患者的CT數(shù)據(jù)，采用128排螺旋CT掃描儀，影像格式為DICOM，將收集到的DICOM格式數(shù)據(jù)資料導(dǎo)入到醫(yī)學(xué)影像處理軟件Mimics中，分別提取組織、病灶組織、動脈及靜脈的閾值，利用閾值分別對不同的組織和器官進(jìn)行三維重建，重建后得到初步的3D模型，將轉(zhuǎn)化后的3D模型文件導(dǎo)入三維軟件Maya中。利用三維角色建模軟件ZBrush4r6調(diào)整細(xì)化、處理肌體模型，進(jìn)行模型細(xì)化以及可視化形狀。在Mudbox2017數(shù)字雕刻紋理繪畫軟件中制作、美化肌肉組織等貼圖。采用HDR高動態(tài)仿真貼圖數(shù)據(jù)集模擬肌體內(nèi)部的光照信息和反射信息，更好地反映出真實環(huán)境中的視覺效果。再進(jìn)行PBR（Physicallly-Based Rendering）著色處理，實現(xiàn)真實物理環(huán)境渲染，使畫面效果更加逼真。柔體模擬是基于粒子仿真技術(shù)實現(xiàn)的實時視覺效果。使用統(tǒng)一的粒子表示形式，使不同物質(zhì)的模擬達(dá)到無縫連接［9-12］。將建好的模型最后導(dǎo)入UE4引擎中。實現(xiàn)模型的控制變化與動態(tài)處理，可對模型放大、360度旋轉(zhuǎn)以觀察各部分結(jié)構(gòu)，根據(jù)不同病癥完成模擬手術(shù)［13-16］。組織和器官三維建模見圖1。

圖1 組織和器官三維建模Fig.1 3D modeling of the tissues and organs.A:The 3D model constructed based on CT data.B:3D model refinement.C:HDR and PBR model rendering.D:Rendering of flexible body model.

2 方法

2.1 基于XR技術(shù)的術(shù)中導(dǎo)航

本研究采用開源的單片機(jī)進(jìn)行編程控制，將三維圖像保存成STL格式，進(jìn)行3D打印，依托XR技術(shù)、AI技術(shù)制作患者的三維模型，在導(dǎo)航窗口中提供三維模型的縮放、旋轉(zhuǎn)等操作，在導(dǎo)航過程中給出手術(shù)器械和器官位置的對應(yīng)關(guān)系，引導(dǎo)醫(yī)生完成手術(shù)（圖2）。系統(tǒng)將高精度傳感器放置到定位器械中，將磁發(fā)射體置于手術(shù)模型中，自主開發(fā)電磁定位算法，實時獲取定位傳感器在磁場空間內(nèi)的電磁定位坐標(biāo)系，從而獲取手術(shù)器械在定位系統(tǒng)坐標(biāo)系的精確位置，將實時的操作信息映射到虛擬仿真系統(tǒng)中。系統(tǒng)電磁定位算法采用同時求解四元數(shù)法，較好地避免了奇異點［17-20］。

圖2 系統(tǒng)實時導(dǎo)航界面Fig.2 Interface of the real-time navigation system.

2.2 基于5G+XR的臨床手術(shù)實時交互平臺

平臺將手術(shù)中的實時數(shù)據(jù)、仿真程序上傳到5G網(wǎng)絡(luò)環(huán)境下的云服務(wù)器上，仿真程序在云端完成渲染，將終端功能簡化為僅提供連接網(wǎng)絡(luò)、視頻解碼和人機(jī)交互的應(yīng)用。平臺通過優(yōu)化GPU編程算法、視頻流實時編碼策略和網(wǎng)絡(luò)設(shè)計3個方面提高傳輸效率。利用底層編程實現(xiàn)GPU虛擬化，降低云端渲染和實時交互時出現(xiàn)的卡頓和失真程度。其中針對GPU的I/O限制，采取數(shù)據(jù)壓縮不對稱算法，提升GPU計算速度。通過在應(yīng)用層重新分配時間片的算法，使單一顯卡擴(kuò)展成為可滿足多用戶需求的對等數(shù)量的虛擬顯卡，實現(xiàn)了GPU技術(shù)優(yōu)化；通過研發(fā)的視頻流實時編碼程序，將GPU渲染的畫面實時硬編碼為H.265格式，去除冗余信息，終端對數(shù)據(jù)進(jìn)行實時解碼，實現(xiàn)視頻流實時編碼技術(shù)優(yōu)化；針對流處理計算模式中的任務(wù)分配不平衡問題，研發(fā)資源動態(tài)分配的硬件調(diào)度算法，獨立響應(yīng)多個用戶的并發(fā)交互請求，動態(tài)調(diào)配GPU3D渲染程序和實時視頻流編碼程序，合理安排CPU和GPU運算資源，實現(xiàn)Web交互通信服務(wù)器技術(shù)優(yōu)化［21］。

在視頻流實時編碼技術(shù)優(yōu)化中速率控制采用了基于調(diào)速器的視頻編碼控制方法。目標(biāo)發(fā)送直接輸入到調(diào)速控制器?；镜牧鞒倘缦拢海?）調(diào)速控制器根據(jù)當(dāng)前的目標(biāo)發(fā)送速率、調(diào)速控制算法以及網(wǎng)絡(luò)數(shù)據(jù)包緩存中的數(shù)據(jù)量，預(yù)測緩存發(fā)送清空的時間；（2）基于清空時間，預(yù)測下一幀編碼應(yīng)該輸出的時間，并根據(jù)圖像采集、運動估計和視頻編碼的時間周期，計算出下一幀圖像的采集時間；（3）根據(jù)對圖像的運動估計，計算出該幀的SATD（Sum of Absolute Transformed Difference），也即是頻域的各個宏塊的絕對誤差和；（4）根據(jù)SATD，基于高斯回歸算法，預(yù)測出該幀在不同量化參數(shù)（QP）下的編碼幀大?。蝗绻A(yù)測的幀大小遠(yuǎn)遠(yuǎn)大于統(tǒng)計的P幀（predictive-frame）編碼大小，則設(shè)置編碼器參數(shù)，對該幀進(jìn)行關(guān)鍵幀編碼；否則，仍然使用P幀編碼，從而實現(xiàn)自適應(yīng)的圖像組（GOP）長度控制；（5）確定量化參數(shù)QP，使得預(yù)測輸出編碼幀大小最為接近目標(biāo)發(fā)送速率，且滿足質(zhì)量控制條件；（6）按照確定的量化參數(shù)對該圖像進(jìn)行編碼，編碼結(jié)果輸出到網(wǎng)絡(luò)數(shù)據(jù)包緩存中。

2.3 融入力反饋的模擬手術(shù)

針對以柔性體形式存在的組織，系統(tǒng)通過安裝在模擬手術(shù)器械上的傳感器捕捉手術(shù)器械與組織模型間的碰撞，當(dāng)遇到阻力時，通過不同的電流大小來控制手術(shù)器械的不同力度。在虛擬環(huán)境中為逼真的呈現(xiàn)柔性體組織的實時碰撞反饋，采用基于幾何意義的高斯分布變形模型模擬腔內(nèi)組織的力反饋形變。在建模過程中，遍歷模型表面的所有頂點，根據(jù)頂點位置到受力點的距離，計算出法向的變形量，據(jù)此繪制圖形，模擬真實操作，系統(tǒng)檢測虛擬手術(shù)器械與模型間的碰撞，在符合切割的條件下進(jìn)行模擬手術(shù)，感受手術(shù)過程中組織牽拉、血供等現(xiàn)象，實現(xiàn)深度沉浸的體驗［22-26］。柔性體碰撞AR界面見圖3。

圖3 柔性體碰撞AR界面Fig.3 Flexible body collisionAR interface.

本研究結(jié)合XR技術(shù)、云計算技術(shù)、電磁定位技術(shù)及力反饋技術(shù)，構(gòu)建了基于5G的智能臨床手術(shù)實時交互平臺，系統(tǒng)總體結(jié)構(gòu)見圖4。根據(jù)患者的信息利用3D建模技術(shù)和人工智能技術(shù)生成虛擬孿生病例，虛擬病例創(chuàng)建使用患者的醫(yī)學(xué)診斷、檢查結(jié)果以及膳食、心理、運動等多維度數(shù)據(jù)，醫(yī)生可以反復(fù)修改參數(shù)，找出導(dǎo)致疾病各種因素的聯(lián)系及相互的矛盾，設(shè)計出多種解決方案，并驗證其性能優(yōu)劣，進(jìn)行手術(shù)方案的探索和創(chuàng)新。使用XR、力反饋技術(shù)，針對虛擬病人進(jìn)行連續(xù)、動態(tài)的高精度監(jiān)測及術(shù)中導(dǎo)航，如果醫(yī)生發(fā)生錯誤，孿生系統(tǒng)可隨時返回，恢復(fù)手術(shù)前原樣，進(jìn)行訓(xùn)練和模擬［27-30］。

圖4 系統(tǒng)總體結(jié)構(gòu)Fig.4 Overall structure of the system.

3 結(jié)果

依托XR技術(shù)的三維術(shù)中導(dǎo)航，能夠更準(zhǔn)確地引導(dǎo)醫(yī)生完成手術(shù)，且避免了術(shù)中輻射，電磁定位算法采用四元數(shù)法，有效避免出現(xiàn)奇異點，提升了系統(tǒng)的響應(yīng)時間和定位精度。系統(tǒng)的定位精度誤差小于2 mm。系統(tǒng)實現(xiàn)了三維量化術(shù)中導(dǎo)航，如進(jìn)針點、進(jìn)針路徑及消融范圍等，支持各類微創(chuàng)介入手術(shù)；也可針對數(shù)字孿生的患者病例進(jìn)行模擬手術(shù)，將優(yōu)化的手術(shù)方案實施給患者。

通過優(yōu)化5G網(wǎng)絡(luò)，數(shù)據(jù)傳輸速度有1.42倍的提升，畫面可支持720P/1080P高清晰標(biāo)準(zhǔn)，同時支持50路的并發(fā)訪問數(shù)量，平均延遲小于60 ms。最終實現(xiàn)多終端遠(yuǎn)程實時交互操作低延遲、無卡頓。仿真程序在云端完成渲染，簡化終端功能，擺脫終端配置對高端PC的依賴，降低成本。為多終端遠(yuǎn)程協(xié)作手術(shù)提供了技術(shù)支撐。

依托XR技術(shù)與力反饋技術(shù)，能夠使用人機(jī)交互設(shè)備的觸覺強(qiáng)力反饋來感知人體組織的不同質(zhì)感，實現(xiàn)了手術(shù)過程中碰撞檢測和組織的應(yīng)力形變仿真，縮小了虛擬操作和實際手術(shù)的差別，提供了深度沉浸式的虛擬手術(shù)場景，提升了手術(shù)的準(zhǔn)確率。

4 討論

（1）醫(yī)學(xué)導(dǎo)航定位常用的技術(shù)有光學(xué)定位、電磁導(dǎo)航、機(jī)械定位、圖像引導(dǎo)定位等。無論何種導(dǎo)航技術(shù)，術(shù)區(qū)定位的精度是評估導(dǎo)航系統(tǒng)最重要的指標(biāo)之一。光學(xué)定位要求在導(dǎo)航過程中光路不可有遮擋，否則，無法準(zhǔn)確獲取光學(xué)標(biāo)志點位置，可能存在無法定位的死角，對醫(yī)生的行動和操作有一定約束，定位硬件設(shè)備體積較大，使用受限；機(jī)械定位一般是在手術(shù)器械當(dāng)前位置上迭加運動增量來計算下一位置，因此使用時間越長誤差越大，對于軟組織區(qū)域的操作，因組織自身變形漂移，也會出現(xiàn)較大誤差，且定位設(shè)備體積較大，安裝拆除不便，便攜性也較低；圖像引導(dǎo)定位通常是將術(shù)前獲得的能夠清晰顯示病灶區(qū)域的CT、MRI或PET等圖像與術(shù)中能夠獲知手術(shù)器械位置的實時超聲圖像進(jìn)行配準(zhǔn)融合，但超聲成像分辨率較低，會受到氣體的影響，使用也受限［31,32］。本研究采用電磁導(dǎo)航實時跟蹤定位技術(shù)，由于電磁波傳感器尺寸小，因此方便醫(yī)生操作，不存在光路遮擋的問題，醫(yī)生行動不受限制。在電磁定位算法選擇上，選擇同時求解四元數(shù)法，避免了出現(xiàn)奇異點問題，能捕獲末端傳感器的所有信息，與分別求解四元數(shù)法相比不需要矩陣變換，提高精度和效率。未來導(dǎo)航定位技術(shù)在算法的準(zhǔn)確性和實時性上有更大的發(fā)展空間，導(dǎo)航系統(tǒng)中的配準(zhǔn)模塊與導(dǎo)航精確性直接相關(guān)，軟組織變形、器官漂移所造成的配準(zhǔn)誤差，是導(dǎo)航配準(zhǔn)中需要考慮的問題。導(dǎo)航系統(tǒng)中XR技術(shù)的不斷拓展，可為操作者提供更直觀、方便的視覺信息；（2）5G網(wǎng)絡(luò)的優(yōu)化，很重要一部分是視頻流實時編碼技術(shù)的優(yōu)化。對于視頻傳輸來說，需要根據(jù)網(wǎng)絡(luò)的狀態(tài)來控制視頻編碼器的編碼速率，有很多的編碼參數(shù)會影響輸出的比特率，但對比特率影響較大的參數(shù)是量化參數(shù)QP。傳統(tǒng)的控制比特率的方法是簡單的嘗試對每一個編碼幀指定一個常量的位數(shù)，通過測量輸出的比特率并反饋來控制QP，增加QP會減少編碼比特率，減少Q(mào)P則會增加編碼比特率。然而，這種方法沒有考慮到下列因素：（1）編碼的I幀（intra picture）和P幀所產(chǎn)生的比特數(shù)會存在很大的不同；（2）會導(dǎo)致圖像質(zhì)量的變化，因為為了維護(hù)比特率的不變，需要編碼器不斷的增加或者降低QP。本研究采用較為彈性的方法，通過可用的信道比特率用來確定一個GOP的目標(biāo)比特數(shù)，既能夠基于網(wǎng)絡(luò)數(shù)據(jù)包緩存當(dāng)前狀態(tài)，實時地控制圖像的相關(guān)參數(shù)，又能夠根據(jù)預(yù)測值自適應(yīng)地進(jìn)行GOP控制。該方法的創(chuàng)新之處在于根據(jù)網(wǎng)絡(luò)數(shù)據(jù)包緩存的狀態(tài)實時地進(jìn)行編碼速率控制，把視頻編碼和網(wǎng)絡(luò)傳輸互相耦合。

綜上所述，XR技術(shù)與5G技術(shù)融合為高質(zhì)量輔助臨床手術(shù)提供了技術(shù)支撐，使醫(yī)生能夠準(zhǔn)確判斷病灶的位置，開展多終端遠(yuǎn)程協(xié)同手術(shù)，進(jìn)行深度沉浸式的術(shù)前規(guī)劃和模擬。為臨床醫(yī)療提供更加方便、高效的應(yīng)用環(huán)境，提升患者就醫(yī)體驗，提高手術(shù)精準(zhǔn)度和安全性，改善醫(yī)學(xué)生的學(xué)習(xí)方式并降低學(xué)習(xí)成本，進(jìn)一步推動了手術(shù)模式創(chuàng)新的研究。