鄭景南 余淑婷 何曉昀 江錦銳 黃雨濤

摘? 要：本文將元宇宙概念運(yùn)用到醫(yī)學(xué)手術(shù)模擬實(shí)驗(yàn)上，設(shè)計(jì)了一種將MR眼鏡、虛實(shí)交互的外骨骼手套和感應(yīng)手術(shù)用具結(jié)合起來，供醫(yī)學(xué)生以及實(shí)習(xí)醫(yī)生練習(xí)的MR醫(yī)學(xué)手術(shù)模擬實(shí)驗(yàn)系統(tǒng)。系統(tǒng)可模擬真實(shí)手術(shù)環(huán)境效果，對(duì)操作者在實(shí)驗(yàn)操作過程進(jìn)行評(píng)價(jià)和提供改進(jìn)建議，縮短醫(yī)學(xué)生的實(shí)習(xí)周期，解決醫(yī)學(xué)生缺少實(shí)操機(jī)會(huì)的痛點(diǎn)

關(guān)鍵詞：元宇宙;虛擬模擬;虛實(shí)交互;MR;5G

1、引言：

隨著社會(huì)人口的增加，社會(huì)醫(yī)療需求量也日益增加，但手術(shù)醫(yī)生、醫(yī)學(xué)生實(shí)習(xí)周期長(zhǎng)，且大部分缺少實(shí)操機(jī)會(huì)，對(duì)醫(yī)學(xué)生而言，上課模式單一，缺乏手術(shù)接觸機(jī)會(huì)，極少部分有機(jī)會(huì)通過“大體老師”進(jìn)行相對(duì)應(yīng)的模擬解剖實(shí)驗(yàn)，而“大體老師”數(shù)量供應(yīng)少且缺乏真實(shí)病理反饋，與真實(shí)手術(shù)參數(shù)相差甚遠(yuǎn)，是否能有一款產(chǎn)品能為他們解決這一系列問題呢？

元宇宙，即Metaverse，即meta（超越）+universe（宇宙）的結(jié)合。在 2021 年之前，元宇宙僅僅只是一個(gè)科幻概念。1992 年， 美國(guó)著名科幻大師 Neal Stephenson 在其小說《雪崩（Snow Crash）》中描述元宇宙：“戴上耳機(jī) 和目鏡，找到連接終端，就能夠以虛擬分身的方式進(jìn)入由計(jì)算機(jī)模擬、與真實(shí)世界平行的虛擬空間。” [1]近年來，國(guó)家提出大力發(fā)展“元宇宙”概念科技，元宇宙可以理解為人類意識(shí)中的虛擬世界，而維基百科對(duì)元宇宙定義更符合當(dāng)下社會(huì)技術(shù)不斷發(fā)展的情境，即通過虛擬增強(qiáng)的物理現(xiàn)實(shí)，呈現(xiàn)收斂性和物理持久性特征，基于未來互聯(lián)網(wǎng)，具有鏈接感知和共享特征的3D虛擬空間[2]。MR作為“元宇宙”概念之一的科技，也隨著時(shí)代背景突飛猛進(jìn)。MR將真實(shí)場(chǎng)景與虛擬場(chǎng)景進(jìn)行融合，通過混合疊加的呈現(xiàn)方式讓用戶可以真實(shí)地感受到交互和體驗(yàn)[3]。從市場(chǎng)上看，該技術(shù)在未來的市場(chǎng)上有很大的前景，而且該系統(tǒng)不僅適合見習(xí)醫(yī)生提前進(jìn)行手術(shù)模擬，適應(yīng)手術(shù)狀態(tài)下心理以及面對(duì)手術(shù)情況下的應(yīng)變還可以積攢經(jīng)驗(yàn)使手術(shù)流程更得心應(yīng)手，還可適用于醫(yī)學(xué)生上課模擬實(shí)操練習(xí)、開拓教學(xué)方式、提交教學(xué)水平，提高醫(yī)學(xué)生水平為醫(yī)學(xué)界提供更高質(zhì)量的醫(yī)生，市場(chǎng)前景廣闊，其商業(yè)價(jià)值以及社會(huì)價(jià)值巨大。

2、系統(tǒng)組成：

為解決醫(yī)學(xué)生、實(shí)習(xí)醫(yī)生缺少真實(shí)手術(shù)實(shí)操機(jī)會(huì)的問題，改變醫(yī)學(xué)課程傳統(tǒng)單一授課模式，增加學(xué)生模擬手術(shù)實(shí)踐的機(jī)會(huì)。本文提出通過MR混合現(xiàn)實(shí)技術(shù)配合MR外設(shè)，達(dá)到模擬手術(shù)實(shí)驗(yàn)?zāi)康摹＞唧w實(shí)施方案是在電腦端模擬構(gòu)建一個(gè)手術(shù)環(huán)境與模擬病人，利用MR眼鏡與3D可視化相結(jié)合，通過MR虛擬手套實(shí)現(xiàn)交互。將手術(shù)場(chǎng)景融入虛擬操作中，該產(chǎn)品由硬件和軟件結(jié)合，通過5G的URLLC技術(shù)傳輸數(shù)據(jù)，減小操作延遲，由MR虛擬手套模擬掌握手術(shù)器械，通過MR眼鏡鏈接所配套的虛擬軟件進(jìn)入模擬手術(shù)系統(tǒng)，在MR虛擬眼鏡可以全方面的觀察到手術(shù)的整個(gè)過程，配合外骨骼手套開始模擬病人不同病理的手術(shù)情況，

如圖所示，該系統(tǒng)主要由電腦端，MR眼鏡和MR外設(shè)設(shè)備三部分構(gòu)成。

操作者在使用過程中，需要佩戴外骨骼手套和MR眼鏡，其中外骨骼手套用于感知操作者的手指動(dòng)作，MR眼鏡采用HoloLens2作為顯示端，連接電腦端展示出虛擬場(chǎng)景。

該系統(tǒng)將外骨骼手套的操作以及MR眼鏡的數(shù)據(jù)傳送到電腦，通過電腦模擬出病人的反饋，高度的URLLC通信技術(shù)減小了信號(hào)延遲并增加了操作靈敏度，使整個(gè)操作更接近真實(shí)情況。操作者每次操作都能及時(shí)收到反饋以及在進(jìn)行切割等操作時(shí)會(huì)及時(shí)感受到不同的壓力感受，超低的延遲以及高靈敏度真實(shí)的還原了手術(shù)時(shí)對(duì)應(yīng)的操作感受，使操作者真實(shí)體驗(yàn)到手術(shù)操作。

HoloLens2模擬顯示手術(shù)虛擬場(chǎng)景，配合MR外設(shè)設(shè)備和機(jī)械外骨骼手套以及自主研發(fā)的感應(yīng)手術(shù)用具與內(nèi)容端連接，通過3D建模與渲染技術(shù)、人體動(dòng)作捕捉技術(shù)、物體三維重建技術(shù)等構(gòu)建一個(gè)真實(shí)的手術(shù)環(huán)境。操作者將在MR眼鏡看到一個(gè)模擬真實(shí)手術(shù)過程。

3、功能模塊：

系統(tǒng)總體可分為四大模塊：手術(shù)環(huán)境模擬模塊、虛實(shí)交互操作模塊、5G數(shù)據(jù)傳輸模塊、數(shù)據(jù)存儲(chǔ)模塊。工作流程如下：在電腦上構(gòu)建虛擬的手術(shù)環(huán)境，操作者佩戴MR眼鏡觀察模擬手術(shù)環(huán)境，通過機(jī)械外骨骼手套進(jìn)行手術(shù)操作，實(shí)驗(yàn)結(jié)束后將得出實(shí)驗(yàn)操作數(shù)據(jù)并儲(chǔ)存。

3.1 手術(shù)環(huán)境模擬模塊

該模塊將其稱為內(nèi)容端，其作用是在混合現(xiàn)實(shí)中構(gòu)建一個(gè)手術(shù)環(huán)境包括手術(shù)臺(tái)以及病人，使操作者在HoloLens2 MR眼鏡中可以看到一個(gè)模擬真實(shí)的手術(shù)環(huán)境以及病人。內(nèi)容端課根據(jù)需要選擇不同年齡段或者病理的病人進(jìn)行模擬實(shí)驗(yàn)，并對(duì)操作者通過外設(shè)裝備進(jìn)行操作時(shí)做出正確反饋。

3.2 5G數(shù)據(jù)傳輸模塊

如果要使整個(gè)操作更接近真實(shí)情況，必須要減少通信延遲。本文采用URLLC通信技術(shù)解決通信延時(shí)的問題，URLLC通信技術(shù)是5G通信中三大核心技術(shù)中是網(wǎng)絡(luò)切片技術(shù)中的一種，超高可靠性低時(shí)延通信（URLLC）是3GPP組織提出的下一代移動(dòng)通信場(chǎng)景中的三大場(chǎng)景之一[4]，其目的就是解決網(wǎng)絡(luò)數(shù)據(jù)在傳輸時(shí)的延遲問題，對(duì)比起4G技術(shù)實(shí)現(xiàn)飛躍性提升。該技術(shù)已經(jīng)運(yùn)用了很多場(chǎng)景如：無人駕駛、遠(yuǎn)程操控、工業(yè)自動(dòng)化等一系列領(lǐng)域。

3.3 虛實(shí)交互操作模塊

虛實(shí)交互模塊是連接現(xiàn)實(shí)與虛擬的橋梁，通過外設(shè)裝備進(jìn)行操作實(shí)現(xiàn)在虛擬中的一系列操作，增強(qiáng)現(xiàn)實(shí)的發(fā)展方向大部分都集中在視覺領(lǐng)域，常見的顯示終端有 PC 端屏幕顯示器、移動(dòng)端屏幕顯示器以及投影顯示設(shè)備等。在穿戴式設(shè)備中，主要有頭盔顯示器以及眼鏡顯示設(shè)備，而頭盔顯示器又可以細(xì)分為投影式頭盔顯示器、自由曲面頭盔顯示器等按照對(duì)硬件的依賴程度，增強(qiáng)現(xiàn)實(shí)交互技術(shù)大致可劃分為兩種，第一種是僅利用圖像輸入設(shè)備獲取視頻流或圖像，根據(jù)系統(tǒng)設(shè)計(jì)對(duì)目標(biāo)進(jìn)行識(shí)別和注冊(cè)，從而獲取自然場(chǎng)景中的目標(biāo)，實(shí)現(xiàn)交互;第二種是借助如數(shù)據(jù)手套、穿戴式傳感設(shè)備等來輔助目標(biāo)的檢測(cè)和識(shí)別，同時(shí)可以對(duì)用戶的指令以硬件傳感的方式進(jìn)行檢測(cè)。[5]為此我們選擇第二種虛實(shí)交互模塊通過Dexta Robotics機(jī)械外骨骼手套以及我們自主研發(fā)的感應(yīng)手術(shù)用具，通過這些外設(shè)裝備進(jìn)行虛實(shí)交互，通過5G數(shù)據(jù)傳輸模塊進(jìn)行與手術(shù)環(huán)境模擬模塊的連接，達(dá)到可在虛實(shí)環(huán)境中進(jìn)行手術(shù)不同操作的目的。

3.4 數(shù)據(jù)存儲(chǔ)模塊

該模塊將儲(chǔ)存海量的病理數(shù)據(jù)，不同的模擬手術(shù)供操作者模擬實(shí)驗(yàn)數(shù)據(jù)。這個(gè)模塊將采用虛擬存儲(chǔ)技術(shù)，虛擬存儲(chǔ)技術(shù)是將物理上的存儲(chǔ)設(shè)備和操作系統(tǒng)中的文件獨(dú)立開來，在它們之間建立起一個(gè)虛擬層。虛擬層將文件系統(tǒng)映射到相應(yīng)的存儲(chǔ)設(shè)備上，并對(duì)存儲(chǔ)設(shè)備進(jìn)行管理與使用。其可以應(yīng)用于遠(yuǎn)程醫(yī)學(xué)系統(tǒng)中，并且可以解決醫(yī)學(xué)信息的共享問題。[6]操作者實(shí)驗(yàn)結(jié)束后可通過回看或操作點(diǎn)判斷對(duì)自己的操作有所了解，之后系統(tǒng)也會(huì)對(duì)操作過程進(jìn)行分析、提出評(píng)分及改進(jìn)建議。

4、關(guān)鍵技術(shù)問題：

4.1 環(huán)境模擬的建模

系統(tǒng)需要模擬多種手術(shù)實(shí)驗(yàn)以及不同的病理表現(xiàn)，需要龐大的醫(yī)學(xué)數(shù)據(jù)來模擬不同病理的病人，構(gòu)建多樣性的手術(shù)，不同年齡段以及不同身材比例的病人。然后運(yùn)用3D建模與渲染技術(shù)、人體動(dòng)作捕捉技術(shù)、物體三維重建技術(shù)等技術(shù)構(gòu)建手術(shù)環(huán)境，從而實(shí)現(xiàn)虛擬中的病人提供虛擬手術(shù)實(shí)驗(yàn)。

4.2 虛實(shí)交互精度問題

在手術(shù)中，對(duì)醫(yī)生操作精度以及力度的把控有嚴(yán)格的要求，細(xì)微的操作都會(huì)改變病人的病理反饋情況，所以對(duì)再選擇外骨骼操作手套需要對(duì)其精度有一定的要求，不僅需要靈敏度高并且需要有壓力反饋，使操作者觸感與真實(shí)手術(shù)相似。本文采用Dexta Robotics機(jī)械外骨骼手套單個(gè)裝有5個(gè)力反饋裝置，11個(gè)動(dòng)作捕捉傳感器，可捕捉11個(gè)自由度手部動(dòng)作，并且還引入旋轉(zhuǎn)檢測(cè)，能最大程度靈活捕捉手部動(dòng)作，高度定制的伺服電機(jī)，先進(jìn)的控制算法，與其他產(chǎn)品對(duì)比其精度更高，其電機(jī)可產(chǎn)生5kg.cm的扭矩，延遲更低，延遲僅為25ms。

4.3操作延遲問題

操作者每一步操作以及所帶來的反饋應(yīng)該做到低延遲，從而使整個(gè)手術(shù)流程流暢，形成良好的操作體驗(yàn)。本文引入5G模塊與MR進(jìn)行結(jié)合傳統(tǒng)移動(dòng)通信工作的頻段都保持在 2 GHz 之內(nèi)，頻譜相對(duì)較為擁擠，寬帶很容易會(huì)受到限制。而 5G 技術(shù)會(huì)使工作頻段上升，其寬帶寬度會(huì)隨之拓展，頻譜資源寬度會(huì)更加理想，可以有效消除工作頻譜過于緊張的問題，能夠?yàn)樾畔⒌倪h(yuǎn)距離高速運(yùn)輸提供可靠支持。[7]5G中的URLLC場(chǎng)景是5G的三大典型應(yīng)用場(chǎng)景之一，其子載波間隔優(yōu)點(diǎn)在于：5G網(wǎng)絡(luò)在FR1頻段支持15 kHz、30 kHz、60 kHz三種業(yè)務(wù)信道子載波間隔，在FR2頻段支持60 kHz、120 kHz兩種業(yè)務(wù)信道子載波間隔，子載波間隔越大，網(wǎng)絡(luò)低時(shí)延優(yōu)勢(shì)越明顯。

5、結(jié)語：

本文將通過MR眼鏡、MR外設(shè)設(shè)備、內(nèi)容端等相結(jié)合模擬真實(shí)手術(shù)環(huán)境，使操作者從視覺、觸覺、心理等方面體驗(yàn)真正的手術(shù)環(huán)境，通過虛擬的病人進(jìn)行實(shí)操，熟悉手術(shù)步驟以及面對(duì)突發(fā)情況時(shí)的應(yīng)對(duì)措施，不僅開拓多元的醫(yī)學(xué)教學(xué)模式也為實(shí)習(xí)醫(yī)生提供操作訓(xùn)練機(jī)會(huì)，縮短實(shí)習(xí)周期，解決醫(yī)學(xué)生缺少實(shí)操機(jī)會(huì)的痛點(diǎn)。

參考文獻(xiàn)

[1]方凌智，沈煌南.技術(shù)和文明的變遷——元宇宙的概念研究[J].產(chǎn)業(yè)經(jīng)濟(jì)評(píng)論，2022（01）：

[2]李曦子. 臉書入局的元宇宙是什么？[N]. 國(guó)際金融報(bào)，2021-08-02（004）.

[3]俞科峰.基于5G網(wǎng)絡(luò)與云計(jì)算構(gòu)建MR云的研究與探討[J].廣東通信技術(shù)，2021，41（08）：36-40.

[4]馬曉瑩，王志欣，盧忠青.超高可靠性低時(shí)延通信的資源優(yōu)化分配研究[J].數(shù)字通信世界，2021（09）：3-5.

[5]李騰飛. 增強(qiáng)現(xiàn)實(shí)虛實(shí)交互技術(shù)的研究與實(shí)現(xiàn)[D].沈陽工業(yè)大學(xué)，2019.

[6]李敏，王保華，鄭豪杰.醫(yī)學(xué)信息的虛擬存儲(chǔ)及其系統(tǒng)模型的構(gòu)建[J].上海生物醫(yī)學(xué)工程，2003（01）：5-9.

項(xiàng)目基金：2020年國(guó)家級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目（202013720001），2019年廣東理工學(xué)院大學(xué)生創(chuàng)新創(chuàng)業(yè)扶持基金項(xiàng)目（01），廣東理工學(xué)院在線開放課程應(yīng)用（ZXKCYY2019012），2021年廣東省科技創(chuàng)新戰(zhàn)略專項(xiàng)基金項(xiàng)目（pdjh2021b0594）2020年國(guó)家級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目（202013720001），2019年廣東理工學(xué)院大學(xué)生創(chuàng)新創(chuàng)業(yè)扶持基金項(xiàng)目（01），廣東理工學(xué)院在線開放課程應(yīng)用（ZXKCYY2019012），2021年廣東省科技創(chuàng)新戰(zhàn)略專項(xiàng)基金項(xiàng)目（pdjh2021b0594）