張洋 宋英 秦霞 張詠梅

麻醉學(xué)院承擔(dān)培養(yǎng)麻醉學(xué)專業(yè)復(fù)合型人才的任務(wù)，麻醉學(xué)專業(yè)培養(yǎng)目標包括基礎(chǔ)醫(yī)學(xué)、臨床醫(yī)學(xué)、麻醉學(xué)方面的理論知識及能力，實踐中存在高風(fēng)險、高成本、高運維問題。虛擬仿真實驗平臺建設(shè)是實踐教學(xué)改革、教學(xué)應(yīng)用研究和普適性教學(xué)的新型實踐陣地，通過虛擬現(xiàn)實技術(shù)轉(zhuǎn)化為“高沉浸感、高交互性、高構(gòu)想性”的新型實踐方式，進行與專業(yè)相關(guān)的應(yīng)用性、實踐性教學(xué)，為醫(yī)學(xué)生教學(xué)實踐和應(yīng)用研究提供先進工具及有效手段[1]。徐州醫(yī)科大學(xué)麻醉學(xué)院通過虛擬現(xiàn)實、動作捕捉、人工智能、大數(shù)據(jù)等技術(shù)合作，實現(xiàn)麻醉學(xué)院虛擬實踐教學(xué)[2-3]。

1 平臺建設(shè)內(nèi)容

1.1 虛擬現(xiàn)實交互實驗中心

該中心可實現(xiàn)多人互動沉浸式VR虛擬現(xiàn)實方案，大場景多人聯(lián)機空間數(shù)據(jù)實時追蹤的VR應(yīng)用，軟件可以自由搭建虛擬環(huán)境，在硬件系統(tǒng)中結(jié)合交互工具。預(yù)計建設(shè)所需場地面積50～70平米，同時可容納4人實時互動仿真操作，適用于麻醉學(xué)院的VR教學(xué)與實訓(xùn)中心。第一，針對麻醉學(xué)院本科教學(xué)，建設(shè)機能實驗學(xué)VR虛擬仿真課程軟件和開放式網(wǎng)絡(luò)3D教學(xué)課件，整合現(xiàn)有實體實驗課程，融入麻醉設(shè)備學(xué)實驗內(nèi)容，開發(fā)麻醉解剖學(xué)教學(xué)課件，通過VR技術(shù)將所有標本還原到虛擬中并加以詳細描述作為數(shù)字資產(chǎn)，供學(xué)生通過VR的形式體驗學(xué)習(xí)，同時通過VR技術(shù)與現(xiàn)有設(shè)備結(jié)合（如模擬人、呼吸機等），進行麻醉解剖、麻醉設(shè)備及麻醉機能實驗學(xué)的實踐教學(xué)[4]；第二，針對麻醉學(xué)院研究生科研技術(shù)培訓(xùn)，開發(fā)相應(yīng)分子生物學(xué)、生物化學(xué)及電生理學(xué)實驗操作培訓(xùn)課程，適用于解決關(guān)鍵實驗室技術(shù)的保留與傳承，加快研究生實驗精準操作掌握的進度；第三，針對臨床麻醉、急救、疼痛、危重病、麻醉護理專業(yè)的臨床多人交互虛擬現(xiàn)實仿真實驗操作，充分利用現(xiàn)有硬件設(shè)備（如模擬人、呼吸機等），開發(fā)相應(yīng)的臨床、護理及緊急救援VR課程，適用于本科實習(xí)、臨床規(guī)培等培訓(xùn)與實踐教學(xué)。

1.2 虛擬現(xiàn)實實踐研發(fā)中心

該系統(tǒng)可通過應(yīng)用動作捕捉設(shè)備輸出精準的單人或多人動捕數(shù)據(jù)，支撐教師與學(xué)生的互動、實踐性的課程實踐，適用于護理康復(fù)、虛擬手術(shù)、虛擬解剖等專業(yè)師生教育教學(xué)課題研究?？祻?fù)訓(xùn)練方面可利用動作捕捉設(shè)備做步態(tài)分析、運動能力自動化檢測、關(guān)節(jié)活動度檢測、康復(fù)訓(xùn)練表現(xiàn)監(jiān)測等課題研究；醫(yī)療課程動畫制作方面通過人體動作來驅(qū)動數(shù)字模型快速產(chǎn)出作品[5]。

1.3 混合現(xiàn)實實踐教學(xué)中心

基于MR頭戴式顯示器開發(fā)的輕量級，多人大空間體驗，可實現(xiàn)40人以上同時體驗，設(shè)備方便快捷運營簡單，可實現(xiàn)班級化VR教學(xué)以及網(wǎng)絡(luò)化開放式3D教學(xué)，可為學(xué)生提供豐富的VR教育資源，既可用作VR教室也可當(dāng)作傳統(tǒng)機房，同時可作為愛國主義教育體驗中心，并可作為思政黨建宣教中心。

2 平臺建設(shè)方案

2.1 沉浸式虛擬現(xiàn)實系統(tǒng)功能

虛擬現(xiàn)實交互體驗中心利用的是大范圍多人互動商用VR解決方案。通過該解決方案可以讓用戶開發(fā)大場景多人聯(lián)機、空間數(shù)據(jù)精準實時追蹤的VR應(yīng)用[6]。多人大空間商用虛擬現(xiàn)實系統(tǒng)通過專業(yè)攝像頭實時追蹤場地中的所有剛體對象，如頭顯、控制器、道具等，獲取到被追蹤物體的光學(xué)數(shù)據(jù)后，結(jié)合剛體上的慣性傳感器元件對數(shù)據(jù)進行防抖動平滑處理以及光學(xué)信息丟失補償處理，最后生成高質(zhì)量的實時追蹤數(shù)據(jù)并廣播至所有的應(yīng)用客戶端。使用手持式虛擬現(xiàn)實控制器，完成與虛擬場景或?qū)ο蟮慕换?，實現(xiàn)完善的虛實結(jié)合體驗。

2.2 沉浸式虛擬現(xiàn)實系統(tǒng)設(shè)計

多人大空間商用虛擬現(xiàn)實系統(tǒng)是一套能夠適用于大場地空間、多人同時在線互動的虛擬現(xiàn)實完整解決方案[7]。這套解決方案包括如下幾個組成部分。

（1）沉浸式顯示系統(tǒng)。通過虛擬現(xiàn)實頭顯和相應(yīng)搭載的高性能圖形計算機，提供高顯示性能、低延遲的畫面顯示。搭配虛擬現(xiàn)實頭顯，提供頂級圖形渲染能力。配合光學(xué)系統(tǒng)實現(xiàn)六自由度定位跟蹤[8]。同時提供定位數(shù)據(jù)的處理、虛擬現(xiàn)實交互系統(tǒng)的本地數(shù)據(jù)處理功能。

（2）交互操作系統(tǒng)。虛實交互，這一套虛擬現(xiàn)實解決方案提供靈活的虛擬現(xiàn)實交互手段，觀察者/使用者和主管人員都可以使用標準的虛擬現(xiàn)實交互手柄其他設(shè)備進行交互。

（3）多人協(xié)同。在虛擬交互空間內(nèi)，體驗區(qū)面積可以根據(jù)實際場地需求靈活配置，滿足多人同時體驗交互、操作。使用者配戴頭顯進入沉浸式虛擬環(huán)境中，與虛擬/實際物體進行交互。體驗者可在物理空間內(nèi)自由走動，360度自由觀察[9]。

（4）實時定位系統(tǒng)。慣性定位模塊輸出高刷新率的、不受遮擋的運動數(shù)據(jù)，與光學(xué)定位相結(jié)合，獲取到被追蹤物體的光學(xué)數(shù)據(jù)后，結(jié)合剛體上的慣性傳感器元件對數(shù)據(jù)進行防抖動平滑處理以及光學(xué)信息丟失補償處理，提供高性能的混合定位數(shù)據(jù)，最后生成高質(zhì)量的實時追蹤數(shù)據(jù)并廣播至所有的應(yīng)用客戶端，這是其他的方案所無法匹敵的優(yōu)勢[10]。

2.3 沉浸式虛擬現(xiàn)實軟件支撐建設(shè)

上述構(gòu)建的虛擬軟件引擎能夠充分發(fā)揮虛擬現(xiàn)實系統(tǒng)的功用，直接將3D模型導(dǎo)入虛擬現(xiàn)實環(huán)境中，并且通過方案中的人機交互工具進行修改、調(diào)整、裝配，達到直觀的模型演示目的，并且自由搭建虛擬環(huán)境，在方案中的硬件系統(tǒng)中結(jié)合交互工具，實現(xiàn)上述平臺功能[11]。

2.3.1 麻醉本科專業(yè)教學(xué)課程軟件建設(shè) 第一步，經(jīng)學(xué)院相關(guān)專業(yè)人才討論后，擬在采購硬件基礎(chǔ)上編寫1個麻醉機能實驗學(xué)VR虛擬仿真教學(xué)課件《Swan-Ganz漂浮導(dǎo)管對血流動力學(xué)的檢測》，檢測學(xué)院自我開發(fā)能力，掌控軟件開發(fā)流程技術(shù)瓶頸，為進一步擴大課程軟件建設(shè)奠定基礎(chǔ)；第二步，全面建設(shè)機能實驗學(xué)本科教學(xué)VR虛擬仿真課程軟件和開放式網(wǎng)絡(luò)3D教學(xué)課件，整合現(xiàn)有實體實驗課程，融入麻醉設(shè)備學(xué)實驗內(nèi)容，開發(fā)麻醉解剖學(xué)教學(xué)課件，充分發(fā)揮虛擬仿真平臺本科實驗教學(xué)功能；第三步，開發(fā)“模擬人”虛實結(jié)合仿真實踐引擎，進一步增強現(xiàn)有設(shè)備的利用，拓展平臺實踐教學(xué)能力[12]。

2.3.2 麻醉相關(guān)本科專業(yè)及研究生實踐教學(xué)課程軟件建設(shè) 第一步：依據(jù)上述本科機能實驗學(xué)、麻醉設(shè)備學(xué)及麻醉解剖學(xué)虛擬仿真實驗內(nèi)容，建設(shè)急救醫(yī)學(xué)、危重病醫(yī)學(xué)、疼痛及麻醉護理專業(yè)的VR虛擬仿真課程軟件和開放式網(wǎng)絡(luò)3D教學(xué)課件；第二步：麻醉研究生實驗關(guān)鍵技術(shù)培訓(xùn)VR虛擬仿真課程軟件的建設(shè)，如《觸液神經(jīng)核的定位注射》等[13]。

2.2.3 臨床實習(xí)培訓(xùn)及醫(yī)師規(guī)范化培訓(xùn)實踐操作課程軟件建設(shè) 針對臨床麻醉、急救、疼痛、ICU、麻醉護理專業(yè)建設(shè)臨床虛擬現(xiàn)實仿真實驗操作軟件，充分利用“模擬人”虛實結(jié)合實踐教學(xué)，開發(fā)相應(yīng)的臨床、護理及緊急救援VR課程，用于本科臨床實習(xí)培訓(xùn)及醫(yī)師規(guī)范化培訓(xùn)[14]。

3 小結(jié)

麻醉學(xué)院虛擬仿真實驗平臺建設(shè)尚處于起步階段，在今后將會依托學(xué)科優(yōu)勢，并結(jié)合學(xué)院產(chǎn)學(xué)研計劃，進一步優(yōu)化麻醉學(xué)校虛擬仿真教學(xué)資源，推進麻醉學(xué)院虛擬仿真實驗平臺建設(shè)，搭建運行管理平臺，做好教學(xué)輔助功能開發(fā)，綜合應(yīng)用人機交互、虛擬現(xiàn)實、三維建模等技術(shù)手段，完善教學(xué)內(nèi)容，提升麻醉學(xué)院教學(xué)質(zhì)量，推進麻醉學(xué)院實驗信息化、技術(shù)化更好更快的發(fā)展，也為麻醉學(xué)院培訓(xùn)更多的創(chuàng)新型人才做出有益的探索。