杜文瓊，宗兆文，鐘 鑫，蔣仁慶，賈益君，陳 燦，王川栓

（陸軍軍醫(yī)大學陸軍衛(wèi)勤訓練基地戰(zhàn)救技能訓練教研室，創(chuàng)傷燒傷復合傷實驗室，重慶 400038）

0 引言

近年來，隨著計算機技術的迅猛發(fā)展，虛擬現(xiàn)實（virtual reality，VR）、增強現(xiàn)實（augmented reality，AR）、混合現(xiàn)實（mixed reality，MR）等技術不斷涌入大眾的視野，且隨著其不斷發(fā)展完善，越來越多被應用于醫(yī)學教育領域，提供了一種完全沉浸式、自由交互式的數(shù)字學習環(huán)境。MR 是VR 和AR 技術之后出現(xiàn)的一種新的數(shù)字全息影像技術[1]，其利用全息設備將3D 影像投射到MR 學習環(huán)境中，可以更好地實現(xiàn)視覺效果逼真的交互學習[2]。VR、AR 和MR 3 項技術應用于醫(yī)學模擬培訓中各具優(yōu)勢，但MR 是硬件方面最先進，也是視覺渲染方面最難實現(xiàn)的技術[3]，其將物理世界和虛擬世界融合，打通了虛擬世界、現(xiàn)實世界和用戶之間的多條交互反饋通路，在視覺呈現(xiàn)、自然交互、觸覺反饋方面更占優(yōu)勢，從而在提供高度真實感的數(shù)字學習環(huán)境方面更具備發(fā)展?jié)摿Α?/p>

在過去的手術技能培訓中，往往通過在動物濕性器官或動物模型上進行操作練習，最終在專家面對面指導下于真實患者身上進行實踐。而MR 等技術在醫(yī)學教育領域的廣泛應用，給手術技能培訓提供了一種全新的思路。Li 等[4]研發(fā)的MR 備牙訓練系統(tǒng)已被證明可以使受訓人員獲得更好的牙科技能培訓體驗。Bova 等[5]利用MR 技術研發(fā)了腦室引流、顱骨鉆孔、經(jīng)皮治療三叉神經(jīng)痛等模擬訓練平臺，可提供3種模擬訓練手術操作。Schoeb 等[6]的研究發(fā)現(xiàn)，MR模擬訓練系統(tǒng)在指導外科實用技能方面前景廣闊，很有可能達到更好的學習效果。目前有很多研究表明[7-11]，受訓者對基于VR/AR/MR 技術的模擬訓練表現(xiàn)出了更大的熱情和興趣?？梢?，MR 技術在手術模擬訓練的應用上發(fā)展?jié)摿薮?。目前，國內關于MR 技術在醫(yī)學模擬培訓中的應用研究多處于起步階段，大部分開展的是基于MR技術的簡單臨床技能模擬培訓研究。此外，在MR 醫(yī)學模擬培訓中如何模擬觸覺反饋以增加培訓體驗的真實感是該領域當前普遍面臨的難點。綜上，對于MR 技術的應用和深度開發(fā)仍有較大的探索空間。

損傷控制手術能力是軍醫(yī)的核心能力之一，對降低嚴重戰(zhàn)傷傷員的傷亡率至關重要。目前我軍基層軍醫(yī)的戰(zhàn)傷手術能力不容樂觀，且缺乏有效的進修提升渠道。本研究擬借助MR 技術，構建基于MR的顱腦戰(zhàn)傷損傷控制手術模擬訓練平臺，為軍醫(yī)的手術技能培訓開辟一條新路徑。

1 設計思路

本平臺主要由顱腦戰(zhàn)傷損傷控制手術模擬訓練軟件、顱腦戰(zhàn)傷損傷控制手術人體模型以及微軟HoloLens 2 MR 設備組成（如圖1 所示）。顱腦戰(zhàn)傷損傷控制手術模擬訓練軟件在構建手術模擬訓練體系和創(chuàng)建虛擬手術環(huán)境的基礎上進行開發(fā)，可實現(xiàn)虛實結合模型重置定位、顱腦戰(zhàn)傷損傷控制手術模擬訓練及考核、現(xiàn)場示教等功能。顱腦戰(zhàn)傷損傷控制手術人體模型參照成年男性標準體型定制，開發(fā)電子芯片放置于頭顱內部，通過無線連接實現(xiàn)人體模型與手術軟件數(shù)據(jù)同步。在上述工作的基礎上，將手術軟件打包成執(zhí)行程序在HoloLens 2 MR 設備中安裝應用，實現(xiàn)在虛實結合模型上進行顱腦戰(zhàn)傷損傷控制手術模擬訓練，完成以MR 為基礎的顱腦戰(zhàn)傷損傷控制手術模擬訓練平臺構建。本平臺可以提供顱腦戰(zhàn)傷去骨瓣開顱減壓術核心手術步驟的流程式、沉浸式模擬訓練，并設計有訓練和考核2 種模式，可同時實現(xiàn)對受訓者的培訓與考核，并且可通過連接投影設備實現(xiàn)教員對訓練過程的示范、指導和觀摩。

圖1 顱腦戰(zhàn)傷損傷控制手術模擬訓練平臺架構圖

2 具體設計

2.1 顱腦戰(zhàn)傷損傷控制手術模擬訓練軟件的開發(fā)

顱腦戰(zhàn)傷損傷控制手術模擬訓練軟件在構建手術決策、流程體系和創(chuàng)建虛擬手術環(huán)境的基礎上，使用Unity 2019.3.0f6 作為主要開發(fā)環(huán)境，C#作為編程語言，借助MR、基礎手勢、空間掃描定位等核心技術進行開發(fā)，并使用自定義C#服務器和用戶數(shù)據(jù)報協(xié)議（user datagram protocol，UDP）實現(xiàn)客戶端服務器通信，支持多人同時開展模擬訓練。該軟件具有以下3 個功能：（1）虛實結合模型重置定位功能：根據(jù)虛實結合訓練需求，提供虛擬人體模型對應實體模型進行位置查找、調整和匹配功能；（2）手術模擬訓練和考核功能：區(qū)分手術模擬訓練和考核2 種模式，提供智能語音導航下手術模擬訓練功能和自由探索下手術模擬考核功能；（3）現(xiàn)場示教功能：根據(jù)手術模擬訓練中教學指導和觀摩等需求，提供投影顯示等功能。

2.1.1 顱腦戰(zhàn)傷損傷控制手術決策及流程體系的建立

構建顱腦戰(zhàn)傷損傷控制手術決策及流程體系，可為后續(xù)的軟件開發(fā)提供理論支撐。以顱腦戰(zhàn)傷去骨瓣開顱減壓術為例，設置手術的關鍵步驟為：作手術切口—鉆孔—鈍性分離硬腦膜與顱骨—采用線鋸鋸開顱骨—清除血腫及血凝塊（根據(jù)情況決定是否切開硬腦膜）—減張密閉縫合硬腦膜—關閉頭皮。同時，將關于該手術的重要決策點穿插于手術流程中，以訓練受訓者的手術決策等非技能性技術能力。

2.1.2 虛擬手術環(huán)境的創(chuàng)建

虛擬手術環(huán)境主要包括3D 人體虛擬模型、手術器械虛擬模型、傷情模擬、手術動畫模擬、手術語音導航等。3D 人體和手術器械虛擬模型在實物參考（人體模型參照身高180 cm 成年男性標準體型，手術器械參照標準醫(yī)療器械）[12]以及美術作圖的基礎上，采用3Dmax 技術和高面數(shù)模型烘焙法線技術進行制作，制作成的3D 人體虛擬模型及手術器械虛擬模型如圖2、3 所示。傷情則通過參考顱腦戰(zhàn)傷圖像及視頻，使用3D 次世代建模技術進行高仿真模擬，對創(chuàng)面的大小、形態(tài)、顏色進行高度還原。手術動畫模擬則是在仿真建模的基礎上進行融合變形驅動和動畫關鍵幀制作，然后將動畫導入到3D 引擎，與時間、場景匹配后生成。手術語音導航則是根據(jù)手術相關信息進行錄音，對應關鍵手術步驟及提示需求設置程序，制作交互界面，通過按鍵控制播放。

圖2 3D 人體虛擬模型

圖3 手術器械虛擬模型

2.1.3 軟件功能的實現(xiàn)

在上述工作基礎上，根據(jù)平臺整體設計和軟件功能模塊實現(xiàn)等方面的要求，使用C#語言進行軟件程序編寫，實現(xiàn)以下功能：（1）虛實結合模型重置定位功能的實現(xiàn)。首先，使用HoloLens 2 MR 設備的雙目攝像頭對顱腦戰(zhàn)傷損傷控制手術人體模型（和軟件開發(fā)同步制作）進行掃描建模，建模過程中使用第三方圖像建模算法生成人體模型的3D 模型識別關鍵點，并將3D 模型識別關鍵點的相關數(shù)據(jù)模型存儲下來。其次，將數(shù)據(jù)模型采用人工制作的方式和已經(jīng)建好的損傷控制手術3D 人體虛擬模型進行數(shù)據(jù)綁定。最后，依據(jù)數(shù)據(jù)模型和3D 人體虛擬模型二者之間的比例、位置等數(shù)據(jù)編寫程序，使得3D 人體虛擬模型的中心點對準數(shù)據(jù)模型的中心點后就可實現(xiàn)虛實結合模型的對齊匹配。（2）手術模擬訓練和考核功能的實現(xiàn)。根據(jù)真實損傷控制手術流程編寫程序，模擬訓練全程設計有文本與語音提示，同時可支持雙人協(xié)作訓練，利用自定義服務器連接多臺設備，實現(xiàn)主刀與助手共同進行模擬手術訓練；而模擬考核則全程無提示，根據(jù)手術操作標準設計評分標準，考核結束后會顯示具體的扣分點。（3）現(xiàn)場示教功能的實現(xiàn)。通過設置應用程序底層通信協(xié)議以及借助MR眼鏡全息投影功能，實現(xiàn)手術模擬訓練和考核的全程投屏，使教員可以及時介入指導。

2.2 顱腦戰(zhàn)傷損傷控制手術人體模型的制作

參照身高180 cm 成年男性標準體型定制人體模型（如圖4 所示），該模型匹配支持無線傳輸180 Hz數(shù)據(jù)輸出。同步開發(fā)寫入藍牙程序代碼的電子芯片并放置于人體模型的頭顱內部，支持與顱腦戰(zhàn)傷損傷控制手術模擬訓練軟件進行數(shù)據(jù)匹配。手術模擬訓練軟件在開發(fā)時預留有藍牙通信接口與軟件開發(fā)工具包（software development kit，SDK）接口，隨時支持第三方設備的接入。通過無線連接，可實現(xiàn)顱腦戰(zhàn)傷損傷控制手術人體模型與手術模擬訓練軟件的數(shù)據(jù)同步，例如受訓者在顱腦手術模擬訓練中作切口時，3D 人體虛擬模型和人體模型的切口可同步打開（如圖5 所示）。

圖4 顱腦戰(zhàn)傷損傷控制手術人體模型

圖5 3D 人體虛擬模型和人體模型切口同步打開的示意圖

2.3 依托HoloLens 2 MR 設備實現(xiàn)虛實結合顱腦戰(zhàn)傷損傷控制手術的模擬訓練

將顱腦戰(zhàn)傷損傷控制手術模擬訓練軟件打包成執(zhí)行程序在微軟HoloLens 2 MR 設備中安裝。安裝好后以此MR 設備為載體運行軟件程序，同時依托計算機服務器進行部署。該MR 設備的雙目攝像頭在使用時可對周圍空間進行深度圖像掃描，當識別出顱腦損傷控制手術人體模型的空間位置時，會將3D 人體虛擬模型和其進行對齊匹配，接下來運行軟件程序，實現(xiàn)在虛實結合模型上進行顱腦戰(zhàn)傷損傷控制手術模擬訓練。顱腦戰(zhàn)傷損傷控制手術模擬訓練示意圖及顱腦戰(zhàn)傷去骨瓣開顱減壓術模擬訓練關鍵步驟示意圖如圖6、7 所示。

圖6 顱腦戰(zhàn)傷損傷控制手術模擬訓練示意圖

圖7 顱腦戰(zhàn)傷去骨瓣開顱減壓術模擬訓練關鍵步驟示意圖

3 應用效果

本平臺于2022 年3 月交由第三方測試機構對系統(tǒng)功能進行全面測試，通過測試后于2022 年5 月正式投入到任職教育某培訓班戰(zhàn)時損傷控制手術與復蘇課程中使用。在教員通過投影示教后，28 名受訓者逐一體驗了基于本平臺的損傷控制手術模擬訓練和考核功能，并在充分體驗的基礎上接受了問卷調查。接受問卷調查的人員均為臨床醫(yī)學專業(yè)，且具有5 年以上臨床工作經(jīng)歷。問卷采用Likert 量表評分方法，針對提供的陳述性語句給予評分。評分為1～7 分，分別代表非常同意、同意、傾向于同意、未決定、傾向于不同意、不同意、非常不同意。收集問卷評分，計算其平均值和方差來統(tǒng)計受訓者對本平臺效果的評價。平均得分以小數(shù)點后的第1 位數(shù)字按照“四舍五入”原則靠近的整數(shù)為基準，選取最靠近的整數(shù)分值作為評價得分。

問卷調查結果詳見表1。結果表明，受訓者同意Q1，傾向于同意Q2、Q3 和Q5，傾向于不同意Q4。可見受訓者普遍認可基于MR 的顱腦戰(zhàn)傷損傷控制手術模擬訓練平臺，一致認為本平臺的訓練方法有趣且能夠更好地激發(fā)學習興趣。結合受訓者現(xiàn)場反饋的意見看，大部分認為本平臺在提供反復多次無風險的訓練、隨時隨地可開展自主探索練習等方面較傳統(tǒng)訓練方法更具備優(yōu)勢，且沉浸式的交互學習模式更加利于知識點的掌握與轉化，可與傳統(tǒng)的手術訓練方法有力互補。

表1 針對顱腦戰(zhàn)傷損傷控制手術模擬訓練平臺的問卷調查結果

4 討論

損傷控制手術的早期實施被認為是戰(zhàn)爭中傷員存活率大大提高的關鍵原因之一[13]。可見，注重對軍醫(yī)損傷控制手術能力的培訓十分必要。目前，主要基于戰(zhàn)傷動物模型開展戰(zhàn)傷損傷控制手術模擬培訓的方法主要有基于致傷機器、致戰(zhàn)傷動物模型的損傷控制手術訓練，基于爆炸傷平臺的批量動物傷員損傷控制手術訓練以及以槍支穿透傷動物模型為基礎的損傷控制手術訓練，但這3 種訓練方法對于平臺條件建設的要求較高，且存在一定的安全風險。因此，本研究擬探索一種和上述方法互補的顱腦戰(zhàn)傷損傷控制手術模擬訓練平臺，擬為軍醫(yī)的手術技能訓練開辟一條新路徑。由于顱腦外傷是戰(zhàn)時傷亡的首要原因，其發(fā)生率占全身各部位傷總數(shù)的10%～28%，損傷程度和致死率均高于平時[14]，所以本研究建立的訓練平臺以顱腦戰(zhàn)傷為傷情作初步探索。

當前，已有許多研究證實了MR 技術對于醫(yī)學模擬培訓具有促進作用，普遍認為MR 技術在外科技能培訓的應用上具有巨大潛力，因為其可以提供一種安全、可反復練習、效益比高的選擇，使受訓者在不會對患者造成任何傷害和危險的情況下以更自然的方式習得技能，并且可增加用戶交互體驗的真實感和學習樂趣等，可見其在手術模擬訓練領域的前景不可估量[7-11]。本研究建立的顱腦戰(zhàn)傷損傷控制手術模擬訓練平臺基于MR 技術構建，主要在以下3 個方面有所突破：（1）在培訓手術決策等非技能性技術方面較其他方法有優(yōu)勢?；趧游锬Ｐ偷挠柧毞椒ǜ觽戎赜谑中g實踐技能的訓練，而本平臺使受訓者身臨其境體驗手術流程的同時穿插了多個決策點，在抽象思維能力訓練方面具有獨特的優(yōu)勢。（2）實現(xiàn)了3D 人體虛擬模型和人體模型的無縫匹配重疊，使受訓者可在虛實結合模型上開展手術練習。MR 技術的3 個主要特點是現(xiàn)實與虛擬世界的結合、實時交互和精確匹配[15-16]，但受限于技術的成熟度，其在現(xiàn)實和虛擬的結合上難以盡如人意，而本研究在虛實人體模型的結合上有所突破，達到了精確匹配。（3）在增加觸覺反饋、提高訓練代入感上有了初步進展。有研究者認為，盡管VR、AR 等技術在提供交互沉浸式學習方面優(yōu)勢明顯，但其缺點是沒有考慮高仿真模擬中的觸覺反饋，有的研究者則認為VR 技術由于缺乏真實感而無法應用于臨床實際操作訓練中，因為臨床醫(yī)生似乎很難將自己沉浸在其中[17-18]。相比之下，MR 技術在實現(xiàn)觸覺反饋方面存在不可比擬的優(yōu)勢。本研究通過計算使得受訓者在切開皮膚時可感受到震動反饋，同時人體模型的切口對應打開。此外，人體模型的使用被動引入了部分觸覺反饋，使得訓練真實感更強。

5 結語

本研究初步建成了以MR 為基礎的顱腦戰(zhàn)傷損傷控制手術模擬訓練平臺，本平臺可提供無風險、不受時間空間限制、沉浸式交互學習等常規(guī)手術訓練不具備的訓練方式，是一種創(chuàng)新性的、整體效益比較高的損傷控制手術模擬訓練方法，可作為其他方法的有力補充。從初步的研究結果看，本平臺在提高受訓者學習積極性方面優(yōu)勢明顯，將有助于促進學習效果的提升。但需要指出的是，本平臺更適用于手術技能初始階段的培訓，用于培訓新手或者是對某領域損傷控制手術不熟悉的人員。下一步，本平臺需要改進完善的地方主要有：（1）進一步開發(fā)不同的損傷控制手術模塊，支持多個部位損傷控制手術的培訓；（2）深入探索如何基于MR 技術使訓練中的觸覺反饋更進一步，以使受訓者的訓練體驗更加真實；（3）對于本平臺應用效果的評價主要基于使用人員的整體體驗感，沒有針對平臺的每個應用模塊去評估，下一步需結合平臺的完善開展全面評估。