陳友志，范曉志

基于虛擬現(xiàn)實技術(shù)的下肢骨折手術(shù)應(yīng)急訓(xùn)練系統(tǒng)設(shè)計

陳友志1，范曉志2

（1.米蘭理工大學(xué)，米蘭 20158；2.北京工商大學(xué)，北京 100048）

針對虛擬現(xiàn)實技術(shù)的優(yōu)勢及特點，以下肢骨折手術(shù)中突發(fā)靜脈出血為例，探討虛擬現(xiàn)實技術(shù)在手術(shù)應(yīng)急訓(xùn)練領(lǐng)域的創(chuàng)新應(yīng)用。方法 首先以虛擬現(xiàn)實技術(shù)的理論和其在醫(yī)學(xué)領(lǐng)域的應(yīng)用現(xiàn)狀為基礎(chǔ)，通過分析骨科手術(shù)中的風(fēng)險因素及傳統(tǒng)手術(shù)仿真訓(xùn)練方式在突發(fā)狀況訓(xùn)練方面存在的缺陷，提出虛擬現(xiàn)實技術(shù)應(yīng)用手術(shù)應(yīng)急訓(xùn)練領(lǐng)域的必要性。然后采用用戶訪談及文獻研究等方法建立手術(shù)相關(guān)的醫(yī)療數(shù)據(jù)庫，最后基于Unreal Engine 4 軟件開發(fā)出虛擬手術(shù)應(yīng)急訓(xùn)練系統(tǒng)，并且針對可穿戴的交互設(shè)備進行創(chuàng)新設(shè)計。結(jié)論 虛擬現(xiàn)實技術(shù)在下肢骨折手術(shù)應(yīng)急訓(xùn)練領(lǐng)域的應(yīng)用是一個新的研究方向?；谔摂M現(xiàn)實技術(shù)的手術(shù)應(yīng)急訓(xùn)練系統(tǒng)不僅可以實現(xiàn)傳統(tǒng)的手術(shù)仿真模擬訓(xùn)練，而且可以實現(xiàn)手術(shù)中的應(yīng)急反應(yīng)訓(xùn)練，從而提高醫(yī)生在手術(shù)中的操作技能和應(yīng)急反應(yīng)能力。它解決了傳統(tǒng)手術(shù)訓(xùn)練方式難以實現(xiàn)應(yīng)急反應(yīng)訓(xùn)練的問題，具有操作簡單，成本低及體驗感強等特點。

VR技術(shù)；應(yīng)急反應(yīng)；觸覺反饋；手術(shù)訓(xùn)練；虛擬現(xiàn)實；下肢骨折手術(shù)

隨著社會的不斷發(fā)展，虛擬現(xiàn)實技術(shù)的應(yīng)用及價值越來越得以體現(xiàn)，被廣泛應(yīng)用于文物修復(fù)、游戲娛樂及醫(yī)學(xué)領(lǐng)域，并取得了顯著成效。虛擬現(xiàn)實技術(shù)在醫(yī)學(xué)領(lǐng)域的應(yīng)用更是推動了醫(yī)學(xué)的快速發(fā)展，解決了手術(shù)仿真模擬和虛擬解剖教學(xué)等醫(yī)學(xué)難題，打破了傳統(tǒng)醫(yī)學(xué)技術(shù)無法攻克的壁壘。本文在調(diào)研虛擬現(xiàn)實技術(shù)與醫(yī)學(xué)結(jié)合現(xiàn)狀的基礎(chǔ)上，以下肢骨折手術(shù)中突發(fā)靜脈出血為例，尋找虛擬現(xiàn)實技術(shù)在手術(shù)應(yīng)急訓(xùn)練方面應(yīng)用的可能性，推動虛擬現(xiàn)實技術(shù)與醫(yī)學(xué)的共同發(fā)展。

1 虛擬現(xiàn)實技術(shù)概述

虛擬現(xiàn)實技術(shù)就是我們耳熟能詳?shù)腣R，它是Virtual Reality的縮寫，中文的意思就是虛擬現(xiàn)實，主要以信息技術(shù)為核心，將人們的視覺、觸覺及聽覺等融為一體的沉浸交互式虛擬環(huán)境，用戶可以通過VR眼鏡和VR手柄等設(shè)備進入虛擬環(huán)境并與虛擬物體進行交互。虛擬現(xiàn)實技術(shù)還可以通過仿真的技術(shù)手段構(gòu)建生活中難以實現(xiàn)的場景，給人身臨其境的體驗[1]。近年來隨著計算機技術(shù)的飛速發(fā)展，虛擬現(xiàn)實技術(shù)已經(jīng)在眾多領(lǐng)域展現(xiàn)了自身的價值，例如虛擬現(xiàn)實技術(shù)在數(shù)字化博物館構(gòu)建過程中的應(yīng)用，可以讓游客置身虛擬的博物館中與博物館及其展品之間進行虛擬的交互，產(chǎn)生共鳴，提升游客的參觀體驗感[2]。還有基于虛擬現(xiàn)實技術(shù)構(gòu)建的竹編產(chǎn)品展示平臺解決了竹編產(chǎn)品設(shè)計過程中生產(chǎn)廠家與訂購客戶之間的設(shè)計溝通障礙，實現(xiàn)了竹編產(chǎn)品設(shè)計的虛擬展示與評估，該平臺不僅縮短了竹編產(chǎn)品的設(shè)計周期而且推動了竹編產(chǎn)業(yè)的發(fā)展[3]。虛擬現(xiàn)實技術(shù)已成為當(dāng)下熱門的技術(shù)之一，它正以獨特的優(yōu)勢改變著我們的生活。

2 虛擬現(xiàn)實技術(shù)在醫(yī)學(xué)領(lǐng)域的應(yīng)用現(xiàn)狀

在醫(yī)學(xué)領(lǐng)域，虛擬現(xiàn)實技術(shù)的應(yīng)用主要表現(xiàn)在醫(yī)學(xué)解剖教學(xué)及手術(shù)仿真模擬兩個方面。在醫(yī)學(xué)解剖教學(xué)方面，VR技術(shù)正在影響著傳統(tǒng)的醫(yī)學(xué)教育方式。傳統(tǒng)的解剖教學(xué)模式主要為圖譜解剖和尸體解剖，但隨著學(xué)生數(shù)量的激增與人體圖譜資源的匱乏讓醫(yī)學(xué)解剖教學(xué)領(lǐng)域陷入了尷尬的境地[4]，此外尸體數(shù)量有限且存在細菌感染的風(fēng)險。虛擬現(xiàn)實技術(shù)可以構(gòu)建出虛擬的人體及器官，醫(yī)學(xué)生可以更加簡單直觀地認識人體器官，身臨其境地感受人體器官的位置和功能，擺脫對傳統(tǒng)圖譜解剖資源的依賴和對尸體的恐懼[5]。

在手術(shù)仿真模擬方面，虛擬現(xiàn)實技術(shù)由于不受尸體標本、場地等因素限制，相對之前的手術(shù)訓(xùn)練模式，在培訓(xùn)費用、培訓(xùn)流程及培訓(xùn)效果等方面具有明顯的優(yōu)勢。例如基于VR外設(shè)的沉浸式手術(shù)訓(xùn)練仿真系統(tǒng)研究，該研究以髖關(guān)節(jié)置換手術(shù)為背景，在虛擬手術(shù)仿真系統(tǒng)的基礎(chǔ)上，引入VR相關(guān)的交互外設(shè)并通過單通道大屏幕立體投影顯示構(gòu)建出一個沉浸式的虛擬手術(shù)環(huán)境，最終可以利用VR外設(shè)完成虛擬髖關(guān)節(jié)置換手術(shù)的交互仿真訓(xùn)練[6]。還有基于VR技術(shù)的胃鏡模擬操作系統(tǒng)研究，將VR技術(shù)應(yīng)用在了消化內(nèi)鏡治療領(lǐng)域，通過一系列的精心設(shè)計，該系統(tǒng)可以在虛擬空間中還原胃鏡檢查的整個過程，給醫(yī)生帶來真實的操作體驗，提升醫(yī)生的操作技能[7]。

綜上所述，虛擬現(xiàn)實技術(shù)在醫(yī)學(xué)解剖教學(xué)和手術(shù)仿真模擬領(lǐng)域已經(jīng)取得了不錯的成效，并且虛擬現(xiàn)實技術(shù)與醫(yī)學(xué)的結(jié)合也促進了彼此的發(fā)展。隨著科技水平的不斷提高，虛擬現(xiàn)實技術(shù)在醫(yī)學(xué)領(lǐng)域的進一步應(yīng)用仍然值得我們?nèi)ヌ剿鳌?/p>

3 虛擬現(xiàn)實技術(shù)與手術(shù)應(yīng)急訓(xùn)練結(jié)合的必要性

外科手術(shù)俗稱開刀，泛指外科醫(yī)師操作外科設(shè)備，進入人體或其他生物組織，以外力方式排除病變、改變構(gòu)造或植入外來物的處理過程[8]。從外科手術(shù)的定義中就可以看出它的專業(yè)性、復(fù)雜性及突發(fā)性。近年來隨著社會的迅速發(fā)展，工作壓力、環(huán)境污染和不規(guī)律飲食等因素嚴重影響著人們的身心健康，導(dǎo)致人們患病的幾率越來越高，患病程度越來越嚴重。普通吃藥打針的治療方法已經(jīng)不能滿足患者的病癥需求，越來越多的疾病需要通過手術(shù)治療，然而由于手術(shù)過程中所存在的突發(fā)因素，導(dǎo)致手術(shù)的結(jié)果不一定成功。

黑龍江省七臺河市七煤醫(yī)療中心新興醫(yī)院曾對骨科手術(shù)中存在的風(fēng)險因素進行過研究[9]，該次研究選取了2015年4月至2016年4月期間在該院接受骨科手術(shù)的60例患者作為研究對象，采取回顧性分析的方式對60例患者的臨床資料進行了分析。研究結(jié)果表明，30例患者在手術(shù)過程中遇到過突發(fā)狀況事件，占總研究人數(shù)的50%，其中醫(yī)務(wù)人員對醫(yī)療器械或材料使用不當(dāng)引發(fā)風(fēng)險事件的有10例，手術(shù)之前醫(yī)護人員與患者及家屬溝通不當(dāng)引發(fā)風(fēng)險事件的有15例，手術(shù)過程中醫(yī)務(wù)人員處理不當(dāng)引發(fā)風(fēng)險事件的有2例，其他原因引發(fā)風(fēng)險事件的有3例，見表1。

通過上述案例可以看出骨科手術(shù)中引發(fā)風(fēng)險事件的因素是多方面的，其中40%的風(fēng)險因素來源醫(yī)生在手術(shù)過程中的操作不當(dāng)。此外手術(shù)過程中發(fā)生突發(fā)狀況的案例還有很多，突發(fā)狀況所造成的患者病癥加重或者死亡的情況也時有發(fā)生，例如首都醫(yī)科大學(xué)附屬北京朝陽醫(yī)院在給患者進行下肢骨折手術(shù)“驅(qū)血”時突發(fā)肺栓塞死亡一例[10]。面對手術(shù)過程中的突發(fā)狀況，醫(yī)生在術(shù)前的訓(xùn)練和準備工作就顯得尤為重要。

表1 骨科手術(shù)風(fēng)險因素分析

如果醫(yī)生在進行手術(shù)之前可以進行各種突發(fā)狀況的應(yīng)急訓(xùn)練，增加自身的經(jīng)歷與體驗，那么在實際手術(shù)過程中遇到類似或者相同的突發(fā)情況時，將會做出更加理性和正確的處理，保證手術(shù)順利完成。因此對醫(yī)生而言，手術(shù)中突發(fā)狀況的應(yīng)急訓(xùn)練是非常有必要的。

由于突發(fā)狀況的多元性、復(fù)雜性及突發(fā)性等特點，傳統(tǒng)的手術(shù)仿真訓(xùn)練方式對手術(shù)突發(fā)狀況的訓(xùn)練仍然存在很多的缺陷。一是沉浸式交互環(huán)境的缺乏，傳統(tǒng)的手術(shù)仿真訓(xùn)練主要是醫(yī)護人員在現(xiàn)實環(huán)境中操作手術(shù)仿真設(shè)備來進行的，無法還原手術(shù)室、手術(shù)器械及病人等手術(shù)場景，醫(yī)護人員無法全身心投入訓(xùn)練。二是手術(shù)交互操作的復(fù)雜性和局限性，通常手術(shù)仿真訓(xùn)練設(shè)備主要由人體局部模型，手術(shù)器械模擬裝置，顯示屏及鼠標等硬件組成，醫(yī)護人員需要一邊觀察顯示屏中的人體組織，一邊控制鼠標或者手術(shù)器械模擬裝置等設(shè)備在顯示屏中的人體組織上進行手術(shù)操作，這種訓(xùn)練方式不僅非常不便，還會給醫(yī)生帶來錯誤的交互反饋，例如醫(yī)護人員在訓(xùn)練過程中的直接交互對象是鼠標或手術(shù)器械模擬裝置等設(shè)備，無法和病人及手術(shù)場景進行直接的交互，因此無法形成有效的觸覺反饋和肌肉記憶。三是設(shè)備的專用性，目前市場上大部分的手術(shù)仿真設(shè)備仍然處于“一病一設(shè)備”的研發(fā)階段，一臺設(shè)備無法進行多種類型或不同疾病的手術(shù)訓(xùn)練，醫(yī)護人員需要根據(jù)自身的需求選擇相應(yīng)的設(shè)備進行訓(xùn)練。然而手術(shù)中病人的突發(fā)狀況并不一定是由某一種特定的疾病引起的，這和病人的既往病史、體質(zhì)及手術(shù)環(huán)境等因素密切相關(guān)。此外，現(xiàn)有的手術(shù)仿真訓(xùn)練設(shè)備也存在體積較大、價格昂貴及多次訓(xùn)練容易引起硬件設(shè)備損壞等問題，所以目前的手術(shù)仿真訓(xùn)練方式無法為醫(yī)護人員提供有效的手術(shù)突發(fā)狀況訓(xùn)練。

基于虛擬現(xiàn)實技術(shù)的沉浸性、交互性及多感知性等優(yōu)勢，可以構(gòu)建出虛擬的手術(shù)環(huán)境并通過VR外設(shè)為醫(yī)護人員提供真實的交互反饋。一方面，虛擬現(xiàn)實技術(shù)主要通過計算機進行程序的編寫和控制，可以隨時根據(jù)需求對訓(xùn)練系統(tǒng)進行修改和完善，相比之前的手術(shù)仿真訓(xùn)練設(shè)備，它的應(yīng)用更加靈活，不受硬件和場地的限制。另一方面，虛擬現(xiàn)實技術(shù)在應(yīng)急訓(xùn)練領(lǐng)域的應(yīng)用效果顯著，例如基于VR技術(shù)的大學(xué)生宿舍

火災(zāi)應(yīng)急演練系統(tǒng)設(shè)計，通過VR技術(shù)對火災(zāi)現(xiàn)場的情景進行虛擬展示，讓學(xué)生能夠真實感受到火災(zāi)的迅猛和危害，通過系統(tǒng)內(nèi)置的火災(zāi)知識教育功能來提升學(xué)生在火災(zāi)面前的快速反應(yīng)和處理能力[11]。

針對上述挑戰(zhàn)及虛擬現(xiàn)實技術(shù)在應(yīng)急訓(xùn)練領(lǐng)域所獨有的優(yōu)勢，利用虛擬現(xiàn)實技術(shù)構(gòu)建一套虛擬的手術(shù)應(yīng)急訓(xùn)練系統(tǒng)，對訓(xùn)練醫(yī)生在手術(shù)中面對突發(fā)狀況的應(yīng)急反應(yīng)能力，緩解上述問題非常有幫助。

4 虛擬手術(shù)應(yīng)急訓(xùn)練系統(tǒng)的創(chuàng)新設(shè)計

虛擬手術(shù)應(yīng)急訓(xùn)練系統(tǒng)的設(shè)計主要分為三個階段，第一階段是搭建手術(shù)相關(guān)的醫(yī)療數(shù)據(jù)庫及虛擬場景，第二階段是手術(shù)應(yīng)急訓(xùn)練系統(tǒng)的使用流程設(shè)計，第三階段是系統(tǒng)相關(guān)的交互設(shè)備創(chuàng)新設(shè)計，主要包括可穿戴的VR眼鏡和VR手套，見圖1。為了更有針對性地探討虛擬現(xiàn)實技術(shù)在手術(shù)應(yīng)急訓(xùn)練領(lǐng)域的應(yīng)用，此次研究以下肢骨折手術(shù)中突發(fā)靜脈出血作為案例，針對具體的手術(shù)突發(fā)狀況進行詳細的方案設(shè)計。

4.1 虛擬手術(shù)應(yīng)急訓(xùn)練系統(tǒng)數(shù)據(jù)庫及場景的建立

虛擬手術(shù)場景和突發(fā)狀況的構(gòu)建離不開標準化的醫(yī)療數(shù)據(jù)，為了保證設(shè)計方案的科學(xué)性及規(guī)范性，研究小組在前期調(diào)研的基礎(chǔ)上，通過對當(dāng)?shù)蒯t(yī)院的骨科專家進行用戶訪談并結(jié)合文獻研究等方法，獲取了系統(tǒng)構(gòu)建過程中所需要的醫(yī)療數(shù)據(jù)。其內(nèi)容主要包括四大方面：一是關(guān)于下肢骨折手術(shù)方面的基本數(shù)據(jù)獲取，例如手術(shù)所需要的醫(yī)療器械及場景布置，手術(shù)的基本操作流程及相關(guān)操作規(guī)范等。二是關(guān)于人體基本構(gòu)造的數(shù)據(jù)獲取，例如人體下肢骨架的形態(tài)、位置及周圍組織等。三是關(guān)于下肢骨折手術(shù)中突發(fā)狀況方面的數(shù)據(jù)獲取，主要包括下肢骨折手術(shù)中突發(fā)靜脈出血的相關(guān)信息，例如引發(fā)靜脈出血的臨床原因，不同類型靜脈血管的出血狀態(tài)及出血量對患者生理變化的影響等。四是關(guān)于突發(fā)狀況處理規(guī)范的數(shù)據(jù)獲取，例如針對不同臨床原因引發(fā)的下肢骨折手術(shù)靜脈出血的正確處理規(guī)范等。

通過調(diào)研得知，大靜脈出血雖然看起來不如動脈出血劇烈，但是出血速度和出血量并不少，而且較大的靜脈裂口，還可能發(fā)生致命的空氣栓塞。一旦發(fā)生大靜脈出血，醫(yī)護人員可以先用紗布或者手指壓迫控制出血，迅速清除手術(shù)區(qū)的血液和凝血塊，待人員、器械及血源都準備就緒后，慢慢自壓迫邊緣開始尋找破裂血管進行縫合或者修補治療[12]。針對中小靜脈出血的處理，可以直接對出血點進行結(jié)扎，無法確定出血點的可以用干紗布壓迫止血，如果不影響其他操作可暫不進一步處理，持續(xù)壓迫15-20分鐘，絕大部分中小靜脈出血可停止。此外出血量的不同也將直接影響患者生理數(shù)據(jù)的變化，例如脈率、血壓及呼吸等[13]，具體情況見表2。患者生理數(shù)據(jù)的變化也會對醫(yī)生的處理方式產(chǎn)生一定的影響，后期會將這部分數(shù)據(jù)轉(zhuǎn)化為可視化的元素輸入系統(tǒng)，最大程度還原真實的手術(shù)突發(fā)狀況，更有利于醫(yī)生的應(yīng)急反應(yīng)訓(xùn)練。

圖1 虛擬手術(shù)應(yīng)急訓(xùn)練系統(tǒng)的設(shè)計思路

表2 出血量對患者生理數(shù)據(jù)的影響

圖2 虛擬的手術(shù)場景

在前期醫(yī)療數(shù)據(jù)調(diào)研的基礎(chǔ)上，利用Unreal Engine 4軟件制作了虛擬的手術(shù)室場景、手術(shù)器械、手術(shù)設(shè)備和病人等虛擬模型，見圖2。中期通過軟件將手術(shù)中突發(fā)狀況方面的數(shù)據(jù)轉(zhuǎn)化為代碼輸入到系統(tǒng)中，例如靜脈出血的狀態(tài)及出血量對患者生理數(shù)據(jù)的影響等信息。后期該系統(tǒng)內(nèi)設(shè)的突發(fā)狀況可以與醫(yī)療大數(shù)據(jù)保持同步，確保突發(fā)狀況數(shù)據(jù)庫的真實性和時效性。

4.2 虛擬手術(shù)應(yīng)急訓(xùn)練系統(tǒng)的使用流程設(shè)計

虛擬手術(shù)場景和突發(fā)狀況數(shù)據(jù)庫制作完成后，根據(jù)前期用戶訪談的專家意見開始構(gòu)建系統(tǒng)的使用流程。目前系統(tǒng)中共包含手術(shù)技能訓(xùn)練和應(yīng)急反應(yīng)訓(xùn)練兩種模式，本文只針對后者展開研究。用戶選擇應(yīng)急反應(yīng)訓(xùn)練模式后，可以繼續(xù)根據(jù)科室、手術(shù)及突發(fā)狀況的種類進行不同層級的選擇，確定具體的突發(fā)狀況來進行應(yīng)急反應(yīng)訓(xùn)練，見圖3。以下肢骨折手術(shù)中突發(fā)靜脈出血為例，用戶首先需要根據(jù)科室選擇骨科，然后根據(jù)骨科相關(guān)的手術(shù)種類選擇下肢骨折手術(shù)，最后根據(jù)下肢骨折手術(shù)包含的突發(fā)狀況種類選擇靜脈血管出血，選擇完成之后就可以開始進行相應(yīng)的應(yīng)急反應(yīng)訓(xùn)練。

用戶通過佩戴VR外設(shè)進入虛擬手術(shù)應(yīng)急訓(xùn)練系統(tǒng)之后，在手術(shù)訓(xùn)練場景的交互界面中可以自由選擇手術(shù)所需的各種器械，實時監(jiān)測患者的生理數(shù)據(jù)變化。例如在下肢骨折手術(shù)中突發(fā)靜脈出血，患者的生理數(shù)據(jù)會隨著失血量的變化而變化，系統(tǒng)會盡可能還原患者在突發(fā)狀況中的真實反映，有利于用戶更好地判斷患者的生命狀況，從而進行針對性的處理。此外，系統(tǒng)中的突發(fā)狀況會在手術(shù)過程中隨機選擇適當(dāng)?shù)臅r間點自動發(fā)生，符合真實突發(fā)狀況的突發(fā)性等特點。以下肢骨折手術(shù)中大靜脈血管突發(fā)出血為例，當(dāng)突發(fā)狀況發(fā)生時，用戶可以憑借自己的經(jīng)驗和手術(shù)預(yù)案進行處理，系統(tǒng)會對用戶的處理結(jié)果進行自動評判，用戶也可以通過系統(tǒng)內(nèi)置的指導(dǎo)視頻學(xué)習(xí)正確的處理方法，從而更好地提高在手術(shù)過程中的應(yīng)急反應(yīng)能力，見圖4。

圖3 虛擬手術(shù)應(yīng)急訓(xùn)練系統(tǒng)的運行流程

圖4 下肢骨折手術(shù)中大靜脈血管突發(fā)出血的訓(xùn)練過程

4.3 用戶可穿戴交互設(shè)備設(shè)計

通過對上述案例的研發(fā)和分析發(fā)現(xiàn)虛擬手術(shù)應(yīng)急訓(xùn)練系統(tǒng)對訓(xùn)練醫(yī)生的應(yīng)急反應(yīng)能力和提高手術(shù)技能具有一定的幫助，但現(xiàn)階段的系統(tǒng)仍然存在一定的缺陷。由于技術(shù)條件的限制，測試過程中所使用的VR外設(shè)均為普通的VR眼鏡和手柄，虛擬場景中手部模型的點擊、移動及拖拽等動作都是用戶控制VR手柄來完成的。醫(yī)生在進行手術(shù)訓(xùn)練的時候，手部是醫(yī)生向患者做出決策的重要傳遞部位，如果醫(yī)生通過VR手柄進行手術(shù)訓(xùn)練，無法獲得有效且正確的力反饋和肌肉記憶。例如現(xiàn)階段虛擬手部模型抓握手術(shù)刀及切開患者皮膚的操作是用戶抓握VR手柄及按壓手柄上的相關(guān)按鍵實現(xiàn)的，但現(xiàn)實中用戶手部的觸覺反饋來源于VR手柄而不是手術(shù)刀，所以這種觸覺反饋就是錯誤的，醫(yī)生不僅無法獲得正確的肌肉記憶而且訓(xùn)練效果也大打折扣。因此開發(fā)一款具有觸覺反饋功能的VR手套非常有必要，它可以更加真實地還原手術(shù)過程中醫(yī)生的手部運動和觸覺反饋，有利于醫(yī)生更好地記憶訓(xùn)練過程，從而應(yīng)用到實際的手術(shù)中。

目前市場上的VR手套已經(jīng)實現(xiàn)將現(xiàn)實中手部的運動傳送到虛擬的空間中，主要依靠兩個元器件，第一個元器件是慣性傳感器，主要位于VR手套的手指關(guān)節(jié)處和掌心處，它可以將現(xiàn)實中手指的彎曲動作傳送到虛擬空間中。第二個元器件是IMU運動追蹤模塊，它位于手套背部的手腕處，可以將現(xiàn)實中手部的移動動作傳送到虛擬空間。這兩個元器件的結(jié)合就將現(xiàn)實中手部的移動和手指的彎曲動作傳送到虛擬的空間中，讓虛擬空間中的手部模型完成現(xiàn)實中手部的動作。但是VR手套的觸覺反饋技術(shù)目前仍處于研究階段，例如具有力反饋的外骨骼手套設(shè)計研究，采用力矩電機通過鋼絲繩帶動手指關(guān)節(jié)處的固結(jié)點進行傳動，當(dāng)在虛擬空間中手部模型觸碰到虛擬物體外圍或?qū)ξ矬w施加力時，系統(tǒng)會將觸覺信息反饋給手套的控制模塊，然后力矩電機會帶動鋼絲繩卷起，對手指施加外力，產(chǎn)生力的反饋[14]。首先，從造型方面來講，這種外骨骼手套因為使用了機械連桿的機構(gòu)，手套的使用和攜帶都非常笨重；其次，從觸覺反饋方面來講，只能提供手指彎曲時的束縛力，無法提供手掌面和手指面的觸覺反饋。此外，傳統(tǒng)的VR眼鏡由于造型笨重，長時間佩戴會給使用者造成疲勞和不適。

圖5 新型VR眼鏡和VR手套模型

圖6 VR手套力反饋技術(shù)的工作原理

針對上述問題，研究小組設(shè)計了新型的VR眼鏡和VR手套來更好地配合虛擬手術(shù)應(yīng)急訓(xùn)練系統(tǒng)的運行，見圖5。新型的VR眼鏡造型簡約輕便，使用無線連接方式，解決了傳統(tǒng)VR眼鏡的線纜束縛和佩戴疲勞感等問題，而且內(nèi)置微型揚聲器，可以近距離地讓用戶聽到虛擬手術(shù)場景中產(chǎn)生的聲音。此外針對現(xiàn)有VR手套在觸覺反饋方面的不足，研究小組設(shè)計了一種新型的力反饋模塊來實現(xiàn)VR手套的觸覺反饋功能，力反饋模塊主要設(shè)置在手套的五個手指和手掌部分，模塊的表面有很多微小的半球體，這些半球體受系統(tǒng)的控制上下運動。當(dāng)醫(yī)生在現(xiàn)實環(huán)境中使用手術(shù)器械時，醫(yī)生的手部與手術(shù)器械之間會存在作用力與反作用力，正是由于力的作用，醫(yī)生的手部才會感受到觸覺反饋，所以VR手套中的力反饋模塊就是通過對手部皮膚施加作用力來實現(xiàn)觸覺反饋的。例如當(dāng)用戶在虛擬系統(tǒng)中使用注射器時，系統(tǒng)中的手部模型與注射器之間會先產(chǎn)生一定區(qū)域的接觸信號，然后系統(tǒng)將手部模型接觸區(qū)域的信號反饋給VR手套，VR手套中的力反饋模塊會控制相應(yīng)區(qū)域的半球體上升，對用戶的手部皮膚施加力的作用，產(chǎn)生觸覺反饋，見圖6。

基于新型VR外設(shè)的優(yōu)勢，用戶可以在虛擬手術(shù)應(yīng)急訓(xùn)練系統(tǒng)中更加方便和高效地進行訓(xùn)練。例如新型的VR外設(shè)均采用無線連接方式，用戶進入虛擬的手術(shù)場景后，可以任意移動和行走，從不同角度觀察病人和執(zhí)行手術(shù)操作。當(dāng)用戶佩戴新型的VR手套執(zhí)行拿放手術(shù)器械，按壓病人靜脈血管及縫合傷口等操作時，只需要通過手部的移動和手指彎曲等動作即可實現(xiàn)。例如在手術(shù)器械選擇步驟，用戶只需要通過手指的滑動和點擊即可實現(xiàn)該操作，擺脫了傳統(tǒng) VR 手柄的操作局限性和復(fù)雜性，使訓(xùn)練更加靈活及真實。此外，新型的VR外設(shè)還可以給用戶帶來全方位的感官體驗，以用紗布壓迫血管控制出血的步驟為例，用戶可以看到血液的出血狀態(tài)，聽到操作中產(chǎn)生的聲音，感受到來自紗布及病人的力反饋，獲得視覺、聽覺及觸覺等方面的感受。

5 結(jié)語

本文主要以下肢骨折手術(shù)中突發(fā)靜脈出血為例，探討了當(dāng)下熱門的虛擬現(xiàn)實技術(shù)與手術(shù)應(yīng)急訓(xùn)練領(lǐng)域結(jié)合的可能性，在綜合調(diào)研的基礎(chǔ)上利用Unreal Engine 4引擎創(chuàng)建出了虛擬的手術(shù)環(huán)境及手術(shù)突發(fā)狀況等醫(yī)療數(shù)據(jù)庫，讓醫(yī)生可以在VR外設(shè)的輔助下進入虛擬的手術(shù)室進行應(yīng)急反應(yīng)能力的訓(xùn)練，以此來解決醫(yī)生在手術(shù)中遇到突發(fā)狀況時處理失誤的問題。此外，針對現(xiàn)有VR外設(shè)存在的問題，此次研究設(shè)計了新型的VR眼鏡和手套，尤其是一種力反饋模塊的創(chuàng)新應(yīng)用，可以讓用戶在訓(xùn)練過程中獲得真實的力反饋體驗，逐步實現(xiàn)在視覺、聽覺及觸覺等方面完美還原真實場景。目前，虛擬現(xiàn)實技術(shù)在手術(shù)應(yīng)急訓(xùn)練領(lǐng)域的應(yīng)用仍然處于探索階段，雖然此次研究仍未涵蓋所有的手術(shù)突發(fā)狀況訓(xùn)練，但是為后期虛擬現(xiàn)實技術(shù)在醫(yī)學(xué)及應(yīng)急反應(yīng)領(lǐng)域的應(yīng)用提供了一種新的思路和參考。

[1] 高鵬. 虛擬現(xiàn)實技術(shù)及其應(yīng)用[J]. 電子技術(shù)與軟件工程, 2019(22): 128-129.

GAO Peng. Virtual Reality Technology and Its Application[J].Electronic Technology＆Software Engineering, 2019(22): 128-129.

[2] 呂屏, 楊鵬飛, 李旭. 基于VR技術(shù)的虛擬博物館交互設(shè)計[J].包裝工程, 2017(24): 137-141.

LYU Ping, YANG Peng-fei, LI Xu. Virtual Museum Interaction Design Research Based on VR Technology[J]. Packaging Engineering, 2017(24): 137-141.

[3] 張文莉, 鄒倩. VR 在解決竹編產(chǎn)品設(shè)計溝通障礙上的應(yīng)用[J].包裝工程, 2018(18): 203-208.

ZHANG Wen-li, ZOU Qian. VR in Solving Communication for Bamboo Weaving Product’s Design[J]. Packaging Engineering, 2018(18): 203-208.

[4] 潘長學(xué), 王興宇, 張蔚茹. 基于虛擬現(xiàn)實技術(shù)的醫(yī)學(xué)解剖教學(xué)沉浸式交互設(shè)計研究[J]. 裝飾, 2020(3): 66-69.

PAN Chang-xue, WANG Xing-yu, ZHANG Wei-ru. Immersive Interactive Design of Medical Anatomy Teaching Based on Virtual Reality Technology[J]. Art&Design, 2020(3): 66-69.

[5] 李玉彬, 牛倩. 3D虛擬解剖模型在解剖學(xué)教學(xué)中的應(yīng)用探析[J]. 成才之路, 2020(3): 12-13.

LI Yu-bin, NIU Qian. Exploration of the Application of 3D Virtual Anatomy Model in Anatomy Teaching[J]. Chengcaizhilu, 2020(3): 12-13.

[6] 寧康杰. 基于VR外設(shè)的沉浸式手術(shù)訓(xùn)練仿真系統(tǒng)研究[D]. 哈爾濱: 哈爾濱工程大學(xué), 2014.

NING Kang-jie. Surgical Training Simulation System Based on Immersive VR Peripherals[D]. Harbin: Harbin Engineering University, 2014.

[7] 王茜濡, 李春佼, 江豐. VR動畫仿真技術(shù)的開發(fā)與應(yīng)用——以創(chuàng)建胃鏡模擬系統(tǒng)為例[J]. 裝飾, 2018(3): 136-137.

WANG Qian-ru, LI Chun-jiao, JIANG Feng. The Development and Application of VR Animation Simulation Technology: Case Study on Gastroscopy Simulation System[J]. Art & Design, 2018(3): 136-137.

[8] 李長樹. 面向虛擬手術(shù)系統(tǒng)離體股骨干鉆削力學(xué)參數(shù)的測試與研究[D]. 廣州: 南方醫(yī)科大學(xué), 2014.

LI Chang-shu. The Testing of Drilling Mechanics Parameters in Vitro Femoral Shaft for Virtual Surgery System[D]. Guangzhou: Southern Medical University, 2014.

[9] 高天保. 骨科手術(shù)風(fēng)險因素分析及其防范[J]. 中國衛(wèi)生產(chǎn)業(yè), 2016(18): 50-52.

GAO Tian-Bao. Analysis and Prevention of Risk Factors of Operation in the Department of Orthopaedics[J]. China Health Industry, 2016(18): 50-52.

[10] 蔣嘉, 吳安石, 岳云. 下肢骨折手術(shù)“驅(qū)血”時突發(fā)肺栓塞死亡一例[J]. 臨床麻醉學(xué)雜志, 2016(6): 622-623.

JIANG Jia, WU An-shi, YUE Yun. A Case of Sudden Death of Pulmonary Embolism During “Bloodletting” in Lower Limb Fracture Surgery[J]. Journal of Clinical Anesthesiology, 2016(6): 622-623.

[11] 李兵川, 吳文靈. 基于VR 技術(shù)的大學(xué)宿舍火災(zāi)應(yīng)急演練系統(tǒng)設(shè)計[J]. 計算機產(chǎn)品與流通, 2020(9): 283.

LI Bing-chuan, WU Wen-ling. Design of University Dormitory Fire Emergency Drill System Based on VR technology[J]. Computer Products and Circulation, 2020(9): 283.

[12] 李俊英, 杜隨仙. 手術(shù)中大血管出血的預(yù)防和處理[J]. 菏澤醫(yī)專學(xué)報, 1998(4): 59.

LI Jun-ying, DU Sui-xian. Prevention and Treatment of Massive Hemorrhage in Operation[J]. Journal of Heze Medical College, 1998(4): 59.

[13] 金烈烈. 術(shù)中大出血病人的處理[C]. 杭州: 2005年浙江省麻醉學(xué)學(xué)術(shù)年會論文匯編, 2005.

JIN Lie-lie. Management of Patients With Massive Hemorrhage During Operation[C]. Hangzhou: Proceedings of Zhejiang Anesthesiology Academic Annual Conference in 2005, 2005.

[14] 余世政, 楊冕清, 李德狀, 等. 應(yīng)用于VR場景的力反饋外骨骼手套設(shè)計[J]. 機電信息, 2019(8): 43-45.

YU Shi-zheng, YANG Mian-qing, LI De-zhuang, et al. The Design of Force Feedback Exoskeleton Glove Applied in VR Scene[J]. Mechanical and Electrical Information, 2019(8): 43-45.

Design of Emergency Training System for Lower Limb Fracture Surgery Based on Virtual Reality Technology

CHEN You-zhi1, FAN Xiao-zhi2

(1. Politecnico di Milano, Milan 20158, Italy; 2. Beijing Technology and Business University, Beijing 100048, China)

According to the advantages and characteristics of virtual reality technology, take the sudden venous he-morrhage in the operation of lower limb fracture as an example, this paper discusses the innovative application of virtual reality technology in surgery emergency training. Firstly, based on the theory of virtual reality technology and its application status in the medical field, by analyzing the risk factors in orthopaedic surgery and the defects of traditional surgical simulation training in emergency training, proposing the necessity of applying virtual reality technology to the field of surgical emergency training. Then, using the methods of user interview and literature research to establish surgery related medical databases. Finally, the virtual surgery emergency training system is developed based on Unreal Engine 4 software, and designing innovative wearable interactive devices. The application of virtual reality technology in emergency training of lower limb fracture surgery is a new research direction. The system of surgery emergency training based on virtual reality technology can not only realize the traditional operation simulation training, but also realize the emergency response training in operation. It can improve the operation skills and emergency response ability of doctors in operation. It solves the problem that traditional surgical training is difficult to achieve emergency response training, and has the characteristics of simple operation, low cost and strong experience.

VR technology; emergency response; tactile feedback; surgery training; virtual reality; surgery of lower limb fracture

TB472

A

1001-3563(2022)02-0152-07

10.19554/j.cnki.1001-3563.2022.02.019

2021-10-24

陳友志（1996—），男，山東人，米蘭理工大學(xué)碩士生，主攻方向為產(chǎn)品設(shè)計及可持續(xù)設(shè)計。

范曉志（1971—），男，河北人，碩士，北京工商大學(xué)講師，主要研究方向為智能控制。