譚 珂，潘新華，高 原

中國人民解放軍總醫(yī)院教育技術(shù)中心，北京 100853

醫(yī)學虛擬仿真教學環(huán)境的構(gòu)建

譚 珂，潘新華，高 原

中國人民解放軍總醫(yī)院教育技術(shù)中心，北京 100853

分析了醫(yī)學虛擬仿真教學環(huán)境的特點，設(shè)計了一套醫(yī)學虛擬仿真教學環(huán)境的架構(gòu)，并對其環(huán)境架構(gòu)和系統(tǒng)功能模塊架構(gòu)進行了討論，同時結(jié)合臨床教學，介紹了兩個具體的應用實例。應用結(jié)果表明，該仿真教學環(huán)境具有安全無風險、高效率、學習體驗真實、應用前景廣闊等優(yōu)點。

醫(yī)學虛擬仿真;教學環(huán)境;沉浸感;架構(gòu)

學習作為一個體驗式的過程，需要通過學習者的親身體驗來完成學習過程中的各種實踐活動，并將獲得的經(jīng)驗轉(zhuǎn)化為他們的內(nèi)部知識［1］。通過體驗式學習可以調(diào)動學習者學習主動性，發(fā)揮其主體地位。為提升學習過程的體驗，獲得理想的學習效果，虛擬仿真教學環(huán)境應運而生。這里所說的虛擬仿真教學環(huán)境是指:利用三維圖形生成技術(shù)、多傳感交互技術(shù)以及高分辨顯示技術(shù)，生成逼真的三維虛擬環(huán)境［2］，學習者通過特殊的頭盔、數(shù)據(jù)手套、力反饋器等傳感設(shè)備，或利用空間定位器、三維鼠標等人機交互設(shè)備，沉浸于虛擬空間內(nèi)，成為虛擬環(huán)境的一員，采用實時交互的自然方式［3］，通過視覺、聽覺、觸覺甚至嗅覺等感知和操作虛擬世界中的各種學習對象，從而獲得身臨其境的學習體驗和感受。

醫(yī)學虛擬仿真教學環(huán)境是虛擬仿真技術(shù)和醫(yī)學教學訓練的高級、復雜結(jié)合，是信息化教學的高級應用［4］。隨著信息技術(shù)的飛速發(fā)展和軟硬件性價比的大幅提高，醫(yī)學虛擬仿真技術(shù)正逐漸從科研院所、實驗室走向?qū)嶋H教學應用。該文討論了醫(yī)學虛擬仿真教學環(huán)境的特點，提出了該仿真教學環(huán)境的系統(tǒng)性架構(gòu)，并針對具體的實例進行了分析和介紹，通過臨床教學實際應用，獲得了較好的教學效果。

1 醫(yī)學虛擬仿真教學環(huán)境的特點

醫(yī)學虛擬仿真技術(shù)構(gòu)建的數(shù)字化虛擬仿真教學環(huán)境是針對醫(yī)學數(shù)據(jù)建立的一體化環(huán)境，并通過專用的交互設(shè)備，實現(xiàn)對仿真人體器官在仿真手術(shù)器械作用下的各種變化的模擬和對學習操作人員的各種感官反饋的模擬，以獲得身臨其境的學習體驗。所構(gòu)建的醫(yī)學虛擬仿真教學環(huán)境可廣泛應用于醫(yī)學解剖教學、手術(shù)操作技能訓練、手術(shù)方案設(shè)計［5］、手術(shù)規(guī)劃教學和術(shù)后效果評估等方面。與其他領(lǐng)域虛擬仿真教學環(huán)境相比，其主要技術(shù)特征是:

1.1 建模來源于醫(yī)學影像數(shù)據(jù)

作為醫(yī)學虛擬仿真教學環(huán)境，其幾何模型的構(gòu)建來源于真實的人體醫(yī)學影像數(shù)據(jù)。CT、MRI、PET、超聲甚至人體冰凍切片數(shù)據(jù)，具有數(shù)據(jù)量大、個體化差異大、來源豐富等特點。例如:我國第一套數(shù)字化可視人體數(shù)據(jù)集全身共計有3 640個斷面，每個斷面的圖像分辨率為6 291 456(3 072×2 048)像素，整個數(shù)據(jù)集為131.04 GB。

1.2 逼真度要求高

衡量一個虛擬仿真環(huán)境的好壞，重要的一點就是逼真度。高逼真度的環(huán)境可為學習者提供身臨其境的沉浸感，需要在視、觸、聽覺等感知通道提供真實感的體驗。例如:利用人眼的視覺殘留效應，對虛擬場景的繪制刷新率一般不低于20幀/秒，這樣學習者看到的場景影像才是連續(xù)、不閃爍的。另外，對于環(huán)境中的各種幾何模型(如人體組織、手術(shù)器械)的紋理，可采用真實環(huán)境下實際拍攝的圖像進行處理。

1.3 人體幾何模型要求準確

醫(yī)學教育的目的是培養(yǎng)合格的醫(yī)務工作者，是為人提供疾病診治服務的。在仿真教學的過程中，各種學習和操作的對象均為人體組織器官的幾何模型，如構(gòu)建的各種臟器、神經(jīng)、血管等模型。所以，在對人體進行幾何建模時，在考慮個體差異的同時，需要精細、準確地表現(xiàn)人體的解剖結(jié)構(gòu)。

1.4 體現(xiàn)人體的生物物理特性

與其他領(lǐng)域的仿真不同，醫(yī)學虛擬仿真教學訓練時，人體模型多體現(xiàn)為軟組織的生物物理特性。例如:在探鉤的按壓下臟器會發(fā)生彈性形變;使用手術(shù)刀切割會發(fā)生組織的撕裂和流血;以及仿真治療的過程中，人體的血壓、脈搏等生理參數(shù)會實時發(fā)生變化。這些生物物理特性的仿真是目前學術(shù)界研究的熱點和難點。

1.5 觸覺反饋的精確性和實時性

由于交互對象為人體模型，所以需建立復雜的模擬彈性力學模型［6］。在虛擬仿真教學環(huán)境中，讓學習者用他的手或身體的其他能動部分去操作虛擬物體，并在操作的同時能夠感覺到虛擬物體的反作用。這種觸覺和力學反饋是一個復雜的、與視聽覺等其他刺激有關(guān)的過程，通常外科醫(yī)生用手術(shù)刀進行精密手術(shù)時，他需要一個至少三自由度的力量感知裝置，當手術(shù)刀自由運動時，操作者并沒有負擔的感覺，且可以感覺到手術(shù)刀在不同皮膚上操作產(chǎn)生的摩擦阻力和彈力的高頻力量成分。所以，要求觸覺模型的精確，且觸覺刷新率不低于500 Hz。

2 醫(yī)學虛擬仿真教學環(huán)境的架構(gòu)

2.1 環(huán)境架構(gòu)

醫(yī)學虛擬仿真教學環(huán)境的重要特征是把學習者作為環(huán)境的核心，把學習者與三維虛擬空間和世界的多感知實時交互作為環(huán)境存在的必要條件。其環(huán)境架構(gòu)主要包括視覺、觸覺與力學、聽覺、空間定位系統(tǒng)和開發(fā)實現(xiàn)與運行環(huán)境五大部分，其相互關(guān)系如圖1所示。

圖1 環(huán)境架構(gòu)圖

2.1.1 視覺系統(tǒng) 由于虛擬仿真環(huán)境主要表現(xiàn)為三維虛擬空間，依據(jù)人體感知信息途徑的權(quán)重，視覺通道感知是最基本、最重要的。對于開放式操作(如直視下肝切除手術(shù))的仿真還需要對生成好的三維場景進行立體顯示，通過專業(yè)顯示器、顯示頭盔(如V8)、立體眼鏡(如3D Vision)、三維投影儀或沉浸感強的CAVE系統(tǒng)等硬件設(shè)備進行展現(xiàn)。

2.1.2 觸覺和力學系統(tǒng) 觸覺通道解決學習者手上實時感知操作的彈力和摩擦力等體驗，常見的有筆式力反饋器、支持觸覺的數(shù)據(jù)手套以及針對具體應用專門設(shè)計的反饋設(shè)備，如PhanTom、Delta、5DT手套等反饋設(shè)備。由于醫(yī)學仿真操作時一般采用的是雙手，故教學環(huán)境應支持左右手雙通道的反饋計算。

2.1.3 聽覺系統(tǒng) 聽覺通道實時提供聲音反饋，如器械操作聲等。聽覺系統(tǒng)通常至少支持雙聲道的立體聲。在考慮學習者視覺、觸覺、聽覺等方面相互作用關(guān)系的同時，還要求幾個通道的反饋應保持同步、無延時。

2.1.4 空間定位系統(tǒng) 為依據(jù)學習者進行人機交互時的動作、位置和姿態(tài)使虛擬仿真環(huán)境顯示出相應的虛擬場景，需要空間定位系統(tǒng)能夠?qū)崟r地檢測出數(shù)據(jù)回路中人肢體的位置和指向［7］，該系統(tǒng)從學習者端獲取數(shù)據(jù)，包括頭部、手指、器械手柄等。目前主要有基于機電、電磁及光學的不同技術(shù)方式，如NDI、Fastrack 等設(shè)備。

2.1.5 開發(fā)實現(xiàn)與運行環(huán)境 虛擬仿真的實質(zhì)是在多維信息空間內(nèi)創(chuàng)建一個更適應于學習者體驗的信息處理環(huán)境，所處理的數(shù)據(jù)包括:虛擬幾何模型、觸覺信息、位置信息等。對這種處理過程最本質(zhì)的抽象就是把各種處理的客體都歸納為一種統(tǒng)一規(guī)范的“對象”，這種“面向?qū)ο蟆钡姆椒ㄒ簿统蔀殚_發(fā)實現(xiàn)虛擬仿真教學環(huán)境的基本方法?，F(xiàn)有的虛擬仿真開發(fā)實現(xiàn)系統(tǒng)，幾乎無一例外地遵循“面向?qū)ο蟆钡脑?，底層的開發(fā)工具通常是采用VC++語言、OpenGL圖形庫等，常用的商業(yè)化、集成化虛擬仿真環(huán)境開發(fā)軟件有:WTK、Vegas、Virtools、OpenGVS 等。

虛擬仿真環(huán)境是以圖形工作站為核心進行數(shù)學計算和系統(tǒng)運行的。隨著計算機技術(shù)的發(fā)展，從早期的SGI的Onyx高端工作站集群到Wildcat系列，再到Nvidia的Quadro系列等通用工作站，其硬件成本大幅下降，從動輒上百萬的投入降低到了十萬以內(nèi)，其核心性能指標是每秒多邊形的處理數(shù)量、像素填充率、GPU性能、邊緣抗混迭能力、圖像紋理深度等。

2.2 系統(tǒng)功能模塊架構(gòu)

在醫(yī)學虛擬仿真教學環(huán)境架構(gòu)的基礎(chǔ)上，需要設(shè)計整個系統(tǒng)功能模塊架構(gòu)，通過各模塊實現(xiàn)數(shù)據(jù)信息傳遞和各軟件算法。我們設(shè)計的功能模塊架構(gòu)主要由視覺場景繪制、觸覺力反饋計算與生成、聽覺計算與生成、交互控制與空間定位、碰撞檢測、形變和切割計算、特效計算以及教學評判等模塊組成(如圖2所示)。

圖2 系統(tǒng)功能模塊架構(gòu)

2.2.1 視覺場景繪制 虛擬視覺場景是由人體組織器官幾何模型、手術(shù)器械模型以及操作場景模型組成。其中，人體組織器官模型核心［8］是通過對醫(yī)學圖像進行配準、分割、三維重建完成的。常用的醫(yī)學三維重建軟件有3D Doctor、Mimics、TGS等，完成的各種模型存儲在模型庫中，根據(jù)場景需要進行調(diào)度，并從紋理庫提取相應的紋理數(shù)據(jù)，通過模型繪制、紋理繪制和特效繪制完成虛擬視覺場景的繪制，最后經(jīng)視覺顯示系統(tǒng)反饋給操作者。

2.2.2 觸覺力反饋計算與生成 觸覺力反饋計算模塊主要計算交互過程中的虛擬彈力和摩擦力。彈力是虛擬器械作用在組織模型表面讓學習者感知的反作用力，摩擦力是對組織模型表面摩擦和觸覺紋理的模擬。這些力學計算結(jié)果經(jīng)合并疊加后傳遞給交互控制模塊，再由力反饋設(shè)備輸出，常見的計算模型有彈簧-阻尼器模型等。

2.2.3 聽覺計算與生成 聽覺計算與生成模塊用來計算和生成虛擬場景的立體聲。它針對每一個觸發(fā)事件調(diào)用聲音庫中的數(shù)據(jù)，從而完成和實現(xiàn)聽覺信息的生成，再傳遞到聽覺系統(tǒng)進行輸出展現(xiàn)。常用的聲音包括:器械操作聲、麻醉機等設(shè)備聲、病人的反饋聲等。

2.2.4 交互控制與空間定位 交互控制模塊主要完成對操作者動作姿態(tài)的獲取和空間定位，對定位精度和實時性的要求較高。作為人機交互接口的重要部分，還需要對學習者的雙手操作進程進行調(diào)度，并對計算完的力學數(shù)據(jù)進行反饋輸出。同時，定位信息也將傳遞到碰撞檢測計算模塊，為其提供計算依據(jù)。

2.2.5 形變與切割計算 形變和切割計算模塊是依據(jù)物理模型屬性，計算人體模型在虛擬器械的作用下發(fā)生的彈性形變、切割等拓撲改變，并把結(jié)果傳遞到視覺場景繪制模塊中。該模塊需要滿足計算的實時性、健壯性和精確性，常用的計算模型有:彈簧振子模型、有限元模型和混合計算模型。

2.2.6 碰撞檢測計算 碰撞檢測是形變和力反饋計算的基礎(chǔ)，同時也是軟組織切割模擬的先決條件［7，9］。主要包括虛擬手術(shù)器械與人體組織模型之間的碰撞檢測及幾種虛擬器械之間的碰撞檢測。其算法的穩(wěn)定性和精確性將會對后續(xù)處理乃至整個虛擬仿真環(huán)境的性能產(chǎn)生巨大影響，常用的算法有:空間分解法和層次包圍盒方法等。

2.2.7 特效計算 為滿足虛擬環(huán)境的真實性，其特殊的視覺特效計算是必不可少的，特效模塊主要用來計算虛擬場景中組織器官的紋理高光、血液流動和擴散、氣泡、煙霧等視覺特效。常采用透明通道繪制、流體力學模型、粒子系統(tǒng)模型等方法計算實現(xiàn)。

2.2.8 教學評判 為滿足教學實際需要，虛擬環(huán)境應具有良好的擴展性，設(shè)計教學回饋功能，用于檢查和回顧演練虛擬操作的過程。還應包含教學評判，用于對學習者操作演練過程進行綜合評判，評判規(guī)則和內(nèi)容可預先設(shè)定或從外部專家數(shù)據(jù)庫中導入。

3 應用實例

3.1 虛擬膝關(guān)節(jié)鏡手術(shù)仿真訓練系統(tǒng)

依托國家自然科學基金和科技部863計劃課題，針對膝關(guān)節(jié)鏡手術(shù)的臨床教學需求，應用醫(yī)學虛擬仿真教學環(huán)境架構(gòu)，我們開發(fā)完成了一套虛擬膝關(guān)節(jié)鏡手術(shù)仿真訓練系統(tǒng)［9］。包含一臺Quadro FX 3400小型圖形工作站、兩臺PhanTom Desktop力反饋交互設(shè)備、一個液晶顯示器、一對立體聲音箱、一套仿真器械接口。虛擬仿真程序在Visual C++6.0環(huán)境下開發(fā)，圖形顯示使用OpenGL類庫，觸覺仿真進程采用GHOST SDK接口開發(fā)。由于是仿真腔鏡下的手術(shù)場景，采用了平面方式向用戶顯示虛擬場景和軟件用戶界面，兩臺力反饋設(shè)備提供左右手的操作力學通道并與圖形工作站相連。交互設(shè)備的端點設(shè)計了仿真器械接口由用戶操縱，用來模擬膝關(guān)節(jié)鏡以及其他手術(shù)器械，它們將用戶操作的位置和姿態(tài)信息傳送給工作站，并且將工作站對操作進行仿真計算得到的力反饋給用戶。這些觸覺信息結(jié)合工作站的顯示器提供的視覺、聽覺信息使得用戶產(chǎn)生一種正在進行真實手術(shù)的沉浸感(如圖3所示)。該系統(tǒng)在國家執(zhí)業(yè)醫(yī)師協(xié)會培訓基地用于培訓關(guān)節(jié)鏡醫(yī)師，取得了良好的教學效果。

圖3 應用“虛擬膝關(guān)節(jié)鏡手術(shù)仿真訓練系統(tǒng)”培訓執(zhí)業(yè)醫(yī)師

3.2 肝臟手術(shù)虛擬仿真教學系統(tǒng)

圖4 “肝臟手術(shù)虛擬仿真教學系統(tǒng)”環(huán)境結(jié)構(gòu)

依托總部訓練模擬器材研發(fā)項目，我們初步開發(fā)完成了一套肝臟手術(shù)虛擬仿真教學系統(tǒng)，包含:一臺DELL T7500圖形工作站(配置Quadro FX 3700圖形卡)、兩臺PhanTom Omni力反饋交互設(shè)備、一個120 Hz的液晶顯示器、一套3D Vision立體顯示系統(tǒng)、一對立體音箱(如圖4所示)。由于肝臟手術(shù)不同于腔鏡手術(shù)，是開放式操作，學習者需觀看直視下立體影像，且肝臟解剖結(jié)構(gòu)復雜，要求仿真訓練時顯示的虛擬場景立體感強、亮度高、實時性好，因此我們采用了基于OpenGL和3D Vision SDK的立體顯示方案［10］，并基于OpenHaptic軟件環(huán)境開發(fā)實現(xiàn)觸覺仿真，其中空間定位系統(tǒng)集成于力反饋設(shè)備手柄中。通過該虛擬仿真教學環(huán)境，能較好地展現(xiàn)出肝組織以及肝內(nèi)管道之間的空間毗鄰關(guān)系，有效地提高了虛擬場景的沉浸感。

4 結(jié)論與展望

依據(jù)醫(yī)學教學的需求，我們設(shè)計了醫(yī)學虛擬仿真教學環(huán)境，并針對臨床實際手術(shù)訓練，開發(fā)完成了仿真應用系統(tǒng)，通過逼真、實時的視覺、觸覺和立體聲聽覺反饋，構(gòu)建了以學習者為核心的、模型準確、集成效率高、穩(wěn)定可靠的數(shù)字化虛擬環(huán)境，為學習者提供了身臨其境的感知體驗。通過在臨床手術(shù)仿真、操作技能培訓、模擬演練和解剖教學等方面進行教學應用，結(jié)果表明:醫(yī)學虛擬仿真教學環(huán)境具有教學訓練過程安全無風險、高效率、學習體驗真實、教學過程可調(diào)控以及知識庫多樣性等優(yōu)點，對促進醫(yī)學教育與訓練模式的改革，提高訓練效率和質(zhì)量有著重要意義，在醫(yī)學教育領(lǐng)域具有廣闊的應用前景。

［1］楊嘉玲.基于體驗式學習的虛擬教學環(huán)境構(gòu)建［J］.廣州廣播電視大學學報，2011，11(3):10-14

［2］周全義，趙龍.面向應急系統(tǒng)的城市虛擬環(huán)境構(gòu)建方法研究［J］.計算機與現(xiàn)代化，2011，15(5):168-171

［3］段新昱，朱杰杰，姜品.多媒體虛擬教學環(huán)境中的實時交互方法［J］.系統(tǒng)仿真學報，2004，16(9):1992-1998

［4］Bao CB，Wang BL.A Open Source Based General Framework for Virtual Surgery Simulation［C］.2008 International Conference on BioMedical Engineering and Informatics，2008:575-579

［5］Fuchs J，Warmann SW，Sieverding L.Impact of virtual imaging procedures on treatment strategies in children with hepatic vascular malformations［J］.J Pedia Gastroenterol and Nutr，2010，50(1):67-73

［6］Sieber A，Valdastri P，Houston K.A novel haptic platform for real time bilateral biomanipulation with a MEMS sensor for triaxial force feedback［J］.Sens and Actuat A 142，2008:19-27

［7］高明向，符丁，陳定方.虛擬環(huán)境及其行為建模技術(shù)研究［J］.湖北工業(yè)大學學報，2008，23(2):13-15

［8］黃穎，許梅萍，陳潔，等.斜視與眼球運動仿真教學軟件的研發(fā)［J］.中國醫(yī)學教育技術(shù)，2011，25(1):33-35

［9］譚珂，郭光友，潘新華.一種膝關(guān)節(jié)鏡手術(shù)仿真系統(tǒng)［J］.系統(tǒng)仿真學報，2007，19(20):4649-4653

［10］譚珂，潘新華，蔡守旺，等.三維立體顯示技術(shù)在肝臟手術(shù)仿真訓練系統(tǒng)中的應用［J］.中國醫(yī)學教育技術(shù)，2011，25(5):522-525

Construction of the medical virtual simulation training environment

Tan Ke，Pan Xinhua，Gao Yuan
Educational Technology Center，the Chinese PLA General Hospital，Beijing 100853，China

This paper analyzes the characteristics of the medical virtual simulation training environment and designs a framework of the training environment.Then it discusses the framework of the environment and system function modules，and introduces two application cases by relating to clinical teaching.Educational application shows that this simulation training environment enhances the advantages of risk-free security，great efficiency，genuine learning experience and wide application prospect.

medical virtual simulation;training environment;sense of immersion;framework

G434

A

1004-5287(2012)05-0535-04

2012-05-23

譚珂(1973-)，男(蒙古族)，長沙人，高級工程師，碩士，主要研究方向:醫(yī)學虛擬現(xiàn)實、計算機網(wǎng)絡、多媒體技術(shù)。