焦培峰，張美超，李本富

(1.南方醫(yī)科大學(xué)基礎(chǔ)醫(yī)學(xué)院人體解剖學(xué)教研室生物力學(xué)實(shí)驗(yàn)室,廣東 廣州 510515；2.南方醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院，廣東 廣州 510515)

基于Virtools虛擬現(xiàn)實(shí)技術(shù)的三維解剖圖譜開發(fā)*

焦培峰1，張美超1，李本富2

(1.南方醫(yī)科大學(xué)基礎(chǔ)醫(yī)學(xué)院人體解剖學(xué)教研室生物力學(xué)實(shí)驗(yàn)室,廣東 廣州 510515；2.南方醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院，廣東 廣州 510515)

解剖圖譜在醫(yī)學(xué)教育中一直占據(jù)非常重要的地位，然而傳統(tǒng)圖譜空間信息不足，現(xiàn)有電子圖譜圖像失真且交互性差。運(yùn)用虛擬現(xiàn)實(shí)技術(shù)開發(fā)交互性強(qiáng)的三維人體解剖學(xué)圖譜，首先利用CT設(shè)備掃描的真實(shí)人體斷層數(shù)據(jù)進(jìn)行三維重建，獲得結(jié)構(gòu)完整的人體局部解剖三維模型；然后基于解剖學(xué)知識(shí)區(qū)分不同結(jié)構(gòu)并利用3DSMAX建立骨骼、血管等獨(dú)立模型并設(shè)置貼圖，再導(dǎo)入Virtools中，配以文字、圖片等多媒體材料，設(shè)置豐富的人機(jī)交互手段；最后打包生成可在Windows下直接使用的三維圖譜軟件。將支持游戲開發(fā)的三維引擎用于人體解剖圖譜的制作中，強(qiáng)調(diào)其交互的豐富性，同時(shí)具有真實(shí)感強(qiáng)、開發(fā)周期短等優(yōu)點(diǎn)，圖譜軟件有利于課堂施教和學(xué)生自學(xué)。

Virtools；虛擬現(xiàn)實(shí)；圖譜；真實(shí)感；互動(dòng)

1 引言

人體解剖學(xué)是現(xiàn)代醫(yī)學(xué)教育中最重要的基礎(chǔ)課程之一。多年來(lái)，解剖學(xué)圖譜都是臨床診斷、醫(yī)學(xué)教育和科學(xué)研究中不可或缺的輔助工具。傳統(tǒng)的解剖圖譜以紙為載體，只能顯示人體結(jié)構(gòu)的表面或投影等二維信息，因此往往以多幅圖片來(lái)展示不同角度及層次結(jié)構(gòu)，實(shí)際使用效果差強(qiáng)人意。近年來(lái)隨著辦公自動(dòng)化的普及，多媒體成為教學(xué)中的新寵，然而最重要的形態(tài)表現(xiàn)仍以圖片為主，為數(shù)不多的三維圖譜也未被廣泛接受。毋庸置疑，三維電子圖譜擁有傳統(tǒng)圖譜無(wú)可比擬的優(yōu)勢(shì)，其未獲推廣普及的原因主要有以下兩點(diǎn)：第一，三維圖譜的逼真度不夠，目前大多數(shù)三維圖譜都是利用三維模型來(lái)展示局部結(jié)構(gòu)，三維模型的構(gòu)建及渲染貼圖都存在不夠逼真的問題，使用者觀看時(shí)會(huì)覺得不真實(shí)或不夠?qū)I(yè)，尤其如果與真實(shí)標(biāo)本圖像進(jìn)行比較，這種感覺會(huì)更加強(qiáng)烈；第二，目前多數(shù)三維圖譜的交互性功能設(shè)置較差，不能滿足使用者的要求，更無(wú)法激發(fā)其求知興趣。目前，國(guó)內(nèi)外有很多的免費(fèi)工具可以讀取臨床影像數(shù)據(jù)，甚至進(jìn)行快速的三維重建，但其重建過程都是純粹的圖像處理，沒有包含解剖學(xué)知識(shí)在內(nèi)，重建后的圖形是否正確以及是否適合觀察等問題也沒有解決。此外，交互手段的單一也使得這類軟件不易用于學(xué)習(xí)。

虛擬現(xiàn)實(shí)技術(shù)VR(Virtual Reality)是以浸沒感、交互性和構(gòu)想性為主要特征的計(jì)算機(jī)高級(jí)人機(jī)界面[1]。它利用計(jì)算機(jī)生成逼真的三維視覺，輔以聽覺和嗅覺等，通過適當(dāng)裝置使人與虛擬世界進(jìn)行主動(dòng)體驗(yàn)。該技術(shù)集成了計(jì)算機(jī)圖形技術(shù)、仿真技術(shù)、人工智能、傳感技術(shù)以及網(wǎng)絡(luò)處理技術(shù)等，是一種由計(jì)算機(jī)技術(shù)輔助生成的模擬系統(tǒng)[2,3]。虛擬現(xiàn)實(shí)技術(shù)已經(jīng)在諸多領(lǐng)域獲得廣泛應(yīng)用，尤其以電腦游戲領(lǐng)域?yàn)樽?，甚至年輕人中出現(xiàn)了沉迷于網(wǎng)絡(luò)游戲等不良習(xí)慣，可見虛擬現(xiàn)實(shí)技術(shù)的強(qiáng)大吸引力。如果能夠?qū)?yīng)用于開發(fā)電腦游戲的技術(shù)應(yīng)用于制作教學(xué)輔助工具，勢(shì)必會(huì)產(chǎn)生出更具吸引力的教學(xué)軟件，甚至可能帶來(lái)教學(xué)方法的變革[4]。

有鑒于此，本文利用醫(yī)用CT設(shè)備對(duì)真實(shí)人體標(biāo)本的掃描來(lái)獲取數(shù)據(jù)，以專業(yè)醫(yī)學(xué)建模軟件建立局部三維模型，參考傳統(tǒng)圖譜及實(shí)物照片區(qū)分人體內(nèi)不同結(jié)構(gòu)，在3DSMAX中進(jìn)行貼圖設(shè)置和修整，最后在Virtools中添加豐富的交互手段，制作出的三維解剖圖譜真實(shí)感強(qiáng)、互動(dòng)功能豐富，試用者反映效果頗佳。

2 系統(tǒng)總體設(shè)計(jì)

2.1 工具簡(jiǎn)介

Mimics10.01是以醫(yī)學(xué)圖像為處理對(duì)象的三維圖像生成及編輯軟件，它能直接導(dǎo)入各種成像設(shè)備(如CT及MRI等)獲取的標(biāo)準(zhǔn)DICOM格式數(shù)據(jù)，建立三維模型并進(jìn)行編輯，還可輸出通用的物理模型、有限元模型等，并可在PC機(jī)上進(jìn)行大規(guī)模數(shù)據(jù)轉(zhuǎn)換處理。

Virtools是三維引擎支持下的虛擬現(xiàn)實(shí)編輯軟件，它可將二維圖像、三維模型以及視頻音頻等元素進(jìn)行整合，生成具有豐富交互功能的虛擬現(xiàn)實(shí)作品。此外，開發(fā)者還可應(yīng)用VSL自己編制行為模塊，與軟件自帶的500多種行為模塊一起對(duì)虛擬現(xiàn)實(shí)進(jìn)行更深入的開發(fā)[5～8]。Virtools多用于三維游戲開發(fā)中，其豐富的交互手段是開發(fā)三維圖譜最大優(yōu)勢(shì)所在，也是本文的核心內(nèi)容。

2.2 設(shè)計(jì)思路

以真實(shí)人體數(shù)據(jù)為基礎(chǔ)建立人體局部結(jié)構(gòu)三維模型，在3DSMAX中進(jìn)行貼圖加工，以獲得更加逼真的顯示效果，最后導(dǎo)入Virtools中進(jìn)行交互功能設(shè)置?？傮w設(shè)計(jì)思路如圖1所示。

Figure 1 Design of whole system圖1 總體設(shè)計(jì)思路

3 系統(tǒng)實(shí)現(xiàn)方法

3.1 建模與貼圖

本文以真實(shí)人體數(shù)據(jù)重建人體三維模型，具體方法為：取形態(tài)較好的人體標(biāo)本作為建模對(duì)象，對(duì)其進(jìn)行掃描前的處理，包括標(biāo)本的消毒清洗、整體修飾、血管造影灌注等步驟。考慮到標(biāo)本顯影的問題，血管灌注材料中添加了少量造影劑，目的是掃描后的圖像中血管斷面清晰，又比骨骼斷面亮度弱，容易區(qū)分。所有標(biāo)本都用CT設(shè)備獲取斷層圖像序列，層厚均為1 mm，獲得圖像大小512×512像素，以標(biāo)準(zhǔn)文件格式DICOM輸出。三維建模軟件為Mimics 10.01，主要步驟包括：(1)將序列文件導(dǎo)入軟件中，首先以灰度閾值法初步提取骨骼及血管斷面圖像；然后根據(jù)斷層解剖學(xué)知識(shí)區(qū)分其他如肌肉等結(jié)構(gòu)，并利用圖像處理算子及人工干預(yù)進(jìn)行斷面數(shù)據(jù)修飾；最后分別構(gòu)建出骨骼、動(dòng)脈、靜脈、神經(jīng)、肌肉以及皮膚組織的三維模型，導(dǎo)出存儲(chǔ)為obj格式。(2)在3DSMAX 2010中導(dǎo)入模型文件，對(duì)所有模型進(jìn)行進(jìn)一步的修飾，包括去噪點(diǎn)以及適度平滑等處理，結(jié)合圖譜及實(shí)物照片生成模型貼圖，給模型著色或貼圖，以獲得更好的顯示效果[9,10]。

3.2 Virtools交互設(shè)計(jì)與實(shí)現(xiàn)

以三維模型和對(duì)應(yīng)名詞為導(dǎo)航入口，通過鼠標(biāo)和鍵盤的配合完成各種交互功能，根據(jù)不同需求顯示內(nèi)置文本、圖片及音頻視頻等多媒體信息，并在界面上添加用戶自定義功能，如利用百度進(jìn)行內(nèi)容搜索等。交互設(shè)計(jì)思路如圖2所示。

Figure 3 Set for dynamic connecting line圖3 動(dòng)態(tài)連線的實(shí)現(xiàn)

Figure 4 Set for rotate function圖4 旋轉(zhuǎn)功能的實(shí)現(xiàn)

Figure 5 Set for transparent adjusting圖5 透明度調(diào)節(jié)的實(shí)現(xiàn)

Figure 2 Design for interactive function圖2 交互功能設(shè)計(jì)

根據(jù)教學(xué)中的體會(huì)，傳統(tǒng)圖譜中結(jié)構(gòu)—線條—名稱的形式最易被接受，因此本文也采用這種形式來(lái)指示局部結(jié)構(gòu)。交互狀態(tài)下模型會(huì)有不同位置及姿態(tài)的變動(dòng)，要求指示結(jié)構(gòu)的連線也隨時(shí)跟蹤，因此連線實(shí)際為動(dòng)態(tài)顯示，通過設(shè)置實(shí)時(shí)渲染的控制點(diǎn)連線實(shí)現(xiàn)此功能，其設(shè)置如圖3所示。

本文使用鼠標(biāo)和鍵盤響應(yīng)作為觸發(fā)器，通過加載對(duì)應(yīng)行為互動(dòng)模組來(lái)實(shí)現(xiàn)縮放、拖曳及旋轉(zhuǎn)等操作，最終可以使用鼠標(biāo)左鍵和不同的按鍵組合控制模型，其設(shè)置如圖4所示。

設(shè)置模型的著色及可調(diào)節(jié)的透明度來(lái)實(shí)現(xiàn)局部模型不同層次結(jié)構(gòu)的顯示，實(shí)現(xiàn)方法是構(gòu)建滑動(dòng)控制條，其滑動(dòng)數(shù)值與透明度顯示相關(guān)聯(lián)，設(shè)置方法如圖5所示。

本文還吸收了多媒體課件的優(yōu)點(diǎn)，將雙語(yǔ)文字說明、實(shí)物圖像、斷層圖像以及視頻音頻等多媒體因素也加入到圖譜中，并且根據(jù)模型所處的互動(dòng)狀態(tài)來(lái)顯示相應(yīng)的多媒體信息。此外考慮到用戶可能的使用要求，設(shè)置了如對(duì)結(jié)構(gòu)名稱添加不同顏色以示區(qū)別、允許用戶添加書簽和備注、提供在百度內(nèi)搜索相關(guān)內(nèi)容等便捷功能，其實(shí)現(xiàn)方法都較為簡(jiǎn)單。

3.3 系統(tǒng)的發(fā)布及使用

Virtools軟件本身并沒有打包發(fā)布的模塊，其作品常常需要特定的播放器才能使用，本文利用VC與Virtools的接口，將作品打包生成可在Windows下獨(dú)立運(yùn)行的可執(zhí)行文件，擺脫了特定播放器的限制。

發(fā)布的三維圖譜軟件使用非常簡(jiǎn)單，以鼠標(biāo)及按鍵組合來(lái)控制拖曳、旋轉(zhuǎn)及縮放等功能，拉動(dòng)滑動(dòng)控制條的滑塊可控制透明度及選擇著色效果，其他多媒體的顯示及切換僅需鼠標(biāo)點(diǎn)選鏈接入口和關(guān)閉即可。圖6顯示獨(dú)立寰椎的三維圖譜與傳統(tǒng)圖譜的對(duì)比(參考圖譜來(lái)自暨南大學(xué)網(wǎng)絡(luò)課程)，圖7顯示人手局部結(jié)構(gòu)的互動(dòng)效果。

4 結(jié)束語(yǔ)

虛擬現(xiàn)實(shí)技術(shù)是計(jì)算機(jī)領(lǐng)域極具發(fā)展?jié)摿Φ男?/p>

技術(shù)，在一些醫(yī)療及教學(xué)科研設(shè)備中已經(jīng)展示出其獨(dú)特的優(yōu)勢(shì)。本文介紹的基于Virtools的三維人體解剖圖譜注重模型的逼真感和圖譜的互動(dòng)效果，給使用者帶來(lái)了更好的體驗(yàn)。由于本文仍以拉線式圖譜為主要表現(xiàn)形式，因此很多交互功能都沒有添加，將在下一步開發(fā)人體結(jié)構(gòu)漫游系統(tǒng)中加以應(yīng)用。

[1] Fu Zhao-guo,Wang Tian-wei, Ni Xiao-peng, et al. The virtual reality technology and its application in special equiment education based on Virtools[J].Computer Engineering & Science,2012,34(6):97-100.(in Chinese)

Figure 6 Comparison of the 3D atlas and traditional atlas (left:3D atlas, right:traditional atlas)圖6 三維圖譜顯示與傳統(tǒng)圖譜對(duì)比(左為三維圖譜，右為傳統(tǒng)圖譜)

Figure 7 Anatomy interactive interface of the hand圖7 手局部解剖交互界面

[2] Luo Jian-qin, Sun Ming, Sun Li-jun. Interactive animation:Virtools & 3ds Max virtual technology [M].Beijing:Science Technology Press, 2010. (in Chinese)

[3] Wang Li-qun,Li Hong-song.Computer games design:A concise course for Virools[M].Shanghai:Fudan University Press,2008. (in Chinese)

[4] Wu Jing,He Qiang.Designing teaching software based on Virtools[J]. Microcomputer Information, 2010,26(6):199-201.(in Chinese)

[5] Luo Hong, Wang Shi-yong. Virtual teaching system designing and realizing based on Virtools[J]. Modern Educational Technology,2007(10):57-60. (in Chinese)

[6] Zhang Jian-li, Zhu Yong-mei. Research on interactive virtual presentation technology based on Virtools[J]. Modern Manufacturing Engineering,2010(5):36-39. (in Chinese)

[7] Liu Jing-yan, Huai Yong-jian, Shuai Li. The design and implementation of interactive costume exhibition system based on Virtools[J]. Microcomputer Information, 2010,26(1)：195-197. (in Chinese)

[8] Li Chang-guo, Zhu Fu-quan, Tan Liang. Research on development approches of virtual experiment based on 3D and Virtools technologies [J].Computer Engineering and Applications, 2006,42(31):84-86.(in Chinese)

[9] Fan Xiao-liang, Li Yu-zhen, Mao Xing-fei.Research on virual fixture assembly system based on 3DSMAX and Virtools[J].Machinery Design & Manufacture, 2010(8):237-239. (in Chinese)

[10] Hu Liang, Wang Lan-mei, Song Hong-peng, et al. SolidWorks、3DSMax combined with Virtools for virtual reality[J].Journal of Shandong University of Technology(Natural Science Edition), 2010,24(3):103-106. (in Chinese)

附中文參考文獻(xiàn)：

[1] 傅招國(guó),王天威,倪小鵬,等.基于Virtools的虛擬現(xiàn)實(shí)技術(shù)及在特種教學(xué)設(shè)備中的應(yīng)用[J].計(jì)算機(jī)工程與科學(xué)，2012,34(6):97-100.

[2] 羅建勤,孫明,孫立軍. 交互式漫游動(dòng)畫:Virtools +3ds Max 虛擬技術(shù)整合[M] . 北京:中國(guó)科學(xué)技術(shù)出版社, 2010.

[3] 王立群,李紅松.電腦游戲策劃與設(shè)計(jì):Virtools 簡(jiǎn)明教程[ M].上海:復(fù)旦大學(xué)出版社, 2008.

[4] 吳靜,何強(qiáng).基于Virtools 的教學(xué)軟件設(shè)計(jì)與實(shí)現(xiàn)[J].微計(jì)算機(jī)信息,2010,26(6):199-201.

[5] 羅虹,王士勇.基于Virtools技術(shù)的虛擬教學(xué)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代教育技術(shù),2007(10):57-60.

[6] 張劍利,朱永梅.以Virtools為基的交互式產(chǎn)品虛擬展示技術(shù)研究[J].現(xiàn)代制造工程,2010(5):36-39.

[7] 劉鶄燕,淮永建,帥立.交互式虛擬服裝展示系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].微計(jì)算機(jī)信息,2010,26(1)：195-197.

[8] 李昌國(guó),朱福全,譚良.基于3D和Virtools技術(shù)的虛擬實(shí)驗(yàn)開發(fā)方法研究[J].計(jì)算機(jī)工程與應(yīng)用,2006,42(31):84-86.

[9] 范孝良,李玉珍,茅興飛.基于3DSMAX和Virtools技術(shù)的夾具虛擬裝配系統(tǒng)研究[J].機(jī)械設(shè)計(jì)與制造,2010(8):237-239.

[10] 胡亮,王蘭美,宋宏鵬,等.SolidWorks、3DSMax結(jié)合Virtools實(shí)現(xiàn)虛擬現(xiàn)實(shí)應(yīng)用研究[J].山東理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2010,24(3):103-106.

JIAOPei-feng,born in 1977,PhD candidate,lecturer,his research interest includes medical biomechanics.

張美超(1974 -),男，湖北蘄春人，博士，副教授，研究方向?yàn)獒t(yī)學(xué)生物力學(xué)及有限元仿真。E-mail:zmc@fimmu.com

ZHANGMei-chao,born in 1974,PhD,associate professor,his research interests include medical biomechanics and finite element simulation.

Developmentof3DanatomyatlaswiththevirtualrealitytechnologybasedonVirtools

JIAO Pei-feng1，ZHANG Mei-chao1,Li Ben-fu2

(1.Biomechanics Laboratory,Department of Human Anatomy,Basic Medical School,Southern Medical University,Guangzhou 510515;2.School of Biomedical Engineering,Southern Medical University,Guangzhou 510515,China)

The anatomy atlas plays an important role in the medical education, but the traditional atlas cannot provide enough 3D information, and the existing electronic atlases have poor visions and interactions. A 3D human anatomy atlas focusing on interaction is developed with the virtual reality technology. Firstly, the 3D regional models are reconstructed with the CT scanning data from the real human specimen. Secondly, the different structures such as bones and vessels are distinguished and mapped with textures in 3DSMAX, and then interactions are set with other materials such as texts and pictures in Virtools. Finally, a 3D atlas is published as an independent software that can be executed in Windows OS. The 3D game engine is used to do the atlas so that rich interactions are available. The atlas owns strong realistic visions but a short development period, and will be beneficial for teaching or self-learning.

Virtools；virtual reality；atlas；realistic；interaction

1007-130X(2014)08-1555-05

2012-08-21;

：2013-02-25

國(guó)家863計(jì)劃資助項(xiàng)目(2012AA02A603)；國(guó)家自然科學(xué)基金資助項(xiàng)目(31200708)

：張美超(zmc@fimmu.com)

TP391.4

：A

10.3969/j.issn.1007-130X.2014.08.023

焦培峰(1977-),男，山西太原人，博士生，講師，研究方向?yàn)獒t(yī)學(xué)生物力學(xué)。E-mail:jiaopeifeng@126.com

通信地址：510515 廣東省廣州市南方醫(yī)科大學(xué)基礎(chǔ)醫(yī)學(xué)院

Address:Basic Medical School,Southern Medical University,Guangzhou 510515,Guangdong,P.R.China.