肖 揚(yáng) 馮 煊

(南京軍區(qū)福州總醫(yī)院 福州 350025) (解放軍理工大學(xué) 南京 210007)

?

虛擬現(xiàn)實(shí)醫(yī)學(xué)多媒體課件制作技術(shù)

肖 揚(yáng) 馮 煊

(南京軍區(qū)福州總醫(yī)院 福州 350025) (解放軍理工大學(xué) 南京 210007)

采用三維虛擬現(xiàn)實(shí)技術(shù)，以Director為操作平臺(tái)，在醫(yī)學(xué)多媒體課件中構(gòu)建立體的教學(xué)空間，介紹其技術(shù)路線，從虛擬現(xiàn)實(shí)三維場(chǎng)景構(gòu)建、醫(yī)學(xué)場(chǎng)景集成及漫游兩方面闡述課件制作的關(guān)鍵技術(shù)。結(jié)果表明三維醫(yī)學(xué)多媒體課件具有更強(qiáng)的表現(xiàn)力和視覺(jué)沖擊力，且運(yùn)行安全穩(wěn)定。

虛擬現(xiàn)實(shí);醫(yī)學(xué)多媒體課件;Director

1 引言

在信息技術(shù)高速發(fā)展的今天，多媒體課件已融入各行各業(yè)，廣泛應(yīng)用于會(huì)議、培訓(xùn)、教學(xué)等場(chǎng)合，成為表達(dá)宣講者思想最重要的工具之一[1-2]。然而，由于各個(gè)行業(yè)間多媒體課件的思路、結(jié)構(gòu)及具體的技巧有較大的差別，因此需要根據(jù)專業(yè)特點(diǎn)進(jìn)行多媒體課件的制作[3]。醫(yī)學(xué)作為一門專業(yè)性很強(qiáng)的學(xué)科，其多媒體課件涉及內(nèi)容繁多，概念抽象，表述準(zhǔn)確性要求高，制作難度大[4]。如何制作符合醫(yī)學(xué)特點(diǎn)的高品質(zhì)多媒體課件，將大量枯燥抽象的理論轉(zhuǎn)化為精準(zhǔn)的多媒體表達(dá)，將臨床專家的想法精妙地進(jìn)行展現(xiàn)且富有視覺(jué)沖擊力和感染力，達(dá)到令人震撼的演示效果，是有待于解決的問(wèn)題[5-7]。同時(shí)，傳統(tǒng)的多媒體課件主要以二維平面為主，其在表現(xiàn)力、交互性及3D效果支持上已經(jīng)難以滿足高質(zhì)量醫(yī)學(xué)多媒體演示的需求，迫切需要以演示生動(dòng)、交互自由、效果逼真的三維多媒體課件。本文采用三維虛擬現(xiàn)實(shí)技術(shù)，以Director為操作平臺(tái)，在醫(yī)學(xué)多媒體課件中構(gòu)建一個(gè)立體的教學(xué)空間，增強(qiáng)演講者與課件的交互，彌補(bǔ)二維多媒體課件的不足，多角度、全方位地呈現(xiàn)醫(yī)療內(nèi)容，實(shí)現(xiàn)三維立體醫(yī)學(xué)多媒體課件的制作。

2 技術(shù)路線

虛擬現(xiàn)實(shí)(Virtual Reality)是指利用計(jì)算機(jī)模擬出一個(gè)虛擬的三維空間世界，讓用戶能身臨其境地以與現(xiàn)實(shí)中一樣的視角去觀察三維空間內(nèi)的事物[8]。采用虛擬現(xiàn)實(shí)技術(shù)進(jìn)行醫(yī)學(xué)多媒體課件制作，核心是通過(guò)對(duì)醫(yī)學(xué)對(duì)象的三維建模，構(gòu)建三維虛擬醫(yī)學(xué)場(chǎng)景，在進(jìn)行三維醫(yī)學(xué)場(chǎng)景漫游及瀏覽的基礎(chǔ)上，輔助以文字、圖片等補(bǔ)充信息，達(dá)到醫(yī)學(xué)內(nèi)容高精細(xì)度呈現(xiàn)、醫(yī)學(xué)模型立體全方位展示的目標(biāo)。根據(jù)虛擬現(xiàn)實(shí)技術(shù)的特點(diǎn)，設(shè)定課件制作流程主要包含“虛擬現(xiàn)實(shí)三維場(chǎng)景的構(gòu)建”和“醫(yī)學(xué)場(chǎng)景集成及漫游”這兩個(gè)步驟，技術(shù)路線，見(jiàn)圖1。

圖1 課件制作技術(shù)路線

3 關(guān)鍵技術(shù)

3.1 虛擬現(xiàn)實(shí)三維場(chǎng)景的構(gòu)建

3.1.1 三維醫(yī)學(xué)模型的建模 在虛擬醫(yī)學(xué)場(chǎng)景中，虛擬對(duì)象是主體，也是用戶進(jìn)行三維交互體驗(yàn)的首要載體。醫(yī)學(xué)對(duì)象的虛擬再現(xiàn)是通過(guò)建模來(lái)實(shí)現(xiàn)的。當(dāng)前對(duì)象建模的方法主要包括幾何建模、圖像建模等方法。幾何建模是指建立三維幾何模型，一般采用多邊形表示，其主要優(yōu)點(diǎn)是能隨意改變觀察點(diǎn)和觀察方向，允許用戶沉浸入仿真建模的環(huán)境；缺點(diǎn)為建模較為復(fù)雜，建模效率相對(duì)不高。圖像建模是指利用攝像機(jī)對(duì)對(duì)象進(jìn)行全角度拍攝后，獲得物體的二維增強(qiáng)表象或三維模型，其優(yōu)點(diǎn)是建模簡(jiǎn)單，適用于那些難用幾何模型的方法來(lái)建立真實(shí)感模型的物體；缺點(diǎn)是所建模型只是對(duì)現(xiàn)實(shí)世界模型數(shù)據(jù)的采集，不能夠給設(shè)計(jì)者以想象發(fā)揮的空間。為了高效建立形態(tài)逼真的醫(yī)學(xué)模型，筆者綜合兩種建模技術(shù)優(yōu)點(diǎn)，采用圖像與幾何相結(jié)合的方式進(jìn)行醫(yī)學(xué)模型的構(gòu)建。先在不同視角對(duì)被建模物體進(jìn)行拍攝，再通過(guò)建模軟件進(jìn)行多視圖的點(diǎn)、線位置采樣，然后分區(qū)塊構(gòu)建模型。這種建模方式能在幾乎不影響三維模型真實(shí)度的情況下，極大地減少模型的網(wǎng)格數(shù)量。具體建模過(guò)程分4步。(1)數(shù)據(jù)準(zhǔn)備工作。利用照相機(jī)從不同角度對(duì)醫(yī)學(xué)對(duì)象進(jìn)行拍照，通常取前、后、左、右、頂部5個(gè)方向。照片經(jīng)過(guò)Photoshop 軟件處理得到符合要求的紋理貼圖圖片。(2)勾勒外輪廓線。利用拍攝的醫(yī)學(xué)對(duì)象照片作為建模外觀參照，以醫(yī)學(xué)對(duì)象的尺寸等測(cè)量數(shù)據(jù)為建?；A(chǔ)，勾畫醫(yī)學(xué)對(duì)象的外部輪廓，形成醫(yī)學(xué)對(duì)象外部輪廓線模型。(3)構(gòu)造三維模型。運(yùn)用3D MAX建模工具根據(jù)所畫的輪廓線依次創(chuàng)建三維曲面，在保證醫(yī)學(xué)對(duì)象外形的情況下作最大優(yōu)化，建立最優(yōu)三維模型。(4)貼圖。利用3D 建模工具軟件的材質(zhì)/貼圖工具，按照相應(yīng)的貼圖方法，如UVW 貼圖、遮罩通道等，在模型表面貼上對(duì)應(yīng)的紋理和質(zhì)地，以較真實(shí)地再現(xiàn)物體的細(xì)節(jié)。

3.1.2 虛擬醫(yī)學(xué)環(huán)境的建立 根據(jù)醫(yī)學(xué)演示內(nèi)容，采用相應(yīng)建模技術(shù)建立場(chǎng)景三維模型，再將虛擬場(chǎng)景進(jìn)行烘焙處理后，通過(guò)三維互動(dòng)仿真平臺(tái)進(jìn)行實(shí)時(shí)渲染繪制和立體顯示。本文主要依托3D MAX軟件[9]來(lái)進(jìn)行實(shí)現(xiàn)，操作中可分為靜態(tài)建模及動(dòng)態(tài)建模兩種方式。靜態(tài)建模主要指以相對(duì)固定不變的場(chǎng)景作為醫(yī)學(xué)模型的展示環(huán)境，如手術(shù)臺(tái)、試驗(yàn)區(qū)等；動(dòng)態(tài)建模主要指通過(guò)模擬對(duì)象周圍環(huán)境以進(jìn)行更好的場(chǎng)景構(gòu)建，如流動(dòng)血液的血管等。不同的醫(yī)學(xué)課件內(nèi)容對(duì)環(huán)境建模有著不同的要求，如對(duì)于介紹病理發(fā)生、發(fā)展過(guò)程和影響等原理性的課件，對(duì)模型環(huán)境的精準(zhǔn)度要求不高，可采用相對(duì)簡(jiǎn)單的模型背景，一般以靜態(tài)建模為主，而對(duì)于介紹人體組織結(jié)構(gòu)屬性的課件內(nèi)容，由于對(duì)模型的精準(zhǔn)度要求高，則醫(yī)學(xué)環(huán)境的建立首先考慮其仿真性，建立靜態(tài)和動(dòng)態(tài)相結(jié)合的虛擬醫(yī)學(xué)環(huán)境。

3.1.3 三維醫(yī)學(xué)環(huán)境及模型的優(yōu)化 一個(gè)逼真且流暢的三維虛擬場(chǎng)景，不僅要有逼真的模型，而且需要有流暢的運(yùn)行效果，這就對(duì)三維環(huán)境及場(chǎng)景模型提出更嚴(yán)格的要求，三維場(chǎng)景優(yōu)化技術(shù)能使模型得到優(yōu)化且不影響整體效果。一般情況下，三維虛擬場(chǎng)景實(shí)時(shí)渲染時(shí)速度受限制的主要問(wèn)題在于模型過(guò)于復(fù)雜，場(chǎng)景模型總?cè)敲鏀?shù)太多，因此最有效的優(yōu)化方式是在場(chǎng)景渲染時(shí)盡量減少模型的三角面，主要采用以下3種優(yōu)化方式。(1)去除冗余幾何面。在三維建模過(guò)程中，建立的模型會(huì)有一些多邊形面處于不可見(jiàn)的狀態(tài)，除去這些幾何面不但不會(huì)影響模型本身的視覺(jué)效果，反而由于減少了模型的面數(shù)，提高場(chǎng)景的渲染速度。一般主要通過(guò)減少平面模型段數(shù)、優(yōu)化圓柱體模型屬性、刪除重疊面這3種方式去除冗余的幾何面。(2)利用紋理映射(Texture Mapping)。在醫(yī)學(xué)虛擬對(duì)象仿真建模過(guò)程中，采用紋理映射的方法來(lái)替代詳實(shí)的模型。紋理映射是將二維圖像映射至三維幾何形狀表面，使其生成具有特殊效果或真實(shí)感三維模型的一種技術(shù)。對(duì)于虛擬對(duì)象，紋理映射技術(shù)的使用可以減少模型中的三角形面數(shù)，在建模過(guò)程中可以簡(jiǎn)化對(duì)對(duì)象模型的細(xì)節(jié)表現(xiàn)，提高渲染顯示的速度。(3)進(jìn)行實(shí)例引用。實(shí)例引用是指多個(gè)子節(jié)點(diǎn)引用同一個(gè)實(shí)例的父節(jié)點(diǎn)。三維虛擬場(chǎng)景集成過(guò)程中會(huì)存在一些相同屬性的實(shí)體模型，若用復(fù)制的方法，就意味著場(chǎng)景面數(shù)的增加，不利于場(chǎng)景的高速渲染，利用實(shí)例引用技術(shù)，可以在增加同屬性物體數(shù)量的同時(shí)，不增加場(chǎng)景面數(shù)。例如在實(shí)際建模過(guò)程中，有許多形狀和紋理相同的人體組織結(jié)構(gòu)，他們之間的差別可能只在于位置、大小、方向的不同，通過(guò)實(shí)例引用技術(shù)可以將相同類型的組織結(jié)構(gòu)在內(nèi)存中僅存放一份實(shí)例，然后再對(duì)其進(jìn)行移動(dòng)、縮放、旋轉(zhuǎn)操作之后得到多個(gè)組織結(jié)構(gòu)，從而大大地節(jié)省了內(nèi)存空間。

3.2 醫(yī)學(xué)場(chǎng)景集成及漫游

3.2.1 概述 醫(yī)學(xué)場(chǎng)景集成及漫游主要是將醫(yī)學(xué)三維模型及文字、圖片等輔助信息集成入三維醫(yī)學(xué)場(chǎng)景中，通過(guò)系統(tǒng)三維行為庫(kù)及Lingo語(yǔ)言編程兩種方式進(jìn)行漫游和瀏覽控制，實(shí)現(xiàn)課件與聽(tīng)眾間三維交互沉浸體驗(yàn)。這一步驟主要采用Director軟件來(lái)實(shí)現(xiàn)。Director是Adobe公司研發(fā)的基于時(shí)間流的專業(yè)化多媒體項(xiàng)目開(kāi)發(fā)軟件，它結(jié)合多媒體制作和Lingo程序設(shè)計(jì)，具有出色的圖片、聲音、動(dòng)畫處理技術(shù)及強(qiáng)大交互功能，目前正廣泛應(yīng)用于大型多媒體及3D制作以及交互式電影等諸多領(lǐng)域[10]。

3.2.2 場(chǎng)景集成 多媒體醫(yī)學(xué)課件的設(shè)計(jì)，在開(kāi)發(fā)前需要搜集豐富的相關(guān)資料和素材并對(duì)其進(jìn)行整理和歸類。多媒體素材主要可分為靜態(tài)素材和動(dòng)態(tài)素材兩種。靜態(tài)素材主要指配合多媒體展示所需的文字及圖片等素材，此類素材在集成入開(kāi)發(fā)平臺(tái)Director前，需要使用Photoshop軟件處理成*.png格式的圖像，這種格式的文件支持透明，不損壞圖像質(zhì)量，占用空間也不大，能較好地滿足演示需要；動(dòng)態(tài)素材主要指醫(yī)學(xué)三維模型，其具體導(dǎo)入步驟如下：將建立的3D模型導(dǎo)入Director中舞臺(tái)(Stage)上，設(shè)置其行為為“Hold on Current Frame”，拖曳該行為到Score窗中的Frame 1，即讓影片停止在第1幀,為下一步的漫游交互控制做好準(zhǔn)備。

3.2.3 虛擬場(chǎng)景漫游和瀏覽控制 虛擬場(chǎng)景的漫游和瀏覽是三維虛擬多媒體課件的最重要特色，它能讓聽(tīng)眾通過(guò)親自的“經(jīng)歷”和“感受”獲得知識(shí)，達(dá)到較為理想的教學(xué)演示效果。實(shí)現(xiàn)虛擬場(chǎng)景的漫游和瀏覽主要有兩種途徑：系統(tǒng)三維行為庫(kù)實(shí)現(xiàn)和Lingo語(yǔ)言編程控制。(1)系統(tǒng)三維行為庫(kù)實(shí)現(xiàn)場(chǎng)景漫游。系統(tǒng)行為庫(kù)是指系統(tǒng)中內(nèi)置的用于響應(yīng)某種交互式事件的腳本動(dòng)作。Director中的三維行為庫(kù)包括觸發(fā)器(Trigger)和動(dòng)作(Action)。當(dāng)某一操作動(dòng)作發(fā)生時(shí)，其所觸發(fā)的Trigger向系統(tǒng)發(fā)出信號(hào)，引起相對(duì)應(yīng)Action的執(zhí)行。通過(guò)不同的Action和Trigger組合，可以進(jìn)行虛擬場(chǎng)景的漫游和瀏覽。具體操作以在虛擬醫(yī)學(xué)場(chǎng)景中移動(dòng)攝像機(jī)實(shí)現(xiàn)場(chǎng)景漫游為例，主要分為4個(gè)步驟：導(dǎo)入3D模型到舞臺(tái)，選取3D類Actions中的“DragCamera”，即移動(dòng)攝像機(jī)，放在Sprite 1的元素上面；在“Parameters for‘Drag Camera’”屬性對(duì)話框中進(jìn)行參數(shù)設(shè)定；添加Trigger。將Trigger中的“Mouse Left”行為拖入到Score窗中，放置于Sprite 1的演員之上，在隨后彈出的“Parameters for‘Mouse Left”’對(duì)話框內(nèi)指定Action及相關(guān)鼠標(biāo)左鍵的設(shè)定；在“Select a Group and its Action”(選擇一個(gè)群組及其動(dòng)作)下拉列表框中設(shè)定“Pan camera”，便可改變場(chǎng)景中的攝像機(jī)位置及視角，實(shí)現(xiàn)醫(yī)學(xué)場(chǎng)景漫游。(2)基于Lingo語(yǔ)言的場(chǎng)景漫游。借助Director的系統(tǒng)三維行為庫(kù)雖可以方便地進(jìn)行場(chǎng)景漫游，但仍難以完成一些交互性較為復(fù)雜的動(dòng)作，需要借助Lingo語(yǔ)言進(jìn)行編程實(shí)現(xiàn)。例如將人體心臟模型導(dǎo)入Director中，為其添加腳本，實(shí)現(xiàn)用戶的按鍵對(duì)模型進(jìn)行旋轉(zhuǎn)或者平移等操作。

global heart，object

global td，sp

on beginsprite me

sp=sprite(me.spritenum)——獲取當(dāng)前精靈控制權(quán)

heart=sp.member ——獲取當(dāng)前精靈角色

object=heart.model(1) ——獲取心臟模型

end

on enterframe me

if keypressed(＂w＂) then swing(-3)

if keypressed(＂s＂) then swing(3)

if keypressed(＂a＂) then scoop(-5)

if keypressed(＂g＂) then scoop(5)

end

————沿Y軸旋轉(zhuǎn)模型 ————

on swing n

i=0

repeat while i<= 30

i=i+1

object.rotate(0，n*0.5，0)

updatestage

end repeat

end

————沿Z軸旋轉(zhuǎn)模型————

on scoop n

i=0

repeat while i<= 20

i=i+1

object.translate(0，0，n*5)

updatestage

end repeat

end

4 應(yīng)用效果及測(cè)試

本文實(shí)現(xiàn)了基于虛擬現(xiàn)實(shí)的三維醫(yī)學(xué)多媒體課件制作，它相對(duì)于傳統(tǒng)的醫(yī)學(xué)多媒體課件在表現(xiàn)效果、視覺(jué)沖擊力方面有了較大的提升，二者效果對(duì)比，見(jiàn)圖2、圖3。

圖2 二維醫(yī)學(xué)多媒體課件

圖3 三維醫(yī)學(xué)多媒體課件

同時(shí)，為了測(cè)試三維醫(yī)學(xué)多媒體課件播放的穩(wěn)定性，將制作的醫(yī)學(xué)三維多媒體課件在Windows xp、Windows vista、Windows 7等操作系統(tǒng)平臺(tái)上進(jìn)行測(cè)試運(yùn)行，測(cè)試結(jié)果表明該醫(yī)學(xué)多媒體課件兼容性好、穩(wěn)定性高，能達(dá)到較好三維演示效果。

5 結(jié)語(yǔ)

虛擬現(xiàn)實(shí)作為一種全新的教學(xué)媒體形式，突破時(shí)空的限制，推動(dòng)計(jì)算機(jī)輔助教育不斷前進(jìn)[11-12]。本文運(yùn)用Director技術(shù)進(jìn)行醫(yī)學(xué)多媒體課件制作，增強(qiáng)課件的視覺(jué)沖擊力和感染力。同時(shí)應(yīng)用三維虛擬現(xiàn)實(shí)技術(shù)，構(gòu)建3D醫(yī)學(xué)展示模型，將醫(yī)學(xué)多媒體課件由二維平面擴(kuò)展至三維立體，較好地實(shí)現(xiàn)了醫(yī)學(xué)內(nèi)容高精細(xì)度呈現(xiàn)、醫(yī)學(xué)模型立體全方位展示的目標(biāo)。

1 黨裔武. 改進(jìn)多媒體教學(xué) 增強(qiáng)基礎(chǔ)醫(yī)學(xué)教學(xué)效果[J].醫(yī)學(xué)信息學(xué)雜志,2009,30(5) :86-88．

2 王孝寧, 趙玉虹. 開(kāi)展精品課程建設(shè)培養(yǎng)學(xué)生信息素養(yǎng)[J].醫(yī)學(xué)信息學(xué)雜志, 2012,33(12):87-91.

3 潘炳超.對(duì)“多媒體課件”研究的分析與思考[J].中國(guó)醫(yī)學(xué)教育技術(shù),2012,26(2):17-20.

4 John J N, Danette W M. Assessment Methods in Medical Education[J].Teaching and Teacher Education,2007,23(3):239-250.

5 張復(fù)初.淺談?dòng)?jì)算機(jī)多媒體課件在醫(yī)學(xué)院校教學(xué)中的應(yīng)用[J].中國(guó)科技信息，2012，(7):188-189

6 呂婷.醫(yī)學(xué)領(lǐng)域中可視化技術(shù)的應(yīng)用[J]. 醫(yī)學(xué)信息學(xué)雜志，2012，33(2):38-42.

7 陳進(jìn).建設(shè)動(dòng)態(tài)人體解剖數(shù)字資源庫(kù)為教學(xué)服務(wù)[J]. 醫(yī)學(xué)信息學(xué)雜志，2014，35(8):86-89.

8 Burdea G,Coiffet P. Virtual Reality Technology [M]. NJ: John Wiley and Sons,1994.

9 王琦, 亓鑫輝, 王愷. Autodesk 3ds Max 2009 標(biāo)準(zhǔn)培訓(xùn)教材[M] . 北京: 人民郵電出版社, 2008.

10 Adobe.Comparing Adobe Director to Adobe Flash[EB/OL].[2014-05-20]. http://www.adobe.com/products/director/compare/.

11 王芳.虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用及其發(fā)展[J].科技信息，2010，(32):795-796.

12 栗文靖.近年來(lái)國(guó)際上有關(guān)醫(yī)學(xué)信息學(xué)學(xué)科發(fā)展的一些探討[J]. 醫(yī)學(xué)信息學(xué)雜志，2011，32(10):7-11.

Technology for Making Virtual Reality Medical Multimedia Courseware

XIAOYang,

FuzhouGeneralHospitalofNanjingMilitaryAreaCommand,Fuzhou350025,China;FENGXuan,PLAUniversityofScienceandTechnology，Nanjing210007,China

By using 3D virtual reality technology, taking Director as operation platform, the paper constructs a 3D teaching space in medical multimedia courseware, introduces its technology pathway, elaborates key technologies from the aspects of virtual reality 3D scene construction, medical scene integration and roaming. Comparison shows that 3D medical multimedia courseware has more expressive and visual impact. Its safety and stability is excellent as well.

Virtual reality; Medical multimedia courseware; Director

2014-11-16

肖揚(yáng),工程師，碩士，發(fā)表論文10余篇。

R-058

A 〔DOI〕10.3969/j.issn.1673-6036.2015.01.021