中國(guó)醫(yī)科大學(xué)計(jì)算機(jī)教研室 鄭琳琳 鄭 璐 李 靜

1.虛擬視覺(jué)環(huán)境顯示(Virtual Visual Environment Display-VIVED)

由美國(guó)宇航局約翰遜宇航中心(JSC)等部門(mén)，使用虛擬現(xiàn)實(shí)技術(shù)為人們提供了一個(gè)別出心裁的醫(yī)學(xué)教育策略。它集成了所有囊括人類(lèi)顱骨和心臟的虛擬現(xiàn)實(shí)技術(shù)，為人們提供了與其他多媒體(音頻、視頻等)的交互能力[1]。

2.虛擬手術(shù)(Virtual Surgery)

作為醫(yī)學(xué)虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域正在發(fā)展起來(lái)的一個(gè)研究方向，其目的是利用各種醫(yī)學(xué)影像數(shù)據(jù)，采用虛擬現(xiàn)實(shí)技術(shù)，在計(jì)算機(jī)中建立一個(gè)摸擬環(huán)境，醫(yī)生借助虛擬環(huán)境中信息進(jìn)行手術(shù)計(jì)劃制定，手術(shù)演練，手術(shù)教學(xué)，手術(shù)技能訓(xùn)練，術(shù)中引導(dǎo)手術(shù)，術(shù)后康復(fù)等工作，虛擬手術(shù)充分體現(xiàn)虛擬現(xiàn)實(shí)作為計(jì)算機(jī)圖形學(xué)在醫(yī)學(xué)治療過(guò)程的作用。

圖1 通過(guò)人體體驗(yàn)虛擬現(xiàn)實(shí)所需的步驟

3.硬件

一臺(tái)由Silicon Graphics公司生產(chǎn)的Reality Engine計(jì)算機(jī)，被用來(lái)打開(kāi)計(jì)算軸向體層攝影術(shù)(CAT/CT)和磁共振成像切片，放入三維容積圖像和可產(chǎn)生身體"飛行"觀察效果的電影中。在具有16M內(nèi)存的Macintosh IICX計(jì)算機(jī)上觀看最終的3D圖像。之所以先擇Mac是因?yàn)樗男詢(xún)r(jià)比和音像都優(yōu)于同類(lèi)PC，另外它在北美各學(xué)校系統(tǒng)被廣泛使用，可以說(shuō)它是桌面多媒體的領(lǐng)跑者，并且有各種各樣的軟件和硬件支持它。而VR電影可以存儲(chǔ)在硬盤(pán)上，或轉(zhuǎn)移到CD上，并通過(guò)紅藍(lán)眼鏡觀看。它也可以使用虛擬現(xiàn)實(shí)頭戴式顯示器(HMD)或雙目全方位顯示器(臂架系統(tǒng))查看。最終圖像可以存儲(chǔ)在CD-ROM或激光視盤(pán)上。

4.軟件

4.1 文件轉(zhuǎn)換和數(shù)據(jù)準(zhǔn)備

加爾維斯頓提供的厚度為1.5mm的人類(lèi)頭骨CAT/CT切片和心臟的MRI的切片被用于創(chuàng)建3D圖像。在對(duì)頭骨的CT掃描過(guò)程中要經(jīng)過(guò)一個(gè)泡沫帶，因此會(huì)有一些無(wú)用數(shù)據(jù)被生成。顱骨掃描的結(jié)果是生成一個(gè)數(shù)據(jù)集，其中有超過(guò)120片通過(guò)顱骨，60片通過(guò)下頜骨(下巴)，而心臟的MRI掃描可導(dǎo)出200片的數(shù)據(jù)集。將醫(yī)學(xué)分會(huì)創(chuàng)建的數(shù)據(jù)文件，送至IGOAL公司(集成顯卡，操作和分析實(shí)驗(yàn)室)。在那里進(jìn)行掃描和篩選，去除無(wú)關(guān)數(shù)據(jù)，且盡可能不丟失任何重要信息。IGOAL公司開(kāi)發(fā)出一種名為“Ctimager”的工具，用于閾值計(jì)算，從而把切片中不需要的噪聲和無(wú)關(guān)數(shù)據(jù)去掉。

4.2 數(shù)據(jù)過(guò)濾和體數(shù)據(jù)轉(zhuǎn)換為多邊形數(shù)據(jù)

使用被IGOAL稱(chēng)為“dispfly”的開(kāi)發(fā)工具，在稍后可將轉(zhuǎn)換大量的數(shù)據(jù)直接由計(jì)算機(jī)顯示出來(lái)。此工具用于多個(gè)過(guò)濾算法準(zhǔn)備CT和磁共振成像數(shù)據(jù)轉(zhuǎn)換為多邊形的窗體。解剖模型是基于移動(dòng)的多維數(shù)據(jù)集算法生成的。濾波處理通常包括閾值化的數(shù)據(jù)，以消除大部分噪聲的。一個(gè)低通濾波器被用于最小化，將產(chǎn)生一個(gè)不規(guī)則的表面凹凸不平，當(dāng)輸入到算法中的高頻噪聲。這個(gè)過(guò)程產(chǎn)生相對(duì)平滑的表面，其近似掃描樣品，并減少產(chǎn)生的噪聲的多邊形數(shù)量。一個(gè)獨(dú)特的過(guò)濾器對(duì)心臟數(shù)據(jù)僅平滑掃描之間的數(shù)據(jù)創(chuàng)建，是不需要其他的過(guò)濾[2]。由于心臟和顱骨有大量的數(shù)據(jù)集切片，幾種模式被建立，其中每一個(gè)代表一個(gè)少量切片。一個(gè)網(wǎng)格算法，“meshit”，后來(lái)發(fā)展到提高顯示性能。這種算法轉(zhuǎn)換成高效條狀的三角形的原始集合。平均超過(guò)100三角形組成每個(gè)三角形條帶。。

4.3 產(chǎn)生立體圖像

建成模型后，立體聲序列被渲染。IGOAL公司開(kāi)發(fā)了一種名為OOM(面向?qū)ο蟛倏v器)工具，用來(lái)把經(jīng)過(guò)渲染的每一幀存儲(chǔ)到磁盤(pán)上，這些圖像用紅色和藍(lán)色的色彩分離為代表的立體圖像。一旦這些序列被記錄到磁盤(pán)上，數(shù)據(jù)的格式就被轉(zhuǎn)換成Macintosh.pict格式，全彩色圖像序列的按非立體觀看轉(zhuǎn)移到Mac上。

4.4 立體影像及多媒體

對(duì)Mac圖像進(jìn)行編輯，以產(chǎn)生所希望的效果，如數(shù)字化的尸體覆蓋或插入文本描述什么正在被觀看。使用Apple的QuickTime擴(kuò)展，圖像被轉(zhuǎn)換為QuickTime電影動(dòng)畫(huà)在Mac上。

5.結(jié)論

CT掃描頭骨的醫(yī)療圖像，由Macintosh計(jì)算機(jī)通過(guò)處理頭盔顯示器或臂式系統(tǒng)的信息，最終生成高質(zhì)量VR圖像。目前科學(xué)家正試圖用磁共振的成像數(shù)據(jù)生成了一個(gè)心臟VR模型。

初步結(jié)果顯示，可以使用這種類(lèi)型的成像數(shù)據(jù)開(kāi)發(fā)出高分辨率模型。而為了保持高質(zhì)量VR成像目標(biāo)，大量的數(shù)據(jù)是用幀序列來(lái)描述的，由此會(huì)產(chǎn)生一些問(wèn)題。為了緩解這個(gè)問(wèn)題，科學(xué)家們正在探討替代的硬件和軟件解決方案。

另一個(gè)問(wèn)題是該技術(shù)針對(duì)HMD的顯示系統(tǒng)。為保持一個(gè)高品質(zhì)的虛擬現(xiàn)實(shí)體驗(yàn)，液晶顯示器對(duì)分辨率沒(méi)有要求。在CRT顯示器在多種教育平臺(tái)上都可以滿足分辨率的要求，但是成本過(guò)高。外科手術(shù)模擬可能成為例程，尤其是在制定綜復(fù)雜和罕見(jiàn)的手術(shù)方案時(shí)。

6.在VIVED的應(yīng)用和研究現(xiàn)狀

當(dāng)前的研究，強(qiáng)調(diào)創(chuàng)建一個(gè)高分辨率的人體虛擬現(xiàn)實(shí)模擬器用于教育目的的重要性。而應(yīng)用這項(xiàng)技術(shù)必須充分理解其復(fù)雜的三維關(guān)系，如在下面的領(lǐng)域：解剖學(xué)教育，各類(lèi)機(jī)械設(shè)備，生化，病理學(xué)研究，外科醫(yī)生，模擬整形外科和利用內(nèi)窺鏡培訓(xùn)外科醫(yī)生等。

7.其他應(yīng)用程序

隨著醫(yī)學(xué)虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，新的教育解決方案和策略如雨后春筍般不斷出臺(tái)。如北卡羅萊納大學(xué)教堂山分校利用超聲波，MRI和X射線創(chuàng)建的動(dòng)態(tài)影像放射治療的“預(yù)測(cè)”模型。達(dá)特茅斯醫(yī)學(xué)院創(chuàng)造出人臉和下肢的數(shù)學(xué)模型，用于研究外科手術(shù)的效果評(píng)估。綠葉醫(yī)療系統(tǒng)在帕洛阿爾托開(kāi)發(fā)出“EVAL”和“手套健談”系統(tǒng)，作為實(shí)現(xiàn)“評(píng)估和演示”系統(tǒng)。使用傳感器做襯里的數(shù)據(jù)手套和數(shù)據(jù)西裝獲取更大的使用范圍，對(duì)運(yùn)動(dòng)損傷和殘疾病人進(jìn)行行之有效的損傷程度度量?！笆痔捉≌劇笔菐椭∪丝祻?fù)的數(shù)據(jù)手套的手語(yǔ)裝置，讓人無(wú)需發(fā)聲(中風(fēng)或腦性麻痹患者)，僅使用計(jì)算機(jī)能夠理解的手勢(shì)。而使用頭盔顯示器使得需要康復(fù)的病人可以重新學(xué)習(xí)，如開(kāi)關(guān)門(mén)，行走，點(diǎn)或轉(zhuǎn)身的行為[3]。

8.結(jié)語(yǔ)

將CT掃描的頭骨醫(yī)學(xué)圖像在Macintosh電腦上使用一個(gè)頭盔顯示器或臂架系統(tǒng)便可生成高質(zhì)量的VR圖像。目前科學(xué)家們正在開(kāi)發(fā)根據(jù)磁共振成像數(shù)據(jù)生成心臟的VR模型。初步的研究結(jié)果表明，高分辨率模型可以使用這種方法的成像數(shù)據(jù)技術(shù)來(lái)實(shí)現(xiàn)。要想維持高質(zhì)量虛擬現(xiàn)實(shí)的目標(biāo)成像，必須適當(dāng)調(diào)整“飛穿”的幀序列的數(shù)據(jù)量。而其它文明擬定的硬件和軟件解決方案也正是為了探索緩解這一問(wèn)題。再有就是該技術(shù)是針對(duì)HMD的顯示系統(tǒng)技術(shù)。因?yàn)樵诟鞣N醫(yī)學(xué)教育平臺(tái)中，LCD顯示屏不涉及維持高質(zhì)量的虛擬現(xiàn)實(shí)問(wèn)題，而要實(shí)現(xiàn)高分辨率CRT顯示器的成本又太高。

[1]"NASA TECHNOLOGY TRANSFER Commercial Applications of Aerospace Technology",National Aeronautics and Space Administration,Technology Applications.

[2]Porter,Stephen,"Virtual Reality",Computer Graphics World,(March,1992),42-54.

[3]Sprague,Laurie A.,Bell,Brad,Sullivan,Tim,and Voss,Mark,"Virtural Reality In Medical Education and Assessment",Technology 2003,December 1993.