陳 晨，王亞平，劉小鴻，楊 璐，李 森

第二軍醫(yī)大學(xué)教育技術(shù)中心，上海 200433

多媒體技術(shù)、網(wǎng)絡(luò)技術(shù)在醫(yī)學(xué)教育領(lǐng)域中的普及和發(fā)展，已經(jīng)得到了廣泛的認(rèn)可和好評(píng)?；谟?jì)算機(jī)仿真技術(shù)的“虛擬現(xiàn)實(shí)”教學(xué)形式，是一種新的教學(xué)模式，具有廣闊的發(fā)展前景，代表了教育的未來(lái)與發(fā)展方向［1］。研究者希望利用這項(xiàng)全新的技術(shù)來(lái)改變傳統(tǒng)教學(xué)模式，為醫(yī)學(xué)生創(chuàng)造良好的學(xué)習(xí)環(huán)境和全新的學(xué)習(xí)方式。

Kinect體感技術(shù)誕生之初便在醫(yī)學(xué)領(lǐng)域中得到應(yīng)用。例如醫(yī)學(xué)影像操作中的無(wú)接觸操控，非觸摸體感方式的病患檢查、遠(yuǎn)程外科手術(shù)等。因此，筆者認(rèn)為Kinect體感系統(tǒng)具備的多種功能特點(diǎn)符合虛擬現(xiàn)實(shí)教學(xué)形式的實(shí)現(xiàn)條件，可以在醫(yī)學(xué)教育領(lǐng)域中進(jìn)行應(yīng)用實(shí)現(xiàn)。

1 Kinect體感技術(shù)介紹

Kinect是一種由微軟公司開發(fā)的3D體感攝影機(jī)，配套旗下家用視頻游戲主機(jī)Xbox360的體感周邊外設(shè)產(chǎn)品，具有實(shí)時(shí)動(dòng)態(tài)捕捉、圖像識(shí)別、麥克風(fēng)輸入、語(yǔ)音識(shí)別等功能。Kinect有3個(gè)鏡頭，中間的鏡頭是RGB彩色攝像機(jī)，左右兩邊鏡頭則分別為紅外線發(fā)射器和紅外線CMOS攝影機(jī)所構(gòu)成的3D深度感應(yīng)器，它依靠相機(jī)捕捉三維空間中人體的肢體活動(dòng)甚至是面部細(xì)節(jié)變化。

其工作原理是，使用者面對(duì)體感設(shè)備而立，通過(guò)設(shè)備內(nèi)一個(gè)紅外激光投影鏡頭將一組紅外激光點(diǎn)陣投射到使用者身上，另外兩個(gè)紅外線CMOS攝像頭對(duì)此進(jìn)行X軸、Y軸、Z軸的3D深度信息掃描，通過(guò)光編碼技術(shù)，用近紅外光對(duì)場(chǎng)景進(jìn)行編碼，形成一個(gè)具有三維縱深的“體編碼”(如圖1所示)。這種編碼來(lái)自于激光散斑，是當(dāng)激光照射到粗糙物體或穿透毛玻璃后形成的隨機(jī)衍射斑點(diǎn)［2］。以此可分辨使用者、背景以及使用者的動(dòng)作意圖，簡(jiǎn)單說(shuō)就是用光源照明給需要測(cè)量的空間編上碼，再通過(guò)三維解碼使之產(chǎn)生立體交互功能。為了使攝像頭更精準(zhǔn)地對(duì)準(zhǔn)使用者，Kinect還配備了馬達(dá)和加速度傳感器。

圖1 Kinect實(shí)物圖及組件說(shuō)明

2 Kinect體感技術(shù)的應(yīng)用探索

虛擬現(xiàn)實(shí)的交互性、沉浸性、構(gòu)想性等特點(diǎn)需要建立在許多外部硬件設(shè)備的基礎(chǔ)上。例如:建模設(shè)備、顯示設(shè)備、聲音設(shè)備和交互設(shè)備。Kinect體感技術(shù)具備了多種硬件條件和技術(shù)功能，如動(dòng)態(tài)范圍捕捉、影像識(shí)別、麥克風(fēng)輸入、語(yǔ)音指令、體感控制等;還具備了多種實(shí)現(xiàn)虛擬現(xiàn)實(shí)技術(shù)的硬件指標(biāo)，在實(shí)際教學(xué)中的應(yīng)用將具有很高的價(jià)值。

2.1 課堂教學(xué)

CAI應(yīng)用于現(xiàn)代醫(yī)學(xué)教育，尤其是課堂理論教學(xué)，具有較明顯的優(yōu)勢(shì)，包括表達(dá)形式多樣，學(xué)習(xí)過(guò)程可自主調(diào)控，信息儲(chǔ)存量大，利于自主學(xué)習(xí)等［3］。但與Kinect所提倡的活動(dòng)與教學(xué)、虛擬實(shí)境方式導(dǎo)入游戲式教學(xué)和特殊且趣味性的學(xué)習(xí)模式相比缺乏靈活生動(dòng)性。運(yùn)用Kinect手勢(shì)識(shí)別技術(shù)捕捉教師單手或雙手在現(xiàn)實(shí)空間中的動(dòng)作，將之轉(zhuǎn)化成三維編碼，再由PC軟件進(jìn)行解碼，辨識(shí)其操作內(nèi)容，進(jìn)而即時(shí)地通過(guò)投影儀等顯示設(shè)備呈現(xiàn)展示，免去了大量的板書及點(diǎn)擊鼠標(biāo)時(shí)間，也解放了教師的授課空間束縛，靈活生動(dòng)地展示操作也使得學(xué)生對(duì)知識(shí)內(nèi)容能更加直觀地學(xué)習(xí)和理解。

2.2 臨床教學(xué)

傳統(tǒng)的臨床實(shí)踐教學(xué)中，主要以教師講述為主進(jìn)行授課，學(xué)習(xí)內(nèi)容往往流于書本和理論，學(xué)生實(shí)際操作和應(yīng)用的機(jī)會(huì)較少。虛擬臨床結(jié)合CAI培訓(xùn)模式的引入，通過(guò)建立三維的人工虛擬環(huán)境，可以模擬患者的一些病狀特點(diǎn)和應(yīng)激反應(yīng)，學(xué)生能夠運(yùn)用多種交互設(shè)備來(lái)操作工具和對(duì)象。但在實(shí)際應(yīng)用中設(shè)備的操作復(fù)雜和資源有限使得這一模式很難得到普及與推廣。

Kinect的動(dòng)態(tài)捕捉技術(shù)可以通過(guò)掃描捕捉，對(duì)環(huán)境景深進(jìn)行像素評(píng)估。利用紅外線發(fā)射器和紅外線CMOS攝像機(jī)獲取圖像深度圖，提供人體骨骼的捕獲功能［4］，運(yùn)用分割遮罩將人體從環(huán)境中分離出來(lái)，隨即辨別人體的不同部位以及動(dòng)作操作。學(xué)生只需通過(guò)顯示設(shè)備呈現(xiàn)的立體環(huán)境和病患建模，不通過(guò)任何額外設(shè)備，在現(xiàn)實(shí)環(huán)境中，以手勢(shì)、身體姿勢(shì)及語(yǔ)音作為輸入元素［5］，即可進(jìn)行模擬實(shí)踐操作(如圖2所示)。

圖2 分割遮罩技術(shù)將人體從背景分離

美國(guó)華盛頓大學(xué)BioRobotics實(shí)驗(yàn)室的學(xué)生們通過(guò)對(duì)Kinect的改造，讓它可以用來(lái)控制外科醫(yī)師的機(jī)器手臂，并利用其靈敏度高、識(shí)別性強(qiáng)等特點(diǎn)，實(shí)現(xiàn)無(wú)接觸操控和非觸摸體感，讓Kinect控制機(jī)器手臂執(zhí)行手術(shù)(如圖3所示)。這一技術(shù)的應(yīng)用，不但免去了大量操作設(shè)備的資源投入，而且還可以避免學(xué)生花費(fèi)大量時(shí)間去掌握虛擬臨床操作設(shè)備使用方法的過(guò)程。

圖3 外科醫(yī)師用Kinect控制外科機(jī)械手臂

2.3 三維建模展示

醫(yī)學(xué)教學(xué)過(guò)程中會(huì)運(yùn)用大量的示例圖片和實(shí)物標(biāo)本給學(xué)生進(jìn)行展示教學(xué)。通過(guò)虛擬現(xiàn)實(shí)技術(shù)，將靜態(tài)圖片、標(biāo)本模型進(jìn)行仿真三維化處理后，可以形成多角度、全方位的直觀展示。而展示方式的單一化，形成了教師展示學(xué)生看這一尷尬局面。學(xué)生更想直接的參與其中，由自己控制來(lái)觀察研究建模，形成概念。

通過(guò)Kinect的深度傳感器，在使用者的前后左右四個(gè)方位布置若干部Kinect，可以通過(guò)深度傳感器所捕獲的3D空間數(shù)據(jù)與RGB攝像頭捕獲的影像數(shù)據(jù)來(lái)進(jìn)行3D建模，從而實(shí)現(xiàn)實(shí)時(shí)的3D捕獲與顯示［4］。

在三維建模演示方面，瑞士Bern大學(xué)的Virtopsy項(xiàng)目使用開發(fā)框架的ofxKinect系統(tǒng)，制作體感軟件。使用音控和體感控制來(lái)處理醫(yī)療設(shè)備中出現(xiàn)的OsiriX三維建模。Virtopsy項(xiàng)目使用非觸摸的體感方式，更加方便，也更節(jié)約時(shí)間，能夠更好地對(duì)三維建模進(jìn)行展示，供醫(yī)學(xué)教學(xué)使用(如圖4所示)。

圖4 利用Kinect控制三維建模放大縮小旋轉(zhuǎn)等功能

Kinect語(yǔ)音控制技術(shù)工作原理是預(yù)先將指令語(yǔ)音儲(chǔ)存，將之轉(zhuǎn)化為操作系統(tǒng)可理解的命令，在利用Kinect進(jìn)行建?？刂蒲菔緯r(shí)只要說(shuō)出相應(yīng)的指令即可實(shí)現(xiàn)對(duì)應(yīng)建模的相關(guān)操作。例如:教師在展示三維建模時(shí)只需要對(duì)設(shè)備發(fā)出“放大、縮小、旋轉(zhuǎn)”等語(yǔ)音指令，設(shè)備便會(huì)將語(yǔ)音信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng)的操作命令，對(duì)三維建模進(jìn)行相關(guān)展示，這一過(guò)程將極大地減少傳統(tǒng)建模展示中的復(fù)雜操作，增加了教學(xué)的靈活性，也可充分調(diào)動(dòng)學(xué)生學(xué)習(xí)的積極性。

2.4 遠(yuǎn)程教學(xué)

遠(yuǎn)程教學(xué)是建立在多媒體技術(shù)、計(jì)算機(jī)網(wǎng)絡(luò)通信技術(shù)上的一種雙向信息傳送教學(xué)。與傳統(tǒng)的“面對(duì)面”授課相比，它使得更高水平的教學(xué)授課能在更廣的范圍內(nèi)共享。

為了實(shí)現(xiàn)在遠(yuǎn)程教學(xué)中需要的高質(zhì)量視頻影像及語(yǔ)音，通常需要采購(gòu)一些價(jià)格昂貴的高清攝像頭和聲音采集設(shè)備，并且這些設(shè)備不具備一體化特點(diǎn)，往往售價(jià)也較昂貴，性價(jià)比不高。

Kinect體感設(shè)備具有多點(diǎn)陣列麥克風(fēng)，可以準(zhǔn)確地進(jìn)行聲音定位并幫助過(guò)濾環(huán)境噪波，免除了許多額外的音頻處理;同時(shí)Kinect的語(yǔ)音控制功能，大大提高了遠(yuǎn)程授課中的交互性，讓用戶發(fā)出命令即可進(jìn)行相關(guān)操作，減少了不便的操作。RGB攝像頭和兩個(gè)深度傳感器配合機(jī)械馬達(dá)底座進(jìn)行移動(dòng)圖像捕捉，實(shí)現(xiàn)了攝像及語(yǔ)音的一體化處理，并提供了深度攝像，可以在授課時(shí)自動(dòng)識(shí)別舉手發(fā)言的請(qǐng)求，具有很高的性價(jià)比。

該文將基于Kinect體感技術(shù)的虛擬現(xiàn)實(shí)教學(xué)形式這一設(shè)想引入了醫(yī)學(xué)教育中，其優(yōu)點(diǎn)是優(yōu)秀的交互性、友好的操作性和廣泛的實(shí)用性。通過(guò)介紹Kinect體感技術(shù)的關(guān)鍵技術(shù)特點(diǎn)，說(shuō)明Kinect體感技術(shù)具備了醫(yī)學(xué)教育虛擬現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)的技術(shù)條件和硬件指標(biāo)。

［1］宋宏泉.虛擬現(xiàn)實(shí)技術(shù)在現(xiàn)代醫(yī)學(xué)教育中的應(yīng)用［J］.齊齊哈爾醫(yī)學(xué)院學(xué)報(bào)，2006，27(8):984-985

［2］Huang J，Ma Z，Hu Y，et al.Robotic 3D structured light scanning system based on external axle.International Conference on Intelligent Computation Technology and Automation［M］.Piscataway，NJ，USA:IEEE，2008:l126-1129

［3］鄭唯強(qiáng)，鄭建明，王建軍，等.教學(xué)媒體在病理教學(xué)中的設(shè)計(jì)及使用［J］.中國(guó)醫(yī)學(xué)教育技術(shù)，2004，14(1):44-45

［4］黃康泉，陳壁金，鄭博，等.Kinect在視頻會(huì)議系統(tǒng)中的應(yīng)用［J］.廣西大學(xué)學(xué)報(bào):自然科學(xué)版，2011，36(z1)，308-313

［5］呂開陽(yáng)，葉華茂，李曉光，等.Kinect體感技術(shù)在動(dòng)物外科實(shí)驗(yàn)教學(xué)中的應(yīng)用及展望［J］.中國(guó)醫(yī)學(xué)教育技術(shù)，2012，26(2):171-173