Kinect作為一種自然人機(jī)交互的體感外設(shè)，它很可能和鼠標(biāo)、鍵盤(pán)、攝像頭一起，成為新的普遍意義上的人機(jī)交互工具。首先簡(jiǎn)介了人機(jī)交互與計(jì)算機(jī)應(yīng)用的發(fā)展規(guī)律；然后從社會(huì)和技術(shù)的角度分析了基于Kinect的互動(dòng)應(yīng)用的優(yōu)點(diǎn)，最后就基于Kinect的《互動(dòng)應(yīng)用開(kāi)發(fā)》課程的教學(xué)內(nèi)容及理論和實(shí)驗(yàn)教學(xué)方法進(jìn)行了探索。

互動(dòng)應(yīng)用自然人機(jī)交互課程開(kāi)發(fā)游戲設(shè)計(jì) 一、前言

隨著計(jì)算機(jī)性能的不斷提高和傳感器技術(shù)的飛速發(fā)展，人機(jī)交互技術(shù)正逐步進(jìn)入實(shí)際應(yīng)用。隨著傳感器網(wǎng)絡(luò)的逐步普及，人與計(jì)算機(jī)之間交互方式越來(lái)越自然，用戶(hù)與計(jì)算機(jī)生成的虛擬世界之間的互動(dòng)體驗(yàn)越來(lái)越接近人類(lèi)之間的互動(dòng)體驗(yàn)。特別是微軟公司的Kinect的面世，極有可能加快這一趨勢(shì)。本文將對(duì)基于Kinect的“互動(dòng)應(yīng)用開(kāi)發(fā)”引入課堂教學(xué)進(jìn)行探討。

二、開(kāi)設(shè)“互動(dòng)應(yīng)用開(kāi)發(fā)”課程的必要性

人機(jī)交互技術(shù)的發(fā)展和計(jì)算機(jī)應(yīng)用的普及是相輔相成的。在鼠標(biāo)和圖形界面廣泛使用前，計(jì)算機(jī)主要在實(shí)驗(yàn)室使用；20世紀(jì)八九十年代，鼠標(biāo)、圖形界面的使用極大地提高了交互效率，推動(dòng)了個(gè)人電腦的普及，把計(jì)算機(jī)帶入個(gè)人計(jì)算機(jī)時(shí)代。近年來(lái)，計(jì)算機(jī)處理速度、存儲(chǔ)容量的大幅提高，傳感器技術(shù)的進(jìn)步和普及，網(wǎng)絡(luò)帶寬的成倍增加，新一代自然人機(jī)交互的推廣，將進(jìn)一步拓展計(jì)算機(jī)的使用領(lǐng)域，為基于自然人機(jī)交互方式的“互動(dòng)應(yīng)用”提供了廣泛的市場(chǎng)需求和應(yīng)用前景，所以為了讓學(xué)生掌握與時(shí)代發(fā)展相適應(yīng)的開(kāi)發(fā)技術(shù)，有必要開(kāi)設(shè)基于自然人機(jī)交互的互動(dòng)應(yīng)用開(kāi)發(fā)類(lèi)的課程。

2010年11月，微軟推出了與Xbox相結(jié)合的體感外設(shè)Kinect。這款集彩色攝像頭、深度傳感器和麥克風(fēng)陣列的產(chǎn)品推出之后，便創(chuàng)下了一項(xiàng)新的吉尼斯世界紀(jì)錄，成為銷(xiāo)售最快的店則設(shè)備。從2010年11月4日到2011年1月3日，60天內(nèi)共售出800萬(wàn)臺(tái)。價(jià)值150美元的高科技組件的推出，立即吸引了全球眾多的“Kinect黑客”的注意，在Kinect推出不久，OpenKinect開(kāi)源社區(qū)和PrimeSense公司便發(fā)布了Kinect的電腦軟件驅(qū)動(dòng)。2011年6月17日，微軟公司發(fā)布了官方的基于Windows的Kinect軟件開(kāi)發(fā)工具包測(cè)試版（Kinect for Windows SDK beta）。這極大地促進(jìn)了Kinect在計(jì)算機(jī)上的應(yīng)用。虛擬試衣、虛擬實(shí)驗(yàn)、三維重建等各種創(chuàng)意應(yīng)用被不斷開(kāi)發(fā)出來(lái)。

與傳統(tǒng)的人機(jī)交互設(shè)備鼠標(biāo)鍵盤(pán)不同，借助Kinect，用戶(hù)進(jìn)入需要用身體動(dòng)作就可以直接控制計(jì)算機(jī)，Kinect很可能和鍵盤(pán)、鼠標(biāo)成為新一代標(biāo)準(zhǔn)人機(jī)交互設(shè)備。所以開(kāi)設(shè)基于Kinect的人機(jī)“互動(dòng)應(yīng)用開(kāi)發(fā)”課程，符合時(shí)代發(fā)展潮流和人機(jī)交互技術(shù)的發(fā)展趨勢(shì)，為了學(xué)生能夠走到時(shí)代前沿，盡早掌握自然人機(jī)互動(dòng)應(yīng)用開(kāi)發(fā)具有積極意義。

另外，開(kāi)設(shè)“互動(dòng)應(yīng)用開(kāi)發(fā)”課程，還具有更為深遠(yuǎn)的社會(huì)學(xué)意義。目前，手機(jī)游戲也好，電腦游戲也罷，多數(shù)游戲在游戲過(guò)程中，只要求玩家通過(guò)手指的運(yùn)動(dòng)來(lái)控制游戲，這樣長(zhǎng)時(shí)間保持坐姿，只有手指運(yùn)動(dòng)較多，不僅不利于健康，而且還可能導(dǎo)致近視，手指類(lèi)疾病等。如果通過(guò)自然人機(jī)交互進(jìn)行游戲，則有助于比避免游戲的不利因素，更好的發(fā)揮游戲的娛樂(lè)消遣功能，通過(guò)設(shè)計(jì)開(kāi)發(fā)設(shè)計(jì)良好的應(yīng)用，甚至能做到有助于鍛煉身體、保持身心將康的目標(biāo)。

綜上，不論從互動(dòng)應(yīng)用的社會(huì)需求方面，還是從改變目前視頻游戲的弊端的角度出發(fā)，“互動(dòng)應(yīng)用開(kāi)發(fā)”這門(mén)有著廣泛的社會(huì)需求，而且一旦推廣開(kāi)來(lái)，有利于增強(qiáng)人們利用游戲進(jìn)行休閑娛樂(lè)、加強(qiáng)運(yùn)動(dòng)、鍛煉身體的意識(shí)，因此這門(mén)課的開(kāi)設(shè)具有重要意義。

三、課程的總體設(shè)計(jì)

本課程的目標(biāo)定位是讓學(xué)生熟悉自然人機(jī)交互，掌握利用Kinect進(jìn)行互動(dòng)應(yīng)用開(kāi)的技能。課程內(nèi)容涉及人機(jī)交互、程序開(kāi)發(fā)和互動(dòng)應(yīng)用三個(gè)主要方面。Kinect支持多種開(kāi)發(fā)語(yǔ)言，C++、C#、Matlab等，本課程講述過(guò)程主要以C#作為開(kāi)發(fā)語(yǔ)言。教學(xué)內(nèi)容分以下7講：

第1講：自然人機(jī)交互的理論及設(shè)備。主要講述人機(jī)交互的發(fā)展概況，人機(jī)界面的設(shè)計(jì)方法，自然人機(jī)交互的概念，自然人機(jī)交互的主要特點(diǎn)等。

第2講：Kinect簡(jiǎn)介及開(kāi)發(fā)環(huán)境配置。講述Kinect的結(jié)構(gòu)和工作原理，以Win7下C#開(kāi)發(fā)為例，所需Win7版本的具體要求，.NET Framework 4.0和VisualStudio 2010的安裝，Kinect驅(qū)動(dòng)的安裝。通過(guò)運(yùn)行SDK示例程序，讓學(xué)生熟悉Kinect的主要功能和。

第3講：基于Kinect深度圖在摳圖中的應(yīng)用。本講的主要目的是學(xué)習(xí)如何利用DepthImageStream接口獲取深度傳感器的深度圖，并利用深度圖對(duì)通過(guò)ColorImageSteam獲取的彩色圖進(jìn)行摳圖。然后比較基于深度圖的摳圖和傳統(tǒng)的基于藍(lán)幕摳圖在效率、效果等方面的異同。

第4講：基于Kinect的肢體運(yùn)動(dòng)游戲。Kinect體感器的核心就是骨架追蹤。Kinect能同時(shí)獲取2個(gè)人，每個(gè)人21個(gè)關(guān)節(jié)點(diǎn)信息。本講講述如何利用SkeletonStream獲取骨架數(shù)據(jù)，以及Shape Game示例程序的工作原理。

第5講：Kinect語(yǔ)言識(shí)別及其應(yīng)用。在Kinect的下方有一組4個(gè)獨(dú)立的水平分布的麥克風(fēng)。它們捕獲相同的音頻信號(hào)。Kinect的語(yǔ)音識(shí)別可分為特定命令識(shí)別和對(duì)自由語(yǔ)音識(shí)別兩類(lèi)。由于Kinect的特性，自由語(yǔ)音識(shí)別用途不大。命令識(shí)別則是限制詞匯的范圍進(jìn)行識(shí)別。所以主要講述命令識(shí)別的用法。

第6講：基于FAAST的Kinect應(yīng)用開(kāi)發(fā)。FAAST是美國(guó)南加州大學(xué)創(chuàng)新科技研究所開(kāi)發(fā)的靈敏動(dòng)作與清晰骨骼工具包。通過(guò)FAAST可以把Kinect獲取的骨架信息識(shí)別為身體左傾、右手放下、揮手等24個(gè)動(dòng)作，方便應(yīng)用的開(kāi)發(fā)。本講利用Kinect和Worldviz的vizard相結(jié)合，以開(kāi)發(fā)一個(gè)康復(fù)訓(xùn)練應(yīng)用為例，講述FAAST的使用方法。

第7講：基于Kinect的虛擬現(xiàn)實(shí)展示控制技術(shù)。本講綜合命令語(yǔ)音識(shí)別、FAAST和三維繪制機(jī)制，實(shí)現(xiàn)一個(gè)利用Kinect控制的虛擬展示應(yīng)用。

四、實(shí)踐教學(xué)的設(shè)計(jì)

由于本課程主要講述的是基于Kinect的互動(dòng)應(yīng)用開(kāi)發(fā)，主要的交互方式都是通過(guò)Kinect傳感器來(lái)實(shí)現(xiàn)了，所以熟練掌握Kinect的配置，音頻、彩色圖像、深度圖、骨架信息的獲取何使用。除此之外，還必須熟悉相關(guān)應(yīng)用的專(zhuān)業(yè)知識(shí)，如語(yǔ)音識(shí)別、計(jì)算機(jī)圖形學(xué)、模式識(shí)別、人機(jī)交互等。這些知識(shí)的掌握和利用Kinect進(jìn)行互動(dòng)應(yīng)用開(kāi)發(fā)能力的提高都離不開(kāi)編程實(shí)踐，所以本課程必須充分重視實(shí)踐教學(xué)環(huán)節(jié)。

根據(jù)該課程的特點(diǎn)和開(kāi)設(shè)此課程的目標(biāo)，我們明確了本課程實(shí)踐環(huán)節(jié)的設(shè)計(jì)思想：以能力為本位，以鞏固所學(xué)知識(shí)和提高互動(dòng)應(yīng)用開(kāi)發(fā)能力為宗旨，依照學(xué)習(xí)知識(shí)、應(yīng)用實(shí)踐、綜合創(chuàng)新的能力培養(yǎng)規(guī)律，循序漸進(jìn)地方式展開(kāi)。本課程的實(shí)踐環(huán)節(jié)由課堂練習(xí)、課內(nèi)實(shí)驗(yàn)和課外實(shí)踐三個(gè)環(huán)節(jié)組成。根據(jù)實(shí)踐需要達(dá)到的目的不同，實(shí)踐內(nèi)容分為基本型、綜合型和創(chuàng)新型三個(gè)層次?；拘偷膶?shí)踐內(nèi)容主要分布在課堂練習(xí)和課內(nèi)實(shí)驗(yàn)兩個(gè)環(huán)節(jié)，以鞏固課堂所學(xué)為主要目標(biāo)；綜合型的實(shí)踐內(nèi)容安排在課內(nèi)實(shí)驗(yàn)和課外實(shí)踐中進(jìn)行，主要是為了把多個(gè)章節(jié)的內(nèi)容進(jìn)行綜合消化吸收；創(chuàng)新型的內(nèi)容全部安排在課外實(shí)踐環(huán)節(jié)，達(dá)到充分發(fā)揮學(xué)生的主觀能動(dòng)性，創(chuàng)造性地應(yīng)用課程內(nèi)容，開(kāi)發(fā)出一個(gè)小型應(yīng)用為目的。

課堂練習(xí)的主要目的是實(shí)踐課堂所講內(nèi)容、加強(qiáng)對(duì)所講內(nèi)容的掌握，在教師講述或演示后，學(xué)生當(dāng)場(chǎng)練習(xí)，即學(xué)即練，強(qiáng)化理解，加深記憶。課堂練習(xí)的內(nèi)容與課堂教學(xué)的內(nèi)容相一致，不再贅述。為了提高課堂練習(xí)的效率，對(duì)練習(xí)的內(nèi)容進(jìn)行必要的分解，使學(xué)生練習(xí)過(guò)程步驟化，做到每一步都有明確的目標(biāo)，這樣有助于提高學(xué)生練習(xí)過(guò)程中獲得的成就感，達(dá)到較好的教學(xué)效果。

課內(nèi)實(shí)驗(yàn)的主要目的是鞏固課堂所學(xué)內(nèi)容，并對(duì)階段內(nèi)容進(jìn)行綜合應(yīng)用，強(qiáng)調(diào)鞏固基礎(chǔ)，促進(jìn)綜合，鼓勵(lì)創(chuàng)新。課內(nèi)實(shí)驗(yàn)的內(nèi)容層次主要為綜合型實(shí)驗(yàn)和部分創(chuàng)新型實(shí)驗(yàn)，在實(shí)驗(yàn)形式上，采取必做部分與選作部分相結(jié)合，實(shí)驗(yàn)指導(dǎo)步驟化，難度逐步遞進(jìn)，以適應(yīng)不同水平的學(xué)生，難度較低的部分為比作部分，難度較高的步驟可以選作。根據(jù)以上原則，我們?cè)O(shè)計(jì)了4個(gè)課內(nèi)實(shí)驗(yàn)，分別是基于深度扣圖的虛擬演播室、赤手拼圖游戲、音控玩偶和魔鏡，四個(gè)實(shí)驗(yàn)的自由度逐漸加大，學(xué)生的發(fā)揮余地也越大。

課外實(shí)踐是為了充分發(fā)揮學(xué)生的想象空間和主觀能動(dòng)性，把學(xué)生分為若跟個(gè)小組，每個(gè)小組采用大腦風(fēng)暴等形式創(chuàng)造性地提出本小組的Kinect創(chuàng)意項(xiàng)目，然后逐步細(xì)化，直到最后完成開(kāi)發(fā)出來(lái)，為一個(gè)完整的互動(dòng)應(yīng)用。創(chuàng)新型實(shí)驗(yàn)主要體現(xiàn)在課外實(shí)踐中，所以在課外實(shí)踐項(xiàng)目中，鼓勵(lì)學(xué)生使用不同系統(tǒng)平臺(tái)和開(kāi)發(fā)語(yǔ)言，探索Kinect在不同行業(yè)中的應(yīng)用。

五、教學(xué)設(shè)計(jì)與考核評(píng)價(jià)

由于“互動(dòng)應(yīng)用開(kāi)發(fā)”這門(mén)課理論與實(shí)踐緊密結(jié)合，所以采用理論教學(xué)和現(xiàn)場(chǎng)教學(xué)相結(jié)合的方式，根據(jù)理論內(nèi)容和實(shí)踐內(nèi)容多少，靈活分配課堂時(shí)間。對(duì)于案例中應(yīng)用到的理論，可以采用先簡(jiǎn)單介紹理論，然后案例教學(xué)，最后再提升理論的方式進(jìn)行。

在課時(shí)安排上，采用緊湊方式進(jìn)行安排，不是從學(xué)期初一直上到學(xué)期末，而是集中安排在8周的時(shí)間內(nèi)，每周半天，這樣學(xué)時(shí)相對(duì)集中，有利于課內(nèi)練習(xí)和課內(nèi)實(shí)驗(yàn)的開(kāi)展。

在考核方式上，教學(xué)評(píng)價(jià)采取多元化考核方式，過(guò)程評(píng)價(jià)和結(jié)果評(píng)價(jià)相結(jié)合，階段考核和期末考核相結(jié)合，單項(xiàng)成績(jī)和綜合成績(jī)相結(jié)合，自我評(píng)價(jià)、彼此評(píng)價(jià)和教師評(píng)價(jià)相結(jié)合，做到過(guò)程和結(jié)果兼顧，進(jìn)步和水平相統(tǒng)一，做到通過(guò)考核促進(jìn)教學(xué)，達(dá)到著實(shí)提高學(xué)生能力的教學(xué)目的。

六、總結(jié)

本文首先介紹開(kāi)設(shè)“互動(dòng)應(yīng)用開(kāi)發(fā)”課程的背景，并對(duì)開(kāi)設(shè)基于Kinect的“互動(dòng)應(yīng)用開(kāi)發(fā)”課程的意義進(jìn)行了分析。然后對(duì)課程內(nèi)容的設(shè)置和教學(xué)考核的設(shè)計(jì)進(jìn)行了探討。希望能夠?qū)︻?lèi)似課程的教學(xué)和建設(shè)有所促進(jìn)，由于課程的內(nèi)容新，開(kāi)課時(shí)間短，肯定還存在諸多值得商榷和改進(jìn)的地方。

參考文獻(xiàn)：

[1]張荻. Kinect應(yīng)用領(lǐng)域的探討[J].物流工程與管理，2012，（6）， 39-41

[2]何貝，王貴錦，林行剛.結(jié)合Kinect深度圖的快速視頻摳圖算法[J].清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2012，52（4）：561-565.570

[3]E. Suma， B. Lange， A. Rizzo， D. Krum， and M. Bolas.FAAST： The Flexible Action and Articulated Skeleton Toolkit， Proceedings of IEEE Virtual Reality[C].2011. 247-248

[4]劉鑫，許華榮，胡占義.基于GPU和Kinect的快速物體重建[J].自動(dòng)化學(xué)報(bào)，2012，38（8）：1288-1297

[5]錢(qián)鶴慶.應(yīng)用Kinect與手勢(shì)識(shí)別的增強(qiáng)現(xiàn)實(shí)教育輔助系統(tǒng).上海交通大學(xué)， 2011

[6]羅元，謝彧，張毅.基于Kinect傳感器的智能輪椅手勢(shì)控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].機(jī)器人，2012，34（1）：111-113.119

[7]黃康泉，陳壁金，鄭博，徐芝琦.Kinect在視頻會(huì)議系統(tǒng)中的應(yīng)用[J].廣西大學(xué)學(xué)報(bào)（自然科學(xué)版），2011，36（s1）：308-311