樊景超　周國民

摘要嘗試引入微軟公司的一款體感周邊外設Kinect設備，首先根據(jù)設備提供的人體運動檢測提取復雜背景下的人體信息，結(jié)合自定義的背景圖像信息制作虛擬演播室；利用手勢功能完成對虛擬演播室背景圖像的切換控制，以達到虛擬教學的目的。通過驗證基于Kinect的前景提取和手勢識別控制背景信息能力，證明該設計可以用于農(nóng)業(yè)虛擬教學研究，有一定的借鑒意義。

關鍵詞農(nóng)業(yè)；虛擬；Kinect

中圖分類號S-01文獻標識碼A文章編號0517-6611（2014）12-03706-03

基金項目基于模型的果園與油菜作物生產(chǎn)數(shù)字化管理平臺（2013AA102505）。

作者簡介樊景超（1980-），男，遼寧沈陽人，博士，助理研究員，從事農(nóng)業(yè)信息技術研究。*通訊作者，博士，研究員，博士生導師，從事農(nóng)業(yè)信息技術研究。

多媒體技術、網(wǎng)絡技術在教育領域的普及和發(fā)展已經(jīng)得到了廣泛的認可和好評?；谟嬎銠C仿真技術的“虛擬現(xiàn)實”教學形式是一種新的教學模式，具有廣闊的發(fā)展前景，代表了教育的未來和發(fā)展方向[1]。微軟公司推出的Kinect體感技術具備了多種硬件條件和技術功能，如動態(tài)范圍捕捉、影像識別、麥克風輸入、語音指令、體感控制等，還具備了多種實現(xiàn)虛擬現(xiàn)實技術的硬件指標，在實際教學中具有很高的應用價值[2]。呂開陽[3]在動物外科手術的實驗實踐教學中引入Kinect這一新穎的輸入方式，為教學實際活動提供了新思路。在不適合徒手操作電腦的情況下，教師可以用Kinect作為個人電腦的輸入工具，以手勢、身體姿勢及語言作為輸入元素，控制電腦查閱相關知識，得到及時反饋。黃康全[4]在視頻會議系統(tǒng)中使用Kinect對PPT播放控制、與會人員舉手發(fā)言的自動識別，利用深度傳感器進行實時3D捕捉與顯示。

該研究的目的旨在給農(nóng)業(yè)培訓中運用Kinect進行虛擬教學的可行性進行一定的初步探討，希望給同行提供參考。

1 Kinect簡介及工作原理

1.1Kinect簡介 Kinect是微軟在2010年6月14日對XBOX360體感周邊外設正式發(fā)布的名字，其設備如圖1所示。Kinect一共有3個攝像頭，中間一個是RGB攝像頭，用來獲取640×480的彩色圖像，每秒鐘最多獲取30幀圖像；兩邊的是深度傳感器，左側(cè)的是紅外線發(fā)射器，右側(cè)的是紅外線接收器，用來檢測玩家的相對位置。Kinect的兩側(cè)是一組四元麥克風陣列，用于聲源定位和語音識別；下方還有一個內(nèi)置馬達的底座，可以調(diào)整俯仰角[5]。

圖1Kinect設備1.2Kinect工作原理（前景摳圖） Kinect采集三維圖像的光學部分主要包括兩個部件：紅外線發(fā)射器和紅外線/VGA攝像頭組。其工作原理[6]是，紅外線發(fā)射器發(fā)出紅外線覆蓋整個Kinect的可視范圍，攝像頭組接收反射回光線來識別玩家的距離和特征。紅外攝像頭可以識別到的是物體的“深度場”（Depth Field），其中每一像素的顏色代表了那一點物體到攝像頭的距離。比如離攝像頭近的身體呈亮紅色、綠色等，而離攝像頭遠的物體則呈暗灰色。

這是一種不同于傳統(tǒng)的TOF或者結(jié)構光測量技術的光編碼（light coding）技術，使用的是連續(xù)的照明（而非脈沖），也不需要特制的感光芯片，只需要普通的CMOS感光芯片，這也大大降低了Kinect的成本[7]。光編碼[8]是用光源照明給需要測量的空間編上碼的一種結(jié)構光技術。但與傳統(tǒng)的結(jié)構光方法不同，它投射出去的光源并不是一副周期性變化的二維的圖像編碼，而是一個具有三維縱深的“體編碼”，這種光源叫做激光散斑（laser speckle）。當激光照射到粗糙物體或穿透毛玻璃后會形成隨機衍射斑點，這些散斑具有高度的隨機性，而且會隨著距離的不同變換圖案，所以空間中任意兩處的散斑圖案都是不同的。通過這種激光散斑可以對整個空間進行標識，然后根據(jù)物體上的散斑圖案就可以推測計算出物體的深度位。在進行物體散斑識別前要對整個空間的散斑圖案進行記錄和標定。

深度數(shù)據(jù)的有效范圍[9]是0.80～3.84 m，如果在該范圍以外，數(shù)值為0。標定的方法是：每隔一段距離，取一個參考平面，把參考平面上的散斑圖案記錄下來。假設用戶活動空間是距離攝像頭1～4 m的范圍，每隔10 cm取一個參考平面，共保存30幅散斑圖像。進行測量的時候，拍攝一幅待測場景的散斑圖像，將這幅圖像和保存下來的30幅參考圖像依次做互相關運算，這樣會得到30幅相關度圖像?？臻g中有物體存在的位置，在相關度圖像上就會顯示出峰值。把這些峰值一層層疊在一起，再經(jīng)過一些插值，就可以得到整個場景的三維結(jié)構信息。

2系統(tǒng)方案設計

2.1軟件方案設計農(nóng)業(yè)課件虛擬教學系統(tǒng)的軟件部分如圖 所示，主要包括用戶管理，Kinect外設管理模塊、手勢管理模塊、虛擬演播廳管理、課件制作模塊（圖2）。用戶管理主要進行用戶的注冊、登錄管理，用戶信息的完善，虛擬課件直接導入用戶信息作為課件屬性信息。Kinect外設管理模塊主要負責對Kinect設備進行初始化、設備關閉和設備狀態(tài)檢測管理，該模塊將模塊的狀態(tài)返還給主程序作為系統(tǒng)運行的基本模塊。手勢管理模塊主要是考慮不同用戶的習慣，允許用戶定義自己的手勢用于控制播放。系統(tǒng)默認的前進手勢是右手手臂平行于胸前，手掌與身體平行指尖向左；系統(tǒng)默認的后退手勢是左手手臂平行于胸前，手掌與身體平行指尖向右。本系統(tǒng)的演播室是一個由圖片序列組成的背景墻，用戶在課件制作的過程中用自己的身體手勢控制背景圖片的切換。課件制作模塊主要用于將錄播時獲取的實時圖像按照時間序列制作成可以播放的視頻文件，并將用戶錄入的課件信息、用戶身份信息整合到課件中完成課件制作。

2.2軟件工作流程 系統(tǒng)的軟件流程如圖3所示，用戶進行登錄后，首先進行外設的初始化，然后檢測Kinect設備是否工作正常，如果外設狀態(tài)錯誤則系統(tǒng)提示后退出。用戶進入系統(tǒng)后首先要定義課件最常用的前進、后退手勢或接受默認的手勢。接下來要進行演播廳管理，用戶按照播放序列導入課件需要的背景圖片。系統(tǒng)根據(jù)用戶手勢來切換背景圖片，達到課件播放的效果。在完成錄播后系統(tǒng)退出。

3系統(tǒng)功能驗證

3.1虛擬演播室Kinect傳感器核心只是發(fā)射紅外線，并探測紅外光反射，從而可以計算出視場范圍內(nèi)每一個像素的深度值。從深度數(shù)據(jù)中最先提取出來的是物體主體和形狀，以及每一個像素點的人體索引信息，然后用這些形狀信息來匹配人體的各個部分，最后計算匹配出來的各個關節(jié)在人體中的位置。Kinect產(chǎn)生的景深數(shù)據(jù)作用有限，要利用Kinect創(chuàng)建真正意義上交互、有趣和難忘的應用，還需要除了深度數(shù)據(jù)之外的其他數(shù)據(jù)，這就是骨骼追蹤技術的初衷：通過人體骨骼的關節(jié)點來控制人體運動[10]。

骨骼追蹤技術通過處理景深數(shù)據(jù)來建立人體各個關節(jié)的坐標。骨骼追蹤能夠確定人體的各個部分，如哪部分是手、頭部、身體。骨骼追蹤產(chǎn)生X、Y、Z數(shù)據(jù)來確定這些骨骼點，其主要步驟如下[11]：①前景分割。利用數(shù)字圖像處理技術可以完成這部分工作。Kinect會依據(jù)距離關系由近及遠分析每個像素，以找到最有可能是人體的區(qū)域，通過邊緣檢測技術確定區(qū)域邊緣，最終提取出人體在深度圖像中的完整輪廓。②人體部位識別。該部分的任務就是識別人體輪廓區(qū)域內(nèi)的各個身體部位，如頭部、軀干、四肢等。Kinect使用數(shù)以TB計的數(shù)據(jù)進行訓練，得到用于分類人體部位的識別模型，目前Kinect可以識別32個人體部位。③人體關節(jié)點識別。關節(jié)點是連接人體各個部位的紐帶，考慮到人體部位會出現(xiàn)重疊，Kinect會從正面、側(cè)面等多個角度去分析每一個可能的像素來確定關節(jié)點坐標。目前Kinect可以識別24個關節(jié)點，但是對外提供15個可供使用的關節(jié)點坐標值。

圖5和圖6是筆者在實驗室內(nèi)利用Kinect設備實現(xiàn)的虛擬演播室的實驗截圖。筆者嘗試在辦公室背景下實現(xiàn)類似無幕布的摳圖效果，并替換農(nóng)業(yè)教學所需圖片背景，達到虛擬演播廳的目的。從測試的結(jié)果看，系統(tǒng)對人體的幾何信息提取比較完整，精確度可以滿足農(nóng)業(yè)虛擬教學的需求。

圖4含背景信息的圖像信息圖5提取前景人體后的虛擬演播廳3.2手勢識別手勢識別是整個虛擬課件制作重要的組成部分。通過定義好的手勢，對演播廳的背景墻進行切換，達到虛擬演播的目的。人手勢識別[12]是通過計算機設備對人的手勢進行精確解釋。早期的手勢識別主要使用數(shù)據(jù)手套等傳感器設備采集手部關節(jié)數(shù)據(jù)的方法進行手勢提取，一起構成復雜、成本高昂而且需要專用的信息采集系統(tǒng)，雖然經(jīng)典，但已經(jīng)不適合當下對自然交互方式的要求。微軟Kinect傳感器的目標是將注意力集中在自然手上，通過感應紅外激光散斑獲取深度信息，不受環(huán)境的光照變化和復雜背景的影響。

要使用手勢識別功能，Kinect SDK版本應該至少是1.5，最新版本為1.8。Kinect SDK 和 Kinect Developer Toolkit要一起安裝，安裝Kinect Developer Toolkit會安裝Kinect Studio、一些C#/VB.Net/C++的應用程序示例、源碼以及兩個用于面部追蹤的類庫FaceTrackData.dll，F(xiàn)aceTrackLib.dll包括32位和64位版本[13]。

圖6和圖7是筆者在實驗室內(nèi)利用Kinect SDK對自身手勢在運動狀態(tài)下進行前進和后退手勢的測試截圖。從測試結(jié)果看，系統(tǒng)可以有效跟蹤到肢體關節(jié)的空間位置，可以滿足手勢識別的需求。

圖6前進手勢識別圖7后退手勢識別4結(jié)論

研究設計了一種基于Kinect的農(nóng)業(yè)課件虛擬制作系統(tǒng)，并對部分系統(tǒng)功能進行了驗證。該系統(tǒng)以Kinect空間深度數(shù)據(jù)進行人體前景提取為工作核心，結(jié)合手勢識別功能實現(xiàn)用戶對虛擬演播廳背景圖片的操作控制，它是一種新穎的虛擬課件制作系統(tǒng)，使得用戶能夠結(jié)合自己的農(nóng)業(yè)知識實現(xiàn)農(nóng)業(yè)課件虛擬制作，同時該系統(tǒng)不受場地限制，不需要昂貴的攝像設備。該系統(tǒng)的硬件成本低廉，適用于農(nóng)業(yè)類用戶的接受范圍。該系統(tǒng)的最大特點就是使用戶能夠操作簡單、易懂、靈活；且安裝方便、智能性高。隨著現(xiàn)代農(nóng)業(yè)用戶對知識獲取意識的增強以及科學技術的快速發(fā)展，相信該研究必將在更廣闊的領域得到更深層次的應用。

安徽農(nóng)業(yè)科學2014年參考文獻

[1] 宋宏泉.虛擬現(xiàn)實技術在現(xiàn)代醫(yī)學教育中的應用[J].齊齊哈爾醫(yī)學院學報，2006，27（8）：984-985.

[2] 陳晨，王亞平，劉小鴻，等.基于Kinect體感系統(tǒng)的虛擬現(xiàn)實技術在醫(yī)學教育中的可行性初探[J].中國醫(yī)學教育技術，2012，26（6）：667-670.

[3] 呂開陽.kinect體感技術在動物外科實驗教學中的應用及展望[J].中國醫(yī)學教育技術，2012，26（2）：171-173.

[4] 黃康泉，陳壁金，鄭博，等.kinect在視頻會議系統(tǒng)中的應用[J].廣西大學學報：自然科學版，2011，36（S1）：308-314.

[5] 吳國斌.Kinect人機交互開發(fā)實踐[M].北京：人民郵電出版社，2013：4-5.

[6] 余濤.kinect應用開發(fā)實踐[M].北京：機械工業(yè)出版社，2012：41-45.

[7] 韓旭.應用kinect的人體行為識別方法研究與系統(tǒng)設計[D].濟南：山東大學，2013：21-22.

[8] 鄧小園.基于Kinect運動捕捉的高爾夫揮桿分析與輔助訓練系統(tǒng)的研制[D].北京：北京郵電大學，2013：7-9.

[9] 楊林.基于Kinect的人體目標檢測與跟蹤[D].大連：大連海事大學，2013：8-15.

[10] 馬慶.基于Kinect的實時人體動畫合成及重定向技術研究[D].杭州：浙江工業(yè)大學，2012：11-15.