朱榮，劉華，張俊

（1.中山大學(xué)新華學(xué)院信息科學(xué)學(xué)院，廣州 510520；2.廣州工商學(xué)院物流系，廣州 510850）

1 體感交互技術(shù)

體感交互技術(shù)是繼個人計算機(jī)、互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)之后的第五次信息技術(shù)領(lǐng)域的重大技術(shù)革命。體感交互是指通過體感外部設(shè)備、體感交互系統(tǒng)軟件以及三維數(shù)字信息，來感應(yīng)站在屏幕前的觀看者，當(dāng)觀看者的動作發(fā)生變化時，屏幕顯示的畫面同時發(fā)生變化。

Kinect輸入設(shè)備從一誕生就受到各個行業(yè)的關(guān)注和應(yīng)用，除了具備語音識別和骨骼跟蹤等功能外，其主要原因還在于微軟沒有對Kinect的輸出做任何加密。通過USB接口，Kinect設(shè)備可以接入到任何顯示端，并且還發(fā)布了官方版的Kinect for Windows SDK Beta Set?up，用戶可以下載安裝，當(dāng)然它只能運(yùn)行在32位或64位Windows 7以上的操作系統(tǒng)上，還需要安裝Visual Studio 2010和.NET Framework 4.0等版本的軟件。更讓人著迷的是，Kinect for Windows SDK中的Kinect Fu?sion技術(shù)能通過移動Kinect傳感器對物體進(jìn)行掃描，幾秒鐘過后就能夠創(chuàng)建足夠平滑的重建的靜態(tài)場景，產(chǎn)生點(diǎn)陣云以及3D表面模型，不需要花費(fèi)大量的時間和精力來繪制3D模型，除此之外還可以通過使用Vi?sual Studio軟件來編寫C#語句，如此便能自由地下開發(fā)各種應(yīng)用。

國內(nèi)外對于Kinect體感技術(shù)的研究和應(yīng)用基本主要在商業(yè)廣告、游戲動漫、醫(yī)療康復(fù)等領(lǐng)域，對高校教育領(lǐng)域的研究，特別是虛擬實驗方面的應(yīng)用研究較少，而且Kinect體感技術(shù)在虛擬實驗方面的研究還沒有完全深入了解Kinect體感技術(shù)，僅限于應(yīng)用它的手勢識別和語言識別技術(shù)，在3D模型和仿真場景的構(gòu)建方面大多使用虛擬現(xiàn)實引擎Unity 3D或者3ds Max來制作，花費(fèi)大量的時間和精力。

2 虛擬實驗綜述

傳統(tǒng)食品檢驗實驗對實驗場所的要求較高，對容納的學(xué)生人數(shù)有較大限制。學(xué)生在進(jìn)行傳統(tǒng)食品檢驗實驗操作時，無法避免儀器的損耗和某些意外情況的發(fā)生，如實驗室操作不當(dāng)引起的人身損傷。某些較為先進(jìn)的食品檢驗設(shè)備耗資巨大，一般學(xué)校無法提供，導(dǎo)致學(xué)生只能通過文字了解，無法獲得直觀的認(rèn)識。傳統(tǒng)食品檢驗無法滿足實驗可重復(fù)性的需要，無法連貫進(jìn)行下一個實驗項目。傳統(tǒng)實驗需要進(jìn)行實驗準(zhǔn)備工作，無法隨時使用，對于學(xué)生自學(xué)以及實驗技術(shù)的提升方面有一定的局限性。

通過網(wǎng)頁呈現(xiàn)的虛擬實驗操作平臺其最大的問題在于jre.exe插件與操作系統(tǒng)的兼容問題，瀏覽器的兼容問題以及各種殺毒軟件和安全衛(wèi)士的攔截問題。虛擬仿真實驗不能保證學(xué)生的自主參與，還是需要鎖定在已配置好網(wǎng)絡(luò)環(huán)境的專業(yè)實驗室中，這樣的虛擬實驗平臺需要專業(yè)的科技公司提供技術(shù)支持和維護(hù)，成本較高，并且可能更加適用于電子信息類的課程，其他的課程例如醫(yī)學(xué)、食品等需要呈現(xiàn)立體三維模型的課程則無法達(dá)到要求。學(xué)生在實驗過程中都是相互獨(dú)立的個體，無法完成需要協(xié)同工作的實驗內(nèi)容。并且已經(jīng)進(jìn)入感官時代的今天，這樣的虛擬實驗無法給學(xué)生帶來最真實的體驗。

對虛擬現(xiàn)實應(yīng)用來說，體感技術(shù)可以改善虛擬實驗的交互輸入方式，Kinect降低了虛擬現(xiàn)實使用的門檻，擴(kuò)大了虛擬現(xiàn)實應(yīng)用的范圍，增加了虛擬現(xiàn)實表現(xiàn)的真實感。如何顛覆傳統(tǒng)的食品檢測實驗，脫離虛擬實驗所帶來的問題，既能節(jié)約資源、降低成本，提高學(xué)生的興趣、給予最真實的體驗，達(dá)到理想的教學(xué)效果，培養(yǎng)企業(yè)所需的應(yīng)用型人才是本項目研究的主要意義。在食品檢測實驗中，基于Kinect外部設(shè)備的體感交互技術(shù)需要在這幾個方面與其進(jìn)行整合：

（1）硬件配置，主要硬件包括Kinect傳感器、配置較高的臺式電腦，要求CPU主頻3GHz或以上，多核處理器，擁有2G內(nèi)存的獨(dú)立顯卡；

（2）軟件配置，安裝 Windows 7操作系統(tǒng)、.NET Framework 4.0、Visual Studio 2010、Kinect for Windows SDK 1.8（改進(jìn)和強(qiáng)化了Kinect Fusion功能）；

（3）準(zhǔn)備食品檢測實驗中的所用器材，這些器材要求擺放在標(biāo)準(zhǔn)的位置，同時將整個實驗操作過程錄制生成視頻文件；

（4）預(yù)先設(shè)計好Kinect傳感器從哪些角度去掃描實驗器材，通過Kinect for Windows SDK中的相關(guān)API這樣Kinect Fusion才能比較完美地將真實的場景重構(gòu)成3D模型；

（5）記錄真實實驗過程中的手勢和肢體動作，通過Kinect for Windows SDK中的Kinect Interaction控件將需要設(shè)計的功能添加到應(yīng)用程序中；

（6）設(shè)計交互界面，使用C#語句將食品檢測實驗的具體操作步驟模塊化、圖形化。

當(dāng)然，如果要將食品檢測實驗通過體感技術(shù)開發(fā)成一個完整的實驗系統(tǒng)，需要整合更為復(fù)雜的內(nèi)容。

3 實驗設(shè)計

在研究Kinect開發(fā)架構(gòu)、Kinect基本構(gòu)造和性能，探討利用Kinect for Windows SDK提供的軟件庫與應(yīng)用程序進(jìn)行交互的可行性的基礎(chǔ)上，可根據(jù)以下的思路進(jìn)行設(shè)計：

（1）使用Kinect for Windows SDK中 Kinect Fusion技術(shù)，預(yù)先布置好實驗器材等真實的場景重構(gòu)成3D模型；

（2）記錄真實實驗過程中的手勢和肢體動作，使用NITE提供的基本動作實現(xiàn)了對“實驗儀器”的選擇、移動和旋轉(zhuǎn)三種操作；

（3）通過Kinect for Windows SDK中的Kinect Inter?action控件將需要設(shè)計的功能添加到應(yīng)用程序中；

（4）設(shè)計交互界面，使用C#語句將食品檢測實驗的具體操作步驟模塊化、圖形化。

首先對食品檢測實驗操作過程進(jìn)行分析調(diào)研，確定器材的種類，原料的配比。接著使用Kinect設(shè)備將器材進(jìn)行拍攝，其中的3D深度攝像機(jī)技術(shù)可以捕捉空間位置。再通過Kinect Fusion技術(shù)將拍攝的圖像重構(gòu)成3D模型。然后使用Kinect中的人體骨骼追蹤技術(shù)，通過軟件計算出人的骨骼位置。通過Kinect設(shè)計自然交互，實現(xiàn)虛擬演示。在Visual Studio中運(yùn)用C#語句控制Kinect設(shè)備的開關(guān)。最后在Visual Studio中運(yùn)用C#語句設(shè)計圖形用戶界面。開發(fā)流程如圖1所示。

圖1 系統(tǒng)開發(fā)流程圖

4 結(jié)語

通過Kinect技術(shù)輔助食品檢測實驗，減少資源消耗，增強(qiáng)實驗操作和學(xué)習(xí)的沉浸感。系統(tǒng)的開發(fā)和應(yīng)用，不僅對提高食品檢測實驗的教學(xué)質(zhì)量起到一定的輔助作用，還對虛擬仿真資源在實驗中的運(yùn)用，以及研究體感技術(shù)對于傳統(tǒng)實驗方法和教學(xué)模式有所啟迪，為體感技術(shù)引入高能耗、高污染的實驗提供了新的思路。