華子荀

摘? 要 從體感技術、體感技術教學應用入手進行研究綜述，在研究綜述和理論基礎指導下，選擇厲動的內置插件Touchless

和Flash軟件開發(fā)并應用厲動體感控制器的學習資源。選擇美國某州立大學展開案例研究，進行為期兩周的教學：第一周為開發(fā)的互動學習資源學習;第二周為利用體感控制器的Sculp-ting軟件進行3D模型建構，并利用Form 1+機器進行3D打印。研究結果表明，厲動體感控制器及其學習資源能夠促進學生的學習表現(xiàn)，開展有效的STEAM實踐教學活動。該研究對于推動體感技術教學應用、豐富體感技術支持的課堂學習活動具有重要的理論意義和實踐價值。

關鍵詞 體感技術;厲動體感控制器;STEAM教育;學習資源;實踐教學項目;Flash;3D

中圖分類號：G652? ? 文獻標識碼：B

文章編號：1671-489X（2019）04-0012-05

Abstract This research focus on the aspects of gesture-based tech-nology and its teaching method. Based on the literature review and related theory， researcher apply the device of Leap Motion， the Touchless app， and Flash software in the process of development. For the case study， STEAM program has been chosen as the teachingframework. The period includes two weeks. The first weeks task is to apply the resources of interactive Leap Motion. The second weekstask is to teach students to construct virtual 3D model by the Sculp-ting app of Leap Motion， and to teach students printing the virtual 3D model by Form 1+ 3D printing machine. After case study， the researcher pointed out the conclusion that Leap Motions STEAM program can promote students learning performance and the active STEAM activities. The research not only can increase the resources and app of Leap Motion， but also help concrete the related theory of STEAM practice and gesture-based technology.

Key words gesture-based technology; Leap Motion gesture-based controller; STEAM education; learning resources; practical teaching project; Flash; 3D

1 前言

當前，移動計算、體感技術、3D打印技術等新一代信息技術逐步在課堂學習中得到廣泛應用。體感技術（Gesture-

based Technology）是一種直接利用軀體動作、聲音、眼動等方式與周邊的裝置或環(huán)境互動，由機器對用戶的動作進行識別、解析并做出反饋的人機交互技術[1]。教育部在《教育信息化“十三五”規(guī)劃》中指出：“應利用信息技術改造傳統(tǒng)教學中‘進不去、看不見、動不了、難再現(xiàn)的難題?！斌w感技術以其互動性、情境性、沉浸性的特點，在動作模仿、技能訓練、情境演練、動態(tài)展示等方面，具有其他技術所不具備的優(yōu)勢。而且在課堂教學中應用體感技術主要是解決兩方面問題：一是某些現(xiàn)象、模型、實驗在課堂教學中難以模擬再現(xiàn);二是傳統(tǒng)課堂中的實驗、活動存在明顯短缺[2]。所以，體感技術教學應用，對于解決課堂教學重點、難點，改進學生的學習方式方面，具有獨特的重要作用。

2 研究綜述

體感技術? 體感技術是通過肢體運動即可實現(xiàn)人機交互的一種技術實現(xiàn)方式，一般通過慣性感測、光學感測和綜合感測三種途徑進行交互[1]。體感技術架構由體感設備、體感軟件、現(xiàn)實設備、語音識別設備、手部數(shù)字化設備等組成[3]，具體的設備有數(shù)據(jù)手套、力矩球、觸覺和力覺反饋裝置、手持式交互設備等，基于這些設備能夠開展互動式教學應用[4]。

體感技術支持的教學方法? 體感技術教學方面，體感技術能夠給予學生真實感受，所以在開展情境教學方面效果突出，教師可以利用體感技術進行實物演示、扮演體會等教學，幫助學生進行知識建構[5];除此之外，技能訓練、虛擬場景展示[6]、情境式教學、體驗式學習[7]都能夠激發(fā)學生的創(chuàng)造性思維，培養(yǎng)其創(chuàng)新能力[8]。體感技術也要與實體結合進行操控，從生活中提煉主題，以累進的方式加強程序的功能性[9]。

問題提出? 通過以上綜述可以發(fā)現(xiàn)，體感技術在支持課堂教學方面具有突出作用，因此，如何應用體感技術優(yōu)點開展教學應用，成為本研究的主要問題，具體包括：

1）如何開發(fā)適用于Leap Motion體感控制器的學習資源？

2）如何開展案例研究，證明體感技術具有顯著的教學效果？

3 Leap Motion體感控制器及其學習資源開發(fā)

Leap Motion體感控制器? 基于成本低廉、性能穩(wěn)定和使用方便三個特點，本研究體感技術選擇Leap Motion體感控制器。Leap Motion（厲動）是一款于2013年發(fā)布的體感控制設備，支持Windows、OS X和Linux等系統(tǒng)的使用，其優(yōu)點是可以迅速捕捉人手指及其手勢的動作實現(xiàn)人機交互，與同類設備相比，厲動體感控制器使用便捷，安裝簡易[10]。厲動體感控制器擁有兩個單色紅外攝像頭（IR）和三個LED攝像頭，允許學習者進行前后150°范圍內的操作，活動距離在25～600毫米之間，具有較高的靈活性以及精準性。厲動體感控制器使用示意圖如圖1所示。

如圖2所示，厲動體感控制器具有優(yōu)于其他體感控制設備的優(yōu)點，它可以精確識別手指關節(jié)，如遠端指骨（Distal phalanges）、中間指骨（Intermediate phalanges）、近節(jié)指骨（Proximal phalanges）和掌骨（Metacarpals），允許更加精確的手勢操作[11]。厲動體感控制器基于紅外檢測技術，可檢測手部29塊骨頭、29個關節(jié)的復雜的手部動作，檢測精度高達1/100毫米。同時在150°的超寬幅空間中，可以利用厲動體感控制器在3D虛擬環(huán)境中進行各種手勢操作。厲動體感控制器的檢測幀速為每秒200幀，可以對快速的手部動作進行瞬時捕捉，實現(xiàn)體感技術與互動內容的即時互動與反饋。

厲動體感控制器的學習資源開發(fā)? 本研究計劃實現(xiàn)的學習資源形式為利用控制器內置插件Touchless for windows

進行體感控制，利用Flash軟件開發(fā)可點擊的互動模塊學習體感技術控制方法，學習基礎知識后應用厲動的3D模型軟件制作虛擬3D模型，最后在案例研究中優(yōu)化模型進而3D打印模型。

如圖3所示，Touchless for windows應用可以進行光標控制，靈活操作學習資源中的視頻模塊，為學習者提供了可懸空的虛擬觸摸屏，學習者只需抬起手或手指即可實現(xiàn)人機互動。同時能夠實現(xiàn)用手指指向屏幕進行點擊，在空中滑動手指進行滾動，用單手或雙手進行縮放等功能。

應用Flash CS5軟件進行可互動學習資源的開發(fā)，以HTML網(wǎng)頁的形式保存，能夠簡化操作。

在Flash中，使用ActionScript實現(xiàn)交互性。將每個視頻作為一個交互按鈕，學習者可以利用體感技術設備點擊按鈕實現(xiàn)人機交互的過程，交互按鈕的命令代碼如下所示：

【交互按鈕1】

addEventListener （MouseEvent.CLICK， clickListener1）：

Function clickLisener1 （event：MouseEvent）：void{

SoundMixer. stopALL（）;

gotoAndStop（“xxx”）;}

以上代碼即為點擊交互按鈕1，便執(zhí)行一個交互按鈕的命令。

之后對每一個知識進行嵌套，嵌套的模式即依據(jù)學習資源結構進行編輯，在一個模塊之后加載外部文件，代碼如下：

Page1_mc.addEventListerner（MouseEvent. CLICK， page1

content）;

Function page1content （myevent：MouseEvent）：void{

Var myURL：URLRequest=new URLRequest （“交互按鈕1”）;

myLoader. Load（myURL）;

addChild（myLoader）;}

以上代碼通過創(chuàng)建一個偵聽器，檢測名為“page1_mc”

的對象上的鼠標點擊事件，實現(xiàn)播放交互模塊“page1.swf”

的目的。完成以上命令，即完成資源的開發(fā)，該資源以網(wǎng)頁HTML的形式進行互動，以適應各種計算機平臺的使用。

體感技術學習資源的內容設計? 體感技術學習資源包括3D建模軟件與體感控制器使用方法兩部分內容。內容設計包括菜單界面設計與模塊設計。

該學習資源的菜單界面設計首先將3D建模軟件的學習模塊與體感控制器的學習模塊進行區(qū)分，以幫助學生能夠按目的進行學習，在界面首行設計三個交互按鈕，即“開始”“3D建模軟件”“Leap Motion體感控制器”。其中“開始”即返回至主界面，“3D建模軟件”即進入與3D建模軟件相關的菜單界面，“Leap Motion體感控制器”即進入與厲動體感控制器相關的菜單界面。菜單界面中，學習資源按標號進行排序，學生既可以按順序進行自主學習，也可以按目的索引標號進行針對性學習。其中“3D建模軟件”模塊資源包括八個，“Leap Motion體感控制器”模塊資源包括七個。

學習模塊設計方面，在每一個模塊布局中均放置了說明文字、微課視頻窗口和交互按鈕。其中說明文字即該模塊的名稱;視頻窗口是將開發(fā)的微課視頻資源按照播放器的形式放入Flash中，便于學生觀看。如圖4所示，交互按鈕設計三個，分別是“主界面”“上一節(jié)”和“下一節(jié)”。其中“主界面”即返回至課堂學習資源的主界面，“上一節(jié)”即觀看當前視頻資源上一節(jié)的視頻資源，“下一節(jié)”即按照標號順序對視頻資源進行觀看。在學習界面設計中，為保證學習者人機互動的流暢性，盡量將交互按鈕的范圍擴大，同時保證視頻窗口的比例，保證學習者能夠學習到視頻中的關鍵知識點。

4 基于美國某州立大學的STEAM實踐教學項目案例

美國某州立大學STEAM實踐教學項目? 本研究選擇美國某州立大學STEAM實踐教學項目作為體感技術學習應用案例。該州立大學是一所以理工類專業(yè)為主要特色的美國公立大學，由于該學校教育類專業(yè)以STEAM教育為主，因此在科學、技術、工程類教學法和教學支撐工具上能夠為本研究提供便利的實驗條件。該項目基于州立大學教育學院的STEAM教學實踐開展，已經(jīng)對大學的學生、教師、訪問學者展開案例研究。

實驗目的? 本研究采用單組前后測對比實驗的方法，驗證該學習策略對促進學生的學習質量和學習效果的有效性。將學習質量界定為學生的課堂學習表現(xiàn);基于Clarke

（2008）對學習效果的詮釋，將學習效果界定為五項指標，包括學習動機、自主學習能力、協(xié)作學習能力、問題解決能力和創(chuàng)新性思維能力[11]，最后通過學習質量、學習效果、指標評價來驗證本研究的結論。

實驗對象? 本研究選取大學的16名學生志愿者，進行為期兩周的準實驗研究（2016年5月16日至6月1日），同時向具有不同國家背景（美國、中國、韓國、墨西哥、巴西等）、專業(yè)背景（核能、航空航天、醫(yī)學、文學等）、層次背景（本科生、碩士、博士、博士后、訪問學者）的36名被調查者進行調查，以驗證應用效果。

實驗過程? 該課程教學周期為兩周，第一周以學習互動資源為主。如圖5所示，基于厲動體感控制器，利用開發(fā)的“Leap Motion使用方法”Flash學習資源進行教學。利用厲動體感控制器可以對資源進行旋轉、縮放、查看等操作的學習，以促進學生對利用體感技術形成初步了解。在教學過程中，教師將兩個學生作為一組，利用體感控制器進行查看，并在之后的展示環(huán)節(jié)進行展示;完成展示部分，學生將根據(jù)該軟件和技術對教學法進行討論，以豐富STEAM教育中體感技術應用的教學法。

第二周以工程課內容為主，選擇厲動體感控制器和Form1+3D打印機作為教學工具，利用Sculpting軟件制作三維模型，讓學生熟悉三維建模與3D打印制作流程。如圖6所示，利用Sculpting軟件允許學生進行3D模型的建構，在建構過程中學生通過厲動體感控制器對模型進行相關操作，完成3D模型后將導出的STL文件與Form 1+打印機連接，利用3D打印機將建模作品實體化，如圖7所示。此課程目的旨在向學生介紹體感技術與3D打印技術相結合的教學過程，并促進學生操作體感技術進行建模以及操作3D打印機制作模型的過程。

實驗結果

①學習表現(xiàn)評價。教師對學生的學習表現(xiàn)進行評價，采取前后測對比實驗的方法，在學生參與學習之前進行調查，確定學生的初始水平，在學習結束后進行后測評定，該評定結果為教師根據(jù)學生在課堂中的表現(xiàn)以及任務完成情況給出，評定等級為5級，包括A+、A、B+、B、C，分別對應5、4、3、2、1，采用IBM SPSS 22對學生的學習成績進行分析，采用單樣本t檢驗的方法，首先提出假設H0，即研究對象前后測成績無顯著差異，分析后得到學生前后測成績均值如表1所示。

表中p=0.00，小于0.05，故拒絕原假設H0，即拒絕單組前后測成績無顯著差異。驗證得出結論，學生在參與以體感技術支持學習模式下的教學活動后，其學習質量得到明顯提高。

②學習態(tài)度評價。學習態(tài)度評價調查分別向16名學生和36名調查者展開，根據(jù)學習態(tài)度子指標設計學習態(tài)度調查量表，該量表為五維單向量表，在課程結束后向學生發(fā)放，利用F檢驗得到結果，F(xiàn)值計算公式如下：

其中，F(xiàn)值以大于0.5為標志，解釋為回答者對該項表示肯定。a為認為“很好”的人數(shù)，b為認為“較好”的人數(shù)，c為認為“中等”的人數(shù)，d為認為“較差”的人數(shù)，e為認為“很差”的人數(shù)，n為總人數(shù)。通過F檢驗，得到五項能力的均值如表2所示。

5 結語

本研究從體感技術、體感技術教學應用方面入手，進行研究綜述，在研究綜述和理論基礎指導下，選擇厲動的內置插件Touchless和Flash軟件開發(fā)并應用厲動體感控制器的學習資源。選擇美國某州立大學展開案例研究，進行為期兩周的教學：第一周為開發(fā)的互動學習資源學習;第二周為利用體感控制器的Sculpting軟件進行3D模型建構，并利用Form 1+機器進行3D打印。課程結束后，通過對16名學生和36名觀察者的調查得到相關數(shù)據(jù)：學生的前測成績均值為2.500 0，后測成績均值為4.687 5，p值為0（0<0.05），表明厲動體感控制器及其學習資源能夠提高學生的學習表現(xiàn)。學習態(tài)度的調查結果為：學習動機均值（F1=0.90）、自主學習能力均值（F2=0.90）、協(xié)作學習能力均值（F3=0.78）、問題解決能力均值（F4=0.82）、創(chuàng)新性思維能力均值（F5=0.88）都超過均值0.5，表明學生和觀察者都認同厲動體感控制器及其學習資源的教學效果。通過以上數(shù)據(jù)表明，厲動體感控制器及其學習資源能夠開展有效的STEAM實踐教學活動，對于推動體感技術教學應用、豐富課堂學習活動和促進信息技術與教育教學深度融合，具有重要的理論意義和實踐價值。

參考文獻

[1]李青，王青.體感交互技術在教育中的應用現(xiàn)狀述評[J].遠程教育雜志，2015（1）：48-56.

[2]CAI S， WANG X， Chiang F K. A case study of AugmentedReality simulation system application in a chemistrycourse[J].Computers in Human Behavior，2014（37）：31-40.

[3]鮑禮銘.基于虛擬現(xiàn)實技術在教育系統(tǒng)中的運用[J].電子測試，2015（3X）：130-132.

[4]葉裴雷.虛擬現(xiàn)實技術及應用分析[J].電子技術與軟件工程，2015（16）：44.

[5]葛萱，王清.虛擬現(xiàn)實技術在教學中的應用模式探析[J].中國醫(yī)學教育技術，2007，21（3）：198-201.

[6]姬洪強.淺談虛擬現(xiàn)實技術在學科教學中的應用[J].中國現(xiàn)代教育裝備，2008（3）：46-47.

[7]董麗，陳仕品.體感技術：拓展教學方式改革的新途徑[J].軟件導刊·教育技術，2015（7）：93-95.

[8]朱海，李瑞芬，趙輝.談虛擬現(xiàn)實技術及實踐教學的虛擬化[J].現(xiàn)代遠距離教育，2005（3）：64-66.

[9]秦賽玉.Kinect2Scratch：嘗試以更自然的方式對話機器[J].中國信息技術教育，2014（1）：64-67.

[10]Potter L E， Araullo J， Carter L. The Leap Motion controller： a view on sign language[M]//OzCHI 13 Proceedings of the 25th Australian Computer-Human Interaction Conference： Augmentation， Application， Innovation， Collaboration.2013：175-178.

[11]Carmen A G D Olmo. Study and analysis of the LeapMotion sensor and the Software Development Kit（SDK） for the implementation of visual Human Computer Interfaces[DB/OL].http：//oa.upm.es/37299/7/PFC_CARMEN_ALABART_GUTIERREZ_DEL_OLMO_2015.pdf.