尚福華　宋欣雨　解紅濤

摘 要：由于傳統(tǒng)的仿真培訓中只能通過鼠標的點擊與鍵盤進行交互，存在著現(xiàn)場感缺乏以及用戶體驗不足等缺點，針對油田射孔崗位仿真培訓中的交互問題，提出了應(yīng)用情境學習理論結(jié)合體感交互技術(shù)的仿真培訓系統(tǒng)。通過將Unity與體感交互技術(shù)結(jié)合，學習者可以運用手勢與姿勢來實現(xiàn)與仿真培訓系統(tǒng)的交互操作。結(jié)合應(yīng)用這一技術(shù)可以使得學習者能夠在更逼真的虛擬學習環(huán)境中盡情的體會和學習，滿足學習者的體驗和參與需求，可以有效促進學習者從具體的感知經(jīng)驗上升到抽象的知識概念，為教學培訓的順利開展創(chuàng)設(shè)有利的條件。

關(guān)鍵詞：體感交互;仿真培訓系統(tǒng);油田射孔;Kinect;運動捕捉

中圖分類號：TP311????? 文獻標識碼：A

Application Study of Perforation Simulation Training

System Based on Context Learning

SHANG Fu-hua， SONG Xin-yu， XIE Hong-tao

（School of Computer and Information Technology， Northeast Petroleum University， Daqing， Heilongjiang 163318，China）

Abstract：Because traditional simulation training can only interact with the keyboard through mouse clicks， there are shortcomings such as lack of sense of presence and inadequate user experience. Aiming at the interaction problems in the simulation training of oilfield perforating positions， an application context learning theory combined with somatosensory interaction Technical simulation training system. By combining Unity with somatosensory interaction technology， learners can use gestures and gestures to achieve interactive operations with the simulation training system. Combined with the application of this technology， learners can experience and learn in a more realistic virtual learning environment， meet the needs of learners' experience and participation， and effectively promote learners to rise from specific perceptual experiences to abstract knowledge concepts. Create favorable conditions for the smooth development of teaching and training.

Key words：somatosensory interaction; simulation training system; oilfield perforation; Kinect;motion capture

油田射孔工序作為石油工序中最為關(guān)鍵的工序之一，對于職工的培訓非常重要，因此油田也開發(fā)出了一些用于崗前培訓的仿真系統(tǒng)，例如油田鉆井作業(yè)培訓系統(tǒng)[1]。傳統(tǒng)的仿真培訓方式一般是只能通過鼠標的點擊進行交互，但隨著時代與科技的發(fā)展，傳統(tǒng)的仿真培訓方式也暴露出了一些不足之處：一是交互方式單調(diào)，傳統(tǒng)的仿真培訓只能通過鼠標點擊進行交互，長時間學習無法達到好的學習效果，不利于學習者的學習積極性[2]。二是培訓缺失問題，企業(yè)中存在著許多的未經(jīng)過系統(tǒng)化培訓的軟件操作人員，由于對系統(tǒng)及操作不規(guī)范既延誤了工作，又帶來了大量的維護工作，給建設(shè)單位帶來了額外的經(jīng)濟負擔[3]。三是受教育者都是成人，成人在學習過程中就存在著學習積極性低下，水平層次不齊，沒有明確學習目標等諸多問題[4]。另外，傳統(tǒng)的培訓中又存在著現(xiàn)場感缺乏以及用戶體驗不足等缺點，無法充分的激發(fā)學習者的學習興趣，并且對于一些學習基礎(chǔ)較弱的群體可能達不到預(yù)計的學習效果，因此也需要一些新的方法來使其達到更好的學習效果[5]。

體感技術(shù)作為近些年新興的技術(shù)在很多領(lǐng)域中都已經(jīng)有所應(yīng)用，比如在移動機器人[6]中以及醫(yī)學智能診斷[7]中都取得一定的研究成果，但是在針對油田的仿真培訓中，還沒有被應(yīng)用。結(jié)合體感技術(shù)后的仿真培訓可以對油田射孔仿真培訓中的交互操作演示的更為精確，比如在吊卡的下放過程中，傳統(tǒng)的仿真培訓只能做到通過鼠標點擊看到吊卡向下移動，如果對于理解不當?shù)墓と朔浅Ｈ菀自诠ぷ髦袀?。結(jié)合了體感技術(shù)的仿真培訓，工人可以通過自己的姿勢來控制吊卡的下放，并且在操作不當?shù)臅r候提示警告，但為了達到更好的培訓效果，在引入體感交互技術(shù)的基礎(chǔ)上還需要應(yīng)用教學理論對培訓系統(tǒng)進行設(shè)計。

在虛擬仿真系統(tǒng)中融入嚴肅游戲的思想是提高培訓效果的一種常用方式，在油田鉆井培訓領(lǐng)域已經(jīng)得到了應(yīng)用[8]?；趪烂C游戲的思想，在仿真培訓系統(tǒng)的設(shè)計過程中引入了情境學習理論。情境學習是指在所要學習的知識或技能的應(yīng)用情境中進行學習的方式[9]。杜威倡導“做中學”，“教育即生活”的教學思想明確了情境在學習過程中的重要性[10]。麥克萊倫的情境學習理論認為不能脫離具體的情境而單獨地去看待學習 [11]。情境學習理論認為知識必須在一個真實的環(huán)境中學習如何使用，概念的理解需要持續(xù)不斷地建構(gòu)，同時個體間的交流往往會產(chǎn)生知識[12]。也表明將技術(shù)融合于教學在真實情境中學習是提升學習者信息化教學能力的有效手段[13]。

因此，在油田射孔仿真培訓設(shè)計中融入情境學習理論，并通過體感交互技術(shù)實現(xiàn)該仿真培訓系統(tǒng)。體感交互式仿真培訓系統(tǒng)與傳統(tǒng)的仿真系統(tǒng)相比具有更高度的沉浸感和實時性，同時在系統(tǒng)的交互上具有更多樣性等優(yōu)點。用戶可以在模擬真實場景的學習環(huán)境中體會到高度的沉浸感，而且還可以與虛擬場景通過肢體動作直接進行交互，實現(xiàn)充分的學習體驗。改變了學習者僅僅作為單純的被動接受者，可有效實現(xiàn)更好的培訓質(zhì)量，提高培訓效率，節(jié)約培訓成本。

1 基于情境學習的射孔仿真培訓系統(tǒng)設(shè)計

在情境學習理論中提出的學習情境應(yīng)該具備以下特征：提供的學習情境以及發(fā)生的學習活動需具備真實性原則，在學習過程中還要給學習者布置相應(yīng)的學習任務(wù)。還可以提供學習者與專家交流學習的機會，學習者可以通過仔細觀察并學習模仿專家的行為來習得新知識。傳授者在教學的關(guān)鍵時刻為學生提供引導，并總結(jié)課堂內(nèi)容，促進學生反思。

根據(jù)情境學習理論的特征總結(jié)出以下三條特點[14]：

（1）學習者觀察專家的動作，并模仿專家的動作來得到經(jīng)驗;

（2）在真實的學習情境中進行真實的學習活動;

（3）總結(jié)教學內(nèi)容，促進學生反思

結(jié)合體感交互技術(shù)的情境式射孔仿真培訓系統(tǒng)是可以更好地滿足學習者的學習體驗需求，其設(shè)計的理論指導思想是融入情境學習理論的特征，并結(jié)合油田射孔仿真培訓系統(tǒng)的特點提出符合的設(shè)計模式：指導觀察、情境實踐、情境考核以及反思功能的設(shè)計開發(fā)模式（如圖1）。在學習內(nèi)容的安排上也遵循著情境學習理論的學習動機、學習本質(zhì)、學習內(nèi)容、學習過程以及學習評價的培訓模式。遵循著學習內(nèi)容從學習者的視覺接受到反饋反思的規(guī)律來設(shè)計安排培訓內(nèi)容以及開發(fā)培訓系統(tǒng)。

1.1 指導觀察

根據(jù)指導觀察思想在情境式射孔仿真培訓系統(tǒng)中設(shè)計了文字指導模塊以及視頻演示模塊。通過對于學習者知識學習的層層遞進原則進行分析，先通過文字指導模塊以及視頻演示模塊兩個功能來對學習者進行最初始的知識建構(gòu)，讓學習者對于學習內(nèi)容先有一定程度的理解，在通過后面的實踐模塊來進行驗證，達到強化學習的目的。

1）文字指導模塊：通文字指導模塊，先讓學習者對于油田射孔學習建立最初級的知識，對于油田射孔的背景以及操作過程中的注意事項先建立一定的理解，再通過后面的視頻演示模塊來直觀的學習油田射孔工序的操作。

2）視頻演示模塊：通過對油田射孔工人在真實操作過程中的調(diào)研、錄像以及拍照，制作出視頻演示模塊，對于學習者在文字指導模塊中學習到的內(nèi)容，可以更直觀的感受，并且對于在文字中無法體會理解的操作，也可以直觀的看到，在文字形成的知識和記憶之上再度強化對于知識的理解。

1.2 情境實踐

根據(jù)情境實踐思想在情境式射孔仿真培訓系統(tǒng)中設(shè)計了交互演練模塊。通過模擬真實的應(yīng)用場景，使學習者產(chǎn)生沉浸感，從而激發(fā)學習興趣，提高學習效率。交互演練模塊：作為體感式射孔仿真培訓系統(tǒng)的核心環(huán)節(jié)，也是學習者學習和強化的重要環(huán)節(jié)。如果只是在文字指導模塊和視頻演示模塊進行學習，學習者的學習內(nèi)容得不到驗證。通過在體感式的交互中，對于學習者在文字學習和視頻學習中無法體會到的操作動作得到理解，學習者通過自己的姿勢以及手勢來完成學習內(nèi)容，真實的還原了射孔工序中的真實操作，這樣的學習效果是傳統(tǒng)的仿真培訓所達不到的。

1.3 情境考核

根據(jù)情境考核思想在情境式射孔仿真培訓系統(tǒng)中設(shè)計了三維考核模塊。結(jié)合了情境思想的射孔仿真培訓系統(tǒng)的考核功能也可以通過體感交互技術(shù)來進行學習驗證，學習者的參與度高，對學習內(nèi)容驗證充分。三維考核模塊：通過對交互演練的修改，去除了交互演練過程中的提示性和指導性的環(huán)節(jié)，改為了對學習者每一個交互過程的考評及打分的機制，當學習者本步操作正確會提示學習者操作正確，反之會提示操作錯誤，當考試結(jié)束后會提示學習者考試結(jié)束，并公布考試成績以及在哪一步中進行了錯誤的操作，以便于學習者發(fā)現(xiàn)自身錯誤問題。

1.4 反思功能

根據(jù)反思功能思想在情境式射孔仿真培訓系統(tǒng)中設(shè)計了學習反思模塊。根據(jù)情境考核結(jié)果，系統(tǒng)反饋給學習者存在的問題，讓學習者對薄弱知識點進行反思。學習反思模塊：針對于學習者在三維考核模塊中錯誤問題的記錄，將學習者在學習過程中存在的薄弱知識點反饋給學習者，并且在下次學習中通過反復(fù)的練習來強化學習者的記憶，來達到學習效果。

2 體感交互式射孔仿真培訓系統(tǒng)實現(xiàn)

設(shè)計開發(fā)的體感交互式射孔仿真培訓系統(tǒng)，將手勢以及姿勢捕捉功能融入到射孔仿真培訓系統(tǒng)中，通過用手勢和姿勢來替代鼠標與鍵盤，達到用手勢與姿勢實現(xiàn)與射孔仿真培訓系統(tǒng)的交互功能。

2.1 Unity與體感交互技術(shù)結(jié)合

Unity作為虛擬現(xiàn)實系統(tǒng)開發(fā)的一種重要工具，能夠開發(fā)出交互性較強的軟件系統(tǒng)，因此本系統(tǒng)采用Unity作為軟件開發(fā)工具。但是單一使用Unity開發(fā)工具實現(xiàn)的交互只能通過鼠標鍵盤來實現(xiàn)，無法達到體感交互的良好用戶體驗。為了給學習者帶來更好的學習體驗，實現(xiàn)良好的培訓效果，依據(jù)情境學習與情境創(chuàng)設(shè)原則理論，采用Unity和體感設(shè)備結(jié)合開發(fā)本系統(tǒng)，通過手勢交互、姿勢交互等體感交互技術(shù)，實現(xiàn)系統(tǒng)的體感交互功能，從而加強學習者的現(xiàn)場感與學習參與。

在系統(tǒng)開發(fā)中，使用應(yīng)用最廣泛的Kinect攝像機作為體感交互設(shè)備。在Unity中先開發(fā)完成仿真培訓系統(tǒng)并留出Kinect交互設(shè)計部分的接口，再將Kinect官方針對于Unity結(jié)合開發(fā)的SDK包導入到Unity項目中。先由Unity從驅(qū)動中獲取并調(diào)用Kinect數(shù)據(jù)連接層的編寫過程，然后通過對ColorImageStream，DepthImageStream和SkeletonStream三種碼流進行獲取，最后將其傳輸給Unity平臺的接口并進行調(diào)用，達到手勢交互和姿勢交互等操作的功能。

2.2 手勢交互技術(shù)

以仿真培訓系統(tǒng)中的起TCP管柱工序為例，在工序的實際操作中需要用到移動工具，拿取工具以及旋轉(zhuǎn)工具等功能，而在仿真培訓系統(tǒng)中的控制我們又需要用到鏡頭移動，鏡頭的拉近和拉遠等功能。根據(jù)以上情況，再結(jié)合實際工序中的動作標準，設(shè)計了一系列的特征動作與手勢指令相匹配，當執(zhí)行了標準的特征動作時，就會觸發(fā)手勢指令與場景進行交互。控制手勢動作如表1所示。

以起TCP管柱中的拿取手勢指令為例，手勢識別的具體方法為：先檢查人物是否檢測到，利用public Vector3 GetJointPosition（Int64 userId，int joint）。如果檢測到了人物，再運用if（manager.IsUser Detected（）），之后獲取用戶ID時利用 long userId= manager.GetPrimaryUserID（）;再檢查要跟蹤的關(guān)節(jié)點是否已經(jīng)被kinect識別，利用if （manager.Is JointTracked（userId，iJointIndex）），如果識別了再獲取信息，利用Vector3 posJoint=manager.GetJointKinect Position（userId，iJointIndex）;最后識別到底是什么手勢，以握拳手勢為例，利用if（leftHandState ==KinectInterop.HandState.Closed）識別為左手握拳。手勢交互效果如圖2所示。

2.3 姿勢交互技術(shù)

虛擬人物的場景漫游由于受到Kinect的捕捉識別范圍的限制并不能靠真實的人物動作來做到同步驅(qū)動。因此，本系統(tǒng)采用了基于 Kinect 體態(tài)姿勢識別的場景漫游技術(shù)，實時追蹤學員的體態(tài)動作，與場景中的虛擬人物進行反饋，從而完成虛擬人物的前后行走，左右轉(zhuǎn)向等功能，充分地實現(xiàn)了虛擬人物的場景漫游與方向控制。

場景漫游技術(shù)首先獲取使用者的人體骨骼數(shù)據(jù)，生成骨骼數(shù)據(jù)幀，再對使用者的體態(tài)姿勢進行分析識別后，最后轉(zhuǎn)換成控制虛擬人物的指令。以虛擬人物的行走動作為例，首先是獲取使用者的骨骼數(shù)據(jù)，再生成骨骼數(shù)據(jù)幀，分析特征動作，最后轉(zhuǎn)換成虛擬人的姿勢指令;最后是控制虛擬人物做出相應(yīng)的動作。完整控制動作如表2所示。

通過分析Kinect傳感器獲取的現(xiàn)場數(shù)據(jù)深度的方法來實現(xiàn)實時捕捉識別，根據(jù)骨骼跟蹤技術(shù)[15]處理現(xiàn)場數(shù)據(jù)深度，完成對人體骨骼節(jié)點的跟蹤，實現(xiàn)對虛擬人物相應(yīng)的骨骼節(jié)點的實時控制。骨骼數(shù)據(jù)來自于Kinect SDK開發(fā)包的Skeleton Stream流，所生成的每幀數(shù)據(jù)都是骨骼對象的集合。而每個骨骼對象又有描述骨骼位置及關(guān)節(jié)的數(shù)據(jù)，每個關(guān)節(jié)又有一個標示符，可獲取當前骨骼節(jié)點追蹤的狀態(tài)信息，使人物模型的行動軌跡與使用者所給出的姿勢指令所一致。場景漫游效果如圖3所示。

3 系統(tǒng)實施效果反饋

為了檢驗培訓系統(tǒng)的學習體驗和效果，讓工人來應(yīng)用體感交互式仿真培訓系統(tǒng)，調(diào)查工人使用后的學習效果。 通過發(fā)放50份問卷來對使用完體感交互式射孔仿真培訓系統(tǒng)的學習效果進行調(diào)查。如表3所示，78%的工人認為情境體驗良好，74%的工人認為交互方式真實，84%的工人認為能夠有效的調(diào)動學習積極性，70%的工人認為可以提高自己的學習效果，76%的工人認為符合自己的學習方式。

結(jié)果證明該培訓系統(tǒng)可以有效的提高學習者的學習體驗和效果。從實施效果看，研究的基于情境學習的體感交互式射孔仿真培訓系統(tǒng)有助于學習者學習體驗的提高，調(diào)動了學習者的學習興趣，帶給學習者更好的沉浸感學習體驗，因此，我們認為基于情境的體感交互射孔仿真培訓系統(tǒng)可以促進知識的記憶和保留。同時，虛擬情境的學習環(huán)境可以讓學習者反復(fù)的學習與檢驗，有利于技能學習效果的提高，同時大大的節(jié)省實驗成本。

4 結(jié) 論

基于情境學習的體感交互式射孔仿真培訓系統(tǒng)是一種新型的學習培訓工具，在職業(yè)技能培訓，實驗教學，探究學習等方面具有重要的應(yīng)用價值。使用者可以通過手勢或姿勢等方式來實現(xiàn)與仿真培訓系統(tǒng)的交互，有效的增強了學習者的現(xiàn)場感、學習參與感以及學習體驗。經(jīng)過現(xiàn)場工人的使用證明，該系統(tǒng)對于學習者學習效果的提升有很大的幫助。體感交互技術(shù)在教育中的應(yīng)用還處于發(fā)展階段，如何有效地將其融入教育還需要進一步的探索。因此，提出的思路也可以對體感交互技術(shù)在仿真培訓系統(tǒng)的融入提供一些借鑒。

參考文獻

[1] 尚福華，張麗娜，解紅濤.基于香農(nóng)-施拉姆模式的油田鉆井作業(yè)培訓系統(tǒng)設(shè)計 [J].長江大學學報（自然科學版）理工卷，2010，7（03）：555-558.

[2] 李蔚清，吳慧中，林昌年.變電站仿真培訓系統(tǒng)虛擬環(huán)境的研究與實現(xiàn) [J].系統(tǒng)仿真學報，2006，18（S1）：123-126.

[3] 馮亞麗，孫龍安，伊三泉，等. 關(guān)于油田鉆井公司信息化培訓中現(xiàn)代遠程教育模式的探索與實踐 [J].成人教育， 2015，（2）：65-68.

[4] 黃炎. 非正式學習與培訓空間的重構(gòu) [J].成人教育， 2019，（8）：74-78.

[5] 梁剛. 石油生產(chǎn)企業(yè)培訓模式的創(chuàng)新與實踐[J] .中國成人教育， 2016，（19） ： 148-151.

[6] 高日，張雷，郭亮.基于Kinect的機器人交互系統(tǒng)設(shè)計與研究[J].現(xiàn)代電子技術(shù)，2019，42（6）：175-178.

[7] 徐琳，宋國明.基于最優(yōu)交換協(xié)議的醫(yī)療Kinect點云數(shù)據(jù)遠程傳輸系統(tǒng) [J].現(xiàn)代電子技術(shù)， 2019 ， 42 （14） ： 100-103.

[8] 解紅濤.基于Web的虛擬現(xiàn)實技術(shù)在油田井下及鉆井培訓中的應(yīng)用研究 [D].大慶：大慶石油學院，2010.

[9] 張振新，吳慶麟.情境學習理論研究綜述 [J].心理科學， 2005，（1）：125-127.

[10]張占龍，羅辭勇，何為虛擬現(xiàn)實技術(shù)概述 [J].計算機仿真，2005，（3）：2-3.

[11]MCLELLAN H .Situated learning： multiple perspectives [M]. New Jersey： Educational Technology Publications，1996，（6）：5-17.

[12]GEORGE M ， MARYKAY O .Theoretical frameworks for research in chemistry/science education [M].Upper Saddle River： Prentice Hall，2007，（3）：187-203.

[13]LARA K S ， RANDY L .Computer simulations to support science instruction and learning：A critical review of the literature[J]. International Journal of Science Education，2011， （34）：1337-1370.

[14]王文靜.基于情境認知與學習的教學模式研究 [D].上海：華東師范大學，2002.

[15]李杰.體感交互游戲中的人體骨骼跟蹤技術(shù)研究 [J].現(xiàn)代計算機（專業(yè)版），2014，29（6）：11-12