王菖 葉磊 牛軼峰

摘要：分析目前增強/虛擬現(xiàn)實（AR/VR）課程教學(xué)設(shè)計與實踐經(jīng)驗的不足，提出以交互技術(shù)、成像技術(shù)、跟蹤定位技術(shù)為教學(xué)重點，面向全校范圍選課的研究生學(xué)員，通過難易適度的課程實踐設(shè)計，激發(fā)學(xué)員的學(xué)習熱情，培養(yǎng)學(xué)生的動手能力和創(chuàng)新能力，幫助學(xué)生深入理解增強現(xiàn)實與智能交互的基本理論，從而實現(xiàn)培養(yǎng)新型高素質(zhì)AR/VR專業(yè)技術(shù)人才的目標。

關(guān)鍵詞：增強現(xiàn)實人機交互智能系統(tǒng)課程設(shè)計課程實踐

中圖分類號：G64文獻標識碼：A ? ? ? ?文章編號：1672-3791（2022）01（a）-0000-00

The Design and Practice of a Graduate-level Course： Augmented Reality and Intelligent Interaction

WANG ChangYE Lei NIU Yifeng

（National University of Defense Technology， Changsha，Hu′nan Province，410073 China）

Abstract： The limitation of the design and practice of the current Augmented Reality/Virtual Reality （AR/VR） is discussed， and it is proposed that interaction， imaging and tracking are the three core technologies. Considering the diverse source of graduate students that join the course， flexible levels of difficulties are designed for practicing the theories of the course， in order to motivate the students to improve their innovative and hands-on abilities. In this way， the students are expected to understand better the theories of augmented reality and intelligent interaction. As a result， the goal of educating high-quality AR/VR talents could be achieved.

Key Words： Augmented reality; Human-machine interaction; Intelligent systems; Course design; Curriculum practice

2021年3月13日，《中華人民共和國國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃和2035年遠景目標綱要》正式公布，在“建設(shè)數(shù)字中國”篇章中框定了數(shù)字經(jīng)濟重點產(chǎn)業(yè)的七大產(chǎn)業(yè)方向，增強現(xiàn)實和虛擬現(xiàn)實位列其中。增強現(xiàn)實技術(shù)將計算機生成的圖形、數(shù)據(jù)疊加到真實世界的圖像上，為信息交流、過程可視化和思想的創(chuàng)造性表達提供了新方法，代表人機界面發(fā)展趨勢?！对鰪姮F(xiàn)實與智能交互》作為面向全校研究生學(xué)員的選修課，旨在幫助學(xué)生理解增強現(xiàn)實的基本原理和生成虛擬環(huán)境的過程，掌握增強現(xiàn)實系統(tǒng)實現(xiàn)方法。目前，國內(nèi)高校開設(shè)的增強/虛擬現(xiàn)實相關(guān)專業(yè)課程資源較少，課程的理論教學(xué)缺乏系統(tǒng)性和科學(xué)性，尤其是實踐方面尚未充分考慮選課學(xué)員專業(yè)的差異性。該課程面向?qū)W校不同專業(yè)基礎(chǔ)的研究生學(xué)員，注重實踐環(huán)節(jié)的教學(xué)設(shè)計，使學(xué)員能自主選擇合適難度的增強現(xiàn)實軟件工具完成典型的人機智能交互設(shè)計任務(wù)。

1 ?增強現(xiàn)實相關(guān)概念內(nèi)涵

增強現(xiàn)實（Augmented reality，簡稱AR）是一種將計算機生成的圖形、數(shù)據(jù)等虛擬對象疊加到真實場景上，并且可以通過多種方式與虛擬對象實時交互的一種技術(shù)。虛擬現(xiàn)實（Virtual Reality，簡稱VR）是指用計算機圖形學(xué)和仿真技術(shù)生成三維人工環(huán)境，使用者利用各種傳感器設(shè)備融入虛擬空間，以自然的方式與三維環(huán)境交互，使人感覺到完全沉浸在另一個世界中，使人能做在真實世界中不能做的事情[1-2]。將真實環(huán)境和虛擬環(huán)境分別作為連續(xù)統(tǒng)的兩端，位于連續(xù)統(tǒng)中間部分被稱為混合現(xiàn)實（Mixed Reality，簡稱MR），如圖1所示。

2 增強現(xiàn)實與智能交互課程學(xué)情分析

該課程面向全校研究生學(xué)員，歷年選課人數(shù)一般在10～20人左右。本課程要求學(xué)員具備計算機圖形學(xué)、圖像處理、程序設(shè)計語言等相關(guān)基礎(chǔ)知識。但是，近幾年的教學(xué)情況表明，部分學(xué)員不具備上述預(yù)修知識。例如，2020年春季學(xué)期有 9名學(xué)員選課，其中2人具備一般水平的計算機圖形學(xué)基礎(chǔ)知識，7人沒有接觸過相關(guān)知識。由于計算機圖形學(xué)是學(xué)習增強現(xiàn)實的必備知識，因此，該課程計劃安排6課時進行簡介。此外，選課學(xué)員的計算機編程水平參差不齊，計算機、自動化、電子信息等工科專業(yè)的學(xué)員編程基礎(chǔ)較好，但文科專業(yè)（例如語言學(xué)、政治學(xué)）的學(xué)員編程基礎(chǔ)薄弱。因此，本課程的實踐環(huán)節(jié)需要考慮學(xué)員的基礎(chǔ)差異較大的問題，因材施教，設(shè)置難度可選的作業(yè)。

3 增強現(xiàn)實與智能交互課程教學(xué)總體設(shè)計

3.1 ?教學(xué)目的與課程設(shè)計總體思路

該課程以交互技術(shù)、成像技術(shù)、跟蹤定位技術(shù)為教學(xué)重點，幫助學(xué)生掌握增強現(xiàn)實基本概念和原理，學(xué)習運動跟蹤和三維圖形生成技術(shù)，學(xué)習增強現(xiàn)實界面支持的新型人機交互模式，掌握設(shè)計增強現(xiàn)實系統(tǒng)的基本方法，了解增強現(xiàn)實的主要研究方向和應(yīng)用領(lǐng)域，了解增強現(xiàn)實環(huán)境下的人機交互基本原理和技術(shù)。該課程采用的是兩本國外的經(jīng)典教材[3-4]。該課程共36學(xué)時，其中課堂講授26學(xué)時（如圖2所示），課程實踐10學(xué)時。

3.2 ?線上線下混合式教學(xué)模式

受新冠疫情影響，該課程于2020年春季學(xué)期首次采用線上線下混合式教學(xué)模式。按照學(xué)校統(tǒng)一安排，理論課教學(xué)環(huán)節(jié)全部采用線上教學(xué)模式，實踐課環(huán)節(jié)采用線下教學(xué)模式。具體而言，線上教學(xué)采用騰訊會議結(jié)合長江雨課堂的方式。其中，騰訊會議的優(yōu)勢在于網(wǎng)絡(luò)信號較好，具備多種屏幕共享模式，支持多人在線互動。長江雨課堂的優(yōu)勢在于可保留教學(xué)過程視頻，支持教學(xué)過程中的隨堂測試和問卷，方便教師了解學(xué)員掌握相關(guān)知識點的情況，如圖3所示。

“增強現(xiàn)實與虛擬現(xiàn)實的差別”屬于較容易的知識點，通過一次講解，學(xué)員的掌握效果顯著。然而，對于較難的知識點，例如“增強現(xiàn)實系統(tǒng)基本功能結(jié)構(gòu)”，通過一次講解，學(xué)員仍不能完全理解該知識點，需要教師及時調(diào)整授課策略。

4 增強現(xiàn)實與智能交互教學(xué)實踐環(huán)節(jié)

4.1 課程實踐環(huán)節(jié)的必要性和目的

增強現(xiàn)實與智能交互是一門實踐性很強的課程，主要涉及計算機圖性學(xué)、計算機視覺、圖像處理、人機交互、機器學(xué)習、計算機程序設(shè)計等許多學(xué)科，所以該學(xué)科具有知識點多、涉及面廣、理論性強，需要學(xué)生具備較好的邏輯思維能力和數(shù)理基礎(chǔ)等特點，因此，必須通過實踐才能加深對知識的理解。從加強學(xué)生的實踐能力出發(fā)，考慮到課程的建設(shè)需要，需要加強增強現(xiàn)實與智能交互課程的實踐教學(xué)內(nèi)容。

4.2 面向?qū)W員基礎(chǔ)差異性較大的實踐設(shè)計思路

目前研究生學(xué)員的學(xué)習任務(wù)較重，并且學(xué)生的基礎(chǔ)參差不齊，所以在設(shè)計實踐環(huán)節(jié)時，必須把握如何能在較短的時間內(nèi)讓學(xué)生得到最大的能力鍛煉。在這種情況下，教師必須進行充分的準備，事先搭好通用的軟件框架，減輕學(xué)生不必要的負擔，為學(xué)生營造良好的氛圍，將學(xué)生的主要精力集中在創(chuàng)新實踐上，這樣才能提高實踐教學(xué)的效率。結(jié)合該課題組在人工智能[5]、無人機系統(tǒng)[6-7]、智能系統(tǒng)[8]等課程實踐的設(shè)計經(jīng)驗，該課程的實踐環(huán)節(jié)推薦學(xué)員使用Unity軟件，可根據(jù)學(xué)員自身的編程基礎(chǔ)和偏好，自選Vuforia、ARcore、easyAR等組件。

4.3 課程實踐小結(jié)

2020年春季學(xué)期，9名學(xué)員自愿分為6組完成了實踐環(huán)節(jié)。部分實踐作業(yè)完成情況如圖4所示。

圖4（a）所示實踐作業(yè)采用Unity+Vuforia平臺，用校園卡背面的圖案對著攝像頭，通過圖像匹配和視頻疊加，可在校園卡表面播放指定視頻，視頻具有暫停按鈕和播放按鈕等人機交互方式。

該組兩位學(xué)員來自于政治學(xué)專業(yè)，無任何計算機圖形學(xué)、計算機編程基礎(chǔ)。教員和他們自己起初都很擔心無法完成課程實踐環(huán)節(jié)，后來他們自學(xué)軟件使用方法，開發(fā)了增強現(xiàn)實小應(yīng)用，提升了能力和信心，并計劃將增強現(xiàn)實技術(shù)用于政治工作的宣傳上，實現(xiàn)了多學(xué)科的交叉融合運用。

圖4（b）所示實踐作業(yè)采用Unity+Vuforia平臺，選擇C#編程語言。通過手機拍攝圖片，識別之后，會在圖片上方產(chǎn)生相應(yīng)的動態(tài)背景與虛擬人物，并伴隨音樂背景。人物模型自下而上緩緩升起，當人物完全出現(xiàn)后，動態(tài)背景消失，系統(tǒng)會播放歡迎語句[9]。在不同的圖片上，會產(chǎn)生不同的人物的模型，每個人物模型會有不同的動作。通過手指操作手機屏幕，可以對人物模型進行操作，對人物進行放大或縮小，也可以旋轉(zhuǎn)人物模型，從不同角度觀察人物模型。撲克牌1中的人物模型的動作包含：“走路”“跳舞”“跑步”“射箭”。撲克牌2中的人物模型的動作包含：“跑步”“跳舞”“俯身”“眺望”“射箭”。

該組學(xué)員來自于計算機學(xué)院，具備較好的編程基礎(chǔ)，且具有較高的學(xué)習熱情，因此自選較高難度的實踐作業(yè)。通過課程實踐，該學(xué)員加深了對AR理論和技術(shù)的理解，初步具備了AR項目開發(fā)的經(jīng)驗。

5 ?結(jié)語

增強現(xiàn)實與智能交互課程以交互技術(shù)、成像技術(shù)、跟蹤定位技術(shù)為教學(xué)核心內(nèi)容，結(jié)合難易適度的課程實踐設(shè)計，幫助學(xué)員深入理解增強現(xiàn)實的基本理論，培養(yǎng)了學(xué)員的創(chuàng)新能力和信心，最終提高了課程的教學(xué)效果。2020年，首次實現(xiàn)了線上理論結(jié)合線下實踐的混合式教學(xué)模式，取得了較好的效果。學(xué)員們反饋，實踐環(huán)節(jié)難度合適，加深了他們對增強現(xiàn)實理論知識的理解，激發(fā)了他們對增強現(xiàn)實技術(shù)的興趣。該課程擬構(gòu)建實踐教學(xué)案例庫，實現(xiàn)具有持續(xù)性和繼承性的實踐教學(xué)新模式。

參考文獻

[1] 張竑.虛擬實踐研究[D].北京：中共中央黨校，2019.

[2] 韋艷嬌.沉浸式虛擬現(xiàn)實課堂設(shè)計方案研究[D].上海師范大學(xué)，2017.

[3] 迪特爾·施馬爾斯蒂格，托比亞斯·霍勒爾.增強現(xiàn)實：原理與實踐（英文版）[M].北京：機械工業(yè)出版社，2018. [4] 盧強.信息技術(shù)環(huán)境下課程學(xué)習生態(tài)研究[D].華中師范大學(xué)，2017.

[5] 張國忠.淺談人工智能課程的教學(xué)實踐環(huán)節(jié)[J].科技資訊，2007（15）：139-140.

[6] 李杰，王菖，牛軼峰，等.無人機系統(tǒng)智能決策課程教學(xué)設(shè)計與實踐[J].計算機教育，2016（10）：11-14.

[7] 牛軼峰，賈圣德，李杰，等.以智能為核心的無人機系統(tǒng)課程體系設(shè)計[J].計算機教育，2016（10）：37-41.

[8] 王慧，姜守嶺.數(shù)字液壓缸反饋螺桿庫倫摩擦仿真研究[J].控制工程，2020，27（4）：662-668.

[9] 韓雨江.當代數(shù)字視覺藝術(shù)研究[D].長春：東北師范大學(xué)，2019.