傅冰
(上海出版印刷高等??茖W校,上海 200093)
虛擬和增強現(xiàn)實技術是指通過計算機將真實與虛擬相結合,打造一個可人機交互的虛擬環(huán)境,它包含虛擬現(xiàn)實(Virtual Reality,VR)、增強現(xiàn)實(Augmented Reality,AR)及MR(AR+VR,混合現(xiàn)實)等多種技術手段,將虛擬內容和真實場景融合,為體驗者帶來虛擬世界與現(xiàn)實世界之間無縫轉換的“沉浸感”。其中,VR 虛擬現(xiàn)實技術的環(huán)境是完全虛擬的,使用者借助特定的傳感設備可沉浸到虛擬環(huán)境之中,并與虛擬對象進行實時互動;AR 增強現(xiàn)實技術是把虛擬的對象疊加放置到真實的環(huán)境中,用戶能在真實的環(huán)境中與虛擬的三維對象進行互動;MR 混合現(xiàn)實技術是基于VR 技術發(fā)展起來的,是虛擬世界和現(xiàn)實世界的融合。以上這3 項技術都擁有傳統(tǒng)教學無法比擬的技術優(yōu)勢,在當前高校實踐教學運用中將發(fā)揮越來越重要的作用。
虛擬和增強現(xiàn)實技術在國外研究起步較早。1963年,“虛擬現(xiàn)實理論”首次由猶他大學的伊萬·薩瑟蘭教授提出。薩瑟蘭教授不僅發(fā)明了第一個支持用戶與機器進行圖形交互的系統(tǒng)Sketchpad,他還開發(fā)了第一個虛擬現(xiàn)實頭盔。
由于技術上的原因,VR 技術發(fā)展緩慢,直到20世紀80 年代后期,信息處理技術的飛速發(fā)展促進了VR 技術的進步。90 年代初,國際上出現(xiàn)了VR 技術研究熱潮,VR 技術開始成為獨立研究開發(fā)的領域。目前,國內關于虛擬與增強現(xiàn)實技術與教育教學融合情況的研究主要集中于設計與開發(fā)、教育游戲、職業(yè)教育及醫(yī)學教育4 個方面。如北師大蔡蘇的“VR/AR+教育”實驗室研究團隊從2009年開始就致力于虛擬現(xiàn)實尤其是增強現(xiàn)實教育應用的研究,成果主要包括基于增強現(xiàn)實(AR)技術的教育類APP、基于Kinect 和Leap Motion 體感識別技術的互動教育游戲、基于LBS(Location Based Service,移動位置服務)的信息導覽設計開發(fā)、STEM(科學、技術、工程和數(shù)學)教育等。吳濤等[1]曾結合VR 技術為揚州大學開發(fā)了一個校園漫游導航系統(tǒng),該系統(tǒng)可以用于學校教學、招生等工作;秦勝偉等[2]設計了一個校園漫游互動AR 系統(tǒng),該系統(tǒng)運用AR 技術制作室內三維模型實現(xiàn)動態(tài)交互,結合GPS(Global Positioning System,全球定位系統(tǒng))技術,實現(xiàn)用戶室外GPS 校園漫游以及室內定位;胡國強等[3]開發(fā)了三維虛擬圖書館,方便用戶查找和閱覽書籍,有利于古籍、珍貴手稿等的保存,同時借助AR技術為用戶提供導航、及時推送、智能咨詢等服務。目前,應用于高校相關專業(yè)實踐教學的虛擬及增強現(xiàn)實軟件開發(fā)及運用相對較少。所開發(fā)的軟件,如北京大學的VR 虛擬仿真實驗軟件,主要應用于3D 互動營銷、AR 營銷等VR 職業(yè)培訓,對于高校藝術專業(yè)來說,軟件功能相對有限[4]。隨著國家對數(shù)字技術的高度重視,未來相關研究及應用將越來越受到關注。虛擬和增強現(xiàn)實技術的普遍應用,也是高校實踐教學的發(fā)展趨勢之一。
以上海出版印刷高等??茖W校藝術經紀專業(yè)在虛擬和增強現(xiàn)實技術運用上的探索為例,從專業(yè)課程教學設計的角度來分析虛擬和增強現(xiàn)實技術在實踐教學活動中的應用情況。
本專業(yè)于2018 年打造高校虛擬現(xiàn)實實訓平臺,聯(lián)合企業(yè)研發(fā)4 套虛擬現(xiàn)實軟件,包括3D 建模打造虛擬場館及展品、場館及活動的沉浸體驗、虛擬布展和場館設施交互體驗等功能軟件。實訓平臺主要用于設計、策劃及運營管理3 個方面的相關課程實訓。如“展示設計”“展覽策劃”及“藝術品營銷”等課程,借助虛擬和增強現(xiàn)實技術完成項目實訓內容,提升藝術家、作品及展覽的知名度,促進藝術與觀眾之間的互動交流[5]。軟件應用情況如下。
制作沉浸感圖像及視頻,如VR 電影、VR 音樂MV、VR 紀錄片、VR 視頻短片等。其中,一種是通過計算機生成圖像,體驗者帶頭盔感受VR 系統(tǒng)所創(chuàng)造的奇異世界;另外一種是以實拍為主的創(chuàng)作方式,通過拍攝虛擬現(xiàn)實MV,體驗者帶上頭盔就有身臨現(xiàn)場的感覺。
展覽項目VR 互動。學生可借助VR 頭盔和操作手柄,根據策劃內容進行虛擬布展,提前了解布展的效果;并可以根據需求拉近展示的藝術品距離,從各個角度去觀看,也可以與某些作品進行互動;另外,可以將VR 作為藝術創(chuàng)作的材料,如行為藝術、頭盔等展示,或者以VR 為主題內容來進行藝術創(chuàng)作。
VR 線上觀展,如場館及藝術作品虛擬線上展示及互動。學生不必親臨國內外知名展館及展覽現(xiàn)場,就可以借助頭盔輕松漫游VR 數(shù)據庫里的各類展館及活動,瀏覽藝術作品。虛擬現(xiàn)實技術的發(fā)展使得線上展示和觀看不再受時間和空間的限制。
深度解讀藝術作品,了解作品相關的信息。借助虛擬增強軟件,讓網友們身臨其境地欣賞來自全球著名當代畫廊、藝術博覽會和博物館中的藝術作品,放大作品細節(jié),獲得肉眼無法體驗的感覺,深度解讀展示的藝術作品,給觀眾帶來了更為開闊的思考和視角。同時,借助軟件還可以了解與作品有關的信息,包括藝術家、藝術創(chuàng)作主題、年代、材質、收藏地等信息,給用戶精準的相關推薦。
虛實結合,增加觀展體驗。將AR 運用在藝術展覽中,使用虛實結合的展覽方式,將被動式的參觀變成互動式的多感官體驗,使展覽更加直觀形象,同時能夠提高人們對展品的認識。如在常規(guī)展上的實體作品相疊加,形成了一個內嵌于館內的“隱藏展覽”,現(xiàn)場的參觀者需要通過指定的APP 掃描場館內的作品,召喚出隱藏的展品,增強展覽的神秘色彩。
利用現(xiàn)代混合現(xiàn)實技術,通過MR 智能眼鏡,使影像疊加在實物之上,讓展示的物品直觀、接地氣地呈現(xiàn)在觀眾面前,有利于觀眾更好地認識藝術作品。此外,學生也可借助混合現(xiàn)實技術充分發(fā)揮想象力,進行大膽創(chuàng)新,培養(yǎng)其綜合分析設計及策劃能力,提高創(chuàng)新意識。
綜上所述,虛擬和增強現(xiàn)實技術的應用在很大程度上豐富了實踐教學內容的外在形式,優(yōu)化了教學內容的內在結構,促進教學手段向科學化、高效化發(fā)展,對培養(yǎng)個性化、高素質的全面型人才具有很大的推進作用。
2.4.1 設計類課程實踐教學設計
設計類課程實踐教學設計如圖1 所示。
圖1 設計類課程實踐教學設計
VR 技術可運用在虛擬場館及展品建模實踐教學中。學生根據藝術展覽項目需求,通過UNITY 軟件建立場館及展品三維模型,從3D 場景的設計、布局、搭建到調整、優(yōu)化及完善,運用虛擬現(xiàn)實設備,將場館及藝術品完美再現(xiàn)于觀眾眼前,通過虛擬現(xiàn)實設備帶參觀者穿越時空、漫游展館。VR 在整個項目設計制作的過程中,在多個時間點起到了關鍵作用。
在前期工作中通過全景相機對展廳空間進行視頻數(shù)據采集,期間學生和視頻采集設備之間進行操作互動;在設計過程中通過VR VIVE 頭盔對設計方案進行虛擬仿真體驗,對設計視覺和展示問題進行實時調整,優(yōu)化完善;在全景視頻數(shù)據采集和具體設計過程中,師生之間基于項目化教學進行實時互動交流。VR 技術運用能較好地輔助解決三維空間設計因建模缺陷導致后期施工反復問題,該技術運用可以發(fā)現(xiàn)設計問題,減少規(guī)劃錯誤;另外,VR 技術也提升了設計工作的速度和效率;此外VR 虛擬仿真也以一種更為直觀全面的方案觀察呈現(xiàn)方案,不需要設計方案成型,先用雪弗板等材料制作一定比例的縮小模型來觀察方案,節(jié)省成本、省時省力,不失為一種節(jié)約優(yōu)化的良好選擇[5]。
AR 技術可用于藝術展覽效果增強實踐教學中,學生將展示的藝術作品通過平面、三維及相關視頻信息的輔助理解,使藝術展覽和作品能夠更好地讓參展觀眾理解,并提升觀展效果。AR 技術能夠將課本上原本枯燥的教學知識生動、立體、直觀地疊加到真實世界中,可以提高學生的學習興趣。通過體驗操作使學生對知識的掌握更加牢固。同時通過理論應用于實踐,培養(yǎng)學生的自主創(chuàng)新能力、學習能力、探究能力和邏輯思維能力。
2.4.2 策劃課程實踐教學設計
策劃課程實踐教學設計如圖2 所示。
圖2 策劃課程實踐教學設計
2.4.2.1 利用AR 技術進行虛擬展宣傳
展覽海報制作及增強現(xiàn)實推廣:AR 技術有助于虛擬項目實踐的宣傳與推廣,如增強現(xiàn)實素材——海報的內容制作,可通過文字、圖像及視頻形式,內容涉及藝術展館內外信息、策展人對展覽的介紹、藝術家介紹、藝術家對作品介紹,以及藝術創(chuàng)作主題、年代、材質、收藏地和藝術衍生品、藝術投資等信息。
展覽相關情景體驗:藝術創(chuàng)作、衍生品創(chuàng)作等。
2.4.2.2 利用VR 技術進行虛擬布展及導覽
虛擬布展:利用VR 平臺,通過手柄操作,選擇場館進行藝術展虛擬布展。
藝術展導覽:VR 沉浸體驗,藝術家?guī)阌^展(事先采集藝術家介紹作品全息視頻),現(xiàn)場活動沉浸體驗(開幕酒會、學術沙龍及其他互動項目)。
情景復原展示:體驗藝術家藝術創(chuàng)作經歷、藝術衍生品開發(fā)等。
項目實訓中,學生通過VR 技術虛擬布展、查看效果,并根據修改的方案進行調整,較為真實地感受到策劃方案布展的最終效果,對于出現(xiàn)的問題也一目了然,便于對方案進行修改和完善。
2.4.2.3 利用MR 技術進行藝術衍生品創(chuàng)作及互動
利用MR 技術,即結合藝術設計和編程,以交互式全息可視化內容將藝術衍生品類展示給觀眾,將現(xiàn)場環(huán)境和實物結合疊加起來,全方位展示藝術衍生品,使用戶更自然地去體驗和理解衍生品的設計方案,提高設計作品展示效果,加快設計作品的智能化發(fā)展。
利用MR 技術進行互動,通過交互式模型動畫,將它形象展示出來,結合藝術設計,將內容虛擬化,使它更接近所需環(huán)境,并能與實物疊加,輔助大眾理解藝術設計創(chuàng)作思想。
2.4.3 運營及管理類課程實踐教學設計
運營及管理類課程實踐教學設計如圖3 所示。
圖3 運營及管理類課程實踐教學設計
2.4.3.1 VR 技術在項目運營及管理中的運用
在展覽舉辦前期,通過簡易VR 紙板眼鏡對展覽進行場外預熱體驗及宣傳推廣,讓參展的觀眾提前感受展覽內容及看點,激發(fā)觀展期待和熱情;在展覽運營期間,通過VR VIVE頭盔對展覽進行虛擬仿真體驗,通過虛擬現(xiàn)實的方式體驗藝術創(chuàng)作背后的故事,站在藝術家的角度解讀藝術作品;在展覽結束后,通過無眼鏡設備進行線上全景視頻回顧,可在線體驗360°全景式交互視頻,無需借助眼鏡等設備,通過PV 和手機即可完成。
2.4.3.2 AR 技術運用
增強現(xiàn)實推廣:借助增強現(xiàn)實素材,觀眾可通過APP 或二維碼進行交互體驗??梢愿鶕囆g作品進行藝術家頁面模擬及畫廊頁面模擬;設計虛擬衍生品等。
展覽作品輔助增強:了解展覽、藝術家、藝術作品、相關背景故事及藝術衍生品等信息。
以上3 類課程的實踐教學內容設計,由于融入了虛擬和增強現(xiàn)實技術,帶來了豐富的感官體驗和交互效果,更能吸引學生的興趣和專注度,提升實踐教學效果,也充分發(fā)揮了學生的創(chuàng)新能力。
盡管VR、AR 及MR 技術的應用,從技術上減少了普通觀眾與展示的藝術品之間的溝通壁壘,提升了學生的興趣和創(chuàng)造力,但其應用范圍及效果還存在一定的局限性,如數(shù)字導覽交互推廣作用有限,展品引導信息關聯(lián)性不強;增強現(xiàn)實APP 推廣內容有限,缺乏虛實交互功能;另外,由于增強現(xiàn)實圖片識別位置的限制,在客流量較大的時間段容易造成展館內參觀者的擁堵現(xiàn)象,影響了導覽系統(tǒng)的使用感受;此外,VR 技術主要應用于展中沉浸體驗,對展前及后續(xù)推廣效果有限,對藝術展尤其是當代藝術這種不太容易被普通觀眾理解的展覽推廣效果非常有限;同時,使用者因設備問題,長時間使用會引發(fā)眩暈、疲勞、惡心等現(xiàn)象,體驗感不佳;實踐教學設計也因與虛擬環(huán)境結合,尚未有統(tǒng)一的規(guī)范等問題都給虛擬和增強現(xiàn)實技術的推廣帶來了眾多挑戰(zhàn)。
創(chuàng)新多技術融合實訓平臺,完善了“課內外結合、校內外一體”的實訓平臺功能,打造多學科交叉實訓功能基地,激發(fā)了學生的學習興趣和研究潛能,提升了學生的知識綜合運用能力和團隊合作能力。同時拓展社會服務能力,推進校企合作創(chuàng)意項目開發(fā),引導學生利用虛擬現(xiàn)實進行創(chuàng)意項目制作及運營,提升其專業(yè)綜合技能水平。
隨著“虛擬和增強現(xiàn)實+教育”理念的不斷深化,基于虛擬和增強現(xiàn)實技術的教育資源開發(fā)將是未來教育新的發(fā)力點。虛擬和增強現(xiàn)實技術的應用,雖然看似充滿誘惑,但實踐的教學效果與設備器材、數(shù)據精準度、實踐教學內容的設計及考核指標等息息相關。因此,如何辨別學生是否真正在學、效果如何,需要對軟件進行系統(tǒng)性的設計及完善,結合大數(shù)據與云計算技術,設計合理的課程實踐方案和激勵考核指標,發(fā)揮團隊協(xié)作及創(chuàng)新精神,完成虛擬教學評測。只有這樣,才能提升學生的數(shù)字技術應用能力及實踐效果,這也是未來虛擬和增強現(xiàn)實技術教學應用的有效方式。
在虛擬及增強現(xiàn)實實訓項目設計中,需考慮專業(yè)的虛擬現(xiàn)實實訓環(huán)境的建設水平和專業(yè)課程實踐要達到的認知能力及啟發(fā)深度學習的項目之間的平衡。盡可能完善實訓設備及素材庫的更新,盡量減少學習者在適應新技術上的困難。在涉及技能操作的具體細節(jié)上,需要詳盡呈現(xiàn)實訓步驟的指導手冊或教案,結合人工智能與物聯(lián)網技術,提供虛擬教學的智能引導。