姚建東
(內(nèi)蒙古藝術學院,內(nèi)蒙古 呼和浩特 010010)
近年來,隨著教育技術的不斷發(fā)展和教育教學改革的不斷深化,依托現(xiàn)代科技的新型教學模式不斷出現(xiàn),由此催生的新型教學形態(tài)也層出不窮。沉浸式體驗、互動情境等新型教學理念和形態(tài)不斷涌現(xiàn),在5G網(wǎng)絡技術、數(shù)字交互技術、媒體融合技術等前沿信息技術的助力和加持下,5G+MR智慧教學新模式應運而生。在藝術類院校的教學活動中,這種創(chuàng)新型教學模式能夠強化學生的學習氛圍,激發(fā)學生的學習熱情,提高學生的學習興趣,從而有效解決藝術專業(yè)教學中的難題,幫助學生取得理想的學習效果。
以混合現(xiàn)實(Mixed Reality,MR)技術為代表的新一代信息技術正以前所未有的規(guī)模和速度影響著傳統(tǒng)教育模式的發(fā)展,因此,高等院校對應用型人才的培養(yǎng)模式也發(fā)生了深刻變革。2017年7月,教育部辦公廳印發(fā)了《教育部辦公廳關于2017—2020年開展示范性虛擬仿真實驗教學項目建設的通知》,指出“根據(jù)《教育信息化十年發(fā)展規(guī)劃(2011—2020年)》和《2017年教育信息化工作要點》等相關要求,深入推進信息技術與高等教育實驗教學的深度融合,不斷加強高等教育實驗教學優(yōu)質(zhì)資源建設與應用,著力提高高等教育實驗教學質(zhì)量和實踐育人水平,經(jīng)研究,決定在高校實驗教學改革和實驗教學項目信息化建設的基礎上,于2017—2020年在普通本科高等學校開展示范性虛擬仿真實驗教學項目建設工作”[1]。開展示范性虛擬仿真實驗教學項目建設,是推進現(xiàn)代信息技術與實驗教學項目深度融合,提升實驗教學質(zhì)量和水平的重要舉措。2018年4月,教育部印發(fā)的《教育信息化2.0行動計劃》明確提出,要加快建設在線智能教室、智能實驗室、虛擬工廠(醫(yī)院)等智能學習空間,形成泛在化、智能化學習體系,推進信息技術和智能技術深度融入教育教學全過程[2]。
2020年3月,為加快實施“寬帶中國”戰(zhàn)略,著力推進“新基建”建設,國家發(fā)展改革委辦公廳、工業(yè)和信息化部辦公廳聯(lián)合發(fā)布《關于組織實施2020年新型基礎設施建設工程(寬帶網(wǎng)絡和5G領域)的通知》,明確指出5G+智慧教育應用示范?;?G、VR/AR等技術,打造百校千課萬人優(yōu)秀案例,探索5G在遠程教育、智慧課堂/教室等場景的應用,重點開展5G+高清遠程互動教學、AR/VR沉浸式教學等業(yè)務[3]。
長期以來,我國藝術類高等學校普遍采用的是以學科系統(tǒng)化教學為主的教學模式,在教學實踐中主要表現(xiàn)出了以下幾個方面的教學痛點。
當前國內(nèi)藝術類院校的專業(yè)課程基本分為三類,分別是專業(yè)理論課程、專業(yè)基礎性課程和專業(yè)實踐課程。對于藝術專業(yè)的學生而言,完成優(yōu)秀的藝術作品離不開扎實的專業(yè)實踐能力,而培養(yǎng)專業(yè)實踐能力除了需要社會實踐和創(chuàng)作實踐環(huán)境,還需要專業(yè)實踐課與理論課有效銜接和互動。然而,傳統(tǒng)的學科系統(tǒng)化教學體系對這兩類課程教學效果的互動和銜接重視程度不高,使得藝術專業(yè)理論課與實踐課在教學形式上各自分開,這就導致專業(yè)理論課和實踐課教學不能充分發(fā)揮各自應有的作用[4]。
目前,大多數(shù)高校教師最熟悉、最善于運用的教學方式是學理化的教學模式,教師在課堂上往往比較注重邏輯的推演和理論的講解。藝術專業(yè)學生具有感性思維能力強、理性思維能力弱、自我表現(xiàn)欲強以及自我意識突出等特點,而理論課教學方式單一,教學內(nèi)容不夠形象化,學生被動接受知識,會顯得枯燥、乏味,難以激起學生的學習興趣。此外,教師在講授理論知識點時受傳統(tǒng)講授方法限制,發(fā)揮的空間有限,很難講出新意,因而也就很難產(chǎn)生良好的教學效果。
藝術專業(yè)教師的示教教學(言傳身教)在傳統(tǒng)藝術類專業(yè)課程教學中普遍存在。例如,在舞蹈類、雕塑類課程中,學生通過觀察舞蹈老師的舞蹈動作,或雕塑老師的雕刻刀法和動作,反復地進行模仿和練習,以學會相應的舞蹈動作或雕塑技藝。示教教學方式在“師傅帶徒弟”式的教學情境下有著較好的教學效果,但也存在一定的不足:一是教師反復進行示教消耗大量的精力和體力;二是示教過程無法隨時暫停和回放,雖然教師可通過分解動作的方式進行教學,但這樣會影響示教效率;三是學生很難脫離教師自主學習,缺乏教師指導學習效率將大大降低。
教育技術手段很早就被應用于藝術專業(yè)教學中,如視頻課程,其在一定程度上解決了傳統(tǒng)示教教學的痛點問題。但受傳統(tǒng)視頻的2D屬性和非自然尺寸的屏幕播放的局限,只能從固定的特定角度去捕捉教師的示教動作,由于自遮擋等因素影響,學生在觀看2D視頻模仿學習時,可能出現(xiàn)關鍵動作和關鍵手法學習不到位的問題,達不到藝術專業(yè)教師在身旁指導學習的效果。
藝術類專業(yè)學生具有較強的感性思維能力、突出的自我表現(xiàn)意識、較高的審美能力和水平,這些明顯的個性特征導致其學習模式以觀摩、跟練為主[5]。加之藝術類院校傳統(tǒng)教學模式固有的理論與實踐相脫節(jié)的弊端以及教學手段和方法的相對落后,難以滿足現(xiàn)代信息社會環(huán)境下藝術教學的需要,藝術專業(yè)教學模式亟待引進新思路、新技術和新方法,與時俱進,開拓創(chuàng)新。深度融合5G技術、混合現(xiàn)實技術、容積攝影技術等現(xiàn)代科學技術,有助于推進藝術教學模式的改革和創(chuàng)新。
混合現(xiàn)實(Mixed Reality,簡稱MR)將虛擬世界與現(xiàn)實世界相融合,創(chuàng)造出一種新的交互式環(huán)境。它不同于虛擬現(xiàn)實(Virtual Reality,簡稱VR),在VR中,用戶完全沉浸在虛擬世界中,而在MR中,虛擬元素與現(xiàn)實世界相互交織。MR通常使用頭戴式顯示設備或智能手機,通過增強現(xiàn)實(Augmented Reality,簡稱AR)應用程序?qū)⑻摂M對象投影到真實世界中。混合現(xiàn)實對虛擬現(xiàn)實和增強現(xiàn)實進行了創(chuàng)新融合發(fā)展,實現(xiàn)了同一場景內(nèi)虛擬物體和真實物體實時共存與交互。與虛擬現(xiàn)實和增強現(xiàn)實相比,混合現(xiàn)實在沉浸感、交互性和視覺顯示等方面得到顯著改善,可在學習過程中為學習者帶來全新的視覺感受和交互體驗[6]。
混合現(xiàn)實技術在教育領域具有廣泛的應用前景,在藝術教育中主要體現(xiàn)在以下幾個方面。
4.2.1 營造沉浸式學習體驗的三維立體場景
MR技術可以創(chuàng)造出三維立體教學空間場景,學生置身于該學習環(huán)境中能夠獲得身臨其境的學習體驗。學生可以與虛擬藝術作品互動,從不同角度欣賞、觀摩、學習和探索,加深對藝術元素的理解,強化藝術創(chuàng)作技法的學習。
4.2.2 創(chuàng)意思維培養(yǎng)和創(chuàng)造性表達
在MR場景中,學生能夠接觸到大量的MR藝術學習資源,從而拓寬他們的視野,培養(yǎng)他們的創(chuàng)意思維。無論是表演、演奏、繪畫、雕塑還是其他形式的創(chuàng)作實驗,學生都可以使用混合現(xiàn)實工具來創(chuàng)作自己的藝術作品,從而訓練他們創(chuàng)造性表達的技法與技能。
4.2.3 教學實時反饋
MR應用程序可以提供實時反饋,在教學過程中實時捕獲教學信息并進行反饋。例如,教師利用MR應用程序?qū)崟r觀察學生的學習進程,了解學生的學習狀態(tài)。這不僅能夠幫助教師及時調(diào)整學習進度,改進教學形式,還能夠幫助學生改善學習方法,提高藝術實踐技能和技法。這種實時互動的教學反饋能夠最大限度優(yōu)化教學過程,提高學生學習效率。
4.2.4 跨越時空進行學習
MR可以將學生帶入豐富的藝術作品資源世界,讓學生身臨其境觀摩優(yōu)秀藝術作品并了解藝術作品背后的故事,從而促進他們對藝術作品的全方位、多角度理解。例如,了解藝術作品的歷史背景、創(chuàng)作過程、文化底蘊、藝術價值等,可以激發(fā)學生的學習興趣,增強學生專業(yè)學習的歷史感、使命感和責任感。
容積攝影(Volumetric Photography)技術是一種用于創(chuàng)建具有立體感的圖像或視頻的高級攝影技術。它通過捕捉被攝主體的多個視角或多個時間點的圖像,并將它們合成到一個三維場景中,以產(chǎn)生一種具有深度感和立體感的效果。這種技術常被應用于虛擬現(xiàn)實、增強現(xiàn)實、混合現(xiàn)實、電影制作和游戲開發(fā)等領域[5]。
容積攝影具有多角度捕捉、立體視覺和時間合成的特點。容積攝影通常使用多個攝像頭或攝像機,從不同角度或位置拍攝同一場景或?qū)ο?。這些視角的拍攝畫面可以在后期進行合成,以創(chuàng)建一個具有深度感的三維場景。容積攝影能夠通過合成多個視角的圖像、視頻,產(chǎn)生立體視覺效果,使觀眾感受到圖像、視頻中的對象或場景具有深度和立體感,從而增強觀眾的沉浸感。容積攝影技術還可以通過拍攝多個時間點的圖像來捕捉運動或動態(tài)效果,進行時間合成,這對于創(chuàng)建動態(tài)的虛擬場景或捕捉運動中的對象非常有用,例如舞蹈表演、樂器演奏等。
容積視頻是通過容積攝影技術產(chǎn)生的一種全新類型的視頻文件。該視頻是把三維空間中的場景、角色、物體等“物體所占三維空間的量化”以3D的形態(tài)錄制編碼的視頻格式。例如,傳統(tǒng)NTSC制式視頻由每秒30幀的靜態(tài)畫面記錄而成,而容積視頻由每秒以一種“記錄體積”的形態(tài)攝錄30個3D靜態(tài)的空間模型,進而融合成一個全息場景[7]。容積視頻的特點主要表現(xiàn)在以下四個方面。
5.2.1 記錄真正的三維內(nèi)容
容積視頻所拍攝的是真正的三維對象,具備在空間中的相對關系以及物理屬性,不僅可以用于視頻展示,還可以用于記錄實際的空間數(shù)據(jù)。容積視頻能夠作為素材進行后期編輯,既可以方便地置入用虛擬數(shù)字構建的三維空間中,也可以制作成虛擬現(xiàn)實作品,通過5G+MR的方式在現(xiàn)實空間中觀看和使用。觀看者既可以選擇和變換觀看的角度,也可以變換觀看的位置。
5.2.2 記錄事物的真實性
傳統(tǒng)三維影像節(jié)目在制作時需要先進行三維建模,生成虛擬的三維模型,例如3D角色,然后通過動作捕捉設備把真人表演的動作捕捉下來建立骨骼運動文件,再通過Autodesk MotionBuilder等三維動畫軟件把動作文件和3D角色模型綁定起來,使得3D角色能夠依照動作文件產(chǎn)生運動,最后渲染生成視頻動畫。容積視頻則是直接拍攝三維場景,完整、真實地記錄真實世界中人物的樣貌、動作、表情等信息,直接生成三維視頻。容積視頻是目前唯一可以用于教學、表演等需要記錄和呈現(xiàn)三維場景的視頻文檔。
5.2.3 可共享和復用的數(shù)字資產(chǎn)
容積視頻所記錄的三維影像,可以自然且簡單地置入任何數(shù)字虛擬環(huán)境,在虛擬環(huán)境中完美地融合不同的光源,任意替換虛擬場景以及任意設置虛擬攝像機位置,甚至可以在后期任意替換表演者的服飾和特效。例如利用容積攝影拍攝的舞蹈表演視頻,可以調(diào)入三維軟件制作的虛擬舞臺環(huán)境中,打上虛擬燈光,配上虛擬道具,就可以制作完美的舞蹈節(jié)目。在實際應用中,容積視頻經(jīng)常作為視頻素材來實現(xiàn)共享和復用。
5.2.4 適應全自動化的生產(chǎn)方式
不同于傳統(tǒng)三維動畫的制作模式,容積視頻的制作不需要三維建模、運動捕捉等復雜過程和環(huán)節(jié),能夠由容積攝影系統(tǒng)一次性拍攝獲得表演者的形體、動作、表情、服飾等所有信息。因此,容積視頻是一種完全自動化的三維運動影像生產(chǎn)方式的產(chǎn)物。
5.3.1 提升示教教學的空間維度
容積攝影技術可以把傳統(tǒng)二維的視頻資源錄制、制作升級為三維的數(shù)字資源制作,維度的增加能夠記錄更加豐富的教學示教信息,更加真實、完整地將優(yōu)質(zhì)的示范教學過程資源化,讓學生可以沉浸式、重復地、交互地使用這些資源。
5.3.2 有效激發(fā)學生藝術創(chuàng)意
容積攝影技術可以激發(fā)學生的創(chuàng)造力,并與他們的創(chuàng)意互動。學生可以使用容積攝影技術實時編輯和改進他們的藝術作品,觀察不同的效果,從而更好地理解藝術理論和創(chuàng)作技巧。容積攝影技術可以根據(jù)學生的需求提供個性化的學習體驗,幫助他們在藝術領域發(fā)揮潛力。
5.3.3 滿足個性化學習
容積攝影可以更好地滿足學生個性化學習的需要。容積攝影技術為藝術教學帶來了更多的交互性、創(chuàng)造性和實踐性,為學生提供了更多的機會來探索藝術世界,以及表達自己的想法和感情。同時,可以幫助學生更深入地理解藝術原理和技巧,提高他們的創(chuàng)造性和批判性思維。
5.3.4 高效實現(xiàn)藝術作品的展示和共享
藝術院?;?qū)I(yè)教師可以創(chuàng)建在線畫廊,展示利用容積攝影捕捉的藝術作品,提升藝術作品的呈現(xiàn)效果。學生可以通過互聯(lián)網(wǎng)在線訪問這些展覽,獲得身臨其境的沉浸式觀賞體驗。此外,學生之間還可以借助容積攝影技術合作創(chuàng)作藝術作品,也可以輕松便捷地分享他們的作品和創(chuàng)意。
本研究在第五代移動通信網(wǎng)絡(Fifth Generation Mobile Communication Network,5G)技術的基礎上,利用MR技術、容積攝影技術構建5G+MR智慧藝術教學空間,其主要包括“容積攝影教學資源創(chuàng)作區(qū)”及“MR多人大空間互動教學區(qū)”,如圖1所示。5G+MR智慧藝術教學空間與舞蹈、美術、雕塑、繪畫、播音、演奏等多學科多專業(yè)的藝術教學需求緊密結合,構建多形態(tài)的智慧藝術教學體系。
圖1 5G+MR智慧藝術教學空間
6.1.1 充分發(fā)揮5G技術的優(yōu)勢
5G技術具有大帶寬、無延時、高速率的優(yōu)異網(wǎng)絡傳輸特征,能夠適應海量移動數(shù)據(jù)的爆炸式增長,加快新業(yè)務新應用的開發(fā)[8]。本研究中,5G技術主要解決虛擬現(xiàn)實(AR/VR/MR)應用場景下3D內(nèi)容實時傳輸及延遲造成的穿戴設備佩戴眩暈問題,強化提升用戶體驗速率、流量密度、時延、能效和連接數(shù)等指標,可真正實現(xiàn)教學場景的數(shù)字化移動互聯(lián)。
6.1.2 示教教學容積視頻拍攝
由不同專業(yè)的藝術教師在容積視頻拍攝區(qū)進行示范教學,通過容積攝影的全機位拍攝,將教師的示范教學細節(jié)完全錄制下來,經(jīng)過后期處理制作之后形成MR教學資源。
6.1.3 混合現(xiàn)實學習
借助5G技術大帶寬、高速率的優(yōu)勢,突破學習人數(shù)和空間的限制,讓足夠多的學生佩戴混合現(xiàn)實設備后,完美復現(xiàn)專業(yè)教師的示范教學,讓每一位學生都能和專業(yè)教師進行“一對一”教學。
6.1.4 多人大空間互動學習
混合現(xiàn)實技術可實現(xiàn)在課堂上、在大空間范圍內(nèi),多人協(xié)同互動的效果。例如多人舞蹈教學時,多個學生可選擇不同教師的容積視頻示教舞蹈角色,根據(jù)教學需要分別學練,又可相互配合,共同組成一支多人舞蹈組合。
6.2.1 容積攝影教學資源創(chuàng)作區(qū)
容積攝影教學資源創(chuàng)作區(qū)的核心是容積攝影視頻拍攝系統(tǒng),采用多臺工業(yè)相機,組成多個方向的采集陣列,采集示教教師各個角度的彩色及深度光場信息,再通過算法將這些光場信息重建成三維的動態(tài)影像。硬件系統(tǒng)主要由工業(yè)采集相機、光場數(shù)據(jù)處理單元、分體式拍攝架組成。系統(tǒng)的軟件部分是整套系統(tǒng)的核心,由相機標定、多服務器同步、數(shù)據(jù)采集、點云重建、模型重建、幀編輯、減面編碼、三維流格式編碼構成。容積攝影將動態(tài)3D內(nèi)容的生產(chǎn)從“手工建模”轉(zhuǎn)變?yōu)椤白詣踊浿啤?,讓普通的非專業(yè)用戶也可以像錄制視頻一樣錄制動態(tài)3D內(nèi)容。
容積攝影教學資源創(chuàng)作區(qū)實現(xiàn)容積視頻教學資源的拍攝生產(chǎn)、存儲轉(zhuǎn)發(fā)、內(nèi)容制作等功能,其系統(tǒng)架構如圖2所示。
圖2 5G+MR智慧藝術教學空間系統(tǒng)架構
6.2.2 MR多人大空間互動教學區(qū)
大空間互動教學區(qū)部署有特殊編碼標識體,組成空間坐標矩陣,計算機視覺能夠穩(wěn)定跟蹤和識別該空間坐標矩陣,當5G+MR設備看到特定的標識體時,即獲取了空間中的絕對位置。學生可在大空間互動教學區(qū)內(nèi)多人同場景自由行走,基于大場景跟蹤技術以及5G網(wǎng)絡超高速、低時延、大連接、高可靠性等特性,綜合運用人工智能、大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)、虛擬仿真等信息技術,即可實現(xiàn)穩(wěn)定、無延時、不漂移的多人協(xié)同操作。通過智能實時定位跟蹤技術,系統(tǒng)能實現(xiàn)虛實融合的人機交互沉浸式體驗。
大空間互動教學區(qū)可供大量學生同時擁有多套人物動態(tài)模型,每個學生的學習環(huán)境相互隔離,彼此不干擾,這樣能夠使學生方便高效地完成學習任務。即使某個學習環(huán)境被破壞,對其他人也沒有影響,一鍵重啟就可以恢復一套全新的學習環(huán)境,大幅節(jié)省了硬件和維護的成本。
混合現(xiàn)實與容積攝影的結合創(chuàng)造了一種新的藝術教學模式。混合現(xiàn)實將容積攝影的三維模型嵌入真實環(huán)境中,學生可通過頭戴式設備進行互動,同時聽到聲音和產(chǎn)生觸感反饋,獲得更加豐富的感官體驗。結合MR和容積攝影,學生可以沉浸在富有創(chuàng)造性的藝術學習環(huán)境中,這種沉浸式學習模式能夠極大提高學生學習的投入感和參與度,有效地提高藝術專業(yè)課程的教學質(zhì)量。
未來,隨著技術的不斷進步,混合現(xiàn)實和容積攝影將不斷演變和改進,為藝術教育和藝術創(chuàng)作帶來更多的創(chuàng)新。這些技術有望成為推動藝術教育向前發(fā)展的強大工具,為藝術教育注入新的活力和動力。