蔡新元 陳秋嬋 張 健
(華中科技大學(xué)建筑與城市規(guī)劃學(xué)院,武漢,430074)
2019 年科技部、中宣部、文化和旅游部等六部門印發(fā)《關(guān)于促進(jìn)文化和科技深度融合的指導(dǎo)意見》,指出應(yīng)加強(qiáng)人機(jī)交互、混合現(xiàn)實(shí)等關(guān)鍵技術(shù)開發(fā),推動(dòng)類人視覺、聽覺、語言、思維等智能技術(shù)在文化領(lǐng)域的創(chuàng)新應(yīng)用,開發(fā)內(nèi)容可視化呈現(xiàn)、互動(dòng)化傳播、沉浸化體驗(yàn)技術(shù)應(yīng)用系統(tǒng)平臺(tái)與產(chǎn)品[1]。2022年,中共中央辦公廳、國(guó)務(wù)院辦公廳印發(fā)《關(guān)于推進(jìn)實(shí)施國(guó)家文化數(shù)字化戰(zhàn)略的意見》,對(duì)國(guó)家文化數(shù)字化作出進(jìn)一步戰(zhàn)略部署。數(shù)字化手段成為當(dāng)前傳統(tǒng)文化保護(hù)的主流手段[2]。在記載和反映中國(guó)傳統(tǒng)文化以及中國(guó)文學(xué)藝術(shù)類別的演變過程中,詩(shī)詞作為一種綜合文化現(xiàn)象始終占據(jù)主流地位,并對(duì)其他文學(xué)藝術(shù)門類和中國(guó)大文化產(chǎn)生了不可估量的推動(dòng)作用。數(shù)字化背景下,中國(guó)古詩(shī)詞文化的傳承、傳播亟須相關(guān)理念與技術(shù)的輔助與支撐。其中,虛擬現(xiàn)實(shí)(Virtual Reality,VR)技術(shù)在從傳統(tǒng)文本驅(qū)動(dòng)向技術(shù)驅(qū)動(dòng)轉(zhuǎn)型,破除傳統(tǒng)文化與現(xiàn)代技術(shù)壁壘,探索內(nèi)在關(guān)聯(lián)與內(nèi)驅(qū)力,用技術(shù)實(shí)現(xiàn)傳統(tǒng)文化的傳播與增值的過程中具有很大的應(yīng)用空間。一方面,VR 技術(shù)基于三“I”即沉浸(Immersion)、交互 (Interaction)、構(gòu)想(Imagination)等特性可提供真實(shí)的時(shí)間、空間感知,通過虛擬仿真進(jìn)行交互實(shí)踐[3];另一方面,后疫情時(shí)代,“在線+”成為生活常態(tài),“臨場(chǎng)”“在場(chǎng)”體驗(yàn)需求空前提升。而人工智能的快速發(fā)展,為應(yīng)用VR 技術(shù)實(shí)現(xiàn)傳統(tǒng)文化數(shù)字化提供了有力支撐。
本文探索前述語境下借助人工智能、VR等技術(shù)對(duì)中國(guó)古詩(shī)詞文化進(jìn)行數(shù)字化設(shè)計(jì)與傳播的可能,并通過中國(guó)古詩(shī)詞VR 體驗(yàn)系統(tǒng)“黃鶴故詩(shī)”的設(shè)計(jì)實(shí)踐,探尋人工智能、VR 等融入傳統(tǒng)文化傳播與教育的方法與路徑。
古詩(shī)詞的創(chuàng)作依賴于特定的歷史文化背景和詩(shī)人的個(gè)人情感因素。相較于現(xiàn)代漢語,古詩(shī)詞在聲、形、意、文法邏輯等方面具有特殊性,語言凝練且不易翻譯成現(xiàn)代漢語。從古詩(shī)詞傳播來看,相關(guān)教學(xué)與傳播手段落后,造成了傳播困境。其中,中小學(xué)語文課本收錄是古詩(shī)詞傳播的重要途徑。它遵循“解題意,知作者;釋難字,譯全文;明思想,齊背誦”的模式進(jìn)行教學(xué),無法突出詩(shī)詞美感,也導(dǎo)致學(xué)生學(xué)習(xí)興趣不足。有調(diào)研顯示,高中生群體中對(duì)古詩(shī)詞很有興趣的比例僅8.34%;在古詩(shī)詞、文言文、現(xiàn)代文和作文四個(gè)教學(xué)模塊中,對(duì)古詩(shī)詞最感興趣的學(xué)生僅占17.38%;高中生實(shí)際能背誦100 首以上古詩(shī)詞的僅占比46.02%[4],而根據(jù)《中小學(xué)語文課程標(biāo)準(zhǔn)》要求,一個(gè)合格的小學(xué)畢業(yè)生就應(yīng)該能背誦古詩(shī)詞120 首。近年來,也有將古典詩(shī)詞與現(xiàn)代傳播媒介融合的諸多嘗試。如電影《掬水月在手》,以文學(xué)紀(jì)錄片形式,將人物生命與古典詩(shī)詞有機(jī)聯(lián)結(jié),表現(xiàn)詩(shī)詞之美。貓眼電影的購(gòu)票評(píng)分榜數(shù)據(jù)顯示,該片以9.3 的評(píng)分始終占據(jù)評(píng)分榜前列;文化節(jié)目《中國(guó)詩(shī)詞大會(huì)》開播僅10 天,累計(jì)轉(zhuǎn)發(fā)3 萬余條微博,獲得了6 萬余條評(píng)論,18 萬余次轉(zhuǎn)發(fā),以及超過33 萬的點(diǎn)贊量[5]。可見,根據(jù)古詩(shī)詞的本質(zhì)特性選擇適配的數(shù)字化形式是新媒體時(shí)代的要求。
清代畫家石濤在《苦瓜和尚畫語錄》中有云:“字與畫者,其具兩端,其功一體”。它表達(dá)出字與畫通過視覺形態(tài)同構(gòu)詩(shī)詞信息要素及傳遞詩(shī)人內(nèi)在情感的能力,應(yīng)和傳統(tǒng)心物感應(yīng)、整合化一的文化藝術(shù)觀,引發(fā)詩(shī)畫同源的討論。宋代郭熙在《林泉高致》中談到的“詩(shī)是無形畫,畫是有形詩(shī)”,正是對(duì)這一關(guān)系的描述。文人畫宗師之一王維在《使至塞上》中借“大漠孤煙直,長(zhǎng)河落日?qǐng)A”詩(shī)句,擇大漠、孤煙、長(zhǎng)河、落日等意象,造壯美之景,構(gòu)雄渾意境??梢?,詩(shī)與畫、情與景從創(chuàng)作開始就密不可分。
當(dāng)前的古詩(shī)詞教育缺少的正是對(duì)這一詩(shī)畫意境的直觀體悟之道。學(xué)生在課堂上聆聽的是教師的字面解析,缺少可具身融入的畫面感與詩(shī)意體驗(yàn)。虛擬現(xiàn)實(shí)技術(shù)構(gòu)建的虛擬場(chǎng)景能夠?yàn)轶w驗(yàn)者提供豐富的形象信息,并借助媒體交互這一形式,引導(dǎo)學(xué)習(xí)者“入畫”“入境”,彌補(bǔ)古詩(shī)詞學(xué)習(xí)中詩(shī)畫意境體驗(yàn)缺失的不足。
人工智能(Artificial Intelligence,AI)綜合了計(jì)算機(jī)科學(xué)、信息論、生理學(xué)等學(xué)科優(yōu)勢(shì);生成式AI(Generative AI)作為一種特定類型的AI,專注于批量數(shù)字內(nèi)容的自動(dòng)生成,在《2022 年新興技術(shù)成熟度曲線》中被列為最具影響力的五大技術(shù)之一[6]。生成式AI 通過機(jī)器學(xué)習(xí)(Machine Learning,ML)和人機(jī)協(xié)同(Human-in-the-loop,HITL)方法從數(shù)據(jù)中學(xué)習(xí)工件的組件,進(jìn)而生成全新、原創(chuàng)、真實(shí)的產(chǎn)品、物品或任務(wù)。長(zhǎng)期的專業(yè)生產(chǎn)內(nèi)容(Professioral Generated Content,PGC)階段為AI 提供了豐富的學(xué)習(xí)數(shù)據(jù),生成式AI 的出現(xiàn)使內(nèi)容生產(chǎn)逐漸過渡到人機(jī)協(xié)同、相互校正機(jī)制下的人工智能創(chuàng)作內(nèi)容(AI-Generated Content,AIGC)階段[7],為古詩(shī)詞的教學(xué)創(chuàng)新提供了全新視角與實(shí)驗(yàn)性方向,見圖1。
圖1 生成式AI 工作原理
古詩(shī)詞的學(xué)習(xí)和傳播需要大量的視頻、音頻、圖像資料,但內(nèi)容開發(fā)的成本高、周期長(zhǎng)、產(chǎn)能有限,所以教學(xué)中長(zhǎng)期以抽象的語言、文字作為主要材料。而生成式AI 幾乎不需要人類參與就可以生成高質(zhì)量的創(chuàng)造性內(nèi)容,實(shí)現(xiàn)文本轉(zhuǎn)圖像、圖片或影片修復(fù)、語音合成、創(chuàng)建3D 虛擬環(huán)境等功能。不僅帶來零邊際成本的內(nèi)容生產(chǎn)方式變革,極大提升生產(chǎn)力并創(chuàng)造巨大的經(jīng)濟(jì)價(jià)值,而且可避免生產(chǎn)者主觀認(rèn)識(shí)和經(jīng)驗(yàn)造成的個(gè)體偏差。生成式AI 主導(dǎo)的智能化內(nèi)容開發(fā)能為古詩(shī)詞提供全新的數(shù)字內(nèi)容生產(chǎn)和傳播機(jī)遇。
穿戴設(shè)備拓展多感官?gòu)?qiáng)互動(dòng)。虛擬現(xiàn)實(shí)體驗(yàn)中的強(qiáng)互動(dòng)以外部穿戴設(shè)備為接口,建立起人體生物信號(hào)與機(jī)器之間即時(shí)且有效的對(duì)話,引導(dǎo)用戶積極主動(dòng)發(fā)生交互,具有實(shí)時(shí)性和自發(fā)性兩個(gè)特點(diǎn)。其實(shí)現(xiàn)有兩個(gè)關(guān)鍵點(diǎn):一是注重人體生物信號(hào)的捕捉;二是提升互動(dòng)發(fā)生的頻率。隨著人工智能技術(shù)的發(fā)展,腦電儀、眼動(dòng)儀、生物力學(xué)傳感器等接口工具日益完善,虛擬現(xiàn)實(shí)強(qiáng)互動(dòng)體驗(yàn)逐步實(shí)現(xiàn)。將強(qiáng)互動(dòng)運(yùn)用于古詩(shī)詞教學(xué)能及時(shí)接收學(xué)習(xí)者的行為反饋,重新定義課堂互動(dòng)的方式。
高仿真場(chǎng)景和虛擬化身促進(jìn)深度沉浸。虛擬現(xiàn)實(shí)體驗(yàn)下,用戶的眼睛、耳朵、皮膚等感官被高仿真場(chǎng)景和虛擬化身重塑為虛擬感官,從而達(dá)到無視外物存在的深度沉浸狀態(tài)。其實(shí)現(xiàn)主要仰賴虛擬現(xiàn)實(shí)技術(shù)的虛構(gòu)性、視聽綜合性和三維仿真性三個(gè)特性。而人工智能通過生成式的內(nèi)容開發(fā)、深度學(xué)習(xí)、動(dòng)作捕捉等技術(shù)使古詩(shī)詞數(shù)字資源的生產(chǎn)趨于高效、高質(zhì),其利用高仿真場(chǎng)景和虛擬化身引發(fā)心靈共鳴,促進(jìn)深度沉浸,讓學(xué)生在心流中體會(huì)詩(shī)詞之美。
顯性化知識(shí)也稱編碼知識(shí),知識(shí)顯性化的過程即將大腦中的隱性知識(shí)重新編碼,轉(zhuǎn)化為可描述的內(nèi)容,并用易于傳播和共享的方式呈現(xiàn)出來[8]。虛擬現(xiàn)實(shí)體驗(yàn)直觀可視、多通道、具身沉浸的特點(diǎn)有利于古詩(shī)詞知識(shí)的顯性化傳播,具體效用如下。
感性意象的可視化直觀。知識(shí)可視化的實(shí)質(zhì)是把隱性的個(gè)體知識(shí)轉(zhuǎn)化成能夠直接作用于人的感官的外顯知識(shí)[9]。傳統(tǒng)教學(xué)手段中,圖文媒介的效率約為10%;多媒體教學(xué)形式的效率約為30%。古詩(shī)詞中包含諸多感性意象;VR 技術(shù)通過虛擬重構(gòu),能進(jìn)一步還原其感官表征,提升學(xué)習(xí)效率。
復(fù)雜詩(shī)意的多通道傳達(dá)。根據(jù)認(rèn)知負(fù)荷理論和感覺通道效應(yīng),外在認(rèn)知負(fù)荷跟材料的組織與呈現(xiàn)方式有關(guān),且隨著認(rèn)知通道數(shù)量的增加而降低。古詩(shī)詞語言凝練、結(jié)構(gòu)跳躍的特性導(dǎo)致其文意晦澀難懂。VR 技術(shù)具有多感官的特性,能對(duì)復(fù)雜詩(shī)意進(jìn)行多通道傳達(dá),從而有效降低認(rèn)知負(fù)荷。
抽象意境的具身化沉浸。身體的形態(tài)結(jié)構(gòu)、感覺系統(tǒng)、運(yùn)動(dòng)系統(tǒng)和神經(jīng)系統(tǒng)都影響著人們的認(rèn)知過程[10]。VR 技術(shù)通過構(gòu)建虛擬化身與意境體驗(yàn),開發(fā)古詩(shī)詞教學(xué)的具身性與情境性,實(shí)現(xiàn)寓身于境的效果,實(shí)現(xiàn)沉浸式教學(xué),促進(jìn)具身認(rèn)知的建構(gòu)。
坐落于古黃鵠磯上的黃鶴樓控兩江、踏三地,立九省之中,世稱“天下江山第一樓”。歷代文人登臨詠唱,流傳至今的“黃鶴詩(shī)詞”不計(jì)其數(shù);出自李白之手的“故人西辭黃鶴樓,煙花三月下?lián)P州”,更是成為千古名句。黃鶴故詩(shī)項(xiàng)目借助人工智能與虛擬現(xiàn)實(shí)技術(shù),融合相關(guān)詩(shī)詞學(xué)習(xí)內(nèi)容、學(xué)習(xí)環(huán)境與學(xué)習(xí)活動(dòng),從教學(xué)內(nèi)容、場(chǎng)景與交互體驗(yàn)三個(gè)方面進(jìn)行系統(tǒng)設(shè)計(jì)[11],實(shí)現(xiàn)其內(nèi)容具身認(rèn)知、多感知情境與多通道交互融為一體,其設(shè)計(jì)思路如圖2 所示。
圖2 中國(guó)古詩(shī)詞文化VR 體驗(yàn)系統(tǒng)設(shè)計(jì)思路
社會(huì)心理學(xué)的場(chǎng)域理論(Field Theory)認(rèn)為人的每一個(gè)行為均被行為發(fā)生的場(chǎng)域影響。而場(chǎng)域則是指由心理和環(huán)境兩種因素構(gòu)成的主-客混合環(huán)境或曰心物場(chǎng)(psychophysical field),其強(qiáng)調(diào)心理因素與客觀環(huán)境不可分割的連續(xù)性關(guān)系[12]。借助場(chǎng)域理論來剖析古詩(shī)詞,意在明確教學(xué)活動(dòng)中各環(huán)節(jié)與要素的開放性與關(guān)聯(lián)性關(guān)系,促進(jìn)對(duì)古詩(shī)詞意境感悟與體驗(yàn)的有效思考。基于此,我們區(qū)分出中國(guó)古詩(shī)詞場(chǎng)域的三重環(huán)境:其一,音聲。音樂與詩(shī)詞相輔相成,如唐宋以來的歌行、絕句、律詩(shī)和詞皆可歌可唱。其二,意境。意境是詩(shī)歌的靈魂,既是外部世界“境”的內(nèi)化,又是內(nèi)部世界“意”的具象化。其三,品格。品格是詩(shī)詞之基,能鑄造民族精神,踐行時(shí)代使命[13]。中國(guó)古詩(shī)詞文化便是基于音聲、意境、品格的詠吟場(chǎng)域與時(shí)代文化背景同構(gòu)出的結(jié)果。由上述場(chǎng)域關(guān)系主導(dǎo),項(xiàng)目的媒介與技術(shù)選擇如下。
生成式內(nèi)容生產(chǎn)。生成式AI 能夠進(jìn)行智能化的內(nèi)容開發(fā)。其中,AI 繪畫憑借簡(jiǎn)單的文字描述就能生成圖像?;诖?,項(xiàng)目選用AI 技術(shù)協(xié)同三維建模、實(shí)時(shí)渲染等技術(shù)先重構(gòu)詩(shī)中之景。首先由AI 生成詩(shī)詞場(chǎng)景原畫,再由三維建模技術(shù)還原詩(shī)詞場(chǎng)景,最后由實(shí)時(shí)渲染技術(shù)營(yíng)造詩(shī)中意境,打造從具象空間到宏觀背景的全方位沉浸式體驗(yàn)。
多模態(tài)信息輸出。上述古詩(shī)詞詠吟場(chǎng)域與VR 技術(shù)沉浸性、交互性、想象性的特點(diǎn)相契合[14],且VR 技術(shù)具有較高的兼容性,能協(xié)同多模態(tài)進(jìn)行信息輸出。項(xiàng)目選用VR技術(shù)協(xié)同語音識(shí)別技術(shù),引導(dǎo)學(xué)生讀出韻律,唱出美感,品出內(nèi)涵,進(jìn)行從淺表感知到深度認(rèn)知的遞進(jìn)式教學(xué)。人機(jī)交互技術(shù)的應(yīng)用踐行教、學(xué)、做合一的觀念,塑造文化品格,實(shí)現(xiàn)從抽象品格到具體知行的轉(zhuǎn)化。
根據(jù)教學(xué)對(duì)象特點(diǎn)對(duì)教學(xué)內(nèi)容進(jìn)行系統(tǒng)設(shè)計(jì),是教學(xué)前的一個(gè)必由環(huán)節(jié)。通過分析教學(xué)問題和需求,有序安排諸要素,達(dá)成教學(xué)效果最優(yōu)化。古詩(shī)詞的語境與現(xiàn)代語境差異巨大,學(xué)習(xí)者對(duì)于“陌生感”強(qiáng)的文本難以發(fā)生知識(shí)和情境的遷移。中學(xué)生處于思維活動(dòng)需要具體內(nèi)容支持的具體運(yùn)算階段,其理解力受認(rèn)知發(fā)展限制。因此,對(duì)古詩(shī)詞的理解難以一步到位,需分層次完成。因此,項(xiàng)目將古詩(shī)詞教學(xué)分為由易到難的三個(gè)遞進(jìn)式層級(jí)。
音聲誦讀。誦讀是一種“有藝術(shù)意味”的有聲閱讀[15]。古語有云“熟讀唐詩(shī)三百首,不會(huì)作詩(shī)也會(huì)吟”,其重要性可見一斑。通過有聲語言,學(xué)習(xí)者能對(duì)文本中蘊(yùn)含的豐富語義有初步感知。系統(tǒng)在音聲教學(xué)層次收錄了30 余首黃鶴樓相關(guān)的經(jīng)典詩(shī)詞及吟唱,引導(dǎo)學(xué)生誦讀感悟。
意境解析。詩(shī)詞通過“意合”的方式組織語言[16],雖篇幅短小卻融景融情。因此,除了字面上的意思,還需對(duì)詩(shī)詞的弦外之音進(jìn)行解讀。系統(tǒng)在意境教學(xué)層次設(shè)置虛擬教師,對(duì)詩(shī)詞中的特殊意象、典故等復(fù)雜內(nèi)容進(jìn)行條分縷析地解讀,模擬真實(shí)教學(xué)活動(dòng),利用情境認(rèn)知加深學(xué)習(xí)者的理解[17]。
品格感悟。詩(shī)詞中蘊(yùn)含著詩(shī)人對(duì)社會(huì)生活的反思與見解,對(duì)學(xué)習(xí)者的人格修養(yǎng)建設(shè)有著重要作用,對(duì)其進(jìn)行提煉解讀,是實(shí)現(xiàn)知行合一的重要步驟。系統(tǒng)在品格教學(xué)層次設(shè)置貼近創(chuàng)作背景的情境,引導(dǎo)學(xué)生對(duì)作者生平及所處的時(shí)代背景進(jìn)行挖掘,探尋詩(shī)詞背后的深層品格。
VR 體驗(yàn)中的場(chǎng)景是由虛擬的元素構(gòu)成的敘事空間,用戶在此空間內(nèi)完成虛擬現(xiàn)實(shí)體驗(yàn),其設(shè)計(jì)過程需關(guān)注構(gòu)圖、視角、景別等要素。除上述內(nèi)容外,黃鶴故詩(shī)的場(chǎng)景設(shè)計(jì)以還原詩(shī)畫意境為總體目標(biāo),結(jié)合關(guān)鍵詞詞頻分析和AI 圖像生成兩種方法,深化教學(xué)內(nèi)容與虛擬場(chǎng)景間的聯(lián)系,具體分為以下三個(gè)步驟。
(1)詞頻分析驅(qū)動(dòng)的關(guān)鍵詞提取,增強(qiáng)虛擬場(chǎng)景的文化認(rèn)同。
詞頻分析(Word Frequency Analysis)是對(duì)文獻(xiàn)中重要詞匯出現(xiàn)的次數(shù)進(jìn)行統(tǒng)計(jì)與分析,是文本挖掘的重要手段。項(xiàng)目通過詞頻分析提取詩(shī)詞中的關(guān)鍵詞,并基于此構(gòu)筑虛擬場(chǎng)景。生成式AI 由數(shù)據(jù)驅(qū)動(dòng)內(nèi)容生產(chǎn),樣本的質(zhì)量與數(shù)量決定了場(chǎng)景的豐富性和準(zhǔn)確性?;诖?,項(xiàng)目制定相關(guān)實(shí)施方案如下。
樣本數(shù)計(jì)算。過小的樣本量不具備統(tǒng)計(jì)學(xué)上的解釋意義,過大的樣本量將提升處理難度,確定合適的樣本數(shù)十分必要,根據(jù)樣本量計(jì)算公式,項(xiàng)目選定30 首詩(shī)詞中的167個(gè)詞作為分析樣本。
詞性篩選。古詩(shī)詞詞性分為實(shí)字詞(即今之所謂名詞)與虛字詞[18]。實(shí)者有意,是詩(shī)人感情幻化的實(shí)體,是情境構(gòu)建的重要要素。因此,項(xiàng)目從樣本中擇選對(duì)場(chǎng)景構(gòu)建有具象意義的名詞,作為AI 構(gòu)建場(chǎng)景的主要語料。
語義誤差篩查。古詩(shī)詞在文體、語義等方面與現(xiàn)代漢語存在差異,如采用針對(duì)現(xiàn)代漢語的機(jī)器分詞方法,結(jié)果準(zhǔn)確率較低。例如,“空余”被機(jī)器歸類為名詞,但從其語義層面理解應(yīng)將其歸類為動(dòng)詞。因此,在機(jī)器分詞處理結(jié)束后,應(yīng)根據(jù)現(xiàn)代漢語釋義對(duì)結(jié)果進(jìn)行二次詞性分類處理,有效降低語義引發(fā)的分類誤差。
樣本分類。場(chǎng)景是人與周圍景物關(guān)系的總和,其最為核心的要素是場(chǎng)所與景觀[19]。其中,景觀又包含自然景觀和在其基礎(chǔ)上附加人類活動(dòng)痕跡形成的人文景觀?;诖耍?xiàng)目將所選名詞分為自然場(chǎng)所、自然景觀、人文景觀三類。
最終選取名詞11 個(gè):黃鶴樓(14 次)、鸚鵡洲(5 次)、高樓(5 次)、白云(3 次)、青山(4 次)、煙水(3 次)、芳草(2 次)、櫻花(1 次)、煙花(1 次)、梅花(3 次)、黃鶴(13次)。并將其分為人文景觀、自然場(chǎng)所、自然景觀三類,主導(dǎo)AI 場(chǎng)景構(gòu)建,見圖3-a 所示。
圖3 基于詩(shī)畫意境的場(chǎng)景設(shè)計(jì)邏輯解析圖
(2)人工智能驅(qū)動(dòng)的詩(shī)詞意境構(gòu)建,加強(qiáng)文化與場(chǎng)景有機(jī)融合。
人工智能繪畫是生成式AI 在藝術(shù)領(lǐng)域的新拓展,其基于“輸入文字-生成圖像”的創(chuàng)作過程,打通了信息與空間融合的渠道,實(shí)現(xiàn)了文化與場(chǎng)景的有機(jī)融合。本次設(shè)計(jì)使用Disco Diffusion 輔助場(chǎng)景構(gòu)建,其原理是使用對(duì)比語言-圖像預(yù)訓(xùn)練(Contrastive Language-Image Pre-Training,CLIP)- 導(dǎo)向擴(kuò)散(Guided Diffusion),引導(dǎo)圖像不斷迭代朝向所指向的畫面,實(shí)施具體步驟如下。
文字提示(Promt)生成。將詞頻分析所得的關(guān)鍵詞植入模型化的文字描述中,生成位于圖像起點(diǎn)的文字提示,如“A beautiful painting of Yellow Crane Tower on hills and‘green:5’ mountains with ‘clouds and flowers:3’.”(引號(hào)內(nèi)數(shù)字表示該單元內(nèi)元素在畫面中的重要性比值)。
圖像文本編碼。對(duì)比語言- 圖像預(yù)訓(xùn)練訓(xùn)練了一個(gè)圖像編碼器和一個(gè)文本編碼器,以預(yù)測(cè)文本與圖像的配對(duì)關(guān)系,見圖4。其中,文本編碼器負(fù)責(zé)對(duì)基于“黃鶴詩(shī)詞”關(guān)鍵詞生成的Promt 進(jìn)行拆分解碼;圖像解碼器負(fù)責(zé)將Promt 中的關(guān)鍵詞與數(shù)據(jù)庫(kù)中的圖像進(jìn)行匹配,見圖5。圖像在多次迭代與再編碼后,由初始的噪聲圖像轉(zhuǎn)變?yōu)槲淖种赶虻那逦鷪D像。
圖4 圖像-文本編碼器預(yù)訓(xùn)練路徑
圖5 圖像-文本編碼過程可視化
場(chǎng)景原畫擇選。因AI 繪畫作品具有隨機(jī)性和不可復(fù)制性,需在多次測(cè)試結(jié)果中進(jìn)行二次擇選,以獲得理想解。項(xiàng)目通過對(duì)關(guān)鍵詞進(jìn)行分類重組、調(diào)整權(quán)重等處理,生成不同的Promt 用以多次測(cè)試,最終生成21 張黃鶴故詩(shī)項(xiàng)場(chǎng)景原畫,并從中選擇3 張作為后期場(chǎng)景搭建的主要依據(jù),見圖3-b。
虛幻引擎驅(qū)動(dòng)的高仿真場(chǎng)景搭建,提升虛擬場(chǎng)景的沉浸深度。
虛幻引擎作為開源游戲引擎,能為場(chǎng)景搭建提供可視化材質(zhì)編輯、高仿真實(shí)時(shí)渲染、易用的代碼架構(gòu)等支持。其技術(shù)實(shí)現(xiàn)主要基于三個(gè)步驟:場(chǎng)景規(guī)劃和模型搭建,程序化材質(zhì)制作,燈光及動(dòng)態(tài)渲染,見圖3-c。項(xiàng)目希望充分發(fā)揮其高仿真優(yōu)勢(shì),實(shí)現(xiàn)用戶在體驗(yàn)過程中的深度沉浸。為解決詩(shī)意場(chǎng)景難定義和實(shí)時(shí)渲染難優(yōu)化的問題,制定解決方案如下。
風(fēng)格化材質(zhì)編譯。風(fēng)格化場(chǎng)景主要依靠材質(zhì)來定義。為保障詩(shī)意化場(chǎng)景的建成,項(xiàng)目以場(chǎng)景風(fēng)格作為材質(zhì)編譯的導(dǎo)向,強(qiáng)調(diào)材質(zhì)與風(fēng)格的適配性。例如,場(chǎng)景中的黃鶴樓是具有木架構(gòu)體系的典型中式建筑,材質(zhì)編譯時(shí)突出其木質(zhì)肌理,并采用大面積、高飽和色塊體現(xiàn)其特性,以匹配古風(fēng)、詩(shī)意的場(chǎng)景風(fēng)格。
集成材質(zhì)減少指令數(shù)。項(xiàng)目通過傳統(tǒng)的減少模型面數(shù)的方式實(shí)現(xiàn)優(yōu)化,還通過集成材質(zhì)進(jìn)一步優(yōu)化。首先將具有相似性的材質(zhì)集成到同一主材質(zhì)中,再創(chuàng)建材質(zhì)實(shí)例來定義具體物體的外觀,使其能在父級(jí)外觀基礎(chǔ)上進(jìn)行細(xì)節(jié)調(diào)整。此操作提供了統(tǒng)一且豐富的視效,且減少了材質(zhì)指令數(shù),進(jìn)一步提升性能。
信息的有效傳達(dá)是教學(xué)的主要任務(wù),教學(xué)過程中包含各類差異化信息。其中,知識(shí)性信息以教育和傳播為主要目的;感覺性信息則只需感受到事物運(yùn)動(dòng)表征的形式化方面,不需理解事物運(yùn)動(dòng)表征的邏輯含義和它的效用價(jià)值。VR 體驗(yàn)中,交互是信息傳遞的重要途徑。為協(xié)調(diào)教學(xué)信息多元化特性和學(xué)生情緒體驗(yàn)之間的沖突,項(xiàng)目從兩類信息的特征差異出發(fā),來設(shè)計(jì)系統(tǒng)信息交互體驗(yàn)方式。
圖形界面主導(dǎo)知識(shí)性信息交互。資源限制理論認(rèn)為對(duì)刺激的識(shí)別需要占用認(rèn)知資源;刺激越復(fù)雜或加工任務(wù)越復(fù)雜,占用的認(rèn)知資源就越多[20]。在長(zhǎng)期的人機(jī)交互歷程中,人類形成相對(duì)成熟的二維平面交互認(rèn)知。因此,在處理較復(fù)雜的知識(shí)性信息時(shí),項(xiàng)目選擇由機(jī)器界面主導(dǎo)交互,將信息搭載在二維面板,再置入VR 三維空間布局中,利用其桌面隱喻、直接操縱和所見即所得的特點(diǎn)[21],釋放更多的認(rèn)知資源來處理相對(duì)復(fù)雜的邏輯。
體感行為主導(dǎo)感覺性信息交互。感覺是認(rèn)識(shí)過程的開端,是一切較高級(jí)、復(fù)雜的認(rèn)識(shí)活動(dòng)的基礎(chǔ);人的情緒體驗(yàn)也必須依靠人對(duì)環(huán)境和身體內(nèi)部狀態(tài)的感覺[22]。因此,項(xiàng)目以虛擬現(xiàn)實(shí)體驗(yàn)中的三維場(chǎng)景為載體,利用其多通道、多媒體特點(diǎn),由用戶感官主導(dǎo)感覺性信息的交互。如通過在虛擬環(huán)境中執(zhí)行“開門”操作,完成場(chǎng)景之間的切換。用戶通過虛實(shí)結(jié)合的方式與場(chǎng)景交互,提升體驗(yàn)的趣味性進(jìn)而保障其情緒體驗(yàn)。
本研究針對(duì)中國(guó)古詩(shī)詞文化傳播手段落后和詩(shī)畫意境體驗(yàn)缺失兩個(gè)關(guān)鍵性問題,分析人工智能驅(qū)動(dòng)下虛擬現(xiàn)實(shí)開發(fā)的優(yōu)勢(shì)以及對(duì)教育教學(xué)的影響,并以設(shè)計(jì)實(shí)踐項(xiàng)目“黃鶴故詩(shī)”為例,探究虛擬現(xiàn)實(shí)技術(shù)與中國(guó)古詩(shī)詞文化融合的路徑。其主要技術(shù)路徑是:經(jīng)由古詩(shī)詞場(chǎng)域的營(yíng)造,詩(shī)詞要素的分層遞進(jìn),詩(shī)畫意境的數(shù)字化還原,差異信息的二元主體傳導(dǎo)四步驟(對(duì)應(yīng)媒介與技術(shù)選擇、教學(xué)內(nèi)容設(shè)計(jì)、場(chǎng)景設(shè)計(jì)和交互設(shè)計(jì)四環(huán)節(jié))來對(duì)相關(guān)信息內(nèi)容進(jìn)行數(shù)字資產(chǎn)生產(chǎn);并據(jù)此探索源于詩(shī)歌和浪漫主義情懷的詩(shī)意表達(dá)、基于AI 算法和量化數(shù)據(jù)的理性表達(dá)、依托場(chǎng)景的沉浸式敘事表達(dá)三層面的差異化信息體驗(yàn)融通方式。最終,經(jīng)由多樣化技術(shù)協(xié)同,創(chuàng)新傳統(tǒng)文化的表現(xiàn)形式,拓寬其教育與傳播路徑,使傳統(tǒng)詩(shī)詞文化的教與學(xué)更具開放性和包容性。
未來的研究和實(shí)踐將致力于擴(kuò)展平臺(tái)知識(shí)容量,使其成為一個(gè)具有普適性的中國(guó)詩(shī)詞文化體驗(yàn)系統(tǒng),完成由方法探究到教學(xué)應(yīng)用的轉(zhuǎn)型;同時(shí),進(jìn)一步整合教育學(xué)、心理學(xué)知識(shí),研究教育過程中的心理、生理機(jī)制,提升信息的傳達(dá)效率,以期充分利用數(shù)字手段助推中國(guó)古詩(shī)詞文化的傳承和發(fā)展。