中圖分類號:TP391.9;TP391.4 文獻標識碼:A 文章編號:2096-4706(2025)12-0141-07
Research on the Countermeasures of Educational Virtual Digital Human Empowering Rural Teachers' Digital Literacy Improvement
WU Qiang, ZHOU Chen, WU Taoyu, LI Guangsong (GuangdongPolytechnic,F(xiàn)oshan 528041,China)
Abstract: With therapid developmentof digital education,improving the digitaliteracyofruralteachers hasbecome the keyto promoting the modernization of rural education.As an emerging technology,educational virtual digital human provides aninovativepath forimprovingrural teachers'digital literacy.Thispaper discusses theroleandcountermeasuresof educationalvirtualdigitalhuman inempoweringrural teachers toimprove theirdigitalliteracy.This paperdescribes themethod ofdevelopinganeducationalvirtualdigitalhumansystembycombiningmulti-camera3DfacescanningequipmentandUnity3D engine.Thesystemshows goodstabilityandexpansibilityandcaneffectivelyimprovethedigitaliteracyofrural teachersand promote the digital transformation of rural education.
Keywords: educational virtual digital human; digital literacy; Unity 3D engine
0 引言
隨著信息技術的不斷發(fā)展和普及,教育領域也逐漸進入數(shù)字化轉型的時代。在黨的二十大報告中,習近平總書記站在黨和國家事業(yè)發(fā)展全局的高度,對辦好人民滿意的教育作出重要部署,強調要“推進教育數(shù)字化,建設全民終身學習的學習型社會、學習型大國”[]。
教育數(shù)字化轉型已經成為教育改革和發(fā)展的必然趨勢,數(shù)字技術逐漸滲透到教學過程中,改變著教學方式和內容,提高了教學質量和效率,豐富了教學資源和手段,拓展了學生學習的空間和時間。然而,在數(shù)字化轉型的過程中,很多鄉(xiāng)村小規(guī)模學校由于資源匱乏、師資力量薄弱等原因,面臨著較大的困難和挑戰(zhàn)。為了提升鄉(xiāng)村學校的教育質量和水平,本文通過論述虛擬數(shù)字人制作流程,旨在為鄉(xiāng)村教師信息化教學賦能,豐富鄉(xiāng)村數(shù)字教育資源和服務供給。
1文獻綜述
國外學者在虛擬數(shù)字人的技術實現(xiàn)、教學應用以及效果評估等方面進行了深入研究。他們聚焦于虛擬數(shù)字人的智能交互技術,以提高其在教學過程中的靈活性和適應性。同時,一些學者關注虛擬數(shù)字人在不同學科領域的應用效果,以驗證其教學價值等。
國內學者在教育虛擬數(shù)字人的研究上也取得了顯著成果。一方面,國內研究注重虛擬數(shù)字人本土化開發(fā),以適應不同地域和文化背景的教育需求;另一方面,一些學者關注虛擬數(shù)字人在鄉(xiāng)村教育中的實際應用,探索如何通過虛擬數(shù)字人技術提升鄉(xiāng)村教育的質量和水平。
當前,虛擬數(shù)字人在許多領域都有應用,如客服領域、游戲領域、醫(yī)療領域等[2]。盡管教育虛擬數(shù)字人在國內外的研究中取得了一定的進展,但虛擬數(shù)字人的應用還處于初級階段,仍存在一些問題和挑戰(zhàn)。虛擬數(shù)字人的技術實現(xiàn)尚需進一步完善,以提高其在教學過程中的穩(wěn)定性和可靠性;同時,如何結合鄉(xiāng)村學校的實際情況,制定切實可行的實施方案,也是當前亟待解決的問題?;诖耍骄拷逃摂M數(shù)字人賦能鄉(xiāng)村教師數(shù)字素養(yǎng)提升的實踐路徑,為鄉(xiāng)村學校的教育數(shù)字化轉型提供證據(jù)支持和決策參考。
2教育虛擬數(shù)字人制作設計
教育虛擬數(shù)字人是在教育領域中融合了數(shù)字人和虛擬人特性,通過面部表情捕捉、動作捕捉、計算機圖形學、人機交互、人工智能、自然語言處理等技術,生成人或類人形象,在教育環(huán)境中,扮演教師、學校職員等多種角色,提供教學輔助、生活輔助等教育服務[3]。
傳統(tǒng)的虛擬數(shù)字人制作流程包括數(shù)字人概念設計、角色模型制作、面部表情模型制作、皮膚紋理與毛發(fā)制作、衣物制作、骨骼與控制器綁定、三維動畫制作、口型動畫模擬跟隨、語音克隆與TTS(Text toSpeech)、人機交互與邏輯開發(fā)等一系列流程[4]。
相較于傳統(tǒng)流程,教育虛擬數(shù)字人的制作流程在多個環(huán)節(jié)更針對教育領域進行優(yōu)化,且顯著提升了高仿真數(shù)字人的開發(fā)效率以及產品的創(chuàng)新性。本節(jié)主要討論教育虛擬數(shù)字人的制作流程與設計方法。
此制作流程總共分為五個步驟,流程圖如圖1所示。
2.1 需求分析與用戶定位
通過問卷、訪談等方式,分析鄉(xiāng)村教師在數(shù)字技能、教學場景中的痛點,例如信息化工具使用困難、課程設計能力不足等。通過分析這些痛點,明確教育虛擬數(shù)字人的核心功能需聚焦于教學示范、技能培訓、答疑互動等方面。同時,結合《教師數(shù)字素養(yǎng)》等政策文件,確定虛擬教育數(shù)字人需覆蓋的能力維度。
2.2虛擬教育數(shù)字人角色設計
首先,需要給予此數(shù)字人形象與性格設定,采用親和力強的教育者形象,適配鄉(xiāng)村教師文化認知;設計耐心、引導式的對話邏輯,避免技術術語堆砌,注重語言通俗化。其次,針對此數(shù)字人的功能模塊設計,需要整合教育學理論、學科知識、數(shù)字技能操作指南等內容來構建知識庫。同時,設計恰當?shù)慕换ツJ?,包括支持語音對話、手勢示范、多模態(tài)反饋等。
2.3 技術開發(fā)與實現(xiàn)
研究通過以下技術實現(xiàn)數(shù)字人功能:
1)數(shù)字人建模與驅動。數(shù)字人的3D建模通過采用Blender、Maya、ZBrush等工具構建高精度模型,或使用MetaHumanCreator(UE)選擇輕量化低多邊形(Low-Poly)風格以降低硬件要求。數(shù)字人的動作通過動捕設備或AIGC生成教學演示動作[5]。
2)語音與語義交互。通過語音合成技術(TTS)實現(xiàn),可選用方言適配的語音引擎,增強鄉(xiāng)村教師情感認同。通過自然語言處理技術(NLP),融入大模型,結合教育場景優(yōu)化用戶的意圖識別,支持多輪問答與糾錯反饋。
2.4 測試與優(yōu)化迭代
邀請鄉(xiāng)村教師參與原型測試,模擬真實教學場景,如制作多媒體課件、在線課堂管理等。通過原型測試環(huán)節(jié),記錄操作卡點、交互誤解等問題,優(yōu)化響應邏輯和界面設計。通過降低算力需求、輕量化模型、采用邊緣計算來適配鄉(xiāng)村網(wǎng)絡環(huán)境。通過增強語音識別的抗噪能力,適應教室嘈雜環(huán)境,提升教育虛擬數(shù)字人的魯棒性。
2.5 部署與應用支持
通過開發(fā)PC端,制作操作手冊與短視頻教程,設計“教育虛擬數(shù)字人 + 真人導師”雙軌支持模式,并建立知識庫動態(tài)更新機制,同步最新數(shù)字教育資源。
3教育虛擬數(shù)字人制作關鍵技術
用戶與虛擬數(shù)字人的對話和互動是關鍵環(huán)節(jié)[。研究團隊在項目中內置了語音識別模塊,該模塊能夠識別和接收用戶的語音信息,并將其轉換為文字信息。隨后,通過微調大模型使其適應于教育領域,從而實現(xiàn)根據(jù)用戶在某一學科的知識提問進行回答,同時將回答內容顯示到UI界面上。除此之外,語音識別模塊還具備自動喚醒數(shù)字人的功能,以實現(xiàn)與用戶更自然的互動。制作教育虛擬數(shù)字人的關鍵技術主要分為以下四個部分。
3.13D數(shù)字人建模
3D數(shù)字人建模作為實現(xiàn)教育虛擬數(shù)字人的關鍵環(huán)節(jié)之一,主要任務在于構建出既符合教育場景需求、又具備良好交互性的數(shù)字人形象。其主要步驟包括多相機3D人臉掃描、細節(jié)雕刻、低多邊形優(yōu)化、紋理繪制以及骨骼綁定與驅動,如圖2所示。
圖23D數(shù)字人建模
1)多相機3D人臉掃描。首先,人物在被采集時應盡量保持靜止,以免影響采集效果;接著,人物正確的采集姿態(tài)應為:挺直腰板,后腦勺或脖子靠在頭枕的中間位置,目視正前方;然后,根據(jù)人物的身高,自行調整凳子高度到合適的位置;最后,人物在被采集時,應盡可能露出臉部特征(露出額頭、耳朵),男生建議使用頭套或束發(fā)帶(如泳帽之類的),女生使用發(fā)箍;佩戴耳飾、眼鏡的建議摘下再進行采集。
2)基礎模型構建與雕刻。借助ZBrush對面部、手部等局部細節(jié)進行雕刻處理,提高模型真實感。借助面部捕捉設備,使用蘋果iPhoneARKit或華為HMSCoreAREngine捕捉真人教師的面部表情(支持普通智能手機),組建核心表情庫。
3)低多邊形優(yōu)化與UV映射。在高精度模型基礎上進行拓撲重構,生成適合實時渲染的低多邊形版本,確保在低性能設備上的流暢運行。對3D模型進行UV展開,在SubstancePainter或Photoshop中繪制皮膚、服飾等紋理,同時生成法線貼圖,以便在渲染時呈現(xiàn)細節(jié)效果。
4)骨骼綁定與動作驅動。在Maya中為模型建立骨骼系統(tǒng),并進行蒙皮處理,使得模型能夠支持豐富的表情和動作。結合動捕設備或AIGC生成的標準教學動作,通過動畫混合技術實現(xiàn)流暢過渡,確保教學演示動作的自然表現(xiàn)。
通過以上步驟,3D數(shù)字人建模不僅能夠呈現(xiàn)高精度的角色形象,同時也為后續(xù)的交互、語音識別和問答系統(tǒng)提供了良好的支撐,確保整個教育虛擬數(shù)字人在實際教學場景中具有較高的真實感和流暢度。
3.2 交互界面設計
界面設計的好壞決定了用戶對教育虛擬數(shù)字人的好感度和知識問答的體驗感。在交互界面中,研究團隊采用基礎的Unity組件實現(xiàn),如Canvas、Text、Button等。整個界面分為左右兩部分,左邊顯示用戶發(fā)送的語音信息及數(shù)字人對用戶提問內容的相應回答文本,右邊展示教育虛擬數(shù)字人的3D形象。此外,在UI界面的背景設計上,本文也添加了教育元素背景,如教室場景背景等,以增加用戶的沉浸感。系統(tǒng)界面展示效果如圖3所示。
圖3系統(tǒng)界面展示效果
3.3語音識別系統(tǒng)
語音識別系統(tǒng)設計作為實現(xiàn)教育虛擬數(shù)字人的關鍵步驟之一,重點在于準確識別用戶的語音內容和去除外界噪音的干擾[。隨著技術的發(fā)展,目前市場上已經有許多的成熟的語音識別技術和SDK,通過對比分析后,研究團隊采用國內語音識別技術最成熟的科大訊飛的技術,通過訊飛開放平臺的語音識別SDK實現(xiàn)本部分內容的設計。接下來,本文簡述如何在Unity中結合科大訊飛語音識別SDK搭建語音識別環(huán)境:
首先,通過訊飛開放平臺的開發(fā)者控制臺創(chuàng)建應用即可申請獲得一個Appid碼,接著下載Windows環(huán)境下的語音識別SDK并將其解壓,可以看到位于文件目錄路徑“bin”下有一個SDK應用程序拓展文件“msc_x64.dll”,打開Unity項目并在項目視圖中創(chuàng)建“Plugins”文件夾用于放置科大訊飛語音識別SDK應用程序拓展文件“msc_x64.dll”。
配置好SDK后,繼續(xù)在Unity中新建“Record”代碼用于實現(xiàn)用戶語音轉文字并顯示到UI界面。首先需要引用命名空間“UnityEngine.EventSystems”,子類“Record”繼承“IPointerDownHandler,IPointerUpHandler”兩個父類,實現(xiàn)長按錄制用戶語音。此外,還需要引用命名空間“UnityEngine.UI”用于創(chuàng)建UI組件與用戶界面對應并實現(xiàn)相應的交互功能。隨后新建“Speech”代碼,修改與科大訊飛語音識別SDK包相對應的Appid碼,接著在代碼中添加一個“Asr”方法,傳入形參“clipBuffer”代表音頻文件數(shù)據(jù),其類型為“byte”,該方法的返回值為將音頻文件數(shù)據(jù)處理后得到的字符串結果。
圖5 “Speech”代碼執(zhí)行流程圖
3.4 問答系統(tǒng)
問答系統(tǒng)能夠讓用戶以自然語言的形式提出問題并獲得相應的回答,該系統(tǒng)既是自然語言處理(NaturalLanguageProcessing,NLP)領域的重要研究方向之二[8],也是本文設計的教育虛擬數(shù)字人的關鍵步驟之一。近年來,隨著人工智能技術的迅速發(fā)展,各種大模型出現(xiàn),如國內的百度的大語言模型文心一言,國外的基于GPT系統(tǒng)大模型構建的聊天機器人程序ChatGPT(ChatGenerativePre-trainedTransformer)能夠根據(jù)用戶的提問給出相應的回答,像人類一樣與用戶交流。除此之外,微調技術允許模型在某一領域的任務上進行優(yōu)化,以適應和處理其他領域的問題[。小程序端系統(tǒng)界面如圖6所示。
研究團隊通過接入現(xiàn)有的大模型并進行微調,使其適用于教育領域,以實現(xiàn)問答系統(tǒng)。在Unity中接入百度大模型之前,需要先在百度智能云千帆控制臺創(chuàng)建應用,獲得“APIKey”和“SecretKey”兩個重要參數(shù)。接著,創(chuàng)建“ChatDigitizedHuman”代碼用于實現(xiàn)接入大模型。當Unity場景中對應的游戲對象被創(chuàng)建后,立即調用Awake(方法獲取token,并為按鈕添加單擊事件。若用戶點擊Unity場景中的“發(fā)送”信息按鈕,則會觸發(fā)“OnSendO”方法,將用戶在Unity前端界面中輸入的內容作為實參傳遞到開始對話方法“OnSpeakO”,該方法會發(fā)送用戶的輸入內容到對應的大模型平臺。隨后,從服務器下載回答數(shù)據(jù)并進行數(shù)據(jù)處理,最后顯示到Unity場景的信息窗口中。
圖6小程序端系統(tǒng)界面
4教育虛擬數(shù)字人應用影響與評估
教育虛擬數(shù)字人應用影響與評估如下:
1)引入虛擬數(shù)字人技術。鄉(xiāng)村學校往往面臨師資力量不足、教學資源匱乏等挑戰(zhàn)。教育虛擬數(shù)字人的引入,能有效彌補這些不足,通過模擬真實教師的教學模式,為學生提供更豐富、更個性化的學習體驗;另外,通過訓練大灣區(qū)的高校名師教學大模型。
2)教育虛擬數(shù)字人的應用是教育技術與理論相結合的新嘗試。研究團隊通過引入虛擬數(shù)字人這一先進的教育技術,不僅豐富了教學手段,也進一步推動了教育理論的創(chuàng)新與發(fā)展。教育虛擬數(shù)字人能夠根據(jù)學生的個體差異進行個性化教學,這有助于打破傳統(tǒng)教育中“一刀切”的教學模式。
3)教育虛擬數(shù)字人的應用是教育數(shù)字化轉型中的重要一環(huán)。通過引入數(shù)字人技術,鄉(xiāng)村學校能夠加速信息化建設的步伐,提升學校的信息化水平和能力。這不僅有助于提升學校的教學質量和管理效率,還有助于培養(yǎng)學生的信息素養(yǎng)和數(shù)字化技能,為學生未來的學習和工作打下堅實的基礎[10]
5結論
教育虛擬數(shù)字人作為新興技術,必能為鄉(xiāng)村教師數(shù)字素養(yǎng)的提升帶來革命性變革。隨著技術的不斷成熟和完善,教育虛擬數(shù)字人將更精準地識別鄉(xiāng)村教師的數(shù)字素養(yǎng)短板,提供個性化的培訓和指導。同時,通過模擬真實教學場景,幫助教師在虛擬環(huán)境中實踐數(shù)字技能,提升數(shù)字化應用能力。此外,教育虛擬數(shù)字人還能作為教師交流的橋梁,促進城鄉(xiāng)教師之間的經驗分享和互動,縮小數(shù)字鴻溝。展望未來,教育虛擬數(shù)字人將成為鄉(xiāng)村教師數(shù)字素養(yǎng)提升的重要工具,推動鄉(xiāng)村教育邁向高質量發(fā)展階段,為鄉(xiāng)村孩子提供更優(yōu)質的教育資源。
參考文獻:
[1]新華社.習近平:高舉中國特色社會主義偉大旗
幟為全面建設社會主義現(xiàn)代化國家而團結奮斗一一在中國
共產黨第二十次全國代表大會上的報告[EB/OL].(2022-
10-25)[2024-12-26].https://www.gov.cn/xinwen/2022-10/25/
content_5721685.htm.
[2]蔡雨坤,陳禹堯.取“人”之長:虛擬數(shù)字人在科普
中的應用研究[J].科普研究,2023,18(4):26-34+107.
[3]李青,劉勇.教育虛擬數(shù)字人標準體系設計及其路徑
規(guī)劃[J].現(xiàn)代教育技術,2024,34(7):70-80.
[4]黃慎澤,呂欣.AIGC技術驅動下的高仿真虛擬數(shù)
字人設計研究[J].藝術設計研究:中英文,2024(6):95-
101.
[5]潘有崇.高逼真虛擬數(shù)字人制作技術的研究與應用[J]
價值工程,2024,43(28):91-94.
[6]鞏志祥,于秀平.虛擬數(shù)字人制作流程及應用場景研
究[J].電視技術,2024,48(12):178-181.
[7]戰(zhàn)玉娟,苑芳兵.基于科大訊飛開放平臺的語音識別
技術在背誦檢查中的應用研究[J].中國教育信息化,2019(6):
33-35.
[8]姚元杰,龔毅光,劉佳,等.基于深度學習的智能問答系統(tǒng)綜述[J].計算機系統(tǒng)應用,2023,32(4):1-15.
[9]任海玉,劉建平,王健,等.基于大語言模型的智能問答系統(tǒng)研究綜述[J].計算機工程與應用,2025,61(7):1-24.
[10]趙一鳴,鄭喬治,沈校亮.虛擬數(shù)字人對用戶在線學習效果的影響研究[J].現(xiàn)代情報,2025,45(1):81-96.
作者簡介:吳強(1992—),男,漢族,貴州貴陽人,講師,碩士,研究方向:計算機應用技術、虛擬現(xiàn)實技術;周晨(1997—),女,漢族,廣西桂林人,助教,碩士,研究方向:計算機應用技術、虛擬現(xiàn)實技術;吳韜宇(1997一),男,漢族,廣東佛山人,助教,碩士,研究方向:計算機應用技術、用戶體驗設計;李廣松(1980—),男,漢族,河南林州人,副教授,碩士,研究方向:計算機應用技術、虛擬現(xiàn)實技術。