潘夢鷂　呂小勇　陳少偉　王鋒　郇銳鐵

［摘? ? ? ? ? ?要］? 針對教師線上課程建設采用語音、視頻錄播方式，建設效率低、語音準確性低、錄播時間長、錄播受情緒和環(huán)境影響，導致線上課程建設質(zhì)量較低等問題，提出應用AI虛擬數(shù)字人技術提升高校教師線上教學能力，通過計算機動畫建模技術生成虛擬教學主播外觀的教學動畫，通過語音克隆技術克隆主講聲音進行個性化語音合成，產(chǎn)生出高自然度、高音質(zhì)、表現(xiàn)力豐富的課件語音輸出，通過動畫驅(qū)動和渲染技術生成虛擬教學主播行為的動畫，將音視頻合成虛擬教學主播外觀、聲音、行為的課件，通過人機交互、5G移動通信技術實現(xiàn)輔助教學，為實現(xiàn)AI虛擬數(shù)字人教學提供方法和路徑。

［關? ? 鍵? ?詞］? 虛擬數(shù)字人；線上教學；創(chuàng)新；實踐

［中圖分類號］? G712? ? ? ? ? ? ? ? ? ? ［文獻標志碼］? A? ? ? ? ? ? ? ? ? ［文章編號］? 2096-0603（2023）31-0001-04

一、引言

近年來，元宇宙技術取得了飛速發(fā)展，AI虛擬數(shù)字人技術為數(shù)字經(jīng)濟和社會的發(fā)展提供了有力支撐。國家“十四五”規(guī)劃指出，云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、區(qū)塊鏈、人工智能、虛擬現(xiàn)實和增強現(xiàn)實是數(shù)字經(jīng)濟的重點產(chǎn)業(yè)[1]。國家創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略綱要指出，加強類人智能、自然交互與虛擬現(xiàn)實、微電子與光電子等技術研究[2]。國家五部門在2020年《國家新一代人工智能標準體系建設指南》中指出，人工智能關鍵領域技術標準包括自然語言處理、智能語音、計算機視覺、生物特征識別、虛擬現(xiàn)實/增強現(xiàn)實、人機交互等[3]。國務院辦公廳在2017年《新一代人工智能發(fā)展規(guī)劃》中指出，人工智能的迅速發(fā)展將深刻改變?nèi)祟惿鐣?、改變世界，語音識別技術初步具備跨越發(fā)展的能力[4]。

大部分教師線上課程建設采用語音、視頻錄播方式，建設效率低、語音準確性低、錄播時間長、錄播受情緒和環(huán)境影響，導致線上課程建設質(zhì)量較低。元宇宙包括自然人、虛擬數(shù)字人、高仿機器人三元主體，虛擬數(shù)字人（Virtual digital human）是指通過聚合科技創(chuàng)造存在于虛擬世界、具有類人特質(zhì)的數(shù)字形象，是元宇宙中自然人進行虛擬時空感知的主要載體[5]。虛擬數(shù)字人是指通過計算機技術創(chuàng)建的具有人的外貌、行為和思想特征的虛擬實體。它們可以被用于各種應用領域，如游戲開發(fā)、虛擬現(xiàn)實、電影制作、人機交互等。形象生成是指通過計算機動畫建模技術，根據(jù)相應的人物設定要求來對虛擬數(shù)字人的外形進行創(chuàng)作，生成動畫有人外觀；語音合成是將輸入的文本類型的信號序列經(jīng)過適當?shù)捻嵚商幚砗螅ㄟ^特定的合成器，產(chǎn)生出高自然度、高音質(zhì)、表現(xiàn)力豐富的語音輸出，使計算機或相關系統(tǒng)生成動畫擁有人的語言；個性化語音合成技術是對不同人的語音特征參數(shù)進行分析，提取說話人語音特征參數(shù)用于語音合成系統(tǒng)進行個性化語音合成；語音克隆技術是指使用和訓練一個新模型來完成對新發(fā)音人聲音的克??；動畫生成是指將合成的語音驅(qū)動對應虛擬形象動畫，生成動畫擁有人的行為；AI虛擬數(shù)字人教學是將虛擬數(shù)字人與機器人、虛擬現(xiàn)實、多媒體等技術相結合，由虛擬數(shù)字人組織、實施與管理教學，優(yōu)化主講教師的教學結構、改進教學策略、實現(xiàn)教學方法。

AI虛擬數(shù)字人技術可解放人的智力，可以無限擴大人的智力，使人的智力得到全部解放，未來AI虛擬數(shù)字人在研究上朝著人物形象生成、語音生成、動畫生成、音視頻合成以及交互技術方向發(fā)展，在應用上朝著傳媒、教育、金融、醫(yī)療、體育等行業(yè)發(fā)展，其中，作為國家未來的教育又是重中之重，AI虛擬數(shù)字人技術在教育教學中的應用重點是線上教學及人機交互輔助教學；AI虛擬數(shù)字人技術在線上教學的應用將大大提高教師線上課程建設效率效果、降低建設成本，提高線上課程的個性化建設和課程建設質(zhì)量，全面提升高校教師的線上教學能力，同時，利用5G移動通信技術、云端大數(shù)據(jù)技術進行5G+AI虛擬數(shù)字人教學，在提升高校教師教學的標準化教學水平、解放師資力量等方面發(fā)揮重要的作用，5G+AI虛擬數(shù)字人教學將為教育教學帶來顛覆性變革，對教育教學的影響十分深遠，具有廣闊市場應用前景。

AI虛擬數(shù)字人技術在線上教學的應用研究關系到高校廣大教師教學能力的提高及教學方式的變革問題。國內(nèi)外對虛擬數(shù)字人技術的研究主要是圍繞語音合成、動畫建模、動畫驅(qū)動、人機交互四個方向開展。

語音合成研究新進展：英國學者Heiga Zen等在21世紀提出基于隱馬爾可夫模型語音合成系統(tǒng)，通過調(diào)整合成的參數(shù)來改變聲音特征[6]；哥斯達黎加學者CotoJiménez Marvin在2021年提出基于深度學習后置濾波器用于增強統(tǒng)計參數(shù)語音合成，應用后置濾波器與長期短期記憶深度神經(jīng)網(wǎng)絡[7]。

動畫建模研究新進展：瑞士學者Yvain Tisserand等在2020年提出一種模擬與自主神經(jīng)系統(tǒng)（ANS）相關的虛擬人生理面部特征的原理方法，基于ANS兩個分支內(nèi)的典型協(xié)同作用，包括副交感神經(jīng)張力和交感神經(jīng)色調(diào)，以及它們對膚色、瞳孔直徑和汗液的影響，展示不同的ANS參數(shù)影響面部行為，對比情緒一致與不一致的肌肉骨骼和ANS相關特征[8]；瑞士學者Nadia Magnenat-Thalmann等在2004年提出通過對捕獲的和結構注釋的數(shù)據(jù)進行框架化，從而利用統(tǒng)計隱式來合成新的身體形狀，生成具有高逼真度的可動畫人體模型[9]。

動畫驅(qū)動研究新進展：大連交通大學紀元元在2018年提出基于虛擬現(xiàn)實技術的數(shù)字動畫短片創(chuàng)作，通過應用游戲引擎實時渲染技術帶給觀眾沉浸式的觀影體驗[10]；北京科技大學王曉慧等在2021年提出了一種通用、動態(tài)且自學習的虛擬數(shù)字人手勢生成模型，為實現(xiàn)豐富情感表現(xiàn)的虛擬數(shù)字人提供了數(shù)據(jù)和模型基礎[11]；桂林電子科技大學熊偉在2020年提出了一種基于三維動畫的虛擬人物表情動作系統(tǒng)，該系統(tǒng)采用拉普拉斯坐標恢復模型來重建人臉表情動作，從而實現(xiàn)對三維動畫虛擬人物表情動作的模擬[12]。

人機交互研究新進展：北京師范大學程思琪等在2022年提出虛擬數(shù)字人的體驗性屬性，人際交互機制對人與虛擬數(shù)字人交互模式的解釋效力[13]；北京師范大學喻國明等在2022年提出VR/AR/MR交互技術持續(xù)迭代升級，為元宇宙的世界提供從物理世界到生理世界，從現(xiàn)實空間到虛擬空間的全面無縫連接[14]；西安交通大學彭影彤等在2021年提出元宇宙自然人、虛擬數(shù)字人、高仿人機器人構成“三人行”交互格局，人機交互模式有類內(nèi)交互、類間交互，在數(shù)量上有一對一、一對多、多對多交互[15]。

縱觀上述國內(nèi)外研究現(xiàn)狀，對虛擬數(shù)字人技術的研究現(xiàn)狀分析，可以得到以下幾個結論：（1）虛擬數(shù)字人技術是提升高校教師線上教學能力的有效措施。（2）目前沒有對應用虛擬數(shù)字人技術在個性化線上課程進行研究，教師線上課程的清晰度、自然度不夠。（3）目前沒有對虛擬數(shù)字人交互在輔助教學進行研究。

針對虛擬數(shù)字人技術在教育教學行業(yè)應用研究現(xiàn)狀所存在的問題，結合虛擬數(shù)字人技術向具備人的外觀、人的行為、人的思想高度擬人化方向發(fā)展特點，提出“基于AI虛擬數(shù)字人技術線上教學的創(chuàng)新與實踐”項目，研究應用虛擬數(shù)字人技術提升教師個性化線上教學能力及使用人機交互進行輔助教學，提高教師線上課程建設效率效果、降低建設成本，提高線上課程的個性化建設和課程建設質(zhì)量，全面提升高校教師的線上教學能力，打造虛擬數(shù)字人“名師課堂”“智慧課堂”，促進AI虛擬數(shù)字人教學在高等院校的發(fā)展，通過人機交互實現(xiàn)輔助教學，在提升高校教師教學的標準化教學水平、解放師資力量等方面發(fā)揮重要的作用，為教育教學帶來顛覆性變革。

二、AI虛擬數(shù)字人技術線上教學創(chuàng)新方法

（一）AI虛擬數(shù)字人技術線上教學創(chuàng)新方法

通過計算機動畫建模技術生成具有虛擬教學主播外觀的動畫，通過語音克隆技術克隆主講聲音進行個性化語音合成，產(chǎn)生出高自然度、高音質(zhì)、表現(xiàn)力豐富的課件語音輸出，通過動畫驅(qū)動和渲染技術生成虛擬教學主播行為的動畫，將音視頻合成虛擬教學主播外觀、聲音、行為的課件，通過人機交互、5G移動通信技術實現(xiàn)輔助教學，為實現(xiàn)AI虛擬數(shù)字人教學提供方法和路徑。

（二）AI虛擬數(shù)字人技術線上創(chuàng)新路線

設計總體研究，制訂出項目開發(fā)計劃和需求分析，將系統(tǒng)功能劃分成三個關鍵技術模塊，確定各模塊任務，分析模塊間關系，實現(xiàn)目標分解，以便項目組更好地、協(xié)調(diào)地開展工作。

1.建設虛擬教學主播語音合成系統(tǒng)

通過語音克隆技術克隆虛擬教學主播語音，將課件文本經(jīng)過適當韻律處理，通過虛擬教學主播產(chǎn)生出高自然度、高相似度、表現(xiàn)力豐富的課件語音輸出，使虛擬教學主播像“教師本人”一樣產(chǎn)生自然流利的語音課件。課件語音合成系統(tǒng)包括前端處理、韻律處理、合成單元。

2.建設虛擬教學主播形象建模系統(tǒng)

通過計算機動畫建模技術對主講教師真人特征進行面部、身體、頭發(fā)、服裝3D建模，生成具有虛擬教學主播外觀的動畫。虛擬教學主播形象可根據(jù)主講教師的形象定制，擬真度高。

3.建設虛擬教學主播形象驅(qū)動系統(tǒng)

通過音素識別器對輸入語音信號進行實時識別，結合動態(tài)視素生成算法，將識別結果轉化為相應的面部動畫參數(shù)序列。利用該參數(shù)序列驅(qū)動一個3D頭部模型，實現(xiàn)面部動畫的同步生成，從而實現(xiàn)對虛擬教學主播行為的動畫生成。這一方法能夠通過語音或文字內(nèi)容實時驅(qū)動虛擬形象的口唇動作和面部表情，生成逼真的面部動畫。

4.建設虛擬教學主播人機交互輔助教學系統(tǒng)

將虛擬教學主播與機器人、5G移動通信技術相結合，具備語音課件講解、視頻播放的輔助教學，虛擬教學主播實時與主講教師、學生進行語音互動教學，最終替代教師主持教學，提升高校教師教學的標準化教學水平，解放師資力量，提高教學效果和教學質(zhì)量。系統(tǒng)包括在線語音合成、在線語音識別、交互管理模塊（含教學機器人）、5G通信和教學資料庫服務器。

三、AI虛擬數(shù)字人技術線上教學實踐路徑

（一）實踐研究

AI虛擬數(shù)字人技術線上教學系統(tǒng)由虛擬教學主播語音合成系統(tǒng)、虛擬教學主播形象建模系統(tǒng)、虛擬教學主播形象驅(qū)動系統(tǒng)、虛擬教學主播人機交互輔助教學系統(tǒng)四個部分組成。

1.制作虛擬數(shù)字人頭像模型

利用character creator 4的headshot插件，制作頭像模型，導出模型到Omniverse。

2.生成語音動畫

導入Omniverse Audio 2 face，指定頭部基礎模型，修改模型軸向，導入音頻，匹配頭像，輸出語音動畫。

3.輸出動畫序列

導入create，設置燈光、攝像機，設置渲染。

4.合成視頻

序列幀合成，添加音軌，輸出視頻。

（二）實踐結果與分析

1.實踐結果

采用AI虛擬數(shù)字人課程建設智能網(wǎng)聯(lián)汽車技術概論課程，共46段，合計139469字符。

2.實踐分析

（1）傳統(tǒng)錄播方法建設課程

教師準備好所有知識點材料，處理好前期文字，教師朗讀錄音、錄像速度為每秒2.2字符，一分鐘為132字符，則教師完成該課程需要朗讀、拍攝時間為139469 ÷ 132=1056分鐘，假設教師因口誤、重拍返工重讀率為50%，則教師朗讀、拍攝總時間為1056 × （1 + 50%） = 1584分鐘，這是教師在錄播過程中不間斷、不休息、不耽擱情況下的計算時間。

（2）采用AI虛擬數(shù)字人技術建設線上課程

AI虛擬數(shù)字人合成視頻課件，網(wǎng)絡正常情況下，3000字符約需要1分鐘，AI虛擬數(shù)字人制作時間為139469 ÷ 3000 = 46.49分鐘，假設AI虛擬數(shù)字人系統(tǒng)因網(wǎng)絡故障、操作失誤重錄率為10%，則AI虛擬數(shù)字人完成線上課程制作所需要的時間為46.49 × （1 + 10%） = 51.14分鐘。

工作效率計算：1056 ÷ 51.14 = 20.64倍，則采用AI虛擬數(shù)字人技術方法建設課程的工作效率為傳統(tǒng)錄播方法建設課程工作效率的20倍，并且在傳統(tǒng)錄播過程中，教師語音準確性低、錄播時間長、錄播受情緒和環(huán)境影響，經(jīng)常發(fā)生間斷、休息、耽擱，因此，實際上采用AI虛擬數(shù)字人技術方法建設課程的工作效率，比采用傳統(tǒng)錄播方法建設課程的工作效率提高應該還要遠大于20倍。

四、AI智能語音技術線上教學應用

（一）具有較高的實踐指導意義

研究成果為教師線上教學能力和線上課程建設質(zhì)量的提高提供了實踐指導和保障。AI虛擬數(shù)字人技術在線上教學的應用將大大提高教師線上課程建設效率、降低建設成本，提高線上課程的個性化建設和課程建設質(zhì)量，全面提升高校教師的線上教學能力，同時，利用5G移動通信技術、云端大數(shù)據(jù)技術進行5G + AI虛擬數(shù)字人教學，在提升高校教師教學的標準化教學水平、解放師資力量等方面發(fā)揮重要的作用。

（二）具有較高的推廣應用價值

研究成果在線上教學及人工智能輔助教學方面具有較高的推廣應用價值，5G + AI虛擬數(shù)字人教學將為教育教學帶來顛覆性變革，對教育教學的影響十分深遠，具有廣闊的市場應用前景。

1.預期在校內(nèi)進行推廣

教學主播課件語音合成系統(tǒng)、課件語音轉換系統(tǒng)研究成果預期在校內(nèi)進行推廣。

2.在課題組成員單位進行推廣

虛擬教學主播課件語音合成系統(tǒng)、形象建模系統(tǒng)、形象驅(qū)動系統(tǒng)研究成果預期在廣東工貿(mào)職業(yè)技術學院、廣東機電職業(yè)技術學院、廣州科技職業(yè)技術大學等課題組成員單位進行推廣。

3.預期向全省各大高校進行推廣

虛擬教學主播課件語音合成系統(tǒng)、形象建模系統(tǒng)、形象驅(qū)動系統(tǒng)研究成果預期向全省各大高校進行推廣，帶動全省、全國各大高校AI虛擬數(shù)字人線上教學及AI虛擬數(shù)字人輔助教學的發(fā)展。

五、結論

1.建設虛擬教學主播課件語音合成系統(tǒng)。通過語音克隆技術克隆虛擬教學主播語音，高效輸出教師語音課件，語音準確性高，輸出不受情緒和環(huán)境影響，節(jié)省教師的工作時間，大大提高教師課件制作的工作效率、降低建設成本。

2.建設虛擬教學主播形象建模系統(tǒng)。通過計算機動畫建模技術對主講教師真人特征進行面部、身體、頭發(fā)、服裝3D建模，生成具有虛擬教學主播外觀的動畫。虛擬教學主播形象可根據(jù)主講教師的形象定制，擬真度高。

3.建設虛擬教學主播形象驅(qū)動系統(tǒng)。通過音素識別器對輸入的語音信號進行實時識別，結合動態(tài)視素生成算法，將識別結果轉化為相應的面部動畫參數(shù)序列。利用該參數(shù)序列驅(qū)動一個3D頭部模型，實現(xiàn)面部動畫的同步生成，從而實現(xiàn)對虛擬教學主播行為的動畫生成。這一方法能夠通過語音或文字內(nèi)容實時驅(qū)動虛擬形象的口唇動作和面部表情，生成逼真的面部動畫。

4.建設虛擬教學主播人機交互輔助教學系統(tǒng)。將虛擬數(shù)字人與機器人、5G移動通信技術相結合，具備語音課件講解、視頻播放的輔助教學，虛擬教學主播實時與主講教師、學生進行語音互動教學，最終替代教師主持教學，提升高校教師教學標準化教學水平、解放師資力量，提高教學效果和教學質(zhì)量。

5.虛擬教學主播大幅提升線上課程制作效率、制作質(zhì)量，降低制作成本。線上課程制作是重復性、簡單化工作，但花費教師大量制作時間，虛擬教學主播解放人的智力，能夠快速、高效制作線上課程，彌補傳統(tǒng)線上課程制作能力的不足，專注教學創(chuàng)新。

6.虛擬教學主播播報準確率高、親切自然。教師只需輸入文本的系統(tǒng)，就能夠?qū)⑽淖謨?nèi)容直接轉換為虛擬主播播報課程音視頻。該系統(tǒng)在播報過程中能夠呈現(xiàn)生動的表情，口型的準確度也非常高。合成聲音在音質(zhì)清晰、音色飽滿和自然流暢方面表現(xiàn)出色，進而使播報結果與真人主播可媲美。

7.個性化定制虛擬教學主播，有利于建設虛擬教學主播“名師課堂”。采用主講教師（外貌、服裝、聲音、語言）為原型個性化制作虛擬教學主播的形象和聲音，滿足各類課程場景需要。虛擬教學主播通過有聲有形的交互方式使人感覺親切、自然，有利于學生對虛擬教學主播身份的認可，有利于建設虛擬教學主播“名師課堂”。

8.有利于建設虛擬教學主播“智慧課堂”。虛擬教學主播可大量生產(chǎn)線上課程，形成核心數(shù)字資產(chǎn)。海量、多元化的線上課程是線上“智慧課堂”的必要條件，通過數(shù)量龐大的線上課程可吸引到足夠數(shù)量的用戶。

參考文獻：

［1］“十四五”數(shù)字經(jīng)濟發(fā)展規(guī)劃［EB/OL］.（2022-01-12）［2023-07-12］.https：//www.gov.cn/zhengce/zhengceku/2022-01/12/content_5667817.htm.

［2］國家創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略綱要［EB/OL］.（2016-05-19）［2023-07-15］.https：//www.gov.cn/zhengce/2016-05/19/content_5074812.htm.

［3］數(shù)字中國建設整體布局規(guī)劃［EB/OL］.（2023-02-27）［2023-07-19］.https：//www.gov.cn/zhengce/2023-02/27/con-tent_5743484.htm.

［4］新一代人工智能發(fā)展規(guī)劃［EB/OL］.（2017-07-20）［2023-07-14］.https：//www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm.

［5］張杰，楊玉梅，羅豐.元宇宙場域下職業(yè)體驗模式研究［J］.職業(yè)教育研究，2023（1）：12-18.

［6］Heiga Zen，Keiichi Tokuda，Takashi Masuko，et al.Hidden Semi-Markov Model Based Speech Synthesis［A］.Eighth International Conference on Spoken Language Pro-cessing［C］，2004：1-4.

［7］Coto-Jiménez，Marvin.Discriminative multi-stream postfilters based on deep learning for enhancing statistical parametric speech synthesis［J］.Biomimetics，2021，6（1）：1-12.

［8］Yvain Tisserand，Ruth Aylett，Marcello Mortillaro，et al.Real-time simulation of virtual humans’ emotional facial expressions harnessing autonomic physiological and musculoskeletal control［A］.ACM International Conference on Intelligent Virtual Agents［C］，2020：1-8.

［9］Nadia Magnenat-Thalmann，Hyewon Seo. Data-Driven Approaches to Digital Human Modeling［A］.2nd International Symposium on 3D Data Processing，Visuali-zation，and Transmission［C］，2004：6-9.

［10］紀元元.基于虛擬現(xiàn)實技術的數(shù)字動畫短片創(chuàng)作研究［J］.教育現(xiàn)代化，2018（17）：144-148.

［11］王曉慧，覃京燕.虛擬數(shù)字人手勢交互設計［J］.包裝工程，2021，42（6）：46-52.

［12］熊偉.基于三維動畫的虛擬人物表情動作系統(tǒng)設計［J］.現(xiàn)代電子技術，2020，43（20）：97-101.

［13］程思琪，喻國明，楊嘉儀，等.虛擬數(shù)字人：一種體驗性媒介［J］.傳播學研究，2022（7）：12-23.

［14］喻國明，曲慧.VR/AR技術對媒體場景構建的三度拓展［J］.傳媒觀察，2022（6）：13-16.

［15］彭影彤，高爽，尤可可，等.元宇宙人機融合形態(tài)與交互模型分析［J］.西安交通大學學報，2023，43（2）：176-184.

◎編輯 馬燕萍

①基金項目：2021年廣東省高職教育教學改革研究與實踐項目“基于AI智能語音技術線上教學的創(chuàng)新與實踐”（GDJG2021037）；2021年廣東省普通高校創(chuàng)新團隊項目“汽車行駛安全性能智能監(jiān)控新技術創(chuàng)新團隊”（2021KCXT076）。

作者簡介：潘夢鷂（1970—），男，漢族，廣東龍門人，博士研究生，教授級高級工程師，研究方向：教育教學管理與汽車智能技術的研究及應用。