張 浩

山東廣播電視臺(tái) 山東省 濟(jì)南市 250000

引言

在元宇宙不斷推進(jìn)的大趨勢(shì)下，隨著科技的進(jìn)步，虛擬現(xiàn)實(shí)技術(shù)得到快速發(fā)展。電視節(jié)目的創(chuàng)作高度依賴技術(shù)的發(fā)展和進(jìn)步，虛擬主持人在大數(shù)據(jù)和技術(shù)的支持下所具備的穩(wěn)定性與廣播電視節(jié)目播報(bào)的高準(zhǔn)確性要求相吻合，可以更好地進(jìn)行新聞播報(bào)，同時(shí)可以在各類節(jié)目中增加亮點(diǎn)，因此有著較大的發(fā)展空間。虛擬主持人開發(fā)模式多樣，以山東廣電測(cè)試項(xiàng)目為例，本文介紹一種通過UE5（虛幻引擎）對(duì)虛擬主持人面部捕捉功能的分析探索。

1 前期軟硬件準(zhǔn)備

1.1 軟件準(zhǔn)備

此功能是基于UE（虛幻平臺(tái)）運(yùn)行，即Epic Games 公司的渲染引擎。要使用UE（虛幻引擎）的面部捕捉，即MetaHuman 功能， 需要在UE4.26、UE4.27、UE5.0、UE5.1 等以上版本上運(yùn)行，本項(xiàng)目測(cè)試基于UE5.0.3 版本上運(yùn)行。

1.2 硬件準(zhǔn)備

需要準(zhǔn)備能夠運(yùn)行UE5 的Windows 設(shè)備，本項(xiàng)目測(cè)試使用的設(shè)備為具有12th Gen Intel（R） Core （TM） i7- 12700H，32.0 GBRAM，NVIDIA GeForce RTX 3080 Ti Laptop GPU 的工作站、含有Face ID 的APPLE 移動(dòng)設(shè)備。

2 MetaHuman功能分析

在使用UE （虛幻引擎）MetaHuman 插件功能時(shí)，需要了解此插件的使用要求和注意事項(xiàng)。在UE5（虛幻引擎）中使用面部捕捉需要借助MetaHuman Creator 進(jìn)行云端編輯和導(dǎo)入。

2.1 MetaHuman Creator 使用要求

MetaHuman Creator 是UNREAL ENGINE 在2022 年推出的一款免費(fèi)的云端工具，可以在直觀的環(huán)境中創(chuàng)建數(shù)字人類，如圖1 所示。利用MetaHuman Creator，可以自定義數(shù)字形象的發(fā)型、面部特征、身高、身體比例和其他特征。

圖1 MetaHuman Creator 介紹

MetaHuman Creator 在云中運(yùn)行，通過像素流技術(shù)將畫面流送到瀏覽器，還需要Epic Games 賬戶才能創(chuàng)建和下載MetaHuman。

2.2 MetaHuman Creator 數(shù)據(jù)處理

在首次打開MetaHuman Creator 時(shí)，如圖2 所示，將會(huì)看到“預(yù)設(shè)（Presets）”庫。創(chuàng)建的每個(gè)MetaHuman 都會(huì)將“預(yù)設(shè)（Preset）”作為起點(diǎn)。從庫中選擇一個(gè)預(yù)設(shè)，然后點(diǎn)擊“創(chuàng)建選定項(xiàng)（Create Selected） ”按鈕開始自定義。

圖2 MetaHuman Creator 頁面

創(chuàng)建的所有MetaHuman 都會(huì)自動(dòng)保存到“我的MetaHuman（My MetaHumans） ” 庫。 此外，還可以在Quixel Bridge 中下載它們。在MetaHuman Creator中編輯MetaHuman 時(shí)，更改會(huì)實(shí)時(shí)保存。點(diǎn)擊“刪除（Delete） ”按鈕，可以從“我的MetaHuman”庫中刪除MetaHuman。

2.3 MetaHuman 數(shù)據(jù)導(dǎo)出

可以通過兩種方法在Quixel Bridge 中導(dǎo)出MetaHuman。

一是通過MetaHuman 頭像導(dǎo)出，將光標(biāo)放在方格上，然后點(diǎn)擊“導(dǎo)出（Export） ”按鈕（該按鈕顯示為藍(lán)色圓圈中的朝右黑色箭頭）。這會(huì)立即開始向當(dāng)前虛幻引擎項(xiàng)目導(dǎo)出該Meta-Human，并且采用可用的最高品質(zhì)。

二是通過MetaHuman 信息面板導(dǎo)出， 選擇一個(gè)“ 質(zhì)量（quality） ”等級(jí)，然后點(diǎn)擊“添加（Add）”按鈕。下拉菜單只會(huì)顯示已經(jīng)生成并下載的資產(chǎn)的質(zhì)量。導(dǎo)出開始后，會(huì)看到進(jìn)度指示條，請(qǐng)等待導(dǎo)出完成。如果這是第一次向該項(xiàng)目導(dǎo)出MetaHuman，如圖3 所示，虛幻引擎會(huì)提示啟用相關(guān)的設(shè)置和插件，在所有提示中點(diǎn)擊“啟用缺失內(nèi)容（Enable Missing）”。

圖3 UE5（虛幻引擎）設(shè)置頁面

啟用全部需要的設(shè)置和插件后，虛幻引擎右下角會(huì)提示重啟引擎。保存項(xiàng)目，如圖4所示，然后點(diǎn)擊“立即重啟（Restart Now）”。重新啟動(dòng)虛幻引擎后，可以在“內(nèi)容瀏覽器（Content Browser） ”文件夾下找到下載的MetaHuman 文件。將“BP_Ada”藍(lán)圖從“內(nèi)容瀏覽器”中拖入“關(guān)卡視口”。

圖4 UE5（虛幻引擎）內(nèi)容頁面

3 LiveLink添加動(dòng)畫

在移動(dòng)設(shè)備上使用LiveLink來捕捉面部動(dòng)畫并將其實(shí)時(shí)應(yīng)用到虛幻引擎中的MetaHuman上。 除了捕捉面部動(dòng)作，LiveLink 還會(huì)將頭部的旋轉(zhuǎn)發(fā)送到虛幻引擎，從而達(dá)到更自然的活動(dòng)范圍。

3.1 LiveLink 使用設(shè)置

在移動(dòng)設(shè)備上，從Apple App Store 下載并安裝“Live Link Face for Unreal Engine ”App。在虛幻編輯器的主菜單，找到“編輯（Edit）”里的“插件（Plugins）”并確保為項(xiàng)目啟用了以下插件：Live Link、Live Link Control Rig、Apple ARKit、Apple ARKit Face Support。

3.2 LiveLink 連接

找到電腦的IP 地址，需要改信息來配置IOS 設(shè)備和計(jì)算機(jī)上運(yùn)行的虛幻引擎之間的連接。

在Apple 移動(dòng)設(shè)備上打開“Live Link Face” App， 選擇“LiveLink”，添加目標(biāo)，輸入電腦的“IPv4”地址。

確保LiveLink 正確連接，如圖5 所示，在虛幻引擎主菜單中，找到“窗口”“虛擬制片”“LiveLink”，打開配置窗口，可以看到APPLE 移動(dòng)設(shè)備已在其中。

圖5 UE5（虛幻引擎）Live Link 頁面

3.3 配置MetaHuman 藍(lán)圖

如圖6所示，在“關(guān)卡視口”中，選中MetaHuman，在“細(xì)節(jié)（Details）”面板中，對(duì)Live Link部分進(jìn)行配置。在“ARKit面部主體”選擇連接的Apple移動(dòng)設(shè)備，勾選“使用ARKit面部”。

圖6 UE5（虛幻引擎）MetaHuman 細(xì)節(jié)面板

3.4 測(cè)試LiveLink

在Apple 移動(dòng)設(shè)備上，打開LiveLink Face app 并將前置攝像頭對(duì)準(zhǔn)面部，能夠看到追蹤網(wǎng)格覆蓋在臉上，并且會(huì)根據(jù)表情和頭部移動(dòng)做出反應(yīng)，為了達(dá)到最佳效果，確保面部不受任何頭發(fā)或眼鏡之類的配件所阻擋，并且面部有充分的光照。

建立好LiveLink 連接后，可以開始用“Sequencer”和“鏡頭試拍錄制器（Take Recorder）”為MetaHuman錄制面部動(dòng)畫。

4 虛擬主持人應(yīng)用

隨著虛擬人開發(fā)的進(jìn)度明顯加快，根據(jù)相關(guān)公開資料不完全統(tǒng)計(jì)，如圖7 所示，國內(nèi)多家廣播電視臺(tái)都開發(fā)了自己的虛擬主持人。

圖7 各級(jí)廣播電視臺(tái)虛擬主持人統(tǒng)計(jì)

這些知名度較高的虛擬人中，按照是否仿真可以分為兩類：一類是仿真現(xiàn)有知名主持人，比如：北京廣播電視臺(tái)的“時(shí)間小妮”和央視頻的“AI王冠”；另一類是原生虛擬人，沒有仿真現(xiàn)有知名主持人。

4.1 北京廣播電視臺(tái)數(shù)字主持人

“時(shí)間小妮”擔(dān)任北京“接訴即辦”推廣大使，如圖8 所示，用媒體融合運(yùn)營新模式助力政務(wù)服務(wù)標(biāo)準(zhǔn)化、精準(zhǔn)化和便利化。

圖8 北京廣播電視臺(tái)虛擬主持人“時(shí)間小妮”

4.2 山東廣播電視臺(tái)虛擬主持人

春節(jié)期間，山東廣播電視臺(tái)首個(gè)超寫實(shí)數(shù)字主持人“海藍(lán)”給觀眾拜年，如圖9 所示，是底蘊(yùn)深厚的齊魯文化與元宇宙新技術(shù)的一次成功碰撞，未來將應(yīng)用于更多不同主題的融媒創(chuàng)意場(chǎng)景。

圖9 山東臺(tái)虛擬主持人“海藍(lán)”

4.3 央視虛擬主持人

2022 年兩會(huì)期間，央視網(wǎng)“小C”虛擬主持人首次亮相，如圖10 所示，它以一頭清爽干練的短發(fā)和高顏值示人，在《兩會(huì)C+真探系列直播節(jié)目》中擔(dān)任起了記者的角色。

圖10 央視虛擬主持人“小C”

直播過程中“小C”的面部表情、身體動(dòng)作、服裝搭配均呈現(xiàn)出真實(shí)、流暢、自然的效果，并且支持與嘉賓實(shí)時(shí)交互，表情和動(dòng)作管理延遲控制在秒級(jí)。直播中“小C”擬真程度高、面部表情豐富、全身動(dòng)作靈活流暢，增加了用戶觀看的代入感，仿佛依舊是熟悉的“主持人”躍然于屏幕中央，帶領(lǐng)觀眾了解焦點(diǎn)議題，有效實(shí)現(xiàn)了現(xiàn)實(shí)世界的真人與數(shù)字世界的“小C”無縫交互。為用戶提供了線上線下一體化、在線在場(chǎng)相結(jié)合的全新體驗(yàn)，為廣播電視運(yùn)營新模式提供新樣本。

結(jié)束語

虛擬主持人作為時(shí)代發(fā)展的產(chǎn)物，利用它的技術(shù)優(yōu)勢(shì)在各類節(jié)目中嶄露頭角。其中不僅是技術(shù)與藝術(shù)、虛擬與現(xiàn)實(shí)、審美與使用的結(jié)合，也是對(duì)新技術(shù)的不斷嘗試和開發(fā)?；赨E5（虛幻引擎）中Meta-Human 平臺(tái)進(jìn)行數(shù)字人類設(shè)計(jì)與使用，對(duì)于研發(fā)人員的設(shè)計(jì)想法更容易實(shí)現(xiàn)，其功能運(yùn)行更加快捷和穩(wěn)定。