羅志平 畢 蕾

在2022年北京冬奧會中，中國移動咪咕文化科技有限公司（以下簡稱“咪咕”）瞄準風口搶抓機遇，早在2020年12月便和央視達成合作，拿下冬奧會官方轉播權，之后便深入開展賽事IP的運營，不斷挖掘賽事價值，編織了多維度的內容網。冬奧會期間，咪咕APP下載量長達14天排在排行榜前三位，得到受眾廣泛認可。精彩內容離不開咪咕強大的科技硬實力，這是咪咕區(qū)別于其他平臺最大的特色和優(yōu)勢，“為文化圈注入科技基因”也成了咪咕的一個標簽。作為冬奧官方轉播商，咪咕在冬奧會期間運用8K三維成像的超寫實虛擬數字人、基于XR的互動云游戲+演藝新場景、XR演播室等先進技術給受眾帶來更佳的觀賽體驗。

一、探索超寫實虛擬數字人

虛擬數字人所蘊含的商業(yè)價值已經被行業(yè)敏銳地捕捉到。2021年，虛擬數字人在廣告代言、營銷等領域的商業(yè)變現能力表現不俗。幾乎整個市場都在推出各種類型的虛擬人，從數字分身到虛擬角色，畫質從2K到8K，寫實程度從卡通到超寫實。其中超高清超寫實的數字分身是虛擬數字人中技術難度最大、涉及流程最復雜的類型，需要建模、表情和動作捕捉、物理運動模擬、高逼真成像等技術，最終形成人物的真實三維圖像。

隨著2021年元宇宙推向熱潮，游戲和影視的界線越發(fā)模糊。游戲引擎開始被應用到超寫實虛擬數字人上。尤其虛幻引擎UE備受關注，其推出的Meta-Human可有限地完成虛擬數字人體型調節(jié)、臉部模型調整、更換發(fā)型及服裝，渲染成像效果與數字內容生成（DCC）流程還有較大差距，但具有實時化優(yōu)勢。

（一）咪咕打造基于8K的超寫實數字人Meet Gu

為了豐富冰雪運動的推廣內容和形式，咪咕以谷愛凌為原型打造了5G冰雪數智達人——Meet GU。Meet GU具有超寫實、3D Avatar、Q版動漫等多個形象，其超寫實數字分身不僅完美復刻了真人，而且是國內第一個面向8K三維成像的體育虛擬數字人。咪咕自研打造的Meet GU 形象，實現內容制作的全棧流程，首次在重大體育賽事應用落地。咪咕在冬奧直播中應用XR技術把谷愛凌數字人的“孿生姐妹” Meet GU請到了演播室現場，或者把比賽現場搬到演播室，受眾可以通過屏幕看到Meet GU在現場燈光下真實細膩的影子，打破虛擬和現實的界限，讓人真假難辨。

面向 8K 的超寫實虛擬數字人制作是藝術與科技深度融合的極大挑戰(zhàn)，不僅需要管理復雜的流程環(huán)節(jié)，還要降低計算及人力成本、提高產能，建立一個具有一定智能化的全棧制作流程是解決問題的關鍵。咪咕將攝影測量法和非剛性配準進行深度結合并優(yōu)化?；谀Ｐ图y理貼圖（UV貼圖）優(yōu)化，運用稠密人臉關鍵點檢測算法完成人臉表情動畫重定向。咪咕開發(fā)了工具數字藝術管線來橋接算法與藝術，實現可自動化生成虛擬數字人，并可進一步將虛擬數字人傳遞給影視動畫特效專業(yè)人員，完成視覺效果的進一步打磨?；谒惴ㄅc管線（Pipeline），咪咕實現了圖形算法可應用落地的關鍵特性——互操作性（算法可以交互操作）。

Meet Gu基于咪咕自研的表情遷移、人臉重建、語音合成、光照一致性虛實合成、數字分身人臉擬合以及云渲染等技術，不僅通過3D人臉關鍵點位置精確修正、眼眶眼球自動適配、任意姿態(tài)人臉配準等核心技術，讓3D人臉擬合精度達亞毫米量級，從而完美復刻真人，更是實現了全自動化表情與動作的個性化遷移，做到與真人表情“神同步”。

在虛擬人動作制作中，為了完美地呈現出谷愛凌作為運動員的挺拔氣質，咪咕研發(fā)團隊精益求精多次修改了骨骼控制點，僅一只手就復刻了近百個骨骼控制點，全身骨骼控制點多達近七百個，從而得到最佳效果。在表情上，研發(fā)團隊參考了100多張谷愛凌不同時期不同角度的照片，畫了20多稿貼圖，渲染了10多遍效果圖，制作出真實又相似度超高的渲染圖，為了追求真實復刻，頭發(fā)的發(fā)絲數更是從5萬根增加到10萬根。同時，配合自研的虛擬燈光效果，從燈光方向、燈光亮度以及柔和度進行調節(jié)，達到Meet Gu渲染的最佳視覺效果。為了能夠更好地對谷愛凌的音色進行建模，咪咕研發(fā)團隊通過語音信號增強技術、音色建模技術進行復刻及數字化，采用自研的語音聲學模型及聲碼器合成語音，克服了可利用數據少、模型訓練困難等問題，最終得到了具有真實感的谷愛凌音色模型，實現對谷愛凌原聲的復刻。相關成果應用于咪咕冬奧賽事演播室、北京交通廣播冬奧《榮耀時刻》節(jié)目等場景。為實現Meet Gu在冬奧會期間與贊助商的互動，研發(fā)團隊為Meet Gu制作了一套冬奧會全身頒獎服, 在冬奧演播室成功亮相。在制作超寫實頒獎服資產上，咪咕研發(fā)團隊根據贊助商提供的實拍圖片，從整體視覺造型、人體貼合度、寬松率、視覺比例等方面1∶1還原了冬奧會頒獎虛擬服裝。

咪咕公司整合了整個數字人生產流程，并已應用在谷愛凌“數智孿生姐妹”Meet GU、首個 UFC 數智達人尤子希、首個超寫實籃球數智達人以及音樂數智達人瑞米的打造中。2022年春節(jié)前夕，中國移動為2022北京冬奧會打造的首支5G助力預告——Meet GU線下裸眼3D大屏廣告大片，引發(fā)了無數人駐足打卡與傳播。在冬奧賽事轉播中，Meet GU走進演播室跟主持人互動解說，她的出現讓北京冬奧會成為首次出現虛擬數字人參與的盛會。研發(fā)團隊也正逐步將部分技術賦能到移動端 3D Avatar 生產，加快實現虛擬數字人從工作室走向千家萬戶的愿景。

（二）虛擬數字人的產業(yè)應用

總體上看，虛擬數字人分為服務型虛擬數字人和身份型虛擬數字人。（見圖1）目前，國內的服務型虛擬數字人主要用于替代真人進行播報等內容生成，并進行簡單問答交互等。而國外則由于在計算機圖形學（Computer Graphic，CG）方面具有技術優(yōu)勢，能夠打造具有高度關懷感的虛擬數字人，率先在醫(yī)療等場景落地了虛擬陪伴助手、心理咨詢顧問等。

圖1 虛擬數字人場景分類

與缺乏人格象征的服務型虛擬數字人相比，身份型虛擬數字人更強調其本身的身份。一方面，在現實世界中，具有獨立人設的虛擬IP能夠通過靜態(tài)（照片）、動態(tài)（視頻）、實時（直播）等方式引發(fā)關注及變現。另一方面，為每個人在未來的虛擬世界乃至Metaverse（元宇宙）中創(chuàng)造專屬身份，將成為必然趨勢。盡管對個性化身份的訴求已經長期存在，但在當前仍大多以形似的形式存在，僅僅是一個過渡形態(tài)，人始終需要全感官的參與。虛擬數字人本身及其衍生市場都將迎來長足的發(fā)展。

目前大多國內廠商選擇對形象、語音、語言等多方面進行自研，但多家廠商已明確表述，未來會將非自身核心的技術部分進行外包。從競爭格局來看，無論在國內還是國外，虛擬數字人的競爭格局都尚未成熟。盡管玩家數量在快速增長，但由于行業(yè)對綜合的技術實力和合作渠道能力要求較高，具有相當實力的頭部公司仍相對有限，尤其在超寫實虛擬數字人領域技術門檻較高。（見圖2）

圖2 虛擬數字人產業(yè)鏈

（三）關于虛擬數字人產業(yè)的未來展望

《虛擬數字人深度產業(yè)報告》預測，2030年，我國虛擬數字人整體市場規(guī)模將達到2700億，身份型虛擬數字人規(guī)模約1750億，服務型虛擬數字人總規(guī)模超過950億。[1]目前市場仍處于前期培育階段。虛擬數字人這一市場行業(yè)天花板高，實現路徑明確，且已出現了有相當競爭力的技術公司，所以有較好的市場規(guī)模預期。在各行業(yè)開始意識到其技術可行性和商業(yè)價值后，行業(yè)將快速進入高速發(fā)展期。尤其虛擬數字人作為Metaverse主要的交互載體，具有明確的巨大增長潛力，并基于 NFT、VR 等有理想的延展空間。

據《2020年虛擬數字人發(fā)展白皮書》，虛擬數字人正朝著智能化、便捷化、精細化、多樣化發(fā)展，步入成長期。[2]隨著運營商算力網絡建設的加快，以視頻流的表現形式推送到萬千用戶的云原生虛擬數字人是發(fā)展趨勢，端—云協同機制實現隨時隨地在現實世界和虛擬世界之間切換。但我們也看到，當前虛擬數字人在語音驅動面部動畫、肌肉骨骼動力學模擬、三維數字資產流轉等方面，仍存在較大技術難題亟須突破。咪咕將繼續(xù)攻克技術難題，立足未來，依托算力網絡加快虛擬數字人平臺建設，建立低成本、高產能、開放生態(tài)的虛擬數字人的生產方式占據元宇宙入口，在元宇宙的道路上做更多探索和嘗試。

二、開創(chuàng)基于XR的互動云游戲+演藝新場景

2022年1月28日,由北京冬奧組委文化活動部主辦的虛擬交互冰雪音樂嘉年華“集光之夜”成功舉行,這也是首個由冬奧會官方認證與支持的冬季冰雪運動IP的虛擬音樂會。咪咕公司提供XR、云游戲、多路低延時直播等全套技術解決方案，在北京冬奧組委央視頻、視頻號、咪咕、快手、B站、微博、抖音的官方賬號及新華社、北京時間、中國聯通等平臺同步首播。

作為首個由冬奧會官方認證支持的冰雪運動IP虛擬音樂嘉年華，“集光之夜”將焦點對準冰雪運動之外的多元化數字科技表達形式，以“虛擬+演出+娛樂交互”的全新娛樂體驗模式，以六大場館設計，打造縱向多層次平行世界，為參與者帶來前所未有的沉浸式交互虛擬娛樂體驗。在“集光之夜”的舞臺上二次元虛擬明星與三次元嘉賓齊聚，實現真人演員和二次元藝人的精彩共舞，打破次元壁。技術層面也是運用了廣電演播室設備、XR子彈時間、多模態(tài)捕捉技術、三維數字化云渲染等技術，以技術為視覺呈現帶來影視化質感，為演出效果強力賦能。

項目在600平方米的XR影棚內制作完成，主要分為XR制作和動捕制作兩套制作流程。棚內搭建兩塊LED屏幕：背景屏和地屏，地屏面積約200平方，可容納五六人的樂隊演出。配置3臺攝像機：1臺廣角鏡頭固定機位，拍攝XR舞臺全景；1臺標準鏡頭軌道機位，移動/固定拍攝XR舞臺藝人特寫，搭配虛擬追蹤系統(tǒng)Mosys；1臺廣角鏡頭軌道搖臂機位，移動拍攝舞臺藝人表演，搭配虛擬跟蹤系統(tǒng)Mosys。

XR渲染方面，共配置3套渲染服務器， 配載Disguise VX4圖形渲染引擎，其中2套XR服務器，分別對應控制2塊屏幕，一套AR服務器，用于LED屏演播區(qū)外延的增強現實擴展，從而讓XR與AR虛擬制作融合。

在XR場景拍攝時，Mosys跟蹤服務器計算的攝像機跟蹤數據通過網線傳遞給圖形渲染引擎。圖形渲染引擎收到攝像機跟蹤數據后，會根據Mosys特有的數據協議解析二進制數據代碼，將其轉換成X、Y、Z三軸向的位移旋轉數據，并匹配到圖形渲染引擎中的跟蹤攝像機上。

每臺渲染服務器上都創(chuàng)建一個與真實 LED屏幕坐標、尺寸一致的面面映射，并通過XR專有算法結合實時攝像機跟蹤數據，計算出最適合的映射畫面?zhèn)鬟f給LED屏幕?，F場每塊屏幕都得到了適合的畫面映射，最終三塊屏幕映射組合形成一個完整的XR場景畫面，現場的主持人、藝人和虛擬偶像便可以沉浸在這個神奇、多變的三維立體的虛擬空間，與身邊的場景和元素實時交互，并完成錄制。

演出融入了咪咕公司的虛擬偶像麟犀等眾多虛擬偶像，在棚內配套的動捕房內搭建Optitrack光學動捕系統(tǒng)，預先進行中之人動作捕捉和修剪，完成骨骼動畫的錄制，在XR錄制時，將骨骼動畫實時綁定至虛擬偶像的模型上，實時驅動模型在XR渲染引擎內渲染，與真人演員一起完成錄制。

另外，“集光之夜”還靈活運用了多種前沿技術：

多模態(tài)捕捉技術：空間定位技術、捕捉技術、AI智能分析體運動捕捉技術等進行融合集成，以云端渲染作為主要技術手段，實現虛擬與內容之間的交互。AI智能分析技術進行預渲染，也保證了演出效果。

XR子彈時間：將子彈時間技術創(chuàng)新性嫁接入XR技術系統(tǒng)，實現XR環(huán)境下的子彈時間效果。

云渲染技術：本地渲染和云渲染結合，實現了本地XR場景和線上云游戲的有機結合。

“集光之夜”在國內首次開創(chuàng)“演藝+游戲”的新模式，云游戲玩家可以在玩游戲的同時，與XR演唱會內的真人明星和二次元明星互動，實時瀏覽得分排行，發(fā)送彈幕、送禮物等，實現游戲交互體驗的無限放大。打通了線上觀眾與觀眾之間、觀眾與演員之間深度的體驗方式，打破了演藝和技術在線上沉浸式體驗中的創(chuàng)意和技術的壁壘，創(chuàng)造了一種全新的線上演繹模式。

三、打造咪咕XR演播室

演播室作為電視節(jié)目制作的重要場所，承擔了除外拍節(jié)目外的大部分節(jié)目錄制和制作任務，隨著設備技術突飛猛進的發(fā)展，本著少花錢辦大事的原則，演播室在不斷升級換代，從實景演播室，發(fā)展到虛擬演播室、XR演播室。

早期的虛擬演播室是虛擬布景和人像摳圖機械疊加，視覺上沒有立體感，隨著攝像機跟蹤技術的發(fā)展，當前可以依據真實攝像機的鏡頭參數呈現的三維背景，和演員的三維透視關系完全一致，更有立體感。但是由于表演者處在綠幕中，在情境上沒有真實感，場景互動主要依靠后期制作或者演員的演技。隨著XR技術的發(fā)展和成熟，虛擬和現實融合的能力賦能給演播室，帶來了魔法效果，這就是XR演播室，使觀眾可以自由地穿行于虛擬和現實之中。

三面LED屏幕作為背景的沉浸式XR演播室，特效更炫，沉浸感更強，可以實現舞蹈、音樂與閃電、動作、特效位置的精準互動。這種演播室雖然表現力強，但是有空間限制，不適合大型現場演出。

本屆北京冬奧會中，王濛憑借著在短道速滑領域的絕對專業(yè)性，配合黃健翔的捧哏式解說，快速出圈，和北京冬奧話題一起，占據著各大平臺的熱搜榜，成為觀眾熱議的話題。而這一切，都發(fā)生在咪咕XR演播室當中，搭配著演播室現場XR、AR虛擬效果以及各種圖文包裝模板的應用，也讓這個充滿科技感的演播室和這對“捧逗組合”解說一起，圈粉無數。

咪咕北京前方演播室集群包含3間演播室，承擔了每日比賽直播和《冬奧·準備好》《冬奧速遞》等專題欄目，其中一間為XR演播室，其技術系統(tǒng)中，搭建了配套LED屏和圖形渲染引擎，一臺6米搖臂機位，通過圖像識別技術結合搖臂傳感數據，實現快速標定和攝像機自動定位、自動校正，搭建時間短，跟蹤精度高，確保了虛擬植入場景的準確定位，達到了冰雪大跳臺等多個XR虛擬場景的完美植入效果。

咪咕演播室XR圖形渲染平臺在功能上完成了XR/AR虛擬場景與包裝場景可同時存在、疊加播出，實現豐富的演播效果。對接冬奧前方官方賽事數據庫，將賽事場館、賽事預告、運動員情況、賽事技術等數據內容實現可視化，更為直觀地呈現給觀眾，并為演播室節(jié)目拍攝和制作提供靈活多變的制作手段。

四、結語

咪咕公司近年來大舉進軍超高清技術領域，業(yè)務增長迅速，在自建5G超高清直播平臺、自有演播室技術系統(tǒng)、8K轉播車、虛擬制作、元宇宙技術等方面都進行了大力的拓展和延伸。圍繞冬奧會、亞運會、世界杯等重大賽事和NBA、五大聯賽等體育聯賽的直播版權，咪咕將緊隨觀眾的核心需求，立足中國移動內容的生產者、聚合者和傳播者定位，以打造沉浸媒體先鋒隊和新媒體國家隊主力軍為己任，為中國移動創(chuàng)建世界一流信息服務科技創(chuàng)新公司貢獻力量。

注釋：

[1]互聯網大廠紛紛“造人”背后：虛擬數字人的現狀與挑戰(zhàn)[EB/OL].(2022-04-25).https://www.sohu.com/a/540850162_204728.

[2] 2020年虛擬數字人發(fā)展白皮書正式發(fā)布 浦發(fā)數字人引領產業(yè)新發(fā)展[EB/OL].(2021-12-04).https://baijiahao.baidu.com/s?id=1685139356032698794&wfr=spider&for=pc.