文/肖蕾
媒介技術進步驅(qū)動媒體報道創(chuàng)新。2021年全國“兩會”期間,新華社與搜狗公司聯(lián)合打造的AI合成主播就是典范。該AI合成主播能夠通過新華社“新立方”智能化演播室實現(xiàn)自由“穿越”,運用五面LED屏構(gòu)建場景,結(jié)合多角度三維縫合技術,實現(xiàn)現(xiàn)實空間與虛擬空間交錯,打造了新聞報道的全新樣態(tài)。目前,AI合成主播已經(jīng)具備了與真人主播頗為相似的外形特征、聲音動作及面部表情。在算法的加持下,AI合成主播能夠與真人主播同頻互動。AI合成主播在采訪播報時不受空間限制,能夠?qū)崟r“穿越”多個場景,為觀眾帶來前所未有的新聞體驗,這不僅是新時代媒體融合深度推進的重要成果,也為用戶的新聞接收提供了豐富的視聽體驗。
在新聞播報過程中,依靠技術便捷性,新華社AI合成主播能夠在短時間內(nèi)穿越多個場景,在演播室與新聞現(xiàn)場之間快速往返,給觀眾們帶來了全新的新聞體驗,塑造了全新的新聞樣態(tài)。
在2021年的“兩會”新媒體報道中,新華社新媒體中心攜手搜狗公司,首次推出了由AI合成主播主持的全國“兩會”特別節(jié)目,尤其是深度使用了搜狗公司業(yè)內(nèi)領先的智能“分身技術”。例如,搜狗“分身”的語音、合成等技術能夠快速模擬真人播報畫面。這與以往語音圖像合成僅能單獨創(chuàng)造虛擬形象,要靠語音輸出唇部效果的情況大不相同。根據(jù)使用者輸入的文字、語音等各類文本,搜狗“分身技術”下的AI合成主播能即時輸出音視頻合成效果。如此一來,新聞視頻制作效率明顯提升,新聞媒體后期制作各項成本大大降低。早在2021年1月,新華社就利用該技術在客戶端推出了“AI主播超市”,8位AI明星主播煥新亮相。在搜狗公司自主研究開發(fā)的“StyleTTS端到端多模態(tài)合成系統(tǒng)”助力下,8位AI主播播報效果有了顯著提升。該系統(tǒng)能夠精準生成和控制AI主播的聲音、動作乃至微表情等細節(jié),AI主播整體播報效果已與真人主播沒有太大差異。在“兩會”特別節(jié)目報道中,AI主播能夠與真人主播實時對話、互動,表達流利,交流順暢,讓未來的新聞?chuàng)碛辛烁鄻拥某尸F(xiàn)可能。
新華社AI合成主播不僅能坐著報消息,還能根據(jù)其所播報的新聞內(nèi)容做出相應手勢,擺出不同姿態(tài),聲情并茂地播報新聞。2021年全國“兩會”期間,新華社新媒體中心搭建“新立方”演播室,推出了全國“兩會”特別節(jié)目。在2021年3月5日的首期節(jié)目中,AI合成主播雅妮開場“空降”節(jié)目演播室,與新華社真人主持人高熹進行了簡單互動和新聞播報。隨后,AI主播又“趕到”了位于人民大會堂的人大會議代表通道,在新聞現(xiàn)場向觀眾們介紹了將要通過網(wǎng)絡視頻形式接受采訪的幾位全國人大代表。最后,雅妮再次返回“新立方”演播室。短短一分半鐘的新聞播報過程,AI主播來回穿梭于演播室和新聞現(xiàn)場,彌補了真人主持“分身乏術”的劣勢,為觀眾們帶來了新的新聞體驗。
為促進新技術與新媒體的深度融合,新華社大膽嘗試各類前沿科技,創(chuàng)新報道理念和報道手法,形成了對報道場景創(chuàng)新的有效探索。在2021年全國“兩會”召開前夕,新華社策劃并推出了一系列沉浸式、跨屏訪談報道。通過5G、AI、MR等前沿技術,新華社新媒體中心采集了代表委員及其所處環(huán)境的實時信號,依靠CAVE演播室,等比例“復制”出真實場景。為了讓主持人與嘉賓在節(jié)目當中“置身一室”,新華社在智慧演播室中安裝了多角度三維縫合的LED屏幕,將有限的演播空間拓寬成了無限的沉浸式環(huán)境,場景視覺效果被成倍放大,畫面更顯清晰、自然、流暢。不僅如此,在節(jié)目中,原本身處北京演播室的主持人只需“一步”即可“跨入”代表委員們所在的實地工作和調(diào)研場景,實現(xiàn)主持人與嘉賓的隔空同框。觀看節(jié)目時,觀眾們仿佛置身于訪談現(xiàn)場,直接聆聽代表委員們的履職故事。而在屏幕背后,一切都以“跨屏”的方式呈現(xiàn)出來。作為高新視頻業(yè)態(tài)的一部分,沉浸式、跨場景的內(nèi)容呈現(xiàn)能夠?qū)崿F(xiàn)超清的畫質(zhì)、超大的視角以及超高的沉浸感。
通過與頂級科技企業(yè)合作、數(shù)字科技賦能,新華社大膽
AI合成主播“新小微”改進演播室舞美,為觀眾帶來了全新的視聽體驗。
新華社AI合成主播在設計之初就是以真人主持為原型進行制作的。在提取真人主持的聲音、表情、肢體動作等內(nèi)容的基礎上,新華社利用人工智能技術進一步整合還原,最終實現(xiàn)了AI合成主播的驚艷亮相??梢哉f,每一位AI合成主播在現(xiàn)實中都對應著一位真人主播。因此,AI合成主播算得上是現(xiàn)實、科技與藝術,主體與客體的完美結(jié)合。新華社AI合成主播運用了人臉關鍵點檢測、人臉特征提取、唇語識別、情感遷移等眾多先進技術,在語音、圖像等多模態(tài)信息的幫助下,完成了多次聯(lián)合建模訓練。經(jīng)過多次迭代,如今的新華社AI合成主播一舉手、一投足都表現(xiàn)得活靈活現(xiàn)。在全國“兩會”特別報道中,AI合成主播雅妮對輕重斷句、音色韻律掌握自如,這一表現(xiàn)與從前生硬無感情、機械化的AI語音播報大不相同。不僅如此,在強大算法的支撐下,新華社AI合成主播更顯人性化、智能化、情感化。例如,在節(jié)目當中,面對真人主持拋出來的問題,AI合成主播雅妮不僅對答如流,話語當中還透著一絲幽默。當真人主持高熹發(fā)問雅妮,馬上要錄節(jié)目是否會感覺緊張時,雅妮回答道:“當然不緊張,我又不會忘詞?!睆难拍莸拇鸢钢胁浑y發(fā)現(xiàn),依靠強大的算法適配,AI合成主播犯錯率低,無備稿壓力,未來在新聞主持領域?qū)⒋笥锌蔀椤?/p>
在“兩會”5G沉浸式多地跨屏訪談中,新華社將人大代表和政協(xié)委員“請到了”演播室,主持嘉賓跨屏握手,“憑空”實現(xiàn)裸眼3D效果。當主持人在演播室固定點位間來回走動時,場景中仿佛打開了一扇“任意門”,眨眼間將主持人送去了代表委員們的工作現(xiàn)場。“5G沉浸式跨屏訪談”這一話題也就此破圈。為在同一鏡頭中等比例還原演播室、嘉賓所處區(qū)域多地空間,在有限的真實空間中擴展出無限場景,新華社先后采用了5G傳輸、基于投影的虛擬現(xiàn)實技術、全息成像、混合現(xiàn)實、LED屏三維縫合等“黑科技”,最大限度地發(fā)揮了數(shù)字科技的仿真度。在視覺效果方面,演播室大屏清晰度在4K以上,屏幕間距僅1.2毫米,基本實現(xiàn)了無縫拼接。演播室箱體尺度縮小,背景屏造型更加流暢,演播室舞美更加炫目。新聞訪談場景不再單一呆板,逐漸能夠適應主持人訪談和節(jié)目內(nèi)容的變化和要求。對于嘉賓而言,能夠在自己熟悉的場景里接受采訪,本身表現(xiàn)也會更加輕松。正因如此,節(jié)目最終呈現(xiàn)效果十分逼真。
“兩會”報道期間,新華社力求應用場景出新,視聽體驗升級。為此,搭建了“新立方智能化演播室”,讓AI合成主播跨場景分身報道、真人主持跨屏訪談等節(jié)目形式都成為現(xiàn)實?!靶铝⒎健毖莶ナ依梦迕嬷悄躄ED屏,通過LED屏幕三維縫合技術,將演播室總面積擴展至近400平方米。在傳統(tǒng)的新聞報道形式中,受限于視聽語言構(gòu)建起的二維平面,觀眾往往只能單向、被動地接受信息。而“新立方”演播室則實現(xiàn)了沉浸式內(nèi)容呈現(xiàn),為新聞交互提供了全場域、多維度支持,讓參與者仿佛置身其中,感受到別致而愉悅的存在感。為了讓最終呈現(xiàn)效果盡如人意,新華社還要解決三維立體場景下的拍攝機位問題。由于技術條件的限制,三維視效對拍攝角度要求嚴苛。為此,節(jié)目組不得不反復調(diào)整鏡頭角度,輔助主持人定點走位,以保證最佳呈現(xiàn)效果。同時,節(jié)目還借助多聲道揚聲器和播控系統(tǒng)構(gòu)造出超高沉浸感的視聽系統(tǒng),彌補了單一平面視頻無法呈現(xiàn)出的“聲”臨其境效果,為觀眾提供多方位視聽信息。
新華社的創(chuàng)新嘗試將節(jié)目制作視角由二維屏幕轉(zhuǎn)向三維空間,實現(xiàn)了主流媒體與前沿科技的良性互動。AI合成主播隊伍日益壯大,與真人主持配合默契,現(xiàn)場和外景分工明確,虛擬現(xiàn)實交錯延伸。在三維立體報道方面,新華社全新搭建了“新立方”演播室,將兩地時空匯合到一處場景之中,突破了傳統(tǒng)訪談類節(jié)目的創(chuàng)作樣態(tài),立體視效真實可感。新技術與新媒體的完美融合,為主流媒體創(chuàng)新出圈提供了范例。