楊 奇
(中央廣播電視總臺技術局,北京 100010)
近年來,中央廣播電視總臺(以下簡稱“總臺”)以北京冬奧會8K轉播為目標,全面推進8K超高清電視的制作和播出,現(xiàn)已研發(fā)了制作、播出、傳輸和呈現(xiàn)全鏈路試驗系統(tǒng)。隨著《超高清視頻產(chǎn)業(yè)發(fā)展行動計劃(2019-2022年)》中“4K先行、兼顧8K”總體技術路線[1]的提出,總臺充分發(fā)揮在視音頻制播領域的技術優(yōu)勢,以2021年春節(jié)聯(lián)歡晚會(以下簡稱“央視春晚”)為契機,通過8K超高清實驗頻道為觀眾提供8K版的央視春晚。借此機會,音頻制作團隊在8K音頻直播系統(tǒng)下,對在用、在研的三維聲(3D Audio)制播技術在全IP環(huán)境下進行了端到端的全鏈路測試。
由于8K視頻系統(tǒng)對帶寬的要求,以交換機為核心的IP架構成為8K超高清演播室系統(tǒng)的必然選擇,音頻系統(tǒng)相應地也實現(xiàn)了完全IP化管理和信號交互共享。
8K超高清直播除了在畫面分辨率方面比傳統(tǒng)的高清電視有了很大提升之外,更加真實的沉浸式三維聲聽感體驗也是一大特色,可完成5.1環(huán)繞聲及5.1.4三維聲制作和監(jiān)聽[2]。三維聲作為下一代音頻制作規(guī)范,其標準已經(jīng)在多個國家確立。目前,中國廣播電視行業(yè)三維聲的相關行業(yè)標準正在積極推進,并已經(jīng)完成了多次全鏈路驗證;2018年初發(fā)布了GY/T316—2018《用于節(jié)目制作的先進聲音系統(tǒng)》行業(yè)標準,規(guī)范了三維聲制作的監(jiān)聽布局;2018 年底,壓縮編碼部分的草案文本已提交,目前還在按照國家廣播電視總局科技司的要求進一步修改[3]。在消費者的終端體驗方面,三維聲音頻技術已經(jīng)有了相當廣泛的設備支持,大量家庭終端具備MPEG-H、Dolby Atmos(杜比全景聲)、DTS:X、Auro-3D等多種解碼能力。例如本次作為測試重放環(huán)境的功率放大器(馬蘭士AV8805)和Soundbar(索尼HTST5000)等設備均支持上述三維聲解碼功能。
2021年8K版央視春晚采用的8K超高清制播系統(tǒng)通過全鏈路IP化傳輸,采用無損調度和分發(fā)方式,全鏈路支持 SMPTE ST2110 標準;與視頻系統(tǒng)適配的音頻系統(tǒng)是一套全IP化移動外場音頻系統(tǒng),統(tǒng)一在8K超高清IP化制作流程下,進行了從音視頻系統(tǒng)制作端到主控、播出系統(tǒng)的傳輸端,及有線電視機頂盒的重放端的全流程功能性測試,如圖1所示。
圖1 8K版央視春晚音頻系統(tǒng)各端點的測試
8K版央視春晚制作的音頻系統(tǒng)是以EFP形式部署在總臺復興路辦公區(qū)的第九演播室的音控室內。由于空間物理位置限制,本次采用System T S300調音臺作為混音調音臺,華為的CE6865系列交換機作為音頻系統(tǒng)的核心路由設備。所有音頻信號通過調音臺混合處理后,采用符合SMPTE ST2110-30標準格式的組播流推送至視頻系統(tǒng),如圖2所示。
圖2 三維聲全鏈路測試系統(tǒng)示意圖
其中,Junger的MPEG-H渲染器MMA通過MADI方式與Junger AIX pressor接駁,后者作為硬件接口設備通過SMPTE ST2110組播流方式與8K版央視春晚音頻系統(tǒng)核心交換機互通。杜比的DP591作為三維聲編碼器與8K版央視春晚音頻系統(tǒng)的MADI網(wǎng)關設備連接,輸出的Dolby Digital Plus with Atoms碼流通過AES3方式送至數(shù)字接口箱。
為了能夠更好地完成2021年8K版央視春晚三維聲全鏈路測試工作,首先對MPEG-H和Dolby Atoms這兩種目前主流的三維聲技術進行前期技術調研,充分了解其實際應用的場景和特點,為后續(xù)測試奠定理論基礎。
由Fraunhofer IIS推出的MPEG-H三維聲音頻標準,目前已被DVB和ATSC標準采納,能夠為超高清廣播電視、流媒體和VR用戶提供沉浸式和交互式的多維度視聽體驗。在家庭影院、Soundbar或者手機等多種重放環(huán)境下,MPEG-H三維聲音頻標準進行自定義對象元素和三維聲重放,通過一系列音頻實時制作工具,從音頻信號采集、信號傳輸、元數(shù)據(jù)生成、編碼到終端重放,將整個三維聲制作鏈路打通。終端用戶除了能夠聽到真實沉浸的三維聲聽感,還能夠享受到個性定制化的體驗。
目前,Junger的MMA和Linear Acoustic的AMS均支持MPEG-H,可實現(xiàn)配置三維聲通道、進行對象的交互性設置等功能。MMA和AMS均基于服務器架構,物理接口支持SDI、MADI或者AES67多種音頻格式。通過預先配置描述MPEG-H場景信息的元數(shù)據(jù),可以讓終端用戶選擇各種不同語言、對白的音量等個性化的重放效果。同時,依托于MMA或者AMS,系統(tǒng)工程師可以在渲染配置中使用不同的揚聲器布局進行質量監(jiān)聽,檢查各個版本(5.1.4/5.1/2.0)渲染輸出的電平及響度。
Dolby Atmos是杜比實驗室于2012年4月24日發(fā)布的三維聲技術,是基于音頻對象(Object Based)的音頻技術,使用時可以靈活地選用、組合音頻對象。Dolby Atmos會通過元數(shù)據(jù)記錄各個音頻對象在不同時間點的相對位置、距離遠近以及音量,每個對象都作為獨立的信號源進行存儲。在重放時,終端設備會根據(jù)回放聽音的環(huán)境進行渲染,基于音效相對位置的信息,來決定交給哪個揚聲器或哪幾個揚聲器播出。
Dolby Atmos對下混兼容性也非常好,如果終端設備不支持5.1.4的重放環(huán)境,則會依靠元數(shù)據(jù)下混信息,將三維聲信號下混為環(huán)繞聲或立體聲進行播放,這樣就不需要在前端制作系統(tǒng)再額外制作環(huán)繞聲或立體聲的母帶版本。制作域中,杜比升級了Professional Metadata(PMD),添加支持了三維聲音頻相關描述,如沉浸式音頻、對白增強、多語言、評論/對白的選擇和音量調整、音頻對象的移動和耳機虛擬功能等。
直播傳輸時,DD+碼流可按照SMPTE 337規(guī)范,以非PCM的數(shù)據(jù)形式,傳輸于一對立體聲聲道中。該音頻信號可以被數(shù)字音視頻系統(tǒng)透傳,需要注意的是,傳輸鏈路上不能對SMPTE 337音頻開啟采樣頻率自適應功能(SRC),同時也不能對SMPTE 337音頻信號進行電平增益調整,否則會破壞其中的數(shù)據(jù)信息,如圖3所示。
圖3 Dolby Digital Plus碼流被破壞
本次測試重點分為兩個部分,第一部分是測試基于MPEG-H LC和華為增強層編碼的C3DA三維聲技術信號在重放終端的各項功能性的實現(xiàn)情況;第二部分是測試杜比DP591渲染的Dolby Digital Plus(DD+)音頻碼流在基于全IP化制播流程的透傳可行性。
第一部分基于MPEG-H的測試重點關注MPEG-H的元數(shù)據(jù)。在前端制作域可以“預設”O(jiān)bject內容,如圖4所示,以指導末端的對象渲染,形成不同對象元素的組合或者調整不同對象在位置和音量上的關系,可以讓重放終端選擇不同的聲音體驗,實現(xiàn)制作者和用戶間的內容交互。
圖4 在前端制作域進行Object內容預設
整個測試主要分為制作端和重放端這兩個維度。在制作端,音頻信號通過三維聲制作工具MMA,將三維聲音頻信號及元數(shù)據(jù)等16軌音頻信息,通過8K版央視春晚音視頻系統(tǒng)傳遞給主控、播出系統(tǒng)。通過部署在播出系統(tǒng)的數(shù)碼視訊編碼器,利用MPEG-H LC和華為增強層的編碼算法進行編碼,形成AVS3的8K視頻編碼格式及C3DA的三維聲音頻編碼格式,最后由主控IPDM系統(tǒng)交付給有線電視進行分發(fā)。在重放端,通過配有海思芯片的浪潮機頂盒、功率放大器及Soundbar等設備進行解碼測試,如圖5所示,進而驗證三維聲信號能否正確還原播放,以及元數(shù)據(jù)是否可以正確讀取識別,從而為終端用戶提供個性化的聲音效果。本次重點測試在機頂盒UI界面中自由切換語言的功能,以及通過電視遙控器對解說音量和對象元素在重放中聲像定位進行控制的功能。經(jīng)過測試,元數(shù)據(jù)透傳解析正常,可以正常實現(xiàn)終端用戶交互功能。
圖5 MPEG-H功能性測試
Dolby Atmos的測試重點放在全IP化制播環(huán)境的DD+碼流透傳能力,測試流程如圖6所示。傳測試中,Dolby Atmos經(jīng)DP591編碼DD+JOC,DD+JOC碼流攜載于ST 2110-30中,從音頻系統(tǒng)輸出至視頻系統(tǒng),再由主控系統(tǒng)分發(fā)至播出系統(tǒng)進行AVS3視頻編碼(音頻透傳),最后通過主控IPDM系統(tǒng)以組播方式交付至有線電視機房,最終由浪潮機頂盒輸出至終端設備功率放大器和Soundbar進行重放。
圖6 杜比DD+透傳測試流程
本次測試主要模擬當電視信號需要照顧立體聲、環(huán)繞聲和三維聲時,如何解決多種不同版本音頻PGM聲道排布問題。由于2021年央視春晚除了有標清、高清和4K、8K頻道的立體聲和環(huán)繞聲播出信號外,還需要制作新媒體版本的三維聲音頻信號。按照現(xiàn)有聲道排布要求,音頻軌的前8聲道內容為5.1+2。當再增加三維聲版本的16聲道時(Bed+Object+元數(shù)據(jù)),立體聲、環(huán)繞聲和三維聲版本的音頻軌道總數(shù)已經(jīng)超過16軌,勢必對現(xiàn)有演播室音視頻系統(tǒng)提出更高的要求(加嵌器通常只支持16軌音頻聲道加嵌)。
現(xiàn)階段的做法是,將16軌的三維聲版本信號在前端制作域進行壓縮編碼,以保證送至視頻系統(tǒng)加嵌器的聲道數(shù)量保持在可用范圍以內。本次8K超高清透傳杜比測試的16軌音頻PGM輸出信號通過DP591編碼后(碼率格式為448 Kb/s的DD+JOC音頻信號,占用兩聲道數(shù)字音頻)放置在音頻PGM信號的9/10路送至視頻系統(tǒng)。通過驗證機頂盒終端解碼重放的音頻格式和內容,與前端制作域傳輸編碼的格式和內容一致,如圖7所示,證明8K超高清制作鏈路對Dolby Atmos三維聲節(jié)目透傳無誤。
圖7 杜比DD+透傳至終端解碼的測試
2021年8K版央視春晚節(jié)目制作調試期中,對包括基于MPEG-H LC和華為增強層編碼的C3DA三維聲技術,以及基于DD+編碼的Dolby Atmos三維聲技術分別進行了驗證測試。經(jīng)過1個月的測試工作,可以看到目前三維聲制播技術全鏈路已打通,兩種三維聲編碼信號均能被正常透傳、解碼,并且正確讀取元數(shù)據(jù)信息。另外,本次測試還成功驗證了C3DA三維聲技術通過元數(shù)據(jù)提前預設相關參數(shù),在機頂盒UI界面中自由切換聲音對象、調節(jié)對白音量、改變音頻元素在重放環(huán)境中的位置等,可以為終端用戶提供個性化聲音效果的交互功能。
通過探索合理的三維聲制播方案,聯(lián)合芯片研發(fā)、平臺服務,解決有線終端和移動終端的超高清三維聲傳輸及呈現(xiàn),為觀眾呈現(xiàn)更加精彩的沉浸式觀看體驗。