王宇菲 傳新科技
杜比實(shí)驗(yàn)室(Dolby)由Ray Dolby博士于1965年創(chuàng)建。他在美國設(shè)立的杜比實(shí)驗(yàn)室,先后發(fā)明了杜比降噪系統(tǒng),杜比環(huán)繞聲系統(tǒng)等多項(xiàng)技術(shù),對電影音響和家庭音響產(chǎn)生了巨大的影響。杜比全景聲(Dolby Atmos)是由杜比實(shí)驗(yàn)室研發(fā),于2012年4月24日發(fā)布的全新影院音頻平臺。它突破了傳統(tǒng)意義上5.1、7.1聲道的概念,能夠結(jié)合影片內(nèi)容,呈現(xiàn)出動態(tài)的聲音效果,更真實(shí)地營造出由遠(yuǎn)及近的音效;配合頂棚加設(shè)音箱,實(shí)現(xiàn)聲場包圍,展現(xiàn)更多聲音細(xì)節(jié),提升觀眾沉浸式體驗(yàn)的觀影感受。
杜比全景聲最初在影院得到應(yīng)用,將影院的杜比5.1環(huán)繞聲升級為杜比全景聲。杜比全景聲目前在全球已得到廣泛的普及。有70多個(gè)國家已在影院安裝了杜比全景聲;很多世界著名的電影著名導(dǎo)演都在他們的電影中使用過杜比全景聲; 2017年奧斯卡最佳音效獎(jiǎng)影片《血戰(zhàn)鋼鋸嶺》,最佳動畫長片獎(jiǎng)《瘋狂動物城》等影片均使用了杜比全景聲技術(shù);全球已有2700多塊銀幕已經(jīng)或承諾安裝杜比全景聲,650多部影片宣布使用了杜比全景聲,150多個(gè)混音工作室在使用杜比全景聲。在國內(nèi),已有400多塊銀幕安裝了杜比全景聲,采用該技術(shù)制作的影片也已陸續(xù)上映。
時(shí)至今日,影院音效設(shè)計(jì)師仍不得不將獨(dú)立音效混合到多個(gè)聲道以便制作音軌。如果需要某一場景(例如,直升機(jī)起飛),則須將該音效分配給某一聲道并與其他音效進(jìn)行混合。雖然直升機(jī)可在不同聲道中穿梭,但卻無法飛臨你的上空。你無法如同現(xiàn)實(shí)中一般聽到直升機(jī)呼嘯而過。
杜比全景聲是首個(gè)基于音頻對象而非聲道的音頻格式。借助杜比全景聲,無論是直升機(jī)的聲音、汽車鳴笛聲還是孩子的叫喊聲均可作為獨(dú)立的音頻對象而存在,且不受聲道的限制。你可以將其置于任意位置或隨意移動,包括頭頂?shù)娜我鈪^(qū)域。
基于對象的音頻描述聲音的方法與揚(yáng)聲器的設(shè)置/布局和位置無關(guān),其空間位置的準(zhǔn)確性、一致性和分辨率為聲音設(shè)計(jì)師、混錄師和導(dǎo)演提供了新的可能性。聲音設(shè)計(jì)師、混錄師和導(dǎo)演可專注于闡述故事本身,可在某一場景中將音效置于其本應(yīng)自然出現(xiàn)的位置,而非被迫將其置于多個(gè)聲道從而影響其藝術(shù)追求。不同的音效將在一個(gè)三維空間內(nèi)移動,無論是在你的頭頂還是身邊飄過卻總能相得益彰,同時(shí)借助視覺畫面將你帶入具備全新高度和真實(shí)度的場景。
杜比全景聲技術(shù)不僅在影院得到了廣泛應(yīng)用,還可應(yīng)用于廣播電視的綜藝節(jié)目、音樂節(jié)目、體育節(jié)目。無論是影院、家中還是途中,杜比全景聲適用于任意回放環(huán)境。
杜比全景聲其實(shí)早已進(jìn)入我們的家庭,在市面上就能夠買到杜比全景聲編碼的藍(lán)光版電影、電視劇光盤。好萊塢最先發(fā)行杜比全景聲編碼的藍(lán)光版電影光盤,后來很多電視劇,包括熱播的美劇、英劇也采用了杜比全景聲編碼。還有很多機(jī)構(gòu)自制的網(wǎng)劇、音樂會、演唱會、體育比賽和現(xiàn)場的綜藝節(jié)目,都發(fā)行了杜比全景聲編碼的光盤。體育比賽是杜比全景聲的一個(gè)最熱門的應(yīng)用,借助杜比全景聲技術(shù),在家庭觀看時(shí)可如同身臨其境般地體驗(yàn)到體育比賽現(xiàn)場自然逼真的的氣氛。大家看VOD點(diǎn)播的時(shí)候,可以選擇有杜比全景聲標(biāo)識的節(jié)目,感受杜比全景聲帶來的強(qiáng)大全新聆聽體驗(yàn)。
杜比全景聲進(jìn)入家庭需要解決三個(gè)問題,一是怎么聽?家庭如何才能收聽杜比全景聲;二是怎么播?廣播電視工作者如何把杜比全景聲的節(jié)目傳到家庭;三是怎么做?傳統(tǒng)的音頻工藝制作流程加入杜比全景聲制作后,我們的技術(shù)系統(tǒng)如何改變。
圖1 杜比全景聲 一種全新的詮釋聲音的方法
圖2 杜比全景聲到家庭的終端接收
圖2 展示的是杜比全景聲到家庭的終端接收。最左邊是接收流媒體推送節(jié)目的筆記本、機(jī)頂盒等家庭接收終端,由接收終端對杜比全景聲解碼后,再將解碼后的音頻信號送至家庭的AV功放。如果沒有功放,可以通過筆記本接收杜比全景聲,通過筆記本的內(nèi)置解碼芯片或者軟件就可以實(shí)現(xiàn)一個(gè)虛擬的全景聲效果。
杜比全景聲還音具有很大的靈活性,最多可以支持34只揚(yáng)聲器,最少為2只揚(yáng)聲器。采用34只揚(yáng)聲器還音時(shí),24個(gè)揚(yáng)聲器定位于地面的位置,10個(gè)揚(yáng)聲器定位于頭頂?shù)奈恢?。全景聲?nèi)容會自動分配到配置好的揚(yáng)聲器中,無論終端揚(yáng)聲器怎樣設(shè)置,制作端只需要制作一個(gè)全景聲版本。揚(yáng)聲器越多,意味著解析力越高,定位越精準(zhǔn)。
節(jié)目內(nèi)容與揚(yáng)聲器的數(shù)量不再相關(guān),無論揚(yáng)聲器數(shù)量多少都能獲得完美呈現(xiàn)。家庭影院在傳統(tǒng)的5.1聲道環(huán)繞聲基礎(chǔ)上,頂部增加2個(gè)聲道就構(gòu)成了5.1.2聲道,頂部增加4個(gè)聲道就構(gòu)成了5.1.4聲道。圖3是家庭杜比全景聲還音的揚(yáng)聲器布置圖。
家庭用戶可以獨(dú)立安裝頭頂揚(yáng)聲器,在條件允許的情況下,對揚(yáng)聲器沒有特殊要求,現(xiàn)有的全頻帶揚(yáng)聲器都可以用于頭頂揚(yáng)聲器,對于天花板的聲學(xué)反射條件不是很好的房間適用于這種方案。
圖3 家庭杜比全景聲還音的揚(yáng)聲器布置
圖4 獨(dú)立安裝頭頂揚(yáng)聲器案例
此外,家庭用戶可以選用Dolby 授權(quán)的揚(yáng)聲器技術(shù)(Dolby Enabled Speakers),讓消費(fèi)者輕松跨入杜比全景聲的世界。設(shè)備連接時(shí),將Dolby enabled speaker 連接到支持杜比全景聲的AVR后面獨(dú)立的“HEIGHT”接口,可以得到不是虛擬的體驗(yàn)。頭頂?shù)穆曇魪莫?dú)立的HEIGHT輸出,獨(dú)立的頂部聲像向上投射到具有良好反射的天花板上,家庭用戶收聽由天花板反射回來的音源。
杜比還可為移動產(chǎn)品提供支持杜比全景聲技術(shù)的硬件和軟件。例如,Dolby Audio X芯片用于移動硬件產(chǎn)品(手機(jī)、平板),已經(jīng)集成應(yīng)用于聯(lián)想、樂視等諸多廠商的產(chǎn)品中;Dolby Audio for Mobile Application軟件用于移動應(yīng)用(Mobile APP),可以通過耳機(jī)欣賞并體驗(yàn)杜比全景聲Dolby Atmos的效果。
小米電視已經(jīng)內(nèi)置杜比全景聲的解碼功能,華為筆記本的音頻輸出可支持杜比全景聲的重放,很多廠家傳統(tǒng)的AV功放也支持杜比全景聲的技術(shù)。家庭用戶用支持杜比全景聲技術(shù)的設(shè)備,在家里就可以欣賞有杜比全景聲標(biāo)識的節(jié)目。
廣播電視媒體把杜比全景聲的節(jié)目傳到家庭,涉及電視廣播中實(shí)現(xiàn)杜比全景聲的幾個(gè)關(guān)鍵技術(shù):Spatial coding 空間編碼技術(shù)、Dolby Digital Plus JOC(Joint Object Coding)和Dolby ED 2兩種編碼格式以及Object Metadata對象元數(shù)據(jù)。
Spatial coding空間編碼可以對多達(dá)128聲道的完整全景聲混音進(jìn)行處理,包括9.1聲道的音床,118個(gè)對象音頻(9.1bed,118個(gè)object),輸出指定數(shù)量的object對象音頻;經(jīng)過空間編碼處理之后的聲音在渲染時(shí),仍然能夠獲得與原始電影模板一樣的效果。
對杜比5.1環(huán)繞立體聲,我們采用的是Dolby E信源編碼格式,后來升級到Dolby Digital信源編碼格式,再后來是Dolby Digital Plus信源編碼格式。到了杜比全景聲時(shí)代,與Dolby E對應(yīng)的信源編碼格式是Dolby ED2,與Dolby Digital Plus對應(yīng)的信源編碼格式是Dolby Digital Plus JOC。
Dolby ED2編碼在現(xiàn)有Dolby E 基礎(chǔ)上設(shè)計(jì),每個(gè)AES對攜載8個(gè)聲道,可以被現(xiàn)有Dolby E解碼器解碼。Dolby ED2采用20bit量化,現(xiàn)有支持Dolby E 直通的設(shè)備同樣可以直通ED2;Dolby ED2與視頻幀同步,加入Objet Audio Metadata(對象元數(shù)據(jù)),多個(gè)ED2音頻可編組傳輸用于支持更多的音頻,通常是2對ED2-16聲道+Metadata 。Dolby ED2的幀結(jié)構(gòu)見圖5。
圖5 Dolby ED2的幀結(jié)構(gòu)
杜比全景聲Dolby Digital Plus JOC編碼則要在Dolby Digital Plus編碼中附加JOC對象元數(shù)據(jù),用于對音頻對象的解碼。
Object Metadata 對象元數(shù)據(jù)的主要用途是:描述基于對象的音頻內(nèi)容的組成部分;負(fù)責(zé)交付的元數(shù)據(jù)描述了怎樣還原對象音頻;描述每一個(gè)對象的屬性(包括空間位置、媒體分類)?;趯ο蟮囊纛l元數(shù)據(jù)可以用在以下編碼:Dolby Digital Plus、Dolby TrueHD、Dolby MAT、Dolby E、AC4。杜比全景聲到家庭端的制作傳輸鏈路見圖6。
圖6中DD+JOC為Dolby Digital Plus JOC的縮寫。杜比全景聲的傳輸播出有傳統(tǒng)的線性播出和VOD點(diǎn)播兩種方式。
(1)傳統(tǒng)的線性播出方式
①直接編碼為DD+JOC;②ED2轉(zhuǎn)碼為DD+JOC;③使用實(shí)時(shí)編碼器與視頻封裝為TS。
圖7是傳統(tǒng)線性播出方式數(shù)字音頻傳輸流程框圖。電視媒體轉(zhuǎn)播車音頻經(jīng)PCM編碼輸出,經(jīng)回傳編碼、播出編碼后傳輸至家庭接收數(shù)字機(jī)頂盒。
(2)VOD點(diǎn)播方式
①直接編碼為DD+JOC;②使用文件編碼器與視頻封裝為MP4、TS等文件格式;③通過VOD服務(wù)器進(jìn)行點(diǎn)播。
圖6 杜比全景聲到家庭端的制作傳輸鏈路
圖7 傳統(tǒng)線性播出數(shù)字音頻傳輸流程框圖
電視媒體的音頻技術(shù)人員制作杜比全景聲需要相關(guān)的制作設(shè)備并制定相關(guān)的工作流程。圖8是RMU渲染服務(wù)器,用于杜比全景聲的渲染與母版編碼,有Cinema影院版和Home家庭版。
圖8 RMU 渲染服務(wù)器
圖9 是杜比全景聲的聲像控制插件和監(jiān)聽軟件工作界面。
圖9 杜比全景聲的聲像控制插件和監(jiān)聽軟件工作界面
杜比全景聲現(xiàn)場直播流程見圖10。
圖10 杜比全景聲現(xiàn)場直播流程
還有直播監(jiān)聽工具DP590,DP590的功能包括對象音頻的渲染、杜比全景聲的監(jiān)聽、下變換仿真監(jiān)聽、元數(shù)據(jù)寫入;DP591杜比全景聲編解碼器,支持DD+JOC 和ED2編碼,可以直接做 ED2 到DD+JOC 的轉(zhuǎn)碼;DP580參考解碼器,可對外來的杜比全景聲信號解碼,對直播的杜比全景聲信號進(jìn)行質(zhì)量監(jiān)控。
對電視媒體制作杜比全景聲的幾點(diǎn)建議:
(1)在電視轉(zhuǎn)播車、演播室、后期制作機(jī)房和質(zhì)量控制環(huán)節(jié)要有一個(gè)好的杜比全景聲的監(jiān)聽環(huán)境。
(2)要確保元數(shù)據(jù)端到端的完整鏈路。
(3)要確保鏈路上設(shè)備對編碼格式音頻的兼容性。不需要每一個(gè)相關(guān)設(shè)備都要支持編解碼功能,但是需要能夠?qū)庉嬕纛l做“透明傳輸”,確保加解嵌器/編解碼器等設(shè)備對編碼格式音頻的兼容性。
(4)要有完備的質(zhì)量監(jiān)控系統(tǒng),可以檢查碼流的正確性和混音的質(zhì)量。
圖11 中影數(shù)字制作基地杜比全景聲案例
圖12 上海立鼎影業(yè)杜比全景聲案例
圖13 CCTV中國電視劇制作中心杜比全景聲制作系統(tǒng)案例
以下是我們做的一些杜比全景聲的實(shí)際案例。杜比全景聲已在世界大型體育賽事轉(zhuǎn)播中得到應(yīng)用。例如里約奧運(yùn)會,杜比和奧運(yùn)會轉(zhuǎn)播公司合作,進(jìn)行了賽事轉(zhuǎn)播杜比全景聲信號的傳送。我們也和央視合作,做過歐洲杯4K超高清賽事電視轉(zhuǎn)播的杜比全景聲傳輸?shù)膶?shí)驗(yàn)。
杜比全景聲內(nèi)容已經(jīng)可以在家庭中呈現(xiàn)。除了影視劇內(nèi)容外,音樂、體育、綜藝等節(jié)目采用杜比全景聲制作也會使聆聽體驗(yàn)有很大的提升;藍(lán)光盤、OTT直播和OTT點(diǎn)播中都有杜比全景聲內(nèi)容的提供;播放終端對于杜比全景聲的支持已經(jīng)非常全面,包括家庭影院、Soundbar、電視機(jī)和移動終端。