丁文華 中國工程院信息與電子工程學(xué)部院士
從去年開始,業(yè)界非常關(guān)注一個重要的主題,就是4K電視的發(fā)展,這是廣電界的一件大事。4K電視的發(fā)展涉及面非常多,其中有兩個重要的因素:高動態(tài)范圍HDR和三維聲3D Audio。兩年前廣電總局和工信部聯(lián)合成立4K HDR和三維聲工作組,起草中國面向超高清4K的HDR和3D Audio的標(biāo)準(zhǔn),這項工作目前已基本完成。
中國4K/UHD標(biāo)準(zhǔn)化的體系,面向終端的標(biāo)準(zhǔn)主要涉及到三項,一是編碼壓縮的標(biāo)準(zhǔn),二是高動態(tài)范圍HDR標(biāo)準(zhǔn),三是3D Audio的標(biāo)準(zhǔn)。
編碼壓縮的標(biāo)準(zhǔn)AVS2已于2016年發(fā)布行標(biāo)與國標(biāo),2018年1月,工作組完成ITU-R BT.2100和ITU-R BS.2051引標(biāo)工作,廣電總局發(fā)布《高動態(tài)范圍電視節(jié)目制作和交換圖像參數(shù)值》和《用于節(jié)目制作的先進(jìn)聲系統(tǒng)》標(biāo)準(zhǔn)。2018年3月,HDR標(biāo)準(zhǔn)草案提交廣電總局科技司審批;3D Audio標(biāo)準(zhǔn)草案基本完成,將于近期提交廣電總局科技司審批。
從4K的內(nèi)容供應(yīng)上來講,全球?qū)?K內(nèi)容的關(guān)注度都非常高,全球廣播者從體育、綜藝、紀(jì)錄片類型重點(diǎn)發(fā)力。奧運(yùn)會歷來都是展示廣播電視最新技術(shù)的主要關(guān)注點(diǎn)。2018年平昌冬奧會進(jìn)行了基于標(biāo)準(zhǔn)動態(tài)范圍SDR 的4K超高清電視轉(zhuǎn)播。2018年俄羅斯世界杯已經(jīng)提供了全部64場比賽基于高動態(tài)范圍HDR 的4K超高清電視轉(zhuǎn)播。2020東京奧運(yùn)會計劃采用基于SDR和部分HDR的4K+8K超高清電視轉(zhuǎn)播。2022北京冬奧會將會全面采用基于HDR的4K超高清電視公共信號,同時還會提供部分8K超高清電視轉(zhuǎn)播信號。
圖1 中國4K/UHD標(biāo)準(zhǔn)系列
從國內(nèi)4K內(nèi)容供應(yīng)發(fā)展來看,中國即將進(jìn)入4K/UHD和HD并存時代,廣電體系應(yīng)及早進(jìn)行頻道規(guī)劃,針對體育、娛樂、專題紀(jì)錄片、電影、電視劇優(yōu)先考慮開通4K頻道。央視計劃于今年10月1日開播CCTV 4K頻道,主要內(nèi)容還是面向體育、娛樂、專題紀(jì)錄片、電視劇, 4K不會再走之前的標(biāo)清頻道和高清頻道同播的過程,而是應(yīng)該獨(dú)立開出新的4K超高清的電視頻道。
考慮到制作成本和周期,內(nèi)容制作可選擇HDR或SDR、3D Audio或環(huán)繞聲,同時配套相關(guān)政策鼓勵包括社會力量在內(nèi)的資源制作4K/UHD HDR和3D Audio節(jié)目。鼓勵4K/UHD節(jié)目和內(nèi)容多渠道傳輸和分發(fā)。
關(guān)于HDR的節(jié)目制作,一個是直播場景,一個是后期制作場景。關(guān)于直播場景,參考奧運(yùn)會、世界杯等賽事轉(zhuǎn)播方案,現(xiàn)階段各方一致認(rèn)同采用HLG、1000nit、BT.2020進(jìn)行端到端傳輸。現(xiàn)場制作輸出4K HDR+HD SDR。如采用PQ或更高亮度的HLG制作,需考慮元數(shù)據(jù)(靜態(tài)+動態(tài))的提取和傳輸 。
后期制作場景應(yīng)是面向ENG + NLE場景;支持PQ、HLG、S-Log3等多種曲線制作;現(xiàn)階段主要面向1000nit、BT.2020制作,今后向2000nit擴(kuò)展。
4K HDR+ HD SDR直播場景方案有三種方案可供選擇,分別是標(biāo)準(zhǔn)制作方式、兼顧場景方式和Side by Side方式。
4.1.1 方案一 標(biāo)準(zhǔn)制作方式
基于4K HDR制作,可根據(jù)需要在切換臺輸出4K HDR后,進(jìn)行下變換生成HD SDR。
切換臺前端引入HD SDR信號,需進(jìn)行BT.709至BT.2020的色域變換,反之也是如此。(注:部分4K攝像機(jī)輸出BT.709信號,此類信號也需轉(zhuǎn)換)
4.1.2 方案二 兼顧場景方式
兼顧場景方式索尼已經(jīng)推介了近兩年時間。標(biāo)準(zhǔn)制作方式的一個最大問題是基于4K HDR進(jìn)行制作后,進(jìn)行下變換生成的HD SDR內(nèi)容可能達(dá)不到技術(shù)要求,出現(xiàn)曝光過度。索尼提供的兼顧場景方式實際上仍然是在末端轉(zhuǎn)換,但是在制作前端通過攝像機(jī)的6db到8db的增益差,來管控同時輸出的HDR和HD SDR兩種節(jié)目都達(dá)到要求。兼顧場景方式見圖2。
4.1.3 方案三 Side by Side方式
圖2 兼顧場景方式(索尼提供)
side by side方式,實際上攝像機(jī)前端同時輸出side by side方式,攝像機(jī)前端同時輸出HLG/BT.2020和SDR/BT.709信號分別給兩個視頻切換系統(tǒng),兩個切換系統(tǒng)采取同步切換,分別輸出4K HDR信號和HD SDR信號,而不是在切換臺末端進(jìn)行下變換生成HD SDR。實際上業(yè)界也討論很長時間,side by side方式涉及一個很關(guān)鍵的問題,就是根據(jù)最終要實現(xiàn)的效果,選擇BT.709或者BT.2020作為彩色和亮度基準(zhǔn)Side by Side方式見圖3。
2018世界杯4K HDR制作采用雙層的工作流程。標(biāo)準(zhǔn)層為1080P/50 SDR REC.709,增強(qiáng)層為UHD 2160P/50 HDR BT.2020。采用兩套視頻切換系統(tǒng),8臺攝像機(jī)雙路輸出UHD/ HDR和1080P/SDR信號,11臺攝像機(jī)雙路輸出1080P/HDR和1080P/SDR信號,還有21臺攝像機(jī)只輸出1080P/SDR信號,按照標(biāo)準(zhǔn)層和增強(qiáng)層分別輸出,再通過格式轉(zhuǎn)換器得到1080P HD HDR信號和1080I HD SDR信號,以及基于不同曲線HLG、PQ和Slog-3的4K HDR信號。
圖3 Side by Side方式
圖4 2018世界杯基于雙層的工作流程
2018世界杯基于雙層的工作流程見圖4。
ENG可以基于HLG采用傳統(tǒng)相對亮度方法拍攝,也可以基于PQ采用絕對亮度方法拍攝。
NLE非編工作站要支持色域變換(BT.709<=>B T.2020 )、曲線變換(PQ、HLG、S-Log3等)、色彩管理(確保整幅畫面色調(diào)統(tǒng)一)、靜態(tài)元數(shù)據(jù)輸出(動態(tài)元數(shù)據(jù)可放在壓縮編碼前端生成),輸出文件包含HDR元數(shù)據(jù)、色域和曲線信息 。
圖5是ITU-R BS.2051的3D Audio揚(yáng)聲器布局模型。在ITU-R BS.2051的多種聲音格式中,現(xiàn)在推薦的是4+5+0格式。
3D Audio制作模式見圖6。三維聲制作包含基于聲道(Channel-based)的聲床制作,和基于對象(Object-based)的特殊元素的渲染制作,有兩類元素可作為對象,一類是對白及解說(Dialog Enhancement), 另一類是獨(dú)立聲音元素(鳥叫、飛機(jī)轟鳴等)。此次標(biāo)準(zhǔn)中暫不包括基于場景(Scenebased)的制作,留待下一階段補(bǔ)充。
5.3.1 元數(shù)據(jù)內(nèi)容
(1)支持響度控制、下混控制、聲道描述、LFE聲道開關(guān)、節(jié)目相關(guān)信息描述、節(jié)目類型描述等信息;
(2)具有對object對象在三維聲場中的坐標(biāo)定位、運(yùn)動軌跡、音量大小、對象聲音有無等信息的描述;
(3)元數(shù)據(jù)的承載通常占用第16聲道。
國內(nèi)標(biāo)準(zhǔn)把元數(shù)據(jù)承載放在了第16通道。元數(shù)據(jù)不再靠另外一個輔助數(shù)據(jù)通道來傳而是把它嵌入到SDI,這種方法處理最簡單,目前各家的前端的制作工具都已支持。
圖5 3D Audio揚(yáng)聲器布局模型(ITU-R BS.2051)
圖6 3D Audio制作模式(ITU-R BS.2051)
5.3.2 元數(shù)據(jù)規(guī)范
目前已有多種3D Audio制作工具,大大豐富Object制作手段。不同制作工具生產(chǎn)的元數(shù)據(jù)需要統(tǒng)一的規(guī)范,ITU-R BS.2076定義的音頻定義模型(ADM)涉及多種元素和場景,下一步工作組計劃考慮ITU-R形成針對廣電的ADM模型(Broadcast Profile)。
(1)直播信號場景
對HLG信號,不需處理。對PQ信號,通過UHD-SDI傳遞元數(shù)據(jù)給傳輸編碼。
(2)制作文件場景
對于文件,Player能夠解析元數(shù)據(jù),根據(jù)需要封裝到UHD-SDI里。
(3)流式分發(fā)場景
基于HLS或MPEG-DASH進(jìn)行Streaming元數(shù)據(jù)封裝,終端可以解析呈現(xiàn)。
對HDR、3D Audio內(nèi)容提供檢測驗證,確保相關(guān)信息完備、合規(guī)。
解決立體聲、環(huán)繞聲、三維聲混合播出。完成響度控制、Downmix 播出功能。
解決HDR、SDR混合播出。對插入在HDR節(jié)目間的SDR節(jié)目(如廣告)做修正,使SDR內(nèi)容看起來類似HDR內(nèi)容,減少觀看不適感覺。
SDR內(nèi)容無法完美還原成HDR內(nèi)容。HDR的灰度細(xì)節(jié)丟失,SDR彩色空間比HDR小得多。
可以通過綜合平衡SDR內(nèi)容的色調(diào)、色彩飽和度和亮度值,從而獲取look-like HDR的SDR增強(qiáng)內(nèi)容。
圖7 Rec.2020色域空間與Rec.709色域空間比較
圖8 如何獲取look-like HDR的SDR增強(qiáng)內(nèi)容
(1)測試結(jié)果表明AVS2與HEVC性能相當(dāng),RD 19.1版本已完成針對HDR的優(yōu)化,面向HDR編碼與面向SDR編碼的碼率差別在10%以內(nèi)。
(2)國內(nèi)已有至少3家公司支持AVS2編碼器生產(chǎn),可支持4K 50P、10bit、BT.2020編碼,碼率可支持30M-36M,延時特性基本滿足需求。
(3)下一步計劃構(gòu)建基于云計算的AVS2在線編碼云平臺。
(1)建立16通道三維聲傳輸體系,與現(xiàn)有6通道環(huán)繞聲傳輸體系兼容并存
(2)中國3D Audio標(biāo)準(zhǔn)傳輸編碼與MPEG-H契合,因此海外節(jié)目互聯(lián)網(wǎng)服務(wù)的編碼適配不存在障礙。
HDR標(biāo)準(zhǔn)通過審查后,將啟動AVS2國標(biāo)對應(yīng)內(nèi)容的修改更新工作。
國內(nèi)的海外節(jié)目互聯(lián)網(wǎng)服務(wù),對中國HDR標(biāo)準(zhǔn)提出適配HEVC編碼的潛在需求。中國HDR標(biāo)準(zhǔn)考慮在ITU-T T.35的體制下適配HEVC編碼體系。
圖9 AVS2行標(biāo)中對HDR元數(shù)據(jù)的描述
4K制作成本增高使內(nèi)容市場對版權(quán)保護(hù)需求更加迫切;ChinaDRM已形成完整的標(biāo)準(zhǔn)和生態(tài)體系,能有效對4K節(jié)目實現(xiàn)版權(quán)保護(hù);ChinaDRM已得到好萊塢認(rèn)可,國內(nèi)產(chǎn)業(yè)化進(jìn)程正在按部就班推進(jìn)。中國的版權(quán)保護(hù)體系見圖11。
支持中國HDR標(biāo)準(zhǔn)的芯片基本具備,支持中國3D Audio標(biāo)準(zhǔn)的芯片計劃今年下半年推出,支持China DRM Enhance Profile的高安全芯片已經(jīng)具備。HDR、3D Audio引入,將會帶動新一輪面向50P/60P、HDR、3D Audio的設(shè)備升級,運(yùn)營商(有線運(yùn)營商、IPTV運(yùn)營商、直播星運(yùn)營商)和OTT機(jī)頂盒提供商需指定設(shè)備更新的規(guī)劃和準(zhǔn)備。
廠家應(yīng)按照中國HDR的需求和標(biāo)準(zhǔn)推出新一代4K電視機(jī),電視機(jī)廠家和屏幕生產(chǎn)廠家要共同解決高亮度屏的支持問題
圖11 中國的版權(quán)保護(hù)體系
圖12 央視2018世界杯4K HDR+3D Audio實驗系統(tǒng)實景
圖13 2018世界杯HDR+3D Audio測試流程圖
在央視新址,工作組聯(lián)合飛利浦+特藝、動聽(Fraunhofer)、捷成(Auro 3D)、Junger、柯維新、海思、創(chuàng)維公司共同搭建完成了4K HDR+3D Audio的端到端實驗環(huán)境。目前已打通全部技術(shù)環(huán)節(jié),集成和驗證中國HDR和3D Audio標(biāo)準(zhǔn)的應(yīng)用方法。
2018世界杯HDR+3D Audio測試流程見圖12。
圖13中:
(1)P&T提供基于服務(wù)器的HDR動態(tài)元數(shù)據(jù)生成方案,日后也應(yīng)集成入AVS2編碼器
(2)Fraunhofer、Auro 3D、Junger三家已完成3D Audio直播和后期制作Metadata數(shù)據(jù)生成的集成
(3)3D Audio編碼功能已經(jīng)集成入柯維新AVS2編碼器
(4)海思機(jī)頂盒芯片已可支持中國HDR、3D Audio標(biāo)準(zhǔn)(草案),創(chuàng)維基于海思芯片已完成IPTV/OTT機(jī)頂盒的集成
(5)Auro 3D渲染功能已集成入Fraunhofer AVR設(shè)備,可有效完成3D Audio音頻的解碼和渲染
中國HDR、3D Audio標(biāo)準(zhǔn)即將頒布,將有效引領(lǐng)中國超高清產(chǎn)業(yè)發(fā)展,并帶動消費(fèi)電子終端產(chǎn)業(yè)發(fā)展。中國推廣4K/UHD所需的產(chǎn)業(yè)化條件基本具備,2018年下半年將會加快產(chǎn)業(yè)部署行動。4K/UHD節(jié)目制作需積累經(jīng)驗,相關(guān)制作規(guī)范要逐步完善,但總體而言沒有不可克服的障礙,應(yīng)該立即實施。
未來5年是中國4K/UHD發(fā)展的黃金時期,廣電界應(yīng)抓住機(jī)遇,攜手產(chǎn)業(yè)鏈相關(guān)各方共同推動產(chǎn)業(yè)加速發(fā)展。