駱蕭蕭 北京中科大洋科技發(fā)展股份有限公司
4K節(jié)目生產(chǎn)進(jìn)行時(shí)
--超高清制作關(guān)鍵點(diǎn)分析
駱蕭蕭 北京中科大洋科技發(fā)展股份有限公司
本文分析了4K節(jié)目生產(chǎn)的關(guān)鍵點(diǎn),針對4K節(jié)目生產(chǎn)的關(guān)鍵點(diǎn)給出了大洋公司的做法和相關(guān)的經(jīng)驗(yàn)。
4K節(jié)目生產(chǎn) 關(guān)鍵點(diǎn) 經(jīng)驗(yàn)介紹
大洋公司從前年開始與國內(nèi)的一些機(jī)構(gòu)在4K節(jié)目制作生產(chǎn)領(lǐng)域進(jìn)行合作。大洋公司與央視4K后期制作島的項(xiàng)目合作,但其不是央視做的第一個(gè)4K后期制作島,因?yàn)檠胍曋霸趪庖沧隽?K的節(jié)目生產(chǎn),但這確實(shí)是大洋公司第一個(gè)用國產(chǎn)設(shè)備來支撐4K節(jié)目制作的一個(gè)項(xiàng)目,央視在做這個(gè)項(xiàng)目的決策之前花了一年的時(shí)間進(jìn)行全方位的測評,包括國產(chǎn)設(shè)備和進(jìn)口設(shè)備,最后大洋非常有幸能夠參與到這個(gè)項(xiàng)目里面來。
除了央視之外,我們還和很多機(jī)構(gòu),包括百事通,故宮博物院、新華社等合作,從不同的角度進(jìn)行4K節(jié)目生產(chǎn)的嘗試。以下我們對4K節(jié)目生產(chǎn)的幾個(gè)關(guān)鍵點(diǎn),與大家做一個(gè)分享和介紹。
標(biāo)清、高清和4K超高清的分辨率可以圖1的形式作簡要的表述。
圖1 標(biāo)清、高清和4K超高清分辨率示意
4K的分辨率有多種格式,4K電視的分辨率為3840×2160,4K電影的分辨率為4096×2160。對于后期制作來說,由于前期拍攝的攝像機(jī)的成像格式不同,就會產(chǎn)生不同的4K分辨率。
我們說4K分辨率,要區(qū)分不同制作環(huán)境的分辨率,主要有素材分辨率、編輯環(huán)境分辨率和輸出分辨率。素材分辨率即是前期攝像機(jī)拍攝采用的成像格式的4K分辨率;編輯環(huán)境分辨率是指后期編輯設(shè)備工作在一個(gè)什么樣的分辨率里面。輸出分辨率是節(jié)目成片輸出的格式,實(shí)際上我們會發(fā)現(xiàn)現(xiàn)在很多用戶拿4K的制作工具做出來的片子并不是一個(gè)4K的片子,它是一個(gè)異形的片子。例如G20會議期間,新華社在紐約時(shí)代廣場的大屏上播放的片子就是一個(gè)異形的片子。還有人做32:9這種特別窄特別長的畫面,用做演播室里的環(huán)繞背景屏。與原來標(biāo)清和高清分辨率相比,4K超高清的分辨率要更多、更復(fù)雜度。
對于4K分辨率的選擇,我們的做法一是在編輯環(huán)境采用3840*2160分辨率,以保持與高清電視相同的16:9寬高比,這樣不會產(chǎn)生縮放和變形。二是兼容多種源素材分辨率,在進(jìn)行幅型變換時(shí)優(yōu)先保證畫面不變形。對于各種不同的原分辨率,就是以上說的其他的分辨率的素材,包括手機(jī)豎拍的畫面,在進(jìn)行后期編輯時(shí)肯定要進(jìn)行縮放,但原則是要保證畫面不變形,即要盡量保證原始畫面的拍攝寬高比,不是拉到16:9,而是通過裁切保證它的畫面不變形,能夠頂?shù)骄庉嫶翱诶锩鎭?。在此之后允許用戶做自己的調(diào)整,但是默認(rèn)的圖形變換是優(yōu)先保證放映不變形。三是要支持多種分辨率的輸出,包括各種異形分辨率。四是采用高質(zhì)量的畫面縮放算法,同時(shí)要兼顧效率。從編輯到異形輸出是畫面縮放的一種形式,在目前4K超高清素材還不豐富的時(shí)期,高清素材上變換至4K超高清進(jìn)行編輯就會涉及縮放算法,在權(quán)衡編輯質(zhì)量和編輯效率的矛盾時(shí),建議采用高質(zhì)量的畫面縮放算法,同時(shí)要兼顧效率。五是AI的應(yīng)用--基于深度學(xué)習(xí)的超分辨率恢復(fù)。AI的應(yīng)用在學(xué)術(shù)方面是一個(gè)比較前沿比較熱的話題,這個(gè)技術(shù)也可以和4K后期編輯有一個(gè)很好的結(jié)合,這是比較新的一種算法。
4K超高清掃描格式采用逐行掃描,不再像標(biāo)清、高清有逐行掃描和隔行掃描兩種格式的選擇。4K 的幀率有25p、29.97p、50p、59.94p、100p、120p多種格式。4K可以采用25p的幀率, 但要按照電影的拍法。25P的畫面是低于人眼的閃爍頻率48Hz的,為什么電影采用每秒24幀,大家的觀看體驗(yàn)還不錯(cuò),是因?yàn)椴捎昧穗娪暗呐臄z方法。電視拍攝若無法做到如電影拍攝一樣平穩(wěn)的跟焦和鏡頭的移動,尤其是像電視突發(fā)性畫面的拍攝,那就要用50P的幀率。若采用25P幀率前期拍攝的稍微差一點(diǎn),在后期編輯制作過程中畫面會抖的非常厲害,并將無法彌補(bǔ)該缺陷。有很多非專業(yè)的攝像設(shè)備在拍攝4K素材時(shí)只能采用30P幀率,比如說GOPRO或者很多的無人機(jī),在編輯環(huán)境就要做差值變換。比如我們以50P作為基準(zhǔn)幀率時(shí), 30P的素材參與編輯就要做差值變換。50P作為基準(zhǔn)幀率還有一個(gè)特殊情況,例如網(wǎng)絡(luò)公司做成片剪輯這一類的應(yīng)用時(shí),購買的素材就是25P或者是30P的幀率,這種素材我們就直接以原始的幀率作為它的編輯環(huán)境,沒有必要做50P幀率的變換。
幀率變換有兩種做法,一種做法是先變換,然后再上軌編輯,還有一種是直接上軌編輯,這兩種做法都是可以的。
幀率變換運(yùn)算的復(fù)雜度要遠(yuǎn)大于畫面縮放運(yùn)算的復(fù)雜度。幀率變換采用直接上軌編輯方式時(shí),對它的每一次播放和處理都要做一次幀率的變換,累加處理的復(fù)雜度比較高。若要進(jìn)行精細(xì)編輯,我們的建議是先變換,編輯前先經(jīng)過外置的轉(zhuǎn)碼系統(tǒng),把25P幀率轉(zhuǎn)成50P幀率,然后再上軌編輯,這樣就不會每一次處理都要進(jìn)行幀率的計(jì)算。如果是很簡單的剪切編輯,就采用直接上軌編輯方式。幀率變換也有多種算法,但是整體性能比較低,復(fù)雜度比較高,幀率變換也可應(yīng)用AI技術(shù),就是說基于深度學(xué)習(xí)的差值的變換。
綜上所述,對于4K幀率的選擇,我們建議是:
(1) 自制電視節(jié)目編輯選用50p作為基準(zhǔn)幀率,如果是成片二次加工可采用原片幀率;
(2)支持多幀率直接上軌混編,也支持通過預(yù)轉(zhuǎn)碼在入非編前統(tǒng)一幀率;
(3)支持多幀率節(jié)目打包輸出,在進(jìn)行p轉(zhuǎn)i時(shí)需考慮半幀規(guī)避;
(4)采用高質(zhì)量的幀率變換算法,同時(shí)兼顧效率;
(5)AI的應(yīng)用——基于深度學(xué)習(xí)的幀間插值算法。
與高清相比,4K的分辨率是高清的4倍,幀率是高清的2倍,量化深度從8bit增加至10bit/12bit,數(shù)據(jù)量增加了至少10倍。
4K的編碼格式及碼率大體有以下三類:(1)RAW格式,碼率1Gb以上,幀內(nèi)壓縮;(2)專業(yè)設(shè)備,采用422采樣,碼率在500Mb左右,幀內(nèi)壓縮;(3)入門設(shè)備,采用420采樣,碼率通常不高于100Mb,幀間壓縮,例如GOPRO設(shè)備。選擇編輯格式時(shí)需考慮的因素有:(1)前期設(shè)備的支持;(2)編解碼效率及快速定位能力;(3)碼率與畫面質(zhì)量;(4)與其他設(shè)備交互的能力。
常見4K編碼格式有Sony的XAVC,500/800Mbps(C300/C480);Panasonic的 AVCUltra,800Mbps,LT450Mbps;Apple 的 ProRes 422,983Mbps,LT684Mbps以 及 Avid的 DNxHR SQ,920Mbps,HQ,HQX。
以上所列的專業(yè)級主流4K編碼格式的碼率都在450Mbps以上,對于網(wǎng)絡(luò)化的4K制作,尤其是大規(guī)模的網(wǎng)絡(luò)化4K制作,這么高的碼率對存儲和網(wǎng)絡(luò)結(jié)構(gòu)會帶來新的問題。對于兩層的專業(yè)級主流4K編碼格式的編輯原來的千兆網(wǎng)難以勝任。 桌面接入千兆是不行的,至少是萬兆,碼率的提升會帶來整個(gè)制作方式的差別。我們對于4K編輯格式及碼率選擇的建議是:
(1)優(yōu)先推薦XAVC或AVCUltra格式;
(2)同時(shí)支持XAVC、AVCUltra、HEVC、H.264、DNxHR、ProRes、Red RAW、DPX、RGB/YUV 無壓縮等格式的混編;
(3)針對CPU編解碼效率進(jìn)行充分優(yōu)化,實(shí)現(xiàn)最高4層XAVC實(shí)時(shí)編輯,及10層以上入門格式實(shí)時(shí)編輯;
(4)采用局部解碼及降低回顯質(zhì)量以換取更好的實(shí)時(shí)性;
(5)可采用硬加速方案進(jìn)一步提升編解碼性能,實(shí)現(xiàn)4K@50p HEVC編碼超實(shí)時(shí)。
4K信號入出接口有SDI、HDMI、Display Port和SDI over IP多種方式。在SDI接口方面,目前應(yīng)用最廣泛的3Gb-SDI基帶無法滿足單根4K的信號傳輸,因此需要多根SDI線纜同時(shí)輸出,最終在監(jiān)看端進(jìn)行畫面拼接,所以孕育而生了3Gb-SDI*4,將畫面分割成4個(gè)象限,每個(gè)象限傳輸一路HD畫面,最終4路在監(jiān)視器上拼接成為4K。目前12Gb SDI接口在今年NAB上有復(fù)蘇之勢,在4K前期到后期之間,基本不存在SDI信號采集。另外的后期替代方案就是顯卡輸出,HDMI 1.4a接口可以輸出的4K分辨率規(guī)格最高為4096*2160@24 Hz或者是3840*2160@30Hz,HDMI 2.0,可以輸出 60Hz刷新率的4K分辨率。 HDMI2.0接口,完全可以滿足4K 50P的播放;還有Display Port接口,DisplayPort接口需要輸出4K分辨率的話要支持DP 1.2標(biāo)標(biāo)準(zhǔn),不過其最高可以輸出刷新率為60Hz的4096*2160以及3840*2160分辨率。不管是HDMI還是DP,實(shí)際上都是50Hz到60Hz畫面的輸出,這實(shí)際上是一個(gè)可以替代的方案。當(dāng)然顯卡的輸出是有局限的,它最大的局限就在于顯卡的時(shí)鐘。顯卡的時(shí)鐘是跟隨操作系統(tǒng)的時(shí)鐘走的,不能保持絕對的準(zhǔn)確。在這種情況下,如果我們用顯卡來做4K運(yùn)算的時(shí)候,就要對顯卡做很多針對性的開發(fā)工作,才能實(shí)現(xiàn)比較好的顯卡輸出,我們可以通過顯卡來替代相對昂貴的SDI板卡的輸出,但是它會占用系統(tǒng)資源。
廣電在4K很早就提出的SDI over IP接口,目前的現(xiàn)狀是:
(1)在10Gb以太網(wǎng)上無法直接傳輸無壓縮4K信號;
(2)淺壓縮方案目前國際上沒有統(tǒng)一標(biāo)準(zhǔn),Tico稍領(lǐng)先;
(3)無壓縮傳輸4K需要25Gb或40Gb以太的普及;
(4)目前尚沒有直接支持SDI over IP的監(jiān)看設(shè)備。
大洋公司可提供從高到低的各種解決方案,包括:4路SDI,支持50p/60p,默認(rèn)4配置為4路輸出,也可以切換為4路輸入,或配置為高清兩入兩出模式;RB6 4K,HDMI 1.4,支持25p;顯卡HDMI/DP輸出,針對高刷新率和防裂像進(jìn)行特殊優(yōu)化,支持低成本50p/60p監(jiān)看。
央視的4K制作島的信號入出接口也是混合的,其中只有20%的設(shè)備是SDI接口,剩下80%的機(jī)器都是通過顯卡這種低成本、高質(zhì)量的監(jiān)看。
大洋公司的4K制作流程解決方案如圖2至圖5所示。
圖2 方案一 低成本無卡編輯(HD顯示器+4K顯示器)
圖3 方案二 低成本無卡編輯(超寬屏顯示器+4K電視)
圖4 方案三 高端有卡編輯(超寬屏顯示器+4K電視)
圖5 方案四 高端有卡編輯(超寬屏顯示器+4K監(jiān)視器)
對于傳統(tǒng)的HD和SD制作,我們簡稱為SDR的標(biāo)準(zhǔn)(Standerd Dynamic Range),所使用條件需滿足:SDR監(jiān)視器(峰值亮度100nit)、電視伽馬拍攝制作、對數(shù)伽馬控制在100%以內(nèi)、Rec.601/Rec.709 色域、8bit。
而HDR(high Dynamic Range)制作需滿足的條件:HDR監(jiān)視器(峰值亮度1000nit以上)、使用HDR對數(shù)伽馬制作、攝像機(jī)對數(shù)伽馬支持全動態(tài)范圍、Rec.2020色域、10/12bit。
4K及HD色域?qū)Ρ纫妶D6。
圖6 4K及HD色域?qū)Ρ?/p>
常見4K前期設(shè)備的Gamma曲線有索尼的Slog、松下的VLog、佳能的Cannon Log和阿萊的LogC。
目前HDR共有四種標(biāo)準(zhǔn),Dolby Vision、HDR10、HLG和SL-HDR1。電影和流媒體運(yùn)營商大多支持Dolby Vision與HDR10,以BBC、NHK為代表的電視臺則選擇站在HLG這邊。Dolby Vision與HDR10之間更像是標(biāo)準(zhǔn)版與低配版的關(guān)系。從HDR10版本中無法生成Dolby Vision版本,反過來卻可以。HDR10不兼容SDR,無法兼容SDR使得HDR10內(nèi)容無法在非HDR電視上播放。HLG與SDR之間有自然對應(yīng)關(guān)系,更容易實(shí)現(xiàn)SDR到HDR的平滑過渡
不同顏色空間之間通常通過LUT進(jìn)行轉(zhuǎn)換,需考慮輸入轉(zhuǎn)換、監(jiān)看轉(zhuǎn)換、輸出轉(zhuǎn)換等不同的場景。大洋公司對HDR及顏色管理的做法是:
(1)將傳統(tǒng)需要專業(yè)校色軟件實(shí)現(xiàn)的顏色管理功能集成到非編中;
(2)軟件內(nèi)可設(shè)置采用709或2020色域;
(3)可針對故事板軌道上的素材添加LUT,保證監(jiān)看畫面正確顯示;
(4)支持智能LUT功能,自動判斷素材類別,添加相應(yīng)的LUT;
(5)文件輸出時(shí)可支持多種HDR標(biāo)準(zhǔn)。
4K與高清混合編輯時(shí),高清素材在4K故事板上編輯,進(jìn)行畫幅、幀率變換即可。4K故事板打包輸出高清節(jié)目需進(jìn)行畫幅,幀率變換,4K若為HDR編輯需變換為SDR。以高清為代理碼率進(jìn)行4K剪輯,原則上可行,但需要對故事板進(jìn)行幀率變換。
還有一點(diǎn)要注意的是我們把它叫做半幀規(guī)避的問題。50P的素材轉(zhuǎn)換到50I時(shí),畫面切換點(diǎn)有可能會出現(xiàn)奇場是一個(gè)畫面,偶場是另外一個(gè)畫面,這種畫面是不對的,需要做半幀規(guī)避。
某些與幀場結(jié)構(gòu)相關(guān)的特技,高清與4K的效果會有差異;某些與像素值有關(guān)的運(yùn)算,高清與4K的效果會有差異。如果對4K做HDR制作,所有與顏色相關(guān)的調(diào)整都要在4K域進(jìn)行。