張艷華
(徐州工程學(xué)院,江蘇 徐州 221018)
近年來(lái),在主要面向互聯(lián)網(wǎng)、移動(dòng)終端的融合媒體領(lǐng)域,網(wǎng)絡(luò)設(shè)備接口(Network Device Interface,NDI)技術(shù)在傳輸、接入、調(diào)度、監(jiān)控、live制作、播出、安全、收錄、存儲(chǔ)、后期制作及分發(fā)方面得到了應(yīng)用,對(duì)數(shù)字分量串行接口(Serial Digital Interface,SDI)技術(shù)起到了補(bǔ)充甚至替代的作用。
相對(duì)于大屏端傳統(tǒng)廣播電視制播體系,融合媒體的制作分發(fā)體系有自己的特點(diǎn)。首先,系統(tǒng)架構(gòu)要靈活,能快速響應(yīng)部署;而且設(shè)備要輕量化。其次,融合媒體制作對(duì)信號(hào)的客觀技術(shù)指標(biāo)相對(duì)大屏要求較低,主觀感受對(duì)信號(hào)壓縮的容忍度也相對(duì)較高。相對(duì)于大屏端的高清、4K/8K的無(wú)壓縮信號(hào),面向小屏的融合媒體生產(chǎn),因?yàn)樽罱K推流分發(fā)是面向互聯(lián)網(wǎng)和移動(dòng)終端,所以輸入和輸出都是低帶寬的壓縮信號(hào)。再次,融合媒體的制作分發(fā)體系在滿足設(shè)備輕量化和系統(tǒng)靈活性的基礎(chǔ)上,在技術(shù)性能指標(biāo)滿足要求的前提下,要能實(shí)現(xiàn)當(dāng)前制作系統(tǒng)的主要功能。最后,高性價(jià)比。在人人都是自媒體的時(shí)代,傳統(tǒng)廣電領(lǐng)域的高成本重裝備不適合于融合媒體生產(chǎn)。
綜上所述,NDI技術(shù)的很多特性都契合融合媒體的技術(shù)體系,因此在融合媒體生產(chǎn)領(lǐng)域的應(yīng)用越來(lái)越廣泛。
NDI協(xié)議于2015年由NewTek公司提出。該協(xié)議支持視頻信號(hào)通過局域網(wǎng)進(jìn)行傳輸。它首先對(duì)視音頻進(jìn)行壓縮編解碼,所以是編解碼的協(xié)議。另外,它在壓縮編解碼的基礎(chǔ)上進(jìn)行低延時(shí)傳輸,所以也是網(wǎng)絡(luò)傳輸協(xié)議。
NDI協(xié)議屬于IP交互協(xié)議,具備延時(shí)低、幀精度處理、支持設(shè)備及數(shù)據(jù)流間可相互識(shí)別等優(yōu)點(diǎn)。同時(shí),在傳輸視頻數(shù)據(jù)流以外,NDI協(xié)議還可同時(shí)攜帶多通道無(wú)壓縮音頻數(shù)據(jù)流及元數(shù)據(jù)信息。其元數(shù)據(jù)信息支持雙向收發(fā),發(fā)送者和接收者均可通過NDI識(shí)別并連接。NDI支持廣播級(jí)IP傳輸協(xié)議轉(zhuǎn)換,適用于多數(shù)通用網(wǎng)絡(luò)設(shè)備,并可延伸與多種第三方工具進(jìn)行連接。另外,NDI是一種開源接口定義,開放了主要的軟件開發(fā)工具包(Software Development Kit,SDK)功能,在應(yīng)用中只需通過調(diào)用函數(shù)即可直接使用SDK現(xiàn)有功能[1]。
NDI相對(duì)的高指標(biāo)、低延時(shí),滿足了主客觀圖像質(zhì)量評(píng)價(jià)要求;即插即用自發(fā)現(xiàn)的特性,滿足快速響應(yīng)部署的要求;支持TALLY和通話,保證了傳統(tǒng)廣電演播的功能,開源特性使得總體擁有成本降低??梢?,NDI的這些技術(shù)特點(diǎn)非常符合前述融合媒體技術(shù)體系的需求。
NDI協(xié)議包括FULL NDI和NDI|HX(NDI|HX2)兩種。FULL NDI是基于I幀壓縮的,占用的帶寬高,延時(shí)小,信號(hào)質(zhì)量好。NDI|HX是基于長(zhǎng)GOP H.264的改進(jìn)版本,占用帶寬低,相對(duì)FULL NDI延時(shí)較大,信號(hào)質(zhì)量較低。NDI廠家給出的NDI信號(hào)帶寬數(shù)據(jù)如表1所示。
表1 NDI信號(hào)帶寬
單個(gè)高清(High Definition,HD)的NDI流帶寬典型值為16 Mb·s-1(NDI|HX)或者180 Mb·s-1(FULL NDI),4K超 高 清(Ultra High Definition,UHD)的NDI流帶寬為250 Mb·s-1或者350 Mb·s-1。理論上,萬(wàn)兆網(wǎng)絡(luò)可以支持40路以上的HD NDI或者20路以上4K UHD的NDI流。
據(jù)其他文獻(xiàn)研究,將高清圖像測(cè)試信號(hào)經(jīng)NDI協(xié)議以80~120 Mb·s-1可變碼率編碼并解碼后輸出,圖像質(zhì)量分析儀的測(cè)試結(jié)果如表2所示[2]。
表2 圖像質(zhì)量測(cè)試結(jié)果
在圖像質(zhì)量測(cè)試結(jié)果中,圖像質(zhì)量等級(jí)(Picture Quality Ratio,PQR)算法首先對(duì)經(jīng)過被測(cè)系統(tǒng)的圖像序列進(jìn)行標(biāo)準(zhǔn)化處理,之后再對(duì)處理后的圖像序列和原始參考圖像序列進(jìn)行最小可覺差異(Just Noticeable Difference,JND)計(jì)算。PQR_Y越小則圖像質(zhì)量越好。平均主觀得分差(Differential Mean Quality Score,DMOS)計(jì)算人眼對(duì)原始圖像和處理圖像評(píng)價(jià)得分的差異, DMOS_Y值越小則圖像質(zhì)量越好。峰值信噪比(Peak Signal to Noise Ratio,PSNR)在壓縮數(shù)據(jù)流協(xié)議傳輸中,達(dá)到40 dB時(shí)信號(hào)即被認(rèn)為非常接近原始圖像的質(zhì)量,在SDI系統(tǒng)中串行傳輸標(biāo)準(zhǔn)信噪比要求65 dB。PSNR_Y值越大,圖像質(zhì)量越好。而NDI的技術(shù)特性,保證了畫面在多次迭代后,質(zhì)量不會(huì)進(jìn)一步損失。
2.1.1 攝像機(jī)和編解碼器
目前,市場(chǎng)上有很多支持NDI協(xié)議的PTZ攝像機(jī),一些傳統(tǒng)的廣電設(shè)備商如Panasonic,Newtek,Lumens等公司也在積極跟進(jìn)。這些攝像機(jī)內(nèi)置NDI|HX編碼器。如果攝像機(jī)不支持NDI編碼,也可以通過外置的編碼器來(lái)支持FULL NDI+NDI|HX協(xié)議,實(shí)現(xiàn)視頻傳輸和設(shè)備控制。
編解碼器支持HD或者12G-SDI 4K視頻,端到端延時(shí)小于100 ms。支持NDI發(fā)現(xiàn)服務(wù)器功能,可實(shí)現(xiàn)NDI跨網(wǎng)段傳輸。支持Tally燈、通話、多方式供電等傳統(tǒng)廣電實(shí)用功能。通過與軟件集成,還支持設(shè)備遠(yuǎn)程管理和控制、NDI流管理和分發(fā)、大規(guī)模節(jié)目制作管理等功能。
2.1.2 切換臺(tái)
切換臺(tái)是節(jié)目制作的核心設(shè)備,NewTek公司的TriCaster系列產(chǎn)品是其中的代表作。它提供IP和SDI等輸入接口,兼容各式視頻信號(hào)源。以QuickTime或H.264文件格式錄制多通道全分辨率視頻,用于剪輯、切換、回放、歸檔、點(diǎn)播??蓪?shí)現(xiàn)實(shí)時(shí)流媒體傳輸、記錄、數(shù)據(jù)驅(qū)動(dòng)圖形、虛擬布景及社交媒體發(fā)布等。還可利用色度鍵在實(shí)時(shí)視頻、圖文和虛擬場(chǎng)景中創(chuàng)造各種合成場(chǎng)景,并將其用于報(bào)告、演講、演示等用途。
2.1.3 傳輸方案
NDI作為網(wǎng)絡(luò)傳輸協(xié)議,一個(gè)重要的特性就是網(wǎng)絡(luò)發(fā)現(xiàn)性。編碼器把信號(hào)源編碼成NDI信號(hào)后在跨網(wǎng)段的局域網(wǎng)傳輸,網(wǎng)絡(luò)內(nèi)包括PC、導(dǎo)播軟件在內(nèi)的終端都可以實(shí)時(shí)發(fā)現(xiàn)、調(diào)度、制作網(wǎng)絡(luò)內(nèi)的所有NDI信號(hào)。網(wǎng)絡(luò)內(nèi)允許存在多個(gè)推NDI流的編碼終端和多個(gè)拉NDI流的解碼終端。
如果采用常規(guī)的網(wǎng)線傳輸,一個(gè)24口千兆以太網(wǎng)交換機(jī)可以支持50路以上的UDP、RTMP、SRT等TS流。除了有線連接,實(shí)際使用中也有用無(wú)線網(wǎng)橋或者WiFi的方式當(dāng)成無(wú)線圖傳來(lái)傳輸FULL NDI的案例。如圖1所示。
圖1 FULL NDI的無(wú)線應(yīng)用
NDI可以像SDI嵌入音頻信號(hào)一樣,在視頻數(shù)據(jù)流以外可同時(shí)攜帶多通道無(wú)壓縮音頻數(shù)據(jù)流及元數(shù)據(jù)信息。要求不高的融合媒體制播場(chǎng)景,切換臺(tái)可直接從可選NDI資源中獲得音頻數(shù)據(jù)流[3]。視頻信號(hào)切換時(shí)綁定的音頻信號(hào)跟隨視頻信號(hào)一同完成切換,或者使用推子單獨(dú)控制音頻通道音源輸出。要求較高的制播場(chǎng)景,會(huì)采用NDI+DANTE的全I(xiàn)P架構(gòu),如圖2所示。
圖2 DANTE處理流程
DANTE作為音頻系統(tǒng)的核心交換協(xié)議,支持NDI音頻數(shù)據(jù)流轉(zhuǎn)換,DANTE虛擬聲卡從NDI中獲得音頻數(shù)據(jù)流。一個(gè)IP視音頻數(shù)據(jù)流以DANTE協(xié)議將音頻信號(hào)傳輸?shù)紻ANTE調(diào)音臺(tái)接口卡,再通過調(diào)音臺(tái)模擬音頻接口接入切換臺(tái)。這種工作模式會(huì)產(chǎn)生音頻延時(shí)。通過NDI網(wǎng)關(guān)調(diào)整視頻信號(hào)延時(shí)量,通過調(diào)整調(diào)音臺(tái)的音頻信號(hào)延時(shí)量,可以將聲畫延遲對(duì)齊。
在NDI5之前,NDI默認(rèn)采用multi-TCP的傳輸方式。TCP的傳輸方式雖然可靠,但在傳輸穩(wěn)定性較差的環(huán)境下,其傳輸效率低、實(shí)時(shí)性差。所以NDI通常運(yùn)行在局域網(wǎng)上。
2021年6月推出的最新迭代版本NDI5,采用 了QUIC(Quick UDP Internet Connection),它是一種新的可靠用戶數(shù)據(jù)報(bào)協(xié)議(Reliable UDP,RUDP)傳輸機(jī)制。RUDP在傳輸穩(wěn)定性較差的網(wǎng)絡(luò)環(huán)境下,性能要優(yōu)于TCP。QUIC基于UDP,所以它具備UDP的簡(jiǎn)單、低延時(shí)的特點(diǎn),又因?yàn)樗捎昧伺cTCP相似的擁塞控制/數(shù)據(jù)重傳機(jī)制,它又具備TCP的傳輸可靠性。采用RUDP傳輸?shù)腘DI在傳輸上更穩(wěn)定、延時(shí)更低。這使得NDI協(xié)議具備了廣域網(wǎng)協(xié)議的特征,可以在云平臺(tái)上運(yùn)行,遠(yuǎn)程進(jìn)行視頻協(xié)議傳輸及解碼,在不同的設(shè)備之間進(jìn)行視頻共享,將固定的演播室連接到云端演播室,高效快捷地進(jìn)行視頻演播制作。
不僅僅在制作域,目前在融合媒體生產(chǎn)的其他領(lǐng)域,采用NDI的音視頻網(wǎng)絡(luò)傳輸協(xié)議代替?zhèn)鹘y(tǒng)的SDI信號(hào)傳輸,完成全臺(tái)技術(shù)系統(tǒng)的IP化和IT化升級(jí)也有很多應(yīng)用。
匯聚接入模塊的主要功能就是協(xié)議轉(zhuǎn)換,其原理如圖3所示。
圖3 協(xié)議轉(zhuǎn)換原理
RTMP、SRT、HLS、DVB-UDP、WebRTC等多種外來(lái)的流信號(hào)和文件信號(hào)接入,可以實(shí)時(shí)轉(zhuǎn)換成NDI信號(hào)和SDI信號(hào)。
當(dāng)業(yè)務(wù)中有多路NDI信號(hào)需要并發(fā)、調(diào)度、集中管理,可以使用NDI矩陣。有的產(chǎn)品是先將NDI信源引入一個(gè)專有的NDI流服務(wù)矩陣,然后由服務(wù)器進(jìn)行分發(fā),此時(shí)流服務(wù)矩陣會(huì)成為系統(tǒng)的單一節(jié)點(diǎn),這樣的結(jié)構(gòu)無(wú)法充分發(fā)揮IP架構(gòu)的優(yōu)勢(shì)。
目前,NDI切換調(diào)度矩陣不再采用傳統(tǒng)矩陣的通路方式,而是通過交換機(jī)控制網(wǎng)絡(luò)中的NDI視頻信號(hào)元數(shù)據(jù),通過地址重定向的方式進(jìn)行信號(hào)直接調(diào)度,但并不對(duì)信號(hào)進(jìn)行任何物理集中[4]。由于沒有視頻數(shù)據(jù)實(shí)際匯聚到矩陣,自然也不存在單點(diǎn)潰點(diǎn)。
隨著支持NDI協(xié)議的攝像機(jī)、編解碼器、矩陣、字幕機(jī)、多畫面分割器、幀同步、加解嵌等系列產(chǎn)品的出現(xiàn),這些不同公司的產(chǎn)品雖然可以互聯(lián)互通,但是沒有統(tǒng)一的管理配置。一些國(guó)內(nèi)公司自行研發(fā)的NDI管理與調(diào)度產(chǎn)品,可以實(shí)現(xiàn)對(duì)現(xiàn)有NDI網(wǎng)絡(luò)中的各種設(shè)備進(jìn)行管理、控制,使眾多的NDI產(chǎn)品快速、便捷地一體化協(xié)同工作[5]。
3.3.1 NDI多畫面
NewTek公司提供了監(jiān)看軟件NDI Studio Monitor,但是只能監(jiān)看單畫面?,F(xiàn)在實(shí)際應(yīng)用的多畫面系統(tǒng)實(shí)質(zhì)上是一款解碼軟件,可根據(jù)業(yè)務(wù)應(yīng)用需求理論上不受限制地創(chuàng)建NDI窗口,每個(gè)窗口可添加多路各種規(guī)格的NDI視頻流,而且畫面樣式可完全自定義,多窗口播放,窗口之間可以一鍵切換,還可以通過HDMI接口上屏。作為輔助功能,多畫面通常還具備音柱顯示、安全框、中心線及邊框等。
3.3.2 推 流
經(jīng)過內(nèi)部NDI網(wǎng)絡(luò)的調(diào)度和處理后,根據(jù)實(shí)際應(yīng)用需求,系統(tǒng)往往還需要實(shí)時(shí)對(duì)外推送。例如,要支持SRT對(duì)外實(shí)時(shí)交互,實(shí)現(xiàn)遠(yuǎn)程傳輸,支持RTMP互聯(lián)網(wǎng)快速推流,實(shí)現(xiàn)信號(hào)的多平臺(tái)同步播出,有的還需要支持DVB-UDP,為有線電視等傳統(tǒng)播出平臺(tái)實(shí)時(shí)提供信號(hào)。
隨著整個(gè)技術(shù)生態(tài)的發(fā)展,NDI正向著一種面向云端視頻業(yè)務(wù)的基礎(chǔ)視音頻I/O標(biāo)準(zhǔn)方向發(fā)展。未來(lái),NDI還需要解決一些實(shí)質(zhì)性的問題。
(1)安全性問題。NDI在視頻的連接、獲取過程中完全不需要鑒權(quán)機(jī)制,可以即插即用。隨著NDI5開始支持面向互聯(lián)網(wǎng)和遠(yuǎn)程制作,傳輸方式改成了天生具有較高等級(jí)加密能力的QUIC,但是身份驗(yàn)證、連接握手的機(jī)制、防火墻/NAT穿透等安全性問題還應(yīng)進(jìn)一步解決。
(2)編解碼問題。使用軟件進(jìn)行NDI編碼的性能,相對(duì)于解碼仍差很多。4K分辨率下的圖像質(zhì)量和編碼效率如何平衡,也是一個(gè)很大的挑戰(zhàn)。
(3)音頻問題。NDI5在音頻部分有很大提高,目前幾乎兼容所有的音頻軟件、應(yīng)用程序,并且還允許客戶自定義選擇、接收和生成多通道音頻,而延遲近乎于零。但是還沒有構(gòu)建出一個(gè)完整的基于IP架構(gòu)的音頻體系。
基于融合媒體生產(chǎn)的互聯(lián)網(wǎng)化、移動(dòng)化,NDI技術(shù)在制作、調(diào)度、分發(fā)等領(lǐng)域的應(yīng)用越來(lái)越廣泛。隨著技術(shù)生態(tài)的建立,NDI技術(shù)還在不斷發(fā)展完善。