穆向昕
【摘 要】 圍繞視頻技術標準的制定,介紹當前視頻技術的發(fā)展特點及未來發(fā)展的幾個方向,重點介紹影響整個產業(yè)鏈的 HDR標準的應用。
【關鍵詞】 視頻技術;IT化標準;技術開放;HDR;智能視頻
文章編號: 10.3969/j.issn.1674-8239.2018.02.010
【Abstract】The author introduces the development characteristics of the current video technology and several directions for future development around the formulation of video technology standard, and focuses on the application of the HDR standard that affects the whole industry chain.
【Key Words】video technology; IT standard; technology opening; HDR; intelligent video
視頻技術 (Video Technology)泛指將一系列靜態(tài)影像以電信號的方式通過捕捉、紀錄、處理、儲存、傳送呈現(xiàn)出動態(tài)圖像的技術;也可理解為具有時間連續(xù)感和空間、顏色分布感的信號序列應用技術。
制定技術標準是產業(yè)鏈的頂層環(huán)節(jié),因此存在一流的企業(yè)做標準、二流的企業(yè)做品牌、三流的企業(yè)做產品的觀點。
1 聯(lián)合制定AV行業(yè)的IT化標準
在2017年,AQUANTIA、CHRISTIE、NETGEAR、SEMTECH、SONY、ZeeVee成立了以太網(wǎng)視頻(SDVoE,Software Defined Video over Ethernet)聯(lián)盟,共同制定在專業(yè)AV環(huán)境下采用以太網(wǎng)傳輸AV信號的標準,并建立以軟件定義AV應用的SDVoE技術的生態(tài)系統(tǒng),實現(xiàn)端到端的組合。SDVoE聯(lián)盟現(xiàn)有6個發(fā)起人公司、4個合作伙伴、18家應用企業(yè),涵蓋AV設備制造商、AV軟件開發(fā)商、交換機制造商、芯片組設計商、技術提供商和系統(tǒng)集成商,其中有一家國內注冊企業(yè)。這些全球行業(yè)領導者組建的商業(yè)屬性聯(lián)盟,匯聚在一起協(xié)作發(fā)展。
跨界融合是科學技術進步的結果,從最初的HDBaseT聯(lián)盟,AVB(TSN)聯(lián)盟、到現(xiàn)在的SDVoE聯(lián)盟,越來越多的聯(lián)盟都在全面推廣AV、IT的融合。隨著網(wǎng)絡帶寬環(huán)境發(fā)展,有域限制矩陣AV環(huán)境及其認證許可,將向網(wǎng)絡化信號和可跟蹤巡查的IT化標準傾斜。
如果認為SDVoE聯(lián)盟是過于商業(yè)化的技術推動,美國電影電視工程師協(xié)會(SMPTE ,The Society of Motion Picture and Television Engineers) 組織通過的首批ST 2110標準,則重點在于規(guī)范IP網(wǎng)絡傳輸應用。SMPTE ST 2110標準系列從根本上改變了處理和傳輸專業(yè)媒體流的方式,用IP替代SDI,支持利用信息技術協(xié)議和基礎框架的應用。SMPTE ST 2110標準讓音頻、視頻和輔助數(shù)據(jù)流等實體流可以分開傳送,可實現(xiàn)同步,并在終端重新匯聚。這樣提升簡化了附加字幕、標題,圖文電視,以及處理多語言音頻等任務。這個標準無形中也進一步推動了4:4:4廣色域、低延時的IP流編解碼器應用。
2 技術開放
上述視頻技術因為標準產生了積極的效果。個案也有他出。國際電信聯(lián)盟(ITU,International Telecommunication Union是聯(lián)合國專門機構之一)早已批準下一代視頻標準高效視頻編碼HEVC(High Efficiency Video Coding) /H.265,華為技術有限公司擁有其較多的核心技術。該標準旨在提供低帶寬的網(wǎng)絡下高質量視頻流,可以讓4K視頻進入未來的寬帶網(wǎng)絡,但高于H.264數(shù)倍的解碼有難度且硬件支持度欠缺。目前,經(jīng)濟型顯卡對H.265硬解支持不夠,CPU 對H.265軟解稍有困難,使得H.265推廣不利。
與相對需要繳納授權費的H.265相比,谷歌(Google)聯(lián)合Opera、Mozilla基金會共同發(fā)起的WebM項目,將向業(yè)界提供開源、免費的視頻編碼器,使支持HTML5的瀏覽器不需安裝Flash插件就能直接觀看網(wǎng)絡視頻。免費的誘惑顯然對技術發(fā)展起到了推波助瀾的作用,也使得下一代視頻編碼標準撲朔迷離。
正如2017年ISE(Integrated Systems Europe, 歐洲專業(yè)視聽集成設備與技術展)上媒體的報道,黑科技已經(jīng)不再那么“黑”了。在AV、IT融合的大趨勢下,到處充斥著“AV over IT”,“AV over IP”,“Video over IP”, “Audio over IP ”。同時,技術開放也是追求發(fā)展的利器。
數(shù)字影院開放系統(tǒng)聯(lián)盟(Digital Cinema Open System Alliance ,成員企業(yè)包括杜比實驗室、MikroM、USL和XDC)的宗旨是開發(fā)數(shù)字影院服務器與集成媒體模塊(IMB ,Integrated Media Block)產品之間的通用接口規(guī)范,并在整個影院市場推廣使用這些接口規(guī)范。數(shù)字影院開放系統(tǒng)聯(lián)盟希望能夠通過這些開放式的接口標準降低開發(fā)成本、增強靈活性,并為創(chuàng)新提供一個良好的平臺。隨著IMB逐漸流行和對傳統(tǒng)數(shù)字電影服務器放映方式的取代,中國巨幕在IMB模塊的基礎上延伸了中國巨幕優(yōu)化處理模塊PROGSP,將原有的優(yōu)化器中圖像采集和分析模塊與圖像處理模塊分開,使后者以線路板形式內置于放映機中,圖像信號不再以HD-SDI數(shù)據(jù)線傳輸,而是以數(shù)據(jù)總線插槽的方式將圖像解碼、圖像處理和圖像輸出串聯(lián)起來,在增加數(shù)據(jù)安全性的同時,為更高帶寬需要的數(shù)據(jù)結構(如高幀率、高分辨率)做好研發(fā)基礎。這個IMB方式使終端用戶經(jīng)濟受益,同時也促進了技術的延伸發(fā)展。
3 影響整個產業(yè)鏈的HDR標準
占領標準制高點十分重要,全球幾乎所有相關的行業(yè)標準組織都已經(jīng)投身到HDR(High Dynamic Range,高動態(tài)范圍)標準的制定中。作為“劃時代”視頻顯示的變化,HDR還涉及端到端解決方案,除前端要做出高動態(tài)和3D環(huán)繞的內容,還需要在末端進行展現(xiàn)、渲染或重現(xiàn),這實際上影響了整個產業(yè)鏈。HDR主要是在5個維度進行改進,分別是像素、色域、色深、幀率和動態(tài)范圍。
3.1 HDR的5個標準
目前,HDR有多個標準,主要的是DolbyVision、HDR10、HLG(Hybrid Log Gamma)、SL-HDR1和DisplayHDR 1.0。
DolbyVision是杜比實驗室的HDR格式,獲得了SMPTE的支持,包括高達4K分辨率的感知量化(SMPTE ST 2084)、電光傳輸功能和寬色域色彩空間(ITU-R Rec.2020),更多地應用于電影行業(yè),也是目前參數(shù)要求最高的專利認證的標準。
HDR10則是Samsung、SONY、LG等家電企業(yè)提供的更開放的平臺、無需認證的HDR視頻方案。Samsung后來又演化出HDR10+標準,與HDR10最大的區(qū)別在于加入了“動態(tài)色調映射(Dynamic Tone Mapping)”,該技術采用可變的動態(tài)元數(shù)據(jù)來幫助實時調整亮度和對比度,并逐幀優(yōu)化,縮小了與“DolbyVision”之間的差距。
HLG是由英國BBC和日本NHK電視臺聯(lián)合開發(fā)的高動態(tài)范圍HDR的一個標準,使得在高動態(tài)范圍下圖像采集和制作更加容易。
SL-HDR1是由意法半導體、飛利浦國際公司、CableLabs和法國Technicolor R&D;共同開發(fā)的HDR標準,在2016年8月被標準化為ETSI TS 103 433(歐洲電信標準協(xié)會標準),但影響相對較弱。
視頻電子標準協(xié)會(VESA, Video Electronics Standards Association)又針對顯示器產品推出了首個HDR標準,DisplayHDR 1.0標準。視頻電子標準協(xié)會是一家國際化的非贏利性公司,代表世界范圍內300多個企業(yè)成員,為消費類視頻電子產品、個人計算機、工作站和消費者電子學工業(yè)提供支援并且設定標準的組織。DisplayHDR 1.0標準集合了業(yè)界20多家芯片、面板、顯示器、系統(tǒng)廠商參與制定,定義了3種級別,分別對顯示器的亮度、色域、色深等規(guī)格有著不同的要求。
3.2 各應用領域紛紛推動HDR的實施
在編解碼方面,據(jù)媒體報道,MPEG組織針對HDR的編解碼標準將于近期完成,而中國面向超高清電視和視頻監(jiān)控的第二代數(shù)字視頻編碼標準AVS(數(shù)字音視頻編解碼技術標準)也于不久前頒布。藍光光碟協(xié)會(BDA)支持開放 HDR,使用 10bit HEVC 編碼和 SMPTE ST 2084 標準,同時準備采用 Dolby Vision 和 Philip作為選項。BDA也會將10bit 編碼和寬色域用于目前的SDR內容。
在質量評價方面,超高清聯(lián)盟(UHD Alliance,成員包括DirecTV、杜比實驗室、LG電子、Netflix、松下、三星電子、夏普、索尼視覺產品、Technicolor、沃爾特迪斯尼工作室、二十世紀福克斯和華納兄弟娛樂等)在CES2016上發(fā)布的4K/HDR認證規(guī)范和標識,提出了針對電視機的HDR要求,以及基于機頂盒(包含視頻解碼器)的HDR要求;美國消費技術協(xié)會(CTA)也起草了關于電視和顯示器行業(yè)產品支持HDR技術的內容。
在廣播系統(tǒng)行業(yè)標準方面, DVB(數(shù)字視頻廣播標準,由歐洲電信標準化組織、歐洲電子標準化組織、歐洲廣播聯(lián)盟聯(lián)合組成的聯(lián)合專家組發(fā)起)在2017年推出第二版本的超高清方案,ATSC(美國高級電視業(yè)務顧問委員會數(shù)字電視國家標準)將傳輸HDR內容加入ATSC3.0地面廣播標準。
在電視的播放與傳輸方面,美國消費電子協(xié)會(CEA)支持 HDR 技術,而且要符合數(shù)字電視規(guī)范文件 CEA-861-F 以及未經(jīng)壓縮視頻規(guī)范 CEA-861.3 文件中的規(guī)定;另外,還支持 HDR10 媒體傳輸標準,比如可以通過 IPTV 的方式播放 HDR視頻,或者通過 HDMI 接口傳輸 HDR視頻。日本無線工業(yè)及商貿聯(lián)合會(ARIB)發(fā)布了一個光電轉換函數(shù)(OETF)的標準ARIB STD-B67。日本放送協(xié)會NHK也制定了傳輸HDR WCG圖像的時間表。國際電信聯(lián)盟無線電通信組ITU-R SG-6形成了有關HDR電視系統(tǒng)的報告小組(RG24)的建議。
3.3 中國HDR的發(fā)展
中國電子商會聯(lián)合中國電子技術標準化研究院發(fā)布過《HDR顯示技術認證規(guī)范》,提供的CESI賽西HDR認證標簽。而相關的國家級標準正在由AVS技術應用聯(lián)合推進工作組旗下HDR專題組制定。
3.4 HDR的技術門檻
HDR是高寬容度及對比度的視覺體驗,前者主要由解碼芯片和片源完成,而后者則是對面板最高最低亮度的改進,這都是硬生生的門檻。HDR顯示編碼技術的關鍵是對于電光轉換函數(shù)(EOTF)和光電轉換函數(shù)(OETF)的定義,即電信號與光信號之間的轉換規(guī)則。目前主要存在兩種新的電光轉換方案來替代CRT時代所使用的伽馬曲線,Dobly Vision HDR方案提出的感知量化編碼(PQ,Perceptual Quantizer),以及HLG的對數(shù)伽馬分布(Hybrid Log Gamma)。
Dobly PQ可采用12 bit色彩深度實現(xiàn)107高動態(tài)范圍,其亮度范圍達到10-3~104 nit。該方案根據(jù)顯示器端人眼對亮度分辨的閾值來確定量化比特的要求,符合人的視覺生理和視覺心理,對量化比特的使用更為經(jīng)濟。
HLG提出的方案通過兩種不同的方式來分別對HDR信號當中所包含的高光和低光部分進行解碼,其中低光部分使用標準伽馬曲線(這與BT.709的標準基本相同),而高光部分(超過100 nit)則使用對數(shù)曲線,在支持HDR的同時可以兼容SDR超高清電視。
由此可知,HDR技術的產業(yè)鏈很長,一旦標準普及,不僅可以讓上述所有參與國現(xiàn)有芯片、整機等硬件企業(yè)從中受益,還將促進下游內容、創(chuàng)意、制作產業(yè)大繁榮。
4 視頻技術未來發(fā)展的幾個方向
在當今技術條件已經(jīng)具備的情況下,標準化已經(jīng)成為HDR發(fā)展亟需解決的問題。目前,標準不兼容、軟件內容匱乏并不妨礙標準的推廣和實踐;商業(yè)化的博弈及產業(yè)政策導向,使得視頻技術發(fā)展趨勢在一段時間內還不會明朗。
標準的規(guī)范并不直接帶來技術的發(fā)展,更多的是建立秩序,獲得最佳效益。同時,標準建立在技術發(fā)展基礎之上,技術在有方向性的發(fā)展,更多依賴主導企業(yè)、大品牌的先導性技術應用,離不開市場商業(yè)化。
4.1 技術向著逼近人類視覺體驗極限的方向發(fā)展
未來視頻技術,從LED、LCD電視到OLED電視的基礎材料技術應用;從1080P到4K分辨率;從SDR到HDR;從超窄邊液晶拼接到無框(NoGap)液晶拼接;從由鋅、鎘、硒和硫原子組合而成量子點的自發(fā)光技術,到量子點發(fā)光技術的QLED TV(背光源發(fā)光的量子點液晶電視);從BPL(藍色磷光體激光器)、ALPD(先進的激光熒光粉顯示技術)的投影顯示技術,到RGB激光系統(tǒng)技術(“純激光”,采用單獨的紅、綠、藍激光器來生成激光,形成圖像);從激光全息投影技術(front-projected holograph)到基于光場重構(空氣中無介質裸眼全息成像的實像顯示技術);從小間距LED屏幕到Crystal LED Display顯示設備;從AR HUD(增強現(xiàn)實平視顯示)到光屏障式、柱狀透鏡技術、指向光源和MLD技術的裸眼式3D技術;從虛擬現(xiàn)實(VR,Virtual Reality)、增強現(xiàn)實(AR,Augmented Reality)到混合現(xiàn)實(MR,Mix reality)等。
這些視頻技術及產品的進化都是為逼近人類視覺體驗的極限而努力。
同時,演化過程中對痛點技術問題也在研發(fā)迭代中完善,引發(fā)的應用技術革命是顯而易見的。如目前高清(HD)兼容4K的過渡期,如何將高清兼容4K攝錄編不同制式制作流程進化?中國應用系統(tǒng)工作者會在統(tǒng)一環(huán)境、制式及域兼容方面下功夫。但是其基礎產業(yè)研發(fā),則針對4K制作發(fā)布了制作轉換器設備,用戶可以實現(xiàn)HDR和SDR節(jié)目的同步制作、同步播出,節(jié)目制作者可以在制作4K HDR內容的同時,得到4K SDR或者HD內容,使HD和4K、ITU-R709 & ITU-BT2020、標準電視伽瑪和高動態(tài)S-LOG3之間實現(xiàn)實時的轉換,兼容了高清Rec709色域,和4K采用SDR和HDR兩種色域。這一設備徹底消除了HDR和SDR的獨立制作流程,節(jié)省了制作的時間和成本。
4.2 智能視頻監(jiān)控和人工智能
有關視頻技術的發(fā)展趨勢不得不提及的是智能視頻監(jiān)控和人工智能行業(yè)。智能視頻監(jiān)控包含工業(yè)自動化跨界的機器視覺技術,涉及到人工智能、神經(jīng)生物學、心理物理學、計算機科學、圖像處理、模式識別等諸多領域的交叉邊緣學科。作為人工智能的兩個分支,計算機視覺與機器視覺在近年都取得了長足的進步。機器視覺就是用機器代替人眼來做測量和判斷。智能視頻(IV,IntelligentVideo)源自計算機視覺(CV,ComputerVision)技術。計算機視覺技術是人工智能(AI,ArtificialIntelligent)研究的分支之一,它能夠在圖像及圖像描述之間建立映射關系,從而使計算能夠通過數(shù)字圖像處理和分析來理解視頻畫面中的內容。
智能視頻監(jiān)控機器視覺主要擔負檢測、識別的功能。一個典型的工業(yè)機器視覺系統(tǒng)包括:光源、鏡頭(定焦鏡頭、變倍鏡頭、遠心鏡頭、顯微鏡頭)、 相機(包括CCD相機和COMS相機)、圖像處理單元(或圖像捕獲卡)、圖像處理軟件、監(jiān)視器、通信 / 輸入輸出單元等。除了工業(yè)檢測外,在監(jiān)控和人臉識別中,隨著嵌入式系統(tǒng)處理能力的增強,AI算法逐漸從大規(guī)模服務器轉向前端部署,其嵌入式人臉識別軟件可實現(xiàn)人臉檢測、跟蹤、屬性識別,并可在視頻處理單元(VPU)上實現(xiàn)人臉特征提取及比對功能。同時,更多視頻數(shù)據(jù)來支持視頻分析,也進一步在驅動嵌入智能的監(jiān)控攝像頭應用,在安防展上到處能看到單畫面抓取100個人臉、每幀識別30個人臉,支持人臉角度側臉45°、50 m外人臉識別、人臉抓取率99.5%、千億數(shù)據(jù)秒級檢索、百億人/秒人臉識別比對,大數(shù)據(jù)云圖等。
在視頻圖像處理過程中會涉及到對視頻圖像數(shù)據(jù)的采集、傳輸、處理、顯示和回放等,這些過程共同形成了一個系統(tǒng)的整體周期,可以連續(xù)性的運作。目前,市場上主流的視頻圖像處理技術包括:智能分析處理,視頻透霧增透技術,寬動態(tài)處理,超分辨率處理。特別是解決這一問題的有效途徑是采用基于信號處理的軟件方法對圖像的空間分辨率進行提高,即超分辨率(SR:Super-Resolution)圖像重建,其核心思想是用時間帶寬(獲取同一場景的多幀圖像序列)換取空間分辨率,實現(xiàn)時間分辨率向空間分辨率的轉換,使得重建圖像的視覺效果超過任何原有的低分辨率圖像。還有雷同的基于人眼工作原理的攝像機的像素動態(tài)瞬時分配技術,可以瞬時將局部畫面的有效像素提升百倍以上,整體畫面可以達到數(shù)億等效像素,在幾十米內可以展現(xiàn)清晰的可識別人臉,100 m內看清全身特征,極速抓拍、全場景抓拍,每秒可抓拍超過100張人臉,這樣有效破解了高分辨率的攝像機的門檻。
在深度學習的幫助下(尤其是隨著卷積神經(jīng)網(wǎng)絡的發(fā)展),計算機的圖像識別能力開始超越人類。深度學習是機器學習研究中的一個新的領域,其動機在于建立、模擬人腦進行分析學習的神經(jīng)網(wǎng)絡,它模仿人腦的機制來解釋數(shù)據(jù),包括圖像、聲音和文本。雖然受到質疑,但已經(jīng)在人臉識別、圖像識別、語音識別,自然語言理解NLP(Neuro Linguistric Programming,神經(jīng)語言程序)技術、大數(shù)據(jù)挖掘技術、無人駕駛技術等領域獲得了廣泛應用。
5 結語
未來無法用統(tǒng)計法、調研法去預測??梢灶A見的是,這些視頻技術將與現(xiàn)有的各項智能技術不斷的融合,變化為更多的智能化產品類型,應用于生活中,從而推動視頻技術更深入地與市場商業(yè)的需求相結合,為視頻技術開拓出更大的行業(yè)市場,滿足人類視覺最大閾值的要求,使人類更加舒適和享受。