AI畫質(zhì)增強(qiáng)技術(shù)逐漸成為提升觀眾視覺體驗的重要驅(qū)動力[1]。“Z視介”App作為精心打造的文化創(chuàng)新視聽平臺,在跨年晚會直播中積極探索應(yīng)用新技術(shù),為觀眾帶來精彩絕倫的節(jié)目內(nèi)容。
一、AI畫質(zhì)增強(qiáng)技術(shù)的原理
AI畫質(zhì)增強(qiáng)技術(shù)基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)(CNN),通過多層卷積與池化操作提取圖像特征。CNN模型在浙江衛(wèi)視跨年晚會網(wǎng)絡(luò)直播中,精準(zhǔn)捕捉歌手妝造服裝、舞美燈光等細(xì)節(jié),為畫質(zhì)優(yōu)化提供數(shù)據(jù)支撐。AI畫質(zhì)增強(qiáng)技術(shù)致力于通過視頻超分辨率破解細(xì)節(jié)丟失難題,通過深度學(xué)習(xí)從低清畫面重建缺失像素信息[2]。例如,基于亞像素卷積的智能架構(gòu)捕捉像素非線性關(guān)聯(lián),應(yīng)對舞臺煙霧與面光疊加導(dǎo)致的藝人五官模糊問題。在降噪與色彩優(yōu)化方面,采用生成對抗網(wǎng)絡(luò)(GAN)架構(gòu),生成器生成增強(qiáng)圖像,判別器判斷真實性,二者在對抗博弈中提升畫面質(zhì)量與還原度[3]。例如,針對晚會現(xiàn)場復(fù)雜燈光環(huán)境下的噪點和色彩偏差,該算法精準(zhǔn)識別去除噪點,還原真實鮮艷色彩,使藝人面部特征清晰,畫面細(xì)節(jié)得到有效呈現(xiàn)。
二、AI畫質(zhì)增強(qiáng)技術(shù)的實踐應(yīng)用
(一)前期素材預(yù)處理流程
在直播籌備階段,我們重點收集了前4年浙江衛(wèi)視跨年晚會歷史素材,運用AI模型對原始視頻進(jìn)行深入分析,并開展模擬直播增強(qiáng)測試。測試過程中,我們針對畫質(zhì)增強(qiáng)和降噪模塊不斷進(jìn)行優(yōu)化升級,以應(yīng)對直播畫面中高頻出現(xiàn)的舞臺燈光變化、場景切換以及鏡頭移動等。這一過程充分利用了卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的特性,讓模型充分識別和熟悉類似場景、燈光、膚色、運鏡的直播畫面。在實時信號彩排階段,經(jīng)過深度學(xué)習(xí)過后的畫質(zhì)增強(qiáng)效果明顯提升,有效避免了AI處理過程中可能出現(xiàn)的畫面瑕疵。
(二)直播流實時增強(qiáng)處理
本次跨年晚會的網(wǎng)絡(luò)直播中,浙江衛(wèi)視技術(shù)中心總控接收到播出中心傳輸過來的1080P基帶信號,通過運用AI畫質(zhì)增強(qiáng)算法,對高清信號同步進(jìn)行降噪與色彩增強(qiáng),增強(qiáng)了視頻流的整體畫質(zhì)和流暢性,通過FFMetrics畫質(zhì)專業(yè)對比工具進(jìn)行對比,結(jié)果顯示經(jīng)過AI畫質(zhì)增強(qiáng)處理過的視頻質(zhì)量明顯提升,在網(wǎng)絡(luò)帶寬有限的前提下,有效優(yōu)化了直播的畫面質(zhì)量。
針對市面上主流品牌手機(jī)技術(shù)不斷升級的現(xiàn)狀,我們開設(shè)了跨年晚會4K直播會場,在AI超分辨率技術(shù)和智能插幀技術(shù)的加持下,該通道信號由1080P提升到了4K,視頻幀率從25fps提升到了50fps。更高的分辨率和高幀率,使得直播內(nèi)容能夠以更加細(xì)膩逼真的方式展現(xiàn),確保了整個直播過程中的流暢感。最終,在“Z視介”客戶端,我們成功實現(xiàn)了超高清級別的在線網(wǎng)絡(luò)直播。無論是增強(qiáng)后的高清線路還是4K超高清線路,均達(dá)到了前所未有的畫質(zhì)水平。
(三)終端適配與優(yōu)化策略
此前,在信號畫質(zhì)增強(qiáng)測試階段,技術(shù)團(tuán)隊發(fā)現(xiàn)隨著畫質(zhì)增強(qiáng)后直播信號制式標(biāo)準(zhǔn)提升,本地播放流暢的測試畫面在安卓與iOS設(shè)備上呈現(xiàn)截然不同的狀態(tài),前者出現(xiàn)黑屏、卡頓、聲畫不同步等問題,后者則有規(guī)律的觸發(fā)播放器重置。日志分析顯示,不同系統(tǒng)、品牌的設(shè)備對直播信號的兼容性差異較大。因此,技術(shù)團(tuán)隊在前期開展了大量的終端兼容性測試調(diào)試工作,并根據(jù)各終端的特性進(jìn)行了針對性地兼容適配和策略調(diào)整。通過用戶的設(shè)備型號和網(wǎng)絡(luò)狀況,完成策略判斷,動態(tài)地為用戶提供最佳的畫質(zhì)版本。
對支持硬件加速解碼的設(shè)備,開放“4K至臻”直播會場,而對依賴軟件解碼的機(jī)型,則采用原畫色彩增強(qiáng)的1080P直播信號。網(wǎng)絡(luò)環(huán)境同樣被納入評估體系,當(dāng)帶寬波動超過閾值時,系統(tǒng)會優(yōu)先保障直播流的穩(wěn)定,降低碼率標(biāo)準(zhǔn),確保視頻播放的流暢性,避免出現(xiàn)卡頓或緩沖現(xiàn)象。
三、在小屏直播中的應(yīng)用成效
(一)畫質(zhì)提升的主觀評價
在以往跨年晚會直播中,大屏播出的清晰度及現(xiàn)場觀眾的觀看體驗都不錯,但受限于網(wǎng)絡(luò)帶寬及編碼壓縮效率和畫面處理水平,在網(wǎng)絡(luò)直播環(huán)節(jié)一直有清晰度不理想的反饋。本次跨年晚會播出后,AI畫質(zhì)增強(qiáng)技術(shù)獲得了廣泛好評。例如,在未應(yīng)用AI畫質(zhì)增強(qiáng)技術(shù)之前,直播圖像中的人臉邊緣模糊,面部陰影部分有明顯的噪點。而經(jīng)過處理后,人物的五官和皮膚清晰度得到了提升,質(zhì)感細(xì)膩。同時,色調(diào)的優(yōu)化也讓舞臺效果變得更加華麗,給“Z視介”終端用戶帶來了沉浸式的視聽體驗。
(二)平臺數(shù)據(jù)表現(xiàn)
在跨年晚會直播期間,“Z視介”App迎來數(shù)據(jù)洪峰。直播當(dāng)晚“Z視介”的日活量、啟動量、下載量均再創(chuàng)新高,注冊新用戶數(shù)量為去年同期的三倍。其中,在25歲以下年輕觀眾群體增長尤為顯著。這表明高質(zhì)量內(nèi)容傳播在吸引觀眾關(guān)注的同時,也有助于增強(qiáng)用戶黏性。
四、技術(shù)應(yīng)用的挑戰(zhàn)及應(yīng)對建議
(一)硬件計算資源需求與優(yōu)化
AI畫質(zhì)增強(qiáng)的實時處理對GPU、CPU等硬件資源來說是嚴(yán)峻的考驗。特別是在跨年晚會直播這類高負(fù)載的場景中,硬件超負(fù)荷運轉(zhuǎn)可能引發(fā)畫面延遲或系統(tǒng)異常。例如,本次跨年晚會彩排階段,顯卡頻繁觸發(fā)性能報警,表現(xiàn)為直播測試畫面偶現(xiàn)卡頓,倒逼技術(shù)團(tuán)隊優(yōu)化底層算法,精簡計算冗余,同時硬件層面部署了雙GPU集群架構(gòu),其并行處理能力達(dá)到原來的2.3倍。足量的運行空間可保證直播活動多任務(wù)實時處理下的性能效率,將4K畫質(zhì)增強(qiáng)的響應(yīng)時延控制在16ms以內(nèi),確保直播場景畫面流暢度和實時性。
(二)復(fù)雜直播場景下AI算法的適應(yīng)性改進(jìn)
在本次跨年晚會直播中,強(qiáng)光照射、鏡頭移動、數(shù)字大屏等對AI算法的穩(wěn)定性構(gòu)成了挑戰(zhàn),這些因素在網(wǎng)絡(luò)直播中往往容易引起畫面元素丟失及拖影現(xiàn)象。而在體育、文旅、電競等類型直播中,畫面提升過程面臨的復(fù)雜場景各有不同。
針對這些問題,我們收集了許多類似的復(fù)雜場景樣本,不斷訓(xùn)練和進(jìn)行參數(shù)調(diào)整,經(jīng)過持續(xù)的優(yōu)化和歷史數(shù)據(jù)測試,我們的AI畫質(zhì)增強(qiáng)能力已經(jīng)能夠根據(jù)畫面的復(fù)雜程度自適應(yīng)對算法進(jìn)行優(yōu)化調(diào)整,保證在面對復(fù)雜場景時,穩(wěn)定輸出高質(zhì)量的直播畫面。
(三)終端持久性適配與兼容
終端設(shè)備兼容性適配始終是視頻平臺運營中的持久性課題。針對終端適配的技術(shù)復(fù)雜性和更迭特性,“Z視介”平臺技術(shù)團(tuán)隊構(gòu)建了多維度測試機(jī)制。技術(shù)團(tuán)隊對市場主流終端設(shè)備實施全覆蓋測試方案,涵蓋國內(nèi)外主流品牌、不同硬件配置以及多樣化的操作系統(tǒng)迭代版本。在測試過程中構(gòu)建了設(shè)備性能數(shù)據(jù)庫,系統(tǒng)采集屏幕顯示參數(shù)(分辨率/刷新率/色域覆蓋)硬件解碼效能等指標(biāo),并針對多種視頻規(guī)格(編碼格式/碼率/分辨率)進(jìn)行播放穩(wěn)定性評估,重點監(jiān)測畫面流暢度、色彩還原度以及特殊格式的解析能力?;谠攲嵉臏y試數(shù)據(jù),平臺建立了終端特征圖譜,精準(zhǔn)定位不同設(shè)備的適配難點,最終形成差異化適配方案,有效解決了跨平臺內(nèi)容呈現(xiàn)的技術(shù)障礙。
針對部分解碼性能受限的終端設(shè)備,平臺采取動態(tài)編碼優(yōu)化方案,在壓縮視頻碼率并簡化編碼結(jié)構(gòu)的同時,運用智能圖像處理算法對畫面細(xì)節(jié)進(jìn)行重構(gòu)增強(qiáng)。通過這種雙重技術(shù)調(diào)節(jié)機(jī)制,既有效控制數(shù)據(jù)流量占用,又同步提升畫面清晰度。技術(shù)團(tuán)隊運用技術(shù)手段的適配兼容,把更好看、更好聽的現(xiàn)場帶給用戶,打通了廣電新媒體網(wǎng)絡(luò)傳播鏈路上的“最后一公里”。
五、結(jié)語
展望未來,隨著AI技術(shù)的更新迭代,通過將智能算法與新興技術(shù)標(biāo)準(zhǔn)深度融合,將有力推動新媒體領(lǐng)域的創(chuàng)新實踐。隨著用戶使用習(xí)慣不斷向小屏端靠攏,如何在小屏端打造更具沉浸感的視聽效果,是接下來新媒體視音頻技術(shù)發(fā)展繞不開的課題。
參考文獻(xiàn):
[1」孫萌,李錚,孫博宇,等.淺析AI視頻畫面增強(qiáng)系統(tǒng)的測試與研究[J].現(xiàn)代電視技術(shù),2023(10):142-144.
[2]寧欣,丁友東.基于視頻插幀技術(shù)和視頻超分辨率技術(shù)的數(shù)字電影畫質(zhì)增強(qiáng)研究[J].現(xiàn)代電影技術(shù),2022(6):10-15.
[3]陳萱華,張靜,陶建平,等.圖像超分辨率技術(shù)研究[J].電腦知識與技術(shù),2023,19(18):15-17.
(作者王胤翔系浙江衛(wèi)視“中國藍(lán)新平臺”助理工程師)
責(zé)任編輯:王艷