侯慶云
(天津廣播電視臺(tái),天津 300221)
隨著數(shù)字電視技術(shù)的不斷發(fā)展,數(shù)字電視播出系統(tǒng)正朝著自動(dòng)化和智能化的方向發(fā)展。為切實(shí)提高播出系統(tǒng)業(yè)務(wù)能力,快速發(fā)現(xiàn)問題,準(zhǔn)確定位故障點(diǎn),提高事件響應(yīng)及處理能力,一致性比對(duì)等智能化信號(hào)故障判斷方法正成為信息化時(shí)代安全播出的重要手段。
一致性比對(duì)是播出系統(tǒng)智能化故障判斷的核心技術(shù)。該技術(shù)通過計(jì)算播出系統(tǒng)各鏈路畫面的特征值和技術(shù)指標(biāo),基于邏輯進(jìn)行故障判斷,快速做出應(yīng)急處理[1]。這種應(yīng)急處理大幅度降低故障判斷時(shí)間,增強(qiáng)了播出安全,同時(shí)降低了值機(jī)人員的工作量。在典型的播出系統(tǒng)中,可以選擇多處監(jiān)測(cè)點(diǎn),并將多路信號(hào)分別送至一致性比對(duì)主機(jī)和4×1應(yīng)急切換設(shè)備,由一致性比對(duì)主機(jī)控制4×1應(yīng)急切換設(shè)備做應(yīng)急處理,也可在一致性比對(duì)發(fā)現(xiàn)信號(hào)不一致或當(dāng)前輸出鏈路有劣播情況時(shí),通知應(yīng)急切換面板蜂鳴以示異態(tài)報(bào)警,由系統(tǒng)自動(dòng)或值班人員手動(dòng)切換到正常鏈路。
一致性比對(duì)通常選擇監(jiān)測(cè)末級(jí)主、備及三備PGM輸出,在播出系統(tǒng)中的監(jiān)測(cè)點(diǎn)如圖1所示。鏈路間不一致的情況主要有播出異常和停播等情況。播出異常的原因有節(jié)目單不一致和節(jié)目文件內(nèi)部錯(cuò)誤等,在這種情況下,3路都有播出但存在不一致的情況,本文主要探討為這類情況提供解決方案。停播是播出系統(tǒng)沒有及時(shí)對(duì)播出服務(wù)器或渲染服務(wù)器發(fā)出指令,或出現(xiàn)軟硬件故障等,導(dǎo)致畫面出現(xiàn)無信號(hào)、黑場(chǎng)或靜幀的情況,這種情況可以通過技審優(yōu)先判斷出非正常鏈路并及時(shí)解決問題。
圖1 一致性比對(duì)在播出系統(tǒng)中的監(jiān)測(cè)點(diǎn)
除進(jìn)行圖像是否一致的判斷外,設(shè)計(jì)算法時(shí)需要考慮一些前提條件。這些條件包括空間因素、時(shí)間因素及算法適應(yīng)性3方面。
空間因素主要包括3種情況。
(1)不同鏈路的畫面包裝元素區(qū)存在不同,如三備沒有疊加臺(tái)標(biāo)等情況。
(2)畫面平移。出于建設(shè)周期和安全性考慮,播出系統(tǒng)可能采用不同廠家的視頻服務(wù)器。這些設(shè)備的輸出并不能完全一致,如相同幀間有畫面平移現(xiàn)象。
(3)對(duì)于高標(biāo)清同播的系統(tǒng),上下變換將改變分辨率、像素亮度值及像素色度值。
有多種因素可能造成不同鏈路之間存在時(shí)間差。例如,播出系統(tǒng)受控于不同的自動(dòng)控制系統(tǒng),控制命令的發(fā)出存在時(shí)間差;鏈路之間串聯(lián)的設(shè)備有區(qū)別;服務(wù)器硬件可能對(duì)輸出響應(yīng)快慢存在差異等。
設(shè)計(jì)算法時(shí),要先設(shè)定最大時(shí)間差范圍,在此范圍內(nèi)搜索同步點(diǎn),確定各路間時(shí)間差。另外,在節(jié)目播出期間,需要對(duì)時(shí)間差進(jìn)行跟蹤檢測(cè)。
一致性比對(duì)基于技審系統(tǒng),這兩種產(chǎn)品在有些功能上存在互補(bǔ),在技術(shù)上存在共同之處。如果僅僅整合獨(dú)立功能,則系統(tǒng)中可能存在多種算法,導(dǎo)致對(duì)圖像進(jìn)行多次特征提取,增加計(jì)算量,這樣會(huì)降低系統(tǒng)工作效率,限制產(chǎn)品檢測(cè)容量。
本文分析了電視臺(tái)播出系統(tǒng)中鏈路間信號(hào)差異的原因,并分析幾種判斷圖像相似性的方法。在保證正確率的前提下,以算法的復(fù)雜性和運(yùn)算量最低為原則,算法需要基于圖像特征值,實(shí)現(xiàn)3路信號(hào)快速循環(huán)比對(duì)。通過原理分析和實(shí)踐測(cè)試,最終選擇塊均值哈希比對(duì)算法作為一致性比對(duì)的主要算法。
峰值信噪比(Peak Signal-to-Noise Ratio,PSNR) 是信號(hào)最大可能功率和破壞性噪聲功率的比值。該指標(biāo)廣泛應(yīng)用于圖像質(zhì)量評(píng)估,特別是對(duì)壓縮算法質(zhì)量的評(píng)估。PSNR的值可以理解為原始圖像和壓縮后圖像間數(shù)值變化占原始圖像最大值的比例,即通過計(jì)算兩幅圖像間功率差異占原始圖像功率的比例,反映兩幅圖像之間的一致性。計(jì)算方法采用原始圖像和對(duì)比圖像的均方誤差作為噪聲功率,原始圖像的峰值功率為信號(hào)最大可能功率[2]。
若給定對(duì)比原始圖像I和對(duì)比圖像K,均方誤差定義為:
式中:I(i,j)和K(i,j)是圖像I和K在i行j列的像素?cái)?shù)值,取原始圖像為真實(shí)值;MSE是對(duì)比圖像與真實(shí)值間的均方誤差。
PSNR定義為:
式中:MAXI是圖像為原始圖像可能的最大值,如果數(shù)值由8位二進(jìn)制來表示,MAXI為255。為閱讀方便,PSNR取MAXI2和MSE比值的對(duì)數(shù)。
PSNR簡(jiǎn)單地利用圖像間的差值作為判斷的依據(jù),在驗(yàn)證編碼造成的損耗方面有非常重要的參考價(jià)值。然而,將PSNR應(yīng)用到一致性比對(duì)有兩個(gè)明顯的缺陷。第一,對(duì)圖像之間的像素進(jìn)行直接比較,即遍歷比對(duì)圖像所有像素,其計(jì)算過程不能利用以往的知識(shí),對(duì)算法優(yōu)化不利。如果把該指標(biāo)應(yīng)用到一致性比對(duì),在進(jìn)行多路信號(hào)比較和時(shí)差信號(hào)比較時(shí),將使計(jì)算量快速增長(zhǎng),其中,多路間比較時(shí)間復(fù)雜度為O(Cn2),時(shí)差信號(hào)間比較時(shí)間復(fù)雜度為O(W2)。第二,比較效果并不理想,數(shù)值偏差與人的主觀感覺有時(shí)會(huì)存在不一致。例如,局部?jī)?nèi)容有差別的圖像的PSNR可能大于有平移的圖像的PSNR,這與觀眾的認(rèn)知完全相反。其原因在于PSNR并未考慮到圖像的結(jié)構(gòu)信息。為此,人們提出了更接近于主觀評(píng)價(jià)的結(jié)構(gòu)相似性(Structural SIMilarity,SSIM)指標(biāo)。
SSIM模型研究可視化場(chǎng)景中物體結(jié)構(gòu)的重要信息,而不是基于數(shù)值偏差[3]。相對(duì)于PSNR,SSIM是更接近主觀評(píng)測(cè)圖像質(zhì)量的方法。SSIM的原理是從人類視覺感知角度提取圖像結(jié)構(gòu)信息,用來判斷圖像的相似性和質(zhì)量。SSIM的重要改進(jìn)是對(duì)比圖像塊的3種統(tǒng)計(jì)特征,即亮度(均值)、對(duì)比度(方差)及結(jié)構(gòu)(協(xié)方差)信息,其計(jì)算方法如下。
(1)亮度測(cè)量。使用平均亮度來評(píng)估,設(shè)單一像素亮度為xi,則圖像x的平均亮度為:
可定義圖像x,y的亮度對(duì)比函數(shù)l(x,y)=,式中C1為常量,避免除零。
(2)對(duì)比度測(cè)量。設(shè)圖像x的亮度標(biāo)準(zhǔn)差為:
可定義圖像x,y對(duì)比度對(duì)比函數(shù)c(x,y)=,式中C2為常量,避免除零。。
在此步計(jì)算過程中,去除了平均亮度值??梢?,SSIM認(rèn)為圖像整體亮度改變不影響圖像的相似性。
(3)結(jié)構(gòu)測(cè)量。設(shè)兩個(gè)圖像x,y的亮度協(xié)方差為:
最終,3個(gè)對(duì)比模塊組合成一個(gè)完整的相似測(cè)量函數(shù):
α、β、γ為各因子的權(quán)重系數(shù),針對(duì)不同應(yīng)用可適度調(diào)整。為方便討論,取α、β、γ為1,且 ,兩幅圖像間結(jié)構(gòu)相似性可簡(jiǎn)化為:
由于圖像的統(tǒng)計(jì)特征在空間上很不穩(wěn)定,因此該算法在實(shí)際應(yīng)用中通常采用索引圖,用不同圖組的加權(quán)平均值計(jì)算最終值MSSIM。進(jìn)一步地,可以對(duì)圖像中不同的分割區(qū)域賦予不同的權(quán)重。
由以上計(jì)算過程可知,在結(jié)構(gòu)測(cè)量階段,SSIM仍然是基于不同圖像間像素對(duì)比,因此和PSNR一樣,存在多路間比較和時(shí)差信號(hào)間比較時(shí)的復(fù)雜度快速上升問題,不利于算法優(yōu)化。SSIM由3個(gè)因素決定,最終結(jié)果變化范圍大,會(huì)影響到判定閾值的選定。另外,SSIM在處理平移圖像時(shí)會(huì)得到較小值,易判定為圖像不一致,尤其是對(duì)比度比較大的圖像。
一致性比對(duì)的本質(zhì)是查詢?nèi)忠曈X相似。圖片像素值數(shù)據(jù)的差異不應(yīng)該影響判斷結(jié)果。此類圖片相似性可以使用圖片的全局特征或圖片哈希算法來解決。
圖像哈希算法的相關(guān)算法眾多,它們?cè)诠δ?、?fù)雜度及應(yīng)用場(chǎng)景等方面等具有較大差異,但是這些算法均圍繞著魯棒性和區(qū)分性這兩個(gè)核心特性進(jìn)行調(diào)整和改進(jìn)。具有高魯棒性的算法會(huì)將具有較大差異的圖片判斷為一致。在圖像識(shí)別領(lǐng)域,希望圖像特征能夠?qū)s放、平移、有損壓縮、全局色調(diào)變換甚至輕度旋轉(zhuǎn)都具有較強(qiáng)的魯棒性,即這些操作都對(duì)圖片特征值基本沒有影響。區(qū)分性是對(duì)圖片分辨能力的要求,例如,對(duì)兩張圖片中文字內(nèi)容的差異和色彩不一致等的分辨能力。
圖像哈希算法應(yīng)用于靈活多變的場(chǎng)景,當(dāng)前并沒有最好的算法,只有在特定應(yīng)用場(chǎng)景最合適的算法。從前提條件分析可知,面向電視臺(tái)自動(dòng)播出的一致性比對(duì)需要算法具有縮放和平移等魯棒性,并且在其他方面的魯棒性和區(qū)分性可以有靈活的要求。塊均值算法滿足以上兩項(xiàng)基本要求。
塊均值算法有多種不同實(shí)現(xiàn)方法,其中基礎(chǔ)的算法步驟如下。
(1)選擇特征值長(zhǎng)度N,如N=256,即特征值為256位,將圖像劃分成l1,l2,…,lN共N個(gè)塊。特征值越長(zhǎng),圖像劃分的粒度越細(xì),對(duì)區(qū)部的變化也越敏感。
(2)計(jì)算每個(gè)塊中所有像素亮度均值,記為{M1,M2,…,MN},并取Md為此均值隊(duì)列的中值。
(3)歸一化上述均值隊(duì)列為二進(jìn)制形式,其中各位值由此公式計(jì)算:
該算法從整體圖像提取特征,符合人類對(duì)圖像的感知,同時(shí)也能夠捕獲局部的顯著差異。將該算法應(yīng)用于播出系統(tǒng)一致性比對(duì)取得了良好的效果。另外,此算法的特征值簡(jiǎn)單,適合多路、時(shí)間差序列比對(duì)的場(chǎng)景,計(jì)算復(fù)雜度較低,在目前主流的計(jì)算平臺(tái)上可以實(shí)時(shí)處理。
本文分析了播控系統(tǒng)出現(xiàn)故障的原因,介紹了內(nèi)容一致性檢測(cè)的關(guān)鍵算法,從理論上分析PSNR和SSIM等算法的不足,得出以像素比較為基礎(chǔ)的算法不適合電視臺(tái)播出系統(tǒng)比對(duì)的結(jié)論。塊均值算法計(jì)算量較低,可適應(yīng)縮放和一定范圍的平移,以此為基礎(chǔ)建立的一致性比對(duì)不僅能夠滿足電視臺(tái)播出系統(tǒng)需求,而且算法簡(jiǎn)潔、運(yùn)行高效。本產(chǎn)品已經(jīng)用于播出信號(hào)監(jiān)測(cè)系統(tǒng),可以利用比對(duì)結(jié)果進(jìn)行自動(dòng)化倒換工作,提高了播出安全的保障能力。