張 赟，練益群

（浙江傳媒學院 浙江廣播電視技術(shù)研究所，浙江 杭州 310018）

多路高標清電視信號安全監(jiān)測技術(shù)研究與實現(xiàn)

張 赟，練益群

（浙江傳媒學院 浙江廣播電視技術(shù)研究所，浙江 杭州 310018）

提出了多路高標清電視信號安全監(jiān)測的關(guān)鍵技術(shù)。該方法以多路高標清數(shù)字電視信號為輸入，能夠?qū)崟r采集并處理視音頻信號，自動檢測多路信號的精確延時、內(nèi)容一致性和缺陷。提出了高效的視音頻匹配和分析算法，并開發(fā)了軟件系統(tǒng)實現(xiàn)多路高標清電視信號的安全監(jiān)測。實驗表明，該系統(tǒng)能大大提高電視臺多路傳輸監(jiān)測的自動化程度、監(jiān)測精度和生產(chǎn)效率，降低成本，避免人工方式下可能發(fā)生的錯檢和漏檢，具有廣泛的應用前景和良好的社會效益。

高標清電視；安全監(jiān)測；延時；一致性

無論是傳統(tǒng)廣播電視還是網(wǎng)絡(luò)新媒體，電視信號監(jiān)測技術(shù)是保障安全播出的一種基本手段。從監(jiān)測方式來看，主要分為人工監(jiān)測和自動監(jiān)測。隨著各級電視臺頻道規(guī)模的擴張，用戶收看節(jié)目方式的多樣化，網(wǎng)絡(luò)、軟硬件等技術(shù)的發(fā)展，視頻信號監(jiān)測所包含的內(nèi)容越來越廣泛，工作量越來越大，對安全監(jiān)測的要求也越來越高，從而導致這項任務(wù)所面臨的挑戰(zhàn)日益嚴峻。在新形勢下，迫切需要開發(fā)出新一代的自動監(jiān)測系統(tǒng)，采用計算機視音頻處理技術(shù)實現(xiàn)自動監(jiān)測，替代繁雜的人工監(jiān)測，提高監(jiān)測效率和準確性。

1 多路電視信號安全監(jiān)測系統(tǒng)設(shè)計

1.1 系統(tǒng)總體設(shè)計

多路高標清電視信號安全監(jiān)測系統(tǒng)流程如圖1所示。

圖1 多路電視信號安全監(jiān)測系統(tǒng)流程圖

1）多路信號采集：通過視頻采集卡將多路數(shù)字電視的SDI信號采集到PC機中；

2）信號延時配準：通過分析和匹配多路電視信號的視音頻內(nèi)容，確定其精確延時；

3）信號一致性檢測：根據(jù)多路信號的延時量，確定多路信號比較的時間偏移，實現(xiàn)多路視音頻內(nèi)容的一致性比較；

4）視頻缺陷檢測：對多路信號的視頻內(nèi)容進行分析，實時檢測出缺陷，如彩條、黑場、彩幀等；

5）報警和日志系統(tǒng)：根據(jù)信號一致性和缺陷檢測的結(jié)果，對異常情況報警并記錄到日志系統(tǒng)中。

1.2 信號延時配準

在電視信號傳輸過程中，由于傳輸介質(zhì)、具體線路的不同，會造成多路電視信號在時間上的不同步。如圖2所示，主備2路信號的內(nèi)容一致，但是存在一定延時，此時若直接進行多路信號比較會造成2路信號完全不一致的結(jié)果。為了準確檢測出多路信號的內(nèi)容一致性，需要對其進行時間配準。一般說來，視頻和音頻的延時需要分別處理，因為兩者不完全同步。視頻以幀為單位，而音頻以采樣點為單位，例如采樣頻率為96 kHz的音頻信號每幀有3 840個采樣點。此時2路音頻信號在幀內(nèi)即使僅相差1個采樣點，都會造成2路音頻比較的不一致，所以音頻配準要求更加精確。

圖2 主備兩路電視信號延時配準示意圖

主備兩路信號（S1，S2）延時配準的算法描述（偽代碼）如下：

輸入：兩路SDI接口的視音頻信號S1，S2

輸出：兩路信號的視頻延時Tv、音頻延時Ta

初始化：Tv=-Tmax,Ta=-Tmax*M

重復：Diffv=VideoCompare(S1(t+Tv),S2),Tv++

Diffa=AudioCompare(S1(t+Ta),S2),Ta++

直到：(Diffv＜σv且Tv＜Tmax)或(Diffa＜σa且Ta＜Tmax*M)若以上條件不滿足則配準失敗，則 Tv=Ta=0

其中輸入是2路SDI接口的視音頻信號，輸出是視頻和音頻的延時量。算法的主要思想如下：在t時刻S2的視音頻數(shù)據(jù)與另一路信號S1在t時刻前后一段時間（通常5～10幀）的視音頻數(shù)據(jù)進行匹配，若匹配成功，則輸出當前視音頻信號的時間偏移Tv，Ta。對于兩路視頻信號配準，每次只需要進行幀間偏移；而對于音頻配準，由于音頻數(shù)據(jù)以采樣點為單位，因此需要對2路音頻數(shù)據(jù)同時進行幀間和幀內(nèi)偏移（M= 3 840個采樣點）。為了實現(xiàn)高效的音頻數(shù)據(jù)匹配，本文采用基于KMP的模式匹配算法[1]來減少不必要的幀內(nèi)偏移，從而提高效率。

1.3 信號一致性檢測

多路電視信號的一致性檢測是電視節(jié)目安全播出的重要技術(shù)，在實際的播出過程中，經(jīng)常會出現(xiàn)由于人為誤操作和惡意破壞而造成的多路信號不一致，如臺標和字幕篡改、拉道、黑線等故障，此時需要及時發(fā)現(xiàn)并處理，從而確保節(jié)目的安全播出。如圖2所示，經(jīng)過延時配準的多路信號，將在一定偏移的基礎(chǔ)上進行匹配。

視頻匹配：與其他圖像匹配不同，如SIFT特征[2]匹配，其目標是匹配2幅圖像中尺度、旋轉(zhuǎn)不變的特征，從而計算其相似性，本文的目標是檢測2路視頻畫面是否完全一致。信號一致性檢測要求視頻匹配必須在一幀時間（1/25 s）內(nèi)完成，而每幀視頻畫面的數(shù)據(jù)量巨大（尤其是高清電視），這就要求算法滿足高效性和實時性。如圖3所示，首先對當前2路視頻畫面進行灰度化，然后算出2幅圖像的差分，并進行自適應閾值的二值化[3]，最后通過對差分圖像的分析來判斷一致性。圖4給出了不同情況下2路視頻畫面的差分結(jié)果，圖4a中的差異點是散亂分布的，而圖4b表示2路畫面的差異點集中于左上角的字符“浙江”。一般說來，圖4a所表示的差異是人眼難以識別的，而圖4b的差異是顯著的，但是左右圖上差異點的數(shù)量差別并不大，因此僅憑差異點數(shù)目的統(tǒng)計難以判定畫面一致性。為了讓系統(tǒng)具有容錯性，首先對二值化后的差分圖像進行腐蝕操作，去除散亂分布的差異點；然后對二值圖像中的白色像素分別進行水平和垂直投影。如圖4c所示，最后通過分析水平、垂直投影的結(jié)果得到差異分布的重要性區(qū)域，并計算出該區(qū)域內(nèi)差異點所占的比例r（r=差異點的個數(shù)/總的像素個數(shù)）。本文設(shè)定了閾值σ1=0.02，此時若r＞σ1，則表示2路視頻畫面不一致。本文提出的方法能夠檢測2路視頻畫面中的非顯著性差異，避免惡意的文字注入、臺標替換等。為了提高算法效率，本文首先對重要區(qū)域進行一致性判斷，如左右角、上下邊緣等。

圖4 2路視頻畫面差分結(jié)果分析

音頻匹配：與視頻信號相比，音頻信號是一維的，因此音頻匹配的計算量大大減少。如式（1）所示，通過幀內(nèi)所有采樣點的平均距離來度量2路音頻的相似性。設(shè)定閾值σ2=-15，若sim(S1,S2)＞σ2，則表明2路音頻內(nèi)容相似。為了提高音頻匹配的穩(wěn)定性，本文對連續(xù)10幀音頻數(shù)據(jù)進行匹配，若一半以上的音頻幀匹配為相似，則說明2路音頻內(nèi)容一致。

1.4 信號缺陷檢測

本文在信號一致性檢測在基礎(chǔ)上，進一步研究了視頻缺陷檢測，如彩條、黑幀、彩色幀等[4]，并提出了簡單高效的解決方案。

1）彩條檢測

彩條是電視播出中經(jīng)常出現(xiàn)的現(xiàn)象，一般說來，彩條是電視節(jié)目中的標準信號，其畫面由8種不同顏色的彩條依次拼接而成?；陬伾钠ヅ涫亲钪庇^的方式，但是由于信號的采集和傳輸會帶來顏色偏移和形狀拉伸等變化，因而容易造成彩條的誤檢。一般說來，彩條圖像具有簡單、清晰的邊緣，本文提出了基于邊緣檢測的方法來提高檢測的穩(wěn)定性和準確性。如圖5所示，首先將采集到的彩條圖像進行灰度化，然后進行邊緣檢測，最后通過分析邊緣檢測的結(jié)果來判定是否為彩條。本文的信號檢測要求很高的實時性，而邊緣檢測的時間消耗較大，為了提高效率，本文僅截取部分彩條進行邊緣檢測。由于Canny算子[5-7]具有定位準確、信噪比高等優(yōu)勢，本文采用自適應的Canny算子準確高效地檢測彩條邊緣，如圖5所示，彩條圖像的7條直線邊緣都準確地檢測出來了。最后，對邊緣圖像進行連續(xù)多次行掃描（通常15～20次），若每次掃描都能交替檢測出7條直線，則說明當前畫面為彩條。

圖5 彩條檢測的算法示意圖

2）黑場和彩色幀檢測

黑場和彩色幀即顏色均一的圖像，如圖6a所示?；陬伾y(tǒng)計的方法[8]雖然簡單，但是其穩(wěn)定性和實用性較差。為了準確、魯棒地判斷黑場及彩色幀，本文提出了基于梯度的方法。如圖7所示，首先對圖像進行灰度化并通過Sobel算子[3，6]計算出每個點的水平和垂直梯度，并對梯度進行中值濾波；然后分塊計算出濾波后的梯度均值，圖6c給出了分塊的方式，其中的小塊是臺標、標題等重要性區(qū)域；最后對每個分塊的均值進行閾值判斷，若不超出閾值則說明該幀是單色圖像，并進一步地通過單色圖像的平均顏色值來判斷黑場和彩色幀。本文提出的方法能夠處理多種特殊情況，如圖6b所示，此時圖像除了臺標其余部分顏色基本均一，通過以上處理，能夠準確判定出該圖像既不是黑場也不是彩色幀，從而有效地避免了誤報。

圖6 黑場和彩色幀示意圖

圖7 黑場和彩色幀檢測流程圖

2 實驗結(jié)果及分析

基于以上算法，本文開發(fā)了多路電視信號安全監(jiān)測軟件系統(tǒng)，主界面如圖8所示。該系統(tǒng)的主要功能是實時檢測主備2路高標清電視信號的一致性和缺陷。左上角是2路信號的視音頻格式，右上角是視音頻信號的正確性指示，中間是當前多路視頻內(nèi)容，下面分別是多路音頻的音柱、系統(tǒng)運行日志以及延時數(shù)值。軟件開始運行后，系統(tǒng)首先自動檢測當前2路信號的延時并配準，然后實時檢測2路視音頻的一致性和缺陷，當檢測到錯誤時，系統(tǒng)會進行音頻報警，將錯誤信息記錄到日志窗口和文件中，并實時保存不一致性圖像。如圖9所示，當2路視頻、音頻信號不一致時，系統(tǒng)能夠準確地報警并記錄當前錯誤。

本系統(tǒng)的運行環(huán)境如下：Intel（R）Core（TM）i3-4130 3.4 Gbyte，4 Gbyte RAM，2路輸入/出的SDI視頻采集卡。對于高清和標清數(shù)字電視信號，每幀視音頻數(shù)據(jù)的檢測計算時間分別為28 ms和17 ms，檢測準確率達到95%以上。本文開發(fā)的系統(tǒng)在浙江省廣電集團節(jié)目制作中心的高標清頻道進行了試用，結(jié)果表明系統(tǒng)操作簡單、運行高效、準確性高，能夠大大減輕勞動強度，提升電視信號監(jiān)測的自動化程度，具有廣泛的應用前景。

3 小結(jié)

本文提出了高效的視音頻匹配和分析方法用于多路高標清電視信號安全監(jiān)測，能夠?qū)崟r采集多路高標清電視信號，自動檢測多路信號的精確延時、內(nèi)容一致性和視頻缺陷。基于以上方法，本文開發(fā)了軟件系統(tǒng)實現(xiàn)多路高標清電視信號的安全監(jiān)測，該系統(tǒng)能夠大大提高電視臺多路傳輸監(jiān)測的自動化程度、監(jiān)測精度和生產(chǎn)效率，降低成本，有效地避免人工方式下可能發(fā)生的錯檢和漏檢，為媒體產(chǎn)業(yè)的現(xiàn)代化提供技術(shù)支撐。本文開發(fā)的系統(tǒng)已經(jīng)在浙江廣電集團的高標清播出部門進行了成功應用，具有廣泛的應用前景。

圖8 兩路高清電視信號安全監(jiān)測軟件系統(tǒng)主界面

圖9 2路高清電視信號監(jiān)測出錯界面（截圖）

筆者今后的工作重點是繼續(xù)深入研究高效的視音頻處理算法用于信號一致性比較和缺陷檢測，如馬賽克檢測、視音頻質(zhì)量檢測。更多難題有待研究，如視音頻特征提取與表示，視音頻處理算法的實時性等。

[1] 嚴蔚敏，吳偉明.數(shù)據(jù)結(jié)構(gòu)（C語言版）[M].北京：清華大學出版社，2013．

[2] LOWE D G.Distinctive image features from scale-invariant key?points[J].International Journal of Computer Vision，2004（2）：1-28.

[3] 岡薩雷斯.數(shù)字圖像處理[M].3版.阮秋琦，譯.北京：電子工業(yè)出版社，2011.

[4]孫水發(fā)，雷幫軍，劉軍清，等.基于OpenCV的數(shù)字視頻缺陷檢測快速算法[J].計算機工程與應用，2010，46（32）：144-146.

[5] CANNY J.A computational approach to edge detection[J].IEEE Trans.Pattern Analysis and Machine Intelligence，1986，8（6）：679-698.

[6] 龍清.基于Sobel和Canny算子的電視字幕檢測[J].電視技術(shù)，2011，35（13）：67-69.

[7] 陳世文，劉越暢.一種基于最小交叉熵的Canny邊緣檢測算法[J].電視技術(shù)，2013，37（1）：165-168.

[8]周鋒，魏蛟龍，鄭金福，等.電視信號中黑場與靜幀的監(jiān)測[J].有線電視技術(shù)，2005，29（16）：89-91.

Research and Implementation of Safety Monitoring for Multi-channel HD/SD TV Signals

ZHANG Yun,LIAN Yiqun
（Zhejiang Institute of Radio and TV Technology,Zhejiang University of Media and Communications,Hangzhou 310018,China）

Key techniques for safety monitoring of HD/SD TV signals is proposed.This method takes multi-channel HD/SD TV signals as input,automatically detects the delay,consistency and defects of multi-channel signals.Efficient algorithms for video match and analysis are proposed,and a software system for monitoring multi-channel HD/SD TV signalsisdeveloped.Experimentsshow thatthe system can greatly enhance the automation of multi-channel monitoring,accuracy and efficiency,reduce cost,avoid the faults of human beings,has promising applications and good social benefits.

HD/SD TV；safety monitoring；delay；consistency

TP391

A

10.16280/j.videoe.2015.04.007

2014-08-01

【本文獻信息】張赟，練益群.多路高標清電視信號安全監(jiān)測技術(shù)研究與實現(xiàn)[J].電視技術(shù)，2015，39（4）.

浙江省自然科學基金項目(LY14F020050)；浙江省科技計劃項目（2013C33072）；浙江廣播電視技術(shù)研究所2014年度科研項目（2014004）

張 赟（1984—），講師，主研視頻、圖像編輯與處理，計算機視覺；

練益群（1955—），女，教授，主研廣播電視技術(shù)、媒資管理。

責任編輯：閆雯雯