楊 哲，史 萍

(中國傳媒大學信息工程學院，北京100024)

責任編輯:任健男

新聞視頻是一類特殊的視頻類型，具有形象直觀、信息量大的特點，在信息傳播中起著非常重要的作用，隨著多媒體技術(shù)和網(wǎng)絡技術(shù)的發(fā)展，新聞視頻的應用越來越廣泛，新聞視頻分析及處理技術(shù)也成為了一個新的研究熱點。

作為新聞視頻的一個重要特征之一，標題條在新聞視頻研究中占有重要地位。首先，在新聞視頻中，標題條往往與其出現(xiàn)的新聞故事條目具有一一對應性，因此在新聞視頻分析中可以將標題條視為拆分新聞條目的重要依據(jù)之一。其次，標題條中的文字內(nèi)容能簡練且準確地代表當前新聞故事條目的主要內(nèi)容，可以作為新聞條目的內(nèi)容索引。因此，對標題條的檢測和標題文字識別已經(jīng)成為新聞視頻分析中一個不容忽視的方面。

目前，國內(nèi)外許多學者對這個問題進行了大量研究和探索［1－6］。文獻［1］利用視頻幀文字區(qū)域存在大量有序角點(Corner Points)的特點來篩選出存在文字的視頻幀，然后利用形態(tài)學將檢測到的角點進行融合，最終定位出標題文字區(qū)域。文獻［2］每隔15幀抽取1個樣本幀，利用一種稱為MIL(Multiple－Instance Learning)的模式學習機制來篩選含有標題文字的視頻幀。文獻［3］利用視頻幀序列的時間冗余信息大大加快了計算速度。文獻［4］提供了一種基于空間和時間特征的標題條檢測算法，首先檢測鏡頭邊界，然后在鏡頭邊界序列中定位出標題區(qū)域。文獻［5］利用梯度特征和一個多層前饋網(wǎng)絡作為過濾器來檢測標題區(qū)域。文獻［6］通過離散余弦變換(DCT)在頻域中檢測標題條候選區(qū)域，然后通過支持向量機(SVM)過濾器最終決定候選區(qū)域中的文字部分。

本文在對各類的電視新聞節(jié)目進行大量觀察、統(tǒng)計的基礎上，提出了一種適應性較強的標題條檢測算法，即基于顏色和邊緣特征的標題條檢測法。算法利用顏色和邊緣特征檢測出新聞視頻中含有標題條的視頻幀，并由先驗知識得出標題條幀中的字幕區(qū)域，對字幕區(qū)域進行預處理和光學字符識別(OCR)后得到文字內(nèi)容。本文以中央電視臺《新聞聯(lián)播》為實驗樣本，對所提出的算法進行了實驗，實驗結(jié)果令人滿意。

1 基于顏色和邊緣特征的新聞視頻標題條檢測

1.1 新聞視頻標題條特征分析

通過反復觀察不同電視臺的大量的新聞視頻，發(fā)現(xiàn)大多數(shù)新聞視頻存在以下重要特征［7］:1)同一個新聞節(jié)目中，標題條在屏幕上的位置相對固定，一般在屏幕下方約1/3范圍內(nèi);2)標題條中字幕文字與背景顏色相差明顯，多為紅、藍、黃等醒目顏色，而背景多為不透明或者半透明純色;3)一般來說，在同一個新聞節(jié)目中，標題條內(nèi)的文字大小是相同的，字體多為宋體或黑體;4)標題條都為矩形;5)每個標題條出現(xiàn)的時間最短也要持續(xù)幾秒，因此檢測標題條時，不必逐幀查詢，每隔一段時間提取一幀即可，這樣可在很大程度上減少計算量;6)標題條的文字內(nèi)容通常是本段新聞內(nèi)容的高度概括。

1.2 標題條特征檢測算法

基于上一節(jié)對新聞視頻中標題條特征的分析，本文提出一種基于顏色和邊緣特征的標題條檢測算法。首先利用特征2即標題條背景與文字顏色相差明顯的顏色特征進行檢測，通過計算與字幕顏色相似的像素占目標區(qū)域的比例來初步檢測出含有標題條的新聞視頻幀。然后利用特征5即標題條都為矩形的特征對上述候選幀進行邊緣直線的再次檢測，最終檢測出標題條幀。具體流程如圖1所示。

圖1 標題條特征檢測算法流程圖

1.2.1 顏色特征檢測

顏色是一種使用廣泛的視覺特征［8］，在所有的視覺特征中，顏色或許是最基本、直觀，同時也是最富有表達力的特征。相對邊緣特征而言，顏色具有一定的穩(wěn)定性，對于圖像本身的平移、旋轉(zhuǎn)、尺度變化，甚至對各種形變都不敏感，表現(xiàn)出相當強的穩(wěn)健性。在很多情況下，顏色特征是描述一幅圖像最簡單有效的方法。

目前常用的顏色空間有YUV，RGB和HSV。YUV顏色空間廣泛應用于電視系統(tǒng)中，其中Y指亮度，也就是圖像的灰度值，而U和V則是指色調(diào)。RGB顏色空間廣泛應用于圖像顯示領(lǐng)域，其中R，G，B分別表示紅、綠、藍三原色。HSV顏色空間是基于知覺的顏色系統(tǒng)，其中H表示占主導的頻譜顏色的色調(diào)，S表示顏色飽和度，V表示亮度。

由于本文提出的算法是直接對像素的紅綠藍三原色進行處理，故選用RGB顏色空間進行顏色特征檢測。

由第1.1節(jié)新聞視頻標題條特征分析中的特征2可知，字幕文字顏色多選取紅、藍、黃等醒目顏色，且與背景顏色相差明顯?？紤]到特征1，設置視頻幀高度的下方1/3處，寬度為原視頻幀寬度作為目標區(qū)域Q(x，y)，通過在RGB顏色空間中檢測目標區(qū)域中與字幕文字顏色相似的像素占整個目標區(qū)域的比例來初步檢測標題條幀。算法具體過程如下:

1)自下而上、自左而右對目標區(qū)域Q(x，y)進行掃描，得到每個像素的RGB值;

2)利用像素的RGB值分別計算每個像素與字幕文字顏色的相似度，字幕文字顏色由先驗知識得到。當相似度大于某個閾值時，標記該像素為目標像素。同時統(tǒng)計目標像素的個數(shù)mCount;

3)完成目標區(qū)域Q(x，y)所有像素的掃描之后，若mCount值與目標區(qū)域總像素數(shù)的比值在預先設定的閾值范圍內(nèi)，則認為該幀為候選標題條幀。

圖2是經(jīng)顏色特征檢測出的候選幀示例。其中圖2a是正確檢測出的標題條幀，圖2b是誤檢出的標題條幀。經(jīng)過分析可知右圖目標區(qū)域Q(x，y)中有一部分背景為藍色，與要檢測的字體顏色相似，從而造成顏色比例與標題條類似，導致誤檢。這種誤檢幀可以通過下文介紹的邊緣特征檢測來剔除。

圖2 經(jīng)過顏色特征檢測的候選幀示例

1.2.2 邊緣特征檢測

邊緣特征是圖像的另一個基本特征。所謂邊緣是指周圍像素灰度有階躍變化或屋頂變化的那些像素的集合［9］。常用的邊緣檢測算子有Roberts，Sobel和 Prewitt算子等。

Roberts算子是一種微分算子，它通過計算相鄰對角像素之差來近似梯度幅值檢測邊緣，相比斜向和其他方向的邊緣，檢測水平和垂直邊緣的效果比較好，定位精度高，美中不足的是對噪聲敏感［10］。Sobel算子是一種離散差分算子，它根據(jù)像素點上下左右鄰點灰度加權(quán)差在邊緣處達到極值來檢測邊緣，在檢測邊緣點的同時具有抑制噪聲的能力，缺點是定位精度不夠高［11］。Prewitt算子也是利用像素點上下左右鄰點灰度差在邊緣處達到極值檢測邊緣。與Sobel算子相比，Prewitt算子對像素位置的影響沒有做加權(quán)，因此效果不如Sobel算子。

圖3是上述3種算子的比較圖。由于相比其他2個算子，Roberts算子檢測的邊緣比較清晰明了，雖然丟失了一些細小的邊緣信息，但對后文需要檢測的長線邊緣信息(即圖中的2條邊緣直線)則保留得較好。因此本文采用Roberts算子進行邊緣檢測。

圖3 Roberts算子、Prewitt算子和Sobel算子的效果圖

由圖2可以看出，經(jīng)過顏色特征檢測的候選幀中除了正確檢測到的標題幀外，還有顏色比例與標題條類似的誤檢幀?？紤]到第1.1節(jié)中的特征4，以及圖3中的邊緣檢測結(jié)果，可將水平邊緣直線作為在上述候選幀中剔除誤檢幀的依據(jù)。具體步驟如下:

1)將候選幀轉(zhuǎn)化為灰度圖像，選擇亮度公式進行轉(zhuǎn)化，公式為

式中:Y(x，y)為像素點 (x，y)的灰度值，R(x，y)，G(x，y)，B(x，y)為像素點 (x，y)的紅、綠、藍分量。

2)得到灰度圖后，采用Roberts算子對圖像進行邊緣檢測處理。

3)在具體檢測過程中，若檢測到某一水平位置連通像素個數(shù)大于某一預先設置的閾值，則說明該水平位置存在一條直線。

實驗表明，經(jīng)過邊緣特征檢測后，候選幀中的大多數(shù)誤檢幀都被剔除了。

1.3 字幕文字識別

在檢測出標題條幀后可通過先驗知識取出字幕區(qū)域，下一步便是對字幕文字進行識別。為提高文字識別的準確率，需要先對字幕區(qū)域進行預處理。預處理包括灰度化、插值放大、平滑濾波和二值化等處理。本文采用立方插值對字幕文字進行放大，采用高斯卷積進行平滑濾波，采用最大方差法進行二值化處理。圖4給出了預處理前后的字幕區(qū)域圖，其中圖4a為處理之前的字幕區(qū)域圖，圖4b為處理之后得到的二值化圖。由圖可見，經(jīng)過預處理后，字幕區(qū)域文字清晰，背景干凈。得到二值化圖后即可進行文字識別。本文利用微軟公司在Office2003中推出的鑲嵌在Microsoft Office Document Imaging工具中的OCR模塊進行文字識別。

圖4 預處理前后的字幕區(qū)域圖

2 結(jié)果分析

本文在實驗中采用查準率(Precision)和查全率(Recall)來檢驗算法的優(yōu)劣。查準率指返回的結(jié)果集中正確標題條幀的比率，用于測量系統(tǒng)排除無關(guān)圖像幀的能力。查全率指返回的結(jié)果中正確的標題條幀數(shù)占實際標題條幀數(shù)的比率，用于測量系統(tǒng)檢測相關(guān)圖像幀的能力。查全率和查準率越高，說明該檢測算法的效果越好。查準率P和查全率R可按下面的公式計算

式中:RA表示正確檢測出的標題條幀數(shù)，RB表示檢測出的非標題條幀數(shù)，RC表示漏檢的標題條幀數(shù)。

本文選擇2011年12月1日的30 min完整的中央電視臺新聞聯(lián)播節(jié)目對算法進行了測試，實驗結(jié)果如圖5所示。其中，用橫坐標表示該段視頻中出現(xiàn)不同內(nèi)容的標題條共計38次，縱坐標為視頻幀數(shù)。實驗中，共提取標題條幀893幀(圖5中的實際幀數(shù)之和)，檢測出標題條幀共852幀(圖5中的檢出幀數(shù)之和)，在檢出的852幀中，正確檢出標題條幀795幀(圖5中的正確幀數(shù)之和)，檢測出的非標題條幀57幀(圖5中的“錯檢幀數(shù)”之和)。漏檢的標題條幀98幀(圖5中的“漏檢幀數(shù)”之和)。查準率為93.3%，查全率為89.0%。

另外，統(tǒng)計可知該段視頻中出現(xiàn)字幕文字共計592個字符，OCR正確識別的字符數(shù)為563個，正確識別率可達95.1%。

3 結(jié)論

圖5 新聞聯(lián)播標題條幀檢測結(jié)果

通過觀察新聞節(jié)目發(fā)現(xiàn)，標題條幀中存在一些普遍的規(guī)律。本文在此基礎上提出了一種基于顏色和邊緣的自動檢測算法。算法首先通過計算與字幕文字顏色相似的像素占目標區(qū)域的比例來確定候選標題條幀，然后利用標題條區(qū)域的邊緣特征剔除候選幀中的誤檢幀，最終得到標題條幀。由于本算法將顏色特征和邊緣特征結(jié)合起來進行標題條幀檢測檢測，因而大大提高了算法的查準率。通過預處理和OCR識別的字幕文字由于具有對該段新聞內(nèi)容的高度概括性，可用于新聞視頻分析中對新聞單元添加摘要和索引，這對于進一步進行新聞視頻檢索具有重要意義。

［1］ ZHAO X，LIN K H，F(xiàn)U Y.Text from corners:a novel approach to detect text and caption in videos［J］.IEEE Signal Processing Society，2011，20(3):790－799.

［2］ LIU H B，ZHOU C J，SHEN J，et al.Video caption detection algorithm based on multiple instance learning［C］//Proc.2010 Fifth International Conference on Internet Computing for Science and Engineering.Harbin，China:［s.n.］，2010:20－24.

［3］ LYU M R，SONG J，CAI M.A comprehensive method for multilingual video text detection，localization，and extraction［J］.IEEE Trans.Circuits and Systems for Video Technology，2005，15(2):243－255.

［4］ TANG X，GAO X，LIU J，et al.A spatial－temporal approach for video caption detection and recognition［J］.IEEE Trans.Neural Networks，2012，13(4):961－971.

［5］ LIENHART R，WERNICKE A.Localizing and segmenting text in images and videos［J］.IEEE Trans.Circuits and Systems for Video Technology，2002，12(2):256－268.

［6］ LEE C C，CHIANG Y C，SHIH C Y，et al.Caption localization and detection for news videos using frequency analysis and wavelet features［C］//Proc.19th IEEE International Conference on Tools with Artificial Intelligence.Patras，Greece:［s.n.］，2007:539－542.

［7］李默，李弼程，蘇大偉.新聞視頻中標題條檢測及文字內(nèi)容提取算法［J］. 電視技術(shù)，2005，29(S1):147－149.

［8］樊瑞強.鏡頭切變檢測技術(shù)的研究［J］.中國科技博覽，2009(18):3.

［9］何俊峰.基于視覺原理的圖像邊緣檢測算子研究［D］.武漢:華中科技大學，2006.

［10］康牧，許慶功，王寶樹.一種Roberts自適應邊緣檢測方法［J］.西安交通大學學報，2008，42(10):1240－1244.

［11］袁春蘭，熊宗龍，周雪花，等.基于Sobel算子的圖像邊緣檢測研究［J］. 激光與紅外，2009，39(1):85－87.