金 陽，程江華，任 通，庫錫樹

(國防科學(xué)技術(shù)大學(xué)電子科學(xué)與工程學(xué)院，湖南 長沙 410073)

電視視頻中的臺(tái)標(biāo)是對電視節(jié)目來源、類型等屬性的描述。通過臺(tái)標(biāo)自動(dòng)提取的方法，在數(shù)據(jù)量龐大的視頻文件庫或者實(shí)時(shí)視頻流中快速、準(zhǔn)確地實(shí)現(xiàn)臺(tái)標(biāo)的自動(dòng)定位和提取，能夠?yàn)橄嚓P(guān)的視頻自動(dòng)搜索、收錄、分析和檢索提供有效的技術(shù)支持。因此，能否有效檢測出視頻中的臺(tái)標(biāo)，對后續(xù)視頻臺(tái)標(biāo)識(shí)別和視頻分析具有前瞻性的意義。

當(dāng)前電視視頻中的臺(tái)標(biāo)檢測存在的難點(diǎn)主要有兩個(gè):一是電視視頻背景復(fù)雜，如光強(qiáng)變化大、內(nèi)容切換快等，使得電視臺(tái)標(biāo)在檢測過程中受背景的影響很大;二是電視視頻臺(tái)標(biāo)趨向半透明化，使用傳統(tǒng)的閾值分割、邊緣檢測技術(shù)很難提取出效果理想的臺(tái)標(biāo)圖像。一般臺(tái)標(biāo)檢測算法基于視頻幀灰度差，對不透明臺(tái)標(biāo)而言，檢測效果較好，但對于半透明臺(tái)標(biāo)，臺(tái)標(biāo)的檢測效果極易受到背景的干擾。Ozay等[1]提出一種基于平均時(shí)間邊界的臺(tái)標(biāo)檢測方法，能夠有效提取不透明和半透明臺(tái)標(biāo)，但對單獨(dú)臺(tái)標(biāo)圖形的獲取未作具體算法描述。Meisinger等[2]采用臺(tái)標(biāo)區(qū)域限定統(tǒng)計(jì)模型和場景替換的方法，得到較好的臺(tái)標(biāo)檢測結(jié)果，但是人為設(shè)置的參數(shù)偏多導(dǎo)致自動(dòng)化和通用性較差。Xiao等[3]提出了基于支持矢量機(jī)(SVM)的臺(tái)標(biāo)識(shí)別方法，能夠有效檢測并識(shí)別臺(tái)標(biāo)圖像，但其計(jì)算復(fù)雜，算法實(shí)時(shí)性較差。

筆者之前發(fā)表的一種基于二值圖角點(diǎn)匹配的臺(tái)標(biāo)識(shí)別方法[4]在臺(tái)標(biāo)的檢測這一步驟中存在不足，利用圖像幀間差分累加求平均的方法同樣也特別容易受到復(fù)雜背景變換等情況的干擾。本文針對當(dāng)前電視臺(tái)標(biāo)檢測過程中存在的問題，提出一種視頻幀加權(quán)的自動(dòng)臺(tái)標(biāo)檢測方法，該方法可有效解決復(fù)雜背景變化下和半透明臺(tái)標(biāo)檢測問題。

1 系統(tǒng)總體設(shè)計(jì)

本文系統(tǒng)流程圖如圖1所示。

圖1 系統(tǒng)流程圖

臺(tái)標(biāo)檢測分為3步驟:1)確定臺(tái)標(biāo)區(qū)域并利用視頻流背景加權(quán)更新方法，得到較好的含有臺(tái)標(biāo)的背景灰度圖像;2)利用Canny邊緣檢測算法，在穩(wěn)定的臺(tái)標(biāo)灰度圖像區(qū)域的基礎(chǔ)上，得到二值化臺(tái)標(biāo)輪廓;3)運(yùn)用簡化的分水嶺填充方法，對二值化臺(tái)標(biāo)輪廓進(jìn)行有效填充，得到單個(gè)純凈的臺(tái)標(biāo)圖像。

本文摒棄以往先提取視頻關(guān)鍵幀，然后處理關(guān)鍵幀的思路，提出直接對視頻流進(jìn)行處理的方法，利用視頻流不斷有視頻幀進(jìn)行實(shí)時(shí)數(shù)據(jù)更新的特點(diǎn)，采用基于視頻流背景加權(quán)更新方法，得到的臺(tái)標(biāo)區(qū)域圖像其背景具有較強(qiáng)的穩(wěn)定性，為后續(xù)臺(tái)標(biāo)圖像正確提取提供了保證。

系統(tǒng)設(shè)計(jì)的思想基礎(chǔ)基于以下兩點(diǎn)考慮:

1)復(fù)雜背景情況:為了使臺(tái)標(biāo)所在區(qū)域的圖像背景更加穩(wěn)定，必須要求盡量去除臺(tái)標(biāo)所在區(qū)域背景的更新或者瞬間強(qiáng)光照等對臺(tái)標(biāo)圖像的影響。采用視頻流加權(quán)處理方法能夠有效避免這些不利因素對臺(tái)標(biāo)圖像的干擾。

2)臺(tái)標(biāo)半透明情況:半透明臺(tái)標(biāo)圖像隨著視頻背景的更新，其像素點(diǎn)值不斷發(fā)生變化，即使背景變化不太明顯，也能導(dǎo)致臺(tái)標(biāo)圖像受到干擾。利用邊緣提取方法，直接提取臺(tái)標(biāo)圖像輪廓，能夠有效避免像素值隨背景變換發(fā)生改變。

2 臺(tái)標(biāo)檢測

2.1 視頻流加權(quán)背景更新分割

2.1.1 臺(tái)標(biāo)區(qū)域確定

根據(jù)先驗(yàn)常識(shí)，臺(tái)標(biāo)一般位于視頻圖像幀4個(gè)角落位置之一，如果直接對電視視頻圖像全圖進(jìn)行臺(tái)標(biāo)搜索，則計(jì)算量較大。本文采用通用的最優(yōu)區(qū)域規(guī)則(GSR)[5]進(jìn)行視頻圖像區(qū)域分塊。

依據(jù)GSR圖像分塊規(guī)則，將圖像按照水平和垂直方向3∶5∶3的比例進(jìn)行劃分，分塊結(jié)果如圖2a所示。

圖2 GSR圖像分塊模型

為便于處理，先將彩色視頻幀轉(zhuǎn)換為灰度圖，利用GSR圖像分塊規(guī)則，按照一定比例得到含有臺(tái)標(biāo)區(qū)域的灰度圖像如圖2b所示，從圖中可以看到，臺(tái)標(biāo)所在的位置為圖像的左上角區(qū)域，這樣直接利用先驗(yàn)知識(shí)結(jié)合一定的圖像分塊規(guī)則，得到包含臺(tái)標(biāo)圖像較精確的區(qū)域位置，為臺(tái)標(biāo)檢測和定位減少了計(jì)算量。

2.1.2 視頻流背景加權(quán)更新

傳統(tǒng)臺(tái)標(biāo)提取方法先根據(jù)一定的準(zhǔn)則確定視頻關(guān)鍵幀，然后對視頻關(guān)鍵幀進(jìn)行處理，這樣的處理方法對關(guān)鍵幀具有很強(qiáng)的依賴性，如果某一關(guān)鍵幀圖像質(zhì)量較差，或受背景干擾較大，勢必造成臺(tái)標(biāo)檢測困難。Ozay等[1]提出一種基于平均時(shí)間邊界的臺(tái)標(biāo)檢測方法，其實(shí)質(zhì)是對二值化臺(tái)標(biāo)輪廓進(jìn)行時(shí)間平均處理，故對每一幀的圖像所提取的輪廓質(zhì)量要求較高，換言之，如果有一幅圖像因?yàn)閺?qiáng)光或者強(qiáng)背景干擾導(dǎo)致提取出的臺(tái)標(biāo)輪廓質(zhì)量很差，那么將影響到最后臺(tái)標(biāo)輪廓的確定。

本文在背景更新部分的思想是:先進(jìn)行時(shí)間背景更新，再進(jìn)行臺(tái)標(biāo)輪廓提取。取n幀視頻幀作為一次處理單元(根據(jù)視頻流幀率，選擇人眼能夠觀測出變化的演示過程，大約2 s)，定義此處理單元的初始幀為f1，第i幀為fi，第一幀加權(quán)幀定義為F1，則第i幀加權(quán)幀可以定義為

式中:α取值為1/n，具體幀數(shù)選擇的原則是臺(tái)標(biāo)所在區(qū)域的背景一直更新到一次性處理單元所取得最后一幀視頻圖像為止，這樣就可以很好地避免因?yàn)樗矔r(shí)強(qiáng)光以及復(fù)雜背景的變換對臺(tái)標(biāo)圖像造成的干擾，背景更新效果如圖3所示，圖3a～3f分別為初始背景圖像以及不斷進(jìn)行背景加權(quán)更新后的圖像背景，可以看出，該方法能夠有效消除視頻中復(fù)雜背景的干擾以及瞬時(shí)強(qiáng)光照射等問題。

圖3 視頻流加權(quán)背景更新

2.2 臺(tái)標(biāo)的邊緣檢測和輪廓提取

2.2.1 臺(tái)標(biāo)邊緣檢測

邊緣檢測普遍采用的方法有:Prewitt，LoG，Canny和Sobel等算子。2.1節(jié)視頻幀加權(quán)背景處理后的臺(tái)標(biāo)區(qū)域圖像，受復(fù)雜背景影響小，利用Canny邊緣檢測算法[6]，能夠得到比較好的邊緣效果。其一般步驟為:

1)圖像使用高斯平滑濾波器，減少噪聲的干擾;

3)對檢測到的各個(gè)像素點(diǎn)進(jìn)行梯度幅值非極大值抑制;

4)利用兩個(gè)閾值T1和T2進(jìn)行閾值處理實(shí)現(xiàn)線檢測以及邊緣連接。

2.2.2 輪廓提取

Canny算法最重要的特點(diǎn)是其試圖將獨(dú)立邊緣的候選像素點(diǎn)并入邊緣，進(jìn)行拼接形成輪廓。輪廓的形成需要用到上限和下限兩個(gè)閾值，上限決定強(qiáng)邊緣像素點(diǎn)，即直接歸類為邊緣像素點(diǎn)，下限決定弱邊緣像素點(diǎn)，即直接歸類為非邊緣像素點(diǎn)，如果像素點(diǎn)梯度幅值介于上下限之間，則稱其為亞像素邊緣點(diǎn)，當(dāng)其所在的像素點(diǎn)位置處于強(qiáng)像素點(diǎn)定義的連接區(qū)域內(nèi)，即符合人為程序設(shè)定的“連接點(diǎn)”要求時(shí)，此像素點(diǎn)被歸類為邊緣點(diǎn)，并與強(qiáng)邊緣像素點(diǎn)進(jìn)行連接。

影響Canny算法亞像素邊緣點(diǎn)連接的因素有兩個(gè):一是上下限的比值，Canny所建議運(yùn)用的上下限有一定的比值關(guān)系，上下限的閾值比最好介于2∶1和3∶1之間;二是上下限的具體取值問題。

針對這兩個(gè)問題，在程序設(shè)計(jì)中，為盡量減少人為因素對實(shí)驗(yàn)結(jié)果產(chǎn)生的影響，只設(shè)置唯一一個(gè)人為控制變量，即確定Canny上下限具體數(shù)值的手動(dòng)滑條，可以更加直觀地看到在不同取值時(shí)獲得的臺(tái)標(biāo)輪廓效果，同時(shí)可以調(diào)節(jié)上下限取值，使輪廓效果達(dá)到最好。不同的上下限取值所獲得的臺(tái)標(biāo)輪廓圖像如圖4所示，實(shí)驗(yàn)設(shè)定的參數(shù)如表1所示。

實(shí)驗(yàn)所用的圖像幀均為視頻圖像初始幀。由實(shí)驗(yàn)結(jié)果可以清楚地看到，只要在2∶1和3∶1之間，上下限取值比相差不太懸殊，其輪廓的效果相差不多，而對于上下限的具體取值則可以清楚地反映出具體邊緣提取的好壞程度。

2.3 簡化的分水嶺臺(tái)標(biāo)填充方法

圖4 臺(tái)標(biāo)邊緣檢測及輪廓提取

表1 實(shí)驗(yàn)參數(shù)取值表

基于形態(tài)學(xué)分水嶺分割算法[6]的主要思想是水壩的構(gòu)造，水壩的構(gòu)造是由所設(shè)置好的在這條路徑上的點(diǎn)的值為比圖像中灰度級的最大值還要大的值來完成，所有水壩的高度通常設(shè)定為1加上圖像中灰度級最大允許值。主要方法是將灰度圖像看成地形圖，每一個(gè)像素點(diǎn)的灰度值看成所在點(diǎn)地形的高度，通過不斷地在局部極小值點(diǎn)(低洼地)處加水，并且讓水以均勻的速率上升，從低到高淹沒整個(gè)地形，直到達(dá)到水位的最大值，最后剩下的部分對應(yīng)于分水線，此分水線即為分割結(jié)果，水壩的構(gòu)造就是建立在此分水線基礎(chǔ)上的。

這種形態(tài)學(xué)的分水嶺分割算法是已知圖像的某些極小值點(diǎn)，然后通過程序設(shè)定的連通規(guī)則，將屬于某一極小值所在的“盆地”進(jìn)行“注水”填充處理，最后得到分水線，在分水線的基礎(chǔ)上構(gòu)造水壩，其過程如圖5a所示。

實(shí)現(xiàn)簡化的分水嶺臺(tái)標(biāo)區(qū)域填充方法，其過程剛好和分水嶺分割算法相反，如圖5b所示，通過2.2節(jié)臺(tái)標(biāo)圖像輪廓的提取，得到了已知的水壩，現(xiàn)在的任務(wù)是要在被水壩包圍的一個(gè)連通域內(nèi)進(jìn)行“注水”處理，而被水壩孤立和水壩以外的區(qū)域不進(jìn)行“注水”處理，使得被水壩包圍的區(qū)域的水面上升至和水壩一樣的高度，那么這個(gè)被水壩包圍區(qū)域的上升后的水面，再加上水壩，就共同構(gòu)成了所需的臺(tái)標(biāo)圖像區(qū)域。水壩所形成的各個(gè)區(qū)域劃分的二維視圖如圖6a所示，A，B，C三處分別表示水壩以外的區(qū)域，被水壩孤立的區(qū)域以及水壩包圍的區(qū)域;其三維視圖如圖6b所示。

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)的條件為Visual C++6.0版本仿真軟件，MATLAB 7.0軟件版本，所用到的視頻文件為湖南衛(wèi)視某一期跨年演唱會(huì)節(jié)目視頻。

臺(tái)標(biāo)檢測的各個(gè)過程主要演示過程如圖7所示，本文的目的就是要得到只包含有單一純凈的灰度臺(tái)標(biāo)圖像，通過簡化的分水嶺臺(tái)標(biāo)填充方法可以獲得如圖7d所示填充后的臺(tái)標(biāo)圖像，通過圖7d中填充的相應(yīng)區(qū)域，在原始的視頻流灰度圖像中，通過對應(yīng)的像素點(diǎn)值，就能夠直接提取出純凈的灰度臺(tái)標(biāo)圖像，如圖7e所示。

圖7 臺(tái)標(biāo)檢測各個(gè)過程的主要演示圖片

實(shí)驗(yàn)過程中，直接對視頻文件進(jìn)行處理，能夠完全實(shí)現(xiàn)臺(tái)標(biāo)的自動(dòng)檢測，唯一人工控制進(jìn)行干預(yù)的變量就是在臺(tái)標(biāo)邊緣檢測時(shí)，設(shè)置Canny算子上下限取值。由實(shí)驗(yàn)結(jié)果可知:在背景更新部分，能夠較好地得到加權(quán)背景圖像，去除復(fù)雜背景以及瞬時(shí)強(qiáng)光的干擾等因素的影響;在臺(tái)標(biāo)邊緣檢測部分，充分利用Canny算子利用上下限雙閾值的方法，加入人工控制等因素，能夠有效地提取出連續(xù)的臺(tái)標(biāo)邊緣;在簡化分水嶺臺(tái)標(biāo)圖像填充部分，利用臺(tái)標(biāo)本身的連通性結(jié)合水壩分割等原理，得到較好的臺(tái)標(biāo)填充圖像;最后從原始視頻幀中提取出純凈的灰度臺(tái)標(biāo)圖像。

4 小結(jié)

復(fù)雜的背景變化及半透明化趨勢，使得電視臺(tái)標(biāo)的的檢測變得困難。本文提出基于視頻幀加權(quán)背景處理的臺(tái)標(biāo)檢測方法，能夠?qū)崿F(xiàn)臺(tái)標(biāo)圖像在抗復(fù)雜背景干擾及半透明情況下，均具有較強(qiáng)的穩(wěn)定性，同時(shí)結(jié)合有效邊緣檢測算法，得到臺(tái)標(biāo)輪廓，在簡化分水嶺填充方法基礎(chǔ)上實(shí)現(xiàn)了臺(tái)標(biāo)圖像的填充。實(shí)驗(yàn)結(jié)果表明，提出的算法能夠有效提取出復(fù)雜背景下半透明的電視臺(tái)標(biāo)，為后續(xù)臺(tái)標(biāo)匹配和識(shí)別奠定了技術(shù)基礎(chǔ)。

[1]OZAY N，SANKUR B.Automatic TV logo detection and classification in broadcast videos[C]//Proc.17th European Signal Processing Conference.Glasgow Scotland:EURASIP，2009:839－843.

[2]MEISINGER K，TROEGER T，ZELLER M，et al.Automatic TV logo removal using statistical basedlogo detection and frequency selective inpainting[C]//Proc.European Signal Processing Conference，2005.[S.l.]:EURASIP，2005.

[3]XIAO G，DONG Y，LIU Z，et al.Supervised TV logo detection based on SVMS[C]//Proc.2nd IEEE International Conference on Network Infra-structure and Digital Content.[S.l.]:IEEE Press，2010:174－178.

[4]金陽，程江華，任通，等.一種基于二值圖角點(diǎn)匹配的臺(tái)標(biāo)識(shí)別方法[J].電視技術(shù)，2012，36(17):15－19.

[5]EKIN A，BRASPENNING R.Spatial detection of TV channel logos as outliers from the content[C]//Proc.Visual Communication and Image Processing，2006.[S.l.]:SPIE，2006.

[6]岡薩雷斯.數(shù)字圖像處理:MATLAB版[M].阮秋琦，阮宇智，譯.2版.北京:電子工業(yè)出版社，2005:293.