金 陽，程江華，任 通，庫錫樹

(國防科技大學(xué)電子科學(xué)與工程學(xué)院，湖南 長沙 410073)

電視視頻中的臺標(biāo)包含了臺名、信號來源、節(jié)目類別等信息，可作為檢索、識別未知視頻的重要依據(jù)，在視頻信息導(dǎo)航、安全等領(lǐng)域應(yīng)用廣泛。在海量視頻庫中，臺標(biāo)可作為檢索工具，將視頻節(jié)目進(jìn)行分類;在視頻安全監(jiān)控中，臺標(biāo)可作為重要的特征，監(jiān)測播放內(nèi)容的合法性;在視頻轉(zhuǎn)播中，識別替換原始臺標(biāo)，避免出現(xiàn)兩個臺標(biāo)的情況［1］。研究臺標(biāo)自動識別的意義在于設(shè)計一種能夠在視頻序列中有效檢測、提取和識別臺標(biāo)的方法，提高電視視頻監(jiān)測效率，為后續(xù)的視頻分析、理解和檢索工作提供重要信息。

按照狀態(tài)的不同，臺標(biāo)可分為靜態(tài)和動態(tài)兩種，當(dāng)前絕大多數(shù)臺標(biāo)是靜態(tài)的。根據(jù)透明度不同，臺標(biāo)又分為不透明和半透明標(biāo)兩種［1］。針對靜態(tài)臺標(biāo)識別問題，Ozay等［2］提出一種基于平均時間邊界和支持矢量機(SVM)的臺標(biāo)識別方法，能夠有效提取不透明和半透明臺標(biāo)區(qū)域和實現(xiàn)臺標(biāo)的識別，但在單獨臺標(biāo)區(qū)域獲取以及描述的過程中計算復(fù)雜。楊強等［3］提出了臺標(biāo)區(qū)域分割及小波特征參數(shù)提取算法，并利用小波參數(shù)匹配實現(xiàn)臺標(biāo)識別，但存在準(zhǔn)確率不高的問題。史迎春等［4］采用HSV空間彩色直方圖方法對臺標(biāo)特征進(jìn)行描述，并采用知識庫輔助直方圖統(tǒng)計的方法進(jìn)行臺標(biāo)識別。該算法使用遍歷識別，隨著知識庫中臺標(biāo)數(shù)量的增加，計算效率會逐步下降，且對半透明臺標(biāo)識別效果不是很理想。

本文針對當(dāng)前占絕大多數(shù)的靜態(tài)臺標(biāo)識別和匹配存在的問題，如臺標(biāo)區(qū)域提取和描述復(fù)雜，實時臺標(biāo)圖像匹配準(zhǔn)確度不高等，提出一種基于二值圖像角點匹配的識別方法，該方法可有效解決不透明和半透明靜態(tài)臺標(biāo)的識別和匹配問題。

1 系統(tǒng)總體設(shè)計

本文提出的基于二值圖像角點匹配的臺標(biāo)識別方法的系統(tǒng)流程圖如圖1所示。

圖1 系統(tǒng)流程圖

具體的臺標(biāo)識別和匹配方法主要分成3個階段:在臺標(biāo)分割階段，運用二值化的視頻圖像差分累加和取平均分割的方法，獲得臺標(biāo)圖像區(qū)域;在臺標(biāo)圖像角點提取階段，充分利用Susan角點提取算法中不涉及梯度運算這一特性，在二值化的分割圖像上實現(xiàn)Susan角點提取方法;在臺標(biāo)圖像角點匹配階段，利用極坐標(biāo)域條件下，圖像角點對于灰度、對比度、旋轉(zhuǎn)、鏡像和尺度縮放等具有不變性的優(yōu)勢，結(jié)合角點對的匹配思想，綜合利用極坐標(biāo)和有效差值方法，對視頻圖像中的實時臺標(biāo)進(jìn)行匹配。

2 臺標(biāo)識別和匹配

2.1 關(guān)鍵幀提取和臺標(biāo)模板圖像分割

直接對電視視頻圖像全圖進(jìn)行臺標(biāo)搜索，計算量大，且復(fù)雜度高。根據(jù)先驗知識，目前絕大多數(shù)的電視臺標(biāo)位于圖像畫面的左上角或右上角區(qū)域，可以直接選取視頻圖像左上角或右上角長寬均為原始圖像四分之一大小的圖像區(qū)域作為待分割的區(qū)域，所以在對臺標(biāo)圖像進(jìn)行分割前，進(jìn)行臺標(biāo)圖像區(qū)域提取，可以有效減少后續(xù)方法的計算量。

在關(guān)鍵幀提取階段，由于視頻圖像幀總數(shù)較大，實驗中用到的視頻分辨率為720×576，時長4分52秒，其容量為117 Mbyte，圖像幀總數(shù)達(dá)到了5萬多幀。針對大容量圖像幀視頻，可以直接采用鏡頭方法提取圖像關(guān)鍵幀，規(guī)定從一段視頻中所要獲得的圖像幀數(shù)，每隔相同數(shù)量的圖像幀數(shù)進(jìn)行采集。

目前臺標(biāo)分割主要采用對關(guān)鍵幀進(jìn)行差分處理，并與人工設(shè)定的閾值比較進(jìn)行分割，結(jié)果受閾值的影響較大。本文采用Otsu圖像自動分割方法［5］，獲得二值化臺標(biāo)圖像，在二值臺標(biāo)圖像上進(jìn)行差分累加求和取平均的方法，避免了灰度圖像閾值選取的問題。

對實時臺標(biāo)圖像進(jìn)行全局閾值分割以后，一般不能得到只含有單個臺標(biāo)圖形的二值化圖像，可能同時包含其他非目標(biāo)成分。本文采用多幅不同關(guān)鍵幀的全局閾值分割圖像相疊加求平均的方法，其累加取平均的結(jié)果是在臺標(biāo)的區(qū)域所得的值仍然是1(白色)，而非臺標(biāo)部分均值則小于1，以1為閾值，得到二值圖像分割結(jié)果。圖2a為對湖南衛(wèi)視一段視頻的關(guān)鍵幀圖像進(jìn)行的二值化處理后的結(jié)果，圖2b為對得到的二值化圖像進(jìn)行差分累加取平均，再進(jìn)行閾值分割得到的單個臺標(biāo)圖像。從分割結(jié)果可以看出，本文方法可以有效去除臺標(biāo)圖像中其他干擾成分。

2.2 臺標(biāo)圖像角點提取

圖2 二值化臺標(biāo)模板圖像分割結(jié)果

角點具有旋轉(zhuǎn)不變性、受光照影響小等特點，適合作為一種判別因子，應(yīng)用于特征區(qū)域變化較為頻繁和明顯的視頻圖像。臺標(biāo)作為一種視頻圖像中特殊圖案的存在，其一般具有規(guī)則或者較為規(guī)則的特點，且存在較為豐富的角點信息，故對臺標(biāo)圖像進(jìn)行角點提取，并將其作為一種表示臺標(biāo)信息的重要特征，在復(fù)雜的視頻圖像中，能夠為后續(xù)的臺標(biāo)匹配提供一種重要的特征描述。

經(jīng)典的角點提取算法有 Harris［6］、Susan［7］等，其主要思想是根據(jù)像素點的灰度或梯度特征提取角點。Harris角點提取算法將由任意方向偏移引起的最小灰度變化值大于某一特定閾值的點定義為角點［8］。Susan角點提取算法檢測到的角點準(zhǔn)確度較高，并可以根據(jù)USAN區(qū)域獲得角點的夾角信息，但對閾值的依賴性很大，且計算復(fù)雜。

為了避免在Susan角點提取方法中閾值選取問題以及運算的復(fù)雜性，提出一種針對臺標(biāo)圖像的改進(jìn)Susan角點提取方法，以二值圖像為基礎(chǔ)，利用Susan角點提取算法不涉及梯度運算的特性，可以有效避免角點響應(yīng)函數(shù)CRF和自適應(yīng)閾值選取時的復(fù)雜運算。首先我們考慮USAN區(qū)域的定義:模板內(nèi)像素與模板中心像素灰度之差小于一定閾值，則認(rèn)為該點與中心像素具有相同的灰度值，由滿足此條件的像素組成的區(qū)域稱為USAN。所以從USAN的定義可以看出Susan算子不需要一階、二階導(dǎo)數(shù)運算，而在二值圖像中，模板內(nèi)的其他像素只存在和中心點像素相同或相反兩種情況，只要統(tǒng)計模板內(nèi)像素點和中心點相同的像素點個數(shù)，就可以求得角點響應(yīng)函數(shù)值。每個像素點對應(yīng)的USAN區(qū)域計算為

式中，c是比較函數(shù)，具體計算公式為

式中:r0是中心像素點坐標(biāo);r是模板內(nèi)其他像素點坐標(biāo);t是模板內(nèi)像素與中心像素的差值門限。令t=0即可對模板內(nèi)像素點和中心點進(jìn)行比較，對比原Susan算法中n(r0)的計算式(3)，雖然將灰度圖像轉(zhuǎn)換為二值圖像，損失較多的灰度信息，但是有效避免角點響應(yīng)函數(shù)(4)中算式n(r0)的復(fù)雜6次方運算以及閾值T的選取問題，g為設(shè)定的門限值。

以湖南衛(wèi)視臺標(biāo)模板圖3a為例，Harris角點提取算法，Susan角點提取算法及改進(jìn)的Susan角點提取方法的實驗結(jié)果如圖3b至圖3d所示。

圖3 不同角點提取算法得到的臺標(biāo)圖像角點

由改進(jìn)的二值圖像Susan角點提取方法對比傳統(tǒng)的Harris角點提取算法和Susan角點提取算法實驗結(jié)果可知，亦能夠有效地提取出臺標(biāo)角點，較為平坦的邊緣上未分布有虛假角點，在外圈圓形平坦圓弧邊緣上也沒有分布，而在彎折形狀部分分布明顯，這也符合客觀實際，計算的復(fù)雜程度有所下降，且得到的角點準(zhǔn)確性較高，能夠較好地滿足后續(xù)的實驗要求。

2.3 臺標(biāo)圖像角點匹配

實時視頻圖像在傳輸、保存過程中難免存在旋轉(zhuǎn)、位移等形變問題，且由于視頻格式轉(zhuǎn)換的存在，在不同的分辨率情況下，實時視頻臺標(biāo)圖像亦可能發(fā)生尺度變換等情況。利用臺標(biāo)圖像提取出的角點進(jìn)行匹配，可以有效克服上述實時臺標(biāo)圖像存在的問題，正確識別出臺標(biāo)信息。

2.3.1 極坐標(biāo)角點匹配思想

傳統(tǒng)的圖像匹配方法，是直接標(biāo)注兩幅待匹配圖像之間匹配的角點。李兆烽等［9］提出了基于對數(shù)極坐標(biāo)變換的景象匹配新方法，在實時圖發(fā)生任意角度旋轉(zhuǎn)、亮度變化、尺度變化和Susan角點提取方法的情況下仍可以保持很高的匹配精度，由于變換具有非均勻性，處理的對數(shù)極坐標(biāo)變換圖的像素較少，且軸向投影是一維的，一次只需較少的匹配運算量，具有較快的匹配速度。郭明明等［10］提出了一種基于角點特征的界限圈匹配算法，特點是使用二值化圖像，用角點與重心組成的星狀結(jié)構(gòu)來簡化目標(biāo)形狀，在極坐標(biāo)域進(jìn)行表述，并使用界限圈法，得到兩幅待匹配圖像之間的角點對應(yīng)點數(shù)和差異點數(shù)，形成匹配圖像之間的相似度表述函數(shù)。魏振忠等［11］提出了基于環(huán)向特征的快速旋轉(zhuǎn)不變性匹配算法，構(gòu)造了環(huán)向特征投影不變量，用環(huán)向特征作匹配，摒棄了圖像中心的數(shù)據(jù)，而這部分?jǐn)?shù)據(jù)在轉(zhuǎn)換到極坐標(biāo)下時，因差值量過大極易導(dǎo)致誤匹配，因此剔除這部分?jǐn)?shù)據(jù)不但提高了匹配準(zhǔn)確率，而且有效地提高了匹配速度。

針對視頻臺標(biāo)這一特殊條件下的圖像，若直接利用上述方法進(jìn)行匹配運算，則都存在不足或缺陷?；趯?shù)極坐標(biāo)變換的景象匹配新方法，極坐標(biāo)變換以后的坐標(biāo)值用對數(shù)表示，然而臺標(biāo)圖像本身較小，不適合運用對數(shù)表示;基于角點特征的界限圈匹配算法，其利用二值化圖像的特點比較適合本文，但其界限圈的核心思想是直接比較實時圖和模板圖的角點在極坐標(biāo)下的誤差是否滿足其所定義的界限，不具備尺度不變性;基于環(huán)向特征的快速旋轉(zhuǎn)不變性匹配算法，其中心思想就是要摒棄中心區(qū)域像素，這顯然在視頻臺標(biāo)圖像中應(yīng)用時是不合理的，因為許多臺標(biāo)在中心區(qū)域很有可能存在較為豐富的角點信息，若直接摒棄，必將影響到匹配的準(zhǔn)確度。

2.3.2 基于極坐標(biāo)角點對的匹配方法

針對上述存在的問題并結(jié)合視頻臺標(biāo)圖像的特殊性，提出一種新的基于極坐標(biāo)角點對的匹配方法，其流程如圖4所示。

圖4 基于極坐標(biāo)角點對匹配流程圖

傳統(tǒng)的圖像匹配方法，是直接標(biāo)注兩幅待匹配圖像之間匹配的角點，而本文綜合利用極坐標(biāo)和有效差值的角點對匹配方法，不是直接比較實時圖和模板圖中具體哪兩個角點是否匹配，而是以角點對的形式進(jìn)行比較，通過計算成功匹配的角點對數(shù)在所有角點對中所占的比例來判斷實時臺標(biāo)和模板臺標(biāo)之間的匹配程度。在實時圖和模板圖中，以任意三個角點作為一個角點對，在這個角點對中，形成極坐標(biāo)下的長度分量和角度分量，具有很好的旋轉(zhuǎn)不變性和抗尺度縮放性能。

具體步驟如下:

1)利用二值化臺標(biāo)圖像進(jìn)行改進(jìn)的Susan角點提取，得到模板圖角點，令其為ci(i=1，2，…，n )，其中n為模板圖角點的個數(shù)，取其中第一個角點c1;

2) 遍歷角點ci(i=2，3，…，n)，建立基底 rc1ci，再遍歷角點 cj(j=2，3，…，n;j≠ i) ，建立基底 rc1cj;

3)令r1ij=，θ1ij為基底rc1ci和rc1cj之間的夾角，定義角度的方向以逆時針為正方向，建立極坐標(biāo)形式的角點對關(guān)系(r1ij，θ1ij)，如圖5所示;

圖5 角點對關(guān)系建立示意圖

4)再取下一個角點ck(k=2，3，…，n)，依次執(zhí)行步驟2)和步驟3)得到角點對的極坐標(biāo)關(guān)系(rkij，θkij);

5)依次遍歷實時臺標(biāo)圖像角點對極坐標(biāo)關(guān)系中的角度分量，判斷是否存在滿足這樣的θ'kij，在模板圖角點對極坐標(biāo)關(guān)系中能夠找到這樣的θkij，使得θ'kij∈θkij×(1±δθ) ，δθ是一個較小的常量;

6)若在遍歷的過程中找到了這樣的θ'kij，就繼續(xù)比較實時圖和模板圖θ'kij和θkij分別對應(yīng)的長度分量r'kij和rkij，判斷這兩個分量是否滿足條件r'kij∈rkij×(1±δr)，若滿足條件，標(biāo)記角點對(k，i，j)為1，否則標(biāo)記為0;

實驗證明這種不是直接比較具體哪兩個角點之間是否匹配，而是以成功匹配角點對在所有模板角點對中所占的比例作為匹配與否的判決條件的方法的有效性。

3 實驗結(jié)果及分析

首先為了驗證本文方法的有效性，設(shè)計實驗1和實驗2兩個實驗;同時，針對視頻圖像在傳輸、保存過程中存在的旋轉(zhuǎn)、變形等形變問題，在不同的分辨率情況下，實時臺標(biāo)圖像發(fā)生尺度變換等情況，設(shè)計實驗3和實驗4兩個實驗。

實驗1:不同電視臺實時圖分別與湖南衛(wèi)視模板進(jìn)行匹配，實驗結(jié)果如表1所示。

表1 不同模板臺標(biāo)間匹配結(jié)果

由實驗1結(jié)果可知，只有相應(yīng)的電視臺標(biāo)實時圖與模板圖之間才能達(dá)到較高的匹配精度。

實驗2:各電視臺實時臺標(biāo)與各自模板臺標(biāo)進(jìn)行匹配，實驗圖和實驗結(jié)果如圖6和表2所示。

由實驗2結(jié)果可知，隨著角點數(shù)目的增多，匹配精度會隨之提高，同時增加運算的復(fù)雜程度。

圖6 不同電視臺的二值化臺標(biāo)模板(左)和實時圖像(右)

表2 不同模板臺標(biāo)與實時臺標(biāo)匹配結(jié)果

結(jié)合實驗1和實驗2的數(shù)據(jù)，很好地證明了該方法在實時臺標(biāo)圖像匹配中的有效性，相同的實時臺標(biāo)圖像匹配的精度很高，不同的實時臺標(biāo)圖像匹配的精度較低，且只有在和自身實時臺標(biāo)圖像相同的模板臺標(biāo)圖像進(jìn)行匹配時，才能夠達(dá)到一個比較高的匹配精度。進(jìn)一步證明了通過計算匹配的角點對數(shù)在所有模板角點對中所占的比例作為實時臺標(biāo)和模板臺標(biāo)之間的匹配率這種方法的有效性。

實驗3:以湖南衛(wèi)視臺標(biāo)模板圖為例，不同條件變換下與變換前進(jìn)行匹配，實驗結(jié)果如表3所示。

表3 模板臺標(biāo)變換前后角點匹配結(jié)果

由實驗3結(jié)果可知，模板臺標(biāo)的匹配精度受旋轉(zhuǎn)、鏡像翻轉(zhuǎn)、尺度縮放等的影響很小。這里直接用模板圖像進(jìn)行變換后作為一組實驗進(jìn)行檢測，用來檢驗在標(biāo)準(zhǔn)臺標(biāo)圖像的條件下，變換以后角點匹配所能夠達(dá)到的一個匹配率，進(jìn)一步驗證了本文方法的有效性。

實驗4:以湖南衛(wèi)視臺標(biāo)為例，實時圖像變換后與模板圖像進(jìn)行匹配。這種情況模擬實際實時視頻圖像，實時視頻受傳輸、保存以及分辨力不同等各方面影響，其臺標(biāo)可能發(fā)生旋轉(zhuǎn)、縮放、尺度變換等形變。實驗結(jié)果如表4所示。

表4 實時圖像變換后與模板臺標(biāo)的匹配結(jié)果

由實驗4結(jié)果可知，實時圖像和模板圖像在旋轉(zhuǎn)、鏡像翻轉(zhuǎn)、尺度縮放等變換的條件下，依然能夠?qū)崿F(xiàn)很高的匹配精度，與原實時圖像和模板圖像匹配的精度相比較，誤差在允許的范圍內(nèi)，由此驗證了本文方法在模擬實際情況下對實時臺標(biāo)圖像識別和匹配的有效性。

4 小結(jié)

實時視頻臺標(biāo)圖像由于各種原因，造成與模板臺標(biāo)圖像之間存在各種形變，如尺度縮放、旋轉(zhuǎn)等，針對這些問題，本文提出一種基于二值圖像角點匹配的三步驟臺標(biāo)識別方法，方法有效可行。在臺標(biāo)分割階段，運用二值化的視頻圖像差分累加和取平均分割的方法，獲得臺標(biāo)圖像區(qū)域;在臺標(biāo)圖像角點提取階段，充分利用Susan角點提取算法中不涉及梯度運算這一特性，在二值化的分割圖像上實現(xiàn)改進(jìn)的Susan角點提取方法;在臺標(biāo)圖像角點匹配階段，利用極坐標(biāo)域條件下，圖像角點對于位移、灰度、對比度、旋轉(zhuǎn)、鏡像和尺度縮放等具有不變性的優(yōu)勢，結(jié)合角點對的匹配思想，綜合利用極坐標(biāo)和有效差值方法，對視頻圖像中的實時臺標(biāo)進(jìn)行匹配，得到了較好的結(jié)果。

［1］OZAY N，SANKUR B.Automatic TV logo detection and classification in broadcast videos［C］//Proc.of 17th European Signal Processing Conference.Glasgow，Scotland:［s.n.］，2009:839－843.

［2］OZAY N，SANKUR B.Automatic TV logo identification［C］//Proc.IEEE 16th Signal Processing Communication and Application Conference.［S.l.］:IEEE Press，2008:1－4.

［3］楊強，程玉昆，馬森.基于小波特征的臺標(biāo)識別［J］.計算機應(yīng)用與軟件，2009，26(3):63－64.

［4］史迎春，周獻(xiàn)中，方鵬飛.綜合利用形狀和顏色特征的臺標(biāo)識別［J］. 模式識別與人工智能，2005，18(2):217－222.

［5］GONZALEZ R C，WOODS R E，EDDINS S L. 數(shù)字圖像處理:MATLAB版［M］.阮秋琦，譯.2版.北京:電子工業(yè)出版社，2005.

［6］HARRIS C，STEPHENS M.A combined corner and edge detector［J］.Proc.of fourth Alvey Vision Conference.［S.l.］:Plessey Company，1988:189－192.

［7］SMITH S M，BRADY M.Susan－a new approach to low level image processing［J］.International Journal of Computer Vision，1997，23(1):45－78.

［8］唐永鶴.基于特征點的圖像匹配算法研究［D］.長沙:國防科學(xué)技術(shù)大學(xué)，2007.

［9］李兆烽，李言俊.基于對數(shù)極坐標(biāo)變換的景象匹配新方法［J］.紅外與激光工程，2008，36(2):285－288.

［10］郭明明.形狀匹配及其在剪紙中的應(yīng)用研究［D］.桂林:廣西師范大學(xué)，2007.

［11］魏振忠，雷鳴，張廣軍.基于環(huán)向特征的快速旋轉(zhuǎn)不變性匹配算法［J］. 光學(xué)技術(shù)，2009，35(2):284－287.