孫 超，周海英

(中北大學(xué)電子與計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，山西 太原 030051)

傳統(tǒng)的基于內(nèi)容的圖像檢索系統(tǒng)(CBIR)是建立在低層視覺特征的相似性度量的基礎(chǔ)上，然而人們對(duì)圖像的認(rèn)知通常是在語義理解的基礎(chǔ)上，這種差距形成了“語義鴻溝”［1］。為了更好地貼近人對(duì)圖像的認(rèn)知，提出一種提取圖像中有意義核心目標(biāo)對(duì)象的方法，能夠有助于圖像內(nèi)容的語義表達(dá)。圖像的核心對(duì)象通常位于接近圖像中心的位置，在顏色和紋理上與周邊區(qū)域有明顯差別，本身所占區(qū)域也比較大，決定著該圖像的主體語義內(nèi)容。本文提出的圖像中核心對(duì)象的提取方法是將圖像劃分為1個(gè)中心區(qū)域和4個(gè)周邊區(qū)域以獲取每個(gè)區(qū)域上顏色和紋理顯著的對(duì)象。首先對(duì)圖像進(jìn)行預(yù)處理，然后針對(duì)每個(gè)區(qū)域進(jìn)行顯著性處理，通過計(jì)算顯著相關(guān)色(SCC)以鑒別區(qū)域中的核心目標(biāo)圖像片，并作為訓(xùn)練集用于BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練，從而實(shí)現(xiàn)對(duì)圖像對(duì)象的劃分和結(jié)果優(yōu)化。

人工神經(jīng)網(wǎng)絡(luò)在模擬動(dòng)物的神經(jīng)行為方面具有高速并行、容錯(cuò)性強(qiáng)的特點(diǎn)，并能實(shí)現(xiàn)信息的分布式存儲(chǔ)和表達(dá)。BP神經(jīng)網(wǎng)絡(luò)采用誤差逆?zhèn)鞑シ绞剑瑢?duì)特征鑒別和模式分類有較好的作用。

1 圖像區(qū)域顯著相關(guān)色(SCC)計(jì)算

1.1 預(yù)處理

圖像預(yù)處理主要完成對(duì)圖像的濾波、色彩量化和分割等前期處理。本文采用同組濾波技術(shù)(Peer Group Filtering)對(duì)圖像進(jìn)行濾波、去除噪聲、平滑圖像［2］。CCF*-tree是一種基于分裂和聚類算法的混合方法(見圖1)，可以較好地保持顏色的多數(shù)性和差異性［3］，使用該方法將圖像量化為64色，結(jié)果見圖1b。圖像分割是圖像分析、理解和識(shí)別的關(guān)鍵技術(shù)，是一個(gè)信息不足的、不適定性問題［4］。本文采用JSEG 算法［5］，分割結(jié)果不宜太過粗糙，圖1c中共有137個(gè)塊。

圖1 圖像的64色量化和JSEG分割結(jié)果

1.2 顯著相關(guān)色(SCC )

顏色相關(guān)直方圖(color correlations)可以反映一個(gè)區(qū)域中顏色的分布和基本紋理［6］。圖像被劃分為5個(gè)DAW區(qū)域(默認(rèn)感興趣區(qū)域)D1，D2，D3，D4，D5，如圖 2 所示，中心區(qū)域占25%，其余區(qū)域均分。對(duì)每個(gè)DAW區(qū)域和對(duì)應(yīng)的SR區(qū)域(周邊區(qū)域)計(jì)算顏色相關(guān)直方圖提取SCC［7］，計(jì)算時(shí)使用距離集合D={1}。每一DAW區(qū)域的SCC像素是滿足公式(1)的顏色對(duì) (ci，cj)，CDAW(ci，cj)和CSR(ci，cj)分別是DAW區(qū)域和SR區(qū)域的顏色相關(guān)直方圖中顏色對(duì)(ci，cj)的數(shù)目(下標(biāo)指區(qū)域)。

圖2 SCC像素

對(duì)于這5個(gè)部分，DAW區(qū)域分別為區(qū)域1到5，與SR區(qū)域的對(duì)應(yīng)關(guān)系如下:

就周邊區(qū)域來說，物體多數(shù)會(huì)分布于整個(gè)水平方向上，所以對(duì)于 D1，D2，D3，D4，SR 區(qū)域不包括處于同一水平的區(qū)域。計(jì)算時(shí)將DAW區(qū)域和所對(duì)應(yīng)的SR區(qū)域的顏色相關(guān)直方圖的值代入公式(1)。圖2a～圖2e顯示了依據(jù)不同DAW區(qū)域計(jì)算所得的SCC像素，依次對(duì)應(yīng)的DAW區(qū)域?yàn)?D5，D1，D2，D3，D4。

2 選取核心圖像塊

在JSEG分割的塊中選取可以顯著標(biāo)示對(duì)應(yīng)DAW區(qū)域的塊。選取原則為:

1)塊中含對(duì)應(yīng)DAW區(qū)域的SCC像素的比例比較高;

2)要有多于一半的部分屬于對(duì)應(yīng)的DAW區(qū)域;

3)塊中屬于所對(duì)應(yīng)DAW區(qū)域的比例要相對(duì)高。

利用以上條件，每個(gè)塊用公式(2)計(jì)算判定值PCi，j超出閾值tPC的塊，結(jié)果見表1。

表1 圖2f中編號(hào)1，3，4的塊的RS，IS值

對(duì)于每個(gè)DAW區(qū)域(如j=1)將所有分割所得塊代入公式(2)進(jìn)行計(jì)算，滿足公式(2)的塊被分到該區(qū)域，得到一個(gè)可以顯著代表這一區(qū)域的塊的集合。圖3為每個(gè)部分的核心塊。

圖3 每個(gè)部分的核心塊

3 擴(kuò)展區(qū)域

3.1 特征提取

每個(gè)JSEG分割所產(chǎn)生的塊的特征由顏色和紋理兩類特征以及塊中SCC像素的比例構(gòu)成，顏色特征為塊在HSV空間的一階矩和二階矩，紋理特征提取采用共生矩陣，其中距離為 1，角度取 0°，45°，90°，135°共 4 個(gè)矩陣。對(duì)共生矩陣計(jì)算能量、熵、慣性矩3個(gè)紋理參數(shù)，求能量(E)、熵(N)、慣性矩(I)的均值和標(biāo)準(zhǔn)差作為最終6維紋理特征。因?yàn)槊總€(gè)塊的大小不一，計(jì)算共生矩陣時(shí)，要乘以相應(yīng)的比例，變換到統(tǒng)一尺度。對(duì)于每一圖片，有5部分所對(duì)應(yīng)的SCC像素，對(duì)應(yīng)的每個(gè)塊有5個(gè)不同的比例值(就是計(jì)算核心塊使用的RS值)。于是，每個(gè)分割塊對(duì)應(yīng)一個(gè)17維的特征向量如圖4所示。

圖4 每個(gè)分割塊對(duì)應(yīng)一個(gè)17維的特征向量

3.2 生成樣本特征集并進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練

對(duì)于每個(gè)DAW區(qū)域，都要生成一套樣本集，每個(gè)區(qū)域自身的核心部分包含的塊的特征向量作為正例，反例選取其他對(duì)應(yīng)區(qū)域的核心部分。對(duì)應(yīng)關(guān)系為:D1對(duì)應(yīng){D3，D4，D5};D2對(duì)應(yīng){D3，D4，D5};D3對(duì)應(yīng){D1，D2，D5};D4對(duì)應(yīng){D1，D2，D5};D5對(duì)應(yīng){D1，D2，D3，D4}。對(duì)每一 DAW 區(qū)域建立神經(jīng)網(wǎng)絡(luò)，將樣本分別輸入其中。選用BP網(wǎng)絡(luò)，訓(xùn)練函數(shù)為traingd，輸入層有17個(gè)節(jié)點(diǎn)，輸出層1個(gè)節(jié)點(diǎn)，激勵(lì)函數(shù)采用logsig，學(xué)習(xí)速率0.03，訓(xùn)練要求精度為0.0007。共有5個(gè)神經(jīng)網(wǎng)絡(luò)，每個(gè)對(duì)應(yīng)一個(gè)DAW區(qū)域。

3.3 生成結(jié)果

將分割產(chǎn)生的所有塊的特征向量輸入訓(xùn)練好的5個(gè)神經(jīng)網(wǎng)絡(luò)中，結(jié)果如圖5所示。

圖5 神經(jīng)網(wǎng)絡(luò)輸出的結(jié)果

4 結(jié)果優(yōu)化

采用以下原則優(yōu)化結(jié)果(見圖6):

1)對(duì)上一步產(chǎn)生的5個(gè)分類結(jié)果，填充被圖像本身像素所包圍的空白部分，去掉小于5%的不連通的塊，去掉 {D1，D2，D3，D4}中包含的{D5}的塊;

2)根據(jù)SCC像素比例判定是否要合并處于同一水平的D1和D2，D3和D4;

3)對(duì)于沖突的塊，歸類于RSi，j值大的區(qū)域。最后得到3～5個(gè)區(qū)域。

圖6 圖1最終被分為4部分

5 結(jié)論

使用本文方法對(duì)大量圖像進(jìn)行了測(cè)試，圖7顯示了一部分圖片的處理結(jié)果。

圖7 部分實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)表明本文方法對(duì)圖像核心語義對(duì)象的提取具有以下特點(diǎn):1)可以提取各區(qū)域顏色比較集中且與其他區(qū)域有較大差別的部分，較完整地得到由不同顏色，不同成分組成的目標(biāo)對(duì)象，可以確保對(duì)圖像重要語義對(duì)象的有效抽取;2)可以得到中心對(duì)象的輪廓;3)能夠避免傳統(tǒng)圖像分割產(chǎn)生的大量冗余;4)對(duì)于有獨(dú)特對(duì)象分布特點(diǎn)的圖像，可以靈活確定感興趣的DAW區(qū)域;5)能夠存儲(chǔ)包含主要信息的圖像主要部分，為進(jìn)一步的圖像語義處理和檢索奠定基礎(chǔ)。

［1］GUDIVADA V N，RAGHAVAN V V.Content-based image retrieval system［J］.IEEE Computer，1995，28(9):18-22.

［2］DENG Y，KENNEY C，MOORE M S，et al.Peer group filtering and perceptual color image quantization［C］//Proc.ISCAS 1999.［S.l.］:IEEE Press，1999:2-24.

［3］王永剛.彩色圖象處理若干算法的研究與其應(yīng)用［D］.上海:上海交通大學(xué)，2005.

［4］楊潤(rùn)玲，周軍妮，劉利.基于改進(jìn)型FCM聚類的圖像分割新方法［J］.電視技術(shù)，2008，32(6):12-14.

［5］DENG Y，MANJUNATH B S，SHIN H.Color image segmentation［C］//Proc.CVPR 1999.［S.l.］:IEEE Press，1999:2446-2451.

［6］HUANG J，KUMAR S R，MITRA M，et al.Image indexing using color correlograms［C］//Proc.1997 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.［S.l.］:IEEE Press，1997:762-768.

［7］KIM S Y，PARK S Y，KIM M H.Central object extraction for objectbased image retrieval［C］//Proc.CIVR 2003.［S.l.］:CIVR，2003:39-49.