周 云，張 瀅，紀(jì) 平

（合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽合肥 230009）

面向圖像語義分析的JSEG改進(jìn)分割算法

周 云，張 瀅，紀(jì) 平

（合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽合肥 230009）

JSEG算法是一種經(jīng)典的被廣泛應(yīng)用于圖像處理的圖像分割算法，但是它存在著嚴(yán)重的過分割問題，因而不適用于對圖像的語義分析處理。針對這個(gè)問題提出了兩個(gè)方面的改進(jìn)，一是改進(jìn)了原算法中初始種子點(diǎn)的選取方法，二是在區(qū)域聚合過程中增加考慮了區(qū)域紋理特征的信息。實(shí)驗(yàn)表明，改進(jìn)后的方法有效地改善了原算法中的過分割現(xiàn)象，分割后的圖像區(qū)域更加符合對圖像進(jìn)行語義分析的要求。

圖像語義分析;JSEG算法;區(qū)域生長;區(qū)域聚合

【本文獻(xiàn)信息】周云，張瀅，紀(jì)平.面向圖像語義分析的JSEG改進(jìn)分割算法［J］.電視技術(shù)，2014，38（1）.

目前，如何對圖像進(jìn)行準(zhǔn)確的語義分析非常熱門。由于圖像語義內(nèi)容描述為“像素—區(qū)域—目標(biāo)—場景”的層次包含關(guān)系［1］，因此圖像分割［2］是其中極為重要和基礎(chǔ)的一步，區(qū)域分割的準(zhǔn)確性直接影響到圖像中對于目標(biāo)的提取，進(jìn)而對圖像語義的分析和理解產(chǎn)生影響。

圖像分割是一種基本的計(jì)算機(jī)視覺處理技術(shù)，是從圖像基本處理到圖像分析的關(guān)鍵環(huán)節(jié)。目前對其已有大量的相關(guān)研究，主要有基于聚類［3－4］、基于區(qū)域［5］、基于模型［6－7］等多種方法。其中Deng和Manjunath提出的JSEG算法顏色［8］是一種經(jīng)典的基于圖像顏色和紋理的區(qū)域生長的分割方法，近年來被大量應(yīng)用于對網(wǎng)絡(luò)視頻圖像的分析［9］、航拍遙感圖像的分析［10］等，具有較高的準(zhǔn)確性和魯棒性。但是JSEG分割算法存在著明顯的過分割問題，并不適用于圖像的語義分析處理。為此文中針對原算法的過分割問題提出了兩個(gè)方面的改進(jìn)，一是改進(jìn)了原算法中初始種子點(diǎn)的選取方法，二是區(qū)域聚合過程中在依據(jù)顏色信息的基礎(chǔ)上增加了區(qū)域紋理特征的信息。實(shí)驗(yàn)表明，改進(jìn)后的方法有效地改善了原算法中的過分割現(xiàn)象。

1 JSEG算法

JSEG算法主要有顏色量化和空間分割兩大步驟。

1.1 顏色量化

顏色量化是為了在不損失原圖像信息的情況下減少圖像的顏色數(shù)量，降低算法的運(yùn)算時(shí)間和復(fù)雜。量化的結(jié)果是對圖像提取出十幾種具有代表性的顏色，形成不同的顏色區(qū)域，得到一幅每個(gè)像素用不同的量化顏色類標(biāo)記的類圖。顏色量化首先將圖像的顏色空間轉(zhuǎn)換成為比較符合人類視覺感知的LUV顏色空間;然后采用同組濾波器（Peer Group Filtering，PGF）［11］對圖像進(jìn)行平滑去噪，用分裂算法確定圖像的類數(shù);最后采用GLA（Generalized Lloyd Algorithm）算法［11］進(jìn)行矢量量化和顏色聚類，生成由不同的顏色類標(biāo)記的類圖，如圖1所示。類圖可以看作是一種特殊的紋理圖像，在類圖中，每個(gè)點(diǎn)的像素值不是它的顏色值，而是量化后的顏色類標(biāo)記號，圖1中的類圖表示該圖像量化為3個(gè)不同的顏色類別，圖中不同的符號表示不同的顏色類別。

圖1 類圖的示例

1.2 空間分割

1.2.1 J圖的生成

JSEG算法中的空間分割并不是直接對顏色量化后生成的類圖進(jìn)行分割，它引入了一種模板掃描方法，通過顏色信息在模板中的分布情況來計(jì)算模板中心像素點(diǎn)的局部J值，在類圖的基礎(chǔ)上生成能夠反映圖像區(qū)域分部信息的J圖，再對J圖進(jìn)行空間分割。假設(shè)Z是圖像中N個(gè)像素點(diǎn)的集合，其中像素點(diǎn)z=（x，y），z∈Z，m表示Z的均值，即

式中:W表示局部窗口;C表示窗口內(nèi)顏色類別的數(shù)量;Zi表示第i類顏色的像素集合，其中i=1，2，3，…，C;Ni則表示Zi中的像素個(gè)數(shù)。mi表示Zi中的均值，即

其中像素點(diǎn)（x，y）的局部J值為

由以上公式和計(jì)算過程可知，每個(gè)像素點(diǎn)所對應(yīng)的J值是在以該像素為中心的局部窗中計(jì)算得到的每個(gè)像素的局部相似度。J值的計(jì)算結(jié)果與局部窗口W的大小有直接關(guān)系，當(dāng)局部窗口W過大時(shí)，計(jì)算出的局部J值分布比較均勻，分割出的區(qū)域具有較好的紋理邊緣區(qū)分，但存在著欠分割現(xiàn)象;當(dāng)局部窗口W較小時(shí)，計(jì)算出的局部J值具有較好的區(qū)分度，對于顏色邊緣的變化比較敏感，容易出現(xiàn)過分割現(xiàn)象。因此，JSEG算法中采用在不同尺度的局部窗中計(jì)算J值的方法，通過反饋改變局部窗的大小，以獲得最能表達(dá)區(qū)域邊界的位置信息。

某像素點(diǎn)的局部J值越高，表示這個(gè)像素靠近邊界的可能性越大，J值越小，表示這個(gè)像素靠近區(qū)域中心的可能性越大。J圖就相當(dāng)于一幅三維地形圖，越大的J值表示越高的山峰，代表了區(qū)域的邊緣，而越小的J值表示越低的山谷，代表了區(qū)域的內(nèi)部。

1.2.2 區(qū)域生長和區(qū)域聚合

區(qū)域生長主要分為兩個(gè)步驟，一是種子點(diǎn)的確定，二是區(qū)域聚合。首先在一個(gè)區(qū)域中計(jì)算局部J值最小點(diǎn)的平均值和標(biāo)準(zhǔn)差，分別記為μJ和δJ，并設(shè)定閾值TJ=μJ+a× δJ，其中a={－0.6，－0.4，－0.2，0，0.2，0.4}。將局部J值低于TJ的點(diǎn)選為種子點(diǎn)，連接起來獲得種子域;其次將種子點(diǎn)的各鄰域中與種子點(diǎn)具有相同性質(zhì)的像素合并到種子點(diǎn)所在的區(qū)域中。對于未被選中的非種子區(qū)域，計(jì)算非種子區(qū)域與已標(biāo)記過的相鄰區(qū)域之間的色調(diào)均值差，選取差值最小的相鄰區(qū)域進(jìn)行合并。最后依據(jù)顏色的相似性來對區(qū)域進(jìn)行聚合，通過計(jì)算2個(gè)區(qū)域的顏色直方圖距離來判斷是否要進(jìn)行合并。

2 算法改進(jìn)

本文中針對JSEG算法中的區(qū)域生長過程和區(qū)域聚合過程進(jìn)行了一定的改進(jìn)，主要是通過改變種子點(diǎn)的選取和生長規(guī)則以及聚合準(zhǔn)則來降低原算法中的過分割現(xiàn)象。

2.1 種子點(diǎn)的選取和生長準(zhǔn)則

在圖像分割中，好的分割效果其基本要求是能夠使同一區(qū)域內(nèi)的像素點(diǎn)之間的相似性大于不同區(qū)域之間的像素點(diǎn)之間的相似性，所以在區(qū)域生長中所選取的種子點(diǎn)應(yīng)該與它相鄰像素之間的特征非常相似。文獻(xiàn)［12］的研究表明，通過定義各像素點(diǎn)之間的鄰域相容因子來進(jìn)行區(qū)域生長，在對灰度圖像的分割處理中獲得了很好的分割效果。因此，本文中考慮到依據(jù)J圖來計(jì)算各像素點(diǎn)之間的鄰域相似度SJ，同時(shí)考慮計(jì)算各像素點(diǎn)之間的基于局部顏色直方圖的鄰域相似度SC和基于局部LBP紋理［13］的鄰域相似度ST，各鄰域相似度計(jì)算方法定義如下

式中:Num（MJ），Num（MC）和Num（MT）表示像素點(diǎn)p的K鄰域中像素點(diǎn)的數(shù)目;K鄰域定義為以p為中心，邊長為2K+1的正方形窗;Num（NJ）表示滿足在p的K鄰域中滿足與p的局部J值直方圖之差小于閾值QJ的像素點(diǎn)的數(shù)目;同理Num（NC）表示K領(lǐng)域中與p的局部顏色直方圖之差小于閾值QC的像素點(diǎn)的個(gè)數(shù)。

LBP紋理特征是一種描述圖像局部紋理特征的算子，原始的LBP算子定義為在3×3的窗口內(nèi)，以窗口中心像素為閾值，將相鄰的8個(gè)像素與其比較，大于中心像素值則標(biāo)記為1，否則為0。因此本文中將以p為中心的3×3的窗口作為一個(gè)小區(qū)域，將該區(qū)域的LBP特征看作是像素點(diǎn)p的LBP特征，對于其他的像素點(diǎn)LBP特征也是依此方法計(jì)算，Num（NT）表示K領(lǐng)域中與p的局部LBP特征之差小于閾值QT的像素點(diǎn)的個(gè)數(shù)。綜合考慮各鄰域相似度的區(qū)分作用，取這3種相似度的加權(quán)和為像素點(diǎn)的綜合鄰域相似度，定義如下

S（p）定義了在鄰域內(nèi)與中心像素點(diǎn)p的相似像素和像素總數(shù)目的比值，當(dāng)S（p）≥0.5時(shí)，表示p像素點(diǎn)周圍的顏色和紋理變化緩慢，處于區(qū)域內(nèi)部的可能性比較大。反之則表示p點(diǎn)周圍的顏色紋理變化劇烈，處于區(qū)域邊緣處的可能性比較大。因此，將S（p）≥0.5的像素點(diǎn)選為種子點(diǎn)，將種子點(diǎn)的K鄰域中的綜合鄰域相似度差異小于Q的像素點(diǎn)進(jìn)行合并，其中Q=0.4×QJ+0.3×QC+0.3×QT。具體過程如圖2所示。

圖2 區(qū)域生長過程

2.2 區(qū)域聚合準(zhǔn)則

JSEG算法中的區(qū)域聚合是以區(qū)域的顏色相似性為參考準(zhǔn)則進(jìn)行聚合的，通過計(jì)算相鄰區(qū)域的顏色直方圖距離來判斷是否要進(jìn)行合并。這種只考慮了顏色信息的合并方式顯然存在著一定的誤差性，比如對于具有相似顏色分布的不同對象或者具有漸變顏色分布的同一對象等情況不能正確地進(jìn)行聚合。

針對這個(gè)問題，本文提出了一種基于顏色相似性和紋理相似性的聚合準(zhǔn)則，除了原算法中考慮的顏色直方圖距離之外，增加計(jì)算區(qū)域的紋理特征信息。本文中采用了Gabor濾波［14］的方法來計(jì)算區(qū)域的紋理特征，對于任意一個(gè)不規(guī)則形狀的多邊形區(qū)域R，取得R的最小包圍矩形并對其進(jìn)行8×8的分塊，計(jì)算每個(gè)分塊中區(qū)域R所占的百分比ω，若ω大于50%則認(rèn)為該分塊為有效塊，否則為無效塊。對于所有的有效塊采用Gabor小波變換提取紋理特征，并計(jì)算出整個(gè)區(qū)域R的紋理特征TR

式中:n為有效塊的個(gè)數(shù);ωi為每個(gè)有效塊中R所占的比例;ti為每個(gè)有效塊的紋理特征向量。在進(jìn)行區(qū)域聚合時(shí)，分別計(jì)算每個(gè)區(qū)域的顏色直方圖和紋理特征，綜合考慮各區(qū)域之間的顏色距離和紋理距離來對區(qū)域進(jìn)行聚合。

3 實(shí)驗(yàn)結(jié)果與分析

本文中在NUS－WIDE數(shù)據(jù)集［15］中隨機(jī)選擇了多幅具有明顯目標(biāo)和語義內(nèi)容的彩色圖像，共有100張圖像，用本文中提出的改進(jìn)后的JSEG分割算法與原算法進(jìn)行分割實(shí)驗(yàn)和比較，在所有的實(shí)驗(yàn)中都采用同樣的參數(shù)以保證分割效果的可比性。圖3是部分圖像的分割結(jié)果比較。圖3a為原算法的分割結(jié)果，圖3b為改進(jìn)后的分割結(jié)果，從圖中可以看出改進(jìn)后的算法有效減少了原算法中的過分割現(xiàn)象，提高了分割的準(zhǔn)確性。例如圖中的天空包含了不同的漸變的顏色，原算法中把它分割成了多個(gè)不同區(qū)域，而改進(jìn)后的算法則充分考慮到了顏色信息和紋理信息，將其分割成為一個(gè)較為完整的區(qū)域，比較符合人眼的目標(biāo)分類感知，適用于圖像語義分析中對區(qū)域的分割要求。另外還可以看出對比第一幅圖像的分割結(jié)果，改進(jìn)后的算法完整地將左邊的樹分割出來，提高了圖像分割的準(zhǔn)確性。

圖3 分割結(jié)果圖

4 結(jié)論

本文針對JSEG算法在圖像分割中的過分割問題，通過改變種子點(diǎn)的選擇方式和合并準(zhǔn)則，改善區(qū)域聚合準(zhǔn)則來抑制過分割現(xiàn)象。首先利用像素點(diǎn)的局部J值信息、顏色信息和紋理信息來定義像素之間的綜合鄰域相似度，以此自動(dòng)選取像素中具有生長能力的種子點(diǎn)，具有較強(qiáng)的魯棒性。其次在區(qū)域聚合中增加考慮區(qū)域的紋理信息，結(jié)合紋理信息和顏色信息來判斷是否要進(jìn)行區(qū)域合并，有效減少了原算法中的過分割現(xiàn)象。從實(shí)驗(yàn)結(jié)果中也可看出，本文中改進(jìn)后的分割結(jié)果比較符合對圖像進(jìn)行語義分析的標(biāo)準(zhǔn)，能夠很好地應(yīng)用在基于目標(biāo)區(qū)域的圖像檢索、語義分析、目標(biāo)識別等領(lǐng)域。下一步的工作將考慮增加圖像區(qū)域的邊緣特征作為區(qū)域的聚合準(zhǔn)則，以便得到更好的區(qū)域分割效果。

:

［1］高雋，謝昭，張駿，等.圖像語義分析與理解綜述［J］.模式識別與人工智能，2010（23）:191－202.

［2］章毓晉.圖像分割［M］.北京:科學(xué)出版社，2001.

［3］康家銀.一種改進(jìn)的顧及像素空間信息的FCM聚類算法［J］.儀器儀表學(xué)報(bào)，2009（1）:208－212.

［4］趙晨煒.基于模糊聚類的彩色圖像分割方法的研究［D］.武漢:武漢理工大學(xué)，2012.

［5］趙欽佩，姚莉秀，程建，等.基于顏色信息與區(qū)域生長的圖像分割新算法［J］.上海交通大學(xué)學(xué)報(bào)，2007（5）:802－806.

［6］陸明俊，王潤生.基于MRF模型的可靠的圖像分割［J］.電子學(xué)報(bào)，1999（2）:87－89.

［7］應(yīng)偉勤，李元香，徐星，等.基于圖模型的圖像分割并行算法研究與實(shí)現(xiàn)［J］.模式識別與人工智能，2007（4）:571－576.

［8］DENG Y N，MANJUNATH B S.Unsupervised segmentation of color－texture regions in images and video［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23（8）:1－27.

［9］宋海玉.自動(dòng)圖像標(biāo)注及標(biāo)注改善算法的研究［D］.濟(jì)南:山東大學(xué)，2012.

［10］馮曉毅，王西博，王蕾，等.基于改進(jìn)JSEG算法的高分辨率遙感圖像分割方法［J］.計(jì)算機(jī)科學(xué)，2012，39（8）:284－287.

［11］DENG Y，KENNEY C，MOORE M S，et al.Peer group filtering and perceptual color image quantization［J］.IEEE Transactions on Image Processing，1999，10（2）:21－24.

［12］DING Jundi，MA Runing，CHEN Songcan，et al.A scale－based connected coherence tree algorithm for image segmentation［J］.IEEE Transactions on Image Processing，2008，17（2）:204－216.

［13］OJALA T，PIETIKAINEN M，MAENPAA T.Multiresolution gray－scale and rotationinvariant texture classification with local binary patterns［J］.IEEE Trans.PAMI，2002，24（7）:971－987.

［14］MANJUNATH B S，MA W Y.Texture features for browsing and retrieval of image data［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，1996，18（8）:837－842.

［15］CHUA T S，TANG J，HONG R，et al.NUS－WIDE:a real－world web image database from national university of Singapore［EB/OL］.［2013－03－05］.http://www.datatang.com/data/15482.

Segmentation for Image Semantic Analysis Based on Improved JSEG Algorithm

ZHOU Yun，ZHANG Ying，JI Ping

（School of Computer Science ＆ Information，Hefei University of Technology，Hefei 230009，China）

JSEG algorithm is a classic image segmentation algorithm which is used in image processing widely，but the over－segmentation problem is so severely that this algorithm isn’t suitable for Image Semantic Analysis.Two improvements to solve this issue are proposed.One is improved the initial seed point selection method，the other is consider the information of texture feature in the region merging process.The experiments on large amounts of images show that the proposed method reduces the over－segmentation phenomenon effective and conforms to the requirements of image semantic analysis.

image semantic analysis;JSEG algorithm;region growing;region merging

TN919.8

A

周 云（1990— ），女，碩士生，主研圖像處理與分析，多媒體信息處理，圖像標(biāo)注;

張 瀅（1989— ），碩士生，主研視頻編碼，運(yùn)動(dòng)目標(biāo)檢測與跟蹤，DSP技術(shù);

紀(jì) 平（1975— ），女，講師，主要研究方向?yàn)槎嗝襟w信息處理。

責(zé)任編輯:任健男

2013－05－05