摘 要：提出綜合紋理、顏色和形狀特征的圖像檢索方法。首先采用Gabor小波計(jì)算ROIs(Regions of Interest)的位置和數(shù)目；然后在ROIs中，使用Gabor小波提取紋理特征，采用YUV空間直方圖和顏色矩表示顏色特征，使用Zernike矩提取形狀特征。為了提高圖像檢索的準(zhǔn)確度，最后采用基于支持向量機(jī)(SVM)的相關(guān)反饋算法。實(shí)驗(yàn)結(jié)果表明，提出的方法具有較好的檢索性能。

關(guān)鍵詞：圖像檢索；特征提??；Zernike矩；紋理分析；相關(guān)反饋；支持向量機(jī)

中圖分類號(hào)：TP3914 文獻(xiàn)標(biāo)識(shí)碼：B 文章編號(hào)：1004373X(2008)1614304

Image Retrieval Based on Integrative Features and SVM Relevance Feedback

WU Kai，GU Shiwen，LIU Yinglong

(College of Information ScienceEngineering，Central South University，Changsha，410075，China)

Abstract：The main focus in this paper is on integrated color，texture and shape extraction methods for CBIR.Original CBIR methodology that uses Gabor filtration for determining the number of Regions of Interest (ROIs).In the ROIs extracted，texture features based on thresholded Gabor features，color features based on histograms，color moments in YUV space，and shape features based on Zernike moments are then calculated.At last，an algorithm of the support vector machine for improving veracity of image retrieval is applied.The result of experiment illustrate proposed method have a better retrieval performance.

Keywords：image retrieval;feature extraction;Zernike moments;texture analysis;relevance feedback;support vector machine

1 引 言

近年來(lái)，隨著多媒體和網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，人們?cè)絹?lái)越多地接觸到大量的圖像信息。為了能夠從這些大量的圖像數(shù)據(jù)中快速準(zhǔn)確地找到用戶所需內(nèi)容的圖像，基于內(nèi)容的圖像檢索(CBIR)技術(shù)已經(jīng)成為一個(gè)研究的熱點(diǎn)。其應(yīng)用領(lǐng)域涉及多媒體數(shù)據(jù)庫(kù)、電子圖書館、商標(biāo)管理、衛(wèi)星圖像管理等方面^{［1，2］}。

圖像包含豐富的內(nèi)容，提取圖像的一種特征往往只能表達(dá)圖像的部分屬性，對(duì)內(nèi)容的描述比較片面；提取圖像全局特征的方法，沒有對(duì)圖像目標(biāo)重要區(qū)域信息集中提取，不能反映目標(biāo)區(qū)域綜合特征^［14］。在目標(biāo)區(qū)域中使用顏色、紋理和形狀特征描述一幅圖像的特征^［5，6］，在圖像目標(biāo)區(qū)提取圖像紋理，顏色和形狀綜合特征信息，然后進(jìn)行圖像檢索，是本文研究的重點(diǎn)。

本文首先采用Gabor過(guò)濾器提取一定數(shù)量的POIs(Points of Interest)，圍繞每個(gè)POIs選取一個(gè)適當(dāng)大小的區(qū)域(ROIs) (Regions of Interest)作為特征向量提取的目標(biāo)區(qū)域，使用基于閾值Gabor小波變換提取圖像紋理特征，基于YUV空間的顏色矩和直方圖提取顏色特征^［7］，和基于Zemike矩提取形狀特征。為了進(jìn)一步提高圖像檢索的精度，最后采用SVM的相關(guān)反饋算法. ［810］。實(shí)驗(yàn)結(jié)果表明，提出的方法具有良好的檢索性能，系統(tǒng)具有較好的魯棒性。

2 Gabor過(guò)濾器和POIs的提取

對(duì)于圖像目標(biāo)區(qū)域的提取，第一步檢測(cè)圖像的POI，通過(guò)POIs的輔助，來(lái)提取圖像ROIs， POI的檢測(cè)首先使用Gabor小波變換對(duì)圖像進(jìn)行分解，用到的二維的Gabor過(guò)濾器為：

ψ(x，y;σ，λ，θk)=expx.2θk+γ.2y.2θk2σ.2exp2πxθkλi(1)

式(1)中xθk=xcos θk+ysin θk，yθk=-xsin θk+ycos θk，σ是沿x和y方向的高斯包絡(luò)線的標(biāo)準(zhǔn)差，γ是空間縱橫比；λ和θk分別是波長(zhǎng)和方向。這里僅使用信號(hào)的奇成分，通過(guò)在xy平面上變化角度θk，產(chǎn)生在角度θk上的Gabor過(guò)濾器，θk=π/n(k-1)(k=1，2，…，n)，n∈N，n表示方向的數(shù)目。在本文的CBIR系統(tǒng)中，使用4個(gè)方向的角度：0°，45°，90°，135°。圖像f(x，y)和二維的Gabor奇過(guò)濾器ψo(x，y;σ，λ，θk)進(jìn)行反卷積，獲得一個(gè)Gabor小波過(guò)濾后的圖像Φo(x，y)表示如下：

Φo(x，y;σ，λ，θk)=∑η∑ζf(η，ζ)·

ψ(x-η，y-ζ;σ，λ，θk)dηdζ(2)

POI提取的算法如下，分為4個(gè)步驟：

(1) 將Gabor小波過(guò)濾后的圖像Φo(x，y;σ，λ，θk)分成沒有重疊的大小為a×a的塊b.k(i，j)(k=1，2，3，4)(假設(shè)分為p塊)；

(2) 計(jì)算每個(gè)分割塊的V.k(i，j)(V.k(i，j)=1a.2∑ai=0∑aj=0b.k(i，j))；

(3) 在p塊個(gè)分割b.kp(i，j)塊中尋找最大值的V.k(i，j)的塊，表示圖像的輪廓；

(4) 在每個(gè)塊b.kp(i，j)中尋找大于某個(gè)設(shè)定的閾值的V.k(i，j)，滿足條件的坐標(biāo)點(diǎn)是圖像的POI。

3 在ROIs中提取紋理、顏色和形狀特征

3.1 基于Gabor過(guò)濾器的紋理特征

通過(guò)找到的POIs確定ROIs，計(jì)算每個(gè)ROI中能量和熵，作為圖像的紋理特征。對(duì)圖像使用Gabor過(guò)濾器后，應(yīng)用一個(gè)閾值函數(shù)獲得圖像的特征。公式表示為：To(x，y;σ，λ，θk)=χ(Φo(x，y;σ，λ，θk))(3)式(3)中χ(z)＝0 z<0

zz≥0。

在每個(gè)ROIs中計(jì)算熵和能量，在一個(gè)A×B尺寸的ROI中(A，B為目標(biāo)區(qū)域的尺寸)，歸一化的能量和熵能通過(guò)下列公式計(jì)算：Et=∑x∑yT.2o(x，y;σ，λ，θk)(A·B).2(4)

Entropy=-1(A·B)×∑x∑y{\\×

log2\\}(5) 計(jì)算的得到的紋理特征向量表示為：

Ftexture={Et1，Et2，…，Etp，Entripy1，Entropy2，…，

Entropyp}(6)

式(6)中p是ROIs的數(shù)目。紋理相似度度量公式如下(Q為要檢索的圖像，D為數(shù)據(jù)庫(kù)中的圖像)：d.(Q)(D)p=E.(Q)tp-E.(D)tp+Entropy.(Q)p-Entroopy.(D)p(7)3.2 顏色特征提取

在ROIs中提取顏色特征向量，采用的是YUV顏色空間，Y表示顏色的亮度，U，V表示顏色的色度：Y＝R+2G+B4〗；U=R-G；V=B-G(8) 為每個(gè)A×B大小的ROI中構(gòu)造直方圖：Hx(j)=number of pixel with luminance jnumber of pixels in x(9) 按照式(9)計(jì)算在圖像中每個(gè)ROI的顏色直方圖(Ep)。另外，圖像的顏色內(nèi)容同時(shí)通過(guò)用顏色矩值(σp)表示：Ep=1A·B∑A·Bs=1Yps

σp=1A·B∑A·Bs=1(Yps-Ep).2 顏色特征向量定義為：Fcolor={HQ1，HQ2，…，HQP，E1，E2，…，

EP，σ1，σ2，…，σP}(10) 式(10)中p是ROIs的數(shù)目。圖像的直方圖的相似度度量定義為：d.(Q)(D)p(Dp，Ep，σp)=∑pd.(Q)(D)p(11)式(11)中：

d.(Q)(D)p=Hp(Q)-Hp(D)+Ep(Q)-Ep(D)+

σp(Q)-σp(D)(12)

3.3 形狀特征以及Zernike矩

在ROIs中形狀的特征的提取采用Zernike矩方法。在計(jì)算圖像f(x，y)的Zemike矩時(shí)，把圖像f(x，y)映射到一個(gè)單位圓，圖像的中心是單位圓的圓心，在單位圓范圍外的像素點(diǎn)在計(jì)算時(shí)忽略。從提取的p個(gè)ROIs中計(jì)算圖像中的Zernike矩，計(jì)算方法在如下描述。

表1 Zemike矩多項(xiàng)式(部分)

(n，m)Rnm(r)(n，m)Rnm(r)(0，0)1(1，1)r(2，0)2r.2-1(3，1)3r.3+2r(2，2)r.2(3，3)r.3(4，0)4r.4+2r.2+1(5，1)5r.5+4r.3+3r(4，2)4r.4+3r.2(5，3)5r.5+4r.3(4，4)r.4(5，5)r.5

Zernike矩是一序列正交的Zernike多項(xiàng)式(如表1所示)，這些多項(xiàng)式定義域?yàn)閱挝粓A。Zernike矩(ZM)多項(xiàng)式的次數(shù)由兩個(gè)參數(shù)決定：n和m(如表1所示)，Zernike矩的Znm由圖像f(x，y)決定，Zernike矩的Znm定義為：

Znm=n+1π∫.∞-∞∫.∞-∞\\*f(x，y)dxdy(13)

式(13)中f(x，y)是圖像在點(diǎn)(x，y)處的亮度，\\為：

Vnm(x，y)＝Vnm(ρcos(θ)，ρsin(θ))=Rnm(ρ)e.imθ(14)

n-|m|是一個(gè)偶正整數(shù)。式(16)中Rnm(ρ)的定義如下：Rnm(ρ)=∑n-|m|2S=0(-1).S\\ρ.n-2SS!(n+|m|2-S)!(n-|m|2-S)!(15) 因?yàn)閆ernike函數(shù)定義域?yàn)橐粋€(gè)單位圓，所以要求計(jì)算時(shí)把方形的圖像轉(zhuǎn)換為圓形的圖像如圖1所示。

圖1 方形圖像到圓形圖像轉(zhuǎn)換在實(shí)際的計(jì)算中，必須把式(13)離散化：

Znm=4(n+1)(N-1)(M-1)π∑M-1k=0∑N-1l=0f(k，l)Rnm(ρk，l)e.-jmθkl

0≤ρk，l≤1(16)

式(16)中ρk，l= x.2k+ y.2l ;θkl= arctan(ylxk)。

其中xk=2M-1k+-12；yl=2N-1l+-12(17) 式(17)k=0，…，M-1和l=0，…，N-1。Zernike矩具有旋轉(zhuǎn)不變的特性，Zernike矩能比較好的描述圖像的形狀特征，使用下面的特征向量作為圖像的形狀特征向量：SFV=(Z1m，Z2m，…，Znm)(18)

4 支持向量機(jī)的相關(guān)反饋

4.1 相關(guān)反饋

為了進(jìn)一步提高圖像檢索的精確度，用戶在是使用相似度計(jì)算進(jìn)行檢索后，對(duì)檢索的結(jié)果進(jìn)行評(píng)價(jià)，標(biāo)記出相關(guān)和不相關(guān)的圖像，然后提出基于SVM的相關(guān)反饋算法，將圖像按相似度的大小返回給用戶。系統(tǒng)的檢索結(jié)構(gòu)框圖如圖2所示：

4.2 支持向量機(jī)(SVM)

假定某個(gè)超平面w·x+b=0，可以2類分開，它所對(duì)應(yīng)的分類函為g(x)=w·x+b。將g(x)歸一化后，求解最優(yōu)分類面的問(wèn)題等價(jià)于最小化‖w‖，目標(biāo)函數(shù)為:min φ(w)=12‖w‖.2=12w.T·w(19) 式(19)的條件為：yi(+b)≥1，i=1，2，…，n，最優(yōu)解是下面定義Lagrance函數(shù)的鞍點(diǎn)：L(w，b，α)=12‖w‖.2-∑ni=1αi(yi(w·xi+b)-1)(20) 上式分別對(duì)w和b求偏導(dǎo)，并令它們等于0 ，這個(gè)最優(yōu)解還必須滿足約束條件：

αi(yi(w·xi+b))-1=0，i=1，2，…，n，最終可得到判別函數(shù)為：

f(x，a′，b′)＝sgn(∑ni=1yiαi′+b′)(21)

對(duì)于線性不可分的情況，目標(biāo)函數(shù)φ(w)改寫為：min φ(w)＝12w.T·w+C(∑ni=1ξ)(22) 利用核函數(shù)K(x，y)代替原來(lái)的點(diǎn)積，最優(yōu)分類函數(shù)為：f(x，a′，b′)=sgn(∑ni=1yiai′K(xi，x)+b′)(23)圖2 系統(tǒng)結(jié)構(gòu)圖5 實(shí) 驗(yàn)

基于上述思想，實(shí)現(xiàn)了一個(gè)圖像檢索系統(tǒng)，該系統(tǒng)在Windows XP下開發(fā)，運(yùn)行在P43.0 G，RAM 1 G的PC機(jī)上對(duì)一個(gè)具有3 000幅的彩色圖像數(shù)據(jù)庫(kù)進(jìn)行處理。檢索的效果有2個(gè)度量標(biāo)準(zhǔn)：precision和recall。precision是被檢索到的圖像和在數(shù)據(jù)庫(kù)中相關(guān)的被檢索圖像的總數(shù)的比率，recall是被檢索到的圖像和在數(shù)據(jù)庫(kù)中相關(guān)的圖像的總數(shù)的比率。Recall和precision定義如下：R=NT和P=NK(24)式(24)中，N是相關(guān)的被檢索的圖像數(shù)量；T是相關(guān)圖像的總數(shù)；K是檢索的圖像的數(shù)量。

實(shí)驗(yàn)用本文的方法與其他3種其他不同的圖像檢索方法在檢索性能上做了比較，本文的方法為基于相關(guān)反饋的在ROI中綜合特征提取的方法。其他3種方法分別為：在ROI中的綜合特征的提取方法、綜合特征(color+texture+shape)的提取方法和只提取顏色和紋理的方法。實(shí)驗(yàn)結(jié)果對(duì)比如下：

圖3 對(duì)比結(jié)果圖4 綜合特征提取的結(jié)果圖5 基于相關(guān)反饋的在ROI中綜合特征提取的結(jié)果

6 結(jié) 語(yǔ)

本文首先在ROIs中提取顏色、紋理、形狀綜合特征，然后對(duì)圖像進(jìn)行檢索。在檢索過(guò)程中，提出基于SVM的相關(guān)反饋技術(shù)，加強(qiáng)用戶的交互，縮小底層特征和高層語(yǔ)義之間的語(yǔ)義鴻溝，提高了檢索精度。由于系統(tǒng)僅計(jì)算的ROIs中的顏色、形狀和紋理綜合特征向量，增強(qiáng)了系統(tǒng)的有效性和魯棒性，大大改善了圖像檢索的性能。實(shí)驗(yàn)結(jié)果表明，該方法提高了檢索的效率，且具有良好的魯棒性。

參 考 文 獻(xiàn)

［1］Smeulders A W M，Worring M，Gupta A，et al.Contentbased Image Retrieval at the end of the Early Years\\.IEEE Trans.Pattern Anal.Machine Intell.，2000，22:1 3491 380.

［2］Choras R.Contentbased Retrieval Using Color，Texture，and Shape Information.Progress in Pattern Recognition，Speech and Image Analysis，Springer，Heidelberg，2003.

［3］Howarth P.Rüger S.Evaluation of Texture Features for Contentbased Image Retrieval\\.Image and Video Retrieval.Springer LNCS，2004.

［4］Flicker M，Sawhney H，Niblack W，et al.Query by Image and Video Content:The QBIC System.IEEE Comput.Mag.，1995，28:2332.

［5］章毓晉.基于內(nèi)容的視覺信息檢索［M］.北京:科學(xué)出版社，2003.

［6］Smith J R，Chang S F.VisualSEEK:A Fully Automated Contentbase Image Query System.In:Proceedings of the ACM International Conference on Multimedia，Boston，MA，1997:8798.

［7］曹莉華，柳偉，李國(guó)解.基于多種主色調(diào)的圖像獲取算法研究與實(shí)現(xiàn)［J］.計(jì)算機(jī)研究與發(fā)展，1999，36(1):96100.

［8］鐘洪，夏利民.基于本體的圖像檢索［J］ 計(jì)算機(jī)工程與應(yīng)用，2007，43(17):3740.

［9］邊肇祺，張學(xué)工.模式識(shí)別［M］.北京:清華大學(xué)出版社，2003.

［10］Bach JR，F(xiàn)uller C，Gupta A，et al.The Virage Image Search Engine:An Open Framework for Image Management.SPIE Storage RetrStill Image Video Database 1996:7687.

作者簡(jiǎn)介 吳 凱 男，1980年出生，碩士，湖南岳陽(yáng)人。研究方向?yàn)閳D像處理、模式識(shí)別。

谷士文 男，1944年出生，教授，湖南長(zhǎng)沙人，博士生導(dǎo)師。研究方向?yàn)閳D像處理、模式識(shí)別。

劉應(yīng)龍 男，1958年出生，湖南長(zhǎng)沙人，副教授。研究方向?yàn)槎嗝襟w工業(yè)視覺(機(jī)器人視覺)檢測(cè)。

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文