嚴(yán) 宇，宋 威

1.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214122

2.物聯(lián)網(wǎng)技術(shù)應(yīng)用教育部工程研究中心，江蘇 無錫 214122

顏色和紋理混合描述符圖像檢索方法*

嚴(yán) 宇1,2+，宋 威1,2

1.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214122

2.物聯(lián)網(wǎng)技術(shù)應(yīng)用教育部工程研究中心，江蘇 無錫 214122

如何從數(shù)據(jù)龐大的圖像數(shù)據(jù)庫中建立索引并準(zhǔn)確檢索出相關(guān)圖像是現(xiàn)階段急需解決的問題。從圖像的局部2×2像素網(wǎng)格提取圖像的顏色和紋理特征，其中顏色特征從經(jīng)過非均勻量化的HSV顏色空間提取，定義了5類新穎的紋理結(jié)構(gòu)描述符用來描述圖像的紋理。通過分別提取每個(gè)顏色值的紋理特征結(jié)構(gòu)得到最終的具有旋轉(zhuǎn)和尺寸不變性的顏色和紋理混合特征描述符（color and texture hybrid descriptor，CTHD）。在Corel標(biāo)準(zhǔn)圖片庫和Corel-5K圖片庫中進(jìn)行了實(shí)驗(yàn)，經(jīng)過與其他圖像檢索方法對(duì)比，所提方法具有更好的檢索準(zhǔn)確率。

顏色特征；紋理特征；結(jié)構(gòu)元素描述符；旋轉(zhuǎn)和尺寸不變性

1 引言

隨著多媒體技術(shù)的發(fā)展，圖像在各個(gè)領(lǐng)域的應(yīng)用越來越廣泛。如何有效地組織、管理和檢索大規(guī)模的圖像數(shù)據(jù)庫已成為目前研究的熱點(diǎn)問題[1]。早期的基于文本的圖像檢索算法是一種人為對(duì)圖像內(nèi)容做出注釋，并進(jìn)行關(guān)鍵詞搜索的技術(shù)。由于人為的注釋具有不充分、主觀、費(fèi)時(shí)費(fèi)力等缺點(diǎn)，基于內(nèi)容的圖像檢索（content-based image retrieval，CBIR）技術(shù)[2]受到學(xué)術(shù)界及其實(shí)際應(yīng)用領(lǐng)域的廣泛關(guān)注。CBIR是指根據(jù)圖像中對(duì)象或區(qū)域的顏色、形狀、紋理、空間位置關(guān)系等特征以及這些特征的組合來查詢圖像[3]?；趦?nèi)容的圖像檢索技術(shù)在人臉識(shí)別、數(shù)字圖書館、衛(wèi)星遙感圖像、公安系統(tǒng)、商標(biāo)版權(quán)等領(lǐng)域有著很廣泛的應(yīng)用，CBIR技術(shù)的好壞取決于所提取的圖像特征描述符對(duì)圖像的鑒別能力，一個(gè)好的檢索系統(tǒng)能夠提取出圖像更多的細(xì)節(jié)信息。近年來，基于語義的圖像檢索[4]技術(shù)開始流行，相較于CBIR技術(shù)，該方法能夠描述圖像的語義信息，更符合人類的視覺感知。一些研究者運(yùn)用相關(guān)反饋技術(shù)獲取用戶的喜好，能夠解決圖像底層特征與用戶認(rèn)知之間的語義鴻溝，但是該方法缺少靈活性，且需要用戶及時(shí)地提供反饋信息。

在CBIR的研究中，學(xué)者們提出了很多典型的算法來提取圖像的顏色、紋理和形狀特征。顏色特征是最主觀且易于區(qū)分的視覺特征，它計(jì)算簡單，具有旋轉(zhuǎn)、尺寸、平移無關(guān)性。比較常見的顏色檢索方法有顏色直方圖、顏色相關(guān)圖、顏色一致性矢量、顏色矩等[5]。紋理是一種反映圖像中同質(zhì)現(xiàn)象的視覺特征，它體現(xiàn)了物體表面的具有緩慢變化或者周期性變化的表面結(jié)構(gòu)組織排列屬性。紋理分析的主要算法有灰度共生矩陣、馬爾可夫隨機(jī)模型、Gabor濾波、小波分解等。形狀特征被廣泛地應(yīng)用于目標(biāo)識(shí)別和圖片檢索等領(lǐng)域，典型的形狀描述算法有不變矩、傅里葉變換系數(shù)、邊緣曲率和弧長等[6]。

近年來，出現(xiàn)了很多典型的基于內(nèi)容的圖像檢索算法。吳建波等人提出了一種基于SIFT（scaleinvariant feature transform）優(yōu)化的圖像檢索算法[7]，該算法采用高斯核自適應(yīng)的方法來構(gòu)建金字塔影像，對(duì)于圖像的局部位置、尺度、旋轉(zhuǎn)不變量進(jìn)行特征提取。該算法具有尺度、平移、旋轉(zhuǎn)不變性，但其尺度空間耗時(shí)，計(jì)算復(fù)雜。2013年Subrahmanyam等人[8]在MCM（motif co-occurrence matrix）基礎(chǔ)上使用改進(jìn)后的基元共生矩陣（modified color motif co-occurrence matrix,MCMCM）表示圖像。上述兩者都主要從紋理特征出發(fā)，通過基元描述符提取圖像屬性信息，然而后者過于依賴權(quán)值，且對(duì)于一些特定的網(wǎng)格在基元提取中存在歧義。2013年Liu等人提出了顏色差分直方圖[9]（color difference histogram,CDH），該方法雖然考慮了圖像的顏色以及方向特征，但是未能充分地結(jié)合圖像的紋理空間分布信息。Wang等人提出的一種新穎的結(jié)構(gòu)元素描述符[10]（structure elements’descriptor,SED）將RGB顏色空間轉(zhuǎn)換為HSV顏色空間，并將顏色空間量化為72柄，提出了5種結(jié)構(gòu)描述符來描述圖像的紋理結(jié)構(gòu)。該方法結(jié)合了圖像的顏色和紋理特征，但因?yàn)樘崛〉募y理基元只保留符合條件的像素點(diǎn)，所以容易造成圖像信息的失真。

綜合上述問題，本文提出了一種有效的顏色和紋理混合特征描述符（color and texture hybrid descriptor，CTHD）來表示圖像，該描述符應(yīng)用定義的5類新穎的結(jié)構(gòu)元素符提取圖像的紋理特征，量化為72柄的HSV顏色空間被用來提取圖像的顏色特征。實(shí)驗(yàn)中，逐次統(tǒng)計(jì)每個(gè)顏色級(jí)數(shù)下出現(xiàn)定義的5類結(jié)構(gòu)元素的頻數(shù)，本文方法能夠有效地獲取圖像顏色和紋理特征之間的相互關(guān)聯(lián)信息。實(shí)驗(yàn)表明本文提出的CTHD方法能夠高效地結(jié)合圖像的顏色紋理特征，相比于 SIFT[7]、MCMCM&DBPSP[8]、CDH[9]、SED[10]、HID（hybrid information descriptor）[11]等方法，本文方法具有很好的檢索性能。

2 HSV顏色空間量化

HSV顏色空間被廣泛地應(yīng)用于顏色特征的提取。在HSV顏色空間中，H表示圖像的色調(diào)，S表示飽和度即顏色接近光譜色的程度，V表示圖像的明亮程度，HSV顏色空間符合人類的視覺感知。眾所周知，顏色提供了圖像的很多視覺特征，人眼無法在同一時(shí)間分辨出很多顏色，但是可以分辨出相似的一類顏色[10]。

為了分辨出相似的一類顏色，本文參考文獻(xiàn)[12]將HSV顏色空間量化為72級(jí)，經(jīng)量化后的顏色空間能夠減少計(jì)算復(fù)雜度。實(shí)驗(yàn)中將RGB顏色空間轉(zhuǎn)換到HSV顏色空間，根據(jù)HSV顏色空間的屬性特征，H∈[0,360],S∈[0,1],V∈[0,1],量化為72柄（bin）的過程如下：

按照人類的視覺分辨能力，將H分量非均勻量化為8級(jí)，S分量和V分量量化為3級(jí)，見式（1）、（2）、（3）：

構(gòu)造一維特征矢量，按照以上的量化級(jí)，把3個(gè)顏色分量合成一維特征矢量:

式（4）中，QS、QV表示分量S、V被量化的級(jí)數(shù)，顯然QS=3,QV=3,則式（4）可以表示為：

這樣，H、S、V分量在一維矢量上分布開來。根據(jù)上述公式P的取值范圍為[0,1,2,…,71],計(jì)算P獲得72柄（bin）的一維直方圖。

3 特征提取

3.1 結(jié)構(gòu)元素描述符

在基于內(nèi)容的圖像檢索系統(tǒng)中，顏色、紋理和形狀扮演著非常重要的角色。圖像是由底層的顏色、紋理和形狀等特征表示的。作為同一類型的圖片，它們的局部結(jié)構(gòu)特征往往具有一定的相似性。文獻(xiàn)[13]認(rèn)為圖片的內(nèi)容是由多個(gè)結(jié)構(gòu)元素按照一定的規(guī)則組合而成的。如果能夠?qū)⑻囟ǖ慕Y(jié)構(gòu)元素提取出來并進(jìn)行有效的描述，即可將這些結(jié)構(gòu)特征作為比較與分析不同圖像紋理信息的基礎(chǔ)。因此如何定義有效的結(jié)構(gòu)元素描述符，將圖像的內(nèi)容用結(jié)構(gòu)元素描述符刻畫出來是實(shí)現(xiàn)圖像匹配的關(guān)鍵。針對(duì)2×2的像素網(wǎng)格，本文定義了5類結(jié)構(gòu)元素描述符用來描述圖像的紋理結(jié)構(gòu)，見圖1。

Fig.1 5 structure elements descriptors圖1 5類結(jié)構(gòu)元素描述符

圖1中的結(jié)構(gòu)元素描述符由2×2的像素網(wǎng)格定義而成，描述符（1）表示該網(wǎng)格中僅存在某一顏色值的像素；（2）表示兩個(gè)相鄰的像素?fù)碛邢嗤念伾?；?）表示對(duì)角的兩個(gè)像素?fù)碛邢嗤南袼刂?；?）表示3個(gè)像素網(wǎng)格擁有相同的顏色值；（5）表示2×2的4個(gè)像素網(wǎng)格擁有相同的顏色值。文獻(xiàn)[13]只考慮了2×2的像素網(wǎng)格0°、45°、90°、135°和無方向這5個(gè)結(jié)構(gòu)描述符作為圖像的紋理結(jié)構(gòu)描述符，該結(jié)構(gòu)元素描述符僅僅考慮了有限的幾種特殊的紋理分布，在提取圖像紋理特征過程中是一種失真處理，不具有全面性，無法反應(yīng)圖像所有像素的結(jié)構(gòu)信息。文獻(xiàn)[8]針對(duì)2×2的像素網(wǎng)格定義了6種基元結(jié)構(gòu)，這6種基元都從2×2網(wǎng)格的左上角開始掃描，掃描順序遵循像素值變化最小的規(guī)則，即最先掃描左上角網(wǎng)格，緊接著掃描與左上角網(wǎng)格像素差值最小的網(wǎng)格。不論像素值的大小只要像素值變化趨勢一樣，就會(huì)擁有一樣的紋理結(jié)構(gòu)，忽略了顏色信息，且只考慮了從左上角開始掃描的情況。相比于傳統(tǒng)的紋理結(jié)構(gòu)描述符，本文的5類結(jié)構(gòu)元素符考慮了2×2網(wǎng)格能夠出現(xiàn)的所有紋理結(jié)構(gòu)情況，能更全面地表示圖像的紋理信息。

為了說明運(yùn)用結(jié)構(gòu)元素描述符提取圖像紋理特征的原理，針對(duì)2×2的像素網(wǎng)格假設(shè)原始圖像矩陣僅被量化為兩個(gè)顏色柄。定義Pi(i=0～5)表示2×2網(wǎng)格提取出的結(jié)構(gòu)元素描述符類別，其中Pi由5位字符表示，第1位字符描述結(jié)構(gòu)（1）出現(xiàn)的情況，當(dāng)某個(gè)2×2網(wǎng)格出現(xiàn)結(jié)構(gòu)（1）時(shí)，Pi第1位字符置1；依次類推，Pi第i位描述結(jié)構(gòu)（i）的情況，當(dāng)某個(gè)2×2網(wǎng)格出現(xiàn)結(jié)構(gòu)（i）時(shí)，Pi的第i位字符置1。具體提取過程見圖2。圖2（a）中沒有出現(xiàn)任何定義的5類結(jié)構(gòu)元素描述符的情況，則Pi所有值皆為0，定義無結(jié)構(gòu)的情況為P0=00000;圖2（b）中出現(xiàn)了結(jié)構(gòu)（1）的情況，則有P1=10000;繼續(xù)觀察圖2（c）～（f），當(dāng)2×2網(wǎng)格出現(xiàn)結(jié)構(gòu)（i）的情況時(shí)Pi(i=2～5)的第i位字符置為1，其他位字符置為0。分別有P2=01000,P3=00100,P4=00010,P5=00001。

Fig.2 Patterns extracted from structure elements圖2 結(jié)構(gòu)元素描述符提取

3.2 顏色紋理結(jié)構(gòu)描述符

Pi存儲(chǔ)了2×2像素網(wǎng)格應(yīng)用5類結(jié)構(gòu)元素符提取的圖像紋理信息，但是僅僅刻畫了圖像的紋理結(jié)構(gòu)信息。為了在提取紋理特征的同時(shí)獲取圖像的顏色特征，定義SPC表示顏色值為C時(shí)出現(xiàn)紋理結(jié)構(gòu)Pi的情況。實(shí)驗(yàn)中通過統(tǒng)計(jì)SPC的情況，可以有效結(jié)合圖像的顏色和紋理信息。圖3描述了2×2的圖像網(wǎng)格紋理信息的提取過程，為了更簡單直觀地描述該提取過程，定義該網(wǎng)格只有0～3共4個(gè)顏色值。由圖3可以看出，當(dāng)顏色值為0時(shí)，該網(wǎng)格出現(xiàn)的結(jié)構(gòu)元素描述符為結(jié)構(gòu)（2），即P2,則有SP0=P2;顏色值為1和3時(shí)出現(xiàn)的都是結(jié)構(gòu)（1），即有SP1=SP3=P1;由于該網(wǎng)格中沒有出現(xiàn)顏色值2，不存在任何結(jié)構(gòu)特征，則SP2=P0。

Fig.3 Extraction of structure map for each quantized color圖3 不同顏色值的結(jié)構(gòu)圖提取

實(shí)驗(yàn)中將各級(jí)顏色的SPC進(jìn)行連結(jié)得到最終的特征向量SP,計(jì)算過程見式（6），其中(x,y)表示大小為m×n的圖像M的像素坐標(biāo)，Q(Q∈[0,71])表示HSV顏色空間量化的顏色值，SPC(x,y)是每個(gè)像素點(diǎn)(x,y)的結(jié)構(gòu)特征，其有5種不同的結(jié)構(gòu)描述符。因此SP(x,y)是大小為72×5維的特征向量。

為了提取過程的簡單直觀，定義原始圖像是一幅顏色值為0～3，大小為4×4的圖像矩陣。圖4描述了SP(x,y)詳細(xì)的提取過程：

（1）實(shí)驗(yàn)從矩陣的(0,0)位置出發(fā)，從左往右，從上往下，以兩個(gè)單位步長依次移動(dòng)2×2的像素網(wǎng)格掃描圖像矩陣；

（2）觀察每個(gè)2×2網(wǎng)格顏色值i(i∈[0,3])出現(xiàn)結(jié)構(gòu)Pj(j∈[1,5])的情況；

（3）得到最終的SP(x,y)={SP0∪SP1∪SP2∪SP3}。

Fig.4 Extraction flowchart ofSP(x,y)圖4 SP(x,y)提取流程圖

圖4（a）分析了顏色值為0時(shí)，紋理結(jié)構(gòu)出現(xiàn)的情況。在圖像矩陣中有兩個(gè)2×2網(wǎng)格出現(xiàn)了顏色值為0的情況，第一個(gè)2×2網(wǎng)格顏色值出現(xiàn)在對(duì)角像素，即結(jié)構(gòu)（3）的情況，則Pi的第3位字符置1；另外一個(gè)2×2網(wǎng)格符合結(jié)構(gòu)描述符（2）的情況，即將Pi的第2位字符置1，得到最終的SP0=01100。圖4（b）分析了顏色值為1時(shí)的紋理結(jié)構(gòu)信息，2×2網(wǎng)格出現(xiàn)顏色值1且結(jié)構(gòu)（1）的頻數(shù)為2，出現(xiàn)結(jié)構(gòu)（3）的頻數(shù)為1，則SP1=20100。依次類推，分別統(tǒng)計(jì)出顏色值為2、3時(shí)，SP2=30100,SP3=10100。根據(jù)式（6）得到最終的特征向量：SP={01100 20100 30100 10100},其中SP的維數(shù)為顏色值個(gè)數(shù)乘以結(jié)構(gòu)元素描述符的個(gè)數(shù)，即4×5=20維。

觀察本文定義的紋理結(jié)構(gòu)描述符，不難發(fā)現(xiàn)，它能解決旋轉(zhuǎn)圖像的檢索問題，本文的結(jié)構(gòu)元素描述符具有旋轉(zhuǎn)不變性。進(jìn)一步地，為了解決圖像縮放帶來的檢索困難，實(shí)驗(yàn)中進(jìn)行了歸一化處理，見式（7）：

式（7）中，Q表示HSV顏色空間被量化的顏色柄數(shù)，本文取值72；S表示結(jié)構(gòu)元素描述符的個(gè)數(shù)，文中為5。因此CTHD是大小為72×5=320維的特征向量。

4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)是在Matlab R2011b，MyEclipse 8.6和My-SQL搭建的平臺(tái)上進(jìn)行。計(jì)算機(jī)系統(tǒng)配置如下：CPU為Intel?Corel i3-3240；主頻為3.40 GHz；內(nèi)存為 4 GB；操作系統(tǒng)為Microsoft Windows7。實(shí)驗(yàn)采用Corel標(biāo)準(zhǔn)圖像庫[14-15]。第一個(gè)圖像庫Corel-1K包括非洲土著、海灘、建筑、大巴、恐龍、大象、花卉、馬、山和食物10類圖片，每類數(shù)目為100張，一共1 000幅RGB彩色圖像。圖片大小均為256×384像素或384×256像素，JPG格式。第二個(gè)圖像庫Corel-5K包含日落、汽車、老虎等50類彩色圖像，每類數(shù)目為100張，一共5 000幅RGB彩色圖像，圖片大小為128×192像素或192×128像素，JPEG格式。

精確度precision與召回率recall是信息檢索領(lǐng)域中使用最為頻繁的兩種評(píng)價(jià)度量值。本文將PR值作為衡量檢索系統(tǒng)性能好壞的標(biāo)準(zhǔn)，其中精確度precision是指檢索到的相關(guān)圖像數(shù)M與當(dāng)前檢索到的所有圖像總數(shù)N之間的比例，用于衡量圖像檢索的查準(zhǔn)率。召回率recall是指檢索到的相關(guān)圖像數(shù)M與所有與檢索圖像相關(guān)的圖像數(shù)S的比例，用于衡量圖像檢索的查全率。具體計(jì)算公式如下：

在Corel-1K及Corel-5K圖像庫中，相同類別的圖像數(shù)目都為100，則S的值為100。實(shí)驗(yàn)中，隨機(jī)抽取每個(gè)類別圖像中的15張圖片作為查詢圖像，則相應(yīng)的在Corel-1K中要完成150次檢索，在Corel-5K中要完成750次檢索，求得M為10,20,…,100時(shí)precision的值，將其作為本文檢索方法的評(píng)價(jià)指標(biāo)。

4.1 相似度度量

怎樣在數(shù)量龐大的數(shù)據(jù)庫中找到所需要的圖片，需要通過相應(yīng)的相似度度量算法衡量圖片之間的相似性，從而檢索出與檢索圖片相似的圖片。對(duì)于圖像檢索，相似度度量是一個(gè)非常重要的環(huán)節(jié)，它直接決定了檢索時(shí)間以及檢索結(jié)果的正確性。常見的相似度度量算法有d1距離、歐氏距離、cos值等。假設(shè)查詢圖片的特征向量為Q={q1,q2,…,qn},圖片庫中圖片特征向量為T={t1,t2,…,tn},則這3種相似度度量公式定義如下。

d1距離：

歐氏距離：

cos值：

式中，M表示圖片特征向量的維數(shù)。本文針對(duì)式（10）～（12）進(jìn)行了PR值對(duì)比實(shí)驗(yàn)，對(duì)比結(jié)果見圖5及圖6。

在Corel-1K圖像庫中針對(duì)相同的檢索算法，本文提出的3種相似度度量方法d1距離、cos值和歐氏距離擁有不同的檢索表現(xiàn)。由圖5可以看出，d1距離度量方法的平均精確度-召回率曲線位于另外兩種相似度度量方法的上方，說明d1距離度量方法擁有比較好的檢索性能。

Fig.5 Mean precision-recall pair comparison of 3 similarity metrics on Corel-1K dataset圖5 Corel-1K圖像庫上3種相似度度量的平均精確度-召回率對(duì)比

圖6顯示了Corel-5K圖像庫中3種相似度度量算法的平均精確度-召回率對(duì)比結(jié)果。其中d1距離度量方法的檢索性能遠(yuǎn)遠(yuǎn)好于其他兩種相似度度量方法。本文的特征向量是維度為320的一維向量，針對(duì)同類樣本之間特征值的大小通常差異較小，而對(duì)于不同類別的圖像樣本之間，同維像素值相差通常比較大，通過計(jì)算比較檢索圖像與同種類別圖像的距離，及其與異類別圖像距離，d1距離的區(qū)分度要優(yōu)于歐氏距離和cos距離。并且本文采用的d1距離公式中不涉及平方、開方操作，運(yùn)算簡單，檢索準(zhǔn)確率高。因此本文將d1距離作為圖像檢索的相似度度量方法。

4.2 不同檢索方法的實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文方法的有效性，將其與SED、CDH、MCMCM&DBPSP（以下簡稱M&D）、HID、SIFT這5種方法分別在Corel-1K和Corel-5K圖片庫上進(jìn)行對(duì)比實(shí)驗(yàn)，得到的平均精確度-召回率對(duì)比結(jié)果如圖7和圖8所示。

由圖7可以看出，平均精確度-召回率曲線基本都呈現(xiàn)逐漸遞減的狀態(tài)。其中CTHD方法曲線都位于其他曲線上方，這表示本文方法在召回率相同的情況下?lián)碛懈叩臋z索準(zhǔn)確率。觀察召回率為0.1時(shí)的情況，SED、CDH、MCMCM&DBPSP（以下簡稱M&D）、HID、SIFT方法的檢索準(zhǔn)確率分別為77.6%、67.8%、62.5%、82.4%、2.1%，而本文方法擁有94.7%的檢索準(zhǔn)確率，這說明本文方法具有很好的實(shí)用性。

Fig.6 Mean precision-recall pair comparison of 3 similarity metrics on Corel-5K dataset圖6 Corel-5K圖像庫上3種相似度度量的平均精確度-召回率對(duì)比

Fig.7 Mean precision-recall pair comparison of 6 retrieval methods on Corel-1K dataset圖7 Corel-1K圖像庫上6種檢索方法的平均精確度-召回率對(duì)比

觀察圖8，針對(duì)Corel-5K圖像庫，隨機(jī)抽取每個(gè)類別的15張圖像，完成750次檢索，統(tǒng)計(jì)召回率為0.1～1.0時(shí)的平均精確度，本文CTHD方法相比于其他檢索方法在召回率為0.1時(shí)比檢索結(jié)果次好的HID方法平均檢索準(zhǔn)確率提高了20%，在召回率為0.2～0.4時(shí)平均精確度也高于次好的檢索方法10%左右。在其他的召回率下，本文檢索方法也擁有最高的檢索準(zhǔn)確率。說明本文方法擁有較好的檢索性能。為了充分說明本文方法的有效性，還針對(duì)圖像庫中各類別圖像，對(duì)比了CTHD方法與其他方法前N張圖像的檢索準(zhǔn)確率，結(jié)果見表1。

Fig.8 Mean precision-recall pair comparison of 5 retrieval methods on Corel-5K dataset圖8 Corel-5K圖像庫上5種檢索方法的平均精確度-召回率對(duì)比

表1統(tǒng)計(jì)了Corel-1K圖像庫中，每類圖片前12張圖像的平均檢索準(zhǔn)確率-召回率。從表1中可以清晰地看出，本文方法針對(duì)Corel庫中的10個(gè)類別，都有著較高的檢索準(zhǔn)確率，特別是針對(duì)花、恐龍、食物、馬和建筑，本文方法擁有95%以上的檢索精確率，對(duì)于沙灘和山這類圖像內(nèi)容不太好描述的自然景觀，也有著相對(duì)比較高的檢索準(zhǔn)確率。其中SIFT結(jié)構(gòu)特征提取圖像的特征點(diǎn)及每個(gè)特征點(diǎn)對(duì)應(yīng)的特征向量，由于某些圖像得到特征點(diǎn)數(shù)較少，不能很好地表示圖像內(nèi)容，以及檢索結(jié)果受比例閾值等參數(shù)影響較大，魯棒性不強(qiáng)，因此檢索效率不高。SED方法只考慮了符合條件的結(jié)構(gòu)元素描述符，提取過程中存在部分圖像紋理信息的失真。而本文方法從更符合人類視覺感知的HSV顏色空間提取圖像的顏色特征，提出的5類新穎的結(jié)構(gòu)元素描述符考慮了2×2像素的各種顏色值下紋理分布的情況，綜合考慮了圖像的顏色和紋理信息。本文的檢索算法還擁有旋轉(zhuǎn)、縮放不變性，魯棒性強(qiáng)。

Table 1 Comparison of mean precision with respect to first-N percentage on Corel-1K dataset表1 Corel-1K圖像庫上前N張圖像平均檢索準(zhǔn)確率-召回率

為了評(píng)價(jià)本文方法的檢索效率，實(shí)驗(yàn)將5種檢索方法分別在Corel-1K圖像庫中提取圖像特征的時(shí)間進(jìn)行了對(duì)比，對(duì)比結(jié)果如表2所示。

Table 2 Comparison of time for 5 retrieval methods on Corel-1K dataset表2 Corel-1K圖像庫上5種算法時(shí)間對(duì)比

從表2中可知，在特征提取時(shí)間的對(duì)比中，本文方法CTHD比HID方法慢，但是比其他3種方法快。其中M&D方法需要計(jì)算顏色基元共生矩陣，是圖像基元二維空間的紋理統(tǒng)計(jì)，空間復(fù)雜度高，時(shí)間消費(fèi)大。CDH方法涉及LAB顏色空間的轉(zhuǎn)換，需要消耗大量時(shí)間。本文方法不涉及復(fù)雜顏色空間的計(jì)算，特征提取過程簡單，計(jì)算快速。

進(jìn)一步地，為了更直觀反映檢索效果，從Corel-5K圖像庫中隨機(jī)抽取2幅圖像進(jìn)行檢索，并根據(jù)相似度由高到低的順序進(jìn)行顯示，檢索結(jié)果見圖9及圖10。

圖9顯示了老虎類語義圖像的檢索結(jié)果，分別列出了與查詢圖像最相似的前12張圖像，從檢索結(jié)果中可以看出，前12張圖像都是與檢索圖像同種類別的。圖10綠色植物檢索結(jié)果除了296.jpeg圖像，其他檢索結(jié)果皆與查詢圖像屬于同類別的圖像，其中第296.jpeg屬于珊瑚類別，雖然按照Corel-5K的圖像分類，珊瑚圖像與查詢圖片不屬于同一類別，但是它與綠色植物在紋理及顏色上有著相似的屬性，因此會(huì)被檢索出來。總體來說，本文方法具有良好的檢索表現(xiàn)。

5 結(jié)束語

Fig.9 Image retrieval for tiger圖9 老虎的檢索結(jié)果

本文提出了一種結(jié)合顏色和紋理混合描述符（CTHD）的圖像檢索方法，運(yùn)用提取出的5類結(jié)構(gòu)元素描述符歸納圖像的紋理結(jié)構(gòu)信息，通過將RGB顏色空間轉(zhuǎn)換到HSV顏色空間，量化為72個(gè)顏色柄的HSV顏色空間來描述圖像的顏色信息。統(tǒng)計(jì)每個(gè)顏色柄的紋理結(jié)構(gòu)分布情況，運(yùn)用該方法可以在考慮圖像顏色信息的同時(shí)提取圖像的紋理結(jié)構(gòu)信息，該方法魯棒性強(qiáng)，且具有旋轉(zhuǎn)、縮放無關(guān)性。通過與其他實(shí)驗(yàn)的對(duì)比，本文方法具有很好的檢索性能。

Fig.10 Image retrieval for plant圖10 綠色植物的檢索結(jié)果

[1]Song Linlin,Wang Xianghai.Image retrieval algorithm based on comprehensive color and texture features[J].Computer Engineering andApplications,2011,47(34):203-207.

[2]Chen Xiangtao,Wang Aiyun,Xie Weiping,et al.Survey of clustering algorithm based in content-based image retrieval.[J].Application Research of Computers,2008,25(12):3546-3549.

[3]Zhuang Yueting,Pan Yunhe,Wu Fei.Web-based multimedia information analysis and retrieval[M].Beijing:Tsinghua University Press,2002:28-70.

[4]Liu Ying,Zhang Dengsheng,Lu Guojun,et al.A survey of content-based image retrieval with high-level semantics[J].Pattern Recognition,2007,40(1):262-282.

[5]Huang Jing,Kumar S R,Mitra M,et al.Image indexing using color correlograms[C]//Proceedings of the 1997 Conference on Computer Vision and Pattern Recognition,San Juan,Puerto Rico,Jun 17-19,1997.Washington:IEEE Computer Society,1997:762-768.

[6]Liu Guanghai,Yang Jingyu.Image retrieval based on the texton co-occurrence matrix[J].Pattern Recognition,2008,41(12):3521-3527.

[7]Wu Jianbo,Zhao Jianmin,Zhu Xinzhong,et al.Image retrieval based on improved SIFT features[J].Microcomputer Applications,2011,27(5):4-7.

[8]Subrahmanyam M,Wu Q M J,Maheshwari R P,et al.Modified color motif co-occurrence matrix for image indexing and retrieval[J].Computers&Electrical Engineering,2013,39(3):762-774.

[9]Liu Guanghai,Yang Jingyu.Content-based image retrieval using color difference histogram[J].Pattern Recognition,2013,46(1):188-198.

[10]Wang Xingyuan,Wang Zongyu.A novel method for image retrieval based on structure elements’descriptor[J].Journal of Visual Communication and Image Representation,2013,24(1):63-74.

[11]Zhang Ming,Zhang Ke,Feng Qinghe,et al.A novel image retrieval method based on hybrid information descriptors[J].Journal of Visual Communication and Image Representation,2014,25(7):1574-1587.

[12]Liu Junling,Kong Degang,Zhao Hongwei,et al.Image retrieval based on weighted blocks and color feature[C]//Pro-ceedings of the 2011 International Conference on Mechatronic Science,Electric Engineering and Computer,Jilin,China,Aug 19-22,2011.Piscataway,USA:IEEE,2011:921-924.

[13]Liu Guanghai,Li Zuoyong,Zhang Lei,et al.Image retrieval based on micro-structure descriptor[J].Pattern Recognition,2011,44(9):2123-2133.

[14]Liu Yang,Jin Rong,Mummert L,et al.A boosting framework for visuality-preserving distance metric learning and its application to medical image retrieval[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2010,32(1):30-44.

[15]Walia E,Pal A.Fusion framework for effective color image retrieval[J].Journal of Visual Communication and Image Representation,2014,25(6):1335-1348.

附中文參考文獻(xiàn)：

[1]宋琳琳,王相海.一種綜合顏色和紋理特征的圖像檢索算法[J].計(jì)算機(jī)工程與應(yīng)用,2011,47(34):203-207.

[2]陳湘濤,王愛云,謝偉平,等.基于內(nèi)容圖像檢索的聚類算法研究[J].計(jì)算機(jī)應(yīng)用研究,2008,25(12):3546-3549.

[3]莊越挺,潘云鶴,吳飛.網(wǎng)上多媒體信息分析與檢索[M].北京:清華大學(xué)出版社,2002:28-70.

[7]吳建波,趙建民,朱信忠,等.基于一種SIFT優(yōu)化算法的圖像檢索[J].微型電腦應(yīng)用,2011,27(5):4-7.

2016-09,Accepted 2016-11.

Image Retrieval Based on Color and Texture Hybrid Descriptor*

YAN Yu1,2+,SONG Wei1,2
1.School of Internet of Things Engineering,Jiangnan University,Wuxi,Jiangsu 214122,China
2.Engineering Research Center of Internet of Things Technology Applications,Ministry of Education,Wuxi,Jiangsu 214122,China
+Corresponding author:E-mail:18762672458@163.com

Accurate image retrieval is required to index and retrieve large number of images from huge databases.This paper presents an efficient approach to encode the color and textural features of images from the local 2×2 pixel grids.The color features are extracted by quantizing the HSV color space into a single channel with reduced number of shades.The texture information is encoded with 5 structuring patterns generated from the locally structured elements chosen as a basis.Color and textural features are fused together to construct the inherent color and texture hybrid image descriptor(CTHD)which is rotation and scale invariant.This fusion is carried out by extracting textural cues over each shade independently.CTHD has been tested on the Corel-1K and Corel-5K datasets,and the experimental results suggest that CTHD outperforms state-of-the-art descriptors.The performance of the CTHD can also be effectively used under more complex image transformations.

color feature;textural feature;structure element descriptor;rotation and scale invariant

10.3778/j.issn.1673-9418.1609080

*The National Natural Science Foundation of China under Grant No.61673193(國家自然科學(xué)基金);the Fundamental Research Funds for the Central Universities of China under Grant Nos.JUSRP51635B,JUSRP51510(中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金);the Natural Science Foundation of Jiangsu Province under Grant No.BK20150159(江蘇省自然科學(xué)基金).

CNKI網(wǎng)絡(luò)優(yōu)先出版:2016-11-07,http://www.cnki.net/kcms/detail/11.5602.TP.20161107.1703.010.html

YAN Yu,SONG Wei.Image retrieval based on color and texture hybrid descriptor.Journal of Frontiers of Computer Science and Technology,2017,11(11)：1816-1825.

A

TP391.4

YAN Yu was born in 1991.She is an M.S.candidate at School of Internet of Things(IOT)Engineering,Jiangnan University.Her research interests include image retrieval,pattern recognition and data mining.

嚴(yán)宇（1991—），女，江蘇淮安人，江南大學(xué)碩士研究生，主要研究領(lǐng)域?yàn)閳D像檢索，模式識(shí)別，數(shù)據(jù)挖掘。

SONG Wei was born in 1981.He received the Ph.D.degree in computer science from Chonbuk National University,Korea in 2009.Now he is an associate professor at School of IOT Engineering,Jiangnan University,and the member of CCF.His research interests include pattern recognition,information retrieval,evolutionary computing,neural networks,image processing,data mining and knowledge discovery.

宋威（1981—），男，湖北恩施人，2009年于韓國全北國立大學(xué)獲得博士學(xué)位，現(xiàn)為江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院副教授，CCF會(huì)員，主要研究領(lǐng)域?yàn)槟Ｊ阶R(shí)別，信息檢索，演化計(jì)算，神經(jīng)網(wǎng)絡(luò)，圖像處理，數(shù)據(jù)挖掘，知識(shí)發(fā)現(xiàn)。