張玉兵，宋 威

1.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無(wú)錫 214122

2.物聯(lián)網(wǎng)技術(shù)應(yīng)用教育部工程研究中心，江蘇 無(wú)錫 214122

視覺特征的分塊加權(quán)圖像檢索方法*

張玉兵1,2+，宋 威1,2

1.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無(wú)錫 214122

2.物聯(lián)網(wǎng)技術(shù)應(yīng)用教育部工程研究中心，江蘇 無(wú)錫 214122

圖像檢索；分塊加權(quán)；視覺注意機(jī)制；Sobel算子；色差直方圖

1 引言

隨著多媒體技術(shù)和計(jì)算機(jī)技術(shù)的快速發(fā)展，使得現(xiàn)代信息處理的對(duì)象和方法都有很大的改變。數(shù)字圖書館、數(shù)字博物館、點(diǎn)播視頻服務(wù)和遠(yuǎn)程教育等新的服務(wù)形式和信息交流手段的產(chǎn)生，對(duì)人們的生活方式和社會(huì)發(fā)展產(chǎn)生了重要的影響。如何有效地組織、管理和檢索大規(guī)模的圖像數(shù)據(jù)庫(kù)，成為當(dāng)前熱門的研究課題。

傳統(tǒng)的圖像檢索是基于文本的方法（text-based image retrieval，TBIR），通過添加文本注釋來(lái)描述圖像并實(shí)現(xiàn)圖像檢索。該方法是通過手工方式來(lái)注釋圖像，不能自動(dòng)提取圖像的內(nèi)容，并且人的主觀性較強(qiáng)，從而降低了圖像檢索的準(zhǔn)確性，而且對(duì)大型數(shù)字圖像庫(kù)的手工注釋需要花費(fèi)大量時(shí)間和勞動(dòng)力，極大地降低了處理效率。因此基于內(nèi)容的圖像檢索（content-based image retrieval，CBIR）方法應(yīng)運(yùn)而生。CBIR通過自動(dòng)提取圖像的顏色、形狀、紋理等視覺特征[1-3]，并將其存儲(chǔ)在特征數(shù)據(jù)庫(kù)中用于檢索，比TBIR更加客觀準(zhǔn)確。接著，深度學(xué)習(xí)在圖像和視頻領(lǐng)域發(fā)展迅速，文獻(xiàn)[4]中的基于深度學(xué)習(xí)的圖像檢索，利用多個(gè)隱層的深度神經(jīng)網(wǎng)絡(luò)完成學(xué)習(xí)任務(wù)的機(jī)器學(xué)習(xí)方法，能夠解決底層特征和高層語(yǔ)義之間的鴻溝問題，但對(duì)于一個(gè)給定的深度學(xué)習(xí)模型，如何有效地學(xué)習(xí)到多種感知信息是個(gè)難題，并且神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)置等影響檢索結(jié)果。文獻(xiàn)[5]提出了基于SIFT（scale-invariant feature transform）特征的Bag of Word方法，其中SIFT結(jié)構(gòu)特征提取圖像的特征點(diǎn)及每個(gè)特征點(diǎn)對(duì)應(yīng)的特征向量，最后每張圖像得到128×n維的特征向量。由于特征向量維數(shù)不同且匹配的計(jì)算量十分巨大，檢索效率不高。而且某些圖像特征點(diǎn)數(shù)較少，不能很好地表示圖像內(nèi)容，以及檢索結(jié)果受比例閾值等參數(shù)影響較大，魯棒性不強(qiáng)。因此本文重點(diǎn)研究基于內(nèi)容的圖像檢索，以及如何更好地提取圖像視覺特征，其中顏色是圖像中最明顯的視覺特性，廣泛應(yīng)用于圖像處理。Swain和Ballard[6]提出的基于全局顏色直方圖（color histogram）的方法最先使用顏色進(jìn)行圖像檢索，它統(tǒng)計(jì)圖像中每種顏色出現(xiàn)的概率，具有計(jì)算速度快，存儲(chǔ)空間要求低，對(duì)旋轉(zhuǎn)圖像以及平移和尺度有變化的圖像不敏感等優(yōu)點(diǎn)。然而，該方法由于沒有考慮圖像的空間分布信息，不能有效地描述圖像的紋理特征。Wang等人[7]提出了一種結(jié)構(gòu)元素描述符（structure elements’descriptor，SED）的方法，定義了5種結(jié)構(gòu)單元，最后利用直方圖統(tǒng)計(jì)結(jié)構(gòu)單元。該方法雖然考慮了顏色和紋理信息，但其定義的結(jié)構(gòu)元素并不能完整地描述像素間的空間關(guān)系。文獻(xiàn)[8]提出了一種基于目標(biāo)區(qū)域的圖像檢索，根據(jù)最大類間方差法分割圖片，然后提取目標(biāo)區(qū)域的紋理特征進(jìn)行圖像檢索。該方法因?yàn)楹雎粤藞D片背景區(qū)域的影響，所以檢索精確度不高。

針對(duì)上述問題，本文提出了一種基于視覺特征的分塊加權(quán)圖像檢索方法。首先根據(jù)視覺注意機(jī)制[9]將圖像分成不均勻的若干塊，設(shè)置不同的權(quán)值，提取每塊的特征向量。然后在HSV顏色空間使用Sobel算子提取顏色和邊緣信息，計(jì)算顏色和邊緣方向的色差直方圖，定義一種顏色方向結(jié)構(gòu)。最后綜合每個(gè)分塊的直方圖作為視覺特征向量進(jìn)行圖像檢索。實(shí)驗(yàn)結(jié)果表明本文方法具有較高的檢索精確度。

2 圖像預(yù)處理及相關(guān)工作

HSV顏色空間具有視覺一致性，更符合人的視覺感知，因此本文采用該顏色空間?，F(xiàn)有的圖像采集設(shè)備得到的是RGB圖像，圖像處理中使用的其他顏色空間經(jīng)過RGB顏色模型轉(zhuǎn)換得到。設(shè)(R,G,B)是三維直角坐標(biāo)系中的紅、綠和藍(lán)分量值，取值范圍是0～255之間的整數(shù)。(H,S,V)是三維直角坐標(biāo)系中的色調(diào)、飽和度和亮度值，從RGB顏色空間轉(zhuǎn)換到HSV顏色空間的公式如下：

其中，色調(diào)H用角度度量，取值范圍為0°～360°；飽和度S取值范圍為0～1，值越大表示顏色越飽滿；亮度V描述顏色的明暗程度，取值范圍也是0～1。

為了降低圖像處理的計(jì)算復(fù)雜度以及更好地區(qū)分顏色，本文采用文獻(xiàn)[7]的方法將HSV顏色空間量化為72柄（bins），非均勻量化H、S和V分量，H分量分成8份，S和V分量分別分成3份，量化方法如下所示：

然后將這3個(gè)顏色分量合成為一維特征矢量即：

式中，Qs和Qv分別是S和V分量的量化級(jí)數(shù)，Qs=3，Qv=3即P=9H+3V+S。根據(jù)上式P的取值范圍為[0,1,…,71]，最后P得到一個(gè)72柄的一維直方圖。

邊緣方向是圖片感知的一個(gè)重要因素，圖片的方向表示對(duì)象區(qū)域的邊界和紋理結(jié)構(gòu)。因此邊緣方向檢測(cè)在計(jì)算機(jī)視覺和圖像處理等應(yīng)用中起著重要作用。目前有很多邊緣檢測(cè)方法，例如Sobel算子、Robert算子和Canny算子[10-11]等。其中Sobel算子具有提取邊緣精細(xì)，抗噪能力強(qiáng)等優(yōu)點(diǎn)，是一種簡(jiǎn)單有效的邊緣檢測(cè)算法，因此本文采用Sobel算子進(jìn)行邊緣檢測(cè)。由于這些算子都是在灰度層處理圖片，如果將彩色圖片轉(zhuǎn)換為灰度圖片進(jìn)行邊緣檢測(cè)，會(huì)丟失彩色信息。因此本文將柱面坐標(biāo)系的HSV顏色空間轉(zhuǎn)換到笛卡爾坐標(biāo)系的HSV顏色空間，然后進(jìn)行邊緣檢測(cè)，計(jì)算向量之間的角度。定義(H,S,V)是柱面坐標(biāo)系的點(diǎn)，(H′,S′,V′)是笛卡爾坐標(biāo)系的點(diǎn)，轉(zhuǎn)換公式如下：

定義水平方向和垂直方向的梯度為：a(Hx′,Sx′,Vx′)和b(Hy′,Sy′,Vy′)向量，Hx′表示H′分量的水平方向梯度，Hy′表示H′分量的垂直方向梯度，依次類推。因此向量a和向量b的點(diǎn)積定義為：

式中，θ表示邊緣方向，即向量a和向量b之間的夾角。為了降低特征向量維數(shù)和減少計(jì)算復(fù)雜度，需要對(duì)邊緣方向進(jìn)行合理量化。本文采用等間隔量化方法，將其量化成6、12和30份3種情況，然后根據(jù)反復(fù)實(shí)驗(yàn)比較每種量化組合的檢索效果，以得到最好的量化組合。

3 基于視覺特征的分塊加權(quán)圖像檢索

3.1 新的分塊及權(quán)值設(shè)置

圖像處理中傳統(tǒng)的分塊是將圖片均勻分成若干份，但是這樣并不符合人眼視覺注意機(jī)制，因此本文提出了一種新的分塊方法，如圖1所示。一般人第一眼看圖片都會(huì)集中在中間區(qū)域，然后是離中間區(qū)域比較近的區(qū)域，最后可能考慮到拐角區(qū)域，本文根據(jù)此想法首先將圖片均勻分成16塊，然后根據(jù)視覺注意機(jī)制劃分成3個(gè)區(qū)域A、B、C，如圖1所示。

Fig.1 Blocking method圖1 分塊方法

根據(jù)視覺注意機(jī)制，對(duì)每個(gè)區(qū)域賦予不同的權(quán)值，權(quán)值設(shè)置的方法如圖2所示。將一個(gè)2×2的子塊從左往右，從上往下依次掃描4×4網(wǎng)格，統(tǒng)計(jì)每個(gè)像素被掃描到的次數(shù)，可以得出區(qū)域C的每個(gè)像素被掃描4次，區(qū)域B的每個(gè)像素被掃描2次，區(qū)域A的每個(gè)像素被掃描1次，因此區(qū)域C的權(quán)值wC=4/(1+2+4)，區(qū)域B的權(quán)值wB=2/(1+2+4)，區(qū)域A的權(quán)值wA=1/(1+2+4)。

Fig.2 Setting weight圖2 權(quán)值設(shè)置

3.2 新的特征表示方法顏色和邊緣方向與人的視覺感知密切相關(guān)，如何利用它們表示圖像的顏色及空間分布信息是關(guān)鍵問題。本文提出了在HSV顏色空間計(jì)算色差來(lái)表示圖像顏色之間的關(guān)系，數(shù)學(xué)表達(dá)式如下：

式中，ΔH、ΔS、ΔV分別表示HSV顏色空間兩個(gè)像素點(diǎn)在H、S、V分量上的色差；C(x,y)表示點(diǎn)(x,y)顏色值；θ(x,y)表示點(diǎn)(x,y)的角度值；?1和?2表示兩個(gè)鄰近像素點(diǎn)的角度值；l1和l2表示兩個(gè)鄰近像素點(diǎn)的顏色值。計(jì)算距離為1的兩個(gè)像素點(diǎn)之間的色差直方圖，最后連接Hcolor(C(x,y))和Hori(θ(x,y))得到表示顏色特征的色差直方圖。然后在邊緣方向圖中提取紋理結(jié)構(gòu)特征，如圖3所示。在3×3的邊緣方向圖中，如果中間像素點(diǎn)的方向值與周圍鄰近的8個(gè)像素點(diǎn)方向值相等，則該像素賦值為1，否則為空。如果周圍鄰近的8個(gè)像素點(diǎn)沒有和中間像素點(diǎn)方向值相等的點(diǎn)，則全部賦值為空，公式如下：

Fig.3 Structure map圖3 結(jié)構(gòu)圖

式中，θ(x,y)表示3×3塊中邊緣像素點(diǎn)的角度值；θ(xc,yc)表示3×3塊中心像素點(diǎn)的角度值，距離為1。

對(duì)于大小為M×N的邊緣方向圖，分別從(1，1)，(1，2)，(2，1)，(2，2)點(diǎn)開始，依次從左往右，從上往下以步長(zhǎng)為3掃描，得到4個(gè)結(jié)構(gòu)圖M1(x,y)，M2(x,y)，M3(x,y)，M4(x,y)，然后根據(jù)式（16）合并4個(gè)結(jié)構(gòu)圖得到最后的紋理結(jié)構(gòu)，如圖4所示。

Fig.4 Orientation structure map圖4 方向結(jié)構(gòu)圖

得到方向結(jié)構(gòu)圖后，將其與顏色圖相交，得到顏色方向結(jié)構(gòu)圖，公式如下：

?表示一種相乘操作符，定義如下所示：

式中，OriMap(x,y)表示方向結(jié)構(gòu)圖；C(x,y)表示顏色圖；Hyb(x,y)即得到的紋理結(jié)構(gòu)圖，如圖5所示。

Fig.5 Texture structure map圖5 紋理結(jié)構(gòu)圖

得到紋理結(jié)構(gòu)圖后，利用式（18）進(jìn)行特征表示。

式中，g(xi,yi)表示邊緣像素點(diǎn)的值；g(xc,yc)表示中心像素點(diǎn)的值；表示中心像素和鄰近像素的距離，實(shí)驗(yàn)中取值為1。N表示值v0和vi相等的情況；表示值為v0時(shí)的情況總數(shù)；H(v0)得到一個(gè)72柄的特征矢量來(lái)表示圖像的顏色以及顏色空間分布信息。最后連接3個(gè)分塊的顏色特征和紋理特征得到圖像的特征向量，如下所示：

式中，wA、wB和wC是3個(gè)分塊的權(quán)值，而且wA+wB+wC=1；HA、HB和HC表示3個(gè)分塊的特征向量。

4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)在Matlab R2011b，MyEclipse 8.6和MySQL搭建的平臺(tái)上進(jìn)行，計(jì)算機(jī)系統(tǒng)配置如下：CPU為Intel?Corel i3-3240；主頻為3.40 GHz；內(nèi)存為4 GB；操作系統(tǒng)為Microsoft Windows 7。實(shí)驗(yàn)采用Corel標(biāo)準(zhǔn)圖像庫(kù)，第一個(gè)圖像庫(kù)Corel-1000包括非洲土著、海灘、建筑、大巴、恐龍、大象、花卉、馬、山和食物10類圖片，每類數(shù)目為100張，一共1 000幅RGB彩色圖像。圖片大小均256×384像素和384×256像素，JPG格式。第二個(gè)圖像庫(kù)Corel-5000包含日落、汽車、老虎等50類彩色圖像，每類數(shù)目為100張，一共5 000幅RGB彩色圖像，圖片大小為192×128像素和128×192像素，JPEG格式。

本文采用精確度（precision）和召回率（recall）作為圖像檢索的評(píng)價(jià)指標(biāo)。精確度指檢索到的相似圖片數(shù)目M與當(dāng)前檢索到的圖片總數(shù)目N之比。召回率指檢索到的相似圖片數(shù)目M與數(shù)據(jù)庫(kù)中所有和檢索圖片相似的圖片總數(shù)目S之比，計(jì)算公式如下：

本文實(shí)驗(yàn)取N=10，S=100，從Corel標(biāo)準(zhǔn)圖像庫(kù)中隨機(jī)抽取10張圖片作為查詢圖片，因此Corel-1000庫(kù)中共100次檢索，Corel-5000庫(kù)中共500次檢索，計(jì)算每張圖像在Recall=[0，1]之間對(duì)應(yīng)的精確度，再分別統(tǒng)計(jì)100次檢索的平均精確度和500次檢索的平均精確度作為評(píng)價(jià)該方法的指標(biāo)。

不同的顏色量化和邊緣方向角度量化導(dǎo)致檢索結(jié)果不同，本文通過反復(fù)實(shí)驗(yàn)法對(duì)不同的量化組合進(jìn)行統(tǒng)計(jì)分析，實(shí)驗(yàn)結(jié)果如表1所示。

Table 1 Mean precision of quantitative combination on Corel-1000 dataset表1 不同量化方法的平均精確度（Corel-1000）%

從表1可知，邊緣方向量化成72柄的檢索精確度比36和128柄高，當(dāng)邊緣方向量化取72柄，顏色量化分別為12柄時(shí)，檢索精確度達(dá)到65.50%。因此該方法選取顏色和邊緣方向分別量化成12和72柄，得到的顏色特征向量為84柄。

圖像檢索中常用的相似度度量方法有曼哈頓距離、歐氏距離和余弦相似度等，本文采用文獻(xiàn)[12]中的d1距離計(jì)算兩幅圖像的相似度，兩幅圖像相似即兩個(gè)特征向量相似。假設(shè)查詢圖像的特征向量為Q={q1,q2,…,qi}，圖片庫(kù)中圖像特征向量為T={t1,t2,…,ti},則d1距離公式表示如下：

式中，M是特征向量的維數(shù)。分別對(duì)這4種相似度度量在兩個(gè)圖像庫(kù)中進(jìn)行了對(duì)比分析，實(shí)驗(yàn)結(jié)果如圖6和圖7所示。

Fig.6 Mean precision-recall pair comparison of 4 similarity metrics on Corel-1000 dataset圖6 4種相似度度量的平均精確度-召回率對(duì)比（Corel-1000）

Fig.7 Mean precision-recall pair comparison of 4 similarity metrics on Corel-5000 dataset圖7 4種相似度度量的平均精確度-召回率對(duì)比（Corel-5000）

從圖6和圖7可知，本文方法用歐氏距離和余弦相似度度量得到的檢索精確度不是很高，而且需要進(jìn)行平方或者平方根運(yùn)算，計(jì)算復(fù)雜，不適用于大型圖像庫(kù)；用d1距離和曼哈頓距離度量得到的檢索結(jié)果較好。通過實(shí)驗(yàn)分析，d1距離和曼哈頓距離檢索的時(shí)間差不多，前者比后者的檢索精確度稍微高一點(diǎn)，因此本文采用d1距離進(jìn)行圖像的相似度度量。

為了驗(yàn)證本文方法的有效性，將本文方法和SED[7]、MSD（micro-structure descriptor）[13]、MTH（multi-texton histogram）[14]、HID（hybrid information descriptor）[15]、SIFT[16]5種方法在兩個(gè)圖片庫(kù)上進(jìn)行對(duì)比實(shí)驗(yàn)，得到的召回率-精確度曲線如圖8和圖9所示。

從圖8可知，當(dāng)召回率為0.1時(shí)，SED、MSD、MTH、HID、SIFT的平均精確度分別是77.43%、82.90%、77.74%、83.35%、75.50%，而本文方法的平均精確度達(dá)到94.84%，比另外5種方法精確度高出大約10%。當(dāng)召回率為1.0時(shí)，本文方法的平均精確度也高出大約10%。由于SIFT結(jié)構(gòu)特征得到的特征向量維數(shù)不同，進(jìn)行匹配的計(jì)算量十分巨大，因此在Corel-5000庫(kù)中和另外4種方法進(jìn)行對(duì)比。同理分析圖9，本文方法具有較高的檢索精確度。進(jìn)一步分析本文方法是否對(duì)各種圖像都有較好的檢索結(jié)果，統(tǒng)計(jì)Corel-1000庫(kù)中每類圖像的平均檢索精確度，如表2所示。

Fig.8 Precision-recall pair comparison of 6 retrieval methods on Corel-1000 dataset圖8 6種檢索方法的平均精確度-召回率對(duì)比（Corel-1000）

Fig.9 Precision-recall pair comparison of the five retrieval methods on Corel-5000 dataset圖9 5種檢索方法的平均精確度-召回率對(duì)比（Corel-5000）

從表2可知，本文方法針對(duì)大部分類得到的平均精確度為65.54%，召回率為6.55%，優(yōu)于其他5種檢索方法的檢索結(jié)果，尤其恐龍的精確度接近100%。而且針對(duì)紋理結(jié)構(gòu)復(fù)雜的圖像，檢索結(jié)果也較好，例如非洲土著和食物這兩類的平均精確度分別達(dá)到71.44%和54.74%。實(shí)驗(yàn)數(shù)據(jù)表明，基于視覺特征的分塊加權(quán)圖像檢索方法具有較高的檢索精確度。其中SIFT結(jié)構(gòu)特征提取圖像的特征點(diǎn)及每個(gè)特征點(diǎn)對(duì)應(yīng)的特征向量，由于某些圖像得到特征點(diǎn)數(shù)較少，不能很好地表示圖像內(nèi)容，以及檢索結(jié)果受比例閾值等參數(shù)影響較大，魯棒性不強(qiáng)，檢索效率不高。而本文方法根據(jù)視覺注意機(jī)制對(duì)圖像進(jìn)行分塊，使用HSV顏色空間和Sobel算子提取顏色和邊緣信息，不僅考慮了顏色差異，同時(shí)考慮了顏色空間分布特征，具有較好的檢索效果。同時(shí)通過實(shí)驗(yàn)統(tǒng)計(jì)了6種不同圖像檢索方法的檢索時(shí)間，求每幅圖像的平均檢索時(shí)間，結(jié)果如表3所示。

Table 2 Average retrieval precision on Corel-1000 dataset表2 Corel-1000中每類圖像平均精確度 %

Table 3 Retrieval time of 6 methods on Corel-1000 dataset表3 6種方法的檢索時(shí)間（Corel-1000）

從表3可知，本文方法的檢索時(shí)間比MTH稍微長(zhǎng)一點(diǎn)，但是比其他5種檢索方法要短。因?yàn)楸疚难芯炕诜謮K的圖像檢索方法，其中使用HSV顏色空間和Sobel算子來(lái)提取顏色和邊緣特征，從而構(gòu)造出直方圖作為視覺特征向量進(jìn)行檢索，直方圖計(jì)算速度快，對(duì)存儲(chǔ)空間要求不高；而且計(jì)算相似度時(shí)選用d1距離不需要進(jìn)行平方或者平方根運(yùn)算，計(jì)算簡(jiǎn)單、快速。其中基于SIFT結(jié)構(gòu)特征的圖像檢索方法時(shí)間比較長(zhǎng)，因?yàn)镾IFT首先提取每張圖像的特征點(diǎn)及每個(gè)特征點(diǎn)對(duì)應(yīng)的特征向量，每張圖像得到128×n維的特征向量，再進(jìn)行特征點(diǎn)的匹配，由于每張圖像的特征向量維數(shù)不同且匹配的計(jì)算量十分巨大，檢索效率不高。并且某些圖像特征點(diǎn)數(shù)較少，不能很好地表示圖像內(nèi)容，以及檢索結(jié)果受比例閾值等參數(shù)影響較大，魯棒性不強(qiáng)。

為了更直觀反映檢索效果，從Corel-1000圖像庫(kù)中隨機(jī)抽取3幅圖像進(jìn)行檢索，并根據(jù)相似度由高到低的順序進(jìn)行顯示，檢索結(jié)果如圖10～圖12所示。

從圖10～圖12可知，從第1幅到第12幅圖像為與查詢圖像最為接近的12幅圖像，從檢索結(jié)果可以看出所檢索到的圖像與查詢圖像均屬于同一類，具有良好的檢索效果。

Fig.10 Image retrieval for bus圖10 大巴的檢索結(jié)果

5 結(jié)束語(yǔ)

本文提出了一種新的分塊加權(quán)圖像檢索方法，根據(jù)視覺注意機(jī)制將圖像分成不均勻的若干塊并設(shè)置不同的權(quán)值。本文方法綜合了顏色和紋理特征，即顏色特征提取采用色差直方圖表示顏色的差異及空間分布信息，紋理特征的提取采用Sobel邊緣檢測(cè)算子結(jié)合顏色和方向提出一種紋理結(jié)構(gòu)。最后綜合每個(gè)塊的視覺特征作為圖像的特征向量進(jìn)行圖像檢索，實(shí)驗(yàn)結(jié)果表明本文方法具有較高的檢索精確度。

Fig.11 Image retrieval for dinosaur圖11 恐龍的檢索結(jié)果

Fig.12 Image retrieval for horse圖12 馬的檢索結(jié)果

[1]Gudivada V N,Raghavan V V.Content based image retrieval systems[J].Computer,1995,28(9):18-22.

[2]An Zhiyong,Zhao Feng,Du Ping,et al.Image retrieval based on the color-spatial distribution feature of generalized images[C]//Proceedings of the 2nd International Workshop on Education Technology and Computer Science,Wuhan,China,Mar 6-7,2010.Piscataway,USA:IEEE,2010: 185-188.

[3]Dong Weijun,Zhou Mingquan,Geng Guohua.Image retrieval technique based on combined features[J].Computer Applications and Software,2006,22(11):34-35.

[4]Wan Ji,Wang Dayong,Hoi S C H,et al.Deep learning for content-based image retrieval:a comprehensive study[C]// Proceedings of the 22nd ACM International Conference onMultimedia,Orlando,USA,Nov 3-7,2014.New York:ACM, 2014:157-166.

[5]Xia Rongkai,Pan Yan,Lai Hanjiang,et al.Supervised hashing for image retrieval via image representation learning[C]// Proceedings of the 28th AAAI Conference on Artificial Intelligence,Singapore,Jul 27-31,2014.Menlo Park,USA: AAAI,2014:2156-2162.

[6]Swain M J,Ballard D H.Color indexing[J].International Journal of Computer Vision,1991,7(1):11-32.

[7]Wang Xingyuan,Wang Zongyu.A novel method for image retrieval based on structure elements’descriptor[J].Journal of Visual Communication and Image Representation,2013, 24(1):63-74.

[8]Wang Hua,Dai Fang,Zhang Li,et al.An image retrieval method based on texture features of object region[C]//Proceedings of the 2011 International Conference on Electronics and Optoelectronics,Dalian,China,Jul 29-31,2011.Piscataway,USA:IEEE,2011:83-86.

[9]Zhang Jing,Shen Lansun,Gao Jingjing.Regions of interest detection based on visual attention mechanism[J].Acta Photonica Sinica,2009,38(6):1561-1565.

[10]Thepade S D,Shinde Y D.Improvisation of content based image retrieval using color edge detection with various gradient filters and slope magnitude method[C]//Proceedings of the 2015 International Conference on Computing Communication Control and Automation,Feb 26-27,2015.Piscataway,USA:IEEE,2015:625-628.

[11]Wang Guan,Ding Youdong,Wei Xiaocheng.Cultural relic image retrieval based on improved sobel operator[J].Computer Technology and Development,2011,21(10):51-54.

[12]Murala S,Maheshwari R P,Balasubramanian R.Directional local extrema patterns:a new descriptor for content based image retrieval[J].International Journal of Multimedia Information Retrieval,2012,1(3):191-203.

[13]Liu Guanghai,Li Zuoyong,Zhang Lei,et al.Image retrieval based on micro-structure descriptor[J].Pattern Recognition, 2011,44(9):2123-2133.

[14]Liu Guanghai,Zhang Lei,Hou Yingkun,et al.Image retrieval based on multi-texton histogram[J].Pattern Recognition, 2010,43(7):2380-2389.

[15]Zhang Ming,Zhang Ke,Feng Qinghe,et al.A novel image retrieval method based on hybrid information descriptors [J].Journal of Visual Communication and Image Representation,2014,25(7):1574-1587.

[16]Yu Lili,Dai Qing.Improved SIFT feature matching algorithm [J].Computer Engineering,2011,37(2):210-212.

附中文參考文獻(xiàn)：

[3]董衛(wèi)軍,周明全,耿國(guó)華.基于綜合特征圖像檢索技術(shù)研究[J].計(jì)算機(jī)應(yīng)用與軟件,2006,22(11):34-35.

[9]張菁,沈蘭蓀,高靜靜.基于視覺注意機(jī)制的感興趣區(qū)檢測(cè)[J].光子學(xué)報(bào),2009,38(6):1561-1565.

[11]王冠,丁友東,魏小成.基于改進(jìn)Sobel算子的文物圖像檢索[J].計(jì)算機(jī)技術(shù)與發(fā)展,2011,21(10):51-54.

[16]于麗莉,戴青.一種改進(jìn)的SIFT特征匹配算法[J].計(jì)算機(jī)工程,2011,37(2):210-212.

ZHANG Yubing was born in 1989.She is an M.S.candidate at School of Internet of Things Engineering,Jiangnan University,and the member of CCF.Her research interests include pattern recognition,image retrieval and data mining,etc.

張玉兵（1989—），女，安徽池州人，江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院碩士研究生，CCF會(huì)員，主要研究領(lǐng)域?yàn)槟Ｊ阶R(shí)別，圖像檢索，數(shù)據(jù)挖掘等。

SONG Wei was born in 1981.He received the Ph.D.degree in computer science from Chonbuk National University in Korea in 2009.Now he is an associate professor at School of Internet of Things Engineering,Jiangnan University, and the member of CCF.His research interests include pattern recognition,information retrieval,evolutionary computing,neural networks,image processing,data mining and knowledge discovery,etc.

宋威（1981—），男，湖北恩施人，2009年于韓國(guó)全北國(guó)立大學(xué)獲得博士學(xué)位，現(xiàn)為江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院副教授，CCF會(huì)員，主要研究領(lǐng)域?yàn)槟Ｊ阶R(shí)別，信息檢索，演化計(jì)算，神經(jīng)網(wǎng)絡(luò)，圖像處理，數(shù)據(jù)挖掘，知識(shí)發(fā)現(xiàn)等。

Block Weighted Image Retrieval Method Based on Visual Features*

ZHANG Yubing1,2+,SONG Wei1,2
1.School of Internet of Things Engineering,Jiangnan University,Wuxi,Jiangsu 214122,China
2.Engineering Research Center of Internet of Things Technology Applications,Ministry of Education,Wuxi,Jiangsu 214122,China
+Corresponding author:E-mail:zhangyubingxx@163.com

In the view of image retrieval,this paper proposes a new block weighted image retrieval method based on visual features.According to visual attention mechanism,this paper divides the image into several non-uniform blocks, and sets different weights to extract visual features of each block.Firstly,Sobel operator is used to obtain the edge of the image to calculate the color difference histogram of color and edge orientation.Meanwhile,this paper defines a structure which combines color and edge orientation and uses histogram to represent it.Moreover,the histogram of each block is connected to generate the feature vector of an image for retrieval.This paper carries out the experiments on benchmark Corel image database,and the extensive experiments demonstrate that the proposed method achieves better retrieval performance in comparison with state of the art image retrieval algorithms.

image retrieval;block weighted;visual attention mechanism;Sobel operator;color difference histogram

10.3778/j.issn.1673-9418.1511029

A

：TP391.4

*The Fundamental Research Funds for the Central Universities of China under Grant No.JUSRP51510(中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金);the Project of Engineering Research Center of Internet of Things TechnologyApplications,Ministry of Education(物聯(lián)網(wǎng)技術(shù)應(yīng)用教育部工程研究中心項(xiàng)目).

Received 2015-11,Accepted 2016-03.

CNKI網(wǎng)絡(luò)優(yōu)先出版:2016-03-07,http://www.cnki.net/kcms/detail/11.5602.TP.20160307.1710.014.html

ZHANG Yubing,SONG Wei.Block weighted image retrieval method based on visual features.Journal of Frontiers of Computer Science and Technology,2017,11(3)：468-477.

摘 要：對(duì)圖像檢索進(jìn)行了研究，提出了一種新的分塊加權(quán)圖像檢索方法。根據(jù)視覺注意機(jī)制將圖像分成不均勻的若干塊以及設(shè)置不同的權(quán)值，提取每塊的視覺特征。首先在HSV顏色空間利用Sobel算子得到圖像的邊緣信息，計(jì)算顏色和邊緣方向的色差直方圖，同時(shí)定義一種結(jié)合顏色和邊緣方向的結(jié)構(gòu)來(lái)獲取圖像的紋理信息，并用直方圖表示；然后連接每個(gè)塊的直方圖作為圖像的特征向量進(jìn)行圖像檢索。實(shí)驗(yàn)選取Corel標(biāo)準(zhǔn)圖像庫(kù)進(jìn)行檢索以及和另外5種圖像檢索方法進(jìn)行對(duì)比分析，實(shí)驗(yàn)結(jié)果表明該方法具有較高的檢索精確度。