李 薇，周俏麗，高 徽，郎文靜

(1.中國航空綜合技術(shù)研究所 信息服務(wù)與檔案管理室，北京 100028；2.沈陽航空航天大學(xué) 知識工程研究中心，沈陽 110136；3.百度公司 復(fù)合搜索部，北京 100085)

基于內(nèi)容的圖像檢索技術(shù)[1]是當(dāng)前信息領(lǐng)域的重要研究熱點，得到國內(nèi)外信息領(lǐng)域科技人員的廣泛關(guān)注。圖像內(nèi)容指圖像中所包含對象的特征(如顏色，形狀，紋理等)。基于單一特征的圖像檢索效果不佳，很多人提出了基于多特征、加權(quán)多特征的檢索方法。

顏色特征是圖像的基本特征之一，也是圖像檢索中應(yīng)用最為廣泛的視覺特征。與其他視覺特征相比，顏色特征對圖像本身的尺寸、方向和視角的依賴性較小，特征的提取也相對容易，因而基于顏色特征的圖像檢索的研究受到了廣泛的研究和應(yīng)用，已提出了多種性能較好的算法[2]。本文是在對HSV顏色模型量化的基礎(chǔ)上，提取顏色直方圖作為顏色特征進(jìn)行圖像檢索。

形狀信息是另一種重要的圖像低層特征。形狀表示了圖像中有意義的區(qū)域或相關(guān)對象，它不隨周圍如亮度等環(huán)境的變化而變化，是物體穩(wěn)定的特征。在計算機(jī)視覺中，形狀特征是描述高層視覺特征的重要手段，而目標(biāo)對象對獲取圖像語義尤為重要。因此利用形狀檢索可以大幅度的提高檢索的準(zhǔn)確性和效率。但是由于自然圖像中的對象和區(qū)域的分割比較困難，現(xiàn)有的形狀描述方法還不成熟，至今還沒有找到與人的視覺特性一致的有關(guān)形狀的確切數(shù)學(xué)描述，因此一般情況下圖像的形狀特征是很難自動提取的。目前有關(guān)圖像形狀的表示方法主要有兩類：基于邊界的表示方法和基于區(qū)域的表示方法。

紋理特征是圖像的重要特征之一，其本質(zhì)是刻畫像素的鄰域灰度空間分布規(guī)律。圖像紋理分析是圖像分析處理研究中的一個重要組成部分。紋理分析典型的方法有：空間域紋理分析、頻率域紋理分析、空間/頻率域聯(lián)合紋理分析和基于分形模型的紋理分析方法。本文采用空間域紋理分析中的基于人眼視覺感受的Tamura[3]紋理特征。

單一特征僅從某一角度描述圖像信息，只能表達(dá)圖像的部分屬性，對內(nèi)容的描述較片面，缺少足夠的區(qū)分信息。因此，綜合利用顏色、紋理、形狀和空間關(guān)系等特征，全面描述圖像內(nèi)容的檢索方法，即多特征檢索，受到廣泛關(guān)注。本文利用多特征融合避免單一特征的局限性，主要討論在多特征圖像檢索過程中，如何進(jìn)行多特征相似度匹配、多特征之間的權(quán)值分配，以及如何通過動態(tài)確定各特征間權(quán)值來達(dá)到較好的檢索效果，從而構(gòu)建高效的自反饋檢索系統(tǒng)。

1 顏色特征的提取

(1)

確定顏色空間后，下一步的工作就是在該顏色空間上進(jìn)行顏色特征表達(dá)。主要方法包括：顏色直方圖、二值顏色集、模糊顏色直方圖、顏色關(guān)聯(lián)圖(Color Correlogram)[4]、顏色一致性矢量(Color coherence vector)[5]、顏色矩[6]、空間顏色直方圖等。以上為均為基于統(tǒng)計的顏色特征描述方法，簡單的顏色直方圖對圖像的平移旋轉(zhuǎn)等空間變換具有不變性，但不能表達(dá)圖像的空間信息以及圖像中的目標(biāo)物體，空間顏色直方圖等的引入增加了顏色特征的空間表達(dá)能力。

2 形狀特征提取

2.1 邊緣檢測

圖像形狀信息的獲取依賴于圖像的邊緣檢測[7]。經(jīng)典的邊緣檢測方法是對原始圖像中像素的某小鄰域構(gòu)造邊緣檢測算子。常用的邊緣檢測算法有Roberts算子、Sobel算子、Prewitt算子、Kirsch算子、Laplacian算子、LOG算子、Canny算子等。Canny算子是一個具有濾波、增強(qiáng)和檢測的多階段的優(yōu)化算子。在進(jìn)行處理前，Canny算子先利用高斯平滑濾波器來平滑圖像以除去噪聲(即用高斯平滑濾波器與圖像作卷積)。增強(qiáng)邊緣是將鄰域(或局部)強(qiáng)度值有顯著變化的點突出來，一般通過計算梯度幅值來完成。Canny分割算法采用一階偏導(dǎo)的有限差分來計算梯度的幅值和方向。在處理過程中，Canny算法還將經(jīng)過一個非極大值抑制的過程，最后采用兩個閾值來連接邊緣。Canny算子提取出來的邊緣具有完整、清晰、噪音少的特點，因此本文采用Canny算子獲得圖片的邊緣信息。

2.2 特征提取

Dengsheng Zhang[8]在傅里葉描述的基礎(chǔ)上提出了幾何傅里葉變換，該方法具有旋轉(zhuǎn)不變性。對于圖像f(x,y)，0

u,v=0,1,…,N-1

(2)

直接利用該傅里葉變換進(jìn)行圖像檢索并不能取到良好的檢索效果，因為它不支持旋轉(zhuǎn)不變性，當(dāng)圖像旋轉(zhuǎn)后，其傅里葉頻譜也相應(yīng)地旋轉(zhuǎn)了一定角度。為了克服此問題，可以把傅里葉變換運(yùn)用到極坐標(biāo)系下，即在極坐標(biāo)下的傅里葉描述子，其過程如下：

取x=r·cosθ，y=r·sinθ，u=ρ·cosφ，v=ρ·sinφ

dx=cosθdr-rsinθdθ

(3)

dy=sinθdr+rsinθdθ

(4)

將式(4)和(3)帶入(2)中，則得到PFT1：

(5)

上式的離散表示形式為：

(6)

其中，rp=p/R,θi=i(2π/T)(0≤i

3 紋理特征提取

Tamura紋理特征的6個分量對應(yīng)于人眼視覺感受的紋理特征的6種屬性，分別是粗糙度、對比度、方向度、線性度、規(guī)整度和粗略度，其中前3個分量對于圖像檢索尤為重要。本文計算圖像的粗糙度、對比度和方向度三個屬性，并按5：3：2構(gòu)建30維特征。

4 自反饋的動態(tài)權(quán)重計算方法

顏色、形狀和紋理從不同角度反映圖像某方面的特征，單一特征的相似僅能體現(xiàn)兩幅圖像局部相似，因此將自反饋的動態(tài)權(quán)重計算方法引入多特征融合過程，避免單一特征圖像檢索的局限性的同時，優(yōu)化了權(quán)重的計算。融合檢索的首要任務(wù)是對單一特征的相似性進(jìn)行特征間歸一化，本文采用高斯歸一化方法，過程如下：

(1)計算待檢索圖像與圖片庫中任意圖片i的相似度距離di(本文采用歐式距離)，并計算一次檢索過程中得到的待檢索圖像和圖片庫中所有圖像相似度距離的平均值md和方差δd；

(2)由于圖像檢索過程中得到的相似性距離的過程是一個隨機(jī)過程，且可以把距離分布看成是一個正態(tài)分布，因此可以對di按下式進(jìn)行高斯歸一化得到dt′：

(7)

由正態(tài)分布的性質(zhì)可以得到歸一化后的相似度di′落于[0,1]區(qū)間的概率大于99%。

(8)

weithc，weightt，weights將對最終的dilast產(chǎn)生較大的影響，因此如何設(shè)置三者的比值是問題的關(guān)鍵。

(3)自反饋動態(tài)確定weightc，weightt，weights的值。利用單一特征查詢時，距離越小說明兩個圖片的相似度越高，對于一組圖片進(jìn)行查詢，方差越小說明該組圖片的相似度也越高，因此本文提出利用單一查詢結(jié)果的距離均值和方差動態(tài)得到該特征在多特征融合過程的權(quán)值。

①均值計算：假設(shè)圖片庫中圖片總數(shù)為N，用戶要求檢索返回的圖片數(shù)量為n，一般情況下n遠(yuǎn)小于N。單一特征距離經(jīng)過高斯歸一化之后近似服從(0,1)正態(tài)分布，不同特征的檢索距離的平均值基本相等，可以認(rèn)為各種特征之間處于平等地位，因此在計算總的相似距離時可以對不同特征計算出來的距離進(jìn)行線性相加，但最后的檢索效果由前βn個距離來決定，而不同特征檢索返回的此距離的均值差異較大，因此需對前βn個距離進(jìn)行再次歸一化以減少均值差異帶來的影響。本文采用的方法是：取每個單一特征檢索的前αn個距離最小的圖片均值，α為大于1的正整數(shù)且αn遠(yuǎn)小于比N。本文取α=3，可以得到μc，μt，μs，σc，σt，σs。令weightc1=μt*μs，weightt1=μc*μs，weights1=μc*μt。

②方差δ計算：單一特征距離高斯歸一化之后，對于前αn個距離的方差δ，其值越小，說明該方法查詢出來的這組圖片相似度越高，因此在融合多特征查詢時應(yīng)賦予較高的權(quán)值。計算方法如下：

(9)

(10)

(11)

考慮到的均值和方差的影響，最終的權(quán)重計算方式如下：

(12)

(13)

(14)

5 實驗及結(jié)果分析

本文構(gòu)建圖像多特征融合檢索原型系統(tǒng)，引入了自反饋的動態(tài)權(quán)值圖像檢索算法提高檢索效果。測試圖片由3000幅圖像組成，包括人物、鳥類、衣服、鞋子、帽子、臉譜、飛機(jī)、煙花、蝴蝶等圖像。實驗①測試?yán)脝我坏念伾卣鬟M(jìn)行圖像檢索效果；實驗②測試?yán)脝我坏募y理特征進(jìn)行圖像檢索效果；實驗③測試?yán)眯螤钐卣鬟M(jìn)行基于形狀的圖像檢索效果；實驗④測試綜合利用三種特征，通過高斯歸一化融合檢索；實驗⑤測試綜合利用三種特征，使用自反饋動態(tài)權(quán)值計算方法。對一副給定的查詢示例圖像，在返回圖像數(shù)量N相同的情況下，5次實驗的查準(zhǔn)率和查全率如表所示：

表1 前N個結(jié)果的平均查準(zhǔn)率

表2 前N個結(jié)果的平均查全率

可見，由于圖像特征與圖像種類之間有著強(qiáng)對應(yīng)關(guān)系，高斯歸一化方法下的多特征融合檢索綜合要優(yōu)于單一特征檢索，使得圖像檢索更具有普遍性。自反饋動態(tài)權(quán)值方法優(yōu)化了歸一化過程，使得各個特征在融合過程中處于平等地位，有效提升了檢索效果。利用自反饋動態(tài)權(quán)值的部分測試圖片檢索對比圖如圖1所示：

圖1 檢索結(jié)果對比圖

6 結(jié)束語

基于內(nèi)容的圖像檢索技術(shù)廣泛應(yīng)用于各種研究領(lǐng)域，如模式識別、信號處理、計算機(jī)視覺等。圖像特征與圖像種類之間的強(qiáng)對應(yīng)關(guān)系決定了沒有一種特征是通用的，基于多特征融合的檢索能夠融合圖像各種特征于一體，細(xì)致、全面地體現(xiàn)圖像的本質(zhì)內(nèi)容，本文采用利用單一特征檢索來確定多特征融合時特征間的權(quán)重設(shè)定，較好避免了多特征融合時特征權(quán)值與圖像庫較強(qiáng)的對應(yīng)關(guān)系實現(xiàn)了動態(tài)權(quán)值計算，一定程度上解決了通用特征提取的問題，提高了檢索系統(tǒng)的準(zhǔn)確率與召回率，較好地解決了圖像檢索算法的通用性問題，減小了大數(shù)據(jù)量圖像集對圖像檢索系統(tǒng)的干擾。

參考文獻(xiàn)(References)：

[1] 孫君頂，原芳.基于內(nèi)容的圖像檢索技術(shù)[J].計算機(jī)系統(tǒng)應(yīng)用,2011,20(8):240-244.

[2] 馬凌蛟.基于顏色和形狀特征的圖像檢索技術(shù)及其應(yīng)用[D].長春：吉林大學(xué),2011.

[3] Hideyuki Tamura,Shun ji Mori,Takashi Yamawaki.Texture features corresponding to visual perception [J].IEEE Trans.On Sys,Man,and Cyb,1978,SMC-8(6):460-473.

[4] Stricker M,Orengo M.Similarity of color images[J].Proc.SPIE Storage and Retrieval for Image and Video Database.San Jose CA USA,1995,1908(2420):381-392.

[5] Pass G,Zabih R,Miller J.Comparing images using color coherence vectors[C].4th ACM Conf.on Multimedia.Boston,ACM,1996.

[6] J.Huang,S.R.Kumar,et al.Image Indexing using color correlograms [C].IEEE Conference on Computer Vision and Pattern Recognition,1997:762-768.

[7] 曾俊.圖像邊緣檢測技術(shù)及其應(yīng)用研究[D].武漢：華中科技大學(xué),2011.

[8] Zhang D S,Lu G.Generic Fourier Descriptors for Shape-based Image Retrieval [C].In Proc of IEEE International Conference on Multimedia and Expo,Lausanne,Switzerland,2002.