鄭秋梅， 王紅霞， 閔利田

（中國石油大學(xué)計(jì)算機(jī)與通信工程學(xué)院，山東 東營 257061）

基于全局顏色直方圖的圖像檢索算法考慮了圖像的整體顏色，較為簡便和直觀，但忽略了圖像目標(biāo)和背景的主次關(guān)系。為了能夠突出圖像的主體部分，本文將邊緣檢測技術(shù)應(yīng)用到基于顏色特征的圖像檢索中，提出了一種基于內(nèi)外邊緣顏色特征的圖像檢索算法（Edge Color-Based Image Retrieval，簡稱ECBIR）。ECBIR算法運(yùn)用數(shù)學(xué)形態(tài)學(xué)方法提取圖像的邊緣信息，即在結(jié)構(gòu)元素的選取時(shí)，內(nèi)邊緣采用多尺度多結(jié)構(gòu)元素的方法，外邊緣采用單一結(jié)構(gòu)元素的方法。通過這種方法提取內(nèi)外邊緣信息，突出了圖像邊緣在圖像檢索中的重要作用，使代表圖像主體的內(nèi)邊緣信息比代表背景部分的外邊緣信息比重大，并且更加精確；然后根據(jù)邊緣信息分別提取位于內(nèi)外邊緣處的顏色特征，合成新的特征向量，并以此作為圖像相似性度量的依據(jù)，進(jìn)行圖像檢索。ECBIR算法較全局顏色直方圖算法，在查全率和查準(zhǔn)率上有了很大的提高，同時(shí)減少了數(shù)據(jù)庫中顏色特征的存儲空間。

1 利用數(shù)學(xué)形態(tài)學(xué)提取圖像內(nèi)外邊緣信息

邊緣是圖像最基本的特征，它包含了圖像絕大部分有用信息，圖像的邊緣處理是圖像分析中一項(xiàng)重要的預(yù)處理技術(shù)。數(shù)學(xué)形態(tài)學(xué)是一門新興的、以形態(tài)為基礎(chǔ)對圖像進(jìn)行分析的學(xué)科[1]，它以嚴(yán)格的數(shù)學(xué)理論和幾何學(xué)為基礎(chǔ)，算法簡單、可并行處理、速度快、易于硬件實(shí)現(xiàn)的同時(shí)，能較好的保持圖像的細(xì)節(jié)特征，較好的解決了邊緣檢測精度與抗噪性能的協(xié)調(diào)問題。因此，本文利用數(shù)學(xué)形態(tài)學(xué)提取圖像內(nèi)外邊緣信息。

圖像的內(nèi)外邊緣代表的意義不同，內(nèi)邊緣代表目標(biāo)部分，外邊緣代表背景部分，ECBIR算法對內(nèi)外邊緣信息區(qū)別對待，采用兩種不同的方法來提取圖像的內(nèi)外邊緣信息，為了突出圖像主體部分，ECBIR算法加大了內(nèi)邊緣信息的權(quán)重，來加強(qiáng)圖像主體對檢索的貢獻(xiàn)。這也是ECBIR算法的核心所在。在內(nèi)邊緣提取方面，采用了一種基于多尺度多結(jié)構(gòu)元素的數(shù)學(xué)形態(tài)學(xué)圖像邊緣檢測算法，該算法構(gòu)造了5個(gè)不同的結(jié)構(gòu)元素，應(yīng)用數(shù)學(xué)形態(tài)學(xué)的腐蝕算法進(jìn)行加權(quán)運(yùn)算，得到了圖像5個(gè)方向不同寬度的內(nèi)邊緣信息，然后通過加權(quán)平均將這5個(gè)邊緣信息合成圖像最終的內(nèi)邊緣，為基于顏色特征的圖像檢索做準(zhǔn)備；在外邊緣提取方面，采用基于3×3方形結(jié)構(gòu)的數(shù)學(xué)形態(tài)學(xué)膨脹算法，這種方法實(shí)現(xiàn)簡單，且運(yùn)行速度較快。通過以上方法提取的圖像內(nèi)外邊緣信息，內(nèi)邊緣信息比重較大，并且比較精確，突出了內(nèi)邊緣代表的目標(biāo)部分。

1.1 內(nèi)邊緣特征的提取

ECBIR算法通過數(shù)學(xué)形態(tài)學(xué)的方法提取圖像的邊緣信息，考慮到圖像內(nèi)外邊緣的重要程度不同，通過不同的方法提取內(nèi)外邊緣信息，賦予不同的權(quán)重。鑒于內(nèi)邊緣的重要性，采用了以下方法：① 采用多結(jié)構(gòu)元素，提取不同方向的內(nèi)邊緣信息；② 采用多尺度方法，提取較粗的邊緣；③ 增大了內(nèi)邊緣對應(yīng)的目標(biāo)部分的權(quán)重，突出圖像的主體。

內(nèi)邊緣特征提取的步驟如下：

（1） 內(nèi)邊緣檢測算法

通過下述算法[2]提取圖像P的內(nèi)邊緣eI(P)：B為結(jié)構(gòu)元素集合，首先令P被B腐蝕，然后求圖像P與它的腐蝕的差

（2） 基于多結(jié)構(gòu)元素的內(nèi)邊緣提取

兼顧到圖像不同方向的邊緣，結(jié)構(gòu)元素B設(shè)計(jì)為4個(gè)3×3模板，分別是

B1= [0 1 0; 0 1 0; 0 1 0]

檢測圖像垂直方向邊緣

B2= [0 0 0; 1 1 1; 0 0 0]

檢測圖像水平方向邊緣

B3= [0 0 1; 0 1 0; 1 0 0]

檢測圖像與水平夾角 °45 邊緣

B4= [1 0 0; 0 1 0; 0 0 1]

檢測圖像與水平夾角 °135 邊緣

此外，考慮到檢測圖像不同方向的邊緣，設(shè)計(jì)結(jié)構(gòu)元素B5= [0 1 0; 1 1 1; 0 1 0]；

分別用上述5種結(jié)構(gòu)元素對圖像進(jìn)行(1)中的形態(tài)學(xué)梯度運(yùn)算，將5個(gè)檢測結(jié)果進(jìn)行加權(quán)平均，即可得到尺度n=1下圖像的邊緣Ef1?？紤]到圖像各個(gè)方向邊緣出現(xiàn)的概率，將水平和垂直方向邊緣的加權(quán)系數(shù)設(shè)為0.1， °45 邊緣和 °135 邊緣的加權(quán)系數(shù)設(shè)為0.2，無方向邊緣的加權(quán)系數(shù)設(shè)為0.4。

（3） 基于多尺度的內(nèi)邊緣提取

采用的多尺度結(jié)構(gòu)元素定義如下（Bi為(2)中定義的5種結(jié)構(gòu)元素）

式中 n為尺度參數(shù)，是一正整數(shù)，即大尺度的結(jié)構(gòu)元素由小尺度元素經(jīng)過膨脹運(yùn)算得到，一般膨脹2～5次即可，考慮到計(jì)算量和運(yùn)行速度，本文將各個(gè)結(jié)構(gòu)元素膨脹2次。

對(2)中所取5個(gè)結(jié)構(gòu)元素按照多尺度結(jié)構(gòu)元素的定義進(jìn)行膨脹[3]。

當(dāng)n=2時(shí)，

分別用上述5種結(jié)構(gòu)元素對圖像進(jìn)行(1)中的形態(tài)學(xué)梯度運(yùn)算，將5個(gè)檢測結(jié)果進(jìn)行加權(quán)平均，即可得到尺度n=2下圖像的邊緣Ef2。加權(quán)系數(shù)的選擇同(2)中的加權(quán)系數(shù)。

當(dāng)n=3時(shí)，

分別用上述5種結(jié)構(gòu)元素對圖像進(jìn)行(1)中的形態(tài)學(xué)梯度運(yùn)算，將5個(gè)檢測結(jié)果進(jìn)行加權(quán)平均，即可得到尺度n=3下圖像的邊緣Ef3。加權(quán)系數(shù)的選擇同(2)中的加權(quán)系數(shù)。

（4） 多尺度邊緣檢測圖像的合成

1.2 外邊緣特征的提取

鑒于外邊緣對應(yīng)的背景部分對人們的視覺影響較小，外邊緣的提取采用簡單、速度快的單一結(jié)構(gòu)元素。

結(jié)構(gòu)元素B采用3×3全“1”集合，首先令P被B膨脹，然后求圖像P的膨脹和圖像P的差

1.3 簡化邊緣信息

為了使提取的內(nèi)外邊緣更好的為檢索做準(zhǔn)備，需對提取的邊緣信息做簡化。

首先調(diào)整內(nèi)邊緣圖像的對比度，再對圖像進(jìn)行二值化，圖像中像素值為“0”的點(diǎn)，位于圖像的內(nèi)邊緣上；外邊緣圖像的處理與內(nèi)邊緣相同。

2 顏色特征的提取

2.1 顏色空間的選取與量化

由于傳統(tǒng)的RGB 顏色模型的可分辨色差是非線性的，且沒有直感，采用常用的面向視覺的適合肉眼分辨的HSV顏色模型。一幅圖像包含的直方圖矢量的維數(shù)會很多，所以對HSV空間進(jìn)行適當(dāng)?shù)牧炕詼p少計(jì)算量。由于人眼對色調(diào)、飽和度和亮度的感知不盡相同，對色調(diào)比對飽和度和亮度敏感，因此對這3個(gè)分量進(jìn)行非等間隔量化：將色調(diào)H分成16份，飽和度S和亮度V分成4份，然后將3個(gè)顏色分量合成為一個(gè)一維矢量：L= 16 H+4S+V ，將HSV空間被量化為256種顏色。量化后再計(jì)算直方圖，計(jì)算量會少得多。

2.2 基于邊緣分布信息的顏色特征的提取

根據(jù)第1節(jié)，完成圖像內(nèi)外邊緣信息提取后，就可以進(jìn)行顏色特征的提取了，首先，掃描其內(nèi)邊緣的像素點(diǎn)，若該像素點(diǎn)的值為“0”，則提取該像素點(diǎn)的RGB值，并將從RBG顏色模型轉(zhuǎn)換到HSV顏色模型，對HSV模型量化后計(jì)算顏色直方圖；其次，依照掃描內(nèi)邊緣的步驟，對外邊緣進(jìn)行掃描，提取外邊緣的顏色直方圖。將依據(jù)內(nèi)外邊緣提取的顏色直方圖，合成新的包含空間信息的特征向量。ECBIR算法生成的顏色直方圖信息，由于內(nèi)邊緣比外邊緣的比重大，因此顏色特征中內(nèi)邊緣的顏色特征也就比外邊緣比重大，突出了圖像的主體部分。

2.3 相似性匹配

依據(jù)人眼對內(nèi)外區(qū)域的關(guān)注程度是呈線性遞減分布的計(jì)算權(quán)值的理論公式[4]，設(shè)X為關(guān)鍵圖像，Y是圖像庫中的一幅圖像。設(shè)兩幅圖像的 顏色特征向量分別為X=( x1, x2, … , xn)與Y=( y1, y2, … , yn)，兩幅圖像的相似性度量采用 直方圖相交[5]的方法計(jì)算

n=256，表示在HSV空間中量化后直方圖的矢量維數(shù)。 ),( yxD ]1,0[∈ ，它的值越大，則兩 幅圖像越相似。

3 實(shí)驗(yàn)結(jié)果分析

ECBIR算法中基于數(shù)學(xué)形態(tài)學(xué)的邊緣特征提取部分，是通過Matlab批量處理的，對圖像進(jìn)行預(yù)處理，提取的圖像內(nèi)外邊緣信息，再使用VC++6.0實(shí)現(xiàn)了一個(gè)基于不同權(quán)重的內(nèi)外邊緣提取圖像顏色特征的圖像檢索系統(tǒng)。實(shí)驗(yàn)使用的圖像庫是SIMPL Icity[6]系統(tǒng)使用的測試集，從Corel圖像庫中抽取的1000幅圖像，這些圖像分屬10大類，每類100幅。內(nèi)容包括非洲人、海灘、建筑物、公共汽車、恐龍、大象、花卉、馬、山脈和食物等。

下面的實(shí)驗(yàn)是采用全局顏色直方圖的方法和本文的基于權(quán)重提取圖像內(nèi)外邊緣顏色特征的圖像檢索方法(ECBIR)兩種檢索方法的結(jié)果對比圖，以關(guān)鍵圖中的公交車為待檢索圖像，取兩例圖像按其相似程度排列的前14幅圖像檢索的結(jié)果，其中第一幅為關(guān)鍵圖（待檢索圖像），文本框中的數(shù)據(jù)是各圖像與關(guān)鍵圖的相似度值（見圖1，圖2）。

圖1是全局顏色直方圖的對于公共汽車的檢索結(jié)果，因?yàn)槠錄]有考慮邊緣分布信息，前14 幅的查準(zhǔn)率為92%。圖2是使用本文算法―基于內(nèi)外邊緣顏色特征的圖像檢索結(jié)果，前14幅圖像的查準(zhǔn)率為100%。因此，本文提出的ECBIR算法，返回了與關(guān)鍵圖邊緣和顏色分布上更接近的結(jié)果，為了進(jìn)一步說明ECBIR算法的優(yōu)越性，采用檢索的準(zhǔn)確率(Precision)和查全率(Recall)[7]作為評價(jià)標(biāo)準(zhǔn)，與全局顏色直方圖的圖像檢索進(jìn)行比較。

為了突出ECBIR算法對于目標(biāo)鮮明圖像檢索的優(yōu)越性，本文選取了圖像庫中五類目標(biāo)比較突出圖像，每類圖像抽取10幅，記錄每一幅查詢圖像的當(dāng)查全率分別為5%，10%，15%，20%，25%，30%，35%，40%，45%，50%時(shí)相應(yīng)的查準(zhǔn)率，最后取平均值,得到準(zhǔn)確率―查全率曲線，如圖3～圖7所示。

圖1 全局顏色直方圖的檢索結(jié)果

圖2 本文算法―基于內(nèi)外邊緣顏色特征的圖像檢索

從對公共汽車、恐龍、大象、花卉和馬這五類主題比較鮮明的圖像的結(jié)果可以看出，圖像中目標(biāo)物體占的比重越大，背景部分占的比重越小或者是背景部分越單調(diào)，本文的ECBIR算法檢索的準(zhǔn)確率都比較傳統(tǒng)的基于直方圖的檢索方法準(zhǔn)確率有很大的提高，恐龍圖像就是很好的證明，當(dāng)查全率是40%時(shí)，查準(zhǔn)率仍然是100%。

為了進(jìn)一步說明ECBIR算法的優(yōu)越性，采用檢索的準(zhǔn)確率(Precision)和查全率(Recall)[7]作為評價(jià)標(biāo)準(zhǔn)，與全局顏色直方圖(Global histogram，簡稱GH)的圖像檢索進(jìn)行比較。

圖3 ECBIR 和GH 在公共汽車類圖像中的查準(zhǔn)率比較

圖4 ECBIR 和GH 在恐龍類圖像中的查準(zhǔn)率比較

圖5 ECBIR 和GH 在大象類圖像中的查準(zhǔn)率比較

圖6 ECBIR 和GH 在花卉類圖像中的查準(zhǔn)率比較

圖7 ECBIR 和GH 在馬類圖像中的查準(zhǔn)率比較

4 結(jié) 論

（1） 基于內(nèi)外邊緣顏色特征的圖像檢索算法(ECBIR)，解決了全局顏色直方圖無法反映顏色空間分布信息的缺陷，在提取顏色特征時(shí)，加大了內(nèi)邊緣對應(yīng)的目標(biāo)部分的比重，更加符合人眼識別圖像的要求。檢索結(jié)果表明，ECBIR算法較全局顏色直方圖方法，在查全率和查準(zhǔn)率方面都有了很大的提高。

（2） ECBIR算法只提取邊緣像素點(diǎn)的顏色特征，而不是整幅圖像的顏色特征，這樣一來就減少了特征向量的存儲空間，圖像庫規(guī)模越大，ECIBR算法的優(yōu)越性體現(xiàn)的越明顯。

（3） 由于進(jìn)行圖像檢索時(shí)，只提取和匹配邊緣部分像素點(diǎn)的顏色特征，加快了圖像檢索系統(tǒng)的響應(yīng)時(shí)間。

[1] 章毓晉. 圖像處理和分析基礎(chǔ)[M]. 北京： 清華大學(xué)出版社, 1999. 151-190.

[2] 阮秋琦. 數(shù)字圖像處理學(xué)[M]. 北京： 電子工業(yè)出版社, 2003. 429-455.

[3] 陶曉勛, 安 如, 周紹光. 基于多尺度形態(tài)梯度的灰度圖像邊緣檢測[J]. 遙感應(yīng)用, 2007, (1)： 58-62.

[4] 楊關(guān)良, 李忠杰, 徐小杰. 基于顏色-空間的圖像檢索算法[J]. 工程圖學(xué)學(xué)報(bào), 2005, 26(3)： 51-53.

[5] Swan M J, Ballard D H. Color indexing [J].International Journal of Computer Vision, 1991, 7(1)： 11-32.

[6] Wang J Z, Li J, Wiederhold G. SIMLPL Icity：Semantics sensitive integrated matching for picture libraries [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(9)： 947-963.

[7] Smeulders AW M, Worringm, Santini S. Content-based image retrieval at the end of the early years [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2000, 22(12)： 1349-1380.