鄭秋梅, 王紅霞, 閔利田
(中國石油大學計算機與通信工程學院,山東 東營 257061)
基于全局顏色直方圖的圖像檢索算法考慮了圖像的整體顏色,較為簡便和直觀,但忽略了圖像目標和背景的主次關系。為了能夠突出圖像的主體部分,本文將邊緣檢測技術應用到基于顏色特征的圖像檢索中,提出了一種基于內(nèi)外邊緣顏色特征的圖像檢索算法(Edge Color-Based Image Retrieval,簡稱ECBIR)。ECBIR算法運用數(shù)學形態(tài)學方法提取圖像的邊緣信息,即在結(jié)構(gòu)元素的選取時,內(nèi)邊緣采用多尺度多結(jié)構(gòu)元素的方法,外邊緣采用單一結(jié)構(gòu)元素的方法。通過這種方法提取內(nèi)外邊緣信息,突出了圖像邊緣在圖像檢索中的重要作用,使代表圖像主體的內(nèi)邊緣信息比代表背景部分的外邊緣信息比重大,并且更加精確;然后根據(jù)邊緣信息分別提取位于內(nèi)外邊緣處的顏色特征,合成新的特征向量,并以此作為圖像相似性度量的依據(jù),進行圖像檢索。ECBIR算法較全局顏色直方圖算法,在查全率和查準率上有了很大的提高,同時減少了數(shù)據(jù)庫中顏色特征的存儲空間。
邊緣是圖像最基本的特征,它包含了圖像絕大部分有用信息,圖像的邊緣處理是圖像分析中一項重要的預處理技術。數(shù)學形態(tài)學是一門新興的、以形態(tài)為基礎對圖像進行分析的學科[1],它以嚴格的數(shù)學理論和幾何學為基礎,算法簡單、可并行處理、速度快、易于硬件實現(xiàn)的同時,能較好的保持圖像的細節(jié)特征,較好的解決了邊緣檢測精度與抗噪性能的協(xié)調(diào)問題。因此,本文利用數(shù)學形態(tài)學提取圖像內(nèi)外邊緣信息。
圖像的內(nèi)外邊緣代表的意義不同,內(nèi)邊緣代表目標部分,外邊緣代表背景部分,ECBIR算法對內(nèi)外邊緣信息區(qū)別對待,采用兩種不同的方法來提取圖像的內(nèi)外邊緣信息,為了突出圖像主體部分,ECBIR算法加大了內(nèi)邊緣信息的權(quán)重,來加強圖像主體對檢索的貢獻。這也是ECBIR算法的核心所在。在內(nèi)邊緣提取方面,采用了一種基于多尺度多結(jié)構(gòu)元素的數(shù)學形態(tài)學圖像邊緣檢測算法,該算法構(gòu)造了5個不同的結(jié)構(gòu)元素,應用數(shù)學形態(tài)學的腐蝕算法進行加權(quán)運算,得到了圖像5個方向不同寬度的內(nèi)邊緣信息,然后通過加權(quán)平均將這5個邊緣信息合成圖像最終的內(nèi)邊緣,為基于顏色特征的圖像檢索做準備;在外邊緣提取方面,采用基于3×3方形結(jié)構(gòu)的數(shù)學形態(tài)學膨脹算法,這種方法實現(xiàn)簡單,且運行速度較快。通過以上方法提取的圖像內(nèi)外邊緣信息,內(nèi)邊緣信息比重較大,并且比較精確,突出了內(nèi)邊緣代表的目標部分。
ECBIR算法通過數(shù)學形態(tài)學的方法提取圖像的邊緣信息,考慮到圖像內(nèi)外邊緣的重要程度不同,通過不同的方法提取內(nèi)外邊緣信息,賦予不同的權(quán)重。鑒于內(nèi)邊緣的重要性,采用了以下方法:① 采用多結(jié)構(gòu)元素,提取不同方向的內(nèi)邊緣信息;② 采用多尺度方法,提取較粗的邊緣;③ 增大了內(nèi)邊緣對應的目標部分的權(quán)重,突出圖像的主體。
內(nèi)邊緣特征提取的步驟如下:
(1) 內(nèi)邊緣檢測算法
通過下述算法[2]提取圖像P的內(nèi)邊緣eI(P):B為結(jié)構(gòu)元素集合,首先令P被B腐蝕,然后求圖像P與它的腐蝕的差
(2) 基于多結(jié)構(gòu)元素的內(nèi)邊緣提取
兼顧到圖像不同方向的邊緣,結(jié)構(gòu)元素B設計為4個3×3模板,分別是
B1= [0 1 0; 0 1 0; 0 1 0]
檢測圖像垂直方向邊緣
B2= [0 0 0; 1 1 1; 0 0 0]
檢測圖像水平方向邊緣
B3= [0 0 1; 0 1 0; 1 0 0]
檢測圖像與水平夾角 °45 邊緣
B4= [1 0 0; 0 1 0; 0 0 1]
檢測圖像與水平夾角 °135 邊緣
此外,考慮到檢測圖像不同方向的邊緣,設計結(jié)構(gòu)元素B5= [0 1 0; 1 1 1; 0 1 0];
分別用上述5種結(jié)構(gòu)元素對圖像進行(1)中的形態(tài)學梯度運算,將5個檢測結(jié)果進行加權(quán)平均,即可得到尺度n=1下圖像的邊緣Ef1??紤]到圖像各個方向邊緣出現(xiàn)的概率,將水平和垂直方向邊緣的加權(quán)系數(shù)設為0.1, °45 邊緣和 °135 邊緣的加權(quán)系數(shù)設為0.2,無方向邊緣的加權(quán)系數(shù)設為0.4。
(3) 基于多尺度的內(nèi)邊緣提取
采用的多尺度結(jié)構(gòu)元素定義如下(Bi為(2)中定義的5種結(jié)構(gòu)元素)
式中 n為尺度參數(shù),是一正整數(shù),即大尺度的結(jié)構(gòu)元素由小尺度元素經(jīng)過膨脹運算得到,一般膨脹2~5次即可,考慮到計算量和運行速度,本文將各個結(jié)構(gòu)元素膨脹2次。
對(2)中所取5個結(jié)構(gòu)元素按照多尺度結(jié)構(gòu)元素的定義進行膨脹[3]。
當n=2時,
分別用上述5種結(jié)構(gòu)元素對圖像進行(1)中的形態(tài)學梯度運算,將5個檢測結(jié)果進行加權(quán)平均,即可得到尺度n=2下圖像的邊緣Ef2。加權(quán)系數(shù)的選擇同(2)中的加權(quán)系數(shù)。
當n=3時,
分別用上述5種結(jié)構(gòu)元素對圖像進行(1)中的形態(tài)學梯度運算,將5個檢測結(jié)果進行加權(quán)平均,即可得到尺度n=3下圖像的邊緣Ef3。加權(quán)系數(shù)的選擇同(2)中的加權(quán)系數(shù)。
(4) 多尺度邊緣檢測圖像的合成
鑒于外邊緣對應的背景部分對人們的視覺影響較小,外邊緣的提取采用簡單、速度快的單一結(jié)構(gòu)元素。
結(jié)構(gòu)元素B采用3×3全“1”集合,首先令P被B膨脹,然后求圖像P的膨脹和圖像P的差
為了使提取的內(nèi)外邊緣更好的為檢索做準備,需對提取的邊緣信息做簡化。
首先調(diào)整內(nèi)邊緣圖像的對比度,再對圖像進行二值化,圖像中像素值為“0”的點,位于圖像的內(nèi)邊緣上;外邊緣圖像的處理與內(nèi)邊緣相同。
由于傳統(tǒng)的RGB 顏色模型的可分辨色差是非線性的,且沒有直感,采用常用的面向視覺的適合肉眼分辨的HSV顏色模型。一幅圖像包含的直方圖矢量的維數(shù)會很多,所以對HSV空間進行適當?shù)牧炕詼p少計算量。由于人眼對色調(diào)、飽和度和亮度的感知不盡相同,對色調(diào)比對飽和度和亮度敏感,因此對這3個分量進行非等間隔量化:將色調(diào)H分成16份,飽和度S和亮度V分成4份,然后將3個顏色分量合成為一個一維矢量:L= 16 H+4S+V ,將HSV空間被量化為256種顏色。量化后再計算直方圖,計算量會少得多。
根據(jù)第1節(jié),完成圖像內(nèi)外邊緣信息提取后,就可以進行顏色特征的提取了,首先,掃描其內(nèi)邊緣的像素點,若該像素點的值為“0”,則提取該像素點的RGB值,并將從RBG顏色模型轉(zhuǎn)換到HSV顏色模型,對HSV模型量化后計算顏色直方圖;其次,依照掃描內(nèi)邊緣的步驟,對外邊緣進行掃描,提取外邊緣的顏色直方圖。將依據(jù)內(nèi)外邊緣提取的顏色直方圖,合成新的包含空間信息的特征向量。ECBIR算法生成的顏色直方圖信息,由于內(nèi)邊緣比外邊緣的比重大,因此顏色特征中內(nèi)邊緣的顏色特征也就比外邊緣比重大,突出了圖像的主體部分。
依據(jù)人眼對內(nèi)外區(qū)域的關注程度是呈線性遞減分布的計算權(quán)值的理論公式[4],設X為關鍵圖像,Y是圖像庫中的一幅圖像。設兩幅圖像的 顏色特征向量分別為X=( x1, x2, … , xn)與Y=( y1, y2, … , yn),兩幅圖像的相似性度量采用 直方圖相交[5]的方法計算
n=256,表示在HSV空間中量化后直方圖的矢量維數(shù)。 ),( yxD ]1,0[∈ ,它的值越大,則兩 幅圖像越相似。
ECBIR算法中基于數(shù)學形態(tài)學的邊緣特征提取部分,是通過Matlab批量處理的,對圖像進行預處理,提取的圖像內(nèi)外邊緣信息,再使用VC++6.0實現(xiàn)了一個基于不同權(quán)重的內(nèi)外邊緣提取圖像顏色特征的圖像檢索系統(tǒng)。實驗使用的圖像庫是SIMPL Icity[6]系統(tǒng)使用的測試集,從Corel圖像庫中抽取的1000幅圖像,這些圖像分屬10大類,每類100幅。內(nèi)容包括非洲人、海灘、建筑物、公共汽車、恐龍、大象、花卉、馬、山脈和食物等。
下面的實驗是采用全局顏色直方圖的方法和本文的基于權(quán)重提取圖像內(nèi)外邊緣顏色特征的圖像檢索方法(ECBIR)兩種檢索方法的結(jié)果對比圖,以關鍵圖中的公交車為待檢索圖像,取兩例圖像按其相似程度排列的前14幅圖像檢索的結(jié)果,其中第一幅為關鍵圖(待檢索圖像),文本框中的數(shù)據(jù)是各圖像與關鍵圖的相似度值(見圖1,圖2)。
圖1是全局顏色直方圖的對于公共汽車的檢索結(jié)果,因為其沒有考慮邊緣分布信息,前14 幅的查準率為92%。圖2是使用本文算法―基于內(nèi)外邊緣顏色特征的圖像檢索結(jié)果,前14幅圖像的查準率為100%。因此,本文提出的ECBIR算法,返回了與關鍵圖邊緣和顏色分布上更接近的結(jié)果,為了進一步說明ECBIR算法的優(yōu)越性,采用檢索的準確率(Precision)和查全率(Recall)[7]作為評價標準,與全局顏色直方圖的圖像檢索進行比較。
為了突出ECBIR算法對于目標鮮明圖像檢索的優(yōu)越性,本文選取了圖像庫中五類目標比較突出圖像,每類圖像抽取10幅,記錄每一幅查詢圖像的當查全率分別為5%,10%,15%,20%,25%,30%,35%,40%,45%,50%時相應的查準率,最后取平均值,得到準確率―查全率曲線,如圖3~圖7所示。
圖1 全局顏色直方圖的檢索結(jié)果
圖2 本文算法―基于內(nèi)外邊緣顏色特征的圖像檢索
從對公共汽車、恐龍、大象、花卉和馬這五類主題比較鮮明的圖像的結(jié)果可以看出,圖像中目標物體占的比重越大,背景部分占的比重越小或者是背景部分越單調(diào),本文的ECBIR算法檢索的準確率都比較傳統(tǒng)的基于直方圖的檢索方法準確率有很大的提高,恐龍圖像就是很好的證明,當查全率是40%時,查準率仍然是100%。
為了進一步說明ECBIR算法的優(yōu)越性,采用檢索的準確率(Precision)和查全率(Recall)[7]作為評價標準,與全局顏色直方圖(Global histogram,簡稱GH)的圖像檢索進行比較。
圖3 ECBIR 和GH 在公共汽車類圖像中的查準率比較
圖4 ECBIR 和GH 在恐龍類圖像中的查準率比較
圖5 ECBIR 和GH 在大象類圖像中的查準率比較
圖6 ECBIR 和GH 在花卉類圖像中的查準率比較
圖7 ECBIR 和GH 在馬類圖像中的查準率比較
(1) 基于內(nèi)外邊緣顏色特征的圖像檢索算法(ECBIR),解決了全局顏色直方圖無法反映顏色空間分布信息的缺陷,在提取顏色特征時,加大了內(nèi)邊緣對應的目標部分的比重,更加符合人眼識別圖像的要求。檢索結(jié)果表明,ECBIR算法較全局顏色直方圖方法,在查全率和查準率方面都有了很大的提高。
(2) ECBIR算法只提取邊緣像素點的顏色特征,而不是整幅圖像的顏色特征,這樣一來就減少了特征向量的存儲空間,圖像庫規(guī)模越大,ECIBR算法的優(yōu)越性體現(xiàn)的越明顯。
(3) 由于進行圖像檢索時,只提取和匹配邊緣部分像素點的顏色特征,加快了圖像檢索系統(tǒng)的響應時間。
[1] 章毓晉. 圖像處理和分析基礎[M]. 北京: 清華大學出版社, 1999. 151-190.
[2] 阮秋琦. 數(shù)字圖像處理學[M]. 北京: 電子工業(yè)出版社, 2003. 429-455.
[3] 陶曉勛, 安 如, 周紹光. 基于多尺度形態(tài)梯度的灰度圖像邊緣檢測[J]. 遙感應用, 2007, (1): 58-62.
[4] 楊關良, 李忠杰, 徐小杰. 基于顏色-空間的圖像檢索算法[J]. 工程圖學學報, 2005, 26(3): 51-53.
[5] Swan M J, Ballard D H. Color indexing [J].International Journal of Computer Vision, 1991, 7(1): 11-32.
[6] Wang J Z, Li J, Wiederhold G. SIMLPL Icity:Semantics sensitive integrated matching for picture libraries [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(9): 947-963.
[7] Smeulders AW M, Worringm, Santini S. Content-based image retrieval at the end of the early years [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2000, 22(12): 1349-1380.