魏聚波,穆維新,申金媛,劉潤杰
(鄭州大學(xué) 信息工程學(xué)院,河南 鄭州 450001)
隨著20世紀(jì)90年代多媒體技術(shù)以及信息技術(shù)的飛速發(fā)展,使得基于內(nèi)容的圖像檢索技術(shù) (Content-Based Image Retrieval,CBIR)應(yīng)運(yùn)而生。CBIR技術(shù)主要對圖像內(nèi)容通過機(jī)器進(jìn)行自動(dòng)分析,直接根據(jù)圖像視覺特征信息建立索引,并通過圖像特征向量間的近似度量進(jìn)行圖像相似性匹配,從而實(shí)現(xiàn)圖像的檢索。該技術(shù)涉及多個(gè)學(xué)科,融合多領(lǐng)域相關(guān)技術(shù),以致力于對圖像的魯棒性理解。
目前基于內(nèi)容的圖像檢索技術(shù)表現(xiàn)為提取圖像低層特征信息,如:顏色、紋理、形狀等;運(yùn)用相關(guān)數(shù)學(xué)方法計(jì)算查詢圖像與圖像庫中圖像的相似匹配度,以便獲取與查詢圖像相似相關(guān)的圖像。由于圖像的單一特征不能準(zhǔn)確描述圖像內(nèi)容的所有相關(guān)信息,檢索精度相對較低,很多研究者提出了融合多特征的圖像檢索技術(shù),并取得了一定的研究成果[1]。
Mandelbrot[2]首次提出分形(Fractal)的概念,并用分形維數(shù)來度量、分析和評價(jià)紋理和形狀。Pentland[3]在1984年研究提出分形維數(shù)來刻畫圖像表面所具有的粗糙度信息,與人類的感知粗糙度有很強(qiáng)的相關(guān)性,能區(qū)分光滑和粗糙紋理特征。分形維數(shù)作為圖像特征,被廣泛應(yīng)用于圖像的相關(guān)分析、處理方面,越來越成為研究熱點(diǎn)。
顏色特征是人類視覺最重要的感知特征,具有最直觀,最明顯,而且對圖像分辨率、尺寸、旋轉(zhuǎn)等變化不敏感的特點(diǎn)[4],成為CBIR研究的主要特征。
本文基于分形維數(shù)表示自然表面的粗糙程度與人類的感知判斷具有極強(qiáng)的相似相關(guān)性,來描述圖像的紋理信息;結(jié)合接近人眼感知顏色信息的HSV顏色空間模型特征,作為圖像的相似匹配特征信息。分別計(jì)算圖像HSV空間模型中各個(gè)色彩通道下的分形維數(shù),并將其非線性量化,提出了HSV顏色空間分形維數(shù)量化直方圖的概念,使圖像粗糙度與分形維數(shù)呈近似線性比例關(guān)系,以便于圖像粗糙度之間的相似匹配度計(jì)算。綜合顏色直方圖與分形維數(shù)量化直方圖,作為圖像間相似匹配特征,實(shí)現(xiàn)圖像檢索。
Mandelbrot用分形集合的自相似性質(zhì)來定義分形維數(shù),設(shè)在Rn空間里的一個(gè)有限集合A,若A可以完全被若干個(gè)互不覆蓋的子集a覆蓋時(shí),集合A就是自相似的,是一個(gè)分形集合。其分形維數(shù)D可由下式計(jì)算:
其中,r是覆蓋子集的尺度因子r=a/A,Nr是尺度因子r時(shí),覆蓋子集的個(gè)數(shù)。
圖像分形維數(shù)的計(jì)算方法主要有:ε-毯子法、分形布朗運(yùn)動(dòng)法、盒子法等。本文運(yùn)用由N Sarkar和B.B.Chaudhuri[5]提出的差分計(jì)盒維數(shù)法(Differential Box Counting,DBC),該方法是一種簡單、有效的計(jì)算圖像分形維數(shù)的方法。計(jì)算過程描述如下:
將大小為 M×N 的圖像分割成為 s×s的網(wǎng)格(1<s<M/2,且s為整數(shù)),令r=s/M。 設(shè)圖像為三維空間中一曲面 z=f(x,y),(x,y),坐標(biāo)軸表示圖像平面,z軸表示圖像的灰度值L。則(x,y)平面被 s×s 的網(wǎng)格覆蓋,有一系列 s×s×s′的小盒子,其中 s′=s×max(L)/M。 設(shè)位置在(i,j)的網(wǎng)格中,圖像的灰度最大值和最小值分別被包含在第k和第l個(gè)網(wǎng)格內(nèi),則第(i,j)的網(wǎng)格中的差分值 nr(i,j)為:
而整幅圖像在比例因子為r時(shí)的差分值為:
根據(jù)不同的比例因子r算出不同的Nr值,然后利用公式(1)應(yīng)用最小二乘法即可求得圖像的分型維數(shù)FD。
雖然DBC計(jì)算分形維數(shù)雖然能夠遍歷圖像維數(shù)范圍(2~3),但仍然有對局部高維估計(jì)不足的缺點(diǎn)。為解決DBC對高維部分飽和估計(jì)的缺陷在相似匹配計(jì)算中的影響,經(jīng)過實(shí)驗(yàn)分析DBC計(jì)算分形維數(shù)與粗糙度的比例關(guān)系,將圖像分形維數(shù)用函數(shù)y=x4分段非線性量化,使得分形維數(shù)與粗糙度形成一個(gè)近似線性尺度。具體步驟如下:
1)因?yàn)閳D像分形維數(shù)取值范圍在2~3之間,將分形維數(shù)取值范圍歸一化,取得decimalD=(FD-2)的值(取值范圍為:0~1)。
2)把0-1之間的數(shù)值平均分成10段,并將第i段平均分成i4個(gè)單位,共計(jì)個(gè)單位。
3)計(jì)算分形維數(shù)decimalD落在第幾單位,就是該圖像的分形維數(shù)量化直方圖的值。該值與圖像粗糙度近似線性比例關(guān)系。
量化前后分形維數(shù)與圖像粗糙度的比例關(guān)系如圖1所示。
顏色特征是人類視覺最重要的感知特征,具有最直觀,最明顯,而且對圖像分辨率、尺寸、旋轉(zhuǎn)等變化不敏感的特點(diǎn)。表現(xiàn)出相當(dāng)強(qiáng)的魯棒性,是描述圖像內(nèi)容信息最簡單有效的特征,被廣泛應(yīng)用于圖像檢索中。常用的顏色空間模型有:RGB模型、HSV模型、CMYK模型、HIS模型、Lab模型。每一種顏色空間模型都有自己的優(yōu)缺點(diǎn),研究者根據(jù)自己需要來選擇所用模型。
圖1 分形維數(shù)與粗糙度尺度量化前后關(guān)系圖Fig.1 Factal dimension and the relationship of roughness scale before and after quantization
HSV顏色空間(H色調(diào)、S飽和度、V亮度)直接反映了人類視覺觀察色彩的方式,具有:1)亮度分量與圖像的色彩信息無關(guān);2)色調(diào)分量和飽和度分量與人類視覺感受色彩方式緊密相關(guān)等特點(diǎn)。有助于計(jì)算機(jī)模擬人眼視覺感知圖像色彩進(jìn)行相關(guān)處理。為此本文選取HSV顏色空間進(jìn)行圖像檢索。
根據(jù)人眼對顏色感知的特性,在不顯著降低圖像質(zhì)量的情況下,為減小計(jì)算量以降低存儲(chǔ)空間和提高處理速度,對HSV顏色空間按照公式(3)量化:
由于分形維數(shù)和顏色特征均與圖像的尺度、旋轉(zhuǎn)、變換等不敏感的特性,首先把圖像預(yù)處理歸一化為[256×256]的標(biāo)準(zhǔn)圖像。分別計(jì)算圖像HSV空間各個(gè)顏色通道以及灰度圖像下的分形維數(shù)FDH、FDA、FDV,得出累積HSV顏色空間分形維數(shù)量化直方圖HistFD。綜合顏色直方圖HistC求得圖像特征向量:
其中wFD是分形維數(shù)量化直方圖權(quán)重。通過直方圖相交法求得查詢圖像與圖像庫中圖像的相似度。
本文所用圖像庫是標(biāo)準(zhǔn)測試圖像庫Corel中的1 000幅圖像作為數(shù)據(jù)庫,該圖像庫是有10個(gè)語義,每個(gè)語義包含100幅圖像的圖像庫,語義類別分別為:非洲、海灘、建筑、汽車、恐龍、大象、鮮花、駿馬、雪山、食物。根據(jù)分形維數(shù)與圖片大小的比例關(guān)系,實(shí)驗(yàn)顯示分形維數(shù)量化直方圖權(quán)重wfd=12檢索精度最高。圖像庫中所有圖像檢索精度數(shù)據(jù)如圖2所示。
圖2 傳統(tǒng)顏色直方圖法與本文綜合方法檢索精度圖Fig.2 Precision of normal and proposed method
圖2結(jié)果顯示本文提出的檢索方法得出的檢索精度比傳統(tǒng)直方圖方法的檢索精度平均提高了19%,平均檢索精度達(dá)到80%以上。
圖3 鮮花語義檢索結(jié)果Fig.3 Retrieval result of flower semantics
從檢索結(jié)果可以看出,融合了HSV顏色空間各個(gè)通道下的分形維數(shù)特征信息的圖像檢索系統(tǒng),提高了檢索精度,檢索結(jié)果更加符合人類視覺感知特性。以下是對圖像庫中部分語義圖像的檢索結(jié)果(每幅圖中的第一張圖為檢索目標(biāo)圖像)。
圖4 駿馬語義檢索結(jié)果Fig.4 Retrieval result of horse semantics
為尋求圖像檢索結(jié)果接近人眼感知圖像查詢的目的,本文綜合運(yùn)用了與人類感知圖像相似的兩種特征信息:HSV顏色空間模型顏色顏色特征,以及表述紋理信息的分形維數(shù)特征。實(shí)驗(yàn)結(jié)果表明該方法符合人類視覺感知特性,檢索結(jié)果明顯優(yōu)于傳統(tǒng)的顏色直方圖方法。圖像的分形維數(shù)特征信息能夠較準(zhǔn)確的表述圖像視覺信息,以后的深入研究將注重在圖像分割中分形維數(shù)的運(yùn)用。
[1]孫勁光,尹達(dá).基于顏色和紋理特征的圖像檢索技術(shù)研究[J].河北工業(yè)大學(xué)學(xué)報(bào),2008,37(6):23-30.SUN Jin-guang,YIN Da.Research of image retrieval based on color and texture feature[J].Journal of Hebei University of Technology,2008,37(6):23-30.
[2]Mandelbrot B B.The fractal geometry of nature[M].上海:上海遠(yuǎn)東出版社,1998.
[3]Pentland A P.Fractal based description of nature sciences[J].IEEE Trans on Pattern Analysis and Machine Intelligence 1984,6(6):661-674.
[4]Swain M J,Ballard D H.Color indexing[J].International Journal of Computer Vision,1991,7(1):11.
[5]Sarkar N,Chaudhuri B B.An efficient differential box-counting approach to compute fractal dimension of image[J].IEEE Trans on Systems,Man and Cybernetics,1994,24 (1):115-120.
[6]Ritendra D,Dhiraj J,Li J.Image retrieval:ideas,influences,and trends of the new age[J].ACM Computing Surveys,2008,40(2):5.