陳曉寧,楊潤(rùn)豐,趙 健
(1.東莞職業(yè)技術(shù)學(xué)院電子工程系,廣東東莞 523808;2.西北大學(xué)信息科與技術(shù)學(xué)院,陜西西安 710069)
傳統(tǒng)的基于文本的圖像檢索技術(shù)需要人工去標(biāo)注,耗時(shí)多且圖像本身存在非結(jié)構(gòu)化和主觀多義性的視覺(jué)特點(diǎn),具有一定的局限性。20世紀(jì)90年代,出現(xiàn)了基于內(nèi)容的圖像檢索技術(shù)[1],對(duì)圖像的描述不受人為主觀性影響,因此基于內(nèi)容的圖像檢索系統(tǒng)克服了基于文本的圖像檢索的不足。在基于內(nèi)容的圖像檢索中,多側(cè)重于計(jì)算圖像的全局特征。然而圖像的全局特征并不能完好地描述圖像的細(xì)節(jié)部分,并且在多數(shù)情況下,人們只關(guān)注他們想要的局部區(qū)域圖像,而對(duì)關(guān)注之外的其他內(nèi)容并不關(guān)心。因此,僅需要對(duì)用戶感興趣的局部區(qū)域進(jìn)行特征的提取,而不必考慮圖像的全局特征。
興趣點(diǎn)往往位于那些含有將豐富圖像內(nèi)容的地方,因此,興趣點(diǎn)周?chē)木植繀^(qū)域也一定蘊(yùn)含著更多的圖像內(nèi)容。那么,可以將興趣點(diǎn)周?chē)鷧^(qū)域設(shè)為感興趣區(qū)域。采用興趣點(diǎn)對(duì)圖像進(jìn)行底層特征提取時(shí),可以較大程度地降低圖像中那些不重要的信息,即圖像的冗余信息,這樣將大幅降低檢索過(guò)程的計(jì)算量。感興趣區(qū)域忽略了圖像的全局特征,通過(guò)感興趣區(qū)域就能夠很好地描述圖像的局部?jī)?nèi)容。
1.1.1 興趣點(diǎn)檢測(cè)
興趣點(diǎn)檢測(cè)的目的就是實(shí)現(xiàn)對(duì)圖像中那些含信息量比較高的點(diǎn)進(jìn)行檢測(cè)。選擇利用興趣點(diǎn)來(lái)描述整幅圖像將大幅縮減對(duì)圖像特征提取的復(fù)雜度[2-3]。
由于希望興趣點(diǎn)周?chē)木植繀^(qū)域能夠盡可能地近似描述整幅圖像的特征,即具有可重復(fù)性。圖1所示為一幅圖像經(jīng)過(guò)縮放及旋轉(zhuǎn)情況下檢測(cè)到的興趣點(diǎn),圖中得到的興趣點(diǎn)基本相同。
圖1 興趣點(diǎn)對(duì)幾何變換的穩(wěn)定性
興趣點(diǎn)也稱(chēng)為角點(diǎn)(Conner Point)。將二維圖像灰度變化劇烈的點(diǎn)或圖像邊緣曲線上具有曲率極大值的那些點(diǎn)定義為角點(diǎn)。它集中描述了圖像上很多重要的形狀信息,是能夠用來(lái)表達(dá)圖像的一個(gè)重要特征。
Harris角點(diǎn)檢測(cè)算法被公認(rèn)為是一種比較好的方法,它是對(duì)Moravec角點(diǎn)檢測(cè)器的一種改進(jìn)。經(jīng)過(guò)對(duì)比分析,最后采用各項(xiàng)性能都比較優(yōu)越的Harris算子對(duì)圖像進(jìn)行興趣點(diǎn)的檢測(cè)。Harris算子是利用自相關(guān)函數(shù)來(lái)確定那些發(fā)生顯著變化的位置
式中,gx和gy分別表示X和Y兩個(gè)方向的梯度;G(σ)為高斯模板。矩陣M的特征值是自相關(guān)函數(shù)的一階曲率。
對(duì)興趣點(diǎn)的確定方法:當(dāng)圖像的兩個(gè)特征值差別較大時(shí),也就意味著圖像信號(hào)會(huì)沿著某方向的變化較大,這個(gè)變化較大的地方也就是邊緣;當(dāng)這兩個(gè)特征值相差非常大的時(shí)候,那么圖像的信號(hào)將在兩個(gè)方向都發(fā)生較大變化,這個(gè)點(diǎn)即為要找的興趣點(diǎn)。
對(duì)圖像興趣點(diǎn)的數(shù)目確定,是基于Harris算子提取圖像興趣點(diǎn)的關(guān)鍵問(wèn)題之一。一般情況下,對(duì)于不同圖像提取出的興趣點(diǎn)數(shù)目不同,而且一旦圖像中沒(méi)有邊緣突出的點(diǎn)時(shí),就不能獲得灰度值變化大的區(qū)域,也就是說(shuō)興趣點(diǎn)的數(shù)目就會(huì)為零,但由于要對(duì)圖像提取它的底層特征,那么就必須要找到一定數(shù)量的興趣點(diǎn),然后才能確定興趣點(diǎn)周?chē)木植繀^(qū)域即感興趣區(qū)域。經(jīng)實(shí)驗(yàn)結(jié)果證明,平均每幅圖像取50~80個(gè)興趣點(diǎn)較為合適。
1.1.2 感興趣區(qū)域的確定
一幅圖像感興趣區(qū)域的確定方法有多種,對(duì)感興趣區(qū)域的不同選擇將直接影響到能不能對(duì)圖像特征進(jìn)行很好地描述。經(jīng)過(guò)實(shí)驗(yàn)對(duì)比,最后對(duì)感興趣區(qū)域的確定如下:以興趣點(diǎn)為中心,取其周?chē)?1×41像素塊為一個(gè)感興趣區(qū)域,這樣有多少個(gè)興趣點(diǎn)就形成多少個(gè)感興趣區(qū)域,因此在一幅圖像中提取的感興趣區(qū)域就是50~80塊,進(jìn)而對(duì)感興趣區(qū)域進(jìn)行特征的提取。
1.2.1 基于感興趣區(qū)域的顏色特征提取
文中對(duì)顏色特征的提取方法,采用符合人眼視覺(jué)特性的HSV顏色模型。在提取局部顏色特征時(shí),首先將圖像由RGB顏色空間轉(zhuǎn)換成HSV顏色空間。
(1)首先將圖像由RGB顏色空間轉(zhuǎn)換為符合人眼視覺(jué)特征的HSV(Hue、Saturation、Value)顏色空間,如圖2所示。HSV顏色模型采用Munsell三維空間坐標(biāo)系統(tǒng)表示,它將彩色信息表示為3種屬性即色調(diào)、飽和度和亮度。
圖2 HSV顏色空間示意圖
(2)一幅圖像的顏色種類(lèi)繁多,這樣會(huì)導(dǎo)致直方圖矢量的維數(shù)龐大。在維數(shù)龐大時(shí),對(duì)計(jì)算是非常不利的,因此,首先對(duì)HSV空間進(jìn)行量化。
在HSV顏色空間中,用HSV空間的顏色直方圖來(lái)描述圖像的整體顏色特征,要用此種方法必須首先將H、S、V 3個(gè)分量按照人對(duì)于顏色的感知進(jìn)行非均勻的量化。最終的結(jié)果用T來(lái)表示,數(shù)學(xué)計(jì)算如(2)所示
式(2)中,「a?表示≥a的最小整數(shù)。此方法不僅適合于灰度圖像,對(duì)彩色圖像同樣也適用。按照上述量化算法,得到在HSV空間中的36維顏色直方圖。
通過(guò)式(2)計(jì)算出一系列T值,每一個(gè)T值都對(duì)應(yīng)于HSV顏色空間的一個(gè)空間區(qū)域,對(duì)通過(guò)式(2)計(jì)算得到的所有T值進(jìn)行歸一化處理,最后將這個(gè)歸一化后的值來(lái)表達(dá)圖像的感興趣區(qū)域的顏色特征。
1.2.2 基于感興趣區(qū)域的紋理特征提取方法
紋理特征可以用來(lái)對(duì)圖像中的空間信息進(jìn)行一定程度的定量描述。一般來(lái)說(shuō)紋理特征是和圖像頻譜中的高頻分量相關(guān)。其中已經(jīng)被廣泛應(yīng)用的一種比較理想的濾波器是Gabor濾波器,這是由于采用Gabor小波紋理特征對(duì)圖像進(jìn)行描述的方法是很接近于人對(duì)形狀的視覺(jué)感受的,而且它能最大程度地減小空間域和頻域內(nèi)的聯(lián)合二維不確定性。因此在對(duì)比多種算法后,文中對(duì)圖像的紋理特征進(jìn)行提取時(shí)采用Gabor小波變換的方法。式(3)表示二維Gabor小波的基函數(shù)
如果I(x,y)為給定的一幅圖像,那么對(duì)圖像的Gabor小波變換可以定義為
式(4)的描述,表明對(duì)象所在的空間位置,彌補(bǔ)了顏色直方圖不能描述對(duì)象位置的不足。對(duì)一幅圖像紋理特征的描述可以用均值μmn和標(biāo)準(zhǔn)方差σmn,其中μmn和σmn的數(shù)學(xué)計(jì)算公式分別如式(5)和式(6)所示
文中采用的Gabor濾波器為4個(gè)尺度(S=4)和6個(gè)方向(K=6),因此,得到的特征向量可表示為此特征向量中各分量的物理意義和取值是不相同的,因此,必須先對(duì)這些特征向量進(jìn)行歸一化處理。
經(jīng)過(guò)歸一化后,即使物理意義和取值都不相同的分量,都具有了相同的權(quán)重。高斯歸一化方法特點(diǎn)就是:個(gè)別的超大或者超小的元素對(duì)整個(gè)歸一化后的元素值產(chǎn)生的影響較小,實(shí)驗(yàn)證明采用高斯歸一化方法對(duì)特征向量進(jìn)行歸一化處理是一種比較好的方法。
經(jīng)過(guò)歸一化后,g的取值就是[-1,1]區(qū)間的一個(gè)數(shù)值,不僅使各個(gè)物理量有了相同的權(quán)值,還使得紋理特征變得比較簡(jiǎn)單,方便后面的檢索應(yīng)用。因此,經(jīng)過(guò)歸一化后,得到了36維的紋理特征向量。
設(shè)Q是待查詢圖像;I是圖像數(shù)據(jù)庫(kù)中一幅圖像,采用式(1)計(jì)算兩幅圖像的相似性
選擇的圖像數(shù)據(jù)庫(kù)為從Corel圖像庫(kù)中下載的1000幅圖像,這些圖像共有10類(lèi),每類(lèi)100幅,內(nèi)容包括食物、花卉、山川、建筑、海灘、非洲土著居民、公共汽車(chē)、馬、恐龍和大象等。圖3所示為本次實(shí)驗(yàn)中實(shí)際的檢索效果圖。
圖3是本次試驗(yàn)的檢索結(jié)果圖,左上角為要查詢的圖像,后面的為檢索到的圖像,從檢索的結(jié)果可以看出圖像從左至右、從上至下,相似匹配度為依次減小,越接近前面的結(jié)果,也就是相似性越高。
圖3 檢索結(jié)果
圖4是對(duì)比了本檢索方法、文獻(xiàn)[2]和文獻(xiàn)[3]的檢索方法的平均檢索準(zhǔn)確率的情況。從圖中可以看出文中的平均檢索準(zhǔn)確率均高于文獻(xiàn)[2~3]。
圖4 不同算法的平均檢索準(zhǔn)確率比較
提出了一種基于興趣點(diǎn)局部區(qū)域綜合顏色和紋理的圖像檢索方法,與傳統(tǒng)的單純基于顏色或者紋理進(jìn)行圖像檢索的方法不同,文中利用興趣點(diǎn)局部區(qū)域作為特征的提取對(duì)象。實(shí)驗(yàn)證明這種方法提高了圖像的平均檢索準(zhǔn)確率。
[1] 章毓晉.基于內(nèi)容的視覺(jué)信息檢索[M].北京:科學(xué)出版社,2003.
[2] 翟國(guó),宋余慶.基于興趣點(diǎn)和邊緣特征的圖像檢索方法的研究[J].計(jì)算機(jī)工程與設(shè)計(jì),2009,30(5):1148 -1150.
[3] 汪彥龍,李金龍,劉金華,等.基于內(nèi)容的圖像檢索方法[J].電視技術(shù),2005(4):9 -12.
[4] 符祥,曾接賢.基于興趣點(diǎn)匹配和空間分布的圖像檢索方法[J].中國(guó)激光,2010,37(3):774 -778.
[5] ROSENFELD A,WESZKA J S.An improved method of angle detection on digital curves[J].IEEE Transactions on Computers,1975,24(9):940 -941.
[5] SCHMID C,MOHR R,BAUCKHAGE C.Evaluation of interest point detectors[J].International Journal of Computer Fision,2000,37(2):151 -172.
[6] 翟國(guó),宋余慶,談佳寧,等.基于興趣點(diǎn)和邊緣特征的圖像檢索方法的研究[J].計(jì)算機(jī)工程與設(shè)計(jì),2009,30(5):1148-1150.