陸 光，滿慶麗

(東北林業(yè)大學(xué)信息與計(jì)算機(jī)工程學(xué)院，哈爾濱 150040)

天牛是林木的毀滅性害蟲，例如2004年，哈爾濱7萬(wàn)株糖槭樹(shù)被光肩星天牛蛀蝕的千瘡百孔，對(duì)哈爾濱的樹(shù)木產(chǎn)生毀滅性的危害，由于天牛的危害致使樹(shù)木干枯而死，因此目前對(duì)天牛的防治研究已成為急需解決的重要課題。用計(jì)算機(jī)視覺(jué)技術(shù)及早的發(fā)現(xiàn)、判斷和采取相關(guān)的措施，可減少生產(chǎn)損失，目前基于內(nèi)容的圖像檢索技術(shù)還未被應(yīng)用到天牛防治工作中。

基于內(nèi)容的圖像檢索技術(shù) (CBIR)是在20世紀(jì)90年代初提出的，基于內(nèi)容的圖像檢索根據(jù)圖像，圖像的語(yǔ)義以及上下文聯(lián)系進(jìn)行查找，以圖像語(yǔ)義特征為線索從圖像數(shù)據(jù)庫(kù)中檢索出具有相似特征的其他圖像。但是圖像的規(guī)模一般要大于純粹的文本信息，因此基于內(nèi)容的圖像檢索在速度和效率上要求更高。隨著CBIR的提出，也出現(xiàn)了許多商業(yè)系統(tǒng)和研究原型系統(tǒng)，例如QBIC［1］(Qurey By Image Content)由IBM最早商業(yè)化的基于內(nèi)容的圖像檢索系統(tǒng)，以及由哥倫比亞大學(xué)研發(fā)的WebSeek系統(tǒng)，麻省理工學(xué)院研發(fā)的Photobook［2］用于瀏覽和搜索圖像的一套交互式工具?；趦?nèi)容的圖像檢索系統(tǒng)一般包括圖像處理模塊、查詢模塊、對(duì)象庫(kù)和特征庫(kù)和知識(shí)庫(kù)，因此一個(gè)好的CBIR系統(tǒng)，首先要進(jìn)行圖像的特征提取與表達(dá)，特征選取的好壞對(duì)整個(gè)檢索系統(tǒng)有著重要的影響，直接關(guān)系到整個(gè)系統(tǒng)的檢索準(zhǔn)確度、檢索效果和檢索效率。文中提出了利用顏色特征和紋理特征作為特征向量，并采用主成分分析法 (PCA)對(duì)特征向量降維處理，提高了檢索的圖像的效率。

1 顏色特征

顏色特征是圖像的基本特征之一，同時(shí)也是圖像檢索中應(yīng)用最為廣泛的視覺(jué)特征［3－4］，與其它視覺(jué)特征相比，顏色特征對(duì)圖像本身的尺寸、方向和視角的依賴性較小，并且提取也相對(duì)容易，因而基于顏色圖像特征的圖像檢索受到了人們廣泛的重視和研究。圖像的顏色特征主要有顏色直方圖，顏色各個(gè)分量的統(tǒng)計(jì)特征，或者是采用加權(quán)的方法，將所有的分量合成一個(gè)量，構(gòu)建出來(lái)對(duì)顏色的統(tǒng)計(jì)信息;顏色矩，也是顏色離散數(shù)據(jù)的統(tǒng)計(jì)特征，不包含空間信息，并且可以是全局的，也可以是局部的，一個(gè)純統(tǒng)計(jì)的特征;顏色聚合向量，一種對(duì)顏色直方圖的一種比較聰明的改進(jìn);顏色相關(guān)圖，它比顏色直方圖和顏色聚合向量具有更高的檢索效率;還有就是顏色集，顏色集表達(dá)為二進(jìn)制的特征向量，這個(gè)在數(shù)據(jù)結(jié)構(gòu)中構(gòu)造二分查找來(lái)加快檢索速度，對(duì)于海量數(shù)據(jù)和數(shù)據(jù)倉(cāng)庫(kù)這樣的圖像集合將會(huì)起到非常有效的作用。

顏色特征的提取首先是對(duì)顏色模型的選擇，面向視覺(jué)感知的應(yīng)用，如動(dòng)畫中的彩色圖形，各種圖像處理算法等［5］都采用HSV模型。HSV空間是比較常用的統(tǒng)計(jì)顏色特征的空間，它比RGB系統(tǒng)更接近人們的經(jīng)驗(yàn)對(duì)彩色的感知，并且從RGB到HSV的轉(zhuǎn)換簡(jiǎn)單、快速，因此在提取顏色特征之前將圖像從RGB轉(zhuǎn)換到HSV空間。

顏色矩是一種非常簡(jiǎn)單且有效的顏色特征描述方法，與顏色直方圖相比，該方法的一個(gè)好處在于無(wú)需對(duì)顏色進(jìn)行量化，同時(shí)降低了顏色特征維數(shù)。由于顏色分布信息主要集中在低階矩中，因此采用顏色的一階矩 (Mean)、二階中心矩 (Variance)和三階中心矩 (Skewness)表達(dá)圖像的顏色分布。顏色的三個(gè)低階矩在數(shù)學(xué)上的表達(dá)如下:

但是顏色矩丟失了顏色的空間分布的信息，為了提取的顏色特征包含空間分布信息，提出了矩形重疊式的分塊策略，一方面考慮了空間信息，另一方面又考慮了各個(gè)分塊之間的聯(lián)系。分塊效果如圖1所示。

圖1 矩形重疊式分塊Fig.1 The effect of rectangular overlapped sub-regions method

顏色特征提取算法的實(shí)現(xiàn)步驟:

(1)將圖像庫(kù)中的圖像讀出來(lái)，對(duì)圖像進(jìn)行分塊，分為k(k=1，2，3，4，5)塊，得到分塊的圖像。

(2)對(duì)于圖像的第k塊，分別計(jì)算其在三個(gè)顏色軸上的顏色矩，得到第k塊的顏色特征向量:

(3)綜合個(gè)分塊的特征向量，獲得整幅圖像的顏色特征向量:

(4)考慮到人的視覺(jué)對(duì)圖像中心區(qū)域的事物更加敏感，為五個(gè)分塊分配權(quán)重φ，確定第k個(gè)分塊的加權(quán)向量:

(5)綜合各分塊的加權(quán)特征向量，最后可獲得整幅圖像的加權(quán)顏色特征向量:

(6)顏色特征內(nèi)部歸一化。

內(nèi)部歸一化的目的是使特征向量?jī)?nèi)部各分量在相似度量時(shí)地位相同，用I1，I2，I3，…，IM代表圖像庫(kù)中的M幅圖像，則對(duì)圖像數(shù)據(jù)庫(kù)中的M幅圖像，就可以得到一個(gè)M×N的特征矩陣F，N為特征向量的維數(shù)，特征矩陣F的每一列是維數(shù)為M的特征序列Fj=［f1，j，f2，j…，fM，j］，它代表圖像數(shù)據(jù)庫(kù)中所有圖像的特征向量的第j個(gè)特征分量。則歸一化的基本步驟如下:

假設(shè)每一個(gè)特征分量Fj=［f1，j，f2，j，…，fM，j］都符合高斯分布，計(jì)算出其均值mj和標(biāo)準(zhǔn)差σj，利用公式 (4)將fi，j歸一化至 ［－1，1］區(qū)間，

2 紋理特征

紋理特征是基于內(nèi)容的圖像檢索系統(tǒng)中常用的特征，其提取方法包括統(tǒng)計(jì)紋理分析和結(jié)構(gòu)紋理分析兩種方法，進(jìn)行定量分析和描述，經(jīng)過(guò)很多學(xué)者的不懈努力，目前已經(jīng)提出了許多有關(guān)紋理特征表達(dá)方法，例如 Tamura紋理特征［6］、灰度共生矩陣［7］、小波變換和自回歸紋理模型等。由于紋理是由灰度分布在空間位置上反復(fù)出現(xiàn)而形成的，因而圖像控件中間隔某距離的兩像素之間會(huì)存在一定的灰度關(guān)系，即圖像中灰度的空間相關(guān)特性。灰度共生矩陣就是一種通過(guò)研究灰度的空間相關(guān)性來(lái)描述紋理的常用方法，灰度直方圖是對(duì)圖像上單個(gè)像素具有某個(gè)灰度進(jìn)行統(tǒng)計(jì)的結(jié)果，而灰度共生矩陣是對(duì)圖像上保持某距離的兩像素分別具有某灰度的狀況進(jìn)行統(tǒng)計(jì)得到的。通過(guò)灰度共生矩陣，可以計(jì)算對(duì)比度、理的一致性、素對(duì)灰度的相關(guān)性、熵和能量等，最后，可以用一個(gè)向量將以上特征綜合在一起作為圖像的紋理特征，進(jìn)一步用來(lái)分類，識(shí)別，檢索。

紋理特征提取算法的實(shí)現(xiàn)步驟:

(1)將RGB圖像轉(zhuǎn)化為灰度圖像，灰度級(jí)數(shù)目為256，生成一個(gè)256×256的共生矩陣，但是人眼只能區(qū)分一些較粗的紋理而不能區(qū)分一些較細(xì)的紋理，過(guò)細(xì)的紋理還增加了計(jì)算量，所以為了計(jì)算的時(shí)間復(fù)雜度，計(jì)算灰度共生矩陣前都要進(jìn)行灰度級(jí)量化，文中采用量化為16級(jí)，即0～15級(jí)。

(2)計(jì)算共生矩陣，分別計(jì)算距離d為1，θ為0°、45°、90°、135°的共生矩陣元素p(i，j|d，θ)，其中i，j為灰度級(jí)數(shù)，計(jì)算公式如下:

式中:W，H是圖像的水平空間域和垂直空間域，k，m，l，n表示所選窗口中的變動(dòng)。分別用公式(9～12)計(jì)算4個(gè)共生矩陣的熵、慣性矩、能量和相關(guān)這4個(gè)參數(shù)。

式中:μx，μy，σx，σy分別表示px，py的均值和標(biāo)準(zhǔn)差。用 μE，σE，μH，σH，μA，σA，μC，σC作為紋理特征向量中的各個(gè)分量。由此形成了紋理特征的特征向量f(i)，f(i)=(μE，σE，μH，σH，μA，σA，μC，σC)。

(3)紋理特征內(nèi)部歸一化。根據(jù)顏色特征內(nèi)部歸一化的方法，對(duì)提取的紋理特征進(jìn)行內(nèi)部歸一化處理，得到歸一化后的紋理特征向量。

3 顏色和紋理特征綜合

3.1 主成分分析法 (PCA)

根據(jù)顏色特征內(nèi)部歸一化的方法，對(duì)提取的紋理特征進(jìn)行內(nèi)部歸一化處理，得到歸一化后的紋理特征向量。

多特征融合是現(xiàn)在圖像檢索中最常用的檢索方法，但是在將顏色特征和紋理特征進(jìn)行融合后，顏色特征FF=(F(1)，F(xiàn)(2)，F(xiàn)(3)，F(xiàn)(4)，F(xiàn)(5))是45 維的特征向量，紋理特征是一個(gè)f(i)=(μE，σE，μH，σH，μA，σA，μC，σC)8 維的特征向量，融合在一起是 53維的特征向量，維數(shù)高，增加了檢索的復(fù)雜度，進(jìn)而增加了檢索的時(shí)間，文中采用了主成分分析法(PCA)實(shí)現(xiàn)了特征向量的降維。假設(shè)有n個(gè)圖像，每個(gè)圖像有p個(gè)變量，構(gòu)成了n×p階的特征矩陣，

主成分分析法的步驟:

(1)計(jì)算相關(guān)系數(shù)矩陣R，大小為53×53的矩陣，rij為綜合特征向量中兩個(gè)特征分量的相關(guān)系數(shù)，并且rij=rj，i，計(jì)算相關(guān)系數(shù)的公式為:

(2)計(jì)算特征值和特征向量，將特征值按大小順序排列λ1≥λ2≥…，λp≥0，λi對(duì)應(yīng)的特征向量ei;

(3)計(jì)算主成分貢獻(xiàn)率和累計(jì)貢獻(xiàn)率:

取累計(jì)貢獻(xiàn)率達(dá)85%～95%的特征值所對(duì)應(yīng)的m(m≤p)個(gè)主成分。

(4)計(jì)算主成分載荷:

(5)計(jì)算各主成分的得分，找到每個(gè)主成分中與特征向量有較大正相關(guān)的變量，最終分析得到降維后的低維特征向量來(lái)代替原來(lái)的高維特征向量。

3.2 圖像的相似性度量

相似性的度量方法很多，有的用于專門的領(lǐng)域，也有的適用于特定類型的數(shù)據(jù)，如何選擇相似性的度量方法是一個(gè)相當(dāng)復(fù)雜的問(wèn)題。但是通常采用的方法都是計(jì)算樣本間的“距離”，常用的有歐式距離、曼哈頓距離、切比雪夫距離、閔可夫斯基距離、標(biāo)準(zhǔn)化歐式距離和馬氏距離等。目前在圖像檢索中常用到的主要相似性度量方法都是基于向量空間模型的，采用集合距離作為相似性度量。文中采用最常用的歐式距離進(jìn)行相似性度量，其公式如下:

3.3 檢索評(píng)價(jià)指標(biāo)

圖像檢索的效果容易受主觀因素的影響，不太好客觀判定一個(gè)圖像檢索算法的好壞，文中采用了查全率和查準(zhǔn)率對(duì)檢索算法性能進(jìn)行評(píng)價(jià)，給定一幅查詢圖像P，其查全率和查準(zhǔn)率為:

式中:n為自動(dòng)輸出的相關(guān)圖像數(shù);T為自動(dòng)輸出的總的圖像數(shù)。

式中:N為人眼主觀地從檢索庫(kù)中找到的與示例圖像相似的圖像數(shù)。

文中采用了主成分分析法實(shí)現(xiàn)特征降維，因此又采用了響應(yīng)時(shí)間來(lái)評(píng)價(jià)檢索的性能。

4 實(shí)驗(yàn)結(jié)果分析

為了與文中提出的算法相比較，采用了三種方案，第一種是用顏色特征向量進(jìn)行檢索，第二種是用紋理特征進(jìn)行檢索，第三種是兩者結(jié)合的方法進(jìn)行檢索。實(shí)驗(yàn)采用的數(shù)據(jù)為100幅圖像構(gòu)成的圖像庫(kù)，圖像包括天牛蟲、小蠡、吉丁蟲和金花甲4類對(duì)林木危害性比較大的害蟲，另外還有20幅圖像為干擾圖像，使得實(shí)驗(yàn)結(jié)果能夠更加準(zhǔn)確的驗(yàn)證算法的有效性。分別選擇天牛蟲和金花蟲兩類圖像的第一幅圖像作為示例圖像，用3種方案分別進(jìn)行檢索［8－10］，檢索結(jié)果如圖2 所示。

圖2中的 (a)、(b)為采用方案一對(duì)天牛蟲和金花甲進(jìn)行檢索的結(jié)果，(c)、(d)為方案二的檢索結(jié)果，(e)、(f)為方案三的檢索結(jié)果。

表1 天牛蟲的檢索結(jié)果分析Tab.1 The results of image retrieval for longicorn

圖2 圖像檢索結(jié)果分析Fig.2 The retrieval results of the three programs

表2 金花甲的檢索結(jié)果分析Tab.2 The results of image retrieval for chrysomelidae

從表1和表2中可發(fā)現(xiàn)，綜合顏色特征和紋理特征的圖像檢索的查全率和查準(zhǔn)率高于其它兩種，并且經(jīng)實(shí)驗(yàn)驗(yàn)證查詢時(shí)間也比其它兩種快，所以文中的算法是行之有效的。

5 研究展望

圖像檢索技術(shù)的研究是一個(gè)涉及到多個(gè)領(lǐng)域的綜合性課題，其實(shí)現(xiàn)算法也涉及到方方面面，但是各種圖像的特征是不同的，如何選取合適的算法提取圖像的特征，用低維的向量代替高維的特征向量來(lái)實(shí)現(xiàn)檢索也是一個(gè)重要的研究方面，雖然文中采用了PCA實(shí)現(xiàn)了降維，但是效果不是最優(yōu)的，如何解決這個(gè)問(wèn)題也是研究課題之一。文中提取的是圖像的低層視覺(jué)特征，還不能有效地獲取用戶給出的高層語(yǔ)義信息，如何實(shí)現(xiàn)低層視覺(jué)特征與圖像的語(yǔ)義信息的溝通，是圖像檢索中一個(gè)極富挑戰(zhàn)性的課題。最后，把圖像檢索的相關(guān)技術(shù)進(jìn)行推廣，應(yīng)用到各行各業(yè)也是作為研究者必須面對(duì)和解決的問(wèn)題，正如文中提到的天牛災(zāi)害，通過(guò)圖像的快速檢索，盡早處理有可能發(fā)生的災(zāi)害，為資源的保護(hù)和利用做出貢獻(xiàn)。

【參 考 文 獻(xiàn)】

［1］Flicker M，Sawhney H，Niblack W，et al．Query by image and video content:The QBIC system［J］．IEEE Computers，1995，28:23-32．

［2］Pentland A，Picard R W，Selaroff S．Photobook:Content-based manipulation of image database［J］．Int．Journal of Computer Vision，1996，18(3):233-254．

［3］Pentland A，Picard R W，Selaroff S．Photobook:Content-based manipulation of image database［J］．Int．Journal of Computer Vision，1996

［4］Huang J，Kumar S R Mitra M，et al．Image indexing using color correlograms［C］．IEEE Conference on Computer Vision and Pattern Recognition，1997:762-768．

［5］Stricker M，Orengo M．Similarity of Color images［J］．SPIE Storage and Retrieval for Image and Video Databases，1995，2185:337-349．

［6］Tamura H，Mori S，Yamawaki T．Textual features corresponding to visual perception［J］．Systems，Man and Cybernetics，1978，8(6):460-473．

［7］Haralick R M，Shanmugam K，Dinstein I．Textural features for image classification［J］．Systems，Man and Cybernetics，1973，3(6):610-621．

［8］于潤(rùn)偉．Matlab基礎(chǔ)及其應(yīng)用［M］．北京:機(jī)械工業(yè)出版社，2003．

［9］劉則毅．科學(xué)計(jì)算技術(shù)與Matlab［M］．北京:科學(xué)出版社，2001．

［10］徐安英．天然鱗云杉枯死現(xiàn)狀調(diào)查及防治對(duì)策［J］．森林工程，2011，27(2):35 －36．