翟艷東，于 明，王 巖，韓淑珍

(河北工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與軟件學(xué)院，天津300401)

責(zé)任編輯:時(shí) 雯

目前，互聯(lián)網(wǎng)上的圖像數(shù)量迅速增長(zhǎng)。如果不按一定的規(guī)則對(duì)這些圖像進(jìn)行管理，那么必將給用戶的使用帶來(lái)諸多不便。圖像分類以分類速度快、節(jié)省人力等優(yōu)勢(shì)有助于克服海量圖像帶來(lái)的難關(guān)。

在對(duì)圖像進(jìn)行分類時(shí)，不同用戶有不同的需求，即使是同一個(gè)用戶在不同的時(shí)期也可能會(huì)有不同的需求。針對(duì)這種需求變化，為了滿足不同的圖像管理需要，提出一種適用性更強(qiáng)的圖像分類方法迫在眉睫。另外，考慮到某一顯著的單一特征通常能夠快速且準(zhǔn)確地分類差別非常大的圖像，因此將這一思想引進(jìn)到圖像自動(dòng)分類管理中，首先按照不同的單一顯著特征對(duì)圖像進(jìn)行粗分類，粗分類之后再融合其余的底層特征對(duì)圖像進(jìn)行更細(xì)一層的分類。每一層分類時(shí)選擇的圖像特征不同，分類結(jié)果也會(huì)有所不同，這樣就可以按照不同需求將圖像分為多種不同的類別。

本文通過(guò)分析對(duì)比實(shí)驗(yàn)結(jié)果，研究不同特征向量對(duì)圖像分類的影響。并根據(jù)圖像之間存在的不同顯著特征，實(shí)現(xiàn)一種新的多級(jí)分類方法。該分類方法具有更好的適用性，也更加符合人們通過(guò)計(jì)算機(jī)自動(dòng)管理圖像的實(shí)際需要。

1 不同圖像特征提取方法研究

通過(guò)分析確定最能凸顯圖像內(nèi)容的底層特征包括顏色[1]、紋理和邊緣，完成圖像底層特征的提取。重點(diǎn)研究各底層特征的不同提取方法，通過(guò)比對(duì)不同特征提取方法提取的特征向量對(duì)圖像分類結(jié)果的影響以及維數(shù)的大小等因素，確定顏色特征、紋理特征和邊緣特征的最終提取方法。

1.1 基于HSV空間的顏色矩特征提取

常用的顏色特征主要包括空間顏色直方圖、顏色集、顏色聚合向量和顏色相關(guān)圖等。但這些算法都需要事先對(duì)圖像進(jìn)行相應(yīng)的量化處理，容易導(dǎo)致圖像的誤分類。此外，在提取特征時(shí)并沒(méi)有將像素之間的關(guān)聯(lián)考慮在內(nèi)，而且特征向量維數(shù)較高。1996年Stricker和Orengo對(duì)顏色直方圖的提取進(jìn)行了改進(jìn)，提出新的概念顏色矩(color moments)[2]。這種方法建立在圖像中任何的顏色分布都可以用它的矩來(lái)表示的數(shù)學(xué)基礎(chǔ)之上。圖像的信息主要集中在圖像的低階矩中，僅用一階矩(mean)、二階矩(variance)和三階矩(skewness)就能夠充分表達(dá)整幅圖像的顏色分布。圖1為實(shí)驗(yàn)所用的6類圖像的示例圖，計(jì)算了6幅圖像在H，S和V通道的9個(gè)顏色矩特征，結(jié)果如表1示。

圖1 實(shí)驗(yàn)圖像類別示例

1.2 紋理特征提取

常見(jiàn)的方法中Gabor濾波對(duì)圖像的紋理特征具有良好的選擇性，可以很好地捕捉到與空間位置、空間頻率相對(duì)應(yīng)的紋理信息，所提取圖像紋理特征最為有效，因此采用Gabor變換進(jìn)行紋理特征提取。本文在提取紋理特征向量時(shí)需要對(duì)4個(gè)方向的紋理特征圖進(jìn)行量化處理，這里首先將生成的每一幅特征圖像都劃分為固定的4×4共16個(gè)子塊，再對(duì)每個(gè)子塊區(qū)域的所有像素值求取平均值[3]，這樣就得到4×4×4=64維的紋理特征向量，用于下面的圖像分類實(shí)驗(yàn)。

表1 示例圖像顏色矩結(jié)果值

1.3 基于Canny算子的邊緣方向直方圖特征提取

常用的邊緣檢測(cè)算子有Sobel算子、Prewitt算子和Laplacian算子等。Canny算子是一類非常優(yōu)秀的邊緣檢測(cè)算子，計(jì)算流程主要包括濾波、增強(qiáng)和檢測(cè)。

圖像的邊緣方向直方圖特征是一種基于圖像邊緣的統(tǒng)計(jì)特征，由于其不僅可以很好地反映圖像的形狀信息以及方向信息，而且具有較高的運(yùn)算速度等優(yōu)點(diǎn)在圖像處理領(lǐng)域得到廣泛應(yīng)用，見(jiàn)圖2。

圖2 圖像邊緣方向直方圖

邊緣方向直方圖特征[4]的提取過(guò)程如下:

1)將圖像進(jìn)行灰度化，得到灰度圖像I;

2)對(duì)圖像用邊緣算子Canny進(jìn)行運(yùn)算，并得到(x，y)點(diǎn)的dx和dy;

3)計(jì)算各像素點(diǎn)的邊緣方向θ(x，y)=arctan(dx/dy);

4)將邊緣方向的角度值進(jìn)行量化，將[-180°，180°]每10°分一組量化為36級(jí);

5)對(duì)邊緣方向θ進(jìn)行直方圖統(tǒng)計(jì)。

圖2左上圖為原始的256×256像素的標(biāo)準(zhǔn)Lena圖像，左下圖為原始圖像采用Canny算子提取的邊緣特征圖。右圖為對(duì)邊緣方向的角度進(jìn)行量化后的直方圖統(tǒng)計(jì)結(jié)果。從圖中可以看出各角度的統(tǒng)計(jì)值之間存在很大的差別，不同類別的圖像之間也存在著很大差異。因此，將其應(yīng)用到圖像分類中是一種非常有效的特征?？紤]到計(jì)算簡(jiǎn)單、維數(shù)少且分類有效等優(yōu)點(diǎn)，本文采用邊緣方向直方圖來(lái)表示邊緣特征。

圖像的顏色、紋理和邊緣特征的提取為實(shí)現(xiàn)圖像的自動(dòng)分類提供了必要的數(shù)據(jù)準(zhǔn)備。每一種圖像的底層特征都影響著人類依靠自身視覺(jué)分辨圖像的能力，起著至關(guān)重要的作用。因此，依據(jù)圖像的底層特征來(lái)實(shí)現(xiàn)對(duì)圖像的自動(dòng)分類管理是一項(xiàng)非常有意義的研究工作。

2 圖像分類結(jié)果與分析

2.1 基于單一特征的分類結(jié)果與分析

按照第1節(jié)中介紹的方法隨機(jī)選取訓(xùn)練樣本和測(cè)試樣本，將不同的單一特征分別作為SVM的輸入向量對(duì)圖像進(jìn)行分類實(shí)驗(yàn)[5-7]。這里隨機(jī)選取了6組數(shù)據(jù)進(jìn)行分類實(shí)驗(yàn)，統(tǒng)計(jì)的分類正確率為6組正確率的算數(shù)平均值。分類結(jié)果統(tǒng)計(jì)表如表2所示。

表2 單一特征分類結(jié)果統(tǒng)計(jì)表

從表2的數(shù)據(jù)對(duì)比可以看出3種單一特征作為SVM的輸入進(jìn)行分類時(shí)的優(yōu)劣:Gabor紋理特征的整體分類效果要優(yōu)于顏色矩特征和邊緣方向直方圖特征，尤其是樹(shù)木類和花朵類圖像相對(duì)于其他兩種特征均有很顯著的提高，可以得出Gabor紋理針對(duì)自然類圖像的分類具有很好的區(qū)分效果;邊緣方向直方圖特征的整體分類效果最差。但是對(duì)巴士類圖像卻具有最佳的識(shí)別效果，由于巴士類圖像的邊緣特征十分顯著。除此之外，建筑類圖像的分類效果也得到了一定的改善，因此邊緣方向直方圖特征適用于區(qū)分人造場(chǎng)景與其余類別的圖像;顏色矩特征相對(duì)于Gabor紋理和邊緣方向直方圖特征，對(duì)每一類圖像的分類正確率相對(duì)平均，整體的分類正確率也介于Gabor紋理和邊緣方向直方圖之間，但因其計(jì)算簡(jiǎn)單、維數(shù)小等特點(diǎn)仍然是分類中經(jīng)常選用的分類特征。

2.2 基于組合特征的分類結(jié)果與分析

將不同的組合特征作為SVM的輸入向量按照2.1節(jié)中介紹的方法對(duì)圖像進(jìn)行分類實(shí)驗(yàn)。分類結(jié)果統(tǒng)計(jì)表如表3所示。對(duì)比表2與表3可以看出，采用組合特征進(jìn)行圖像分類的分類正確率要明顯優(yōu)于僅采用單一特征進(jìn)行分類。尤其是建筑類和山脈類圖像，較單一特征分類正確率得到明顯提高。但具有顯著邊緣特征的巴士類圖像和具有顯著紋理特征的樹(shù)木類圖像在采用不包含其顯著特征的其余兩種特征組合后的分類正確率卻比僅采用單一顯著特征有一定幅度的下降，剩下的兩類圖像的分類正確率均有不同程度的提升。

表3 組合特征分類結(jié)果統(tǒng)計(jì)表

3 多級(jí)圖像分類

3.1 多級(jí)分類的提出

通過(guò)表2可以看出將Gabor紋理作為SVM分類器的輸入向量進(jìn)行分類實(shí)驗(yàn)時(shí)，樹(shù)木類圖像的分類準(zhǔn)確率能達(dá)到很高。當(dāng)采用邊緣方向直方圖進(jìn)行圖像分類實(shí)驗(yàn)時(shí)，巴士類圖像能夠得到非常高的分類正確率。

考慮到單一顯著特征通常能夠快速且準(zhǔn)確地分類差別非常大的圖像[8]，例如實(shí)驗(yàn)圖像中辦公場(chǎng)所、建筑、巴士同屬于人造物體構(gòu)成的圖像，樹(shù)木、山脈和花朵同屬于自然物體構(gòu)成的圖像。人造物體與自然物體的邊緣特征差別很大，大多數(shù)人造物體含有比較規(guī)則的邊緣，而自然物體的邊緣卻非常復(fù)雜，沒(méi)有特定的規(guī)律。所以，僅使用邊緣特征就能很快地區(qū)分出人造物體構(gòu)成的圖像和自然物體構(gòu)成的圖像。但僅采用單一特征，卻不能夠很好地區(qū)分各類圖像之間存在的細(xì)微差別。因此，提出一種按照用戶的需求選擇不同的圖像特征對(duì)圖像進(jìn)行粗分類，再利用第二級(jí)分類器融合其余的圖像特征對(duì)圖像進(jìn)行細(xì)分類的多級(jí)分類方法。利用這種思想在達(dá)到更符合人類主觀判斷的分類結(jié)果的同時(shí)，得到更高的分類正確率。

輸入圖像之后，將圖像轉(zhuǎn)化為相同大小并且統(tǒng)一轉(zhuǎn)換為JPEG格式，以排除格式以及大小不同對(duì)分類結(jié)果造成的影響。圖像規(guī)范化之后提取圖像的底層視覺(jué)特征，包括顏色、紋理和邊緣以備后續(xù)分類時(shí)使用。提取特征之后，用戶可以按照自己的需求選擇某一特征對(duì)圖像進(jìn)行粗分類。粗分類后的圖像如果沒(méi)有達(dá)到預(yù)期的結(jié)果可以選擇其他圖像特征對(duì)圖像進(jìn)行粗分類。如果達(dá)到預(yù)期結(jié)果，則判斷是否需要組合其余的底層特征進(jìn)行細(xì)分類，不需要的情況下直接返回分類結(jié)果。如果需要細(xì)分則按照細(xì)分類的實(shí)際需要融合其余的底層特征(這里可以是一種特征也可以是其余的幾種特征)，利用第二級(jí)分類器對(duì)圖像進(jìn)行細(xì)分類處理，返回最終的分類結(jié)果。

3.2 實(shí)驗(yàn)分析

針對(duì)人造物體構(gòu)成的圖像和自然物體構(gòu)成的圖像存在顯著的邊緣差異這一特點(diǎn)，首先按照邊緣特征將現(xiàn)有的圖像庫(kù)分成人造物體構(gòu)成的圖像和自然物體構(gòu)成的圖像兩類，人造物體構(gòu)成的圖像包括辦公場(chǎng)所、建筑、巴士，自然物體構(gòu)成的圖像包括樹(shù)木、山脈和花朵。按照如圖3所示的層次重新組織實(shí)驗(yàn)中的6類圖像。重新組織后的圖像共進(jìn)行以下實(shí)驗(yàn):

圖3 類別層次圖

第一層粗分類:人造物體圖像和自然物體圖像。

由于人造物體的邊緣比較規(guī)則而自然物體的邊緣相對(duì)復(fù)雜，因此邊緣特征對(duì)于人造物體構(gòu)成的圖像和自然物體構(gòu)成的圖像是一種非常顯著的分類特征。依據(jù)邊緣這一顯著特征，首先將圖庫(kù)中的6類圖像分為兩類:人造物體圖像和自然物體圖像。隨機(jī)選取每類圖像的3/4做為訓(xùn)練集，剩余的1/4做為測(cè)試集。經(jīng)實(shí)驗(yàn)得到這兩類圖像的總的分類正確率為91.333 3%。

第二層細(xì)分類:

由上一節(jié)中的實(shí)驗(yàn)數(shù)據(jù)對(duì)比分析可以看出，三類特征融合進(jìn)行分類的效果比單一特征和任意兩種組合特征進(jìn)行分類的正確率都要高。因此，在細(xì)分類的實(shí)驗(yàn)中采取融合其余兩種特征的方法對(duì)圖像進(jìn)行分類，以達(dá)到最好的分類效果，對(duì)多級(jí)分類方法的分類正確率進(jìn)行研究。在此，本文分別對(duì)6類圖像采用單級(jí)分類和多級(jí)分類兩種方法進(jìn)行分類實(shí)驗(yàn)，并對(duì)每類圖像的分類正確率進(jìn)行統(tǒng)計(jì)。分類正確率的對(duì)比結(jié)果如表4所示。

表4 兩種方法的分類結(jié)果對(duì)比表

通過(guò)表4的分類結(jié)果比較，可以看出利用本文多級(jí)分類方法后，辦公場(chǎng)所、建筑和花朵的分類正確率都有了顯著提高。樹(shù)木和山脈的分類正確率和單級(jí)分類相比基本持平。只有巴士類圖像的分類正確率有小幅度的降低。即采用多級(jí)分類方法后，多類圖像的分類正確率得到一定程度的提高，雖然個(gè)別類圖像分類正確率有小幅度降低，但整體的分類正確率依然較單級(jí)分類方法有所提高。經(jīng)實(shí)驗(yàn)分析，由于粗分類后縮小了再進(jìn)行細(xì)分類的圖像的范圍，因此，避免了許多不相關(guān)圖像對(duì)其分類的影響，有助于提高細(xì)分類的正確率。

從實(shí)驗(yàn)中可以看出多級(jí)分類與單級(jí)分類相比在分類正確率上表現(xiàn)出一定的優(yōu)越性。而在實(shí)際應(yīng)用中，由于待分類的圖像尚不確定，所以分類者可以根據(jù)具體情況選擇任意突出的顯著特征對(duì)圖像進(jìn)行粗分類，再融合其余的底層特征對(duì)圖像進(jìn)行細(xì)分類，以達(dá)到更高的分類正確率。該方法的按需選擇特征可以滿足分類者的不同分類需求，更加符合人類通過(guò)計(jì)算機(jī)來(lái)管理圖像的需要。

4 結(jié)論

多級(jí)分類可以廣泛應(yīng)用于實(shí)際圖像分類中，對(duì)圖像源進(jìn)行組織。這樣利用兩級(jí)分類器對(duì)圖像進(jìn)行分類，使圖像具有更高的分類正確率，例如，可以按照顏色特征將互聯(lián)網(wǎng)上的圖像源進(jìn)行粗分類，分成白天、夜晚和日出、日落，將白天的圖像再按邊緣特征分為室內(nèi)和室外;也可以按照紋理特征將圖像組織為紋理圖像和非紋理圖像，再將非紋理圖像進(jìn)行更細(xì)一層的分類。

除了具有更高的正確率之外，還可以應(yīng)用于快速圖像分類。每層分類時(shí)的特征都是可選的，分類者可以按照自己的需求選取盡量少的顯著特征對(duì)圖像進(jìn)行分類。這樣就縮短了特征提取的時(shí)間，能在一定程度上提高圖像分類的速度。

除此之外，多級(jí)分類的思想還可以應(yīng)用到場(chǎng)景識(shí)別的研究工作中。在場(chǎng)景識(shí)別時(shí)可以首先按照顯著的特征區(qū)分差別比較大的場(chǎng)景，例如臥室和山脈、客廳和海岸線等。再利用可以反映圖像之間細(xì)微差別的紋理特征來(lái)區(qū)分相似類別的圖像，例如臥室和客廳、郊區(qū)和街道等，以期使場(chǎng)景圖像達(dá)到更高的分類正確率。

[1]龍清.基于顏色特征的電視圖像檢索[J].電視技術(shù)，2012，36(8):74-77.

[2]STRICKER M，ORENGO M.Similarity of color images[C]//Proc.SPIE Storage and Retrieval for Image and Video DatabasesⅢ.[S.l.]:SPIE Press，1995:381-392.

[3]邢慧強(qiáng)，王國(guó)宇.SVM用于基于塊劃分特征提取的圖像分類[J].微計(jì)算機(jī)信息，2006，22(5):210-212.

[4]孔英會(huì)，蘇亮.基于層次語(yǔ)義的圖像分類方法[J].計(jì)算機(jī)應(yīng)用，2011，31(10):3045-3047.

[5]高錦.基于SVM的圖像分類[M].西安:西北大學(xué)，2010.

[6]羅會(huì)蘭，杜連平.一種SVM集成的圖像分類方法研究[J].電視技術(shù)，2012，36(23):45-48.

[7]MENG Xianglin，WANG Zhengzhi，WU Lizhen.Building global image features for scene recognition[J].Patter Recognition，2012(45):373-380.

[8]FLICKNER M.Query by image and video content:the QBIC project:querying images by content using color，texture，and shape[C]//Proc.SPIE Conf.on Storage and Retrieval for Image and Video Datacases.[S.l.]:SPIE Press，1993:173-187.