Foundation items: Supported by the National Natural Science Foundation of China(50978106,60273064)and the Natural Science Foundation of Jiangsu Higher Education Institutions of China(14KJB520038,13KJD510007)

基于JointBoost I2C距離度量的圖像分類方法*

李子龍劉偉銘

(華南理工大學(xué) 土木與交通學(xué)院, 廣東 廣州 510640)

摘要：基于圖像到類(I2C)距離度量的圖像分類是一種新穎的方法,但其分類性能仍有待提高.為此,文中提出了一種基于JointBoost I2C距離度量的圖像分類方法.首先生成原型特征集,該集合中的樣本具有代表性,故計(jì)算測試圖像到該原型特征集的距離更有效;然后根據(jù)JointBoost算法的思想,聯(lián)合多個I2C距離度量生成一個強(qiáng)分類器,并將空間信息融合到強(qiáng)分類器中.實(shí)驗(yàn)結(jié)果表明,該方法在圖像分類實(shí)驗(yàn)中具有更高的分類性能.

關(guān)鍵詞：圖像分類；JointBoost；圖像到類距離；原型特征集

收稿日期：2014-05-06

基金項(xiàng)目：* 國家自然科學(xué)基金資助項(xiàng)目(50978106,60273064);江蘇省高校自然科學(xué)研究項(xiàng)目(14KJB520038，13KJD510007)

作者簡介：李子龍(1979-),男,在職博士生,徐州工程學(xué)院講師,主要從事智能交通、圖像處理與模式識別研究.E-mail:longtaizi1979@gmail.com

文章編號：1000-565X(2015)05-0114-06

中圖分類號：TP391.4

doi:10.3969/j.issn.1000-565X.2015.05.018

圖像分類一直是計(jì)算機(jī)視覺和模式識別領(lǐng)域中的研究熱點(diǎn)之一[1-5],但在實(shí)際應(yīng)用中,光照、遮擋和類內(nèi)圖像變化突出等因素的影響,使得圖像分類仍然是一個具有挑戰(zhàn)性的問題.

從有無參數(shù)的角度來說,圖像分類方法可以分為兩類:帶參數(shù)的分類器(如SVM[2]、Boosting[3])和無參數(shù)的分類器(如NN[4]、KNN[5]).相比于帶參數(shù)的分類器,無參數(shù)的分類模型無需訓(xùn)練,可直接在測試數(shù)據(jù)集上進(jìn)行分類.但在大多數(shù)情況下,帶參數(shù)方法的分類性能要遠(yuǎn)高于無參數(shù)的分類方法,因?yàn)樗鼈兊姆诸惸Ｐ徒?jīng)過了訓(xùn)練.文獻(xiàn)[6]中提出了基于圖像到類(I2C)距離度量的圖像分類方法,該方法是基于最近鄰原則的非參數(shù)方法(NBNN).由于其簡單、高效,且能避免因特征的量化而降低圖像信息的損失,從而引起了學(xué)者們的關(guān)注[7-9].

文獻(xiàn)[10]中提出了基于Mahalanobis I2C距離的圖像分類方法(I2CDML),該方法在特征數(shù)量較少時仍能保持較好的分類特性.文獻(xiàn)[11]中使用參數(shù)化的I2C距離進(jìn)行圖像分類,以增強(qiáng)其適應(yīng)性.文獻(xiàn)[12]中提出了基于權(quán)重I2C距離的圖像分類方法(LI2C),進(jìn)一步提高了其抗噪能力.文獻(xiàn)[13]中對I2C距離進(jìn)行線性距離編碼(LDC),不僅降低了測試時間,還增強(qiáng)了識別能力,提升了I2C距離的泛化能力.文獻(xiàn)[14]中提出了基于監(jiān)督的最近鄰分類方法,該方法通過梯度下降法來優(yōu)化測試樣本點(diǎn)到原型樣本點(diǎn)的最近鄰距離.文獻(xiàn)[15]中結(jié)合貝葉斯分類器和K最近鄰分類器提出了一種新的基于距離度量的分類方法,該方法不僅具有NBNN的特性,而且其性能優(yōu)于NBNN.

雖然改進(jìn)后的I2C距離在圖像分類和抗噪能力方面都有所提高,但仍然存在一些不足:首先,抗噪能力仍然不夠,尤其是在復(fù)雜背景下,提取的圖像局部特征包含了大量噪聲,這導(dǎo)致圖像分類結(jié)果往往難以保證正確率;其次,對類內(nèi)變化突出、類間界限模糊的適應(yīng)能力不強(qiáng),如文獻(xiàn)[11]方法為每個測試特征到訓(xùn)練特征的距離賦予一個權(quán)重,這對同類圖像的識別能力表現(xiàn)不強(qiáng).

在基于機(jī)器學(xué)習(xí)的圖像分類算法中,如何利用有效的訓(xùn)練樣本快速準(zhǔn)確地構(gòu)造一個具有良好性能的分類器,是圖像分類成敗的關(guān)鍵因素之一.建立一個識別能力很強(qiáng)的分類器往往是一件很困難、很費(fèi)時的事情,然而獲得一些較為粗糙的分類器往往要容易得多.

為此,文中提出了一種基于JointBoost I2C距離度量的圖像分類方法,首先將每一類訓(xùn)練特征集簡化為映射特征集(稱為原型特征集,該集合中的樣本特征更具代表性),并根據(jù)JointBoost算法快速高效的特點(diǎn)[16]組合弱分類(即I2C距離),改進(jìn)特征選取方法,選取識別能力更強(qiáng)的特征集進(jìn)行目標(biāo)圖像分類,實(shí)現(xiàn)一種共享I2C距離的多類分類算法,以提高分類器準(zhǔn)確率.

1優(yōu)化圖像到類的距離

1.1基于I2C距離的分類方法

基于I2C距離的分類方法的主要思想是:計(jì)算測試圖像中的每個特征(一般選擇SIFT特征)和其在候選類特征集中最近鄰特征的歐式距離之和,并作為I2C距離.測試圖像的分類原則是與哪個候選類距離最近就劃分為哪一類.

圖1圖像到類距離的圖像分類框架

Fig.1Image classification framework of image-to-class distance

1.2優(yōu)化I2C距離

計(jì)算I2C距離的關(guān)鍵是計(jì)算局部特征到類樣本特征集中最近鄰特征的距離.而實(shí)際的訓(xùn)練樣本較多,且類內(nèi)多樣性突出,這對復(fù)雜背景下的圖像分類是不利的.為此,文中為每類訓(xùn)練特征集生成一個簡化的特征集合(稱為原型特征集).該集合中的樣本特征更具代表性.這樣,原始的I2C距離就變?yōu)榫植刻卣鞯筋愒吞卣骷现凶罱徧卣鞯木嚯x,此距離更有效.

文中所用的局部特征到類原型特征集的距離公式為

(1)

式中,Fc為要學(xué)習(xí)的關(guān)于類c的原型特征集.

為了能確定合適的原型特征,將式(1)看作xc的函數(shù),文中采用隨機(jī)梯度下降算法來優(yōu)化類c原型特征集中的特征.即如果特征的類標(biāo)志y與c相同,則對式(1)求取的梯度為

(2)

最后更新原型特征集中的特征值:

(3)

式中,ηt為學(xué)習(xí)率,t為迭代次數(shù).

基于此思想,文中提出的原型特征集學(xué)習(xí)算法的具體實(shí)現(xiàn)如下:

給定訓(xùn)練特征集{(x1,y1),(x2,y2),…，(xN,yN)},xi為從訓(xùn)練圖像中提取的特征,yi∈{1,2,…,C},初始時將每類原型特征集置為空,即Fc←?;

Foreachc∈{1,2,…,C}

repeat

隨機(jī)選取一樣本(xi,yi);

如果xi?Fc且yi=c,則Fc=Fc∪{xi};

End Foreach

Fori=1 toN

End If

End For

在該算法中,先隨機(jī)選取一些訓(xùn)練數(shù)據(jù)來生成每類的原型特征集,而原型特征集的數(shù)量由實(shí)驗(yàn)來確定;然后使用所有訓(xùn)練數(shù)據(jù)更新類和類原型特征集中的特征.

2聯(lián)合多I2C距離度量的圖像分類

2.1基于I2C的弱分類器設(shè)計(jì)

經(jīng)過學(xué)習(xí)獲得的原型特征集對提高目標(biāo)分類有一定的改善,但由于類間特征空間交疊,且從實(shí)際場景下獲取的圖像往往包含著大量噪聲,這都影響I2C距離的分類效果.為此,文中采用JointBoost算法來進(jìn)一步優(yōu)化I2C分類器.選擇該算法的原因是它簡單、易于實(shí)現(xiàn),且性能高于其他Boosting改進(jìn)算法.文中圖像分類方法的實(shí)現(xiàn)思路是:使用局部特征到類的距離作為弱分類器,每個弱分類器都有相應(yīng)的原型特征集,通過把多個弱分類器聯(lián)合在一起得到一個分類能力很強(qiáng)的分類器.

JointBoost算法是一種基于特征共享的多類分類算法[16],在訓(xùn)練步驟m,強(qiáng)分類器H的更新公式為

H(x,c)=H(x,c)+hm(x,c)

(4)

其中,H(x,c)就是需要學(xué)習(xí)獲得的圖像到類c距離的強(qiáng)分類器.為了在每一輪迭代選取一個最優(yōu)的弱分類器來更新強(qiáng)分類器,JointBoost要滿足的損失函數(shù)為

(5)

JointBoost算法的主要思想是將多類問題轉(zhuǎn)化為多個二類問題進(jìn)行處理.每次迭代時,在多個二類子集中找到最佳的多個類別共享的特征集.然后通過共享特征的分類器疊加,得到最終的強(qiáng)分類器對多類進(jìn)行分類.對于C種類別,一共可以分成2C-1個二類子集,文中用S(n)表示該二類子集(n=1,2,…,2C-1).JointBoost算法的偽代碼如下:

H(xi,c)=C;

Form=1 toM

Forn=1 to 2C-1

根據(jù)式(5)計(jì)算損失代價;

End For

End For}

為了使JointBoost框架下的弱分類器能達(dá)到優(yōu)化損失函數(shù)的目的,文中使用I2C距離來設(shè)計(jì)新的弱分類器,即

(6)

(7)

(8)

(9)

2.2融合空間信息

特征點(diǎn)的空間信息有助于目標(biāo)分類,文獻(xiàn)[17]使用空間金字塔匹配的方式來限制最近鄰特征點(diǎn)的查找范圍,從而融合了空間信息.它將圖像分別劃分成1×1、2×2、4×4三個層次的區(qū)域塊,對每一層次每一區(qū)域內(nèi)提取的特征,只需在相同層次相同區(qū)域內(nèi)尋找類原型特征集中的最近鄰特征.該方法的空間限制能減少來自不對應(yīng)區(qū)域塊錯誤匹配的干擾,進(jìn)一步增強(qiáng)查找最近鄰特征的魯棒性,但該方法計(jì)算復(fù)雜度較高,空間信息描述仍不夠充分.為此,文中提出了一種新的融合空間信息的方法.

對于提取的圖像特征集(x1,y1),(x2,y2),…，(xN,yN),yi∈{1,2,…,C}為其類別標(biāo)志,它們的空間位置集為{(h1,v1),(h2,v2),…,(hN,vN)}，為了將它們的坐標(biāo)位置統(tǒng)一到一個坐標(biāo)系中,文中計(jì)算這些空間位置信息的相對空間位置集:

(10)

式中,Wi和Hi分別為特征xi所在圖像的寬度和高度.

為了將特征點(diǎn)的相對坐標(biāo)位置信息融入到I2C距離中,文中將圖像劃分成大小為M×M的若干網(wǎng)格,并為每個網(wǎng)格賦予一個權(quán)重作為特征集中特征在空間上的布局分布,實(shí)驗(yàn)中取M=5.當(dāng)計(jì)算圖像X到類c之間的距離時,分別計(jì)算它們所擁有的特征在每個網(wǎng)格的空間分布權(quán)重,第i行第j列網(wǎng)格gij的權(quán)重可以根據(jù)下式計(jì)算:

(11)

式中,kc和kX分別為類c原型特征集和圖像X的特征落入該網(wǎng)格內(nèi)的特征數(shù),Nc和NX分別為類c原型特征集和圖像X中所包含的所有特征數(shù).

根據(jù)網(wǎng)格權(quán)重,圖像X到類c之間的距離變?yōu)?/p>

(12)

3實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證文中算法的有效性,分別對Scene 15中的15類圖像[17](分別是suburb、office、forest、tall buil-ding、inside city、coast、highway、open country、mountain、street、kitchen、living room、bedroom、industrial、store,并依次編號為1-15)和Caltech101中隨機(jī)選擇的6類[18]進(jìn)行了分類對比實(shí)驗(yàn).對于Scene 15中每類場景圖像,文中分別隨機(jī)選取100幅圖像用于訓(xùn)練和測試.從Caltech 101中選取6類目標(biāo)圖像(分別是buf-ferfly、carside、goat、face、bear和rifle,依次編號為1-6)各30幅圖像用于訓(xùn)練和測試.原型特征集的學(xué)習(xí)率ηt取0.1.融合空間信息的調(diào)整常量γc取為0.65.文中所有實(shí)驗(yàn)是在P4 2.54GHz、內(nèi)存6GB的計(jì)算機(jī)上進(jìn)行.

圖2在不同圖像數(shù)據(jù)庫上原型特征數(shù)、弱分類器數(shù)和分類錯誤率之間的關(guān)系

Fig.2Relationship between the number of prototype features,the number of weak classifiers and classification error rate on different image datasets

原型特征集大小、弱分類器數(shù)量和分類錯誤率之間的關(guān)系如圖2所示.可以看出:隨著弱分類器數(shù)量的增加,不同大小的原型特征集下文中算法的分類錯誤率有所降低;原型特征集中特征數(shù)越大,并不能保證分類效果越好;當(dāng)原型特征集中特征數(shù)為60、弱分類器數(shù)為20時,在這兩個圖像數(shù)據(jù)庫上均能獲得較好的分類準(zhǔn)確率.因此在后面的分類實(shí)驗(yàn)中,原型特征集中特征數(shù)和弱分類器數(shù)分別取為60和20.

在Scenes15和Caltech101圖像數(shù)據(jù)庫上使用文中方法和NBNN[6]、LI2C[12]進(jìn)行圖像分類性能比較,結(jié)果如圖3所示.文獻(xiàn)[12]中用于優(yōu)化I2C距離最大間隔方法的平衡參數(shù)取經(jīng)驗(yàn)值1,所用空間金字塔是1×1、2×2、4×4三個層次,文中實(shí)驗(yàn)也采用同樣的設(shè)置.

從圖3可以看出:對于易于區(qū)分的圖像(如Scene15的suburb、office和Caltech101的carside、face),文中方法的分類性能與其他方法差不多;而對于那些難于區(qū)分的圖像(如Scene15的living room、store和Caltech101的bufferfly、bear),文中方法的分類性能優(yōu)于其他兩種方法.

圖3　3種方法在不同圖像數(shù)據(jù)庫上的分類準(zhǔn)確率對比

為了進(jìn)一步比較文中方法與其他方法的檢測效果,表1給出了NBNN[6]、I2CDML[10]、LI2C[12]、LDC[13]和文中方法的平均分類性能對比.文獻(xiàn)[10]中優(yōu)化I2C距離最大間隔方法的平衡參數(shù)取為0.95,在采用梯度下降法求解該優(yōu)化問題時,學(xué)習(xí)率取為0.05.文獻(xiàn)[10,13]所用的空間金字塔層次與文獻(xiàn)[12]相同,文中方法在對比實(shí)驗(yàn)中也采用相同的參數(shù)設(shè)置.從表1可以看出,文中方法的平均分類性能高于其他4種方法.

表1　不同方法的平均分類結(jié)果

表2給出了一組使用不同方法進(jìn)行圖像分類的結(jié)果,從表中可以看出,文中方法的圖像分類效果優(yōu)于其他方法.NBNN方法對6幅圖像的分類都失敗,I2CDML方法使用了Mahalanobis I2C距離,它比NBNN的歐式距離在圖像分類中更有效,但在類內(nèi)變化較大、背景雜亂的情況下適應(yīng)性不強(qiáng),故其對5幅圖像的分類都失敗.為了減少噪聲的干擾,LI2C方法使用了權(quán)重的I2C距離,增強(qiáng)了相關(guān)特征的權(quán)重.此外,LDC對I2C距離進(jìn)行了稀疏編碼,進(jìn)一步增強(qiáng)了其分類性能.文中方法通過學(xué)習(xí)原型特征集和聯(lián)合I2C距離弱分類器來獲得更好的分類效果.然而,對于相似程度較高的圖像(如Forest圖像),文中方法的分類結(jié)果也出現(xiàn)了錯誤,該圖像被錯分為Mountain.

4結(jié)論

文中以I2C距離度量為基礎(chǔ),探討了圖像分類問題.針對I2C距離容易受噪聲干擾和適應(yīng)能力不強(qiáng)等不足,文中首先生成一個更具代表性的特征集(原型特征集),將每個I2C距離看作一個弱分類器,借助JointBoost算法聯(lián)合多個I2C距離來生成一個強(qiáng)分類器,進(jìn)而提出了一種將空間信息融合到I2C的圖像分類方法.實(shí)驗(yàn)證明,該方法是可行的,能有效地提高基于I2C距離度量的圖像分類性能.

參考文獻(xiàn)：

[1]梁鵬,黎紹發(fā),覃姜維.基于局部類別一致k均值聚類的目標(biāo)識別方法 [J].華南理工大學(xué)學(xué)報:自然科學(xué)版,2011,39(2):118-124.

Liang Peng,Li Shao-fa,Qin Jiang-wei.Object recognition approach based on local type-consistentk-means clustering [J].Journal of South China University of Technology:Natural Science Edition,2011,39(2):118-124.

[2]Felzenszwalb P F,Girshick R B,McAllester D,et al.Object detection with discriminatively trained part-based models

表2　不同方法在Scene15圖像數(shù)據(jù)庫上的分類結(jié)果

[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(9):1627-1645.

[3]Huang Z F,Yang W,Wang Y,et al.Latent Boosting for action recognition [C]∥Proceedings of British Machine Vision Conference.Dundee:BMVA,2011:1-11.

[4]Wu R,Yu Y,Wang W.SCaLE:supervised and cascaded laplacian eigenmaps for visual object recognition based on nearest neighbors [C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Oregon:IEEE,2013:867-874.

[5]Xu Y,Zhu Q,Fan Z,et al.Coarse to fineKnearest neighbor classifier [J].Pattern Recognition Letters,2013,34(9):980-986.

[6]Boiman O,Shechtman E,Irani M.Indefense of nearest-neighbor based image classification [C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Anchorage:IEEE,2008:1-8.

[7]Wang Z,Hu Y,Chia L T.Learning instance-to-class distance for human action recognition [C]∥Proceedings of the 16th IEEE International Conference on Image Proces-sing.Cairo:IEEE,2009:3545-3548.

[8]Huang Y,Xu D,Cham T J.Face and human gait recognition using image-to-class distance [J].IEEE Transactions on Circuits and Systems for Video Technology,2010,20(3):431-438.

[9]Timofte R,Tuytelaars T,van Gool L.Naive bayes image classification:beyond nearest neighbors [C]∥Procee-dings of Asian Conference of Computer Vision.Daejeon:Springer,2012:689-703.

[10]Wang Z,Hu Y,Chia L T.Image-to-class distance metric learning for image classification [C]∥Proceedings of European Conference on Computer Vision.Crete:Sprin-ger,2010:709-719.

[11]Behmo R,Marcombes P,Dalalyan A,et al.Towards optimal naive Bayes nearest neighbor [C]∥Proceedings of European Conference on Computer Vision.Crete:Sprin-ger,2010:171-184.

[12]Wang Z,Hu Y,Chia L T.Improved learning of I2C distance and accelerating the neighborhood search for image classification [J].Pattern Recognition,2011,44(10):2384-2394.

[13]Wang Z,Feng J,Yan S,et al.Linear distance coding for image classification [J].IEEE Transactions on Image Processing,2013,22(2):537-548.

[14]Wohlhart P,Kostinger M,Donoser M,et al.Optimizing 1-nearest prototype classifiers [C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Portland:IEEE,2013:460-467.

[15]Zannatul Ferdousy E,Islam M,Abdul Matin M.Combination of Na?ve Bayes classifier andk-nearest neighbor(cNK) in the classification based predictive models [J].Computer & Information Science,2013,6(3):48-56.

[16]Torralba A,Murphy K P,Freeman W T.Sharing visual features for multiclass and multiview object detection [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(5):854-869.

[17]Lazebnik S,Schmid C,Ponce J.Beyond bags of features:spatial pyramid matching for recognizing natural scene categories [C]∥Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.New York:IEEE,2006:2169-2178.

[18]Li Fei-Fei ,Fergus R,Perona P.Learning generative vi-sual models from few training examples:an incremental Bayesian approach tested on 101 object categories [J].Computer Vision and Image Understanding,2007,106(1):59-70.

Image Classification Based on JointBoost I2C Distance Metric

LiZi-longLiuWei-ming

(School of Civil Engineering and Transportation,South China University of Technology,Guangzhou 510640,Guangdong,China)

Abstract:Image classification on the basis of image-to-class (I2C) distance metric is a novel method. However, its classification performance needs to be further improved. In this paper, a new image classification method on the basis of JointBoost I2C distance metric is proposed. In this method, a prototype feature set with representative samples is generated, which makes the calculation of distance from the test image to the set more effective. Then, on the basis of JointBoost algorithm, multiple I2C distance metrics are combined to generate a strong classifier for integrating spatial information. Experimental results show that the proposed method is of higher performance for image classification.

Key words: image classification;JointBoost;image to class distance;prototype feature set