徐盱衡，陳秀君

（西北工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，陜西 西安 710129）

圖像特征的提取是整個(gè)分類(lèi)算法流程的開(kāi)始，圖像特征的好壞，很大程度上影響著后續(xù)算法的區(qū)分力的高低。圖像特征具有多樣性，不同的圖像目標(biāo)往往在顏色、紋理、幾何形狀乃至提取的興趣點(diǎn)等一種或若干種特征上具有很大差異，這就是圖像分類(lèi)算法能夠具有區(qū)分能力的基礎(chǔ)。

目前常用的特征點(diǎn)檢測(cè)算法，能夠有效地檢測(cè)圖像的特征，但是一幅圖像中往往有多個(gè)目標(biāo)，而且背景混亂、存在遮擋等問(wèn)題導(dǎo)致圖像信息復(fù)雜，對(duì)于分類(lèi)任務(wù)來(lái)說(shuō)，需要有效地鑒別出圖像中的目標(biāo)，最好將特征采樣點(diǎn)盡可能的集中于期望得到分類(lèi)的目標(biāo)樣本上。一個(gè)可能的途徑就是先提取圖像中感興趣的區(qū)域（Region of Interest，ROI），再對(duì)這些區(qū)域進(jìn)行特征采樣。

圖像分割為我們提供了一個(gè)連接圖像低層和高層語(yǔ)義的工具，由圖像分割得到的同一區(qū)域，具有特征上的相似性，而且有效的圖像分割算法，能夠最大限度地將目標(biāo)和背景分割開(kāi)來(lái)。如果要計(jì)算圖像目標(biāo)出現(xiàn)概率和特征的關(guān)系，可以考慮使用圖像分割作為溝通目標(biāo)和區(qū)域特征的橋梁。

文中基于文獻(xiàn)[1]的方法做出了一些改進(jìn)。文獻(xiàn)[1]中基于以上思想及BoF框架提出的有偏采樣方法在分割后對(duì)特征聚類(lèi)之前采用了硬量化編碼的方式，量化后編碼不能有效反映圖像區(qū)域特征，本文通過(guò)使用基于局部約束的線(xiàn)性編碼方式[2]（Locality-constrained Linear Coding，LLC）替代硬編碼，減少了量化誤差。同時(shí)，使用VOC數(shù)據(jù)集中對(duì)目標(biāo)的標(biāo)注數(shù)據(jù)，以目標(biāo)在某區(qū)域出現(xiàn)的多少作為依據(jù)計(jì)算后驗(yàn)概率；使用近年來(lái)新發(fā)展的顯著性檢測(cè)算法[3]取代Itti的算法[4]，取得了較優(yōu)的效果。

1 圖像特征的有偏提取

對(duì)于一幅圖像來(lái)說(shuō)，要識(shí)別其中特定的目標(biāo)類(lèi)別，僅靠BoF模型可能會(huì)導(dǎo)致誤判。有多種情況可能會(huì)導(dǎo)致這一問(wèn)題，例如目標(biāo)物體過(guò)小，如果對(duì)整個(gè)圖像均勻采樣，那么代表目標(biāo)的特征將只在全部特征中占據(jù)很小的部分，如見(jiàn)圖1所示，或者目標(biāo)被其他物體所遮擋，等。

對(duì)人視覺(jué)的研究表明，人觀察外部事物是采取的是自頂向下的記憶選擇機(jī)制[5]和自底向上的顯著注意結(jié)合的方式，這啟發(fā)我們采取同樣的方式思考圖像分類(lèi)算法的過(guò)程。能否同時(shí)采取兩種方法結(jié)合的方式，計(jì)算出圖像中相對(duì)最可能出現(xiàn)目標(biāo)的區(qū)域，以便于后續(xù)的處理。文獻(xiàn)[1]給出了一種具體的方法，如圖2所示，下節(jié)將介紹這種方法的詳細(xì)過(guò)程及對(duì)其的改進(jìn)。

圖1 全局的特征表示有時(shí)會(huì)導(dǎo)致判別失敗Fig.1 Global feature representation sometimes causes discrimination failure

圖2 有偏采樣算法的主要步驟Fig.2 Key steps of the biased sampling strategy

1.1 自頂向下的目標(biāo)類(lèi)后驗(yàn)概率計(jì)算

首先使用mean-shift算法[6]分割圖像，對(duì)相應(yīng)的顏色、紋理[7]、幾何特征[8]直方圖，分別聚類(lèi)得到3個(gè)詞典。將所有圖像分割區(qū)域的特征都硬編碼到詞典的某一視詞。令F代表基于區(qū)域的某一種特征，F(xiàn)i表示特征詞典里的某一視詞，O表示圖像中有某類(lèi)目標(biāo)表示圖像沒(méi)有此類(lèi)目標(biāo)，定義R為給定Fi而出現(xiàn)O的后驗(yàn)概率，

假定P（O）=P（O），也就是認(rèn)為目標(biāo)在圖像中出現(xiàn)與否的先驗(yàn)概率是相等的。事實(shí)上這個(gè)假設(shè)對(duì)于PASCAL VOC等數(shù)據(jù)集并不合理。以VOC2007的分類(lèi)集為例，共有20類(lèi)，分類(lèi)時(shí)采取1對(duì)多的方式，共要訓(xùn)練20次，每次正樣本和負(fù)樣本之比約為 1：19。

R（Fi）=0 表示預(yù)測(cè)為負(fù)樣本圖像，R（Fi）=1 表示正樣本圖像，R（Fi）=0.5時(shí)正好介于兩者之間。因此選擇

這樣給定一幅新圖像，就可以通過(guò)分割-提取特征-計(jì)算的步驟得到目標(biāo)基于區(qū)域特征的后驗(yàn)分布圖T1：

其中N（·）是歸一化運(yùn)算符。

1.2 最終采樣圖的生成

Yang[1]采用Itti[4]的算法計(jì)算顯著圖。我們?cè)趯?shí)驗(yàn)部分將采用Goferman[3]的算法計(jì)算顯著圖。

令計(jì)算得到的顯著圖為T(mén)2，通過(guò)加權(quán)求和的方式表示最終的采樣概率圖T：

更進(jìn)一步，為了得到在（x，y）點(diǎn)任意尺度的概率密度函數(shù)，對(duì)T進(jìn)行逐像素的積分：

那么在（x，y）點(diǎn)處尺度為s×s的圖像塊的采樣概率為

這樣，就可以使用上述的概率分布大小為s×s的圖像塊上利用DoG方法提取圖像特征點(diǎn)。

2 對(duì)有偏采樣算法的改進(jìn)

在上節(jié)中敘述的有偏采樣算法中目標(biāo)類(lèi)后驗(yàn)概率的計(jì)算方法，其中不乏可改進(jìn)之處。 如前所述，（1）中假定P（O）=P（O）對(duì)VOC等數(shù)據(jù)集并不合理；其次，對(duì)每個(gè)被分割區(qū)域的特征根據(jù)視覺(jué)詞典進(jìn)行硬編碼，會(huì)導(dǎo)致對(duì)視詞分界線(xiàn)附近的較大的不可避免的特征量化誤差，應(yīng)該用軟編碼方式替代；最后，原方案中令O表示圖像中有某類(lèi)目標(biāo)，并直接與圖像某區(qū)域特征相關(guān)聯(lián)，這并不合理，因?yàn)榧词勾诸?lèi)目標(biāo)在圖像中出現(xiàn)，也僅僅和部分區(qū)域有關(guān)，不能將其和沒(méi)有出現(xiàn)該目標(biāo)的區(qū)域特征聯(lián)系起來(lái)。

基于上述討論，對(duì)公式（1）做出修改。定義O′表示圖像分割區(qū)域中有某類(lèi)目標(biāo)，且此目標(biāo)占分割區(qū)域面積一半以上，表示分割區(qū)域中沒(méi)有此類(lèi)目標(biāo)，或者目標(biāo)占分割區(qū)域面積到一半。使用LLC編碼方法代替硬編碼方法，那么P（Fi|O′）和P（Fi′）仍然表示出現(xiàn)或者不出現(xiàn)目標(biāo)時(shí)有特征的Fi概率，但由于一個(gè)區(qū)域的同一個(gè)特征直方圖被量化到若干視詞Fi上，對(duì)不同的Fi計(jì)算P（Fi|O′）和P（Fi|′）時(shí)可能會(huì)多次包含同一區(qū)域，且累加的是區(qū)域特征相對(duì)于Fi的系數(shù)值。于是（1）變?yōu)?/p>

仍然使用式（2），給定一幅新圖像，先對(duì)其進(jìn)行分割，計(jì)算每個(gè)區(qū)域的特征，將特征編碼以后得到的非零系數(shù)與其對(duì)應(yīng)的視詞概率相乘，求和以后作為該特征對(duì)應(yīng)的目標(biāo)出現(xiàn)的后驗(yàn)概率，即

其中cij對(duì)應(yīng)于第i類(lèi)（i=1，2，3）區(qū)域特征編碼后的非零系數(shù)。于是得到目標(biāo)基于區(qū)域特征的后驗(yàn)分布圖T1′：

3 實(shí)驗(yàn)結(jié)果與討論

使用Normalized Cuts[9]方法分割圖像，每幅圖像分割成10塊。使用基于BoF[10]的顏色直方圖、紋理直方圖和矩信息三種特征表示圖像區(qū)域。對(duì)于顏色直方圖，使用Lab顏色空間，每個(gè)通道有23個(gè)直方區(qū)間。對(duì)于紋理直方圖，使用一個(gè)總數(shù)為18的濾波器組 （共有6個(gè)方向，3個(gè)層次），1個(gè)高斯濾波器，1個(gè)拉普拉斯-高斯濾波器。將紋理texton通過(guò)k-means聚類(lèi)量化成400個(gè)，將每個(gè)像素的對(duì)應(yīng)值硬編碼量化到其中的一個(gè)，最后每個(gè)圖像分割區(qū)域中的texton視詞累積形成一個(gè)紋理直方圖。對(duì)于幾何量度，使用Hu的矩不變量[8]，對(duì)每幅圖像計(jì)算得到1個(gè)7維向量。假定各視覺(jué)特征相互獨(dú)立，通過(guò)k-means分別聚類(lèi)得到3個(gè)詞典，詞典的視詞個(gè)數(shù)分別是KC=1 024，Kt=1 024，Km=512。 使用[3]提供的顯著性檢測(cè)方法提供顯著圖。圖3顯示了根據(jù)不同采樣方法進(jìn)行采樣的結(jié)果?？梢钥吹剑^中列的普通SIFT檢測(cè)，右列的有偏SIFT特征在目標(biāo)區(qū)域（分別是人、鳥(niǎo)、牛）更集中一些。在第二幅圖片中的鳥(niǎo)顏色和紋理與背景相似，所以采樣點(diǎn)也有很多在背景上面。

圖3 有偏采樣示意圖Fig.3 Illustration of biased sampling

隨后在VOC數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)不同的采樣點(diǎn)數(shù)對(duì)分類(lèi)精度的影響。使用BoF模型，并采用金字塔框架[11]以增強(qiáng)分類(lèi)精度。使用稠密興趣點(diǎn)檢測(cè)的方法，網(wǎng)格尺寸設(shè)為4×4像素，提取的圖像塊設(shè)為16×16像素。一般而言，在這個(gè)參數(shù)組合下單幅圖像的稠密SIFT特征個(gè)數(shù)都能大于7 500；如果單幅圖像總共的SIFT特征沒(méi)有達(dá)到10 000，就全部選取。

對(duì)于VOC 2007數(shù)據(jù)集，使用k-means方法聚類(lèi)得到詞典，詞典基向量個(gè)數(shù)為25 000。采用LLC編碼方式與liblinear分類(lèi)器，在實(shí)驗(yàn)中均取α=0.5。結(jié)果如圖4所示。

圖4 采樣算法分類(lèi)性能比較（VOC 2007）Fig.4 Comparison of different sampling algorithms（VOC 2007）

在VOC 2010數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，詞典基向量個(gè)數(shù)為20 000，結(jié)果如圖5所示。

圖5 采樣算法分類(lèi)性能比較（VOC 2010）Fig.5 Comparison of different sampling algorithms（VOC 2010）

在兩個(gè)實(shí)驗(yàn)結(jié)果中可以看到，隨著每幅圖像選取采樣點(diǎn)數(shù)的下降，隨機(jī)選擇會(huì)導(dǎo)致分類(lèi)性能逐漸下降（VOC2007：平均精度從采樣點(diǎn)數(shù)10 000時(shí)的59.3%下降到點(diǎn)數(shù)2 500時(shí)的58.1%；VOC2010：平均精度從采樣點(diǎn)數(shù)10 000時(shí)的64.7%下降到點(diǎn)數(shù)為2500時(shí)的63.1%）。Yang的有偏采樣算法在采樣點(diǎn)數(shù)為7 500時(shí)分類(lèi)精度最高，在5 000時(shí)略有下降，在2 500時(shí)降到最低，改進(jìn)的有偏采樣算法也顯示了同樣的效果。這一方面說(shuō)明了有偏采樣算法的有效性，濾除了一部分和目標(biāo)判別沒(méi)有直接關(guān)系的特征點(diǎn)，導(dǎo)致分類(lèi)精度有一定的提升；另一方面也間接地證明了pooling過(guò)程在分類(lèi)中的作用：能夠挑選出具有區(qū)分度的編碼系數(shù)。如果采樣點(diǎn)數(shù)選的太少，則pooling的區(qū)分度下降，這和Yang[1]中顯示的結(jié)果一致。另外，在兩個(gè)數(shù)據(jù)集上，我們的改進(jìn)算法較Yang[1]的算法都有0.3～0.5%的性能改進(jìn)。

4 結(jié)束語(yǔ)

文中提出了一種改進(jìn)的有偏采樣算法。使用自頂向下的概率方法與自底向上的顯著性檢測(cè)方法相結(jié)合的策略，對(duì)圖像的特征點(diǎn)進(jìn)行有偏采樣。通過(guò)用基于局部性約束的線(xiàn)性編碼方式替代硬編碼方式對(duì)區(qū)域特征進(jìn)行編碼，并且改變計(jì)算后驗(yàn)概率計(jì)算方式，實(shí)驗(yàn)結(jié)果驗(yàn)證了算法的有效性和改進(jìn)算法的效果。

[1]Yang L，Zheng N，Yang J，et al.A biased sampling strategy for object categorization[C]//Int.Conf.on Computer Vision（ICCV）， Kyoto， Japan，2009：1141-1148.

[2]Wang J，Yang J，Yu K，et al.Locality-constrained linear coding forimage classification [C]//Proceedingsofthe Conference on Computer Vision and Pattern Recognition（CVPR），2010.

[3]Goferman S，Zelnik-Manor L，Talr A.Context-aware saliency detection[C]//Conference on Computer Vision and Pattern Recognition，2010：9-16.

[4]Itti L，Koch C，Niebur E.A model of saliency based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20 （11）：1254-1259.

[5]Navalpakkam V，Itti L.Top-down attention selection is fine grained[J].Journal of Vision，2006，6（11）：1180-1193.

[6]Comaniciu D，Meer P.Mean shift：a robust approach toward feature space analysis[J].IEEE Trans.PAMI，2002，24（5）：603-619.

[7]Martin J， Belongie S，Shi J，et al.Leung.Textons， contours and regions：cue combination in images segmentation[C]//In Proc.ICCV’99，1999：918-925.

[8]Hu M.Visual pattern recognition by moment invariants[J].IEEE Trans.Information Theory，1962（IT-8）：179-187.

[9]Shi J，Malik J.Normalized cuts and image segmentation[J].TPAMI，2000，22（8）：888-905.

[10]Lee Y J，Grauman K.Object-graphs for context-aware category discovery [C]//In Computer Vision and Pattern Recognition （CVPR），2010：1-8.

[11]Yang J，Yu K，Gong Y，etal.Linearspatialpyramid matching using sparse coding for image classification[C]//in Proceedings of the Conference on Computer Vision and Pattern Recognition(CVPR)，2009.