朱 杰，超木日力格，謝博鋆，于 劍

1.北京交通大學(xué) 計算機與信息技術(shù)學(xué)院 交通數(shù)據(jù)分析與挖掘北京市重點實驗室，北京 100044

2.中央司法警官學(xué)院 信息管理系，河北 保定 071000

3.河北大學(xué) 數(shù)學(xué)與信息技術(shù)學(xué)院 機器學(xué)習與計算智能重點實驗室，河北 保定 071000

利用顏色進行層次模式挖掘的圖像分類方法*

朱 杰1,2+，超木日力格1，謝博鋆3，于 劍1

1.北京交通大學(xué) 計算機與信息技術(shù)學(xué)院 交通數(shù)據(jù)分析與挖掘北京市重點實驗室，北京 100044

2.中央司法警官學(xué)院 信息管理系，河北 保定 071000

3.河北大學(xué) 數(shù)學(xué)與信息技術(shù)學(xué)院 機器學(xué)習與計算智能重點實驗室，河北 保定 071000

圖像的中間層特征挖掘能夠發(fā)現(xiàn)不同視覺詞之間的關(guān)系，然后可以利用挖掘得到的模式代替原有的視覺詞進行圖像表示。目前大部分的中層特征挖掘都是針對所有圖像塊進行的，而沒有考慮到可以在局部進行模式挖掘。在局部進行模式挖掘有利于發(fā)現(xiàn)不同對象區(qū)域的模式，并且最終提高圖像分類的準確率。提出了一種有效的基于顏色的層次模式挖掘方法。該方法把對有判別力的顏色的判斷作為劃分層次的標準，然后在每一層中對擁有這些顏色的圖像塊進行挖掘，最后用挖掘到的模式進行圖像表示，并用于圖像分類。實驗結(jié)果表明，所提方法能夠在Soccer、Flower 17和Flower 102上取得良好的分類效果。

有判別力的顏色選擇；中間層特征挖掘；模式；分類

1 引言

詞袋模型（bag-of-words，BOW）[1]首先利用不同的采樣方式，如DOG（difference of Gaussian）[2]等，來提取局部特征并進行表示；然后通過聚類的方式生成字典，并且把局部特征分配給相應(yīng)的視覺詞；最后圖像采用直方圖的形式，來表示不同特征在圖像中出現(xiàn)的頻率。然而，BOW的圖像表示方法沒有考慮到不同特征之間的關(guān)系。近些年，模式挖掘算法被應(yīng)用于發(fā)現(xiàn)特征之間的關(guān)系[3-5]，這些方法能夠發(fā)現(xiàn)在不同類別中那些有意義的模式，用這些模式代替視覺詞生成圖像表示在圖像分類領(lǐng)域取得了良好的效果。

雖然頻繁項集挖掘技術(shù)和它的變種在數(shù)據(jù)挖掘領(lǐng)域早就被廣泛應(yīng)用[6-7]，但是至今為止很少被應(yīng)用到圖像分類領(lǐng)域。數(shù)據(jù)挖掘方法能夠構(gòu)造出更高層次的特征集，很多情況下，這個特征集能夠獲得更多的有判別力的信息[8]。Nowozin等人[9]提出了一套可解釋的有高準確率的分類規(guī)則，算法合并了項集挖掘和極大Margin分類器來從視覺詞中選擇特征。Yuan等人[10]提出了一種數(shù)據(jù)挖掘驅(qū)動的方法用于從給定的可能的特征池中發(fā)現(xiàn)組合特征。頻繁模式比單獨的特征比如視覺詞更有判別力，因為模式是這些特征的合并，所以能夠獲得更多的有判別力的信息。Gilbert等人[11]用層次的方法把特征距離集合在一起用以生成混合特征集，然后用數(shù)據(jù)挖掘的方法發(fā)現(xiàn)其中頻繁出現(xiàn)的模式，用這些模式來進行動作識別。Quack等人[12]提出了一種方法用于發(fā)現(xiàn)頻繁出現(xiàn)的有局部特征的空間構(gòu)造，但是發(fā)現(xiàn)的空間構(gòu)造并沒有被應(yīng)用于圖像分類。Yao等人[13]提出了一種有結(jié)構(gòu)性的圖像表示方法，叫作group-lets，通過頻繁類關(guān)聯(lián)規(guī)則來發(fā)現(xiàn)那些有判別力的group-lets。Yuan等人[14]提出了一種新的數(shù)據(jù)挖掘方法用于發(fā)現(xiàn)那些最優(yōu)的共現(xiàn)模式，并把這些模式應(yīng)用于boosting算法，提高了圖像分類的準確率。

基于中間層特征挖掘的圖像表示方法近些年來也得到了廣泛的研究。Singh等人[15]提出了一種采用無監(jiān)督的方式發(fā)現(xiàn)有判別力圖像塊的方法，并且提出這些圖像塊應(yīng)該是經(jīng)常一起出現(xiàn)的，其本質(zhì)也是找到頻繁出現(xiàn)的模式。Fernando等人[16]把局部直方圖認為是一個transaction，通過挖掘這些局部直方圖找到頻繁局部直方圖的模式，最終用選擇的模式進行圖像表示。Voravuthikunchai等人[17]通過對直方圖的隨機映射來產(chǎn)生transaction，并對這些transaction進行挖掘來得到模式，進而用于直方圖表示。除此以外，深度神經(jīng)網(wǎng)絡(luò)也被用于圖像的中間層特征挖掘。Li等人[18]提出把CNN（convolutional neural net-work）提取出的圖像塊特征當作transaction，通過關(guān)聯(lián)規(guī)則挖掘進行模式發(fā)現(xiàn)并用于圖像表示。但是這種方式所構(gòu)造的transaction難于解釋。這些基于中間層特征挖掘的方式都是把圖像中所有transaction進行全局挖掘，有利于找到全局范圍內(nèi)頻繁出現(xiàn)的模式，但是局部頻繁出現(xiàn)的特征有可能被忽略。

本文提出的中間層特征層次挖掘方法更有利于挖掘出對象的模式，因為一個層次對應(yīng)著對象的一部分，挖掘這些部分的語義信息更有利于描述這些區(qū)域。如圖1所示，首先通過顏色對圖像進行分層，在每一層，把圖像的所有圖像塊分為前景圖像塊（f）和背景圖像塊（b），然后在下一層把上一層前景圖像塊再細分為前景圖像塊和背景圖像塊。如圖1所示，從上到下分別為一到三層。第一層為原圖像，在第二層通過對顏色的選擇把圖像塊分為f2和b2兩部分，第三層把f2中的圖像塊再細分為f3和b3。每一層通過有判別力的顏色選擇進行圖像塊的劃分。最后把每一個單獨圖像塊集合當作一個子類進行模式挖掘，用挖掘得到的模式進行圖像表示并且用于圖像分類。通過圖1可以發(fā)現(xiàn)，層次劃分方法的本質(zhì)是把圖像塊分成若干個弱語義信息的集合，圖像在第二層被分為花朵圖像塊集合和葉子圖像塊集合兩部分，在第二層花朵圖像塊集合又被分為花瓣圖像塊和花蕊圖像塊。隨著層次的加深，圖像塊的集合越來越傾向于出現(xiàn)在某個對象或者對象的某些部分上。

在每層通過挖掘的方法來獲取頻繁出現(xiàn)的模式能夠更加準確地表示層次的特征信息。同時，基于對象識別的圖像分類方法重點在于表示對象上的信息，但是背景上同樣能夠提供弱的上下文信息，因此在模式挖掘和圖像表示的過程中，同樣保留了背景信息。

本文用顏色將圖像進行分層，提出在不同層次挖掘圖像模式的方法，并且將此方法用于圖像表示。第2章簡述了有判別力顏色的檢測方法以及如何用這些顏色對圖像進行層次劃分；第3章提出了一種不同層次下的模式挖掘方法；第4章描述了如何用得到的模式進行圖像表示；第5章給出了實驗結(jié)果，并對實驗結(jié)果進行分析；最后總結(jié)全文。

Fig.1 Hierarchical division based on colors for frequent patterns mining圖1 基于顏色的圖像層次劃分用于頻繁模式挖掘

2 基于有判別力顏色的圖像層次劃分方法

2.1 有判別力的類對象顏色檢測方法

在BOW框架下，首先通過不同的采樣方式得到圖像塊，然后通過顏色描述子描述圖像塊內(nèi)部每一個像素的顏色，最終圖像塊的顏色為該圖像塊內(nèi)像素顏色描述子的平均值。對所有的訓(xùn)練集圖像塊顏色進行聚類，生成顏色字典，Vc是顏色視覺詞的數(shù)量。對于任意圖像，把每個圖像塊的顏色特征分配給最近的顏色詞，最終的圖像顏色被表示為顏色直方圖，即各種顏色在圖像中出現(xiàn)的概率分布。

現(xiàn)實中對象的顏色是多種多樣的，而那些最具有代表性的顏色被認為是最有判別力的顏色，前景顏色即為這些有判別力顏色的合集。為了能夠提取出這些有判別力的顏色，提出了有判別力的顏色直方圖的概念。有判別力的顏色直方圖是在顏色直方圖的基礎(chǔ)上構(gòu)造的，通過類間的對比，發(fā)現(xiàn)不同類別圖像的有判別力的顏色，在有判別力的顏色直方圖中只顯示了有判別力的顏色出現(xiàn)的頻率，其他顏色的出現(xiàn)頻率為0。如圖2所示，Liverpool類的隊服有判別力的顏色是紅色，而相對應(yīng)的Juventus類的隊服有判別力的顏色是黑色和白色。因此，這兩類有判別力的顏色直方圖中只保留了這些有判別力的顏色。接下來用TF-IDF的方式來衡量顏色詞在每類中的重要程度：

Fig.2 Discriminative color histogram圖2 有判別力的顏色直方圖

其中，tfi,j指的是某一個顏色視覺詞在類j中出現(xiàn)的頻率；ni,j代表在j中出現(xiàn)的次數(shù)。

其中，idfi用于衡量的普遍重要性程度，可以由圖像的總數(shù)目|I|除以包含的圖像數(shù)目，再將得到的商取對數(shù)得到。最后用tfi,j×idfi來衡量顏色詞在類j中的重要程度。如果某一顏色詞在類j中的出現(xiàn)頻率高，且該詞語在整個圖像集合中不經(jīng)常出現(xiàn)，則對于類j來說越重要。在每類當中，按照重要程度由大到小的順序?qū)︻伾M行排序，顏色排序越靠前，顏色的判別力越強。

算法認為，有判別力的顏色選擇標準是在任一類中選擇對這類最重要的前mi種顏色作為有判別力的顏色。需要注意的是有判別力的顏色數(shù)量在每一類中可能不一樣。

為了選擇出對于任一類i最重要的mi種顏色，采用與文獻[19]相似的優(yōu)化算法：

其中，k為類別的總數(shù)量；Hi和分別代表第i類的顏色直方圖和有判別力的顏色直方圖；Vc是顏色視覺詞的數(shù)量；Sim(·,·)代表兩個直方圖之間的相似度，這里用直方圖的交來衡量。目標函數(shù)構(gòu)造過程中，首先假設(shè)任意兩類前景的對象顏色是不一樣的，在目標函數(shù)的第一項中最小化任意不同兩類有判別力顏色直方圖的相似性。目標函數(shù)的另外一個假設(shè)是希望相同類別的顏色直方圖和有判別力的顏色直方圖相似，也就是希望有判別力的顏色能夠最大程度上代表圖像本身的顏色。目標函數(shù)的第二項計算了所有同類別圖像的類的顏色直方圖和有判別力的顏色直方圖相似度，這個值越大說明有判別力的顏色直方圖越能代表原有的類別。最后，mi可以通過坐標下降法求解得到。

2.2 基于顏色的層次劃分方法

由于加入了層次，任一類i在第l層的顏色直方圖表示為Hi,l，相應(yīng)的有判別力顏色直方圖表示為DHi,l,mi。在訓(xùn)練集中，對于第i類圖像，在圖像的第一層采樣得到的所有圖像塊，通過顏色統(tǒng)計得到顏色直方圖Hi,1，有判別力的顏色可以通過解式（3）的目標函數(shù)獲得。根據(jù)得到的有判別力的顏色，可以把所有的圖像塊分為兩部分，即有判別力顏色的圖像塊集合（前景）和剩余的圖像塊集合，把第一層中這兩個集合中的圖像塊組成的顏色直方圖分別記作FHi,2和BHi,2。在第二層中把FHi,2當作本層的顏色直方圖Hi,2，繼續(xù)通過優(yōu)化得到，然后按照其中的顏色把第二層前景圖像塊分成第三層的前景和背景。以此類推，一直劃分到預(yù)定的層數(shù)之后停止劃分。

3 層次模式挖掘

在得到每類圖像的層次劃分后，把相同類別的圖像在相同層次的圖像塊集合認為是一個子類sc，用于發(fā)現(xiàn)這些子類的模式。假設(shè)訓(xùn)練集中有N幅圖像，屬于k個類，每類圖像被分為L層，L＞1，則訓(xùn)練集中子類的總數(shù)為SC=kL，每幅圖像的圖像塊被劃分到這L個圖像塊集。例如：任意圖像i劃分后的圖像塊集合為PIi={pii,1,pii,2,…,pii,L}，相應(yīng)的，訓(xùn)練集劃分得到的圖像塊集合為PI={PI1,PI2,…,PIN}。

為了挖掘特征之間的關(guān)系，需要生成一個全局的特征字典W={w1,w2,…,wV}，V是字典的維度。與BOW類似，要對訓(xùn)練集中所有的圖像塊特征進行聚類，并且把每一個圖像塊分配給相應(yīng)的碼字。需要注意的是，這里的圖像塊特征可以只考慮某種特征，也可以考慮多特征，然后用每個圖像塊和其8鄰域構(gòu)造一個局部直方圖（圖3）。一個局部直方圖體現(xiàn)的是以一個圖像塊為中心，包括其8鄰域在內(nèi)的出現(xiàn)屬于碼字特征的次數(shù)。最后給相同類別圖像的相同層次的局部直方圖賦予相同的子類號sci。

Fig.3 Local histogram圖3 局部直方圖

為了便于頻繁項集挖掘，首先定義item和transaction。item是由視覺詞和出現(xiàn)次數(shù)所形成的一個對(wi,si),wi∈W，其中si代表視覺詞wi出現(xiàn)的次數(shù)。一個transactionx包含了一個局部直方圖當中所有的item(wi,si)。

一個局部直方圖模式是一個項集t∈Γ，其中Γ表示所有項的集合。對于局部直方圖模式t，定義X(t)={x∈X|t?x}為所有包含模式t的transaction的集合。t的頻度|X(t)|叫作模式的支持，用sup p(t)來表示。對于給定的常量T，一個局部直方圖模式t，如果sup p(t)≥T，且沒有其他模式t′使得t?t′，則這個模式t就是閉合的。一個頻繁的并且閉合局部直方圖是一個頻繁局部直方圖（frequent local histogram，F(xiàn)LH）。?代表FLH的集合。

為了找到那些有效的模式，采用了類似文獻[16]的方法進行挖掘。為了挖掘出每一個層次的頻繁項集，必須選擇一種合適的挖掘方法，由于LCM（linear time closed item set miner）[20]算法速度快，采用LCM來挖掘頻繁項集。但是產(chǎn)生的頻繁項集往往數(shù)量龐大，需要用文獻[8]中的方法來衡量挖掘到的模式的重要性。式（4）為模式的重要性計算方法，D(t)和O(t)分別代表判別性和表示性。

如果一個模式t的重要性越高，它就有可能是有判別力的，并且會在很多圖像中重復(fù)出現(xiàn)，因此這個模式有利于分類。算法采用Cheng等人[8]提出的基于熵的方法來計算判別性D(t)：

當pii,j的類別是sc的時候，p(sc|pii,j)=1，否則p(sc|pii,j)=0。D(t)越高，證明這種模式越有可能只在某種子類中出現(xiàn)。式（5）中的logSC用于保證0≤D(t)≤1。

接下來計算表示性O(shè)(t)。算法通過比對一個模式在某類中的分布與最優(yōu)分布的距離來衡量此模式的表示性。一個相對于某子類sc來說的最優(yōu)模式表示為，最優(yōu)分布有兩個特點：（1）這些模式只出現(xiàn)在這個子類當中，即；（2）這些模式平均分布在這個子類的所有圖像中，即對于所有屬于子類sc的pii,j和pim,n：

其中，DKL(·||·)用于計算兩組分布的KL距離；O(t)通過計算任一模式在所有pi上的分布與最優(yōu)分布的KL距離來衡量當前模式的表示性。p(pi|t)的計算方式如下：

除此之外，還需要去掉冗余的模式，采用文獻[21]的方法。如果兩個模式t和s∈?是冗余的，則：

越接近這種情況，R(s,t)的值就會越大。為了找到最合適的模式用于分類，需要找到最合適的模式集χ，χ??。為了找到這個模式集，定義模式t的增益為G(t)，t?χ并且t∈?。

式（12）中，如果模式t有一個高信息增益G(t)，這個模式首先要有高的重要性S(t)，其次模式t還必須與任意其他模式s不冗余。為了找到最好的q個模式，首先添加一個最重要的模式到模式集，然后選擇一個有最大增益的模式添加到模式集χ中，直到找到q個模式。

4 圖像表示

通過選擇得到模式集后，為了得到任意一幅圖像的層次劃分用于圖像表示，與文獻[22]方法類似，首先認為一幅圖像屬于任意一類，然后根據(jù)之前得到的有判別力的顏色進行層次劃分，統(tǒng)計每一層中所有局部直方圖當中出現(xiàn)各種模式的頻率，最終在各個不同的層次形成基于模式集的直方圖表示，把這些直方圖連接在一起形成當前圖像在屬于某類情況下的直方圖。當把對象認為是所有類的時候，能夠根據(jù)每一類構(gòu)造這樣一個直方圖，把這些直方圖連接起來形成最終的圖像表示。最終圖像表示的維度是kqL。

令K和M為任意兩幅圖像，用于計算兩幅圖像相似度的核函數(shù)為式（13）。由于這種核函數(shù)降低了出現(xiàn)頻率高的特征的重要性，在本文方法中取得了良好的效果。

其中，Z(i)表示第i個最終選擇模式在圖像Z中出現(xiàn)的頻率。

5 實驗

實驗中每隔8個像素對圖像進行采樣，每個圖像塊的大小是16×16。為了得到準確的顏色層次劃分，采用CN[23]和HUE[24]兩種顏色描述子來描述圖像塊顏色，在基于顏色的層次劃分階段，把CN和HUE描述子連接起來形成一個新的向量來描述圖像塊顏色，通過聚類生成顏色字典。在層次直方圖挖掘階段，把形狀描述子SIFT（scale-invariant feature transform）[2]與顏色描述子CN和HUE連接起來作為圖像塊的特征，通過聚類生成特征字典。在Soccer圖像集中，顏色字典的長度是300，特征字典的長度是500。在Flower 17圖像集和Flower 102圖像集中，顏色字典的長度是500，特征字典的長度是1 200。實驗中，用標準的非線性SVM（support vector machine）來進行分類，在所有實驗中C=10。

5.1 在Soccer圖像集上的結(jié)果

顏色層次劃分方法有利于劃分出Soccer圖像集中的前景和背景，如圖4所示，Soccer圖像集中的對象（球員）有著比較明顯的顏色特征。

表1顯示了本文算法與一些優(yōu)秀算法的分類結(jié)果比較。從表1中可以發(fā)現(xiàn)，在Soccer圖像集中，晚融合的分類效果要優(yōu)于早融合。這是因為晚融合是把圖像的形狀直方圖和顏色直方圖加權(quán)連接起來，顏色在這個圖像集中占有更重要的作用，所以這種給全局形狀和顏色特征加權(quán)的方式能夠更好地體現(xiàn)出兩者之間的關(guān)系。早融合方法把局部的顏色和形狀特征加權(quán)連接，這種方式不能很好地體現(xiàn)出形狀和顏色的關(guān)系，因為在圖像的不同位置，形狀和顏色的重要性不一樣。

Fig.4 Images from Soccer圖4 Soccer圖像集

Table 1 Experimental results on Soccer dataset表1 在Soccer圖像集上的分類結(jié)果

本文提出的層次挖掘圖像表示方法通過顏色對圖像進行了分層，其本質(zhì)是把圖像分成不同的區(qū)域，可以認為是提供了空間信息。最典型的提供空間信息的方式是空間金字塔（spatial pyramid matching，SPM）[25]。結(jié)合空間金字塔與特征融合的圖像表示方式首先使用三層空間金字塔對圖像進行劃分，然后在每個cell中用早融合和晚融合生成直方圖。通過實驗比對可以發(fā)現(xiàn)，由于引入了空間金字塔，分類準確率比之前有所提高。但是，這種加入空間信息的方法與文中提出的層次挖掘方法相比，首先層次的劃分方法采用空間金字塔硬劃分的方法，這種方法不能保證劃分得到的區(qū)域?qū)?yīng)著相同的圖像部分；其次，早融合和晚融合沒有考慮到視覺詞之間的關(guān)系，層次挖掘方法通過挖掘頻繁項集找到了視覺詞之間的關(guān)系，生成了更好的字典。

CA（color attention）[22]方法把顏色作為形狀的權(quán)重，同時與層次挖掘方法相似，都是把圖像認為屬于所有類，并且針對每類生成一個直方圖，最終連接這些直方圖作為圖像表示。這種方法也可以認為是一種層次劃分方法，它把相同顏色的圖像塊賦予了相同的權(quán)值，但是同樣由于沒有考慮到視覺詞之間的關(guān)系，最終的算法精度仍然低于層次挖掘方法。

5.2 在Flower 17圖像集上的結(jié)果

Flower 17圖像集中，花朵位置的空間特性不明顯，如圖5所示。

Fig.5 Images from Flower 17圖5 Flower 17圖像集

表2顯示了層次挖掘方法與一些優(yōu)秀算法的平均分類精度的比較。在基于中間層的圖像表示方法中，MKL（multiple kernel learning）[27]只考慮了多種特征之間的關(guān)系，LRFF（logistic regression-based fusionmethod）[28]通過給不同碼字加權(quán)，提高了分類準確率。CA[22]用顏色給圖像塊上的形狀特征加權(quán)，但是并沒有考慮碼字可視化之間的關(guān)系。層次挖掘方法與這些方法都只用到了顏色和形狀描述子，層次挖掘方法的分類準確率比這些方法有了很大的提高。HoPS（histograms of pattern sets）[17]方法采用了隨機映射和數(shù)據(jù)挖掘的方法進行圖像表示。從表2中可以發(fā)現(xiàn)，本文方法的分類準確率與此方法相當，但是均值要高于HoPS。HoPS只是把全局直方圖進行隨機映射，然后挖掘模式，沒有體現(xiàn)特征之間的空間層次關(guān)系。而層次挖掘方法更有利于體現(xiàn)對應(yīng)特征的模式。此外，文獻[16]提到的中間層特征挖掘方法取得了92.5%的分類準確率，但是由于文中沒有考慮到空間信息，并且只考慮了SIFT一種特征，結(jié)果仍然低于本文的層次挖掘方法。

Table 2 Experimental result on Flower 17 dataset表2 在Flower 17圖像集上的分類結(jié)果

5.3 在Flower 102圖像集上的結(jié)果

Flower 102圖像集中的訓(xùn)練集、測試集和驗證集是提前給定的，并且此圖像集沒有明顯的空間信息，每幅圖像中花朵所在的位置不確定，如圖6所示。

早融合或晚融合結(jié)合空間金字塔的圖像表示方法不能夠準確表示相同對象不同對應(yīng)區(qū)域的信息。但是，顏色層次劃分方法通過比對不同類別之間的前景和背景顏色，比較準確地對圖像進行了分層，而且對每層進行挖掘得到的模式是更有判別力的特征，因此本文方法能夠?qū)D像進行更加準確的描述。通過表3可以發(fā)現(xiàn)，Saliency[29]和CA[22]能夠找到大概的對象區(qū)域，但是層次挖掘方法既能夠通過顏色找到對象區(qū)域的空間劃分，又能夠挖掘其中的潛在模式，因此分類精度比起這些方法提高了2%。

Table 3 Experimental result on Flower 102 dataset表3 在Flower 102圖像集上的分類結(jié)果

6 結(jié)束語

本文提出了一種基于顏色層次劃分的圖像挖掘表示方法。首先通過優(yōu)化的層次顏色選擇方式把圖像中的圖像塊按照顏色進行層次劃分，并歸為不同的子類，為圖像表示提供空間信息。同時再通過對這些子類中的特征進行模式挖掘，發(fā)現(xiàn)那些頻繁出現(xiàn)的有意義的模式，最終用這些模式代替原來的視覺詞進行圖像表示。通過算法實驗比對，層次挖掘圖像表示方法在3個圖像集上都能取得比較好的分類效果。此外，基于顏色的層次劃分方法只是一個框架，可以采用其他特征或者多特征融合來進行層次的劃分，不同種類的模式挖掘方式都可以應(yīng)用于此框架。

Fig.6 Images from Flower 102圖6 Flower 102圖像集

References：

[1]Csurka G,Dance C R,Fan Lixin,et al.Visual categorization with bags of keypoints[C]//LNCS 3021:Proceedings of the 8th European Conference on Computer Vision,Prague, Czech Republic,May 11-14,2004.Berlin,Heidelberg:Springer, 2004:1-22.

[2]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004, 60(2):91-110.

[3]Fernando B,Fromont E,Tuytelaars T.Effective use of frequent itemset mining for image classification[C]//LNCS 7572:Proceedings of the 12th European Conference on Computer Vision,Florence,Italy,Oct 7-13,2012.Berlin,Heidelberg:Springer,2012:214-227.

[4]Gilbert A,Illingworth J,Bowden R.Scale invariant action recognition using compound features mined from dense spatiotemporal corners[C]//LNCS 5302:Proceedings of the 10th European Conference on Computer Vision,Marseille, France,Oct 12-18,2008.Berlin,Heidelberg:Springer,2008: 222-233.

[5]Yuan Junsong,Yang Ming,Wu Ying.Mining discriminative co-occurrence patterns for visual recognition[C]//Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition,Colorado Springs,USA,Jun 20-25,2011. Piscataway,USA:IEEE,2011:2777-2784.

[6]Yan Xifeng,Han Jiawei.gSpan:graph-based substructure pattern mining[C]//Proceedings of the 2002 IEEE International Conference on Data Mining,Maebashi,Japan,Dec 9-12,2002. Washington:IEEE Computer Society,2002:721-724.

[7]Agrawal R,Srikant R.Fast algorithms for mining association rules[C]//Proceedings of the 20th International Conference on Very Large Data Bases,Santiago,Chile,Sep 12-15, 1994.San Mateo,USA:Morgan Kaufmann,1994:487-499.

[8]Cheng Hong,Yan Xifeng,Han Jiawei,et al.Discriminative frequent pattern analysis for effective classification[C]//Proceedings of the 23rd IEEE International Conference on Data Engineering,Istanbul,Turkey,Apr 15-20,2007.Piscataway,USA:IEEE,2007:716-725.

[9]Nowozin S,Tsuda K,Uno T,et al.Weighted substructure mining for image analysis[C]//Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition,Minneapolis,USA,Jun 17-22,2007.Piscataway,USA: IEEE,2007:1-8.

[10]Yuan Junsong,Luo Jiebo,Wu Ying.Mining compositional features for boosting[C]//Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition, Anchorage,USA,Jun 23-28,2008.Piscataway,USA:IEEE, 2008:1-8.

[11]Gilbert A,Illingworth J,Bowden R.Fast realistic multiaction recognition using mined dense spatio-temporal features[C]//Proceedings of the 12th IEEE International Conference on Computer Vision,Miami,USA,Sep 29-Oct 2, 2009.Piscataway,USA:IEEE,2009:925-931.

[12]Quack T,Ferrari V,Leibe B,et al.Efficient mining of frequent and distinctive feature configurations[C]//Proceedings of the 11th IEEE International Conference on Computer Vision,Rio de Janeiro,Brazil,Oct 14-21,2007.Piscataway,USA:IEEE,2007:1-8.

[13]Yao Bangpeng,Li Feifei.Grouplet:a structured image representation for recognizing human and object interactions[C]// Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition,San Francisco,USA,Jun 13-18,2010.Piscataway,USA:IEEE,2010:9-16.

[14]Yuan Junsong,Wu Ying,Yang Ming.Discovery of collocation patterns:from visual words to visual phrases[C]//Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition,Minneapolis,USA,Jun 17-22, 2007.Piscataway,USA:IEEE,2007:1-8.

[15]Singh S,Gupta A,Efros A.Unsupervised discovery of midlevel discriminative patches[C]//LNCS 7573:Proceedings of the 12th European Conference on Computer Vision,Florence,Italy,Oct 7-13,2012.Berlin,Heidelberg:Springer, 2012:73-86.

[16]Fernando B,Fromont E,Tuytelaars T.Mining mid-level features for image classification[J].International Journal of Computer Vision,2014,108(3):186-203.

[17]Voravuthikunchai W,Crémilleux B,Jurie F.Histograms of pattern sets for image classification and object recognition [C]//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition,Columbus,USA,Jun 23-28,2014.Piscataway,USA:IEEE,2014:224-231.

[18]Li Yao,Liu Lingqiao,Shen Chunhua,et al.Mid-level deep pattern mining[C]//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition,Boston,USA, Jun 7-12,2015.Piscataway,USA:IEEE,2015:971-980.

[19]Zhu Jie,Yu Jian,Wang Chaomurilige,et al.Object recognition via contextual color attention[J].Journal of Visual Communication and Image Representation,2015,27(C):44-56.

[20]Uno T,Asai T,Uchida Y,et al.LCM:an efficient algorithm for enumerating frequent closed item sets[C]//Proceedings of the 2003 IEEE International Conference on Data Ming Workshop on Frequent Itemset Mining Implementations,Melbourne,USA,Nov 19,2003.Piscataway,USA:IEEE, 2003:90.

[21]Yan Xifeng,Cheng Hong,Han Jiawei,et al.Summarizing itemset patterns:a profile-based approach[C]//Proceedings of the 11th ACM SIGKDD International Conference on Knowledge Discovery in Data Mining,Chicago,USA,Aug 21-24,2005.New York:ACM,2005:314-323.

[22]Khan F S,Weijer J,Vanrell M.Top-down color attention for object recognition[C]//Proceedings of the 2009 IEEE 12th International Conference on Computer Vision,Kyoto, Japan,Sep 29-Oct 2,2009.Piscataway,USA:IEEE,2009: 979-986.

[23]Weijer J V D,Schmid C,Verbeek J,et al.Learning color names for real-world applications[J].IEEE Transactions on Image Processing,2009,18(7):1512-1523.

[24]Weijer J V D,Schmid C.Coloring local feature extraction [C]//LNCS 3952:Proceedings of the 9th European Conference on Computer Vision,Graz,Austria,May 7-13,2006. Berlin,Heidelberg:Springer,2006:334-348.

[25]Lazebnik S,Schmid C,Ponce J.Beyond bags of features: spatial pyramid matching for recognizing natural scene categories[C]//Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,New York,Jun 17-22,2006.Washington:IEEE Computer Society,2006:2169-2178.

[26]Gehler P,Nowozin S.On feature combination for multiclass object classification[C]//Proceedings of the 2009 IEEE 12th International Conference on Computer Vision,Kyoto,Japan, Sep 29-Oct 2,2009.Piscataway,USA:IEEE,2009:221-228.

[27]Fernando B,Fromont E,Muselet D,et al.Discriminative feature fusion for image classification[C]//Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition,Providence,USA,Jun 16-21,2012.Washington:IEEE Computer Society,2012:3434-3441.

[28]Yuan Xiaotong,Liu Xiaobai,Yan Shuicheng.Visual classification with multitask joint sparse representation[J].IEEE Transactions on Image Processing,2012,21(10):4349-4360.

[29]Kanan C,Cottrell G.Robust classification of objects,faces, and flowers using natural image statistics[C]//Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition,San Francisco,USA,Jun 13-18,2010.Piscataway,USA:IEEE,2010：2472-2479.

ZHU Jie was born in 1982.He is a Ph.D.candidate at School of Computer and Information Technology,Beijing Jiaotong University.His research interests include machine learning and computer vision,etc.

朱杰（1982—），男，河北保定人，北京交通大學(xué)計算機與信息技術(shù)學(xué)院博士研究生，主要研究領(lǐng)域為機器學(xué)習，計算機視覺等。

Chaomurilige was born in 1988.She is a Ph.D.candidate at School of Computer and Information Technology,Beijing Jiaotong University.Her research interests include machine learning and computer vision,etc.

超木日力格（1988—），女，內(nèi)蒙古通遼人，北京交通大學(xué)計算機與信息技術(shù)學(xué)院博士研究生，主要研究領(lǐng)域為機器學(xué)習，計算機視覺等。

XIE Bojun was born in 1981.His research interests include machine learning and computer vision,etc.

謝博鋆（1981—），男，河北保定人，主要研究領(lǐng)域為機器學(xué)習，計算機視覺等。

YU Jian was born in 1969.He received the Ph.D.degree in applied mathematics from Peking University in 2000. Now he is a professor and Ph.D.supervisor at Beijing Jiaotong University,the director of Beijing Key Lab of Traffic Data Analysis and Mining,and the senior member of CCF.His research interests include machine learning,image processing and pattern recognition,etc.

于劍（1969—），男，山東人，2000年于北京大學(xué)應(yīng)用數(shù)學(xué)專業(yè)獲得博士學(xué)位，現(xiàn)為北京交通大學(xué)計算機與信息技術(shù)學(xué)院教授、博士生導(dǎo)師，交通數(shù)據(jù)分析與挖掘北京市重點實驗室主任，CCF高級會員,主要研究領(lǐng)域為機器學(xué)習，圖像處理，模式識別等。

Image Hierarchical Pattern Mining and Classification Based on Color*

ZHU Jie1,2+,Chaomurilige1,XIE Bojun3,YU Jian1
1.Beijing Key Lab of Traffic Data Analysis and Mining,School of Computer and Information Technology,Beijing Jiaotong University,Beijing 100044,China
2.Department of Information Management,The Central Institute for Correctional Police,Baoding,Hebei 071000,China
3.Key Laboratory of Machine Learning and Computational Intelligence,College of Mathematics and Information Science,Hebei University,Baoding,Hebei 071000,China
+Corresponding author:E-mail:arthurzhujie@gmail.com

Mid-level features mining is effective in discovering the relation between different visual words,and then the mined patterns are used to replace the visual words for image representation.All the patches are used to discover the patterns in most of the recent methods,while mining the patterns in local areas are not considered.Mining the patterns in local areas can discover the patterns in different object parts,finally the image representations constructed based on these patterns can help to increase the classification accuracy.This paper proposes an effective color based hierarchical pattern mining method.The discriminative colors are used to divide the images into different levels,andthen the patterns are discovered from the patches in each different level,finally the discovered patterns are used for the final image representation.Classification results are presented on Soccer,Flower 17 and Flower 102 datasets,and the experiments demonstrate that the proposed method can obtain satisfactory results on these datasets.

discriminative color selection;mid-level features mining;pattern;classification

10.3778/j.issn.1673-9418.1603048

A

：TP301

*The National Natural Science Foundation of China under Grant Nos.61033013,61370129,61375062,61300072,61105056, 61402462(國家自然科學(xué)基金);the Youth Foundation of Education Bureau of Hebei Province under Grant No.QN2015099(河北省教育廳青年基金項目);the Foundation of The Central Institute for Correctional Police under Grant No.XYZ201602(中央司法警官學(xué)院校級科研項目);the Science and Technology Project of Hebei Province under Grant No.15450326（河北省科技計劃項目).

Received 2016-02,Accepted 2016-04.

CNKI網(wǎng)絡(luò)優(yōu)先出版:2016-04-01,http://www.cnki.net/kcms/detail/11.5602.TP.20160401.1614.008.html

ZHU Jie,Chaomurilige,XIE Bojun,et al.Image hierarchical pattern mining and classification based on color. Journal of Frontiers of Computer Science and Technology,2017,11(3)：396-405.