丁曉娜,劉春鳳*,劉保相,2

(1.華北理工大學(xué) 理學(xué)院,河北 唐山 063210;2.河北科技學(xué)院,河北 保定 071000)

0 引言

隨著計(jì)算機(jī)處理技術(shù)的完善,圖像識(shí)別與分類(lèi)研究得到很大發(fā)展,為人們生活帶來(lái)極大便利?，F(xiàn)階段圖像分類(lèi)識(shí)別技術(shù)一般包括人臉識(shí)別、車(chē)輛分類(lèi)、動(dòng)物分類(lèi)等[1-3]。人臉識(shí)別主要運(yùn)用在安全檢查、身份核驗(yàn)與移動(dòng)支付中;物體分類(lèi)主要是對(duì)動(dòng)物、植物、車(chē)輛等進(jìn)行分類(lèi)[4-5]。圖像分類(lèi)一般分為四部分,分別是圖像采集、圖像預(yù)處理、特征提取、圖像分類(lèi)。信息科技的迅猛發(fā)展,積累了海量圖像數(shù)據(jù),如何快速、準(zhǔn)確實(shí)現(xiàn)圖像分類(lèi),挖掘出有用的圖像信息是目前研究的關(guān)鍵。

粒計(jì)算方法是由Zadeh首次提出的一種新理念和方法,主要用于處理不確定、不精確、不完整的信息[6]。粒計(jì)算的實(shí)質(zhì)是通過(guò)選擇合適的粒度,來(lái)尋找一種較好的、近似的解決方案,避免復(fù)雜的計(jì)算,從而降低問(wèn)題求解的難度[7]。Wang[8]和Hu[9]等介紹了粒計(jì)算的相關(guān)模型,Savchenko等人[10-11]提及了粒計(jì)算在圖像處理方面的應(yīng)用。采用信息?；M(jìn)行圖像處理稱(chēng)為圖像?；?圖像?；菍D像按照一定規(guī)則提取轉(zhuǎn)化為特征信息粒。目前,信息?；幕A(chǔ)模型主要有三種,分別是基于模糊集的模型、基于粗糙集的模型以及基于商空間的模型[12],但是隨著人們需求的增多,越來(lái)越多的?；椒ū惶岢?。其中,主成分分析(PCA)因其較高識(shí)別率和簡(jiǎn)便性的優(yōu)點(diǎn)被發(fā)掘用于圖像粒化。周松鋒、楊夢(mèng)瀟等人[13-14]將其用于人臉識(shí)別算法的研究,加快了樣本訓(xùn)練速度,提高了模型魯棒性。張里博等人[15]將PCA?；椒◣攵嗔６鹊拇鷥r(jià)敏感三支決策識(shí)別中,提高了識(shí)別精度,隨著研究的深入,PCA圖像粒化將成為圖像?；闹匾芯糠较颉?/p>

近年來(lái),基于信息?；M(jìn)行圖像識(shí)別的模型越來(lái)越多,人們致力于學(xué)習(xí)出一個(gè)穩(wěn)定的,在各個(gè)方面都表現(xiàn)優(yōu)秀的?；绞?但只能找到多個(gè)有偏好的粒層。多粒度模型可以通過(guò)一定的規(guī)則將多個(gè)單粒度進(jìn)行粒度提升,通過(guò)比較多個(gè)低層單粒度以及提升后的高層粒度得到較好的識(shí)別效果。粒度提升可采用集成學(xué)習(xí)進(jìn)行,集成學(xué)習(xí)組合多個(gè)單分類(lèi)器的分類(lèi)預(yù)測(cè)結(jié)果,常用投票(Voting)和疊加式(Stacking)兩種方法[16-18]。李珩等人[19]將Stacking與Voting進(jìn)行了比較,發(fā)現(xiàn)無(wú)論基于Voting還是基于Stacking的組合分類(lèi)方法,對(duì)于單分類(lèi)器都是有幫助的,而基于Stacking的方法比基于Voting的方法更有效果。蔣明會(huì)等人[20]將Stacking的思想用于多粒度模型中,得到了相比單一粒度,更全面、立體和豐富的用戶(hù)畫(huà)像。

基于以上分析,本文提出了改進(jìn)多粒度圖像分類(lèi)模型,并采用Kaggle公布的圖像數(shù)據(jù)集進(jìn)行驗(yàn)證,使用模型對(duì)臥室,廚房,辦公室,海岸,森林,山脈,野外,高速公路,市區(qū),街道,高層建筑十一類(lèi)圖像進(jìn)行分類(lèi)。在進(jìn)行圖像預(yù)處理后得到低層信息粒,使用Stacking算法進(jìn)行粒度提升,避免了單一粒度所帶來(lái)的偏愛(ài)問(wèn)題,大大提高了圖像分類(lèi)效率。

1 多粒度圖像分類(lèi)模型

Stacking模型是一種集成方法,它將多個(gè)分類(lèi)器線性組合,解決了目前大多數(shù)單分類(lèi)器模型在處理問(wèn)題時(shí)有明顯偏好的問(wèn)題,而融合了Stacking思想的多粒度模型充分繼承了這一優(yōu)點(diǎn),在人物畫(huà)像、圖像識(shí)別方面表現(xiàn)突出。本文在蔣明會(huì)等人[20]提出的多粒度人物畫(huà)像的模型基礎(chǔ)上,結(jié)合PCA?；绞教岢隽硕嗔６葓D像分類(lèi)模型。

1.1 Stacking模型

Stacking模型是多粒度圖像分類(lèi)模型的基礎(chǔ),它是Worlpert教授于1992年提出的一類(lèi)集成學(xué)習(xí)方法。該模型共分為兩層,從原始訓(xùn)練集中學(xué)習(xí)的若干個(gè)基分類(lèi)器為0-層,從基分類(lèi)器的結(jié)果獲取輸入的此分類(lèi)器為1-層,該層將0-層中每個(gè)基分類(lèi)器的結(jié)果組成一個(gè)新數(shù)據(jù)集作為輸入,用于訓(xùn)練次級(jí)分類(lèi)器[21]。

Stacking模型為了避免產(chǎn)生過(guò)擬合,在訓(xùn)練基分類(lèi)器時(shí)采用k折交叉驗(yàn)證,將原始訓(xùn)練集分為k個(gè)大小相同的集合,每次選取k-1個(gè)集合進(jìn)行訓(xùn)練,訓(xùn)練出的模型在未選取的集合上進(jìn)行驗(yàn)證,將驗(yàn)證集上得到的結(jié)果作為1-層的輸入。如圖1所示的Stacking模型選取了1個(gè)基分類(lèi)器進(jìn)行分類(lèi),采用3折交叉驗(yàn)證法,即將0-層訓(xùn)練集分為3個(gè)大小相同的集合,每次選取2個(gè)集合(黃色部分)進(jìn)行訓(xùn)練,并在未選取的集合上進(jìn)行驗(yàn)證,得到的驗(yàn)證結(jié)果作為下一層的輸入,從而減小過(guò)擬合現(xiàn)象,增加分類(lèi)準(zhǔn)確率。

1.2 多粒度圖像分類(lèi)模型

改進(jìn)多粒度模型就是在Stacking算法的基礎(chǔ)上,根據(jù)多粒度人物畫(huà)像模型的原理提出的圖像分類(lèi)算法。多粒度模型是指數(shù)據(jù)在多個(gè)不同層次的粒度下進(jìn)行表示,并使用不同粒度下的數(shù)據(jù)進(jìn)行實(shí)驗(yàn),形成對(duì)比實(shí)驗(yàn),從而生成識(shí)別效率較高的結(jié)果[20]。改進(jìn)多粒度模型主要融入PCA粒化方法優(yōu)化0-層信息粒,提高了輸入數(shù)據(jù)質(zhì)量,增大了分類(lèi)精度。模型首先主要采用高斯濾波對(duì)原始數(shù)據(jù)進(jìn)行圖像預(yù)處理,濾除圖像噪聲,然后采用PCA?；绞竭M(jìn)行?；?得到0-層信息粒,將其輸入基分類(lèi)器實(shí)現(xiàn)粒度融合,得到1-層信息粒,最后輸入次級(jí)分類(lèi)器完成圖像分類(lèi)過(guò)程。

圖1 Stacking算法結(jié)構(gòu)Fig.1 Structure of stacking algorithm

圖2 多粒度圖像識(shí)別模型Fig.2 Multi-granularity image recognition model

改進(jìn)多粒度模型將圖像處理后得到的0-層信息粒,選取70%作為0-層訓(xùn)練信息粒INF0-Train,其余的作為0-層測(cè)試信息粒INF0-Test。然后通過(guò)粒度提升融合成1-層信息粒,分別得到1-層訓(xùn)練信息粒INF1-Train,1-層測(cè)試信息粒INF1-Test。最后在多層表示下進(jìn)行后續(xù)模型訓(xùn)練工作。其圖像識(shí)別模型架構(gòu)如圖2所示。

在進(jìn)行粒度提升時(shí),需要選取三個(gè)合適的分類(lèi)模型作為基分類(lèi)器來(lái)提高圖像分類(lèi)質(zhì)量,本文選取應(yīng)用較為廣泛的K近鄰(K-Nearest Neighbor,KNN)算法、BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)算法、SVM(Support Vector Machines)算法三種圖像分類(lèi)算法進(jìn)行試驗(yàn),原因如下:

① KNN算法無(wú)須參數(shù)估計(jì),適合對(duì)稀有事件進(jìn)行分類(lèi),特別是對(duì)于多分類(lèi)問(wèn)題。同時(shí),該算法對(duì)數(shù)據(jù)沒(méi)有假設(shè),準(zhǔn)確度高,對(duì)異常點(diǎn)不敏感[22]。

② SVM算法在小樣本訓(xùn)練集上能夠得到比其他算法好很多的結(jié)果,該算法也是目前最常用的圖像分類(lèi)效果最好的分類(lèi)器之一,因其優(yōu)秀的泛化能力以及本身的優(yōu)化目標(biāo)結(jié)構(gòu)化風(fēng)險(xiǎn)最小所以選取SVM算法作為其中一個(gè)分類(lèi)器[23]。

③ BP神經(jīng)網(wǎng)絡(luò)具有任意復(fù)雜的模式分類(lèi)能力和優(yōu)良的多維函數(shù)映射能力,可解決簡(jiǎn)單感知器不能解決的異或等問(wèn)題,因此將其作為一個(gè)分類(lèi)器[24]。

將BP神經(jīng)網(wǎng)絡(luò)、KNN、SVM三個(gè)子模型進(jìn)行排序,第i個(gè)子模型記為SubModel-i,將INF0-Train隨機(jī)均分成k份,第i份記為INF0-Train-i,用INF0-Train分別減去INF0-Train-i剩余的數(shù)據(jù),訓(xùn)練子模型SubModel-i,使用訓(xùn)練的子模型對(duì)INF0-Train-i進(jìn)行識(shí)別,識(shí)別結(jié)果記為INF0-Train-pre-i,同時(shí)識(shí)別INF0-Test,識(shí)別結(jié)果記為INF0-Test-pre-i。將得到的INF0-Train-pre-i(i=1,2,…,k)進(jìn)行樣本維度拼接,得到SubModel-i的高層訓(xùn)練粒度表示INF1-Train-SubModel-i;將產(chǎn)生的INF0-Test-pre-i(i=1,2,…,k)進(jìn)行樣本維度求均值,得到SubModel-i的高層測(cè)試粒度表示INF1-Test-SubModel-i。將產(chǎn)生的INF1-Train-SubModel-i(i=1,2,…,k)進(jìn)行特征維度拼接,即拼接后總樣本數(shù)目等于每個(gè)拼接的樣本數(shù)目,但拼接后每個(gè)樣本的特征維度是參與拼接的各樣本特征維度總和,得到高層訓(xùn)練信息粒INF1-Train;同 理 產(chǎn) 生 的INF1-Test-SubModel-i(i=1,2,…,k)進(jìn)行特征維度拼接,得到高層測(cè)試信息粒INF1-Test。

將0-層產(chǎn)生的INF1-Train作為訓(xùn)練集對(duì)1-層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,然后將INF1-Test輸入訓(xùn)練好的1-層卷積神經(jīng)網(wǎng)絡(luò),識(shí)別INF1-Test。

2 基于PCA圖像?；臄?shù)據(jù)處理

在利用模型進(jìn)行圖像分類(lèi)前,需要先對(duì)圖像數(shù)據(jù)進(jìn)行預(yù)處理、PCA?；?從而提高訓(xùn)練精度,文章選取Kaggle公布的圖像數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),數(shù)據(jù)集中包含臥室、廚房、辦公室、海岸、森林、山脈、野外、高速公路、市區(qū)、街道、高層建筑十一類(lèi)圖像,分類(lèi)難度較大。

2.1 圖像預(yù)處理

多粒度圖像分類(lèi)模型進(jìn)行圖像分類(lèi)時(shí)需要先進(jìn)行數(shù)據(jù)預(yù)處理,使用高斯濾波去除噪聲,高斯濾波是一種線性平滑濾波,廣泛應(yīng)用于圖像處理的濾除噪聲過(guò)程。高斯濾波就是對(duì)整幅圖像進(jìn)行加權(quán)平均的過(guò)程,每一個(gè)像素點(diǎn)的值,都由其本身和鄰域內(nèi)的其他像素值經(jīng)過(guò)加權(quán)平均后得到。高斯濾波的具體操作是:用一個(gè)模板(或稱(chēng)卷積、掩模)掃描圖像中的每一個(gè)像素,用模板確定的鄰域內(nèi)像素的加權(quán)平均灰度值去替代模板中心像素點(diǎn)的值。圖像經(jīng)過(guò)高斯濾波去噪后的結(jié)果如圖3所示。

2.2 PCA圖像?；?/h3>

圖像粒化是多粒度模型運(yùn)行的前提,它將圖像按照一定規(guī)則轉(zhuǎn)化為相應(yīng)的特征信息粒,轉(zhuǎn)化為信息粒的過(guò)程稱(chēng)為信息?；?。信息粒化將一個(gè)整體問(wèn)題?；癁槿舾蓚€(gè)信息粒,然后將每個(gè)信息粒看作單獨(dú)的一部分進(jìn)行研究,它在解決不精確、不明顯以及復(fù)雜問(wèn)題等方面有獨(dú)特優(yōu)勢(shì)。圖像?；谋举|(zhì)是特征信息粒化,為了更加準(zhǔn)確的提取圖像中的有效信息,張里博等人[18]提出了PCA?；?它能根據(jù)給出的一張圖像重構(gòu)出一系列從粗粒度到細(xì)粒度的圖像,本文采取主成分?；姆椒ㄌ幚韴D像。主成分分析算法的主要思想是找到一系列垂直的坐標(biāo)軸以投影初始數(shù)據(jù),并且投影后的數(shù)據(jù)在新的坐標(biāo)軸上方差遞減。假設(shè)所有圖像滿足零均值的條件,對(duì)于一個(gè)m維的單位向量u1∈Rm,u1Tu1=1,樣本圖像都能投影到該向量上,投影后樣本的方差可以表示為:

(1)

其中,S是原始數(shù)據(jù)的協(xié)方差矩陣,

在單位向量的限定下,求出投影后數(shù)據(jù)的方差關(guān)于u1的最大值。采用拉格朗日乘子法來(lái)求解,令d1為一個(gè)拉格朗日乘子問(wèn)題轉(zhuǎn)化為一個(gè)無(wú)約束優(yōu)化問(wèn)題,如公式(2)所示:

(2)

Su1=d1u1，

(3)

圖3 高斯濾波去噪前后對(duì)比Fig.3 Comparison before and after gaussian filter denoising

(4)

以上得到的是第l步的圖像,類(lèi)似地可以依次得到從粗粒度到細(xì)粒度的一系列圖像。對(duì)于一個(gè)圖像樣本,假設(shè)已經(jīng)按照上面的方法得到了主成分矩陣U={u1,u2,…,um},即可根據(jù)這m個(gè)主成分重構(gòu)圖像。重構(gòu)過(guò)程中,選擇的主成分越多,圖像粒度越細(xì)。

對(duì)于一個(gè)樣本,用到的主成分越多,數(shù)據(jù)包含的信息越多,重構(gòu)數(shù)據(jù)保留方差的百分比越高,圖像粒度越細(xì),圖4展示了主成分粒化法得到的不同粒度圖像,可以看出從粗粒度到細(xì)粒度的?；瘓D像的不同區(qū)分度。隨著粒度的不斷提升,圖像越來(lái)越近接原始圖像。

本文選取200個(gè)成成分分量對(duì)圖像進(jìn)行粒化,將得到的結(jié)果輸入基分類(lèi)器進(jìn)行分類(lèi),圖5展示的是對(duì)圖3中(a)、(b)、(c)、(d)的四個(gè)圖像進(jìn)行PCA?；慕Y(jié)果。

3 實(shí)驗(yàn)結(jié)果及分析

將基于PCA?；幚磉^(guò)的圖像輸入基分類(lèi)器中,通過(guò)粒度融合得到1-層信息粒,然后將其輸入次級(jí)分類(lèi)器卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行圖像分類(lèi)。實(shí)驗(yàn)數(shù)據(jù)選用Kaggle公布的圖像數(shù)據(jù)中的440張作為訓(xùn)練集,110張作為測(cè)試集(每個(gè)種類(lèi)的圖像選取10張),圖像像素為112×92。實(shí)驗(yàn)硬件在Win7系統(tǒng)Matlab. R2014a上進(jìn)行。三個(gè)子模型BP神經(jīng)網(wǎng)絡(luò),KNN,SVM以及本文改進(jìn)的多粒度融合模型對(duì)數(shù)據(jù)集圖像分類(lèi)識(shí)別的效果如表1所示。

表1 各個(gè)模型對(duì)圖像的分類(lèi)識(shí)別效果

由表1可知多粒度融合模型分類(lèi)誤差最低為0.035 6,但是模型訓(xùn)練所消耗的時(shí)間最長(zhǎng)為2 689.76 s。每個(gè)子模型與多粒度融合模型對(duì)圖像的識(shí)別效果直觀表現(xiàn)如圖6-圖9所示。

從圖6中可以看出,樣本訓(xùn)練中迭代次數(shù)達(dá)到998次時(shí)均方誤差不再減小,此時(shí)均方誤差為0.066 9。從圖7中可以看出當(dāng)K值為5時(shí)誤差最小為0.087 0。從圖8中可以看出σ值的不斷增大分類(lèi)誤差也隨之變大,當(dāng)σ=1時(shí)誤差最低為0.234 0。從圖9可以看出多粒度融合模型對(duì)圖像的分類(lèi)誤差最低為0.035 6。由此可知,多粒度圖像分類(lèi)模型的分類(lèi)效果很好,有一定的研究意義。

圖4 PCA法從粗粒度到細(xì)粒度的?；瘓D像Fig.4 Granulated images by PCA from coarse-grained to fine-grained

圖7 KNN不同K值下的分類(lèi)誤差Fig.7 Classification error underdifferent K values of KNN

圖8 不同σ值下SVM分類(lèi)誤差Fig.8 SVM classification error under different σ values

圖9 多粒度融合模型訓(xùn)練誤差Fig.9 Training error of multi granularity fusion model

4 結(jié)論

本文提出的基于PCA圖像?；亩嗔６确诸?lèi)模型,選取BP神經(jīng)網(wǎng)絡(luò)、KNN和SVM作為基分類(lèi)器,卷積神經(jīng)網(wǎng)絡(luò)作為元分類(lèi)器。用PCA粒化高斯去噪處理后的數(shù)據(jù),將?；蟮臄?shù)據(jù)訓(xùn)練各個(gè)分類(lèi)器。實(shí)驗(yàn)結(jié)果表明,多粒度融合模型對(duì)圖像的分類(lèi)效果好于各個(gè)子模型的分類(lèi)效果,且多粒度融合模型的分類(lèi)誤差較小,為0.035 6,有一定的研究?jī)r(jià)值。但是模型的訓(xùn)練耗時(shí)最長(zhǎng)為2 689.76 s,如何在保證分類(lèi)準(zhǔn)確率的前提下減少訓(xùn)練時(shí)間將是我們接下來(lái)的研究工作。