肖志鵬，王小華,，楊 冰，姚金良

(1. 中國(guó)計(jì)量大學(xué) 信息工程學(xué)院，浙江 杭州 310018; 2. 杭州電子科技大學(xué) 計(jì)算機(jī)學(xué)院，浙江 杭州 310018)

基于卷積神經(jīng)網(wǎng)絡(luò)的繪畫圖像分類研究

肖志鵬1，王小華1,2，楊 冰2，姚金良2

(1. 中國(guó)計(jì)量大學(xué) 信息工程學(xué)院，浙江 杭州 310018; 2. 杭州電子科技大學(xué) 計(jì)算機(jī)學(xué)院，浙江 杭州 310018)

繪畫作品的數(shù)字化對(duì)有效使用繪畫資源具有重要意義，傳統(tǒng)圖像分類方法并未考慮繪畫作品主觀特性，且大部分特征需要人工提取，存在細(xì)節(jié)特征丟失等問(wèn)題. 在此提出基于卷積神經(jīng)網(wǎng)絡(luò)的繪畫圖像分類方法，分析了卷積核大小、卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)寬度、訓(xùn)練樣本數(shù)量對(duì)分類結(jié)果的影響，以優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù). 實(shí)驗(yàn)結(jié)果表明，該方法對(duì)繪畫圖像分類的有效性，在不同繪畫圖像數(shù)據(jù)集的分類實(shí)驗(yàn)上也得到了較好的分類結(jié)果.

卷積神經(jīng)網(wǎng)絡(luò)；繪畫圖像分類；卷積核大小；網(wǎng)絡(luò)結(jié)構(gòu)寬度；訓(xùn)練樣本數(shù)量

繪畫是承載人類文明發(fā)展的一種重要載體，對(duì)繪畫的研究有助于人們更好地了解人類歷史和文化[1].隨著西方油畫、東方山水畫等繪畫作品數(shù)字化進(jìn)程加速，以及繪畫電子圖書館的建立，使得科研工作者們擁有海量的數(shù)字化繪畫資源.若要有效利用這些資源，就需要計(jì)算機(jī)能夠準(zhǔn)確地對(duì)繪畫資源進(jìn)行分類，以方便研究者的使用.自然圖像主要對(duì)真實(shí)場(chǎng)景進(jìn)行客觀的描述，其內(nèi)容與現(xiàn)實(shí)差別很小，而繪畫圖像為人工作品，存在畫家風(fēng)格、藝術(shù)流派等藝術(shù)風(fēng)格特征，其內(nèi)容與現(xiàn)實(shí)差別較大.傳統(tǒng)的圖像分類方法并未考慮繪畫作品的這些特性[2]，且其存在大量復(fù)雜特征需要根據(jù)個(gè)人經(jīng)驗(yàn)提取，致使細(xì)節(jié)特征易丟失，出現(xiàn)模型泛化能力差等問(wèn)題[3].因此，對(duì)繪畫圖像的分類更具有挑戰(zhàn)性.

卷積神經(jīng)網(wǎng)絡(luò)在圖像處理和語(yǔ)音識(shí)別上效果較好，使其成為機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn).卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的一種，通過(guò)模仿人腦機(jī)制，自動(dòng)學(xué)習(xí)數(shù)據(jù)特征，避免人工提取復(fù)雜特征，并提高了分類識(shí)別效果.其局部感受野和權(quán)值共享特性減少了網(wǎng)絡(luò)模型權(quán)值數(shù)量，從而降低了網(wǎng)絡(luò)模型的復(fù)雜度.且卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、傾斜、比例縮放等變形擁有高度不變性，從而提高了分類識(shí)別的魯棒性.現(xiàn)在，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用在圖像分類[4-7]、目標(biāo)檢測(cè)[8-9]和人臉識(shí)別[10]等領(lǐng)域.

本文為解決傳統(tǒng)的圖像分類方法對(duì)繪畫圖像進(jìn)行分類時(shí)存在的諸多問(wèn)題，提高繪畫圖像分類效果，在經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，提出利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)繪畫圖像進(jìn)行分類的方法.通過(guò)分析卷積核大小、卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)寬度、訓(xùn)練樣本數(shù)量對(duì)分類結(jié)果的影響，以優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù).

1 相關(guān)研究

傳統(tǒng)的圖像分類方法對(duì)圖像進(jìn)行分類，主要分為兩個(gè)部分:先提取圖像特征，然后利用機(jī)器學(xué)習(xí)分類算法進(jìn)行分類.LAZEBNIK等[11]提出將圖像分成若干子區(qū)域，分別計(jì)算每個(gè)子區(qū)域的特征，最后將所有子區(qū)域的特征拼接起來(lái)，形成對(duì)自然場(chǎng)景的描述，采用SVM(Support Vector Machine)對(duì)其分類. JIANG等[12]通過(guò)提取紋理特征和邊緣大小直方圖來(lái)建立對(duì)傳統(tǒng)中國(guó)繪畫圖像的描述，采用SVM進(jìn)行分類. CAO等[13]提出應(yīng)用HOG(Histogram of Oriented Gradient)特征到運(yùn)動(dòng)車輛檢測(cè)中，采用SVM對(duì)檢測(cè)到的運(yùn)動(dòng)車輛進(jìn)行分類. 這些方法雖然取得了較好的分類效果，但處理大量樣本時(shí)模型泛化能力不足，且需要人工提取復(fù)雜特征，存在細(xì)節(jié)特征丟失、計(jì)算能力不足等問(wèn)題.

近年來(lái)，隨著圖像語(yǔ)音數(shù)據(jù)不斷增加和計(jì)算機(jī)計(jì)算能力不斷提升，卷積神經(jīng)網(wǎng)絡(luò)得到了飛速發(fā)展，并在目標(biāo)檢測(cè)、人臉識(shí)別、圖像分類等領(lǐng)域取得了優(yōu)異的研究成果. 1998年，LECUN等[14]設(shè)計(jì)了一個(gè)多層人工神經(jīng)網(wǎng)絡(luò)LeNet-5，并提出利用反向傳播算法對(duì)其進(jìn)行訓(xùn)練. 2012年，KRIZHEVSKY等[4]設(shè)計(jì)的AlexNet利用大數(shù)據(jù)進(jìn)行訓(xùn)練并使用GPU進(jìn)行加速計(jì)算，同時(shí)提出將Relu和Dropout應(yīng)用到卷積神經(jīng)網(wǎng)絡(luò)模型中. 2014年，SZEGEDY等[6]設(shè)計(jì)的googleNet，主要研究了卷積神經(jīng)網(wǎng)絡(luò)寬度對(duì)圖像分類精度的影響，提出Inception結(jié)構(gòu)以增加網(wǎng)絡(luò)寬度，并使用1×1，3×3，5×5卷積核代替7×7卷積核，最終設(shè)計(jì)了22層深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)驗(yàn)結(jié)果表明其具有優(yōu)異的分類效果.

卷積神經(jīng)網(wǎng)絡(luò)雖在圖像分類識(shí)別領(lǐng)域取得了較好成績(jī)，但在繪畫圖像分類方面仍處于起步階段[15]. CROWLEY等[16]利用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)自然圖像中目標(biāo)識(shí)別的方法，來(lái)提高繪畫圖像中目標(biāo)識(shí)別效果. SUN等[17]提出了一種基于混合稀疏的卷積神經(jīng)網(wǎng)絡(luò)方法來(lái)自動(dòng)提取中國(guó)水墨畫的筆觸特征，并按作者進(jìn)行分類，取得了不錯(cuò)的分類效果. 然而基于卷積神經(jīng)網(wǎng)絡(luò)，針對(duì)繪畫題材進(jìn)行分類的研究相對(duì)較少.

2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的一種，能夠自動(dòng)學(xué)習(xí)數(shù)據(jù)特征，具有較好的泛化能力，廣泛應(yīng)用于圖像分類、目標(biāo)檢測(cè)等領(lǐng)域. 作為一種監(jiān)督學(xué)習(xí)方法，卷積神經(jīng)網(wǎng)絡(luò)由卷積層、池化層、全連接層、softmax分類層和激活函數(shù)等組成，其訓(xùn)練部分分兩個(gè)階段進(jìn)行，即通過(guò)前向傳播提取特征，經(jīng)由反向傳播更新權(quán)值.

第一階段，前向傳播.

前向傳播的目的是提取數(shù)據(jù)特征，從樣本集中選取一個(gè)樣本作為當(dāng)前層l輸入，再通過(guò)激活函數(shù)計(jì)算得到當(dāng)前層輸出，然后傳遞到下一層l+1，一直傳遞到最后一層結(jié)束.當(dāng)前層輸出計(jì)算過(guò)程如下:

Yl=f(WlXl+bl).

(1)

其中，第l層表示當(dāng)前層，Xl和Yl分別表示當(dāng)前層輸入和當(dāng)前層輸出，Wl表示當(dāng)前層權(quán)值，bl表示當(dāng)前層偏置，f表示當(dāng)前層的激活函數(shù)，本文選取ReLU(Rectified Linear Units)非線性函數(shù)作為激活函數(shù).

在前向傳播卷積層中，上一層特征圖的局部區(qū)域與卷積核相連，經(jīng)過(guò)卷積操作提取局部特征. 卷積層中存在多個(gè)卷積核，不同卷積核提取不同特征，在進(jìn)行卷積操作時(shí)，同一個(gè)卷積核權(quán)值共享，不同卷積核權(quán)值不同[18]，卷積層的計(jì)算如下:

(2)

在前向傳播池化層中，輸入特征圖個(gè)數(shù)經(jīng)過(guò)池化操作后保持不變，當(dāng)池化步長(zhǎng)為n時(shí)，輸出特征圖大小變?yōu)檩斎胩卣鲌D大小的1/n2. 池化層主要作用是減小特征圖分辨率，降低特征維度，其對(duì)平移、傾斜、比例縮放等形式的變形擁有高度不變性，從而提高了網(wǎng)絡(luò)模型分類的魯棒性. 池化層的計(jì)算如下:

(3)

第二階段，反向傳播.

反向傳播的目的是不斷更新卷積核權(quán)值，使其朝著有利于分類的方向更新，一般使用誤差平方和損失函數(shù). 對(duì)于樣本數(shù)量為N，類別數(shù)量為c的多類問(wèn)題，誤差平方和損失函數(shù)計(jì)算如下:

(4)

3 本文卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

研究表明，卷積神經(jīng)網(wǎng)絡(luò)分類性能受很多因素影響，如訓(xùn)練樣本數(shù)量、卷積核大小、網(wǎng)絡(luò)結(jié)構(gòu)深度、網(wǎng)絡(luò)結(jié)構(gòu)寬度和激活函數(shù)等[19]. 本文考慮先設(shè)計(jì)一個(gè)傳統(tǒng)串聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，然后為其設(shè)置合適大小的卷積核，最后增加該網(wǎng)絡(luò)結(jié)構(gòu)寬度，以實(shí)現(xiàn)多尺度特征提取及融合，提高網(wǎng)絡(luò)分類性能. 傳統(tǒng)串聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)深度為八層，七個(gè)卷積層和一個(gè)全連接層依次相連，在第三個(gè)卷積層與第六個(gè)卷積層之間并聯(lián)一個(gè)卷積層，得到優(yōu)化后卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu). 優(yōu)化后卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1.

圖1 優(yōu)化后卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Figure 1 Optimized architecture of convolutional neural network

圖1中INPUT表示輸入圖像，大小為227×227，Conv1表示第一個(gè)卷積層，Conv_add表示并聯(lián)的卷積層，@之前的數(shù)字表示該層特征圖個(gè)數(shù)，之后的公式如111×111表示該層得到的特征圖大小，最后一層為全連接層，即OUTPUT輸出層.

第一個(gè)卷積層、第三個(gè)卷積層、第五個(gè)卷積層和并聯(lián)的卷積層后面連接著最大池層，第七個(gè)卷積層后面連接著平均池層.第二個(gè)和第三個(gè)卷積層、第四個(gè)和第五個(gè)卷積層、第六個(gè)和第七個(gè)卷積層分別依次相連，之間沒(méi)有池化層和尺度歸一化層.在每個(gè)卷積層后面連接著ReLU激活函數(shù)，在第一個(gè)卷積層、第三個(gè)卷積層、第五個(gè)卷積層、第七個(gè)卷積層和并聯(lián)的卷積層后面應(yīng)用尺度歸一化.

4 實(shí)驗(yàn)及分析

本文實(shí)驗(yàn)的繪畫圖像樣本來(lái)源于《珍好畫業(yè)圖庫(kù)》和《唯美風(fēng)景油畫圖庫(kù)》兩個(gè)數(shù)據(jù)庫(kù)，分為東方繪畫圖像和西方繪畫圖像兩個(gè)數(shù)據(jù)集.東方繪畫圖像，按類別將其分為花鳥、人物、山水三類，每類800幅樣本.西方繪畫圖像，按類別將其分為人物、風(fēng)景二類，每類500幅樣本.東方繪畫圖像和西方繪畫圖像樣本如圖2.

圖2 東方繪畫圖像和西方繪畫圖像樣本Figure 2 Samples of oriental painting image and western painting image

本實(shí)驗(yàn)考慮先在圖1中傳統(tǒng)串聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，對(duì)卷積核大小進(jìn)行優(yōu)化以優(yōu)化網(wǎng)絡(luò)參數(shù)，然后增加網(wǎng)絡(luò)結(jié)構(gòu)寬度以優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，最后利用優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)研究訓(xùn)練樣本數(shù)量對(duì)分類結(jié)果的影響. 為驗(yàn)證本文方法的有效性，實(shí)驗(yàn)首先應(yīng)用本文方法對(duì)東方繪畫圖像和西方繪畫圖像兩個(gè)數(shù)據(jù)集分別進(jìn)行測(cè)試；然后用SIFT+BOW+SVM，HOG+SVM，LeNet，AlexNet這四種圖像分類方法對(duì)兩個(gè)數(shù)據(jù)集分別進(jìn)行驗(yàn)證，并將實(shí)驗(yàn)結(jié)果與本文方法進(jìn)行比較，以驗(yàn)證本文方法的可行性.

卷積核是卷積神經(jīng)網(wǎng)絡(luò)模型中至關(guān)重要的部分，它直接影響特征提取的好壞和網(wǎng)絡(luò)收斂的速度.卷積核大小要與輸入圖像大小相適應(yīng)，若卷積核過(guò)大，則卷積核無(wú)法有效提取局部特征，否則卷積核無(wú)法有效提取全局特征.所以，當(dāng)輸入圖像空間分辨率較大時(shí)，應(yīng)選取較大的卷積核，以適應(yīng)輸入圖像，否則會(huì)降低網(wǎng)絡(luò)分類性能.為方便實(shí)驗(yàn)比較，本文實(shí)驗(yàn)將輸入圖像大小固定為227×227，第一個(gè)卷積層卷積核大小固定為7×7.

為給卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)置合適大小的卷積核，以有效地提取圖像特征，本實(shí)驗(yàn)分別選取東方繪畫圖像和西方繪畫圖像兩個(gè)數(shù)據(jù)集作為實(shí)驗(yàn)對(duì)象(圖2).從花鳥、人物、山水三類東方繪畫圖像中，各隨機(jī)選取600張圖片作為訓(xùn)練樣本，其余200張圖片作為測(cè)試樣本；從人物、風(fēng)景兩類西方繪畫圖像中，各隨機(jī)選取350張圖片作為訓(xùn)練樣本，其余150張圖片作為測(cè)試樣本.

本實(shí)驗(yàn)采用圖1中傳統(tǒng)串聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，以網(wǎng)絡(luò)A為基準(zhǔn)網(wǎng)絡(luò)，進(jìn)行了大量實(shí)驗(yàn)，并選取其中有代表性的部分網(wǎng)絡(luò)做進(jìn)一步分析.不同分類網(wǎng)絡(luò)中各卷積層的卷積核大小和不同分類網(wǎng)絡(luò)分類準(zhǔn)確率分別如表1和表2.

由表1和表2可知，當(dāng)?shù)谒膫€(gè)卷積層的卷積核大小調(diào)整為3×3或第六個(gè)卷積層的卷積核大小調(diào)整為3×3時(shí)(網(wǎng)絡(luò)F或網(wǎng)絡(luò)J)，東方繪畫圖像數(shù)據(jù)集的分類準(zhǔn)確率最高.當(dāng)?shù)诙€(gè)卷積層的卷積核大小調(diào)整為3×3或5×5時(shí)(網(wǎng)絡(luò)B或網(wǎng)絡(luò)C)，西方繪畫圖像數(shù)據(jù)集分類準(zhǔn)確率最高.由此可以發(fā)現(xiàn)，針對(duì)不同的數(shù)據(jù)集，需要設(shè)置不同的網(wǎng)絡(luò)參數(shù)，以適應(yīng)不同數(shù)據(jù)集的分類任務(wù).進(jìn)一步說(shuō)明，網(wǎng)絡(luò)F或網(wǎng)絡(luò)G更能有效提取東方繪畫圖像特征，網(wǎng)絡(luò)B或網(wǎng)絡(luò)C更能有效提取西方繪畫圖像特征.

表1 不同分類網(wǎng)絡(luò)中各卷積層的卷積核大小

表2 不同分類網(wǎng)絡(luò)分類準(zhǔn)確率

4.2 網(wǎng)絡(luò)寬度對(duì)分類結(jié)果的影響

傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)一般為串聯(lián)結(jié)構(gòu)，本文考慮在傳統(tǒng)串聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，在兩個(gè)卷積層之間并聯(lián)一個(gè)卷積層，以增加網(wǎng)絡(luò)結(jié)構(gòu)寬度，實(shí)現(xiàn)多種特征融合，提高網(wǎng)絡(luò)分類性能.為驗(yàn)證本方法的可行性，本實(shí)驗(yàn)分別選取東方繪畫圖像和西方繪畫圖像兩個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn). 對(duì)于東方繪畫圖像數(shù)據(jù)集，從花鳥、人物、山水這三類圖像中，分別隨機(jī)選取600張圖片作為訓(xùn)練集，其余200張圖片作為測(cè)試集；對(duì)于西方繪畫圖像數(shù)據(jù)集，從人物、風(fēng)景這兩類圖像中，分別隨機(jī)選取350張圖片作為訓(xùn)練集，其余150張圖片作為測(cè)試集.

對(duì)于東方繪畫數(shù)據(jù)集，本文考慮在表1中網(wǎng)絡(luò)F的基礎(chǔ)上，在第三個(gè)卷積層與第六個(gè)卷積層之間并聯(lián)一個(gè)新卷積層，卷積核大小設(shè)置為5×5，以優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu). 對(duì)于西方繪畫數(shù)據(jù)集，本文考慮在表1中網(wǎng)絡(luò)B的基礎(chǔ)上，同樣選擇在第三個(gè)卷積層與第六個(gè)卷積層之間并聯(lián)一個(gè)新卷積層，卷積核大小設(shè)置為1×1. 針對(duì)東方繪畫圖像和西方繪畫圖像兩個(gè)數(shù)據(jù)集，卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化前后網(wǎng)絡(luò)分類準(zhǔn)確率對(duì)比如表3.

從這個(gè)分析可以看出，演講或教室中教師講學(xué)生聽(tīng)是傳統(tǒng)的方法（理論、傳授、教師主導(dǎo)），效果有限。其他方法比較現(xiàn)代，很多的是讓學(xué)生自己實(shí)踐和發(fā)現(xiàn)，比較有效，其中的訪問(wèn)、做調(diào)查/調(diào)研、自學(xué)及小研究等屬于實(shí)踐、發(fā)現(xiàn)與學(xué)生主導(dǎo)，可以發(fā)揮最全面的效果。

表3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化前后網(wǎng)絡(luò)分類準(zhǔn)確率對(duì)比

從表3可以看出，增加卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)寬度后，卷積神經(jīng)網(wǎng)絡(luò)模型分類準(zhǔn)確率有所提高.從理論上可以解釋該實(shí)驗(yàn)結(jié)果，增加卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)寬度，可以使該網(wǎng)絡(luò)適應(yīng)多種尺寸的特征提取，并實(shí)現(xiàn)多種特征的融合，從而增強(qiáng)了卷積神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力.尤其當(dāng)輸入圖像空間分辨率較大時(shí)，輸入圖像特征更加豐富和全面，增加網(wǎng)絡(luò)寬度更有利于有效提取多種尺寸特征.所以，卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)寬度的增加，有利于卷積神經(jīng)網(wǎng)絡(luò)模型分類準(zhǔn)確率的提高.

4.3 訓(xùn)練樣本數(shù)量對(duì)分類結(jié)果影響

卷積神經(jīng)網(wǎng)絡(luò)模型的分類性能受訓(xùn)練樣本數(shù)量影響，當(dāng)訓(xùn)練樣本不足時(shí)，會(huì)產(chǎn)生過(guò)擬合現(xiàn)象[20].為研究訓(xùn)練樣本數(shù)量對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型分類準(zhǔn)確率的影響，本實(shí)驗(yàn)分別選取東方繪畫圖像和西方繪畫圖像這兩個(gè)數(shù)據(jù)集作為實(shí)驗(yàn)對(duì)象.從花鳥、人物、山水這三類東方繪畫圖像中，分別隨機(jī)選取100、200、300、400、500、600張圖片作為訓(xùn)練樣本，每類剩余樣本中隨機(jī)選取200張圖片作為測(cè)試樣本；從人物、風(fēng)景這兩類西方繪畫圖像中，分別隨機(jī)選取50、100、150、200、250、300、350張圖片作為訓(xùn)練樣本，每類剩余樣本中隨機(jī)選取150張圖片作為測(cè)試樣本.

本實(shí)驗(yàn)分別采用針對(duì)東方繪畫圖像數(shù)據(jù)集和西方繪畫圖像數(shù)據(jù)集優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，東方繪畫圖像和西方繪畫圖像在不同數(shù)量訓(xùn)練樣本上的分類準(zhǔn)確率分別如表4和表5.

表4 東方繪畫圖像在不同數(shù)量訓(xùn)練樣本上的分類準(zhǔn)確率

表5 西方繪畫圖像在不同數(shù)量訓(xùn)練樣本上的分類準(zhǔn)確率

從表4和表5中可以觀察出，隨著訓(xùn)練樣本數(shù)量的增加，卷積神經(jīng)網(wǎng)絡(luò)模型分類準(zhǔn)確率不斷提高.從理論方面可以解釋這個(gè)現(xiàn)象產(chǎn)生的原因，因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)是一個(gè)深度網(wǎng)絡(luò)結(jié)構(gòu)，擁有較多隱藏層以增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力.所以，隨著訓(xùn)練樣本數(shù)量的增加，卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征學(xué)習(xí)能力更能體現(xiàn)出來(lái)，學(xué)習(xí)到的特征能夠有效表達(dá)數(shù)據(jù)，從而有利于分類準(zhǔn)確率的提高.

4.4 傳統(tǒng)方法與深度學(xué)習(xí)方法實(shí)驗(yàn)結(jié)果對(duì)比

在與傳統(tǒng)方法進(jìn)行對(duì)比時(shí)，SIFT+BOW[11](Scale-invariant Feature Transform+Bag of Words)將圖像分割成越來(lái)越小的子區(qū)域，分別計(jì)算每個(gè)子區(qū)域的局部直方圖特征，再將所有子區(qū)域的特征合并起來(lái)，采用SVM進(jìn)行分類；HOG[13](Histogram Of Gradient)通過(guò)計(jì)算圖像局部區(qū)域的梯度直方圖以構(gòu)成特征，并使用SVM對(duì)特征進(jìn)行分類. 在與深度學(xué)習(xí)方法進(jìn)行對(duì)比時(shí)，LeNet[14]采用多層人工神經(jīng)網(wǎng)絡(luò)方法，且首次使用反向傳播算法更新權(quán)值；AlexNet[4]在LeNet基礎(chǔ)上增加了卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)深度，并將Relu激活函數(shù)和Dropout應(yīng)用到網(wǎng)絡(luò)模型中.為有效對(duì)比傳統(tǒng)方法與深度學(xué)習(xí)方法對(duì)東方繪畫圖像和西方繪畫的分類效果，所有實(shí)驗(yàn)在相同的數(shù)據(jù)集上進(jìn)行測(cè)試.測(cè)試數(shù)據(jù)集的選取與研究卷積核大小對(duì)分類結(jié)果影響的實(shí)驗(yàn)相同，傳統(tǒng)方法與深度學(xué)習(xí)方法實(shí)驗(yàn)結(jié)果對(duì)比如表6.

表6 傳統(tǒng)方法與深度學(xué)習(xí)方法實(shí)驗(yàn)結(jié)果對(duì)比

上述對(duì)比進(jìn)一步表明，深度學(xué)習(xí)方法對(duì)繪畫圖像進(jìn)行分類，效果要比傳統(tǒng)方法好，尤其對(duì)于分類類別相對(duì)較多且難度相對(duì)較大的東方繪畫圖像的效果更為明顯.通過(guò)比較可以發(fā)現(xiàn)，LeNet和AlexNet采用傳統(tǒng)串聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，而本文方法在串聯(lián)結(jié)構(gòu)基礎(chǔ)上增加了網(wǎng)絡(luò)結(jié)構(gòu)寬度，實(shí)現(xiàn)了多種尺寸特征提取，更能有效提取繪畫圖像特征并完成圖像分類，比其他方法對(duì)繪畫圖像的分類效果好.

5 結(jié) 語(yǔ)

深度學(xué)習(xí)已經(jīng)成為機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)，廣泛應(yīng)用在多個(gè)領(lǐng)域.本文提出利用卷積神經(jīng)網(wǎng)絡(luò)提取繪畫圖像特征，并實(shí)現(xiàn)對(duì)繪畫圖像進(jìn)行分類的方法.針對(duì)東方繪畫圖像和西方繪畫圖像兩個(gè)數(shù)據(jù)集，在設(shè)計(jì)傳統(tǒng)串聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，通過(guò)大量實(shí)驗(yàn)，研究了卷積核大小對(duì)卷積神經(jīng)網(wǎng)絡(luò)分類性能的影響，發(fā)現(xiàn)針對(duì)不同的數(shù)據(jù)集，需要設(shè)置不同大小的卷積核，以適應(yīng)不同數(shù)據(jù)集的分類任務(wù).同時(shí)，在傳統(tǒng)串聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，在兩個(gè)卷積層之間并聯(lián)一個(gè)新卷積層，以增加網(wǎng)絡(luò)結(jié)構(gòu)寬度，實(shí)現(xiàn)多尺寸特征提取與多種特征融合，從而增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力.此外還分析了訓(xùn)練樣本數(shù)量對(duì)卷積神經(jīng)網(wǎng)絡(luò)分類性能的影響，發(fā)現(xiàn)訓(xùn)練樣本數(shù)量增加，有利于體現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力，從而提高了網(wǎng)絡(luò)分類性能.最后，通過(guò)與其他傳統(tǒng)方法和深度學(xué)習(xí)方法的對(duì)比實(shí)驗(yàn)，證明了本文提出的基于卷積神經(jīng)網(wǎng)絡(luò)繪畫圖像分類方法對(duì)于繪畫圖像具有更好的分類性能，證明了此方法具有可行性和優(yōu)越性.

傳統(tǒng)圖像分類方法與深度學(xué)習(xí)方法相結(jié)合的圖像分類方法，本文并未將其考慮在內(nèi).今后可在本文的基礎(chǔ)上，將傳統(tǒng)圖像分類方法與深度學(xué)習(xí)方法提取的特征相融合，從而提高算法分類性能.

[1] TAMARKIN E. The chestnuts of edwin austin abbey: history painting and the transference of culture in turn-of-the-century america[J]. Bridge-Literary Magazine,1999,15(1-2):1-9.

[2] 楊冰.基于藝術(shù)風(fēng)格的繪畫圖像分類研究[D].杭州:浙江大學(xué),2013. YANG B. Research on Painting Image Classification Based on Aesthetic Style[D]. Hangzhou: Zhejiang University,2013.

[3] ZHANG X, ZHAO J, LECUN Y. Character-level convolutional networks for text classification[C]//Neural Information Processing Systems. Montrea: NIPS,2015:649-657.

[4] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems,2012,25(2):1097-1105.

[5] XIAO T, XU Y, YANG K, et al. The application of two-level attention models in deep convolutional neural network for fine-grained image classification[C]//IEEE Conference on Computer Vision and Pattern Recognition. Columbus: IEEE CVPR,2014:842-850.

[6] SZEGEDY C, LIU W, JIA Y Q, et al. Going deeper with convolutions[C]//IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE CVPR,2015:1-9.

[7] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE CVPR,2015:770-778.

[8] HE K, ZHANG X, REN S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2014,37(9):1904-1916.

[9] KALINOVSKII I, SPITSYN V. Compact convolutional neural network cascade for face detection[J]. Computer Science,2015,2(2):93-110.

[10] OUYANG W L, ZENG X Y, WANG X G, et al. Deepid-net: deformable deep convolutional neural networks for object detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2015,46(5):2403-2412.

[11] LAZEBNIK S, SCHMID C, PONCE J. Beyond bags of features: spatial pyramid matching for recognizing natural scene categories[C]//IEEE Computer Society Conference on Computer Vision & Pattern Recognition. New York: IEEE Computer Society,2006:2169-2178.

[12] JIANG S Q, HUANG Q M, YE Q X, et al. An effective method to detect and categorize digitized traditional chinese paintings[J]. Pattern Recognition Letters,2006,27(7):734-746.

[13] CAO X B, WU C X, YAN P K, et al. Linear SVM classification using boosting HOG features for vehicle detection in low-altitude airborne videos[C]//IEEE International Conference on Image Processing. Brussels: IEEE ICIP,2011:2421-2424.

[14] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE,1998,86(11):2278-2324.

[15] ZEILER M D, FERGUS R. Visualizing and Understanding Convolutional Networks[M]. Berlin: Springer International Publishing,2014:818-833.

[16] CROWLEY E J, ZISSERMAN A. In search of art[C]//European Conference on Computer Vision. Zurich: ECCV,2014:54-70.

[17] SUN M J, ZHANG D, REN J C, et al. Brushstroke based sparse hybrid convolutional neural networks for author classification of chinese ink-wash paintings[C]//IEEE International Conference on Image Processing. Quebec: IEEE ICIP,2015:626-630.

[18] ANIANO G, DRAINE B T, GORDON K D, et al. Common-resolution convolution kernels for Space and ground-based telescopes[J]. Publications of the Astronomical Society of the Pacific,2011,123(908):1218-1236.

[19] MORRISON D, WANG R L, SILVA L D. Spoken affect classification using neural networks[C]//IEEE International Conference on Granular Computing. Beijing: IEEE GRC, 2005:583-586.

[20] HARVILL E L, PECK L R, BELL S H. On overfitting in analysis of symmetrically predicted endogenous subgroups from randomized experimental samples: part three of a method note in three parts[J]. American Journal of Evaluation,2013,34(4):545-556.

Research on painting image classification based on convolution neural network

XIAO Zhipeng1, WANG Xiaohua1,2, YANG Bing2, YAO Jinliang2

(1. College of Information Engineering, China Jiliang University, Hangzhou 310018, China; 2. School of Computer Science and Technology, Hangzhou Dianzi University, Hangzhou 310018, China)

It is significant to realize the digitalization of painting works for the effective use of painting resources. The traditional image classification methods do not take into account of the subjective characteristics of the painting works, and most of the features need to be extracted manually, thus the problem of easily missing detailed features. In this paper, a painting image classification method based on convolutional neural network (CNN) was proposed. We analyzed the influence to the classification results of the size of convolution kernel, the width of convolution neural network architectures, and the number of training samples to get a reference to optimize the network architectures and parameters. The experimental results show the effectiveness of the proposed method for the classification of painting images with good results on different data sets of painting images.

convolutional neural network; classification of painting images; size of convolution kernel; width of network architectures; number of training samples

2096-2835(2017)02-0226-08

10.3969/j.issn.2096-2835.2017.02.015

2017-01-10 《中國(guó)計(jì)量大學(xué)學(xué)報(bào)》網(wǎng)址：zgjl.cbpt.cnki.net

國(guó)家自然科學(xué)基金資助項(xiàng)目(No.61402143),浙江省自然科學(xué)基金資助項(xiàng)目(No. LQ14F020012).

肖志鵬(1992-)，男，江蘇省泰州人，碩士研究生，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)與計(jì)算機(jī)視覺(jué). E-mail:261507661@qq.com 通信聯(lián)系人：王小華，男，教授，E-mail: wxh@cjlu.edu.cn

N32

A