錢文華 ,徐 丹 ,徐 瑾 ,何 磊 ,韓鎮(zhèn)陽
(1.云南大學(xué)信息學(xué)院,云南 昆明 650504;2.云南大學(xué)研究生院,云南 昆明 650504)
不同藝術(shù)繪畫風(fēng)格具有不同的藝術(shù)表現(xiàn)力,尤其是名家藝術(shù)作品往往具有較高的藝術(shù)價(jià)值和傳承價(jià)值。受到自然災(zāi)害、人為等因素的影響,藝術(shù)繪畫作品也在加速破壞與消失。文化遺產(chǎn)數(shù)字化有利于不同種文化遺產(chǎn)的保護(hù)和傳承,有利于藝術(shù)繪畫作品的數(shù)字化保護(hù),其中,藝術(shù)繪畫作品的數(shù)字化分類和管理是文化遺產(chǎn)數(shù)字化保護(hù)的重要環(huán)節(jié),將為文化遺產(chǎn)、文化作品的數(shù)字化存儲(chǔ)、修復(fù)、推廣和傳播奠定基礎(chǔ),可應(yīng)用于繪畫作品的藝術(shù)風(fēng)格識(shí)別、檢測(cè)、情感識(shí)別等不同領(lǐng)域。因此,如何更加有效地組織并管理藝術(shù)風(fēng)格作品,使用戶更加簡便快捷訪問藝術(shù)作品成為當(dāng)前文化遺產(chǎn)數(shù)字化領(lǐng)域急需解決的問題[1]。
近年來,國內(nèi)外圖形工作者采用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)、尺度不變特征變換(scale-invariant feature transform,SIFT)等方法對(duì)不同藝術(shù)風(fēng)格繪畫作品進(jìn)行分類研究,成為計(jì)算機(jī)圖形學(xué)領(lǐng)域的熱點(diǎn)問題[2]。楊冰[3]利用風(fēng)格繪畫的藝術(shù)風(fēng)格特性進(jìn)行分類處理,對(duì)藝術(shù)風(fēng)格描述符和顯著性特征進(jìn)行檢測(cè),提出了一種不同藝術(shù)風(fēng)格繪畫的分類方法;祝娟[1]結(jié)合稀疏編碼算法,比較高低分辨率繪畫作品提取的特征,選取其中更具有繪畫風(fēng)格的代表性特征,同時(shí)利用信息論理論提取圖像的特征,最后采用Weka軟件中的分類器成功地對(duì)繪畫作品的風(fēng)格進(jìn)行分類;萬翠蘭[4]基于稀疏編碼算法,分析了圖像的特征基函數(shù)和稀疏系數(shù),采用四階統(tǒng)計(jì)量對(duì)圖像數(shù)據(jù)進(jìn)行高階統(tǒng)計(jì),實(shí)現(xiàn)了圖像風(fēng)格的識(shí)別和分類;肖志鵬等[5]提出基于卷積神經(jīng)網(wǎng)絡(luò)的繪畫圖像和分類方法,獲得分類結(jié)果,并分析了卷積核大小、網(wǎng)絡(luò)結(jié)構(gòu)寬度、訓(xùn)練樣本數(shù)量等對(duì)分類結(jié)果的影響;趙永威等[6]針對(duì)矢量量化編碼的誤差嚴(yán)重問題,提出了一種基于深度學(xué)習(xí)特征編碼模型的圖像分類算法,減小了編碼誤差;陳小娥和陳昭炯[7]針對(duì)攝影作品、國畫、水彩畫、素描、油畫等5種藝術(shù)風(fēng)格圖像進(jìn)行分類,采用多類SVM分類器以及逐層分類的思想實(shí)現(xiàn)了對(duì)5類藝術(shù)風(fēng)格繪畫的分類;BARAT和DUCOTTET[8]結(jié)合圖像的藝術(shù)特征,提出采用CNN的方法,并利用歐氏距離度量作品之間的相似性,實(shí)現(xiàn)了不同圖像風(fēng)格的分類;CHU和 WU[9]選取漫畫人臉圖像作為研究對(duì)象,基于大規(guī)?;鶞?zhǔn)測(cè)試數(shù)據(jù),采用深度神經(jīng)網(wǎng)絡(luò)提取深層關(guān)聯(lián)特征并檢測(cè)人臉,對(duì)不同具有漫畫風(fēng)格的人臉圖像進(jìn)行分類和評(píng)估,獲得較好分類結(jié)果;WILLIAMS和LI[10]提出了一種基于小波的CNN圖像分類算法,將數(shù)據(jù)轉(zhuǎn)換成小波域,在小波域空間進(jìn)行分類以獲得更高的精度;WANG等[11]針對(duì)高光譜圖像進(jìn)行分類,通過迭代濾波改變樣本有限情況下的數(shù)據(jù)統(tǒng)計(jì)分布,并通過正交匹配追蹤和支持向量機(jī)(support vector machine,SVM)對(duì)目標(biāo)圖像進(jìn)行分類,提高了分類精度和效率。
基于CNN,SIFT等風(fēng)格繪畫分類方法存在模型復(fù)雜、耗時(shí)較多等問題,分類精度和分類效率有待提高。此外,藝術(shù)繪畫風(fēng)格種類眾多,當(dāng)繪畫風(fēng)格不同時(shí),已有的分類方法可能失效。因此,對(duì)不同藝術(shù)風(fēng)格繪畫作品的分類研究還存在著精度不高、提高分類算法通用性等問題,仍然是圖形學(xué)研究的難點(diǎn)。本文選取西方漫畫、素描、油畫、水彩畫,以及國內(nèi)烙畫、水墨畫、壁畫具有代表性的繪畫風(fēng)格作為研究對(duì)象,針對(duì)7種不同繪畫作品進(jìn)行分類,獲得最終的分類識(shí)別結(jié)果,圖1顯示了不同繪畫風(fēng)格的圖像。
圖像的信息熵表示圖像中灰度、色彩分布的聚集特征所包含的信息量,反映了圖像局部結(jié)構(gòu)、色彩特征等信息量,可以用來作為圖像質(zhì)量的重要判斷依據(jù)[12]。針對(duì)藝術(shù)風(fēng)格作品的分類存在的精度不高等問題,本文提出一種基于信息熵的藝術(shù)風(fēng)格繪畫分類算法,在灰度信息熵的基礎(chǔ)上,提出顏色熵、分塊熵、輪廓熵3種不同的信息熵計(jì)算方法,并采用SVM對(duì)圖像信息熵特征進(jìn)行訓(xùn)練和分類。
圖1 風(fēng)格繪畫實(shí)例
本文的主要工作為:①選取西方具有代表性的漫畫、素描、油畫、水彩畫繪畫作品,以及東方具有代表性的烙畫、水墨畫、壁畫繪畫作品作為研究對(duì)象,豐富不同藝術(shù)繪畫風(fēng)格的分類研究成果;②提出圖像的顏色熵、分塊熵、輪廓熵3種不同的信息熵計(jì)算方法,作為圖像信息熵的計(jì)算依據(jù)。其中,顏色熵能反映圖像的顏色特征,分塊熵反映了圖像的空間局部分布特征,輪廓熵反映了圖像的邊緣和結(jié)構(gòu)特征;③針對(duì)訓(xùn)練樣本集進(jìn)行分類測(cè)試,通過采用不同核函數(shù)得出的分類效果進(jìn)行驗(yàn)證,提高了查全率和查準(zhǔn)率。
本文對(duì)藝術(shù)繪畫風(fēng)格分類研究,有利于用戶鑒別不同藝術(shù)繪畫作品的風(fēng)格種類,分析不同繪畫作品的風(fēng)格特征;有利于藝術(shù)作品的保護(hù)和傳承,在影視作品、廣告宣傳、數(shù)字娛樂、遺產(chǎn)保護(hù)等領(lǐng)域具有廣泛應(yīng)用。
圖2顯示了本文的系統(tǒng)實(shí)現(xiàn)框圖,首先搜集了漫畫、素描、油畫、水彩畫、烙畫、水墨畫、壁畫7種繪畫藝術(shù)作品,每種藝術(shù)風(fēng)格260幅圖像,共1 820幅藝術(shù)風(fēng)格圖像構(gòu)建數(shù)據(jù)集,作為訓(xùn)練和測(cè)試數(shù)據(jù)集;其次,對(duì)數(shù)據(jù)集進(jìn)行去噪、裁剪等預(yù)處理:①設(shè)置3×3掩模算子,采用高斯濾波方法對(duì)圖像進(jìn)行去噪處理,消除噪聲;②當(dāng)目標(biāo)圖像的背景區(qū)域較多時(shí),對(duì)圖像進(jìn)行裁剪,保留主體區(qū)域;③對(duì)圖像進(jìn)行規(guī)范化處理,通常將訓(xùn)練和測(cè)試數(shù)據(jù)集圖像處理為512×512大??;接著,從繪畫藝術(shù)作品中選取部分圖像作為訓(xùn)練集,對(duì)不同風(fēng)格作品進(jìn)行特征提取,計(jì)算圖像的顏色熵、分塊熵和輪廓熵特征,合并后形成信息熵矩陣,并進(jìn)行特征訓(xùn)練;再次,利用開源的SVM的軟件包LIBSVM對(duì)訓(xùn)練集進(jìn)行學(xué)習(xí)訓(xùn)練,得到藝術(shù)風(fēng)格繪畫分類模型;最后,對(duì)測(cè)試集中數(shù)據(jù)進(jìn)行特征提取,計(jì)算圖像的顏色熵、分塊熵和輪廓熵特征,合并熵矩陣,并通過訓(xùn)練好的分類模型進(jìn)行測(cè)試,得到最終的藝術(shù)風(fēng)格繪畫分類結(jié)果。
圖2 系統(tǒng)實(shí)現(xiàn)框圖
圖像的信息熵通常指圖像灰度值的信息熵,即圖像灰度的概率分布情況[12]。色彩是不同藝術(shù)風(fēng)格圖像的重要特征,僅僅通過圖像灰度值進(jìn)行信息熵計(jì)算不能滿足分類要求,此外,圖像的局部結(jié)構(gòu)特征以及圖像的輪廓特征對(duì)圖像藝術(shù)風(fēng)格分類也具有重要作用。因此,本文在獲得灰度圖像信息熵的基礎(chǔ)上,分別通過圖像的顏色值、局部灰度值、Contourlet變換系數(shù)值求取信息熵,即計(jì)算圖像的顏色熵、分塊熵和輪廓熵,用于本文信息熵的計(jì)算和藝術(shù)繪畫風(fēng)格分類。
不同藝術(shù)風(fēng)格作品具有不同的色調(diào),如素描畫、水墨畫以黑白色調(diào)為主,烙畫以褐色色調(diào)為主,油畫、壁畫色彩豐富較為鮮艷,因此,在藝術(shù)風(fēng)格圖像分類識(shí)別時(shí),顏色特征對(duì)不同繪畫風(fēng)格的鑒別起到了非常重要的作用。在圖像的不同色彩模式中,LAB色彩模型是由亮度L和A,B色彩通道組成,是一種與設(shè)備無關(guān)的顏色模型,且色彩與亮度之間的關(guān)聯(lián)性較小[13],與HSV,RGB等色彩空間相比,在圖像的色彩熵分析中具有色彩描述特征準(zhǔn)確的優(yōu)勢(shì),因此,本文基于 LAB顏色空間,計(jì)算圖像的顏色熵。
顏色信息的分布具有一定的概率統(tǒng)計(jì),與圖像內(nèi)容分布有關(guān),同時(shí)與圖像的色彩域有關(guān),不同顏色的圖像具有不同的色彩域。LAB顏色空間中,L通道表示亮度信息,A通道和B通道反映了圖像的顏色信息,基于LAB顏色空間的顏色熵計(jì)算方式如下:
首先,將圖像從RGB色彩空間轉(zhuǎn)到LAB色彩空間[13],分別對(duì)A,B通道求信息熵,表示圖像的顏色域分布特征[14],即
其中,P為圖像A通道顏色值,式(1)可計(jì)算A通道的顏色信息熵Ha,通道B采用同樣的方法計(jì)算??紤]到在不同的藝術(shù)圖像中,2個(gè)顏色完全不同的圖像,可能具有相同的信息熵,因此引入一個(gè)加權(quán)函數(shù),設(shè)H為某幅圖像的顏色直方圖,采用冒泡排序方法將直方圖H由小到大進(jìn)行排序,完成排序后直方圖灰度級(jí)的移動(dòng)次數(shù)記為m。由于信息熵具有對(duì)稱性,因此排序前后信息熵不會(huì)改變。加權(quán)函數(shù)f(x)定義為[15]
其中,m為直方圖灰度級(jí)所移動(dòng)的次數(shù);z為直方圖灰度級(jí)的總數(shù)。采用加權(quán)函數(shù)后,圖像的顏色熵表示為
其中,Ha(x)為最終的A通道顏色熵,可以用同樣的方法求取B通道顏色熵Hb(x)。
圖3顯示了不同藝術(shù)風(fēng)格繪畫的信息熵值,在實(shí)驗(yàn)中發(fā)現(xiàn),色彩的豐富程度、色彩的明暗會(huì)影響最終的顏色熵,如水墨畫以黑白色調(diào)為主,計(jì)算出的顏色熵就比較低;而顏色豐富多彩的油畫、水彩畫、壁畫等,計(jì)算出的信息熵較大。因此,僅依靠圖像的顏色熵還不能較好判斷出藝術(shù)風(fēng)格的分類結(jié)果。
圖像的空間分布是圖像的一個(gè)重要特征,能表現(xiàn)出一幅圖像的色彩分布和整體特性。不同的藝術(shù)風(fēng)格繪畫具有不同的空間分布,如一幅油畫和一幅漫畫相比較,其色彩、結(jié)構(gòu)等空間分布有所不同。油畫的立體感強(qiáng),細(xì)節(jié)紋理豐富,圖像中的局部區(qū)域有較豐富的紋理特征,富有立體和層次感??梢钥闯觯?xì)節(jié)紋理豐富的地方,像素值變化繁復(fù),信息熵較高。此外,由于油畫藝術(shù)效果色彩整體分布均勻,因此整體信息熵分布較均勻。漫畫的構(gòu)圖中往往表現(xiàn)出著重點(diǎn)和非重點(diǎn),如人物、中心物體等為畫家著重表現(xiàn)的區(qū)域,在繪畫時(shí)用較小筆刷注重細(xì)節(jié)的描述,而漫畫中的背景等大面積著色相同的區(qū)域?yàn)榉侵攸c(diǎn)區(qū)域,畫家在創(chuàng)作時(shí)采用較大筆刷,忽略細(xì)節(jié)信息,因此,漫畫的整體信息熵分布不均勻,在細(xì)節(jié)較多的區(qū)域信息熵較高,在細(xì)節(jié)較少的地方信息熵較低。
圖3 圖像顏色熵用例
本文基于單元熵的思想[16],在圖像信息熵的計(jì)算過程中,提出采用分塊信息熵方差來描述圖像的整體空間分布特征。首先將圖像分成n×n個(gè)方形小塊,分別求取每一個(gè)小方塊的信息熵,再求取一幅圖像的所有小塊信息熵的方差,方差越大則說明藝術(shù)風(fēng)格圖像的信息熵分布越不均勻,方差越小說明信息熵分布越均勻,信息熵方差計(jì)算為
其中,V為信息熵方差;Hi為小塊信息熵;Hm為分塊信息熵的均值;n為塊數(shù)。
圖像劃分為小塊后,相鄰塊之間存在著一定的關(guān)聯(lián),這種關(guān)聯(lián)也體現(xiàn)了圖像空間分布特征(圖4)。因此,在信息熵計(jì)算過程中,為了表示小塊之間的關(guān)聯(lián),提出分塊聯(lián)合熵的計(jì)算,對(duì)每一分塊求其灰度值均值。同時(shí),為了排除微小差異對(duì)結(jié)果造成的影響,對(duì)灰度均值以8為一個(gè)步長進(jìn)行量化處理,并將相鄰塊灰度均值轉(zhuǎn)化成離散的獨(dú)立信源,其聯(lián)合空間計(jì)算為[17]
其中,X1X2為2個(gè)離散的獨(dú)立信源,即2個(gè)分塊;ai為分塊的灰度均值;aij為與ai相鄰塊的灰度均值;P(x1x2)為分塊之間的聯(lián)合空間;f(aij)為塊灰度均值為ai時(shí),與ai相鄰的塊灰度均值為aij出現(xiàn)的頻數(shù);q(ai)為與ai相鄰的塊總數(shù)。分塊聯(lián)合熵計(jì)算為
其中,HL(X1X2)為分塊聯(lián)合熵;n為分塊數(shù)。
圖4 相鄰塊編號(hào)示意圖
當(dāng)一幅圖像各塊灰度均值分布越均勻、統(tǒng)一時(shí),分塊之間的聯(lián)系越緊密,式(6)中相應(yīng)的條件概率就越大,越大,隨之分塊聯(lián)合熵H(X1X2)就越小。
為了驗(yàn)證圖像的分塊熵能夠體現(xiàn)圖像的空間分布特征,選取油畫、漫畫目標(biāo)圖像進(jìn)行實(shí)驗(yàn)。在圖像預(yù)處理過程中,通常將輸入圖像縮放為512×512 大小,采用 2n×2n(2≤n≤6)大小對(duì)圖像進(jìn)行分塊,計(jì)算分塊信息熵。當(dāng)n=5時(shí),圖5中顯示了當(dāng)目標(biāo)圖像為油畫和漫畫時(shí)的信息熵結(jié)果。圖5(a)顯示目標(biāo)圖像為油畫時(shí),獲得結(jié)果信息熵方差V=0.3,分塊聯(lián)合熵HL=0.6;圖(b)顯示目標(biāo)圖像為漫畫時(shí),獲得結(jié)果V=7.1,HL=5.4。取不同n值進(jìn)行實(shí)驗(yàn),發(fā)現(xiàn)油畫每個(gè)小塊的信息熵都較大,分布比較均勻,并且分塊信息熵方差較小,分塊聯(lián)合熵較??;而漫畫的塊信息熵大小不等,分布不均勻,且分塊信息熵方差較大,分塊聯(lián)合熵也較大。從實(shí)驗(yàn)結(jié)果看出,藝術(shù)圖像的分塊熵可以表示一幅圖像的整體和局部的信息分布情況,實(shí)驗(yàn)中考慮速度等經(jīng)驗(yàn)值,n取值為5。
圖5 圖像分塊熵計(jì)算
藝術(shù)家在創(chuàng)作藝術(shù)風(fēng)格繪畫作品時(shí),對(duì)圖像輪廓的繪畫并不相同,如漫畫和烙畫藝術(shù)作品,背景較為單一,然而注重勾勒對(duì)象的輪廓,因此,主體對(duì)象和背景之間對(duì)比度強(qiáng)烈,導(dǎo)致主體對(duì)象的輪廓細(xì)節(jié)比較明顯;在油畫藝術(shù)作品創(chuàng)作時(shí),整體和局部往往呈現(xiàn)相同的色彩分布,不注重線條細(xì)節(jié),忽略對(duì)主體細(xì)節(jié)邊緣的勾勒;在水彩畫藝術(shù)作品創(chuàng)作時(shí),由于顏料的滲透性,導(dǎo)致邊緣輪廓不明顯;壁畫創(chuàng)作時(shí)通常具有清晰明確的邊緣特征,受到侵蝕、墻體脫落等原因可能造成圖像輪廓的模糊;水墨畫雖然不刻意的勾勒對(duì)象的輪廓,但是對(duì)象之間鮮明的墨色對(duì)比也讓水墨畫呈現(xiàn)出一定的輪廓特征;素描創(chuàng)作時(shí)往往通過背景以及明暗變化的陰影表現(xiàn)藝術(shù)特質(zhì),受到筆刷和鉛筆線型的影響,其邊緣輪廓較為粗糙。因此,輪廓熵對(duì)不同的藝術(shù)繪畫風(fēng)格具有重要作用,本文將輪廓熵作為圖像信息熵的重要組成部分。
基于Contourlet變化思想[18],本文提出圖像輪廓信息熵的計(jì)算方法,描述圖像的輪廓信息。Contourlet變化是Do和Vetterli等在繼承小波多尺度分析思想的基礎(chǔ)上,提出的一種非自適應(yīng)方向多尺度圖像輪廓捕捉方法。與二維Gabor變換、Cortex變換、二維小波變換、復(fù)數(shù)小波等其他多尺度多方向的幾何圖像表示方法相比,Contourlet變換能提供任意方向上的信息,具有多分辨率、局部定位、多方向性和各向異性等性質(zhì),更加靈活,有利于捕捉圖像中的不同線條輪廓信息[19]。
圖6顯示了離散Contourlet變換的濾波器組結(jié)構(gòu)圖,輸入的粗糙圖像經(jīng)過塔型方向?yàn)V波器組進(jìn)行多層分解,可得到多尺度、多方向的子帶圖像。對(duì)于輪廓特征清晰的藝術(shù)風(fēng)格圖像,Contourlet系數(shù)變化大,信息分布復(fù)雜,因此獲得的信息熵較高;對(duì)于輪廓特征不清晰的藝術(shù)風(fēng)格圖像,Contourlet系數(shù)變化平緩,信息分布較為均勻,因此信息熵較小?;贒o和Vetterli等實(shí)驗(yàn)結(jié)果表明,采用 3層拉普拉斯塔形分解(Laplacian pyramid,LP)、3級(jí)方向?yàn)V波器組(dirctional filter bank,DFB)的 Contourlet變換能取得較好的實(shí)驗(yàn)結(jié)果。本文計(jì)算圖像的輪廓熵Hc時(shí),對(duì)每一層LP的各方向系數(shù)求取信息熵均值,用3層輪廓熵來描述圖像的輪廓特征[19],即
其中,Hi2j為對(duì)圖像進(jìn)行i層 LP分解后,DFB的Contourlet變換在第i層、第2j方向系數(shù)的信息熵。
圖6 Contourlet變換示意圖[19]
為了驗(yàn)證藝術(shù)風(fēng)格圖像輪廓熵能描述圖像的輪廓特征,選擇輪廓特征不明顯的油畫和輪廓特征較明顯的烙畫進(jìn)行實(shí)驗(yàn)分析。
圖7顯示了輪廓信息熵實(shí)驗(yàn)的用例圖,將圖7中的油畫和烙畫進(jìn)行3級(jí)LP分解,每層8個(gè)方向的DFB濾波分解后,其輪廓熵結(jié)果見表1。
圖7 圖像輪廓熵計(jì)算用例
表1 圖像輪廓熵
從表1實(shí)驗(yàn)數(shù)據(jù)可以看出,在不同層級(jí)熵值計(jì)算過程中,輪廓特征較不明顯的油畫輪廓熵值較小,而具有明顯輪廓特征的烙畫計(jì)算出的輪廓熵值較大。因此,輪廓熵能較好地描述出藝術(shù)圖像的輪廓特征?;陬伾亍⒎謮K熵、輪廓熵求取,對(duì)三者進(jìn)行合并,獲得最終的藝術(shù)風(fēng)格圖像信息熵,為最終的藝術(shù)風(fēng)格圖像分類奠定基礎(chǔ)。
求取出藝術(shù)風(fēng)格圖像的信息熵后,需要對(duì)這些圖像進(jìn)行訓(xùn)練和分類。由于本文的不同種類風(fēng)格畫數(shù)據(jù)均是不超過300的小樣本數(shù)據(jù),因此本文采用在小規(guī)模數(shù)據(jù)的分類識(shí)別中有較好效果的SVM進(jìn)行分類[20]。通過采用 SVM,對(duì)圖像熵特征進(jìn)行學(xué)習(xí),并訓(xùn)練出風(fēng)格畫識(shí)別模型,進(jìn)而對(duì)不同的藝術(shù)繪畫風(fēng)格進(jìn)行分類。
SVM 訓(xùn)練和測(cè)試過程中,核函數(shù)是關(guān)鍵組成部分,其通過把特征向量從低維空間映射到高維空間,使線性不可分問題轉(zhuǎn)化成了線性可分,從而解決了多維特征空間的線性不可分問題,有效支持了數(shù)據(jù)集的分類和識(shí)別計(jì)算[20]。
在核函數(shù)的選擇上,本文采用交叉驗(yàn)證(cross-validation)方法[21],針對(duì)訓(xùn)練樣本集,選取不同核函數(shù),并對(duì)輸入藝術(shù)風(fēng)格圖像進(jìn)行分類效果驗(yàn)證,表2顯示了核函數(shù)驗(yàn)證的準(zhǔn)確率。
表2數(shù)據(jù)表明,采用Sigmoid核函數(shù)獲得的準(zhǔn)確率較低,使用RBF核函數(shù)獲得的準(zhǔn)確率較高,達(dá)到85%以上,可以取得較好的分類結(jié)果。由于RBF核函數(shù)更適用于特征維數(shù)少,非線性的情況,與本文數(shù)據(jù)量少、非線性分類一致,因此本文選取RBF核函數(shù)進(jìn)行實(shí)驗(yàn)。
表2 Cross-Validation驗(yàn)證核函數(shù)準(zhǔn)確率
SVM模型有2個(gè)非常重要的參數(shù)c與Gamma,其中c表示對(duì)誤差的寬容度,c越大表示誤差概率越小,但容易出現(xiàn)過擬合的情況;c越小,容易出現(xiàn)欠擬合;c過大或過小,都會(huì)降低模型的泛化能力[22]。此外,RBF核函數(shù)中的Gamma參數(shù)決定了數(shù)據(jù)映射到新的特征空間后的分布,Gamma值越大,支持向量越少,分類速度越快,但精度可能會(huì)降低;反之,支持向量越多,分類速度較慢,精度將提高。
本文對(duì)藝術(shù)風(fēng)格圖像分類時(shí),采用基于網(wǎng)格搜索(grid search)的SVM參數(shù)尋優(yōu)方法對(duì)c和Gamma參數(shù)進(jìn)行最優(yōu)化選擇。網(wǎng)格搜索是一種常用的尋找最優(yōu)參數(shù)的算法,選擇c和Gamma參數(shù)時(shí),首先為參數(shù)設(shè)定一組候選值,然后從候選值中窮舉所有參數(shù)組合,最后選擇效果最優(yōu)的那組參數(shù)作為最終參數(shù)設(shè)置值。
尋找最優(yōu)參數(shù)實(shí)驗(yàn)對(duì)風(fēng)格畫樣本集采用十折交叉驗(yàn)證的方法[22]。寬容度參數(shù)c取值cmin=–8,cmax=8,即在[2–8,28]范圍進(jìn)行窮舉并找尋最優(yōu)c值。RBF核參數(shù)Gamma用g表示,取值gmin=–8,gmax=8,即在[2–8,28]范圍內(nèi)進(jìn)行窮舉并尋找最優(yōu)的g。SVM參數(shù)尋優(yōu)方法參數(shù)選擇結(jié)果如圖8所示[23]。
圖8 SVM參數(shù)選擇結(jié)果圖[23]
圖8顯示了采用不同參數(shù)實(shí)驗(yàn)樣本分類準(zhǔn)確率高低的情況,當(dāng)取值為c=4,g=0.125時(shí),準(zhǔn)確率達(dá)到 82.8%,即達(dá)到最高值。因此,本文實(shí)驗(yàn)時(shí),參數(shù)設(shè)置選取該組c和g值對(duì)藝術(shù)風(fēng)格圖像進(jìn)行分類。
本文實(shí)驗(yàn)基于LIBSVM開源數(shù)據(jù)包,通過SVM實(shí)現(xiàn)對(duì)不同藝術(shù)風(fēng)格圖像的訓(xùn)練和分類。實(shí)驗(yàn)流程如圖9所示,實(shí)驗(yàn)步驟如下:
步驟1.從油畫、素描等 7類風(fēng)格畫數(shù)據(jù)集中各隨機(jī)選取100幅作為模型訓(xùn)練樣本,分別求取其顏色熵、分塊熵和輪廓熵特征。
步驟2.將提取的熵特征整合成一個(gè)[m×n](m表示訓(xùn)練樣本;n表示樣本特征)的數(shù)據(jù)集,并設(shè)置對(duì)應(yīng)的標(biāo)簽集。
步驟3.將上述特征矩陣作為訓(xùn)練集,選擇RBF核函數(shù),利用 LIBSVM 對(duì)訓(xùn)練集進(jìn)行學(xué)習(xí)訓(xùn)練,得到藝術(shù)風(fēng)格圖像的分類模型。
步驟4.選取油畫、素描等7類風(fēng)格畫訓(xùn)練之后的圖像作為測(cè)試樣本,按照步驟1 和步驟2的過程提取待識(shí)別圖像的特征向量,將其分別輸入步驟3訓(xùn)練好的分類器中進(jìn)行識(shí)別,得出識(shí)別結(jié)果以及識(shí)別正確率。
步驟5.對(duì)待識(shí)別的圖像設(shè)置任意標(biāo)簽,投入風(fēng)格畫分類器,得出分類結(jié)果標(biāo)簽。
圖9 實(shí)驗(yàn)流程圖
本文所有實(shí)驗(yàn)在Windows 7,32位操作系統(tǒng)中進(jìn)行,基于2.3 GHz AMD Turion II CPU,4 G內(nèi)存,采用Matlab2016編程實(shí)現(xiàn)。本文針對(duì)漫畫、素描、油畫、水彩畫、烙畫、水墨畫、壁畫7種不同的藝術(shù)風(fēng)格繪畫進(jìn)行實(shí)驗(yàn),主要采用準(zhǔn)確率和查全率對(duì)所提方法進(jìn)行驗(yàn)證。實(shí)驗(yàn)訓(xùn)練集從數(shù)據(jù)集中選取每類風(fēng)格畫100幅,測(cè)試集從剩余數(shù)據(jù)集中隨機(jī)選取每類藝術(shù)風(fēng)格畫進(jìn)行測(cè)試。
表3顯示了本文實(shí)驗(yàn)的分類準(zhǔn)確率,從實(shí)驗(yàn)結(jié)果可以看出,油畫、壁畫和水彩畫的分類準(zhǔn)確率相對(duì)較高,漫畫和水墨畫的分類準(zhǔn)確率相對(duì)較低,選取的350幅測(cè)試圖像中,分類正確的一共有309幅,平均分類準(zhǔn)確率為88.28%。烙畫和油畫風(fēng)格特色明顯且較其他風(fēng)格畫容易區(qū)別,因此識(shí)別正確率較高;而漫畫的繪畫風(fēng)格較多,不同作者、不同內(nèi)容,會(huì)使漫畫作品的風(fēng)格變化多樣,有的漫畫顏色豐富、內(nèi)容多變,有的漫畫顏色又比較單一、內(nèi)容簡單,因此漫畫識(shí)別正確率較低,漫畫風(fēng)格也是風(fēng)格繪畫分類和識(shí)別的一個(gè)難點(diǎn)。
表3 分類查準(zhǔn)率
表4顯示了實(shí)驗(yàn)中不同風(fēng)格繪畫的查全率,烙畫和油畫的查全率相對(duì)較高,達(dá)到90%以上,這是因?yàn)槔赢嫼陀彤嬜R(shí)別準(zhǔn)確率較高,不容易被錯(cuò)誤識(shí)別為其他畫種,因此查全率較高。漫畫的查全率相對(duì)較低,只有80%,這是由于漫畫識(shí)別準(zhǔn)確率較低,容易被錯(cuò)誤分類為其他畫種,因此查全率偏低。查全率受分類準(zhǔn)確率影響,準(zhǔn)確率的提高有利于提升查全率。
表4 分類查全率
文獻(xiàn)[7]設(shè)計(jì)出一種針對(duì)攝影作品、國畫、水彩畫、素描、油畫等5種藝術(shù)風(fēng)格圖像進(jìn)行分類的系統(tǒng)。該系統(tǒng)通過設(shè)置多類SVM分類器,逐層分類,最終實(shí)現(xiàn)對(duì) 5類不同藝術(shù)風(fēng)格畫的分類,每一類SVM 分類器分別采用指定的圖像特征實(shí)現(xiàn)各自的分類功能。
圖0顯示了文獻(xiàn)[7]中多類二叉樹分類系統(tǒng),該分類系統(tǒng)采用3層4類SVM分類器,逐步實(shí)現(xiàn)對(duì)5類藝術(shù)風(fēng)格畫的分類,每種分類器利用不同的特征對(duì)指定的風(fēng)格畫從上至下逐層實(shí)現(xiàn)分類,其整體分類準(zhǔn)確率為85.56%。本文算法對(duì)藝術(shù)繪畫風(fēng)格的分類準(zhǔn)確率為88.28%,準(zhǔn)確率有所提高。此外,文獻(xiàn)[7]與本文都采用SVM分類器進(jìn)行分類,包括訓(xùn)練和分類 2個(gè)過程,在最壞情況下,SVM 的算法時(shí)間復(fù)雜度為O(n3)[24],其中n為樣本數(shù)量,時(shí)間復(fù)雜度隨著樣本數(shù)量的擴(kuò)大而增加。文獻(xiàn)[7]通過分層方法對(duì)樣本進(jìn)行至少3次SVM計(jì)算,耗時(shí)較多;本文求取信息聯(lián)合熵時(shí),時(shí)間復(fù)雜度為O(n2),并采用SVM對(duì)數(shù)據(jù)集進(jìn)行1次訓(xùn)練和分類,減少了運(yùn)算時(shí)間,當(dāng)樣本數(shù)量較大時(shí),加速計(jì)算過程,提高了分類計(jì)算效率。
圖10 不同藝術(shù)風(fēng)格分類的SVM多類二叉樹分類[7]
圖像熵是具有統(tǒng)計(jì)特性的圖像特征,描述的是像素的空間分布特性,無論圖像縮小還是放大,都不會(huì)影響圖像像素點(diǎn)的分布特性。
本文對(duì)不同尺度的同一幅藝術(shù)風(fēng)格圖像進(jìn)行測(cè)試,選取了烙畫、油畫、素描等藝術(shù)風(fēng)格圖像進(jìn)行測(cè)試,圖1顯示了圖像尺度分別為 512×512,256×256,128×128的圖像實(shí)例,算法通過計(jì)算顏色熵、分塊熵、輪廓熵對(duì)圖像進(jìn)行訓(xùn)練和測(cè)試。選取RBF核函數(shù),實(shí)驗(yàn)參數(shù)選取c=4,g=0.125,經(jīng)過對(duì)輸入3幅不同尺度的圖像進(jìn)行實(shí)驗(yàn),獲得的實(shí)驗(yàn)結(jié)果為Ha=4.1,Hb=5.3,V=6.8,HL=5.9,三層輪廓熵分別為2.4,1.7,2.1,可以看出,圖像尺度大小不會(huì)對(duì)信息熵造成影響,因此,測(cè)試結(jié)果顯示不同尺度的圖像具有相同分類,說明本文算法具有尺度不變性,為不同尺度藝術(shù)圖像的分類識(shí)別提供了一種通用的計(jì)算方法,擴(kuò)展了應(yīng)用領(lǐng)域。
圖11 不同尺度的圖像
本文針對(duì)藝術(shù)風(fēng)格圖像分類算法進(jìn)行研究,提出了一種基于信息熵的藝術(shù)風(fēng)格繪畫分類算法,算法將漫畫、素描、油畫、水彩畫、烙畫、水墨畫、壁畫7種具有代表性的藝術(shù)風(fēng)格圖像作為對(duì)象,求取顏色熵、分塊熵、輪廓熵,合并為藝術(shù)風(fēng)格圖像的信息熵,采用SVM對(duì)不同藝術(shù)風(fēng)格圖像進(jìn)行訓(xùn)練、測(cè)試和分類。在實(shí)驗(yàn)過程中,本文采用準(zhǔn)確率和查全率對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行驗(yàn)證,實(shí)驗(yàn)結(jié)果表明本文算法能有效對(duì)藝術(shù)風(fēng)格圖像進(jìn)行分類,與已有的方法相比,算法具有運(yùn)算速度快、尺度不變性等優(yōu)點(diǎn),算法實(shí)驗(yàn)結(jié)果可應(yīng)用于藝術(shù)作品分類識(shí)別、虛擬現(xiàn)實(shí)以及文化遺產(chǎn)保護(hù)等方面。在今后的工作中,將擴(kuò)大數(shù)據(jù)集和藝術(shù)風(fēng)格種類,同時(shí)加入對(duì)比度、飽和度、紋理等不同特征提高算法分類的準(zhǔn)確性。