湛穎,高妍,謝凌云
(中國傳媒大學(xué) 媒介音視頻教育部重點(diǎn)實(shí)驗(yàn)室,北京100024)
圖像美感自動(dòng)分析與識(shí)別是近年興起的研究熱點(diǎn)之一。較早的圖像模式識(shí)別研究集中在目標(biāo)識(shí)別任務(wù)(如人臉識(shí)別)等層面,這些研究關(guān)注物體的底層視覺特征,通過邊界、形狀等美術(shù)元素的統(tǒng)計(jì)關(guān)系構(gòu)建客觀世界與機(jī)器學(xué)習(xí)的橋梁。隨著目標(biāo)識(shí)別應(yīng)用的普及,業(yè)界對(duì)圖像分類的需求不再滿足于基本的目標(biāo)識(shí)別,而是轉(zhuǎn)向情感、審美等方面。尤其隨著人工智能研究的發(fā)展,如何利用計(jì)算機(jī)分析和學(xué)習(xí)人類主觀審美感知,以之作為人工智能的重要輔助功能,也吸引了眾多研究人員的關(guān)注。
本文的主要貢獻(xiàn)如下:①以中國國畫的美感評(píng)價(jià)與分類為研究對(duì)象,建立了一個(gè)用于國畫視覺美感分析的數(shù)據(jù)庫,包含超過500張各種風(fēng)格的國畫圖片,所有畫作包含5種美感風(fēng)格和總體美感強(qiáng)度的量化標(biāo)注;②基于該數(shù)據(jù)庫,篩選了適合國畫美感評(píng)價(jià)的若干特征,經(jīng)過對(duì)多種主流分類算法的綜合評(píng)析,初步搭建了國畫美感評(píng)價(jià)與分類框架;③分析了客觀特征與美感相關(guān)的美術(shù)元素之間的映射關(guān)系,嘗試給出影響國畫美感自動(dòng)分類效果的美學(xué)因素解釋。
西方實(shí)驗(yàn)美學(xué)領(lǐng)域率先對(duì)美感展開了一系列定量研究。Joshi和Datta建立了一個(gè)美感-情感圖像數(shù)據(jù)庫,對(duì)圖像進(jìn)行了10個(gè)因子8個(gè)強(qiáng)度等級(jí)的美感標(biāo)注[1];Murray等建立了一個(gè)大型美感數(shù)據(jù)庫,對(duì)255000張圖片進(jìn)行了美感的語義和強(qiáng)度標(biāo)注,它的特點(diǎn)是每張圖所標(biāo)注的因子都不同[2];Luo等對(duì)上萬張圖片做了二元美感標(biāo)注(binary aesthetic labels),并按場景將它們分為7類[3];Li和Chen設(shè)計(jì)了一系列全局、局部特征,進(jìn)行美術(shù)作品圖像美感的二元分類[4]。近兩年也有更多基于藝術(shù)內(nèi)容(如油畫)的數(shù)據(jù)庫出現(xiàn),如WikiArt Emotions[5]和The Rijksmuseum Challenge[6]等。
基于以上美感數(shù)據(jù)庫,也出現(xiàn)了許多對(duì)于圖像質(zhì)量和美感的分類研究。Ke等基于邊界空間分布、顏色分布、色調(diào)計(jì)算和模糊度等高層特征,并加上底層視覺特征,提出了采用樸素貝葉斯分類器(naive Bayes classifier)的攝影美感評(píng)價(jià)方法[7];Luo和Tang提出了基于視覺主要區(qū)域(subject region)評(píng)價(jià)攝影和視頻美感的方法[8];Wu等采用概率后處理(probabilistic post processing)方法,進(jìn)行了基于支持向量機(jī)(SVM)的審美多元標(biāo)簽評(píng)價(jià)[9]。
以上相關(guān)研究均在西方美感研究體系下進(jìn)行,而在不同文化背景的影響下,審美傾向會(huì)出現(xiàn)差異,因此,針對(duì)不同文化背景和藝術(shù)內(nèi)容的審美研究有其必要性。為探討中國傳統(tǒng)文化背景下的審美特點(diǎn),近年,國內(nèi)學(xué)者就中國國畫的特點(diǎn)展開了國畫圖像分類研究。陳俊杰等提取顏色空間和形狀特征,對(duì)國畫的山水、花鳥內(nèi)容進(jìn)行了基于支持向量機(jī)的二分類研究[10];劉曉巍等采用調(diào)色板冗余、Kolmogorov有序度、香農(nóng)熵有序度和作品復(fù)雜度4個(gè)參數(shù),對(duì)中國國畫與西方油畫的藝術(shù)特點(diǎn)做了量化統(tǒng)計(jì)和比較分析[11];王征等基于HSV(Hue-飽和 度、Saturation-飽 和 度、Value-明 度)顏色直方圖、紋理特征、邊緣尺寸直方圖和Gabor小波特征,用稀疏分組套索方法對(duì)6位畫家國畫作品進(jìn)行模式分類[12];盛家川和李玉芝提取小波紋理特征,對(duì)5位畫家的國畫作品進(jìn)行了分類[13];高峰等構(gòu)建了包含1 718幅古代、現(xiàn)代、當(dāng)代國畫大家作品的數(shù)據(jù)集,采用級(jí)聯(lián)分類策略,融合國畫的點(diǎn)、線特征,實(shí)現(xiàn)對(duì)國畫藝術(shù)家標(biāo)簽的模式分類[14];李玉芝等使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)提取國畫視覺特征,采用改進(jìn)嵌入式學(xué)習(xí)算法對(duì)10位國畫藝術(shù)家作品進(jìn)行分類[15];張佳婧等采用人工評(píng)估與回歸分析,對(duì)60幅齊白石的繪畫建立審美模型[16]。
已有的國畫分類研究分類標(biāo)簽多為繪畫的具體內(nèi)容(如山水和花鳥)、繪畫技法(如工筆和水墨)或作者,欠缺對(duì)于國畫美感直接評(píng)價(jià)和分類。本文建立了國畫數(shù)據(jù)庫與其美感特征分析方法,并基于特征重要性系數(shù)進(jìn)行了美感自動(dòng)分類與美術(shù)元素對(duì)應(yīng)關(guān)聯(lián)的分析,總體分析框架如圖1所示。先對(duì)圖像進(jìn)行了一定的預(yù)處理來均衡國畫因保存介質(zhì)、攝影方式等原因造成的信號(hào)失真;然后提取諸多圖像特征,采用遞歸式特征消除來篩選,以獲得最有效特征集,并對(duì)它們進(jìn)行相關(guān)美術(shù)元素的映射標(biāo)注;用篩選特征進(jìn)行模式分類,對(duì)不同分類模型結(jié)果進(jìn)行比較分析,同時(shí)對(duì)美感分類與美術(shù)元素間關(guān)聯(lián)性進(jìn)行分析。該方法有望對(duì)美感的數(shù)量建模提供參考,對(duì)計(jì)算機(jī)視覺美感計(jì)算方面有所幫助。
圖1 美感特征分析總體框架Fig.1 Framework of aesthetic feature analysis
數(shù)據(jù)庫的國畫數(shù)據(jù)是通過各種渠道收集的共511幅國畫圖像。其美感類別的定義是從文獻(xiàn)[17-27]中收集美感形容詞匯后,經(jīng)過篩選、系列范疇法評(píng)價(jià)[28]和因子分析[29],獲得適合描述國畫美感的5個(gè)類別:氣勢美、清幽美、生機(jī)美、雅致美和蕭瑟美,該數(shù)據(jù)庫已經(jīng)在Github上公開,鏈接地址為 https://github.com/leiyu943/Chinese-painting-aesthetic-database-from-CUC-2019-1,實(shí)驗(yàn)過程詳見文獻(xiàn)[30]。
美感標(biāo)注實(shí)驗(yàn)共有20名被試,11名為女性,9名為男性。數(shù)據(jù)庫中的每張圖畫,將先由被試標(biāo)注美感類別(在上述5個(gè)美感類別中選擇),然后再對(duì)該類別下的美感強(qiáng)度進(jìn)行評(píng)分,按1~9的整數(shù)等級(jí)評(píng)定打分。
依照20名被試所選人數(shù)最多的一類美感作為一幅畫作的主要美感。美感分類結(jié)果如表1所示,5類美感的實(shí)例見圖2。
表1 圖畫美感分類數(shù)量Table 1 Number of paintings in each aesthetic classification
圖2 不同美感的繪畫內(nèi)容案例Fig.2 Painting content examples of different aesthetics
畫家的個(gè)性化表達(dá)和繪畫的藝術(shù)風(fēng)格是2個(gè)影響繪畫審美的重要因素。參考以往西方圖像分類,與國畫研究中畫家標(biāo)簽、風(fēng)格標(biāo)簽的相關(guān)分類研究,底層視覺特征(如色彩)、高級(jí)視覺特征(如視覺注意)都影響到繪畫的美感感知,因此在特征選取上采取底層特征和高層特征相結(jié)合的方式。
對(duì)于已有特征,出于運(yùn)算量和便于分析考慮,需要對(duì)特征進(jìn)行篩選,從而用較少維度的特征有效表征圖像美感,故對(duì)所提圖像特征進(jìn)行了篩選和降維。在特征篩選基礎(chǔ)上,進(jìn)一步進(jìn)行美術(shù)元素和跨文化藝術(shù)特征分析。最后進(jìn)行了中西方美術(shù)元素對(duì)比分析。
國畫圖像的收集渠道不一,在顏色、亮度和尺寸參數(shù)上有較大差異性,通過觀察和統(tǒng)計(jì)庫中圖像,對(duì)這些圖像進(jìn)行以下調(diào)整:
1)黃色校正。顏色偏黃由紙張老化和攝影、掃描時(shí)打光不同導(dǎo)致,具體表現(xiàn)為黃色或紅色飽和度過高。如圖像色相均值落于0.06~0.16之間,則對(duì)黃色進(jìn)行校正,將H通道的所有像素點(diǎn)值加0.02。
2)亮度調(diào)整。亮度偏亮由攝影或掃描的光條件和紙張本身光吸收不同導(dǎo)致。數(shù)據(jù)庫中所有圖像亮度均值為0.705,以此為基準(zhǔn),將過亮、過暗圖像向此靠攏。亮度均值大于0.85的圖片V通道所有像素點(diǎn)值減0.02,小于0.5的圖片V通道所有像素點(diǎn)值加0.02。
3)尺寸縮放。將所有圖像縮放成227×227×3的尺寸。許多圖像尺寸過大,影響特征提取效率,因此做縮小處理;本文所提特征多為統(tǒng)計(jì)量,因此不太受尺寸影響,故縮放可行。
預(yù)處理算法流程如圖3所示。
從諸多已有研究中,匯合及篩選有效特征,獲得對(duì)國畫美感分類可能有效的初步特征集。
1)暗通道直方圖
暗通道(dark channel)是一種經(jīng)典圖像去霧算法提到的概念[31]。統(tǒng)計(jì)發(fā)現(xiàn),圖像中云霧較多部分暗通道呈灰色,并可以此為基準(zhǔn)進(jìn)行圖像去霧。暗通道是亮度特征的另一種表達(dá),與傳統(tǒng)亮度特征綜合使用可以有效提高分類精度。
提取每幅畫的暗通道圖樣,求10 bin(柄)的直方圖,得到10維的特征D1~D10。
2)邊界復(fù)雜度及空間分布
邊緣是圖像不同屬性區(qū)域的交接處,是區(qū)域?qū)傩园l(fā)生突變的地方,包含著豐富的信息。邊緣圖像是對(duì)原始圖像的邊緣像素進(jìn)行判定后,得到的二值圖像,是一個(gè)二維布爾矩陣。定義邊緣像素點(diǎn)占所有像素點(diǎn)的比例為邊界復(fù)雜度E。
將RGB原圖畫轉(zhuǎn)化為灰度圖像,使用Canny算子[32]檢測圖像邊緣。按圖4區(qū)域劃分提取邊界復(fù)雜度E1~E5(分區(qū)方案出自文獻(xiàn)[33])。同時(shí)按區(qū)域求比值,計(jì)算邊界的空間分布為
如此構(gòu)造邊界復(fù)雜度的對(duì)稱性特征。加上圖像全部區(qū)域的邊界復(fù)雜度E10,構(gòu)成10維邊界特征向量。
圖4 邊界區(qū)域劃分Fig.4 Partition of edges
3)HSV顏色直方圖
顏色直方圖是廣泛使用的顏色特征[8]。該方法將RGB圖像轉(zhuǎn)換到HSV空間,將H通道和V通道的值分別均勻量化成16個(gè)和8個(gè),進(jìn)行相應(yīng)的直方圖統(tǒng)計(jì),獲得色相和亮度的直方圖統(tǒng)計(jì)特征H1~H16與V1~V8,共24維。
4)顏色簡明度
顏色簡明度特征由文獻(xiàn)[7]提出。將H通道16維直方圖最大值的0.01倍作為閾值,大于此閾值的bin的個(gè)數(shù)作為顏色簡明度特征Hs。
5)RGB顏色直方圖與亮度直方圖
將圖像RGB 3個(gè)通道的值分別均勻量化成10個(gè),計(jì)算直方圖R1~R10、G1~G10和B1~B10,共30維;將灰度圖像的值均勻量化成16個(gè),計(jì)算直方圖Gr1~Gr16,共16維。
6)直線段個(gè)數(shù)
對(duì)邊緣圖像使用霍夫變換(Houph transform)進(jìn)行直線段檢測[10],計(jì)算直線段的個(gè)數(shù)作為特征量L。
7)鄰域差異描述子
鄰域差異描述子(neighborhood difference descriptor)計(jì)算邊界點(diǎn)周邊的像素與邊界點(diǎn)本身的相似性,以此來描述國畫筆法的鋒利程度和邊界點(diǎn)周圍的漸變,類似于圖像處理中的銳度。文獻(xiàn)[14]用它描述工筆畫和寫意畫在繪畫技法上的差別,共25維,記為N1~N25。
8)顯著性圖樣
顯著性圖樣(saliency map)是由Koch和Ullman提出的視覺注意力模型[34]。顯著性圖樣表示圖像的視覺注意情況。求一幅畫的顯著性圖樣,然后求均值,記為S。該特征表征圖中的顯著性分布與強(qiáng)度,S的大小反應(yīng)顯著性強(qiáng)弱。
9)模糊度
圖像模糊度(blur)是Ke等提出的度量圖像模糊程度的方法[7],它基于高斯模糊假設(shè)對(duì)圖像的模糊程度進(jìn)行建模,從而計(jì)算出圖像模糊的程度。圖像模糊度值記為B。
10)對(duì)比度
圖像對(duì)比度特征的計(jì)算方法見文獻(xiàn)[7]。分別計(jì)算RGB 3個(gè)通道的256 bin直方圖Hr、Hg和Hb,將它們相加得到
計(jì)算Ha包含中間98%能量的橫軸寬度,如圖5所示[6]。圖中橫軸為對(duì)比度的分布區(qū)間,縱軸為其概率分布p(x)。此寬度值記為對(duì)比度C。
圖5 對(duì)比度區(qū)間[6]Fig.5 Interval of contrast[6]
3.2節(jié)中提到特征共120維,對(duì)于美感分類,其中或有冗余。為提高算法運(yùn)行效率,及更進(jìn)一步抽象出國畫藝術(shù)美感所依賴的高級(jí)物理特征,需要進(jìn)行特征篩選。
3.3.1 特征篩選
遞歸式特征消除(recursive feature elimination)是一種代表性的特征選擇方法,它對(duì)分類器進(jìn)行初始特征集的訓(xùn)練[35],并通過相關(guān)性等屬性來計(jì)算特征的重要性。它將依次從每次循環(huán)中剔除最不重要的一個(gè)或幾個(gè)特征,然后將這個(gè)過程在特征集上遞歸重復(fù),直到獲得能保證較高識(shí)別率的最佳特征數(shù)。
采用該方法,使用SVM 作為基礎(chǔ)分類器,從3.2節(jié)提取的120個(gè)特征中篩選得到33個(gè)適用于國畫美感評(píng)價(jià)的特征。篩選過程見圖6,其橫軸為選用的特征數(shù),縱軸為分類準(zhǔn)確率,可見特征數(shù)為33時(shí)是分類準(zhǔn)確率的峰值位置。將篩選出的33個(gè)特征與美術(shù)元素對(duì)應(yīng),列于表2中。
圖6 特征篩選過程Fig.6 Process of feature filtering
表2 有效特征及原理Table 2 Effective features and theories
3.3.2 特征與美感關(guān)聯(lián)分析
根據(jù)表2,所篩選出的特征相關(guān)的美術(shù)元素主要為線條、筆觸、顏色、亮度和視覺注意等。以下對(duì)表2中的特征要素與美感的關(guān)系進(jìn)行簡要的定性分析:
1)顏色方面,RGB直方圖有效特征集中在值較高的位置,對(duì)應(yīng)較鮮艷的顏色(R7、R10、G6、B10);色相 直 方 圖 顯 示,橙 色(H4)、黃-綠 之 間(H9)、藍(lán)-紫之間(H14)顏色的分類效果顯著;顏色簡明度(Hs)和對(duì)比度(C)表明顏色豐富的程度影響國畫美感感知。
2)亮度是重要的美術(shù)元素。盡管亮度特征可以直接提取,但特征篩選的結(jié)果表明間接特征(灰度、暗通道)與亮度結(jié)合可以有效提高分類精度。
3)線條(L)與筆觸(N)的相關(guān)特征對(duì)視覺感知有直接影響。直線條使得繪畫棱角鋒利,工筆勾勒與水墨氤氳也導(dǎo)致國畫觀感有巨大不同。
4)空間分布(E9)與視覺注意(S)與構(gòu)圖直接相關(guān),因此構(gòu)圖也會(huì)影響國畫的美感感知。
表2中的分析基于5類特征篩選進(jìn)行。所得結(jié)果較為綜合、簡略,如能對(duì)每類美感有關(guān)特征進(jìn)行逐一分析,則能獲得更精確詳細(xì)的結(jié)果。為了獲得每類美感各自的分類重要特征,采取遞歸式特征消除方法,對(duì)每個(gè)美感完成“是否屬于該美感”的二分類任務(wù),從而篩選出對(duì)每類美感適用的特征,見表3。
此處的篩選結(jié)果與表2有較大差異。對(duì)比各美感剩余特征發(fā)現(xiàn):①對(duì)于區(qū)分是否為生機(jī)、雅致二類美感,所需的特征相對(duì)多且復(fù)雜,涉及顏色、亮度、筆觸和線條等多個(gè)圖像原理;②對(duì)于區(qū)分畫作是否處于清幽美,紅色直方圖特征影響很大;③對(duì)于區(qū)分蕭瑟美,畫作的筆觸因素微乎其微;④對(duì)于區(qū)分氣勢美,線條、筆觸因素相對(duì)更重要。
表3 各美感有效特征及原理Table 3 Effective features and theor ies for each item of aesthetics
基于第2節(jié)國畫美感數(shù)據(jù)庫,使用Extra-Trees、SVM、線性判別分析、隨機(jī)森林、KNN、樸素貝葉斯、邏輯回歸和多元感知機(jī)(MLP)8種具有代表性的分類模型,就本文提出的國畫美感特征集進(jìn)行分類和評(píng)析。
采用 k折交叉檢驗(yàn)(k-fold cross validation)[36]作為分類器性能的評(píng)價(jià)方式。交叉檢驗(yàn)將數(shù)據(jù)平分為k等份,依次將每等份作為測試集,剩余部分作為訓(xùn)練集進(jìn)行參數(shù)訓(xùn)練,最后對(duì)每一等份評(píng)測結(jié)果求平均來評(píng)估分類模型的效果。
將查全率(recall)和查準(zhǔn)率(precision)[36]作為分類的正確率指標(biāo)。假設(shè)一次分類任務(wù)中的真正例數(shù)為TP,假正例數(shù)為FP,真反例數(shù)為TN,對(duì)查全率R和查準(zhǔn)率P有
使用不同分類器就本文提出的國畫美感特征進(jìn)行分類,采用10折交叉驗(yàn)證,各算法對(duì)于5類美感的查全率和查準(zhǔn)率結(jié)果見表4。
表4分類結(jié)果中,各類主流分類器在美感分類任務(wù)中的表現(xiàn)相近,其中Extra-Trees、SVM、線性判別分析、邏輯回歸和多元感知機(jī)相對(duì)來說效果較好。
平均來看,大多數(shù)算法的查準(zhǔn)率都略高于查全率。樣本數(shù)量較多的氣勢、雅致和生機(jī)3類美感總能保持相對(duì)較高的預(yù)測精度;一旦出現(xiàn)在數(shù)量較少的蕭瑟和清幽2類美感,查準(zhǔn)率幾乎都顯著高于查全率,且這2類美感的預(yù)測精度都大幅降低。其中,隨機(jī)森林、KNN、樸素貝葉斯和多元感知機(jī)在數(shù)量最少的蕭瑟美的識(shí)別上,出現(xiàn)了極低的準(zhǔn)確率,可見類別數(shù)量不均對(duì)于分類效果有較大影響。
表4 不同分類器下的美感自動(dòng)分類結(jié)果Table 4 Automatic classification results of aesthetics in different classifiers
以下以SVM分類器為例,對(duì)各類美感的分類偏誤分別進(jìn)行分析。各美感的誤識(shí)案例見表5,表中每個(gè)橫欄為誤識(shí)畫作原本所屬美感,縱欄為畫作被誤識(shí)的美感。觀察發(fā)現(xiàn):①在主觀評(píng)價(jià)中結(jié)果中,被試間判斷較分散的畫作更容易被誤識(shí);②被誤識(shí)為氣勢的畫作,藝術(shù)更有張力;③被誤識(shí)為清幽美的畫作,畫面稍顯空曠;④被誤識(shí)為蕭瑟美的畫作傾向于呈現(xiàn)更有顆粒感的紋理;⑤被誤識(shí)為雅致美的畫作水墨技法占多數(shù)。
表5 美感分類偏誤分析Table 5 Error analysis of aesthetics classification
依照Extra-Trees分類器[37]給出特征重要系數(shù)(feature importance)。將它們由高至低排列,見表6。結(jié)果顯示,顏色簡明度、邊界復(fù)雜度和直線段個(gè)數(shù)是對(duì)美感分類影響最顯著的3個(gè)因素。相對(duì)來說,顏色、線條和亮度的有關(guān)特征排名更靠前。
按表2有效特征分類,將表6中同類美術(shù)元素特征的重要性系數(shù)相加,可得到各類美術(shù)元素對(duì)美感分類的影響,見圖7。結(jié)果顯示,對(duì)國畫美感分類影響最大的美術(shù)元素是顏色;其次,筆觸、亮度和線條的影響幾乎相同;構(gòu)圖對(duì)國畫美感分類幾乎沒有影響。
表6 國畫美感特征重要性系數(shù)Table 6 Importance coefficient of aesthetic features in Chinese traditional painting
圖7 國畫美感分類的美術(shù)元素重要性Fig.7 Importance of artistic element in aesthetic classification of Chinese traditional painting
為對(duì)傳統(tǒng)國畫的審美進(jìn)行量化分析和自動(dòng)分類,本文進(jìn)行如下工作:
1)建立了一個(gè)對(duì)國畫的藝術(shù)美感進(jìn)行類別與強(qiáng)度標(biāo)注的圖像數(shù)據(jù)庫。
2)基于該數(shù)據(jù)庫,進(jìn)一步提出一系列適用于國畫美感自動(dòng)分類的圖像特征,對(duì)特征集與美感之間關(guān)聯(lián)做了定性分析。
3)進(jìn)行特征篩選后的國畫美感自動(dòng)分類,結(jié)果顯示,對(duì)國畫美感進(jìn)行量化分析與自動(dòng)分類具有一定可行性。
4)進(jìn)行了國畫的分類誤識(shí)分析與重要特征分析,通過對(duì)特征進(jìn)行美學(xué)標(biāo)注來建立客觀特征與主觀美感之間的量化聯(lián)系。
當(dāng)然對(duì)于國畫美感的發(fā)掘遠(yuǎn)不止于此,由于美感本身的模糊性和多義性,基于國畫圖像的多標(biāo)簽分類也有較高的實(shí)用價(jià)值,這也是下一步的研究方向。此外,美感數(shù)據(jù)庫還需要進(jìn)一步地?cái)U(kuò)充,以解決類別不均衡問題。