葉鳳華

摘要：針對(duì)以往對(duì)圖像內(nèi)容分析的工作主要集中在物體檢測與識(shí)別的問題。本文提出在東方傳統(tǒng)美學(xué)框架下進(jìn)行將多視圖局部約束用于圖像情感分類與回歸的計(jì)算方法，主要有預(yù)處理的操作、特征提取、對(duì)提取的特征進(jìn)行選擇以及選擇分類器四個(gè)主要步驟。通過介紹圖像情感的定義與描述，然后給出了圖像情感計(jì)算的問題描述，最后使用不同視覺特征以及不同學(xué)習(xí)方法情感分類的平均性能。

關(guān)鍵詞：儒學(xué)；圖像情感計(jì)算；局部約束；東方美學(xué)

1 引言

圖像的人工智能情感計(jì)算是通過體系性地介紹情感的認(rèn)知基礎(chǔ)以及數(shù)學(xué)模型、從fmri數(shù)據(jù)中解讀出情緒狀態(tài)的一種方法，神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)、圖像特征提取算法、mpeg中圖像的描述標(biāo)準(zhǔn)、本體構(gòu)建和推理方法，并且在此基礎(chǔ)上結(jié)合當(dāng)下的研究動(dòng)態(tài)，著重對(duì)基于強(qiáng)度的情感映射算法、圖像特征和多層情感模型、圖像特征本體的構(gòu)建和推理的技術(shù)進(jìn)行了相關(guān)討論，力圖向廣大讀者展示該領(lǐng)域的最新研究動(dòng)態(tài)，希望能為從事相關(guān)研究的讀者提供更有價(jià)值的參考，能對(duì)人機(jī)交互技術(shù)、圖像理解的發(fā)展起到一定的促進(jìn)作用。

現(xiàn)階段大部分的東方美學(xué)設(shè)計(jì)還停留在形象符號(hào)層面，并不足以體現(xiàn)東方美學(xué)的真正意涵。需要補(bǔ)的課是從東方思維和東方美學(xué)中重新認(rèn)識(shí)“創(chuàng)意設(shè)計(jì)”的概念。在東方美學(xué)框架下多視圖局部約束的圖像情感計(jì)算是基于東方美學(xué)框架下6個(gè)藝術(shù)原理的：（1）平衡（求仁），（2）強(qiáng)調(diào)（重仁），（3）和諧（天人合一），（4）多樣（寬容），（5）漸變（虛實(shí)合一），（6）運(yùn)動(dòng)（情景合一）。通過提出東方美學(xué)框架來進(jìn)行東方美學(xué)框架下多視圖局部約束用于圖像情感分類與回歸的計(jì)算。

2、東方美學(xué)框架及情感

2.1 東方美學(xué)在視覺上的表達(dá)呈現(xiàn)

天人合一是古代東方美學(xué)的一種精神追求，將其放到新時(shí)代語境下，東方美學(xué)的現(xiàn)代意義也在不斷接續(xù)衍變。儒道禪的一系列美學(xué)概念對(duì)東方美學(xué)影響深遠(yuǎn)，東方美學(xué)創(chuàng)作的最主要的目的不是描述表面的現(xiàn)象而是表達(dá)意象的概念和現(xiàn)在的精神。創(chuàng)作的途徑不在于模仿外在形式或是用眼睛直接關(guān)注外界，而是透過眼睛感受外界氛圍，內(nèi)心亦不受外界影響。之所以國內(nèi)有時(shí)會(huì)對(duì)現(xiàn)代創(chuàng)意藝術(shù)設(shè)計(jì)“水土不服”，根本的原因可能是在于東方思想推崇、主導(dǎo)的集體主義精神與創(chuàng)意設(shè)計(jì)本身所提倡的個(gè)性主義相悖，所以需要從東方美學(xué)思維特別是在儒家美學(xué)概念中重新認(rèn)識(shí)找到屬于東方的創(chuàng)意觀念。

2.2 圖像情感計(jì)算流程

圖像情感計(jì)算首先須有一個(gè)有l(wèi)abel的圖片數(shù)據(jù)集，有兩中方法獲取，一是利用公開的數(shù)據(jù)集，圖像情感方面可以參考IAPS；二是自己建立，通過人工的標(biāo)注，最后統(tǒng)計(jì)結(jié)果作為ground truth。以下為圖像情感計(jì)算流程的預(yù)處理的操作、特征提取、對(duì)提取的特征進(jìn)行選擇以及選擇分類器四個(gè)主要步驟：

Step1.預(yù)處理操作。把圖片的尺寸變成一致并且進(jìn)行裁剪，最好保持圖片的長寬比和原來的一致，不至于讓圖片失真；

Step2.特征提取。根據(jù)相應(yīng)的研究和論文提取出最有用的特征，組合成最后的特征；這一步?jīng)Q定了后面分類器分類的質(zhì)量；

Step3.對(duì)所提取的數(shù)據(jù)特性來選擇。因?yàn)樘崛〉奶卣鳟?dāng)中可能會(huì)有冗余的特征，并且特征過多容易造成維數(shù)災(zāi)難，比較常用的方法是作主成分分析（PCA），或者是直接利用現(xiàn)有特征，根據(jù)啟發(fā)式、完全搜索式等等方法抽取特征子集；

Step4.選擇分類器。對(duì)不同分類器進(jìn)行測試，比如SVM算法、RF算法、GBDT等等各種算法進(jìn)行分類，測試效果，得到最終分類模型；算法在得到模型之后，就可以進(jìn)行預(yù)測了。

3、東方美學(xué)框架下多視圖局部約束的圖像情感計(jì)算

東方美學(xué)框架下多視圖局部約束的圖像情感計(jì)算是基于東方美學(xué)框架下6個(gè)美學(xué)原理平衡、強(qiáng)調(diào)、和諧、多樣、漸變、運(yùn)動(dòng)。用于圖像情感分類與回歸的流程如圖1。

4、實(shí)驗(yàn)結(jié)果與分析

為了評(píng)估所提出的方法RMTHG在個(gè)性化圖像情感預(yù)測中的有效性，并且在IESN數(shù)據(jù)集上進(jìn)行情感分類實(shí)驗(yàn)。

4.1實(shí)驗(yàn)設(shè)置

由于用戶上傳圖像或評(píng)論圖像是有時(shí)間順序的，感知的情感也會(huì)在時(shí)間上受到影響，本文根據(jù)圖像的上傳時(shí)間和評(píng)論時(shí)間將數(shù)據(jù)集分成一個(gè)訓(xùn)練集和一個(gè)測試集。每個(gè)用戶參與的前50%的圖像用于訓(xùn)練，剩下的50%用于測試。由于數(shù)據(jù)集中有8000個(gè)用戶，數(shù)據(jù)量比較大，為了提高計(jì)算速度節(jié)省計(jì)算內(nèi)存，本文隨機(jī)將他們分成80組。每次本文都在一組中進(jìn)行實(shí)驗(yàn)，最后本文計(jì)算性能的平均值和標(biāo)準(zhǔn)差。

對(duì)于情感分類，本文使用三種分類器作為baseline方法：（1）樸素貝葉斯（NB）算法，（2）使用RBF核的支持向量機(jī)（SVM）算法，這兩種方法在傳統(tǒng)的圖像情感分類和等工作中用到，（3）圖模型（GM）算法，用于個(gè)性化情感預(yù)測。GM算法中主要使用社交因素和視覺特征。

對(duì)于情感回歸，本文測試了支持向量回歸（SVR）算法以及多元線性回歸（MLR）算法等回歸方法的性能。這些方法很難對(duì)社交上下文等特征進(jìn)行建模，因此本文僅使用了視覺特征。對(duì)于SVR算法，本文測試了不同的核方法。如何在回歸的框架中有效地結(jié)合不同的因素是本文未來的工作。

4.2個(gè)性化情感分類

首先，比較不同的視覺特征對(duì)于個(gè)性化情感分類的性能。SVM算法和NB算法當(dāng)作baseline方法。為了便于比較，我本文使用了GM算法和RMTHG算法的一種簡單版本，即只考慮了視覺特征，這種簡單版本分別簡記為GM（V）算法和RMTHG（V）算法。

使用不同視覺特征以及不同學(xué)習(xí)方法的不同情感類別precision、 recall和F1的情感分類平均性能。從圖2所示的實(shí)驗(yàn)結(jié)果中，可以發(fā)現(xiàn)：（1）所提出的超圖學(xué)習(xí)的方法幾乎在所有的特征上都明顯優(yōu)于baseline方法；（2）相對(duì)于消極情感，這4種方法幾乎都對(duì)積極情感建模的更好；（3）整體的precision，recall和F1仍然很低，說明僅僅使用視覺特征對(duì)個(gè)性化的圖像情感進(jìn)行分類是不夠的。

參考文獻(xiàn)：

[1]RODA A. Clustering affective qualities of classical music： beyond the valence-arousal plane[J]. IEEE Transactions on Affective Computing，2014，5（4）：364-376.