趙思成　姚鴻勛

摘 要：相對(duì)于底層視覺特征層，人們只能夠感知和理解圖像、視頻的高層語義層，包括認(rèn)知層和情感層。以往對(duì)圖像內(nèi)容分析的工作主要集中在理解圖像的認(rèn)知層，即描述圖像的真實(shí)內(nèi)容，如物體檢測與識(shí)別。然而，公眾對(duì)數(shù)字?jǐn)z影技術(shù)的廣泛使用及對(duì)圖像情感表達(dá)的強(qiáng)烈需求，使得對(duì)圖像最高語義層—情感層的分析變得越來越迫切。對(duì)圖像情感層的分析，簡稱圖像情感計(jì)算，主要目的是理解觀察者看完圖像后所引起的情感反應(yīng)。本文首先介紹了情感的定義與描述，然后給出了圖像情感計(jì)算的問題描述，最后總結(jié)了圖像情感計(jì)算的研究現(xiàn)狀。

關(guān)鍵詞：圖像情感；情感計(jì)算；情感表示

中圖分類號(hào)：TP391.4

1 引言

隨著社交網(wǎng)絡(luò)的快速發(fā)展和廣泛使用，例如Twitter（https：//twitter.com），F(xiàn)lickr（https：//www.flickr.com），YouTube（https：//www.youtube.com）和新浪微博（http：//www.weibo.com），人們傾向于將自己的所見所聞、興趣愛好等以文本、圖像和視頻等多媒體的形式上傳至網(wǎng)絡(luò)來呈現(xiàn)和分享其觀點(diǎn)和情感。因此，即會(huì)導(dǎo)致文本、圖像和視頻等多媒體內(nèi)容的規(guī)模正以顯示指數(shù)級(jí)態(tài)勢發(fā)生著爆炸式增長，而針對(duì)這些多媒體內(nèi)容的處理及理解需求則日趨顯著與突出。相對(duì)于底層視覺特征層，人們只能夠感知和理解圖像、視頻的高層語義層，包括認(rèn)知層和情感層。以往對(duì)視覺內(nèi)容分析的工作主要集中在理解圖像、視頻的感知層，即描述圖像、視頻的真實(shí)內(nèi)容，如物體檢測與識(shí)別。然而，公眾對(duì)數(shù)字?jǐn)z影技術(shù)的關(guān)注熱衷及對(duì)視覺內(nèi)容情感表達(dá)的強(qiáng)烈需求，使得對(duì)圖像、視頻最高語義層—情感層的分析已然具有高度重要的研究和應(yīng)用價(jià)值。

對(duì)多媒體內(nèi)容情感層的分析屬于情感計(jì)算的一部分。情感計(jì)算的概念是由麻省理工學(xué)院媒體實(shí)驗(yàn)室的Picard教授于1995年首次提出的，而于1997年專著《Affective Computing》則正式出版問世[1]。書中給出了情感計(jì)算的定義，即情感計(jì)算是指與情感相關(guān)、來源于情感或能夠?qū)η楦惺┘佑绊懙挠?jì)算，包含3個(gè)部分：情感識(shí)別、情感發(fā)生和情感表達(dá)[1]。

基于此，根據(jù)需要處理的多媒體數(shù)據(jù)類型，對(duì)多媒體情感層的分析可以分為4種：基于文本的情感分析[2]、基于音頻的情感分析[3-5、基于圖像的情感分析[6-7]以及基于視頻的情感分析[8-11]。其中，基于文本和音頻的情感分析比較成熟，圖像情感分析中人臉表情識(shí)別的研究也相對(duì)成熟，而關(guān)于普通圖像和視頻情感分析的研究相對(duì)來說，卻仍顯不足。對(duì)圖像情感識(shí)別的研究最初源始于人臉表情識(shí)別，因?yàn)槿四槞z測和人臉識(shí)別的研究相對(duì)成熟，心理學(xué)對(duì)人臉表情的分類也已建立有清晰脈絡(luò)，此外更有大量的研究機(jī)構(gòu)也成功建立了表情識(shí)別的數(shù)據(jù)庫[12-14]。

受到情感鴻溝和人類情感感知與評(píng)估的主觀性等基礎(chǔ)現(xiàn)實(shí)的制約，普通圖像的情感分析進(jìn)展緩慢。不僅如此，圖像情感計(jì)算的發(fā)展還將需要心理學(xué)、藝術(shù)學(xué)、計(jì)算機(jī)視覺、模式識(shí)別、圖像處理、人工智能等領(lǐng)域的共同支持，眾多領(lǐng)域?qū)W科的交叉使得圖像情感計(jì)算成為一個(gè)富有挑戰(zhàn)性的研究課題。本文對(duì)圖像情感計(jì)算的發(fā)展研究現(xiàn)狀進(jìn)行了全面論述和分析。

1 情感的定義與描述

人類具有很強(qiáng)的情感感知和表達(dá)的能力，但是由于情感的復(fù)雜性和抽象性，人們很難將情感從概念上實(shí)現(xiàn)具體化和清晰化。心理學(xué)、生理學(xué)領(lǐng)域的科學(xué)家們?cè)缭?8世紀(jì)就開啟了專門情感研究，并且推出了諸多情感理論來解釋情感是如何源起于產(chǎn)生的，如1872年的Darwin三原則理論[15]、1884年的James-Lange理論[16]、1927年的Cannon-Bard 理論[17]和1991年的Lazarus理論[18]。但是迄今為止，科學(xué)家們也仍未提出一個(gè)準(zhǔn)確、全面且可得到一致認(rèn)可的情感定義。

心理學(xué)中與情感相關(guān)的詞匯有emotion、affect、sentiment、mood、affective、emotional等，類似的中文詞匯有情感、感情、情緒、情感的、感情的等。心理學(xué)上認(rèn)為情感、情緒與感情是3個(gè)嚴(yán)格不同的概念[1，19-20]，但計(jì)算機(jī)學(xué)科對(duì)此區(qū)分并不嚴(yán)格區(qū)分，一般只是籠統(tǒng)將其稱為情感。wikipedia上給出了一種情感的模糊定義，“情感是對(duì)一系列主觀認(rèn)知經(jīng)驗(yàn)的通稱，是多種感覺、思想和行為綜合產(chǎn)生的心理和生理狀態(tài)”。心理學(xué)領(lǐng)域主要有2種方式來描述情感：離散情感狀態(tài)（CES）和維度情感空間（DES），或稱為范疇觀和維度觀[1，19-20] 。

1.1 離散情感狀態(tài)

持范疇觀的心理學(xué)家將情感分成相互獨(dú)立的范疇，而且在外部表現(xiàn)、生理喚醒模式上都存在一定的差異。近年來，持范疇觀的研究人員根據(jù)生物進(jìn)化理論把情感分為基本情感和復(fù)合情感。不同的心理學(xué)家對(duì)基本情感的分類差異很大，從2類到幾十類也各有不等，具體的分類方法可以參照文獻(xiàn)[1，19-20]。研究中更具代表性的成果主要有：Ekman把情感分為6類，即高興、憤怒、厭惡、恐懼、悲傷、驚奇[21]；Izzard 用因素分析方法，提出11種基本情緒，即興趣、驚奇、痛苦、厭惡、愉快、憤怒、恐懼、悲傷、害羞、輕蔑和自罪感[22]；Mikels 通過嚴(yán)格的心理學(xué)實(shí)驗(yàn)，把情感分為8 類，即表示積極情感的娛樂、敬畏、滿意、刺激，表示消極情感的生氣、厭惡、害怕和悲傷[23]；Plutchik提出了一套情感的演化理論，認(rèn)為情感有8種基本類型，但是每種情感又有3種不同的愉悅度（valence），即把情感分為24類[24]。還有一種模型是將情感分成積極和消極2類，或者積極、消極和中性三類。目前對(duì)表情識(shí)別的分類多是基于Ekman 的分類，而對(duì)圖像情感分類則以Mikels 的分類為主。

復(fù)合情感是由基本情感的不同組合派生出來的，可隨著個(gè)體認(rèn)知的成熟而煙花發(fā)展，并隨著文化的不同而發(fā)生變化。Izzard認(rèn)為復(fù)合情感有3類：基本情感的混合、基本情感和內(nèi)驅(qū)力的集合、基本情感與認(rèn)知的結(jié)合[22]。

用CES來描述和測量情感的優(yōu)勢可分述為：

1）符合人們的直覺和常識(shí)，容易被人們理解和標(biāo)注，有利于情感計(jì)算的成果在現(xiàn)實(shí)生活中推廣和應(yīng)用；

2）有利于智能系統(tǒng)在識(shí)別情感后，進(jìn)一步推理與之相聯(lián)系的特定心理功能和可能的原因，而后做出適當(dāng)?shù)姆从场?/p>

但也需明確認(rèn)識(shí)到CES的缺點(diǎn)，具體表述為：

1）哪些情感狀態(tài)或基本情感是必要的，目前研究者對(duì)此沒有統(tǒng)一的認(rèn)識(shí)；

2）CES是對(duì)情感的定性描述，無法用量化的數(shù)字表達(dá)主觀的情感體驗(yàn)，且其對(duì)情感的描述能力也比較有限。

1.2 維度情感空間

持維度觀的研究人員認(rèn)為情感具有基本維度和兩極性，所有的維度構(gòu)成一個(gè)笛卡爾空間，DES就將情感描述為該空間中的點(diǎn)，理論上該空間的情感描述能力是無限的，即能夠涵蓋所有的情感狀態(tài)。各種不同的維度情感空間可以參照[1][19][20]。常見的維度情感空間大多是3D的，如natural-temporal-energetic[25]、valence-arousal-control[26]、activity-weight-heat[27]等。比較典型的是愉悅度-激活度-優(yōu)勢度空間（valence-arousal-control space，VAC，有些時(shí)候也稱為pleasure-arousal-dominance space，PAD）[26]。其中，愉悅度表示個(gè)體情感狀態(tài)的正負(fù)特性，激活度表示個(gè)體的神經(jīng)生理激活水平，優(yōu)勢度表示個(gè)體對(duì)情景和他人的控制狀態(tài)。具體的VAC三維情感空間如圖1 （a）所示[28]，從圖中不難看出，優(yōu)勢度維度的取值范圍很小，而且只有當(dāng)愉悅度呈現(xiàn)高峰值時(shí)才會(huì)有用。因此可以說，優(yōu)勢度在描述情感過程中僅能發(fā)揮有限的的作用。大多數(shù)計(jì)算機(jī)學(xué)者用DES 描述情感時(shí)都不曾考慮優(yōu)勢度，以愉悅度-激活度空間為主。但也并非所有的愉悅度和激活度的組合都能構(gòu)成情感，能構(gòu)成人們常見的情感狀態(tài)的愉悅度和激活度的組合范圍如圖1 （b）所示[28]。

用DES來描述和測量情感具有鮮明優(yōu)勢，具體可論述為：

1）描述能力強(qiáng)，理論上能描述所有的情感類別；

2）易于對(duì)情感進(jìn)行量化，以精確的數(shù)值來描述情感，解決了CES 情感標(biāo)簽的模糊性問題，也一并消除了自發(fā)情感的描述問題。

但DES也存在一定的缺陷，分析可得如下結(jié)論：

1）不易于人們直觀的理解，給定DES的維度值，普通人無法識(shí)別出應(yīng)該歸屬為哪種情感；

2）測試人員對(duì)DES的打分有一定的難度，由此導(dǎo)致較大的偏差。

2 圖像情感計(jì)算的問題描述

所謂圖像情感計(jì)算，是指計(jì)算機(jī)從圖像中分析并提取情感特征，使用模式識(shí)別與機(jī)器學(xué)習(xí)的方法對(duì)其執(zhí)行計(jì)算，進(jìn)而理解人的情感。根據(jù)情感的描述方式，圖像情感計(jì)算可以分為三大任務(wù)：情感分類、情感回歸和情感圖像檢索。

一個(gè)圖像情感計(jì)算系統(tǒng)通常包括如下3部分：

1）圖像預(yù)處理。 由于輸入圖像在尺寸、光照、顏色空間等方面存在很大的差異，在進(jìn)行特征提取之前往往需要進(jìn)行預(yù)處理。比如，把圖像尺寸調(diào)整到統(tǒng)一大小，把顏色空間轉(zhuǎn)換到同一空間等。在圖像情感計(jì)算過程中，預(yù)處理雖然不是一個(gè)專門的研究熱點(diǎn)，但卻會(huì)對(duì)算法的性能產(chǎn)生很大的影響。

2）情感特征提取/選擇。 特征提取與選擇是圖像情感計(jì)算過程中的重要組成部分，直接決定了算法最終的性能。該步驟的主要任務(wù)是提取或者選擇一些特征，并且使得其在類內(nèi)具有很大的相似性而在類間具有很大的差異性。一般而言，用于圖像情感計(jì)算的特征可以分為底層特征、中層特征和高層特征。

3）模型設(shè)計(jì)。 模型設(shè)計(jì)是指根據(jù)圖像情感計(jì)算的任務(wù)來設(shè)計(jì)合適的模型，并以提取的特征作為輸入，通過學(xué)習(xí)的方法來獲得相應(yīng)的輸出。情感分類是一個(gè)多類分類問題，可以直接采用多類分類器，或者轉(zhuǎn)換成多個(gè)二值分類。情感回歸是一個(gè)回歸問題，研究針對(duì)的是維度情感模型。情感圖像檢索對(duì)應(yīng)的是如下檢索問題，即給定輸入圖像，查找與之表達(dá)相似情感的圖像。針對(duì)不同問題，可以采用的學(xué)習(xí)模型也將各有不同。

3 圖像情感計(jì)算的研究現(xiàn)狀與分析

本節(jié)對(duì)圖像情感計(jì)算的研究現(xiàn)狀進(jìn)行總結(jié)與分析。首先從不同的分類角度綜合歸納了當(dāng)前可高效用于圖像情感計(jì)算的技術(shù)特征，然后簡要介紹常用的機(jī)器學(xué)習(xí)方法，最后對(duì)已有方法存在的主要問題進(jìn)行分析并給出可能的解決方案。

3.1 用于圖像情感計(jì)算的特征

如何提取與情感緊密相關(guān)的特征是情感識(shí)別的關(guān)鍵問題。根據(jù)所提特征的通用性（generality），可將已有的特征分為2類：通用特征和專用特征。根據(jù)所提特征的層次（level），可將已有的特征分為3類：底層特征、中層特征和高層特征。

進(jìn)一步地，所謂通用特征是指計(jì)算機(jī)視覺里普遍適用的特征，設(shè)計(jì)這些特征的目的并不是為了用于情感識(shí)別，而是其他的視覺任務(wù)，如物體檢測。Yanulevskaya所使用的Wiccest特征和Gabor特征就是典型的通用特征[29]。而專用特征則是針對(duì)情感識(shí)別這一特定任務(wù)而設(shè)計(jì)的能夠表達(dá)不同情感的特征，比如常見的顏色、紋理等底層特征。

目前，絕大多數(shù)的情感特征提取工作都是基于藝術(shù)元素的，如顏色、紋理、形狀、線條等。針對(duì)每一種類的藝術(shù)元素，研究者們又設(shè)計(jì)了為數(shù)可觀的不同描述方法。關(guān)于藝術(shù)元素及常用特征的典型描述可見于如下：

1）顏色（color）有3個(gè)基本的屬性：色調(diào)、強(qiáng)度和飽和度。常用于描述顏色的特征除了這3個(gè)基本屬性的平均值，還有colorfulness、area statistics[30-31]等。

2）灰度值（value）描述顏色的亮度或暗度。常用的特征有l(wèi)ightness、darkness[30-31]等。

3）線條（line）是在某物體表面的連續(xù)的標(biāo)記。主要有2種：強(qiáng)調(diào)線和非強(qiáng)調(diào)線。強(qiáng)調(diào)線，又稱輪廓線，勾勒出了一個(gè)物體的輪廓或邊緣，而非強(qiáng)調(diào)線則用于描述那些輪廓和邊緣未可堪稱重要的作品。不同的線條給人不同的感覺，如水平線代表平靜，給人輕松的感覺，垂直線代表強(qiáng)度與穩(wěn)定，對(duì)角線代表緊張，曲線則表示運(yùn)動(dòng)。通常用于描述線條的特征有通過霍夫變換計(jì)算的靜止和動(dòng)態(tài)線條的數(shù)量和長度[30]。

4）紋理（texture）用于描述物體的表面質(zhì)量（surface quality），有的藝術(shù)家使用平滑的紋理，也有的人喜歡用粗糙的紋理。常用的有基于小波的特征、Tamura特征、灰度共生矩陣[30]以及LBP特征。

5）形狀（shape）是平的，具有2個(gè)維度：高度和寬度。Lu等人使用圓度（roundness）、角度（angularity）、簡單性（simplicity）和復(fù)雜性（complexity）來描述形狀[32]。

（6）形式（form）具有3個(gè)維度，即高度、寬度和深度，因此形式具有體積。

（7）空間（space）指物體之間、上面、下面或物體內(nèi)部的距離或面積。

除了目前常規(guī)通用的底層表達(dá)，也有部分工作開始提取中層或高層的特征。Machajdik和Hanbury[30]提取了包括Level of Detail、Low Depth of Field、Dynamics和Rule of Thirds在內(nèi)的構(gòu)圖（composition）作為中層特征，同時(shí)也發(fā)掘包括人臉、皮膚在內(nèi)的圖像內(nèi)容（content）作為高層特征。Solli和Lenz使用每個(gè)興趣點(diǎn)周圍的情感直方圖特征和情感包（bag-of-emotion）特征來對(duì)圖像進(jìn)行分類[27]。Irie等人提取基于情感的音頻-視覺詞組包（bag of affective audio-visual words） 的中層特征以及隱主題驅(qū)動(dòng)模型來對(duì)視頻進(jìn)行分類[33]。

3.2 常用的機(jī)器學(xué)習(xí)方法

圖像情感分類一般可建模為標(biāo)準(zhǔn)的模式分類問題，常用的分類器都可以用來解決此問題。根據(jù)建模過程，其中的有監(jiān)督學(xué)習(xí)即可以分為生成式學(xué)習(xí)和判別式學(xué)習(xí)。相應(yīng)地，判別式學(xué)習(xí)就是直接對(duì)給定特征條件下標(biāo)簽的條件概率進(jìn)行建模，或者直接學(xué)習(xí)一個(gè)從特征到標(biāo)簽的映射，如Logistic回歸和支持向量機(jī)（SVM）等。生成式學(xué)習(xí)則分別對(duì)類別先驗(yàn)和似然進(jìn)行建模，而后再利用Bayes法則來計(jì)算后驗(yàn)概率，如高斯判別分析和Naive Bayes。當(dāng)處理多類分類時(shí)不僅可以直接采用多類分類器，也可以轉(zhuǎn)換成多個(gè)二值分類問題，常規(guī)策略有“一對(duì)一”分類和“一對(duì)多”分類。多種分類器可用來實(shí)施圖像情感的分類，其中進(jìn)入使用流行的主要有Naive Bayes[30]、Logistic回歸[34]、 SVM[32，35-36]和稀疏表示等。

一般情況下，圖像情感回歸建模為標(biāo)準(zhǔn)的回歸預(yù)測問題，即使用回歸器對(duì)維度情感模型中各個(gè)維度的情感值進(jìn)行估計(jì)。常用的回歸模型有線性回歸、支持向量回歸（SVR）和流形核回歸（manifold kernel regression）等。當(dāng)前有關(guān)圖像情感回歸的研究仍屬少見，已知的只有使用SVR對(duì)VA模型所表示的情感嘗試，并實(shí)現(xiàn)了回歸[32，35]。

目前，已知的用于圖像情感檢索的方法主要有SVM[36]和多圖學(xué)習(xí)[37]等。

3.3 現(xiàn)有方法存在的主要問題及可能的解決方案

3.3.1 所提取的底層特征與圖像情感之間存在語義鴻溝

目前的圖像情感識(shí)別方法主要仍是基于學(xué)習(xí)的方法，因此學(xué)習(xí)時(shí)所使用的特征決定了最終學(xué)習(xí)的分類器或回歸預(yù)測器性能的優(yōu)劣。而時(shí)下絕大多數(shù)工作所提取的特征主要是基于藝術(shù)元素的底層特征，這就使得“情感鴻溝”極為顯著，學(xué)習(xí)所得的分類器的分類準(zhǔn)確率較為低下，回歸預(yù)測器的預(yù)測結(jié)果誤差較大?；诖?，如何進(jìn)一步縮小這一鴻溝，即改進(jìn)特征與情感類別或情感得分之間的映射關(guān)系，即已成為氣候工作的研究重點(diǎn)。

3.3.2 沒有從腦科學(xué)、心理學(xué)及藝術(shù)學(xué)等學(xué)科的研究成果中得到啟發(fā)

情感表達(dá)是一個(gè)多學(xué)科交叉的研究方向，現(xiàn)有的從計(jì)算機(jī)的角度進(jìn)行情感表達(dá)的工作大多都未曾引入腦科學(xué)、心理學(xué)及藝術(shù)學(xué)等產(chǎn)生的豐碩研究成果，這極大地限制了圖像情感表達(dá)領(lǐng)域的發(fā)展、推進(jìn)和完善。

在進(jìn)行藝術(shù)作品創(chuàng)作時(shí)，藝術(shù)家不僅僅需要使用藝術(shù)元素，而且還要研究藝術(shù)原理，即把藝術(shù)元素進(jìn)行組織與排列以產(chǎn)生特定語義與情感的各類規(guī)則。因此，使用藝術(shù)原理作為描述情感的中層特征，可能會(huì)對(duì)情感識(shí)別產(chǎn)生一定的幫助。

3.3.3 沒有考慮個(gè)性化的情感識(shí)別

目前絕大多數(shù)的情感識(shí)別工作對(duì)情感的處理都是基于期望情感的[38-39]，即圖像拍攝者或電影制作者創(chuàng)作作品時(shí)希望讀者產(chǎn)生怎樣的情感，或者基于大眾化情感，即大多數(shù)人所產(chǎn)生的類同式情感。這樣做雖然便于研究，但卻不符合實(shí)際情況，因?yàn)槿说那楦芯哂袑挿旱闹饔^性，例如喜歡看恐怖片的人可能覺得這部影片并不恐怖。也就是說，不同人對(duì)同一圖像的情感反應(yīng)是不同的，即情感評(píng)價(jià)是因人而異的，而且同一個(gè)人在不同時(shí)刻對(duì)同一圖像的情感反應(yīng)也有可能出現(xiàn)不同，即情感評(píng)價(jià)是因時(shí)而異的。因此，課題重點(diǎn)就是需要研究每個(gè)人的真實(shí)情感。

要想解決上述問題，就需要為每個(gè)人都建立一個(gè)數(shù)據(jù)庫。人工標(biāo)記顯然費(fèi)時(shí)、費(fèi)力，不過，把社交媒體中人們對(duì)圖像的評(píng)價(jià)作為對(duì)圖像情感的理解將不失為是一種近便且準(zhǔn)確的方法。同時(shí)，還可以進(jìn)一步考慮對(duì)社交媒體中情感的傳播和影響進(jìn)行建模，即人們某時(shí)刻對(duì)圖像情感的理解可能受當(dāng)時(shí)朋友情感的影響。

如果說只考慮期望情感將太過泛化，那么個(gè)性化的情感識(shí)別卻可能過于特殊，并且為之產(chǎn)生的計(jì)算復(fù)雜度還會(huì)很高。因此，介于期望情感和個(gè)性化情感之間的群體情感就可能會(huì)是一個(gè)合理的適用性解決方案。所謂群體情感，是指具有相同教育背景、生活環(huán)境和社會(huì)文化的人對(duì)同一幅圖像所產(chǎn)生的情感是相似的。

3.3.4 高層語義和情感的理解相互制約

人們產(chǎn)生情感，是由特定的知識(shí)背景與特定的語義所共同決定的。那么，考慮基于語義的圖像情感識(shí)別就應(yīng)該更具備克星的真實(shí)性。但是，對(duì)圖像語義的研究本身即是一個(gè)尚未解決的疑難課題，這將使得運(yùn)用語義進(jìn)行情感識(shí)別還存在很大的困難。如果圖像語義分析技術(shù)達(dá)到了一定的技術(shù)水平后，圖像情感識(shí)別也必將獲得根本性解決。

3.3.5 目前用于情感表達(dá)測試的數(shù)據(jù)庫規(guī)模很小

現(xiàn)有已公布的圖像情感數(shù)據(jù)庫規(guī)模很小，大型的僅在2 000左右，小型的僅有200，這也限制了圖像情感表達(dá)的迅速發(fā)展，首要就是無法運(yùn)用統(tǒng)計(jì)的思想和理論來發(fā)現(xiàn)其中的一些規(guī)則。而與此同時(shí)，社交網(wǎng)絡(luò)即給出了一種可能的應(yīng)對(duì)方案，如何利用社交網(wǎng)絡(luò)上的大規(guī)模數(shù)據(jù)提高圖像情感的識(shí)別率，挖掘圖像情感之間的相互關(guān)系則需要研究學(xué)界的更大關(guān)注與投入。

3.3.6 沒有適用于圖像情感識(shí)別的理想學(xué)習(xí)策略

語音情感識(shí)別之所以發(fā)展得比較迅速，即是因?yàn)榈玫搅伺c語音表達(dá)的機(jī)制相關(guān)的混合高斯模型和人工神經(jīng)網(wǎng)絡(luò)的有效技術(shù)支撐。但是目前適用于圖像情感識(shí)別的學(xué)習(xí)策略或分類方法卻仍顯匱乏，而這又需要腦科學(xué)和機(jī)器學(xué)習(xí)等交叉領(lǐng)域研究的進(jìn)化、提升與發(fā)展。

4 結(jié)束語

研究圖像情感計(jì)算，實(shí)現(xiàn)對(duì)圖像情感語義的分析對(duì)認(rèn)知心理學(xué)、行為科學(xué)、計(jì)算機(jī)視覺、多媒體技術(shù)和人工智能領(lǐng)域的理論和技術(shù)發(fā)展均有促進(jìn)作用。在過去的十幾年內(nèi)，已有較多的相關(guān)工作獲得發(fā)表、并進(jìn)入實(shí)踐。但是，圖像情感計(jì)算的研究仍然處在初級(jí)階段，仍有眾多問題未獲解決。本文在分析研究現(xiàn)狀的基礎(chǔ)上，總結(jié)出了現(xiàn)有方法存在的問題以及可能的解決方案，為后續(xù)研究提供了參考。

參 考 文 獻(xiàn)

[1] Picard R W. Affective computing[M]. London， England： MIT Press， 1997.

[2] PANG B， LEE L. Opinion mining and sentiment analysis[J]. Information Retrieval， 2008， 2 （1/2）： 1-135.

[3] YANG Y H， CHEN H H. Machine recognition of music emotion： A review[J]. ACM Transactions on Intelligent Systems and Technology， 2012， 3 （3）： 40.

[4] RODA A， CANAZZA S， De POLI G. Clustering affective qualities of classical music： beyond the valence-arousal plane[J]. IEEE Transactions on Affective Computing， 2014， 5 （4）： 364-376.

[5] ZHAO S， YAO H， WANG F， et al. Emotion based image musicalization[C] //Proceedings of IEEE International Conference on Multimedia and Expo Workshops. Chengdu， China： IEEE， 2014： 1-6.

[6] WANG W， HE Q. A survey on emotional semantic image retrieval[C] //Proceedings of IEEE International Conference on Image Processing. San Diego， California， USA： IEEE， 2008：117-120.

[7] JOSHI D， DATTA R， FEDOROVSKAYA E， et al. Aesthetics and emotions in images[J]. IEEE Signal Processing Magazine， 2011， 28 （5）： 94-115.

[8] WANG S， JI Q. Video affective content analysis： a survey of state of the art methods[J]. IEEE Transactions on Affective Computing， 2015， 6 （4）： 410-430.

[9] ZHAO S， YAO H， SUN X， et al. Flexible presentation of videos based on affective content analysis[C] //Proceedings of International Conference on Multimedia Modeling. Huangshan， China： Springer， 2013： 368-379.

[10] ZHAO S， YAO H， SUN X， et al. Video Indexing and Recommendation Based on Affective Analysis of Viewers[C] //Proceedings of ACM International Conference on Multimedia. Scottsdale， AZ， USA： ACM， 2011： 1473-1476.

[11] ZHAO S， YAO H， SUN X. Video classification and recommendation based on affective analysis of viewers[J]. Neurocomputing 119： 101-110， 2013.

[12] WANG S， LIU Z， LV S， et al. A natural visible and infrared facial expression database for expression recognition and emotion inference[J]. IEEE Transactions on Multimedia， 2010， 12 （7）： 682-691.

[13] LUCEY P， COHN J F， KANADE T， et al. The extended Cohn-Kanade dataset （CK+）： A complete dataset for action unit and emotion-specified expression[C] //Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Workshops. San Francisco， CA， USA： IEEE， 2010： 94-101.

[14] YIN L， WEI X， SUN Y， et al. A 3D facial expression database for facial behavior research[C] //Proceedings of IEEE International Conference on Automatic face and gesture recognition. Southampton， UK： IEEE， 2006： 211-216.

[15] DARWIN C， EKMAN P， PRODGER P. The expression of the emotions in man and animals[M]. New York， USA： Oxford University Press， 1872/1998.

[16] JAMES W. What is an emotion？[J] Mind， 1884（34）：188-205.

[17] CANNON W B. The James-Lange theory of emotions： A critical examination and analternative theory[J]. The American Journal of Psychology， 1927， 39 （1/4）： 106-124.

[18] LAZARUS R S. Progress on a cognitive-motivational-relational theory of emotion[J]. American psychologist， 1991， 46 （8）： 819.

[19] 王志良. 人工情感[M]. 北京： 機(jī)械工業(yè)出版社， 2009.

[20] 陳俊杰. 圖像情感語義分析技術(shù)[M]. 北京： 電子工業(yè)出版社， 2011.

[21] EKMAN P. An argument for basic emotions[J]. Cognition & emotion， 1992， 6 （3/4）： 169-200.

[22] IZARD C E. Basic emotions， relations among emotions， and emotion-cognition relations[J]. Psychology Review， 1992， 99： 561-565.

[23] MIKELS J A， FREDRICKSON B L， LARKIN G R， et al. Emotional category data on images from the International Affective Picture System[J]. Behavior research methods， 2005， 37 （4）： 626-630.

[24] PLUTCHIK R. Emotion： A psychoevolutionary synthesis[M]. New York， USA： Harpercollins College Division， 1980.

[25] BENINI S， CANINI L， LEONARDI R. A connotative space for supporting movie affective recommendation[J]. IEEE Transactions on Multimedia， 2011， 13 （6）： 1356-1370.

[26] RUSSELL J A， MEHRABIAN A. Evidence for a three-factor theory of emotions[J]. Journal of research in Personality， 1977， 11 （3）： 273-294.

[27] SOLLI M， LENZ R. Color based bags-of-emotions[C] //Proceedings of International Conference on Computer Analysis of Images and Patterns. M¨unster， Germany：Springer， 2009： 573-580.

[28] Dietz R， Lang A. Affective agents： Effects of agent affect on arousal， attention， liking and learning[C]//Proceedings of International Cognitive Technology Conference. San Francisco， CA， USA： Springer， 1999.

[29] YANULEVSKAYA V， Van GEMERT J， ROTH K， et al. Emotional valence categorization using holistic image feature[C] //Proceedings of IEEE International Conference on Image Processing. San Diego， California， USA： IEEE， 2008： 101-104.

[30] MACHAJDIK J， HANBURY A. Affective image classi?cation using features inspired by psychology and art theory[C] //Proceedings of ACM International Conference on Multimedia. Firenze， Italy： ACM， 2010： 83-92.

[31] WANG W N， YU Y L， JIANG S M. Image retrieval by emotional semantics： A study of emotional space and feature extraction[C] //Proceedings of IEEE International Conference on Systems， Man and Cybernetics. Taipei， Taiwan： IEEE， 2006： 3534-3539.

[32] LU X， SURYANARAYAN P， ADAMS J R B， et al. On Shape and the Computability of Emotions[C] //Proceedings of ACM International Conference on Multimedia. Nara， Japan： ACM， 2012：229-238.

[33] IRIE G， SATOU T， KOJIMA A， et al. Affective audio-visual words and latent topic driving model for realizing movie affective scene classification[J]. IEEE Transactions on Multimedia， 2010， 12 （6）： 523-535.

[34] BORTH D， JI R， CHEN T， et al. Large-scale visual sentiment ontology and detectors using adjective noun pairs[C] //Proceedings of ACM International Conference on Multimedia. Barcelona， Spain： ACM， 2013： 223-232.

[35] ZHAO S， GAO Y， JIANG X， et al. Exploring Principles-of-Art Features for Image Emotion Recognition[C]//Proceedings of ACM International Conference on Multimedia. Orlando， FL， USA： ACM， 2014： 47-56.

[36] WU Q， ZHOU C，WANG C. Content-based affective image classification and retrieval using support vector machines[C] //Proceedings of International Conference on Affective Computing and Intelligent Interaction， Beijing， China： Springer， 2005：239-247.

[37] ZHAO S， YAO H， YANG Y， Zhang Y. Affective Image Retrieval via Multi-Graph Learning[C]//Proceedings of ACM International Conference on Multimedia. Orlando， FL， USA： ACM， 2014： 1025-1028.

[38] HANJALIC A. Extracting moods from pictures and sounds： Towards truly personalized TV[J]. IEEE Signal Processing Magazine， 2006， 23 （2）： 90-100.

[39] HANJALIC A， XU L Q. Affective video content representation and modeling[J]. IEEE Transactions on Multimedia， 2005， 7 （1）： 143-154.

[40] ZHAO S， YAO H， JIANG X， et al. Predicting discrete probability distribution of image emotions[C] //Proceedings of IEEE International Conference on Image Processing. Quebec， QC， Canada： IEEE， 2015： 2459-2463.

[41] ZHAO S， YAO H， JIANG X. Predicting continuous probability distribution of image emotions in valence-arousal space[C] //Proceedings of ACM International Conference on Multimedia. Brisbane， Australia： ACM， 2015： 879-882.

[42] LI B， XIONG W， HU W， et al. Context-aware affective images classification based on bilayer sparse representation[C] //Proceedings of ACM International Conference on Multimedia. Nara， Japan： ACM， 2012： 721-724.