張華，蔣玉暕，，蔣偉，張晶晶

(1.中國傳媒大學(xué) 理工學(xué)部，北京100024；2.視聽技術(shù)與智能控制系統(tǒng)文化部重點實驗室，北京 100024； 3.現(xiàn)代演藝技術(shù)北京市重點實驗室，北京100024)

基于情感的視聽關(guān)聯(lián)問題

張華1，2，3，蔣玉暕，1，2，3，蔣偉1，2，3，張晶晶1，2，3

(1.中國傳媒大學(xué) 理工學(xué)部，北京100024；2.視聽技術(shù)與智能控制系統(tǒng)文化部重點實驗室，北京 100024； 3.現(xiàn)代演藝技術(shù)北京市重點實驗室，北京100024)

聽覺和視覺不是孤立進行的獨立過程，而是相互關(guān)聯(lián)的。如人們在觀看一段視頻的過程中，產(chǎn)生視覺刺激的圖像和產(chǎn)生聽覺刺激的音樂分別作用于人，對人的情感產(chǎn)生一定的影響。而這兩種刺激在作用于人的過程之中是否存在相互影響、進而影響人的情感的現(xiàn)象呢？本文針對這一問題，對相關(guān)領(lǐng)域的研究現(xiàn)狀進行了文獻(xiàn)綜述，探索性地給出了基于情感的視聽關(guān)聯(lián)的基本問題、研究目的、研究內(nèi)容、范圍界定、研究方法等，試圖確立視聽關(guān)聯(lián)研究的框架與體系結(jié)構(gòu)。

視聽；關(guān)聯(lián)；情感

1 引言

隨著網(wǎng)絡(luò)、信息技術(shù)的發(fā)展，智能音視頻采集、處理技術(shù)的廣泛應(yīng)用，圖片、音頻、視頻等已經(jīng)成為人們發(fā)布消息、溝通、交流與共享的重要方式。研究表明不同種類的多媒體信息均攜帶有對高層語義信息理解有幫助的信息，且這些不同模態(tài)的視或聽的信息之間往往還具有互補的作用[1]。當(dāng)欣賞者面前展現(xiàn)的是一個遼闊的場景畫面，比如優(yōu)美的草原風(fēng)光時，如果呈現(xiàn)的聲音是草原特有的馬頭琴等樂器演奏的舒緩音樂，往往比只看畫面能夠帶來和諧的情感體驗；而此時如果播放的是一段激昂的音樂，人們會有什么樣的情感體驗?zāi)?？從以上現(xiàn)象中，我們猜測，人們在觀看視頻的過程中，產(chǎn)生視覺刺激的圖像和產(chǎn)生聽覺刺激的音樂在作用于人的過程之中勢必存在相互影響，進而影響人的情感的現(xiàn)象存在。

通過對視覺與聽覺跨模態(tài)信息的分析也顯示，這種視聽互補信息在改善多媒體語義信息理解方面具有重要的利用價值[2-3]。尤其是在文化創(chuàng)意等領(lǐng)域，借助輔助工具實現(xiàn)對圖像、音樂進行匹配、推薦、關(guān)聯(lián)評價等，具有廣闊的應(yīng)用價值。

這些呈現(xiàn)在受眾面前的圖像、聲音等信息在經(jīng)過人腦的處理后，能引起人情感狀態(tài)的變化[4]。如同上文的例子，我們還應(yīng)該認(rèn)識到這種復(fù)雜的情感體驗現(xiàn)象并不能用一種單一的機制去解釋，或者說單一的機制并不能囊括所有的情感誘發(fā)示例[5]。盡管有多位研究人員表示人的情感反應(yīng)受多重機制的影響[6-8]，但是想在一些理論假說的基礎(chǔ)上總結(jié)出一套完善的理論框架仍有諸多困難。一方面，個人的情感體驗無論是視覺的、還是聽覺的，都會受到其自身所經(jīng)歷的文化、教育水平的影響，另一方面跨通道視覺關(guān)聯(lián)比單通道的情感體驗更加復(fù)雜，其中既包括生理、心理的關(guān)聯(lián)，也與學(xué)習(xí)系統(tǒng)、記憶系統(tǒng)的聯(lián)系更加緊密。因此，本文給出運用信息科學(xué)的方法，結(jié)合心理學(xué)、美學(xué)、腦科學(xué)、神經(jīng)科學(xué)、信息科學(xué)、計算機科學(xué)的理論，對人的視聽關(guān)聯(lián)體驗(尤其是圖像和音樂同時作用下人的情感變化狀態(tài)、視聽關(guān)聯(lián)匹配關(guān)系、主觀體驗情況等)進行視聽技術(shù)研究。

2 相近領(lǐng)域研究現(xiàn)狀

視聽關(guān)聯(lián)期望利用信息科學(xué)的方法，對人的視-聽關(guān)聯(lián)關(guān)系進行更全面的理論構(gòu)建和技術(shù)實現(xiàn)，其應(yīng)用前景非常廣泛。如用計算機評估音樂與圖像之間的關(guān)聯(lián)關(guān)系，支持開發(fā)多媒體信息匹配核心技術(shù)。目前，已有的信息融合技術(shù)主要是針對系統(tǒng)反饋的視頻信息和音頻信息進行技術(shù)上的同步處理，與人的視聽關(guān)聯(lián)模式存在較大差異。人的視聽關(guān)聯(lián)模式是感知覺與心理情感共同作用的結(jié)果，而現(xiàn)有的融合系統(tǒng)大部分不考慮也未涉及到人的因素。視聽融合技術(shù)也可應(yīng)用于影視、廣告、劇場演出等方面，同時，還有助于推動人工智能技術(shù)在不同領(lǐng)域的應(yīng)用和發(fā)展[9]。

圖1給出了在Web of Science數(shù)據(jù)庫中以“視聽”、“圖像語義”、“音樂語義”、“圖像音樂關(guān)聯(lián)”、“圖像音樂感知”、“視聽整合”、“音樂圖像匹配/多模態(tài)/交叉模態(tài)”為關(guān)鍵詞檢索的論文數(shù)量。圖2展示了近年來相關(guān)領(lǐng)域的研究熱度。

圖1 視聽覺關(guān)聯(lián)相關(guān)研究發(fā)表論文數(shù)量比例圖

圖2 視聽關(guān)聯(lián)相關(guān)領(lǐng)域研究熱度分析圖

許多研究人員針對這一問題從不同角度開展了諸多的研究。Olivier collignon等人用自我報告和對比反應(yīng)時間的方法證明視聽情緒內(nèi)容一致的情況下，能提高圖片帶來的情緒的感受性[10]，當(dāng)不一致時視聽內(nèi)容的表達(dá)將會產(chǎn)生相互抑制的影響[11]。Jeong-Won Jeong等在跨視聽通道的情緒沖突研究中發(fā)現(xiàn)，如果所呈現(xiàn)的音樂與圖片的潛在情緒一致，被試的顳上回活動增強，梭狀回活動減弱；相反情況下，被試的顳上回活動減弱，梭狀回活動增強[12]。視覺通道的信息在某些情況下可能對聽覺通道的情緒感受有促進作用；聽覺通道的情緒信息在與視覺通道的情緒信息一致時，對視覺通道的情緒感受也有促進的作用。雖然這些跨通道效應(yīng)并不是針對情緒沖突的，但是從這些效應(yīng)可以推斷，視覺通道和聽覺通道之間的作用很有可能會存在相互的影響。

已有的大部分研究對圖片和音樂同時呈現(xiàn)進行了研究，關(guān)注了人腦信息的處理機制，但沒有對跨視聽通道的情緒體驗效應(yīng)進行探討。此外，沒有對視聽內(nèi)容之間存在的潛在關(guān)系進行研究。

基于圖像的分析目前已經(jīng)在多個方面進行了探索，如基于內(nèi)容的圖像檢索、多媒體數(shù)據(jù)的聚類與分類[13-14]、面部或運動識別、事件檢測[15]、計算機視覺、圖像處理等。目前各類研究主要集中于構(gòu)建更好的語義數(shù)據(jù)分析理解模型，解決高層語義與低層語義之間的語義鴻溝問題，大多數(shù)的研究集中于單模態(tài)多媒體數(shù)據(jù)的處理，如視或聽，沒有對跨模態(tài)(視聽同時刺激)數(shù)據(jù)之間的關(guān)聯(lián)進行研究?；谝纛l的分析目前同樣已經(jīng)在多個方面開展，如基于內(nèi)容的音樂檢索[16-17]、流派聚類和分類[18]，音樂推薦[19]，語音識別(基于語音與圖像的語音識別)[20]，語音情緒檢測[21]等。對音頻分析的研究主要從三個角度開展：通過自我報告、行為表達(dá)、生理測量等方法；基于音頻底層特征的音頻語義分析；基于樂理(如旋律、節(jié)奏、和旋、曲式)的音頻語義分析。

在心理學(xué)家和認(rèn)知神經(jīng)科學(xué)家的研究中發(fā)現(xiàn)大腦的結(jié)構(gòu)和神經(jīng)網(wǎng)絡(luò)參與音樂感知處理的多個過程，如音樂知覺、音樂與情感、音樂的感覺加工等[22]。此外，近些年關(guān)于音樂與情感在認(rèn)知神經(jīng)科學(xué)方面的研究也呈上升趨勢[23]。在音樂與神經(jīng)心理學(xué)研究領(lǐng)域，針對具體音樂線索的反應(yīng)開展了多項研究[24]，如旋律(melody)[25]、和聲(harmony)的和不和諧[26]、調(diào)式(從大小調(diào)角度)(modality)[27]、韻律[28]、音樂節(jié)拍[29]等。LU等人認(rèn)為聽覺特征與情感知覺之間存在對應(yīng)關(guān)系，如音頻的強度特征與覺醒評價指標(biāo)有關(guān)聯(lián)關(guān)系，而效價因子則與音樂的音色和韻律有關(guān)聯(lián)關(guān)系[30]，這為音樂的文本描述提供了一個方法。音頻情感的表達(dá)不只是受到音樂流派、風(fēng)格等的影響，還會受到不同語言、文化等的影響。例如，張江龍等人通過研究發(fā)現(xiàn)中國人在情緒表達(dá)上相比于西方人要含蓄很多，且不喜歡焦慮的音樂片段。因此，在效價維度進行量化考核時其分布應(yīng)該是不均衡的[31]。

在情感概念化研究中，心理學(xué)家通常是通過被試對情感反應(yīng)的自我陳述來進行研究[32]。在文獻(xiàn)[33]中，HEVNER首次提出了用形容詞描述音樂片段的方法，用67個形容詞描述被試聽到音樂后的感受，并將這些音樂片段按形容詞詞意分為8類。該方法認(rèn)為情感尤其是主要情感或者基礎(chǔ)情感的狀態(tài)是離散的，但是即使中間存在有相互的間隔，其所能表示的分類仍然有限，無法滿足能表達(dá)豐富情感內(nèi)容的音樂分類的要求[34]。在此基礎(chǔ)上，人們提出了情感的維度概念化，其主要關(guān)注由特征引起的情感的區(qū)分，并將其量化到一個數(shù)軸上。這也是與人自身的情感表達(dá)過程相一致的。因子分析技術(shù)廣泛應(yīng)用于情感分類研究，盡管在名稱上稍有差別，但是在實際的結(jié)果分析中并無太大區(qū)別。多數(shù)的情感劃分都是基于效價度(或者愉悅度，情感的積極或者消極狀態(tài))、覺醒度(激活度，情感的激活級別)和效能度(優(yōu)勢度，受控程度)[35-38]。毛峽從物理特征的角度研究挖掘了圖像和音樂本身之間的內(nèi)在規(guī)律，試圖將圖像、音樂自身固有的頻率屬性與人的腦電波反應(yīng)進行關(guān)聯(lián)，為視聽關(guān)聯(lián)研究的相關(guān)工作開展提供了一個極好的思路[39]。Keiko Sato等人從物理特征角度分析了圖像、音樂的物理特征在圖像和音樂匹配過程中對人的主觀印象的影響作用，如圖像的紅綠特征與人的舒適度感覺具有強相關(guān)性，而綠色元素、飽和度和紅綠特征與效價和激活程度之間也有相關(guān)作用，同時音樂的節(jié)拍對人的效價和激活度是有影響作用的[40-41]。Olivier等人對情感表達(dá)的視聽覺整合機制進行了細(xì)致而系統(tǒng)的研究，通過自我陳述和分析反應(yīng)時的方法論述了視覺、聽覺分別在不同情形下所起的作用與信息處理機制，對視聽多模態(tài)信息融合有借鑒意義[42]。

多媒體跨模態(tài)研究在最近一直受到研究者的持續(xù)關(guān)注，根據(jù)課題組掌握的文獻(xiàn)，目前跨模態(tài)多媒體信息分析的研究主要分為三個主要方向：跨模態(tài)image-text研究、跨模態(tài)audio-text研究和跨模態(tài)image-audio研究。圖文跨模態(tài)研究的核心在于構(gòu)建不同模態(tài)信息之間的關(guān)聯(lián)，無論是檢索、推薦還是匹配，都是基于這種關(guān)聯(lián)關(guān)系進行的，最終的性能直接取決于關(guān)聯(lián)建模的質(zhì)量。研究者們采用了不同的策略為圖文多模態(tài)數(shù)據(jù)之間建立關(guān)聯(lián)，主要有兩種策略：利用深度自編碼器(Deep Autoencoders，DAE)[43]、深度信念網(wǎng)絡(luò)(Deep Belief Networks，DBN)[44]或深度玻爾茲曼機(Deep Boltzmann Machine，DBM)[45]等算法模型學(xué)習(xí)一個多模態(tài)數(shù)據(jù)的共享層，基于共享層來建模各模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)[46-47]。將不同模態(tài)的數(shù)據(jù)經(jīng)過抽象后都映射到一個公共的表示空間，如利用典型關(guān)聯(lián)分析(Canonical Correlation Analysis，CCA)技術(shù)，然后再在該表示空間中建立不同模態(tài)間的關(guān)聯(lián)[48]。無論哪種策略都需要從圖像中獲得語義概念模型，然后利用這個模型去標(biāo)注樣本，經(jīng)典的單標(biāo)注模型有支持向量機(SVM)、決策樹、樸素貝葉斯等，多標(biāo)注有二分類、標(biāo)簽排序、多類分類等方式解決[49]。

人的感知覺、運動、學(xué)習(xí)和記憶、聯(lián)想、情感和性格行為等都是人與外界交互的主要功能，視聽覺是其主要途徑和方式?；诖?，在分析了國內(nèi)外相關(guān)領(lǐng)域的研究現(xiàn)狀之后，本文給出了視聽關(guān)聯(lián)的研究方法與技術(shù)路線。

3 視聽關(guān)聯(lián)研究的基本內(nèi)容

3.1 研究難點與研究范圍界定

目前，視聽關(guān)聯(lián)研究面臨的難點：(1)缺乏標(biāo)準(zhǔn)、權(quán)威的視、聽數(shù)據(jù)庫；(2)視聽關(guān)聯(lián)需要對兩個不同維度上的多個特征的關(guān)聯(lián)關(guān)系進行研究；(3)傳統(tǒng)的特征提取、高階語義映射等研究模式與人的主觀體驗現(xiàn)象之間具有不確定性的關(guān)系；(4)人的視聽覺主觀體驗受性別、年齡、地域、經(jīng)歷、學(xué)識等影響較大。

在研究范圍界方面，將視聽刺激歸結(jié)為：引起我們視覺反應(yīng)的外界刺激包括圖像、場景及動態(tài)視頻；引起我們聽覺反應(yīng)的外界刺激包括樂曲、歌曲、自然聲音、語音等；課題組目前先將研究范圍進一步限定于以圖像/視頻和樂曲作為視聽源頭、同時刺激時二者之間的關(guān)聯(lián)關(guān)系，在可能的情況下，再進一步擴展其范圍。

3.2 研究內(nèi)容

建立視聽關(guān)聯(lián)的理論框架和體系，尤其是三個要素：研究對象、理論體系(形成特有的概念、原理、命題、規(guī)律)、嚴(yán)密的邏輯體系。

從情感角度出發(fā)研究視聽之間的關(guān)聯(lián)機理，主要是視聽關(guān)聯(lián)維度的界定、不同維度的權(quán)重及組合關(guān)系對視聽關(guān)聯(lián)的影響、視聽關(guān)聯(lián)的維度在視覺(圖像)和聽覺(樂曲)中如何表述及量化。

人對視聽刺激的在情感上的關(guān)聯(lián)關(guān)系量化。包括圖像情感、音樂情感、圖像與音樂同時刺激下基于情感的視聽關(guān)聯(lián)主觀評價實驗的設(shè)置、實驗數(shù)據(jù)的采集與數(shù)據(jù)處理，客觀腦電、眼動儀的生理數(shù)據(jù)的采集與數(shù)據(jù)處理，主客觀量化數(shù)據(jù)的分析和關(guān)聯(lián)關(guān)系映射數(shù)學(xué)模型的建立。

3.3 研究方法和技術(shù)路線

(1)研究方法：以心理學(xué)、生理學(xué)、腦科學(xué)、神經(jīng)科學(xué)、美學(xué)作為基礎(chǔ)依據(jù)；以主觀實驗、腦成像技術(shù)等為數(shù)據(jù)獲取方法；以神經(jīng)網(wǎng)絡(luò)、機器學(xué)習(xí)、多元統(tǒng)計分析方法等為基本研究方法，以計算機技術(shù)為研究手段，構(gòu)建視聽覺融合理論。

(2)技術(shù)路線(如圖3所示)：充分研究心理、生理、腦神經(jīng)、美學(xué)在視聽多媒體相關(guān)領(lǐng)域的最新成果，從經(jīng)典MV(選擇樂曲背景)入手，建立音視頻情感數(shù)據(jù)庫、情感層的視聽匹配庫；采用主觀實驗和客觀腦電等研究方法，建立人的視聽關(guān)聯(lián)體驗中的維度權(quán)重及組合關(guān)系，并用于融合模型的優(yōu)化；建立視聽融合的維度在視覺(圖像)和聽覺(樂曲)中的量化關(guān)系。對人的視聽關(guān)聯(lián)體驗狀態(tài)進行模擬、評判；形成視聽覺關(guān)聯(lián)匹配的評判標(biāo)準(zhǔn)，建立視聽模擬場景實驗基地。

4 總結(jié)

完全解釋人在視聽同時刺激時的情感狀態(tài)難度很大，需要解決的問題也很多。比如：建立的關(guān)聯(lián)模型的可信度問題；可用的視聽數(shù)據(jù)庫的建立和匹配優(yōu)化；人的情緒波動、文化背景等對主觀實驗的準(zhǔn)確性判斷等等。以上問題都有待進一步研究和解決。

[1]Yang Y，Song J，Huang Z，Ma Z，Sebe N.Multi-feature fusion via hierarchical regression for multimedia analysis[J]. IEEE Trans Multimedia，15(3)：572-58.

圖3 視聽覺融合研究技術(shù)路線圖

[2]Zhang H，Wu P，Beck A，Zhang Z，Gao X. Adaptive incremental learning of image semantics with application to social robot[J]. Neurocomputing，(173)：93-101.

[3]Zhang H，Yuan J，Gao X，Chen Z. Boosting cross-media retrieval via visual-auditory feature analysis and relevance feedback[J]. ACM International Conference on Multimedia.

[4]Rizzolatti G，Craighero L. The mirror-neuron system [J]. Annual Review Neuroscience，2004，(27)：169-192.

[5]Juslin P N. Emotional responses to music：the need to consider underlying mechanisms[J]. Behavioral & Brain Sciences，2008，31(5)：575-621.

[6]Berlyne D E. Aesthetics and psychobiology[J]. Journal of Aesthetics & Art Criticism，1975，31(4).

[7]Dowling W J，Harwood D，Gridley M C. Music Cognition by W. Jay Dowling and Dane Harwood[J]. Journal of the Acoustical Society of America，1988，83(2)：840-840.

[8]Fogel C. Jenefer Robinson，Deeper than Reason：Emotion and its Role in Literature，Music，and Art[J]. Minds and Machines，2008，18(2)：289-292.

[9]Baumgartner T，Lutz K，Schmidt C F. The emotional power of music：how music enhances the feeling of affective pictures[J]. Brain Research，2006，1075(1)：151-164.

[10]Collignon O，Girard S，Gosselin F. Audio-visual integration of emotion expression[J]. Brain Research，2008，1242(4)：126-135.

[11]Jeong J W，Diwadkar V A，Chugani C D. Congruence of happy and sad emotion in music and faces modifies cortical audiovisual activation[J]. Neuroimage，2011，54(4)：2973-2982.

[12]Yan Y，Ricci E，Liu G，Sebe N.Egocentric daily activity recognition via multitask clustering[J]. IEEE Trans Image Process，24(10)：2984-2995.

[13]Zhang H，Yu J，Wang M，Liu Y.Semi-supervised distance metric learning based on local linear regression for data clustering[J]. Neurocomputing，(93)：100-105.

[14]Fergus R，Li F F，Perona P. Learning Object Categories From Internet Image Searches[J]. Proceedings of the IEEE，2010，98(8)：1453-1466.

[15]Ryynanen M，Klapuri A. Query by humming of midi and audio using locality sensitive hashing[J].IEEE International Conference on Acoustics，Speech and Signal Processing，IEEE，2008：2249-2252.

[16]Yang J，Liu J，Zhang W. A fast query by humming system based on notes[J].INTERSPEECH 2010，Conference of the International Speech Communication Association，Makuhari，Chiba，Japan，2010：2898-2901.

[17]Mingyu You，Jiaming Liu，Guo Zheng Li. Embedded Feature Selection for Multi-label Classification of Music Emotions[J]. International Journal of Computational Intelligence Systems，2012，5(4)：668-678.

[18]Yang Y H，Chen H H. Ranking-Based Emotion Recognition for Music Organization and Retrieval[J]. IEEE Transactions on Audio Speech & Language Processing，2011，19(4)：762-774.

[19]Ngiam J，Khosla A，Kim M. Multimodal Deep Learning[J]. International Conference on Machine Learning，ICML 2011，Bellevue，Washington，Usa，July，2011：689-696.

[20]Zhou L M，Lin H，Gurrin C. EMIR：A novel emotion-based music retrieval system[J]. 2012.

[21]Hunt A M. Boundaries and potentials of traditional and alternative neuroscience research methods in music therapy research[J]. Frontiers in Human Neuroscience，2015，(9)：99-100.

[22]Peretz I，Aubé W，Armony J L. Toward a neurobiology of musical emotions[J]. 2010.

[23]Koelsch S，Siebel W A. Towards a neural basis of music perception：Trends in Cognitive Sciences[J]. Trends in Cognitiveences，2010，14(3)：578-584.

[24]Brattico E. Cortical processing of musical pitch as reflected by behavioural and electrophysiological evidence[J]. Helsingin Yliopisto，2006.

[25]Koelsch S，F(xiàn)ritz T，Dy V C. Investigating emotion with music：an fMRI study[J]. Human Brain Mapping，2006，27(3)：239-250.

[26]Mizuno T，Sugishita M. Neural correlates underlying perception of tonality-related emotional contents[J]. Neuroreport，2007，18(16)：1651-5.

[27]Samson S，Ehrlé N，Baulac M. Cerebral substrates for musical temporal processes[J]. Annals of the New York Academy of Sciences，2001，(930)：166-178.

[28]Caclin A，Brattico E，Tervaniemi M. Separate neural processing of timbre dimensions in auditory sensory memory[J]. Journal of Cognitive Neuroscience，2006，18(12)：1959-72.

[29]Lu L，Liu D，Zhang H J. Automatic mood detection and tracking of music audio signals[J]. IEEE Transactions on Audio Speech & Language Processing，2006，14(1)：5-18.

[30]J Zhang ，X Huang ，L Yang ，Y Xu.Some issues of mood classification for Chinese popular music[J].Canadian Conference on Electrical and Computer Engineering，2015，1193-1198.

[31]Juslin P N，Sloboda J A. Music and emotion ：theory and research[J]. Psychology of Music，2001：583-645.

[32]Hevner K.Expression in Music：a Discussion of Experimental Studies and Theories[J]. Psychological Review，1935，42(2)：186-204.

[33]Patrik N Juslin，Petri Laukka. Expression，Perception，and Induction of Musical Emotions：A Review and a Questionnaire Study of Everyday Listening[J]. Journal of New Music Research，2004，33(3)：217-238.

[34]Cherry C，Cherry C.The Measurement of Meaning[M].University of Illinois Press，1957，Urbana，258-259.

[35]Camras L，Plutchik R. Emotion：A Psychoevolutionary Synthesis[J]. American Journal of Psychology，1980，93(4)：751.

[36]Remmington N A，F(xiàn)abrigar L R，Visser P S. Reexamining the circumplex model of affect.[J]. Journal of Personality & Social Psychology，2000，79(79)：286-300.

[37]Thayer R E. The biopsychology of mood and arousal.[J]. The Quarterly Review of Biology，1992，67(3)：65.

[38]WhissellC，F(xiàn)ournierM，PellandR.Adictionaryofaffectinlanguage：Reliability，validity，andapplications[J].PerceptualandMotorSkills，1986，62(3)：875-888.

[39]MaoX，XueYL，ChengLL.Harmoniousgraphicsgeneratingbasedonthe1/ffunctiontheory[J].ChaosSolitons&Fractals，2007，32(2)：521-525.

[40]SatoK，MitsukuraY.Analysisoftheinteractionbetweenimageandmusicfocusedonphysicalfeatures[J].SiceConference，IEEE，2012：2179-2184.

[41]SatoK，MitsukuraY.Effectsofmusiconimageimpressionandrelationshipbetweenimpressionandphysicalfeature[J].HumanSystemInteractions(HSI)，2011 4thInternationalConference，IEEE，2011：369-373.

[42]CollignonO，GirardS，GosselinF.Audio-visualintegrationofemotionexpression[J].BrainResearch，2008，1242(4)：126-135.

[43]HintonGE，OsinderoS，TehYW.AFastLearningAlgorithmforDeepBeliefNets[J].NeuralComputation，2006，18(7)：1527-1554.

[44]SalakhutdinovR，HintonG.AnefficientlearningprocedurefordeepBoltzmannmachines[J].NeuralComputation，2012，24(8)：1967-2006.

[45]HintonGE，SalakhutdinovRR.ReducingtheDimensionalityofDatawithNeuralNetworks[J].Science，2006，313(5786)：504-507.

[46]SrivastavaN，SalakhutdinovR.MultimodalLearningwithDeepBoltzmannMachines[J].JournalofMachineLearningResearch，2014，15(8)：1967 - 2006.

[47]Srivastava，NSalakhutdinovR.Learningrepresentationsformultimodaldatawithdeepbeliefnets[J].InternationalConferenceonMachineLearningWorkshop(2012).

[48]RasiwasiaN，CostaPereiraJ，CovielloE.Anewapproachtocross-modalmultimediaretrieval[J].InternationalConferenceonMultimedea2010，F(xiàn)irenze，Italy，2010：251-260.

[49]ZhangML，ZhouZH.AReviewonMulti-LabelLearningAlgorithms[J].IEEETransactionsonKnowledge&DataEngineering，2014，26(8)：1819-1837.

(責(zé)任編輯：宋金寶)

Emotion Based Audio-visual Relevance Problems

ZHANG Hua1，2，3，JIANG Yu-jian1，2，3，JIANG Wei1，2，3，ZHANG Jing-jing1，2，3

(1.Faculty of Science and Technology，Communication University of China，Beijing 100024； 2. Key Laboratory of Acoustic Visual Technology and Intelligent Control System，Ministry of Culture，Beijing 100024； 3. Beijing Key Laboratory of Modern Entertainment Technology，Beijing 100024，China)

Audition and vision are not isolated. They are interrelated. For instance，when watching a video，a visual stimulation of the image or a sound stimulation of the music acts on a person separately. The processes always have an effect on the emotional experience of a person. Certainly，the two kinds of simulation always act on a person simultaneously. Do they have some relationship? What is the affection influence if we change one factor of the kinds of simulation? In this paper，interrelated contents of research in this field are summarized. Basic problems，objectives，content，scope and research methods of audiovisual relevance are proposed. Frame and structural system of audiovisual relevance are established.

audio-visual；relation；emotion

2017-01-05

張華(1987-)，女(漢族)，河北人，中國傳媒大學(xué)在讀博士；蔣玉暕(1982-)，男(漢族)，山東人，中國傳媒大學(xué)副教授，博士。

TP391

A

1673-4793(2017)01-0035-07