湛穎 高妍 謝凌云

[摘要]采用語義聯(lián)想的方法，進行基于視聽跨模態(tài)語義一致理論的國畫一民樂的通感研究。經(jīng)主觀實驗驗證，該方法能在視聽匹配中提升國畫審美感知，在演藝科技行業(yè)的多媒體創(chuàng)作與視聽融合方面有廣闊的應(yīng)用前景。

[關(guān)鍵詞]國畫;民樂;視聽覺;通感;聯(lián)想實驗;多媒體

文章編號：10.3969/j.issn.1674-8239.2019.05.004

1引言

視聽覺通感是多媒體創(chuàng)作中的一個基礎(chǔ)課題，視聽多媒體的語義和美感的一致是藝術(shù)作品的重要組成部分。為了探究觀眾對多媒體藝術(shù)的跨模態(tài)感知機制，需對大眾的視聽覺審美聯(lián)想和通感進行深入分析。審美和文化背景有著密切的關(guān)聯(lián)，所以，本文以中國傳統(tǒng)文化中的國畫為對象，研究其與民樂之間的通感關(guān)系。

該研究通過問卷調(diào)查、因子分析（factor cmcdysis）的實驗心理學方法，獲得5個國畫主要美感因子及高頻形容詞匯，并將它們應(yīng)用于64幅國畫的審美評價。接著，進行國畫畫面到民樂美感的通感實驗。根據(jù)實驗結(jié)果，在民樂庫中配對相應(yīng)的樂曲，進行視聽通感條件下美感增效的實驗驗證。結(jié)果表明，相對于單獨欣賞國畫而言，在國畫與產(chǎn)生通感的民樂同時呈現(xiàn)的情況下，被試能獲得更多的藝術(shù)美感。

2國畫與民樂美感的視聽覺共性

音樂和繪畫是不同的藝術(shù)形式，根據(jù)李偉的研究，中國畫獨特的藝術(shù)形式、空間表達及審美意涵，與民樂有天然的內(nèi)在聯(lián)系。徐復觀認為，“線實際上是對中國古典音樂的一種造型，使它表現(xiàn)為一種可視的東西”。中國文化藝術(shù)廣泛包含“線”的概念，國畫中工筆畫以“線”作為主要藝術(shù)表達手段;民樂“吹拉彈打”中的管樂和拉弦音樂也是典型的線型音樂。

中國畫的線造型在曲折的線條表達中具有類似建筑的飛動之美，在起、承、轉(zhuǎn)、合的細節(jié)變化中，體現(xiàn)音樂般的節(jié)奏美。這種視覺藝術(shù)與聽覺藝術(shù)之間的感知關(guān)聯(lián)，就來自于通感?！爱斈闶褂脦追N聲音或色彩的組合來作畫或作曲時，有時候你會感到你的手指像被針扎似的微微作痛，有時會感到你的手指像在撫摩絲綢和天鵝絨，康定斯基認為，藝術(shù)創(chuàng)作者有時會產(chǎn)生不同的感覺通道的通感。

通感研究表明，感知上的跨模態(tài)一致性（cross-modol correspondences）是產(chǎn)生通感的前提?？缒B(tài)一致是由Chorles Spence于2011年提出的概念，目前得到廣泛采用。視聽跨模態(tài)一致是多年實證研究總結(jié)出的、人類對視聽信號的一種感知特性，有研究認為，它是通感的一種神經(jīng)基礎(chǔ)。在以往研究中，跨模態(tài)一致有三種基本模型，即統(tǒng)計一致、結(jié)構(gòu)一致和語義一致。其中，語義一致指視聽覺信號的特征（identity）或含義（meaning）的匹配與否，本文的視聽多通道感知實驗也基于此概念進行。

本文將基于視聽跨模態(tài)一致及國畫與民樂的視聽審美共性，面向國畫、民樂的視聽覺通感，使用實驗心理學方法，探索國畫的聽覺聯(lián)想問題。

3實驗過程

3.1國畫美感范疇獲得

通過詞頻篩選、問卷調(diào)查和因子分析“方法，獲得國畫的五個美感因子。查閱《現(xiàn)代漢語詞典》《美學辭典》等文獻，綜合獲得每個因子釋義和高頻詞集，見表1。

3.2國畫美感評價

通過互聯(lián)網(wǎng)搜索等渠道，收集篩選國畫信號64幅，通過主觀評測的方式對它們進行美感類別評價，評價標準為從表1中的“名稱”欄里五者擇一。把20名被試（其中女性11名，男性9名，平均年齡24歲）對每幅畫的最多頻次被選美感作為其主要美感，獲得結(jié)果分布，見表2。

3.3國畫的聽覺通感

國畫到民樂的通感實驗，通過選擇描述內(nèi)容的方式進行。其中，用于描述聯(lián)想內(nèi)容的詞匯及民樂美感因子見表3。表格通過與3.1節(jié)類似的實驗方法獲得，為民樂的美感主要因子和對應(yīng)詞匯。

聯(lián)想實驗全程在光照合適、隔音良好的室內(nèi)完成，屏幕的色溫、亮度等情況被調(diào)整為被試觀看舒適、且適合呈現(xiàn)國畫圖片的程度。在實驗過程中，所有國畫信號在背景為純黑色的屏幕上放映，顯示器型號為DELL1504FP，屏幕分辨率1024×768，方向橫向，畫作以原長寬比盡量平鋪適配整個屏幕。被試總?cè)藬?shù)12人，女性7人，男性5人，平均年齡24歲，年齡標準差1歲。

被試在觀賞每一幅圖片后，被要求聯(lián)想一個音樂情景，然后在表格中選擇適合描述該情景的形容詞。每個信號的對應(yīng)形容詞表格，為表3中第三列（“詞集”部分）所有形容詞的一個隨機亂序版。對于所有25個詞匯，可選個數(shù)不限，但被試需對所選詞匯進行合適度從高至低的排序。

3.4美感提升驗證

依照聯(lián)想實驗的結(jié)果，從民樂數(shù)據(jù)庫中查詢符合聯(lián)想結(jié)果的民樂，見表4。由被試進行單獨欣賞國畫的單通道，和國畫、民樂同時呈現(xiàn)的雙通道這兩種情況下的美感強度評價。美感分值為1～9的整數(shù)，1為最低強度美感，9為最高強度美感，單雙通道分別進行評分。

該部分實驗參與人數(shù)13人，男性6人，女性7人，平均年齡24歲，年齡標準差1歲。實驗在光照合適的室內(nèi)完成，屏幕的色溫、亮度等情況被調(diào)整為被試觀看舒適、且適合呈現(xiàn)國畫圖片的程度。使用監(jiān)聽耳機AKG K240MKII播放民樂，校準到使人能聽清聲音細節(jié)、且聽感舒適的程度。單通道實驗中，所有國畫信號在背景為純黑色屏幕上放映，以原長寬比盡量平鋪適配整個屏幕;雙通道實驗中，民樂同步于配對的國畫呈現(xiàn)。

4實驗結(jié)果

4.1語義關(guān)聯(lián)分析

按照表2中國畫美感分布類別，統(tǒng)計對應(yīng)的高頻聯(lián)想詞匯分布，照詞頻和排序優(yōu)先度順序列于表5。

從表5中所陳列的詞匯，觀察到所聯(lián)想音樂語義與國畫美感類的語義關(guān)聯(lián)較密切。另外，國畫所聯(lián)想的音情境并非由單一的民樂美感組成。以氣勢為例，其所聯(lián)想到的民樂就由深沉、激昂等復雜的美感等二級詞匯組成。

4.2美感關(guān)聯(lián)分析

依照表5中各類民樂美感形容詞被選頻率在五個民樂美感中的分布，統(tǒng)計國畫美感與所聯(lián)想民樂美感之關(guān)聯(lián)，繪制國畫一民樂語義聯(lián)想拓撲圖，見圖1。觀察發(fā)現(xiàn)，國畫聽覺語義聯(lián)想結(jié)果與被聯(lián)想內(nèi)容有較強語義關(guān)聯(lián)，“輕柔”和“深沉”美感的民樂在增強多通道美感方面，有比其他美感更廣泛的適用性。

4.3美感增效

單雙通道美感變化見圖2。整體來看，所有美感都能得到10%以上增幅，證明本文方法在提升美感上有一定效果。另外，本文方法對越負向的美感越有美感增強效應(yīng)。具體來說，蕭瑟、清幽二者，在情緒上更偏向負向，也更容易在視聽雙通道匹配中得到美感增幅;本身更為積極正向的美感，如生機、雅致、氣勢三者，則相對來說不易在語義匹配的雙通道感知中得到增強。

5總結(jié)

本文的研究基于視聽覺通感，提出基于國畫審美和語義聯(lián)想的視聽通感研究方法、美感提升方法。經(jīng)過主觀評測實驗驗證，該匹配方法相較于單通道國畫視覺美感感知，可以實現(xiàn)一定程度美感增幅。通過語義聯(lián)想的通感方法進行視聽美感融合，可為多媒體創(chuàng)作提供一定參考。