鄭小惠

(廣西大學(xué)外國語學(xué)院,廣西南寧530004)

多模態(tài)化與語義構(gòu)建機(jī)制研究
——以第十屆中國—東盟博覽會宣傳片為例

鄭小惠

(廣西大學(xué)外國語學(xué)院,廣西南寧530004)

多模態(tài)話語分析理論是近年來語篇分析領(lǐng)域的研究熱點(diǎn),它突破靜態(tài)書面語的限制,將研究領(lǐng)域拓展到多模態(tài)互動(dòng)的動(dòng)態(tài)性語篇,彰顯了強(qiáng)大的闡釋力?；诙嗄B(tài)話語分析理論,以第十屆中國—東盟博覽會宣傳片為例,從圖片的再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義三個(gè)角度研究多模態(tài)化宣傳片語義構(gòu)建機(jī)制中文字、圖片、顏色等模態(tài)的意義創(chuàng)生功能。

多模態(tài)話語分析;語義構(gòu)建;宣傳片

隨著多媒體技術(shù)的普及,圖片、聲音、顏色、動(dòng)作等非語言符號開始在人類的交際活動(dòng)中扮演重要角色,而傳統(tǒng)的話語分析基本上局限于文字本身,即只注意語言系統(tǒng)和語義結(jié)構(gòu)本身及其與社會文化和心理認(rèn)知之間的關(guān)系,忽視了其他意義表現(xiàn)形式[1],因此其局限于靜態(tài)文字研究的語篇分析的理論適應(yīng)性及闡釋力遭到質(zhì)疑。針對這一問題,多模態(tài)話語分析理論主張從視覺、聽覺和觸覺等多模態(tài)相結(jié)合的角度分析多媒體語篇[2]。國內(nèi)外研究者也逐漸意識到現(xiàn)代交際語篇的多模態(tài)化態(tài)勢,開始轉(zhuǎn)向多模態(tài)語篇中文字結(jié)合其他模態(tài)的意義創(chuàng)生機(jī)制研究。Kress&van Leeuwen首次詮釋了視覺語法,將語言、聲音、圖像等模態(tài)的語義潛勢定義為相互聯(lián)系的意義構(gòu)建性系統(tǒng),為該領(lǐng)域奠定了理論基礎(chǔ)[3]。胡壯麟則探究了多模態(tài)化和意義的多模態(tài)構(gòu)建的理論和實(shí)踐意義[4-5],代樹蘭對多模態(tài)話語研究的緣起與進(jìn)展進(jìn)行了探討[6]。目前國內(nèi)學(xué)界的探討多集中于平面媒體中圖片、顏色、文字等元素的多模態(tài)意義構(gòu)建機(jī)制,而對于數(shù)字化動(dòng)態(tài)多模態(tài)語篇的研究還不多見。

電視宣傳片是典型的動(dòng)態(tài)多模態(tài)語篇,圖像、音樂、文字等符號在持續(xù)性聯(lián)動(dòng)過程中進(jìn)行整合,構(gòu)建語篇的整體意義。2013年正值中國—東盟博覽會舉辦十周年,近年來這一國際盛事影響力的不斷提升,引發(fā)外界廣泛關(guān)注。本文基于Kress &van Leeuwen的視覺語法框架[7],以第十屆中國—東盟博覽會宣傳片為例,從多模態(tài)角度研究宣傳片中圖像、顏色和文字等符號的動(dòng)態(tài)互聯(lián)及意義創(chuàng)生功能,有利于更加全面深入地了解其語篇的整體意義構(gòu)建機(jī)制,對于提高其宣傳效果有一定的實(shí)踐指導(dǎo)意義。

一、多模態(tài)話語分析理論

多模態(tài)話語分析是指把單一對文字的研究延展至對文字、圖片、象征、手勢、動(dòng)作、音樂和聲音等多模態(tài)意義表達(dá)方式的研究[8]1。

多模態(tài)話語分析的理論出發(fā)點(diǎn)是系統(tǒng)功能語言學(xué)。多模態(tài)話語分析借助Halliday的系統(tǒng)功能語言學(xué),主張語言是社會符號(social semiotic),認(rèn)為文字以外的其他社會符號也是意義的源泉,并把文字作為社會符號所具有的三大元語言功能擴(kuò)展到文字之外其他社會符號(圖像、科學(xué)象征、手勢、動(dòng)作、音樂和聲音等)。由于多模態(tài)話語分析深受系統(tǒng)功能語言學(xué)和社會符號學(xué)的影響,因此,其也可以稱之為系統(tǒng)功能符號學(xué)(systemic-functional semiotics)[1]。

Kress&van Leeuwen的視覺語法理論框架是本文研究的理論基礎(chǔ)。在《圖像解讀:視覺語法》一書中,Kress&van Leeuwen提出視覺語法能夠?qū)Φ攸c(diǎn)、事件和動(dòng)作發(fā)出者進(jìn)行組織,正如語法整合詞語句子。視覺語法把Halliday的三大元語言功能即概念意義、人際意義和語篇意義延伸至除文字之外的其他符號,在視覺模態(tài)分析中這三大功能則被解釋為再現(xiàn)、互動(dòng)和構(gòu)圖功能[7]。再現(xiàn)、互動(dòng)、構(gòu)圖是視覺語法的重要內(nèi)容。

圖像的再現(xiàn)意義也就是概念意義,基于系統(tǒng)功能語法Kress&van Leeuwen把圖像的再現(xiàn)意義分為兩大類:敘事性再現(xiàn)和概念性再現(xiàn)[7]59。圖像的人際功能體現(xiàn)為一種互動(dòng),指的是圖片的設(shè)計(jì)者、圖像本身(包括人物、物體和背景)和讀者之間的關(guān)系。Kress&van Leeuwen指出,圖像的互動(dòng)意義通過相互交流來實(shí)現(xiàn)[7]59。圖像的構(gòu)圖意義則是圖像的各個(gè)組成部分按照一定的順序組合起來構(gòu)成有意義的整體。信息值、顯著性和取景是圖像構(gòu)圖意義的三要素。Kress&van Leeuwen指出,元素所處的位置不同體現(xiàn)意義也不同[7]168。

二、案例分析:以第十屆中國—東盟博覽會宣傳片為例

本文選取的第十屆中國—東盟博覽會宣傳片(下文圖1至圖7)來自優(yōu)酷網(wǎng),它包含文字、圖片、聲音、顏色、動(dòng)漫等多模態(tài)意義表現(xiàn)形式,是很有代表性的多模態(tài)語篇。本研究側(cè)重于視覺模態(tài)的探討,從再現(xiàn)意義、互動(dòng)意義、構(gòu)圖意義對宣傳片中圖片、顏色、文字的多模態(tài)意義構(gòu)建機(jī)制進(jìn)行研究。

(一)第十屆中國—東盟博覽會宣傳片的再現(xiàn)意義

根據(jù)圖片的不同特征,Kress&van Leenwen把再現(xiàn)意義分成敘事再現(xiàn)和概念再現(xiàn)兩大類。敘事再現(xiàn)的特征是有向量的存在,而概念再現(xiàn)則沒有向量。在圖像中向量是指元素構(gòu)成的斜線,通常是強(qiáng)烈的對角線[7]59。圖1-4都不存在向量,屬于概念再現(xiàn)。概念圖像呈現(xiàn)的是概括的、穩(wěn)定的和沒有時(shí)間限制的精華[7]59。

圖1 河水相聚

圖1的背景是南寧市地標(biāo)性的建筑——南寧國際會展中心,其屋頂掛著一些國家的國旗,告知觀眾中國-東盟博覽會的成員國是:中國、越南、老撾、泰國、柬埔寨、緬甸、印度尼西亞、菲律賓、文萊、馬來西亞、新加坡。圖中,取自博覽會成員國母親河的河水匯聚在一起,設(shè)計(jì)者以南寧國際會展中心,東盟博覽會的永久舉辦地為背景,突出河水相聚的場景,呈現(xiàn)出圖像的概念意義:相聚。中國和東盟十國的人民匯聚在中國廣西南寧,齊心協(xié)力把中國—東盟博覽會辦成一個(gè)繁榮的國際盛會。

圖2 中國-東盟博覽會會徽

圖3 相聚到永遠(yuǎn)

設(shè)計(jì)者在宣傳片中還選取了中國—東盟博覽會的會徽(如圖2所示),再一次陳述了圖像的概念意義:相聚。中國和東盟十國將相聚到永久。11條彩帶分別代表著美麗的中國和旖旎的東盟十國,他們齊聚于南寧,通過密切的合作和廣泛的交流,實(shí)現(xiàn)優(yōu)勢互補(bǔ)、共同發(fā)展的美好愿望。

此外,緊緊束在一起的彩帶猶如一枝有綠葉相伴的鮮花。上半部分是盛開的花朵,其形狀宛如南寧市市花:朱槿花。下方是綠色的,宛如朱槿花的枝葉,其形狀又像南寧國際會展中心屋頂?shù)目s影,而綠色恰好與綠城南寧相呼應(yīng),傳達(dá)出朝氣蓬勃的氣息。色彩艷麗的花瓣,輔之以醒目的文字CAEXPO和晴朗的天空,傳達(dá)給世人的概念意義是中國—東盟博覽會是一個(gè)在中國南寧舉辦的有美好未來、充滿希望、不斷繁榮的國際盛事。

圖3是“盛聚”的完美詮釋,設(shè)計(jì)者選取中國的國粹書法而不是單調(diào)的文字,并采用艷麗的顏色來書寫“相聚到永久”這幾個(gè)大字,非常有審美效果,引人注目,輔之以英文對照,讓中外觀眾一目了然。

圖4 雙邊貿(mào)易成就

圖4由4張相似的圖片組成,黃色的字體在蔚藍(lán)天空的映襯下吸引著讀者的眼球。第一張圖片傳達(dá)的意義是中國和東盟的雙邊貿(mào)易額年增長率達(dá)20%以上,隨后的幾張圖片列出其中一些年份的雙邊貿(mào)易額:2004年1000億美元,2007年2000億美元,2012年4000億美元。這些數(shù)據(jù)足以說明雙邊貿(mào)易額年增長率高達(dá)20%的真實(shí)性。設(shè)計(jì)者以晴空萬里下的南寧地標(biāo)性建筑——南寧國際會展中心的朱槿花廳作為背景,表明這些成就都得益于中國—東盟博覽會的舉辦。通過整合圖片的多模態(tài)符號,可以得出他們所傳達(dá)的概念意義是中國—東盟博覽會作為發(fā)展的加速器,將把中國和東盟國家之間的貿(mào)易合作推向一個(gè)更大的平臺。

(二)第十屆中國—東盟博覽會宣傳片的互動(dòng)意義

互動(dòng)意義指的是設(shè)計(jì)者、物體(包括人、事物和背景)和讀者之間的相互交流,具體通過接觸、社會距離和態(tài)度來體現(xiàn)。

1.接觸。圖2中的11條彩帶像無數(shù)雙揮舞的手臂,成千上萬的廣西人民團(tuán)結(jié)一心,積極參與到中國—東盟博覽會中來。他們揮舞著雙手,讀者能夠感受到他們熱忱的歡迎,這個(gè)過程就是接觸交流的過程。而這種接觸所傳遞的圖像行為是一種索求,索求的是讀者投身于博覽會的熱情與切實(shí)行動(dòng)。

圖5 投資合作

圖5也是一個(gè)接觸交流的過程,不斷向上升的箭頭映入眼簾,明確表示出中國東—盟博覽會所帶來的投資合作火速發(fā)展,給世人提供了大量的機(jī)遇。箭頭不斷地變大,表明機(jī)遇越來越多,我們可以把這一接觸交流的過程看作是一種提供,提供的是機(jī)遇和機(jī)會。設(shè)計(jì)者達(dá)到了吸引人們參與東盟博覽會的目的。

2.社會距離。由于相機(jī)有近焦距和遠(yuǎn)焦距,我們能夠得到近距離的圖片(即近景),也能夠獲取遠(yuǎn)距離的圖片(即遠(yuǎn)景)。所以,在視覺分析中,我們可以把社會距離劃分為近景和遠(yuǎn)景。遠(yuǎn)的社會距離帶給人們一個(gè)廣闊的視野,預(yù)示著廣闊的平臺。圖6是南寧美麗景色的遠(yuǎn)景,更確切地說是南寧著名的南湖公園的景色。一條彩虹高掛空中,其七彩的顏色正表現(xiàn)了文字的內(nèi)容:多領(lǐng)域的合作。中英文,加上彩虹和廣闊的土地傳遞出的信息是中國-東盟博覽會是一個(gè)支持各領(lǐng)域合作的巨大平臺。

圖6 多領(lǐng)域合作

3.態(tài)度。態(tài)度,也可以理解為情態(tài),指的是圖像表達(dá)手段的使用程度,如顏色、色彩飽和度、細(xì)節(jié),等等。態(tài)度有三種,分別為高飽和度色彩的高情態(tài)、不太飽和色彩的中情態(tài)與單純的黑白色的低情態(tài)。

2013年中國—東盟博覽會宣傳片是一個(gè)高情態(tài)的多模態(tài)語篇,其中使用的顏色都是艷麗顯眼的,絕大部分圖片都采用藍(lán)天作為背景。高飽和度的色彩正是中國—東盟博覽會現(xiàn)狀的最好詮釋:具有美好未來的國際盛會。

(三)第十屆中國—東盟博覽會宣傳片的構(gòu)圖意義

信息值、顯著性和取景是圖像構(gòu)圖意義的三個(gè)組成部分。

圖7 文化交流

1.信息值。根據(jù)Kress&van Leeuwen的研究,信息值的分布有三種形式:左右、上下、中間與邊緣[7]177。通過分析我們可以知道,圖7屬于中間與邊緣的分布方式。處于中間部位的信息是具有決定意義的核心信息,其他處于邊緣地方的信息則是輔助信息[7]194。

圖7是百花齊放的景象,顏色各異的花,如同東盟多樣的文化,從遠(yuǎn)處不斷地飄進(jìn)屏幕中央,呈現(xiàn)出核心信息:文化的相聚與融合。處于邊緣的是文化交流(Cultural Exchange)和南寧國際會展中心,這些輔助信息交代了相聚的目的和相聚的地點(diǎn)。整幅圖片所傳達(dá)的信息是中國和東盟十國各地區(qū)的文化齊聚于中國南寧。

2.顯著性。顯著性是由大小、強(qiáng)調(diào)和色調(diào)對比度這些因素的復(fù)雜關(guān)系顯現(xiàn)的[7]177。

顯著性跟信息值有著密切的聯(lián)系。圖7中的花占據(jù)圖片的大半部分,對比其他地方的色調(diào),這些花更加顯眼,也就說明這部分的信息值和顯著性最高,得以強(qiáng)調(diào)。如上所述,顏色各異的花,如同東盟多樣的文化,從遠(yuǎn)處不斷地匯聚屏幕中央,其顯著性不言而喻。而處于邊緣的信息文化交流(Cultural Exchanges)和南寧國際會展中心道出了匯聚的目的和地點(diǎn),同樣是顯著的內(nèi)容,但就顏色跟所處的位置而言,其顯著性明顯低于匯聚于屏幕中央的花朵,所以花是圖7中的顯著內(nèi)容。

3.取景。取景中的各個(gè)元素之間的關(guān)系有些情況下是相互分離、互不聯(lián)系的,但絕大部分是緊密聯(lián)系在一起的[7]177。

圖7中,背景、中央和邊緣構(gòu)成一個(gè)統(tǒng)一的整體,緊密地聯(lián)系在一起。圖片中,在蔚藍(lán)的天空下許多鮮花齊聚于南寧國際會展中心,加上位于邊緣的文字說明,構(gòu)成一幅和諧而完整的畫面。不同種類色彩各異的花朵正如中國和東盟各國多元的文化,它們齊聚于南寧國際會展中心也就意味著中國—東盟博覽會是文化交流的巨大平臺。

第十屆中國—東盟博覽會的宣傳片是結(jié)合了各種多模態(tài)社會符號(如文字、圖片、聲音、顏色和動(dòng)漫)的多模態(tài)語篇,這些社會符號對宣傳片的意義構(gòu)建起到重要的作用,整合這些符號所傳達(dá)的意義要遠(yuǎn)遠(yuǎn)超出單純的文字符號所傳達(dá)的意義。多模態(tài)話語分析是一門新興的研究學(xué)科,其理論和研究方法都有待完善和改進(jìn)。隨著科學(xué)技術(shù)的進(jìn)步,我們應(yīng)該堅(jiān)信人們對多模態(tài)話語的認(rèn)識會不斷地完善。

[1]朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊,2007(5):82-86.

[2]O’Toole,M.The language of displayed Art[M].London:Leicester University Press,1994:8-20.

[3]Kress G,van Leeuwen T.Reading images:The grammar of visual design[M].London:Routledge,1996.

[4]胡壯麟,董佳.意義的多模態(tài)構(gòu)建[J].外語電化教學(xué), 2007(6):3-12.

[5]胡壯麟.社會符號學(xué)研究中的多模態(tài)化[J].語言教學(xué)與研究,2007(1):1-10.

[6]代樹蘭.多模態(tài)話語研究的緣起與進(jìn)展[J].外語學(xué)刊, 2013(2):17-23.

[7]Kress G,van Leeuwen T.Reading images:The grammar of visual design[M].2nd ed.London:Routledge,2006.

[8]O’Halloran K L.Multimodal discourse analysis[M]. London and New York:Continuum,2011:1.

Analysis of multi-modality and meaning construction mechanism: A case study of the 10th CAEXPO publicity

ZHENG Xiaohui
(Foreign Languages College,Guangxi University,Nanning 530004,China)

Multimodal discourse analysis,expanding its research domain to multimodal interactive discourses featured by dynamicity,is proved to be exhaustive in the interpretation of multimodal discourse.This paper,with the 10th China ASEAN EXPO Publicity as a typical case,aims to explore the meaning construction mechanism of multimodal interactive discourses from the perspectives of representation meaning,interaction meaning,and composition meaning.

multimodal discourse analysis;meaning construction mechanism;publicity

H0

:A

:1671-9476(2015)01-0064-04

10.13450/j.cnkij.zknu.2015.01.017

2014-11-21;

2014-12-10

鄭小惠(1990-),女,廣西桂林人,碩士研究生,主要從事認(rèn)知語言學(xué)研究。