尚喜梅

(長治學(xué)院 外語系，山西 長治 046011)

多模態(tài)語篇建構(gòu)中的符際間互動(dòng)研究

尚喜梅

(長治學(xué)院 外語系，山西 長治 046011)

以Kress amp; van Leeuwen 視覺語法理論和Lim綜合多符號(hào)模式為理論框架，以2012年倫敦奧運(yùn)會(huì)會(huì)徽語篇為語料，分析了語篇中圖像、文字、顏色和印刷版式等各種符號(hào)資源在建構(gòu)語篇概念意義過程中所發(fā)揮的作用。在闡明語篇意義建構(gòu)過程中符際間通過互動(dòng)和協(xié)商不僅建構(gòu)了語篇的意義，還體現(xiàn)了語篇背后所暗含的意識(shí)形態(tài)。

視覺語法；綜合多符號(hào)模式；概念意義；意識(shí)形態(tài)

現(xiàn)代科學(xué)技術(shù)的迅猛發(fā)展使語篇的概念得到了延伸，傳統(tǒng)意義上的以語言文字符號(hào)為單一模態(tài)的語篇日益呈現(xiàn)多模態(tài)化( multimodality )，各種符號(hào)資源(如語言、視覺圖像、聲音、顏色、空間結(jié)構(gòu)等)共同參與語篇建構(gòu)、完成意義表征和交際。正如Halliday[1]所指出，“語篇”這個(gè)詞，就像一切跟學(xué)術(shù)研究活動(dòng)有關(guān)的術(shù)語常常發(fā)生的那樣，其涵義已大大超出了當(dāng)初所謂的篇章，現(xiàn)在已包含了其他各種模式的符號(hào)，各種表格、圖標(biāo)、圖表、示意圖、平面圖、統(tǒng)計(jì)圖等。這些符號(hào)經(jīng)常和流動(dòng)的語篇結(jié)合在一起，作為對(duì)文字篇章的補(bǔ)充，甚至是不可或缺的一部分。傳統(tǒng)的以語言文字符號(hào)為核心的單模態(tài)分析方法，即只關(guān)注語言系統(tǒng)和語義結(jié)構(gòu)本身及其與社會(huì)文化和心理認(rèn)知之間的關(guān)系的分析方法,對(duì)準(zhǔn)確解讀現(xiàn)代多模態(tài)語篇的意義生成和交際已顯得力不從心，這使得多模態(tài)語篇分析的產(chǎn)生成為必要。同時(shí)，現(xiàn)代科技的發(fā)展也為多模態(tài)語篇分析提供了新的分析工具，這使得多模態(tài)語篇分析在技術(shù)上成為可能。

一 研究背景

1996年，Kress amp; van Leeuwen的《閱讀圖象》一書的問世標(biāo)志著多模態(tài)語篇分析的正式到來。該書整合語言文字和其它表意資源，不僅看到語言系統(tǒng)在意義交換中發(fā)揮的作用，而且注意到其它符號(hào)資源在意義建構(gòu)中產(chǎn)生的效果，為信息時(shí)代的語篇分析提供了一個(gè)嶄新視角，為多模態(tài)話語分析提供了理論依據(jù)和研究方法，使語篇意義的解讀更加全面準(zhǔn)確。這類話語分析既可以推動(dòng)我們對(duì)語言學(xué)的研究，同時(shí)也可以加深對(duì)符號(hào)學(xué)的認(rèn)識(shí)。[2]

在西方，多模態(tài)研究在2l世紀(jì)得到了空前迅速的發(fā)展。主要代表人物有：Baldry, Kress amp; van Leeuwen, Lemke ，O’Toole, 0’Halloran，Royce，Jewitt等。在我國，目前對(duì)多模態(tài)話語分析的研究雖尚處于起步階段，但也取得了豐碩的成果，主要以顧曰國、胡壯麟、朱永生、張德祿、李戰(zhàn)子、王紅陽、韋琴紅等為代表。就研究方法來講，國內(nèi)多模態(tài)語篇分析停留在對(duì)西方研究理論的應(yīng)用上；國外學(xué)者專家，因受Halliday的語言層次思想、語篇、語境思想和意義潛勢(shì)等觀點(diǎn)的影響，在研究方法上主要采取了“自上而下”的語境法和“自下而上”的語法研究法。例如，Kress amp; van Leeuwen[3]使用 “自上而下”的語境法從意識(shí)形態(tài)的角度出發(fā)，探討了視覺設(shè)計(jì)的普遍原則；而O’Toole[4]則采用了“自下而上”的語法研究法對(duì)諸如繪畫、建筑設(shè)計(jì)和雕塑等多模態(tài)語篇進(jìn)行了研究。Iedema[5]認(rèn)為，兩種研究方法是互補(bǔ)的，因?yàn)樗鼈兌嘉樟薍alliday在語篇、社會(huì)和文化研究上的社會(huì)符號(hào)學(xué)的方法，即依據(jù)以下三個(gè)主要原則，把語篇分析置于具體的社會(huì)實(shí)踐框架下。

1.語言是有層次的，至少包括語境層、語義層、詞匯-語法層和音系層。其中，語義層實(shí)現(xiàn)為詞匯語法層，而其本身又實(shí)現(xiàn)了更高一層的語境層(包括情景語境和文化語境)。

2.語言具有概念功能、人際功能和謀篇功能三大元功能。

3.情景語境與文化語境之間是一種示例關(guān)系。

縱觀國內(nèi)外迄今為止的多模態(tài)語篇分析研究，我們不難發(fā)現(xiàn)，從1996 年至今，研究者對(duì)于多模態(tài)語篇分析的研究價(jià)值給予了充分重視， 研究領(lǐng)域不僅涉及多模態(tài)語篇分析理論的建構(gòu)和完善，對(duì)圖像、超文本電子語篇、影視作品、廣告、海報(bào)等的詳細(xì)分析，漢語多模態(tài)口語語料庫的建設(shè)，還把多模態(tài)語篇分析應(yīng)用到了教學(xué)實(shí)踐和隱喻等領(lǐng)域的研究。但是，大部分研究，尤其是國內(nèi)相關(guān)研究，主要關(guān)注的是多模態(tài)語篇中的各種模態(tài)傳遞的概念意義、人際意義和語篇意義，而對(duì)于不同符號(hào)資源之間的符際間性(intersemiosis)卻沒有給予應(yīng)有的重視 , 即對(duì)不同符號(hào)資源在產(chǎn)生意義的過程中是如何相互作用、相互協(xié)調(diào), 從而共同建構(gòu)出一個(gè)和諧的具體的多模態(tài)語篇的沒有做出相應(yīng)的闡釋。

鑒于此，本文以2012年倫敦奧運(yùn)會(huì)會(huì)徽為語料，嘗試運(yùn)用Kressamp; van Leeuwen的視覺語法框架理論和Lim的綜合多符號(hào)模式來詮釋多種符號(hào)資源是如何相互協(xié)調(diào)和作用，并最終成功地結(jié)合在一起共同揭示多模態(tài)語篇中所暗含的意識(shí)形態(tài)的。

二 理論基礎(chǔ)

Kressamp; van Leeuwen[6][3]指出圖像作為社會(huì)符號(hào)學(xué)的一種, 同樣是一個(gè)選擇的系統(tǒng)。圖片包括什么, 不包括什么, 都是一個(gè)選擇的結(jié)果, 而這些選擇體現(xiàn)了他們的意義潛勢(shì), 在不同的社會(huì)語境下實(shí)現(xiàn)不同的社會(huì)功能。圖像中的視覺符號(hào)不僅可以反映客觀世界和主觀世界發(fā)生的各種事件, 而且可以表現(xiàn)各種各樣的人際關(guān)系, 與此同時(shí)視覺符號(hào)內(nèi)部也是一個(gè)有機(jī)的連貫的整體。Kressamp; van Leeuwen 接受了Halliday的系統(tǒng)功能思想，認(rèn)為語言之外的其它符號(hào)系統(tǒng)和語言系統(tǒng)一樣具有三大元功能，并對(duì)照功能語法中的概念意義、人際意義和語篇意義，提出了“再現(xiàn)意義( representational meaning) ”、“互動(dòng)意義( interactive meaning) ”、和“構(gòu)圖意義( compositional meaning) ”。 Kressamp; van Leeuwen不僅研究了視覺交流中占主導(dǎo)地位的圖像、顏色，還研究了長期以來一直被人們認(rèn)為是處于交流邊緣位置的印刷版式。他們指出，印刷版式和顏色都是符號(hào)資源，它們與語言文字和圖像等符號(hào)系統(tǒng)一樣具有意義潛勢(shì)和三大元功能。

Lim[7]認(rèn)為，視覺圖像和語言系統(tǒng)一樣由表達(dá)層、內(nèi)容層和語景層三個(gè)層面構(gòu)成。各個(gè)層次之間為 “體現(xiàn)”(realisation)關(guān)系，即對(duì)語境的選擇體現(xiàn)于對(duì)“意義”的選擇(內(nèi)容層)，體現(xiàn)于對(duì)“形式”(詞匯-語法層)的選擇；對(duì)“形式”的選擇又體現(xiàn)于對(duì)“實(shí)體”(音系層)的選擇。其中，內(nèi)容層由語義和語法兩部分組成，語境層包括語域、體裁和意識(shí)形態(tài)。介于語言系統(tǒng)和圖像之間的部分為綜合空間，它是不同符號(hào)資源相互語境化后得以存在的理論平臺(tái)。綜合空間的凸起部分表征不同符號(hào)資源相互作用和協(xié)商之后產(chǎn)生的語義擴(kuò)展。兩者不同的是，在語言系統(tǒng)中，表達(dá)層體現(xiàn)為音系或印刷版式，本身又是對(duì)詞匯-語法的體現(xiàn)，而在視覺圖像中，制圖的表達(dá)層則體現(xiàn)的是視覺語法。不過，在上述兩種符號(hào)系統(tǒng)中，讀者和語篇都是通過表達(dá)層才得以聯(lián)系在一起。表達(dá)層對(duì)具體媒介和語篇具體體現(xiàn)形式的選擇不僅使自身得以體現(xiàn)，使內(nèi)容、語域和體裁成為一個(gè)有機(jī)的整體，同時(shí)也體現(xiàn)了特定的意識(shí)形態(tài)。因此，在由語言和圖像構(gòu)成的多模態(tài)語篇中對(duì)印刷版式和制圖的研究就顯得非常重要。其中，印刷版式主要涉及字體(版式、大小寫、字樣、字號(hào)、字體顏色、)和布局(間距、對(duì)齊)；制圖主要涉及視角(深度空間和角度)和形式(顏色、形狀、線條等)。

三 語料選擇

奧運(yùn)會(huì)會(huì)徽是奧運(yùn)會(huì)的“圖騰”，也是奧運(yùn)會(huì)最具權(quán)威性的標(biāo)志。會(huì)徽在設(shè)計(jì)上要體現(xiàn)會(huì)議的主旨、舉辦地、舉辦時(shí)間、舉辦國(地區(qū)、單位)等。會(huì)徽語篇中既有圖像、文字又有顏色，結(jié)構(gòu)上也極具有代表性，為典型的多模態(tài)語篇。與往屆奧運(yùn)會(huì)會(huì)徽不同，2012年倫敦奧運(yùn)會(huì)會(huì)徽設(shè)計(jì)打破了傳統(tǒng)，它采取了完全現(xiàn)代和西化的設(shè)計(jì)理念，將會(huì)徽主圖形、舉辦城市及年份、五環(huán)這幾項(xiàng)元素完全打散重新排列。對(duì)該會(huì)徽語篇的分析不僅能夠使我們了解各種符號(hào)模態(tài)在語篇的各個(gè)層面上是如何運(yùn)用各自的模態(tài)資源和表達(dá)方式，幫我們把握符際間的互動(dòng)和協(xié)商過程及符際間互動(dòng)和協(xié)商之后產(chǎn)生的意義上的擴(kuò)展或增加，還有助于我們更好地解讀會(huì)徽語篇所蘊(yùn)含的精神和文化內(nèi)涵。限于篇幅，本文將重點(diǎn)分析會(huì)徽語篇中概念意義構(gòu)建中的符際間互動(dòng)和協(xié)商。

以下為2012年倫敦奧運(yùn)會(huì)會(huì)徽和倫敦奧運(yùn)會(huì)官方網(wǎng)站上有關(guān)倫敦奧運(yùn)會(huì)會(huì)徽的文字解釋。

2012年倫敦奧運(yùn)會(huì)會(huì)徽以數(shù)字“2012”為主體，包含了奧林匹克五環(huán)及英文單詞倫敦(London)。這一設(shè)計(jì)抓住了2012年倫敦奧運(yùn)會(huì)的實(shí)質(zhì)，即鼓勵(lì)全世界的年輕人參加體育運(yùn)動(dòng)，體現(xiàn)奧運(yùn)價(jià)值，清晰地傳達(dá)出倫敦奧運(yùn)會(huì)的理念——“倫敦2012年奧運(yùn)會(huì)將是所有人的奧運(yùn)會(huì)、所有人的2012” 。

四 語料分析

Kressamp; van Leeuwen[6][3]指出，再現(xiàn)意義是概念功能在圖像中的再現(xiàn)與拓展，它在視覺上建構(gòu)了圖像中的事件，參與者以及環(huán)境的本質(zhì)，由圖像的尺寸、構(gòu)圖中的位置、與背景的對(duì)比、色彩飽和度、聚焦程度以及“心理凸現(xiàn)程度”(如人形，尤其是人臉對(duì)觀看者來說都具有心理凸現(xiàn)性)等方面來實(shí)現(xiàn)。在視覺語法中，參與者分為互動(dòng)參與者和表征參與者兩種?；?dòng)參與者是實(shí)際口語交際過程中的說話者和聽話者，書面語交際過程中的作者和讀者，或是圖像的制作者或觀看者；表征參與者是交際過程中互動(dòng)參與者所談?wù)摶虮碚鞯闹黝}，即言語交際中被談?wù)摰膶?duì)象，或圖像中所刻畫的人物、地點(diǎn)和事物等。根據(jù)圖像的特點(diǎn)，再現(xiàn)意義被分為敘事再現(xiàn)和概念再現(xiàn)兩種。矢量( vector)是區(qū)分?jǐn)⑹聢D像和概念圖像的標(biāo)志，由圖中的元素構(gòu)成，是這些元素形成的斜線，通常是強(qiáng)烈的對(duì)角線。在敘事圖像中，參與者之間通過矢量連接在一起，對(duì)相互做某件事，通過相互作用來體現(xiàn)他們之間的關(guān)系，而概念圖像中一般是沒有矢量的。

1.語篇布局分析。

倫敦奧運(yùn)會(huì)會(huì)徽語篇中，首先引起觀看者注意的是由幾塊變形的、夸張的2012數(shù)字經(jīng)過打散后的重組構(gòu)成的會(huì)徽主圖形，它構(gòu)成了該語篇的核心圖像。布局上，會(huì)徽把舉辦年份“2012”拆解成“20”和“12”上下組合，以圖像的形式將它們呈現(xiàn)在觀看者的面前。其中，“2”和“0”分別出現(xiàn)在圖像的左上方和右上方，上面還分別嵌有“London”字樣和奧運(yùn)五環(huán)標(biāo)志；“1”和“2”各出現(xiàn)在左下方和右下方，數(shù)字和圖像融為一體，交相輝映。一方面，圖像中的語言文字(數(shù)字“2012”和英文單詞“London”)語境化了圖像，限定了圖像的解釋范圍，約束了圖像的可能產(chǎn)生的意義，避免了觀看者對(duì)圖像產(chǎn)生的理解上的偏差；另一方面，圖像奧運(yùn)五環(huán)標(biāo)志也反過來使語言文字所表達(dá)的內(nèi)容得以語境化、具體化。

2.語篇過程分析。

這些不規(guī)則的數(shù)字看似松散，卻有著非常強(qiáng)烈的結(jié)構(gòu)感，尤其是兩個(gè)數(shù)字“2”的圖像，猶如在跑道上賽跑的兩個(gè)年輕人，都充當(dāng)著敘事再現(xiàn)行動(dòng)過程中的動(dòng)作者，兩個(gè)動(dòng)作者變換的身體姿勢(shì)與動(dòng)作者本身構(gòu)成了矢量，體現(xiàn)了現(xiàn)代社會(huì)中的年輕人不再處于靜止?fàn)顟B(tài)，而是用新技術(shù)和新媒體網(wǎng)絡(luò)武裝起來工作。同時(shí)，在此會(huì)徽的語篇中，數(shù)字“2”圖像所代表的兩個(gè)年輕人的視線也構(gòu)成了矢量。其中，左上方標(biāo)有“London”字樣的數(shù)字“2”圖像，代表倫敦年輕人(或全英國人民)，其視線投向隱藏的第三方觀看者，體現(xiàn)了倫敦向全世界發(fā)出的分享、參與2012年奧運(yùn)會(huì)的邀請(qǐng)。右下方數(shù)字“2”圖像，代表全世界年輕人(或全世界人民)，其視線投向左上方標(biāo)有“London”字樣的數(shù)字“2”圖像和右上方標(biāo)有“奧運(yùn)五環(huán)”字樣的變形數(shù)字“0”圖像，形成強(qiáng)烈的對(duì)角線，表達(dá)了全世界人民積極參與，共同分享和點(diǎn)燃倫敦奧運(yùn)的激情與夢(mèng)想。介于“2”“0”“1”“2”四個(gè)圖像中間的正方形，將圖像的主體內(nèi)容包含進(jìn)去，象征著年輕人可以跨越體育和地域的界限，手拉手相聚在奧運(yùn)的五環(huán)旗下。

3.語篇所使用的顏色分析。

Kressamp; van Leeuwen[3]認(rèn)為，顏色也具有概念功能，它可以用來表征人物、地點(diǎn)和事件，或更為抽象的概念。例如，國旗的顏色既反映了不同的政治、經(jīng)濟(jì)、文化、宗教和民族精神。倫敦奧運(yùn)會(huì)會(huì)徽顏色一共有四種，分別是粉色、橙色、藍(lán)色和綠色，可根據(jù)不同場(chǎng)合的需要使用不同顏色的會(huì)徽。粉色是介于“黃色”和“綠色”之間的一種顏色，代表著甜美、浪漫、純真、健康、高貴和極致；橙色極為明亮，它傳遞給觀看者一種健康、興奮、溫暖、歡樂的感覺，同時(shí)也象征著智慧、繁榮、壯嚴(yán)和尊貴；藍(lán)色非常純凈，通常讓人聯(lián)想到海洋、天空、水和宇宙，是永恒的象征；綠色是大自然的代表色，象征和平與友善，人類與自然環(huán)境協(xié)同發(fā)展、和諧共進(jìn)。這四種色彩色調(diào)高，純度高，飽和度高，明度高，給觀看者帶來強(qiáng)烈的視覺沖擊，它在向觀看者顯示出生命的自由、奔放、無限活力和人們參與奧運(yùn)會(huì)的無限激情時(shí)，也呈現(xiàn)出一個(gè)嶄新的、豐富多彩的世界。特別是會(huì)徽中藍(lán)色和綠色的使用，體現(xiàn)著現(xiàn)代年輕人的朝氣蓬勃、自強(qiáng)不息。這與倫敦奧運(yùn)會(huì)所倡導(dǎo)的通過奧林匹克精神吸引人們參與奧運(yùn)，用奧運(yùn)精神感召和影響全球的年輕人的理念不謀而合。此外，圖像中平淡的純色大背景體現(xiàn)了Kressamp; van Leeuwen[6]所提到的現(xiàn)代化理念，這也是倫敦奧組委主席塞巴斯蒂安·科在倫敦奧運(yùn)會(huì)會(huì)徽發(fā)布會(huì)上所提到的倫敦奧運(yùn)會(huì)理念之一。同時(shí)，白色的文字和明亮的色彩形成了強(qiáng)烈的對(duì)比，彰顯了倫敦奧運(yùn)會(huì)的主旨。

4.語篇中的語言文字版式分析。

倫敦奧運(yùn)會(huì)會(huì)徽語篇采用了國際化的設(shè)計(jì)語言，即幾何形狀的數(shù)字和國際通用語言英語。這種設(shè)計(jì)不僅體現(xiàn)了“開放概念”，即全世界人民(不論民族、國籍、種族、宗教、年齡、語言)都能一目了然、并準(zhǔn)確地解讀其意義，也體現(xiàn)了文化的包容性，即它可以是屬于任何國家、任何人的，而不僅僅是倫敦的，這也是歷屆奧運(yùn)會(huì)和倫敦奧運(yùn)會(huì)的奧運(yùn)精神所在：和平、友誼、進(jìn)步、自強(qiáng)不息。

五 結(jié)語

綜上所述，在奧運(yùn)會(huì)會(huì)徽這樣的多模態(tài)語篇中，圖像、顏色和印刷版式等符號(hào)資源與語言文字符號(hào)一同都參與了概念意義的建構(gòu)，并且成為概念意義中的不可或缺的一部分，忽視其中的任何一種符號(hào)資源都會(huì)引起對(duì)語篇概念意義理解的偏差或?qū)φZ篇的不完整、錯(cuò)誤的詮釋。各種符號(hào)資源之間不只是簡單的并列關(guān)系，而是在各個(gè)層面上相互補(bǔ)充和協(xié)調(diào)，相互語境化，共同完成整體語篇的建構(gòu)。除此之外，語篇的理解依賴于語境，只有將語篇中的各種符號(hào)資源置于社會(huì)文化這樣的大背景之下，我們才能準(zhǔn)確解讀它們的內(nèi)涵。同時(shí)，對(duì)多模態(tài)語篇的分析，不能只局限于語義層面的分析，還要通過對(duì)語義層面的分析來挖掘隱藏在語篇背后的意識(shí)形態(tài)。

[1]Halliday M A K.篇章 語篇 信息——系統(tǒng)功能語言學(xué)視角[J].北京大學(xué)學(xué)報(bào)， 2011(1):137-146.

[2]胡壯麟.社會(huì)符號(hào)學(xué)研究中的多模態(tài)化[J].語言教學(xué)與研究,2007(1):1-10.

[3]Iedema R. Multimodality, Resemiotization: Extending the Analysis of Discourse as M ultisemiotic Practice[J].Visual Communication,2003(1):29-57.

[4]O’Tool, M. The Language of Displayed Art. London and New York: Rouledge, 1994．

[5]Kress, G. amp; Van Leeuwen, T．Reading Images[M]．London：Rouledge，2006．

[6]Kress, G. amp; Van Leeuwen, T．Reading Images[M]．London：Rouledge，1996．

[7]Lim, F. V. Developing an Integrative Multi-Semiotic Model[C] O’Halloran K L ( ed. ). Multimodal Discourse Analysis: Systemic-Functional Perspectives.New York:Continuum,2004:220-246.

ClassNo.:H313DocumentMark：A

(責(zé)任編輯：鄭英玲)

IntersemiosisintheConstructionofMultimodalDiscourse

Shang Ximei

This paper takes Kress amp; van Leeuwen’s visual grammar and Lim’s interactive multi-semiotic model as its theoretical basis, London 2012 Olympic Logo as its data and analyzes the function played by semiotic resources like image, words, color and typographies in the making of ideational meaning by which it aims to demonstrate how multimodal resources function inter-semiotically to make meaning, more importantly to create large patterns of social context, culture and ideology.

visual grammar；interactive multi-semiotic model；ideational meaning；ideology

尚喜梅，講師，長治學(xué)院外語系。研究方向：功能語言學(xué)及第二外語教學(xué)。

1672-6758(2012)12-0056-3

H313

A