汪旖旎 魏 東 劉 鈿 雍曹楊 宋建情

(北京林業(yè)大學(xué)外語(yǔ)學(xué)院 北京 100083)

一 多模態(tài)話語(yǔ)分析概念的提出和延伸

在上個(gè)世紀(jì)五十年代初，美國(guó)語(yǔ)言學(xué)者Harris 提出話語(yǔ)分析這一研究方向之后，各個(gè)國(guó)家的話語(yǔ)分析家進(jìn)行了更深的研究，而且提出來(lái)很多話語(yǔ)分析理論和方法 (朱永生，2003)，可是大多數(shù)的理論和方法單純只是以語(yǔ)言作為研究對(duì)象，只是關(guān)注到語(yǔ)言系統(tǒng)和語(yǔ)義結(jié)構(gòu)本事以及其與社會(huì)文化和心里認(rèn)知之間的關(guān)系，然而卻忽略了比如圖像、顏色、聲音等其他意義的表現(xiàn)形式。同時(shí)，由于多媒體話語(yǔ)的發(fā)展，人們逐漸意識(shí)到多模態(tài)話語(yǔ)的價(jià)值和在現(xiàn)實(shí)中的重要作用。而現(xiàn)在多模態(tài)話語(yǔ)分析是建立在社會(huì)符號(hào)學(xué)和系統(tǒng)功能語(yǔ)言學(xué)的傳統(tǒng)基礎(chǔ)上，學(xué)者們進(jìn)行創(chuàng)新和探索，其中克瑞斯和凡利文 (2006)所構(gòu)建的分析視覺(jué)圖像的語(yǔ)法框架是最具代表性和最突出的。本文在大量文獻(xiàn)閱讀的基礎(chǔ)上，將多模態(tài)話語(yǔ)分析的概念定義如下:綜合運(yùn)用聽(tīng)覺(jué)、觸覺(jué)、視覺(jué)等多種感覺(jué)方式，通過(guò)聲音、語(yǔ)言、圖像、動(dòng)作等多種手段和符號(hào)系統(tǒng)進(jìn)行交際的現(xiàn)象或者是指超越作為社會(huì)符號(hào)的語(yǔ)言，使用兩種或者多種符號(hào)資源比如語(yǔ)言、音樂(lè)、空間、手勢(shì)等完成意義構(gòu)建的社會(huì)實(shí)踐。

二 多模態(tài)話語(yǔ)分析的研究現(xiàn)狀

(一)國(guó)外研究現(xiàn)狀

(1)在1996年，Kress＆van Leeuwen 一全面建立了社會(huì)符號(hào)學(xué)的多模態(tài)分析架構(gòu)，并第一次系統(tǒng)而全面的闡述視覺(jué)設(shè)計(jì)的語(yǔ)法，審視了圖像傳達(dá)意義的方式，在研究中還引用了大量的例子和對(duì)三維空間立體形式如雕塑等的分析。

(2)Halloran(2004)主編的《多模態(tài)話語(yǔ)分析》一書(shū)中，匯集了對(duì)兩個(gè)或兩個(gè)以上符號(hào)溝通模式所產(chǎn)生的多模態(tài)文本和話語(yǔ)的尖端研究。目前多模態(tài)話語(yǔ)分析研究的論著在教學(xué)領(lǐng)域較多而其它領(lǐng)域的相對(duì)較少，可以看出這一研究將會(huì)對(duì)語(yǔ)言學(xué)的發(fā)展和豐富當(dāng)代語(yǔ)言學(xué)理論作出一定的貢獻(xiàn)。

(二)國(guó)內(nèi)研究現(xiàn)狀曾方本 (2009)研究指出，國(guó)內(nèi)對(duì)多模態(tài)語(yǔ)篇分析的關(guān)注始于2003年，李戰(zhàn)子發(fā)表的《多模式話語(yǔ)的社會(huì)符號(hào)學(xué)分析》的論文，雖然這篇論文只是對(duì)Kress＆Van Leeuwen(1996)“視覺(jué)語(yǔ)法”進(jìn)行簡(jiǎn)單的介紹。目前在國(guó)內(nèi)的研究論文既有理論的探索也有理論的應(yīng)用。主要涉及以下的幾個(gè)方面:首先是關(guān)于多模態(tài)話語(yǔ)分析理論的引進(jìn)和介紹。語(yǔ)言學(xué)者李戰(zhàn)子從社會(huì)符號(hào)學(xué)的視角下，介紹了多模態(tài)話語(yǔ)分析理論，最先開(kāi)始了我國(guó)多模態(tài)話語(yǔ)分析理論研究。自此以后，胡壯麟，朱永生，張德祿等學(xué)者分別從多模態(tài)與計(jì)算機(jī)符號(hào)學(xué)的聯(lián)系，多模態(tài)話語(yǔ)分析的理論基礎(chǔ)與方法、多模態(tài)話語(yǔ)分析綜合研究框架等方面進(jìn)行了深入的分析研究和探討，并且從不同的角度豐富了多模態(tài)話語(yǔ)分析的理論思考和創(chuàng)新。第二是對(duì)于多模態(tài)話語(yǔ)視覺(jué)應(yīng)用的領(lǐng)域研究:第一、二維平面的圖文關(guān)系多模態(tài)研究。胡壯麟分析了PPT 圖文的意義構(gòu)建;成文＆田海龍以03年的SARS 新聞病例報(bào)告進(jìn)行深入的批評(píng)性話語(yǔ)研究分析;程春松以電影海報(bào)中的多模態(tài)話語(yǔ)為例進(jìn)行相關(guān)分析研究;勵(lì)松青、莫少斌、王紅陽(yáng)、胡丹等人研究探討了平面紙質(zhì)廣告中那種互動(dòng)圖文的多模態(tài)話語(yǔ)，韋琴紅分析了多模態(tài)媒體中的語(yǔ)篇;韋琴紅在她的專(zhuān)著中，從圖片、情態(tài)、結(jié)構(gòu)、顏色、印刷版式等視覺(jué)交流的各個(gè)方面研究了多模態(tài)話語(yǔ)。第二、在影視作品的多模態(tài)分析研究。李戰(zhàn)子、向平以《一個(gè)饅頭引發(fā)的血案》中flash 的類(lèi)型步驟作為研究對(duì)象，進(jìn)行深入的研究和探討，以符號(hào)學(xué)的視角進(jìn)行多模態(tài)話語(yǔ)分析，趙寶福以電影海報(bào)為研究案例、李妙晴以電影主題類(lèi)型，結(jié)構(gòu)，場(chǎng)景，人物，視角，片名和海報(bào)的多角度互動(dòng)分析，著重研究了電影靜態(tài)畫(huà)面和動(dòng)態(tài)畫(huà)面的多模態(tài)意義。第三是關(guān)于三維空間的多模態(tài)話語(yǔ)分析研究。胡瑾、曾蕾曾以在三維空間中的國(guó)際學(xué)術(shù)會(huì)議英語(yǔ)演講語(yǔ)篇作為案例，以多模態(tài)意義的構(gòu)建進(jìn)行了研究，指出三維空間中視覺(jué)、聽(tīng)覺(jué)、手勢(shì)等彼此結(jié)合，身體動(dòng)作在信息傳遞中發(fā)揮了同文字表達(dá)大同小異的效果。第四、電子語(yǔ)篇材料中的圖文關(guān)系的多模態(tài)研究，葉起昌探討了傳統(tǒng)符號(hào)學(xué)對(duì)圖文關(guān)系的總結(jié)，探討了后印刷的時(shí)代話語(yǔ)、超文本中圖像與文字的關(guān)系;曾蕾、梁紅艷兩人都進(jìn)行了多模態(tài)多語(yǔ)式所表現(xiàn)出來(lái)的超鏈接性和它的主要內(nèi)容。第三是關(guān)于關(guān)于口語(yǔ)語(yǔ)料問(wèn)題的多模態(tài)的相關(guān)研究，王立非，艷艷分析了多模態(tài)分析軟件ELAN 及其主要功能，并結(jié)合實(shí)例介紹了如何利用該軟件開(kāi)展應(yīng)用語(yǔ)言學(xué)研究，指出了多模態(tài)研究方法的應(yīng)用價(jià)值與現(xiàn)實(shí)意義。顧曰國(guó)依據(jù)個(gè)人實(shí)踐研究分析，詳細(xì)介紹了漢語(yǔ)現(xiàn)場(chǎng)即席話語(yǔ)多模態(tài)語(yǔ)料庫(kù)建立的基本研究方法。

三 網(wǎng)絡(luò)動(dòng)態(tài)廣告

網(wǎng)絡(luò)廣告是伴隨著近年來(lái)隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展而迅速崛起的一種新的廣告媒介形式。是繼電視、廣播、報(bào)紙、雜志等媒介之后新興的一種廣告媒介，有第五媒介之稱(chēng)。網(wǎng)絡(luò)廣告視覺(jué)表現(xiàn)力的逐步增強(qiáng)，也將使網(wǎng)絡(luò)廣告成為一種具有藝術(shù)性、審美性和巨大商業(yè)潛力的現(xiàn)代廣告形式。艾瑞在2011年發(fā)布的關(guān)于我國(guó)互聯(lián)網(wǎng)廣告的相關(guān)數(shù)據(jù)中，這一年中，我國(guó)網(wǎng)絡(luò)廣告市場(chǎng)的規(guī)模大約511.9 億元，同比去年增長(zhǎng)57.3%。這標(biāo)志著互聯(lián)網(wǎng)廣告的市場(chǎng)進(jìn)入到一個(gè)新的時(shí)代，同比報(bào)紙雜志的規(guī)模高出58.3 億元。相關(guān)的報(bào)告預(yù)測(cè)，網(wǎng)絡(luò)媒體對(duì)于傳統(tǒng)的媒體的沖擊會(huì)更加突出。在將來(lái)，網(wǎng)絡(luò)廣告市場(chǎng)的規(guī)模將繼續(xù)保持者高速的增長(zhǎng)，在今年將達(dá)到千億元的規(guī)模。

四 多模態(tài)話語(yǔ)分析的總結(jié)和展望。

本文在閱讀文獻(xiàn)的基礎(chǔ)上，結(jié)合個(gè)人的梳理，認(rèn)為:多模態(tài)話語(yǔ)已經(jīng)成為人類(lèi)言語(yǔ)交際的普遍特征。由于科學(xué)技術(shù)的發(fā)展和人類(lèi)社會(huì)生活發(fā)展需要的變化，當(dāng)代語(yǔ)篇的多模態(tài)性特征更加明顯。多模態(tài)語(yǔ)篇的意義表達(dá)方式也在悄然發(fā)生著變化，涉及到設(shè)計(jì)、生產(chǎn)、傳播等過(guò)程。多模態(tài)話語(yǔ)分析未來(lái)的發(fā)展重點(diǎn):第一個(gè)是對(duì)多模態(tài)互補(bǔ)作用的更加關(guān)注，第二個(gè)趨勢(shì)如從二維話語(yǔ)分析走向三維話語(yǔ)分析，從靜態(tài)研究走向動(dòng)態(tài)研究等。

通過(guò)大量的文獻(xiàn)閱讀，我們知道多模態(tài)的話語(yǔ)分析包羅萬(wàn)象，涉及的內(nèi)容和領(lǐng)域眾多，我們也可以預(yù)見(jiàn)其發(fā)展前景十分廣闊，但是目前在這個(gè)研究的領(lǐng)域還有很多需要需要進(jìn)一步完善的地方，很多語(yǔ)言學(xué)者對(duì)多模態(tài)話語(yǔ)分析的理論建設(shè)的研究，理論框架的構(gòu)建等方面還存在很多有爭(zhēng)議性的探索。但是不可否認(rèn)的是我們目前處于信息社會(huì)，多模態(tài)話語(yǔ)是一個(gè)客觀存在的現(xiàn)象，而多模態(tài)話語(yǔ)分析在語(yǔ)言研究領(lǐng)域還是具有很強(qiáng)的可操作性，能夠進(jìn)一步對(duì)于話語(yǔ)的分析，對(duì)于拓展人類(lèi)自然語(yǔ)言的研究有很大的價(jià)值和意義。

［1］Halliday，M.A.K.Written and Spoken Language［M］.Victoria：Deakin University Press，1985.

［2］Kress，G.Literacy in the New Media Age［M］.London：Routledge，2003.

［3］Kress，G.and van Leeuwen，T.Reading Images：The Grammar of Visual Design［C］.London：Routledge，1996.［4］胡壯麟，董佳.意義的多模態(tài)構(gòu)建—對(duì)一次PPT 演示競(jìng)賽的語(yǔ)篇分析［J］.外語(yǔ)電化教學(xué)，2006(3)：3-12.

［5］顧曰國(guó).多模態(tài)多媒體學(xué)習(xí)剖析［J］.外語(yǔ)電化教學(xué)，2007(2)：3-12.

［6］李戰(zhàn)子.多模式話語(yǔ)的社會(huì)符號(hào)學(xué)分析［J］.外語(yǔ)研究，2003(5)：1-8.

［7］劉曉琳.從多模態(tài)話語(yǔ)分析解讀英語(yǔ)詩(shī)歌［J］.齊齊哈爾大學(xué)學(xué)報(bào)，2009(4)：88-90.

［8］龍宇飛，趙璞.大學(xué)英語(yǔ)聽(tīng)力教學(xué)中元認(rèn)知策略與多模態(tài)交互研究［J］.外語(yǔ)電化教學(xué)，2009(4)：58-62.

［9］王惠萍.英語(yǔ)閱讀教學(xué)中多模態(tài)識(shí)讀能力的培養(yǎng)［J］.外語(yǔ)界，2010(5)：20-25.

［10］王立非，文艷.應(yīng)用語(yǔ)言學(xué)研究的多模態(tài)分析方法［J］.外語(yǔ)電化教學(xué)，2008(3)：8-12.

［11］辛志英.話語(yǔ)分析的新發(fā)展— —多模態(tài)話語(yǔ)分析［J］.社會(huì)科學(xué)輯刊，2008(5)：208-211.

［12］葉起昌.超文本多語(yǔ)式的社會(huì)符號(hào)學(xué)分析［J］.外語(yǔ)教學(xué)與研究，2006(6)：437-442.

［13］曾方本.多模態(tài)符號(hào)整合后語(yǔ)篇意義的嬗變與調(diào)控［J］.外語(yǔ)教學(xué)，2009(6)：28-31.

［14］朱永生.多模態(tài)話語(yǔ)分析的理論基礎(chǔ)與研究方法［J］.外語(yǔ)學(xué)刊，2007(5).

［15］陳瑜敏，王紅陽(yáng).多模態(tài)語(yǔ)篇圖像的概念意義與圖文關(guān)系［J］寧波大學(xué)學(xué)報(bào)，2008(1)：124-129.

［16］胡壯麟.社會(huì)符號(hào)學(xué)研究中的多模式化［J］.語(yǔ)言教學(xué)與研究，2007(1).

［17］張德祿.多模態(tài)話語(yǔ)分析綜合理論框架探索［J］.中國(guó)外語(yǔ)，2008(1).

［18］杜駿飛：《中國(guó)網(wǎng)絡(luò)廣告考察報(bào)告》，北京，社會(huì)科學(xué)文獻(xiàn)出版社，2007年