馬 瑩　馬 彪

(黑龍江大學(xué), 哈爾濱 150080/吉林師范大學(xué), 四平 136000；黑龍江大學(xué), 哈爾濱 150080)

1　引言

傳統(tǒng)話語分析中的主要理論和方法都是以語言為研究對(duì)象，只注意語言系統(tǒng)和語義結(jié)構(gòu)本身及其與社會(huì)文化和心理認(rèn)知之間的關(guān)系，忽視圖像、聲音、顏色等其他意義的表現(xiàn)形式。隨著新媒體和交際技術(shù)的不斷發(fā)展，多模態(tài)話語逐漸替代單模態(tài)，成為主流，其重要性引起人們的注意，20世紀(jì)90年代以后，話語分析領(lǐng)域出現(xiàn)多模態(tài)轉(zhuǎn)向。(馮德正 2017：5)人們認(rèn)識(shí)到僅僅從語言角度已經(jīng)不能對(duì)話語進(jìn)行有效地分析，因?yàn)楹芏鄷r(shí)候交際是運(yùn)用多種感官同時(shí)進(jìn)行的，以多種感官進(jìn)行交際而產(chǎn)生的話語是多模態(tài)話語。在功能語言學(xué)理論基礎(chǔ)上發(fā)展起來的話語分析理論從社會(huì)符號(hào)學(xué)的角度來看待交際系統(tǒng)，認(rèn)為每個(gè)模態(tài)來自一個(gè)符號(hào)系統(tǒng)，每個(gè)符號(hào)系統(tǒng)具有各自的系統(tǒng)和功能特征。Kress和van Leeuwen指出，“用多模態(tài)這個(gè)術(shù)語表示我們交際方式很少由一種，即語言，來進(jìn)行，而是同時(shí)通過幾個(gè)模態(tài)，即多模態(tài)，把視覺、聲音、語言等結(jié)合起來進(jìn)行”。張德祿結(jié)合以上二者觀點(diǎn)提出，“多模態(tài)話語是通過多種手段和符號(hào)資源，綜合運(yùn)用聽覺、視覺、觸覺等多種感覺進(jìn)行交際的現(xiàn)象”(張德祿 2009：24)。國(guó)內(nèi)外學(xué)者在多模態(tài)話語理論和應(yīng)用方面展開的研究涉及多模態(tài)外語教學(xué)、會(huì)議PPT文本、電影海報(bào)、廣告語篇等方面(Kress,van Leeuwen 1996:149-187;李戰(zhàn)子 2003:1-8；胡壯麟 2011:1-5;朱永生 2007:82-86;顧曰國(guó) 2007:3-12;張德祿 2009:24-30;馬瑩 2016:148-151)，但對(duì)新媒體話語形式之一的政務(wù)微博語篇的研究相對(duì)較少。根據(jù)《2016年度政務(wù)微博綜合影響力報(bào)告》，全國(guó)除港澳臺(tái)以外的省級(jí)及以下地方政府有80%以上已開通政務(wù)微博，其中僅以文字模態(tài)出現(xiàn)的單模態(tài)語篇占語篇總數(shù)的30%左右，而以多種模態(tài)組合形成的多模態(tài)語篇占語篇總數(shù)的70%左右，可見對(duì)語篇意義建構(gòu)的研究成為理解多模態(tài)政務(wù)微博語篇的重要方面。本文嘗試對(duì)2016年12月27日共青團(tuán)中央發(fā)布的一條政務(wù)微博(如下圖)進(jìn)行多模態(tài)話語分析，探討多模態(tài)政務(wù)微博語篇中模態(tài)間的關(guān)系及各模態(tài)間建構(gòu)意義的方式。

2　理論框架

2.1 三大元功能理論

系統(tǒng)功能語言學(xué)認(rèn)為，語言的性質(zhì)決定人們對(duì)語言的要求，即語言所必須完成的功能。Halliday把語言無限可能的功能歸納為三大概括性的功能，即“三大元功能”——概念功能、人際功能和語篇功能。概念功能指語言是對(duì)存在于主客觀世界的事物和過程的反映，是所說的內(nèi)容在語言范疇中的表現(xiàn)。概念功能中的經(jīng)驗(yàn)功能主要由及物性過程來體現(xiàn)，反映經(jīng)驗(yàn)關(guān)系，及物性過程主要分為6種：物質(zhì)過程、心理過程、關(guān)系過程、行為過程、言語過程和存在過程。人際功能指說話人和受話人之間的互動(dòng)關(guān)系，說話人說話時(shí)所持的態(tài)度及說話人用語言表達(dá)對(duì)現(xiàn)實(shí)世界的看法，實(shí)現(xiàn)人際功能的手段主要包括語氣、情態(tài)、人稱和評(píng)價(jià)4個(gè)方面。語篇是實(shí)際使用中表達(dá)思想相對(duì)完整的單位，語篇功能是純理功能的核心，語篇功能由主位結(jié)構(gòu)、信息結(jié)構(gòu)和銜接手段來體現(xiàn)。

2.2 視覺語法理論

Kress和van Leeuwen在系統(tǒng)功能語法理論基礎(chǔ)上建立分析圖像的視覺語法理論框架,對(duì)應(yīng)功能語言學(xué)的三大元功能，視覺語法提出圖像的3種意義：再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義(Kress, van Leeuwen 1996:149-187)。再現(xiàn)意義指出任何符號(hào)模態(tài)都可以再現(xiàn)客觀事物及其與外部世界的關(guān)系，根據(jù)矢量分為敘述再現(xiàn)和概念再現(xiàn)，其中敘述再現(xiàn)包括行動(dòng)過程、言語過程、反應(yīng)過程和心理過程；概念再現(xiàn)包括關(guān)系過程和存在過程?；?dòng)意義反映圖像制作者、圖像表征事物和觀看者之間的特殊關(guān)系，并通過接觸、距離和視角3個(gè)方面來體現(xiàn)?！敖佑|”反映表征參與者與互動(dòng)參與者之間的關(guān)系， “距離”表現(xiàn)在圖像中運(yùn)用的特寫鏡頭、中鏡頭、長(zhǎng)鏡頭都會(huì)反映表征參與者與互動(dòng)參與者之間的親密程度?！耙暯恰奔磮D像拍攝的視角，它也能體現(xiàn)對(duì)圖像元素的態(tài)度。構(gòu)圖意義主要通過信息值和和顯著性來實(shí)現(xiàn)。Kress和van Leeuwen闡述構(gòu)圖意義的信息分布,圖像上位傳遞理想信息，圖像下位傳遞現(xiàn)實(shí)信息，圖像從左到右是已知信息到新信息的分布，從圖像中間到圖像邊緣是信息重要性逐漸遞減的體現(xiàn)。顯著性通過背景位置、虛實(shí)、色調(diào)和對(duì)比度等方式表現(xiàn)。

3　多模態(tài)政務(wù)微博語篇的意義建構(gòu)

我們按照多模態(tài)分解、單模態(tài)意義建構(gòu)、模態(tài)間關(guān)系考察、多模態(tài)意義重構(gòu)的思路對(duì)語料進(jìn)行考察，首先對(duì)多模態(tài)語料進(jìn)行模態(tài)分解，語料可分成圖像、文字、表情3種模態(tài)，然后運(yùn)用三大元理論和視覺語法理論分別對(duì)圖像模態(tài)、文字模態(tài)、表情模態(tài)進(jìn)行意義建構(gòu)，最后考察各模態(tài)話語之間的關(guān)系，從而重構(gòu)多模態(tài)政務(wù)微博語篇的整體意義。

3.1 政務(wù)微博單模態(tài)意義建構(gòu)

3.11 文字模態(tài)意義建構(gòu)：

概念意義主要由及物性表現(xiàn)，下面我們對(duì)語料全文進(jìn)行及物性分析。

表1　及物性過程百分比

從表1可以看出，物質(zhì)過程最多，占整個(gè)語篇的65%，心理過程、行為過程、關(guān)系過程各占10%，言語過程僅出現(xiàn)一次，占5%，整個(gè)語篇中沒有出現(xiàn)存在過程。2個(gè)心理過程的感知者都是病重的爺爺，表明他希望見到奶奶的迫切心情，在19個(gè)過程中，爺爺、奶奶作為動(dòng)作者、感知者和言語者的過程有15個(gè)，占過程總數(shù)的79%，說明在該新聞?wù)Z篇中爺爺奶奶是報(bào)道重點(diǎn)和關(guān)鍵內(nèi)容。

從人際意義看，語料通篇用陳述句給予讀者信息，信息交流較大，除句型以外，“情態(tài)”也是表達(dá)人際意義的重要因素，語篇中出現(xiàn)表情態(tài)的詞“奢望”“緊緊”，表明兩位老人牽手不易，牽手后久久不愿分離的態(tài)度。

從語篇意義看，語篇是有意義的表述集合，經(jīng)驗(yàn)意義和人際意義最終還要通過語篇來表現(xiàn)。經(jīng)過分析，文字模態(tài)語料中主位都呈無標(biāo)記性，這說明句子的主語是主位，是已知信息，主位后的述位部分是要傳達(dá)的新信息，這符合新聞?wù)Z篇中突出敘事功能的原則。

3.12 圖像模態(tài)意義建構(gòu)

再現(xiàn)意義是在視覺上建構(gòu)圖片中的事件、參與者及環(huán)境，一般分為敘事再現(xiàn)和概念再現(xiàn)，敘事再現(xiàn)通過動(dòng)態(tài)實(shí)現(xiàn)，再現(xiàn)圖像參與者相互做某事，概念再現(xiàn)通過靜態(tài)實(shí)現(xiàn)，描述參與者的屬性、意義和特征等(胡圣煒 2008:22)。矢量是區(qū)分二者的唯一標(biāo)準(zhǔn)，圖像中的元素構(gòu)成強(qiáng)烈地對(duì)角線形成矢量，這是敘事再現(xiàn)的典型特征。語料的圖片中奶奶握著爺爺?shù)氖终谡f話。圖片有4個(gè)矢量，第一個(gè)矢量由奶奶握著爺爺?shù)氖謽?gòu)成，它是及物表示動(dòng)作過程的敘事圖像，動(dòng)作的發(fā)出者是奶奶，目標(biāo)人物是爺爺。第二個(gè)矢量由爺爺和奶奶之間的目光構(gòu)成，它是及物表示心理過程的敘事圖像，爺爺是再現(xiàn)參與者，奶奶是被感知的對(duì)象。第三個(gè)矢量由奶奶與爺爺之間的對(duì)話構(gòu)成，它是表示言語過程的敘事圖像，說話人是奶奶，受話人是爺爺。第四個(gè)矢量由站在床頭的人與爺爺奶奶之間的目光構(gòu)成。以上4個(gè)矢量都與爺爺奶奶相關(guān)，并從爺爺奶奶在構(gòu)圖中的大小、位置、顯著度看出，爺爺奶奶是該圖片中的核心對(duì)象，是最突顯的再現(xiàn)參與者。

圖片的互動(dòng)意義中包含再現(xiàn)參與者與互動(dòng)參與者兩類，新聞報(bào)道中前者為圖片中的人物，后者為報(bào)道者和讀者，相應(yīng)地互動(dòng)關(guān)系可體現(xiàn)為：圖片中對(duì)象之間的關(guān)系，報(bào)道者對(duì)報(bào)道對(duì)象的態(tài)度和報(bào)道目的，讀者對(duì)報(bào)道對(duì)象的態(tài)度和圖片在讀者中產(chǎn)生的影響。Kress 和van Leeuwen指出，互動(dòng)關(guān)系的實(shí)現(xiàn)要素為接觸、社會(huì)距離、態(tài)度和情態(tài)。接觸是圖像中再現(xiàn)參與者視線直視互動(dòng)參與者，與互動(dòng)參與者形成想象中的接觸，這類圖像被稱為“索取”類圖像，表達(dá)某種明確的態(tài)度。圖像中再現(xiàn)參與者視線與互動(dòng)參與者無接觸時(shí)，這就是“給予”類圖像，給予報(bào)道信息，反映主觀性程度(Kress,van Leeuwen 2006:47)。通過分析，語料圖片中人物與讀者沒有目光接觸，此圖片為提供類圖像，提供的信息是：病床上奶奶握著爺爺?shù)氖终谡f話。社會(huì)距離指取景框架大小體現(xiàn)出圖像中再現(xiàn)參與者與互動(dòng)參與者的距離和關(guān)系，如果圖片中出現(xiàn)特寫鏡頭就拉近兩種參與者的距離，也稱為人際距離，表達(dá)親近感。如果圖片中能看到人物整體及周圍環(huán)境，就體現(xiàn)社會(huì)距離。如果使用長(zhǎng)鏡頭拍攝，圖片人物距讀者較遠(yuǎn)，場(chǎng)景很大，即為公眾距離，表達(dá)陌生感。根據(jù)距離分析，在語料圖片中僅能看到人物周圍部分環(huán)境和場(chǎng)景，人物占整個(gè)框架三分之二，是親密的人際距離，這增強(qiáng)圖像中爺爺奶奶與讀者的關(guān)系，讓讀者產(chǎn)生身臨其境的感覺，對(duì)人物和事件印象深刻。態(tài)度指觀看圖片時(shí)采用的視角，這種視角體現(xiàn)再現(xiàn)參與者與互動(dòng)參與者的關(guān)系，圖片一般采用水平視角和垂直視角拍攝，平視表達(dá)參與權(quán)與平等權(quán)，仰視意味著表述權(quán)，俯視表達(dá)強(qiáng)勢(shì)地位。語料中的圖片采用水平拍攝視角，表達(dá)圖片中人物與讀者的平等關(guān)系，即：爺爺奶奶跟我們一樣是普通人，事件發(fā)生在我們身邊，同時(shí)又讓互動(dòng)參與者感同身受，聯(lián)系自身，引起強(qiáng)烈共鳴。最后由圖片色彩飽和度、深度、亮度、細(xì)節(jié)等方面構(gòu)成的情態(tài)是語篇可信度與真實(shí)性的重要參照因素，語料中的圖片為了還原再現(xiàn)“醫(yī)院中病重的爺爺奶奶牽手，約定來生還要一起走”的情景，攝影師采用中飽和度的自然色彩，細(xì)節(jié)體現(xiàn)為：老人的白發(fā)、年老松弛的肌膚、正在說話的嘴型等，圖片具有較高的真實(shí)度，符合新聞?wù)Z篇的交際目的。

圖片的構(gòu)圖意義相當(dāng)于功能語法的語篇意義，是指圖像的再現(xiàn)成分與互動(dòng)成分整合成一個(gè)有意義的整體(韋琴紅2009:42)。從構(gòu)圖的信息值看，爺爺奶奶牽手位于圖像下位，是圖像傳遞的現(xiàn)實(shí)信息，病重的爺爺位于圖像左側(cè)是已知信息，奶奶在圖片右側(cè)是新信息，從中間向邊緣表示信息重要度遞減，病床上的爺爺奶奶是圖片中的重要信息。從構(gòu)圖的顯著性看，爺爺奶奶被放置在鏡頭的中間，成為“前景”，其他人員和奶奶肩膀上的手都成為“背景”。與再現(xiàn)意義和互動(dòng)意義相比，構(gòu)圖意義雖然沒有直接傳遞出多模態(tài)語篇的交際意義，但在整體表現(xiàn)在線意義和互動(dòng)意義和效果時(shí)是不可或缺的。可以看出圖像模態(tài)中的構(gòu)圖意義表達(dá)整體性，再現(xiàn)意義表達(dá)個(gè)體性，而互動(dòng)意義則是具體性的體現(xiàn)。

3.13 表情模態(tài)意義建構(gòu)

3.2 多模態(tài)政務(wù)微博語篇中模態(tài)間關(guān)系考察

Kress和van Leeuwen(2001:20) 在多模態(tài)定義中提到模態(tài)之間的強(qiáng)化、補(bǔ)充和層次性關(guān)系。代樹蘭(2017：2-3)強(qiáng)調(diào)“圖像的崛起”和“圖像轉(zhuǎn)向”。張德祿(2009:26)將模態(tài)間關(guān)系分為互補(bǔ)關(guān)系(強(qiáng)化與非強(qiáng)化)和非互補(bǔ)關(guān)系(交疊、內(nèi)包和語境)兩類?！盃苛耸值氖?，來生還要一起走”多模態(tài)政務(wù)微博語篇中出現(xiàn)3種模態(tài)：文字模態(tài)、圖像模態(tài)、表情模態(tài)，所以我們從文字模態(tài)和表情模態(tài)、文字模態(tài)和圖像模態(tài)、圖像模態(tài)和表情模態(tài)3種關(guān)系進(jìn)行考察。

其次是錨定和證實(shí)關(guān)系。語料中文字是對(duì)圖片的錨定，僅出現(xiàn)爺爺奶奶病床上牽手的圖片，我們不能確定圖像中具體人物和事件，有了文字就能錨定圖片中的信息，使信息更加清晰和具體。圖像是對(duì)文字的證實(shí)，證實(shí)文字模態(tài)表意的真實(shí)性和可信度，爺爺奶奶病床牽手圖片表明事件真相、增加新聞信度。文字中“馮爺爺器官衰竭，自知時(shí)日不多”，圖片中看到瘦弱的馮爺爺躺在病床上、帶著氧氣罩，文字中“奶奶緊緊拉起丈夫的手”，圖片中看到奶奶一只手緊緊拉住爺爺?shù)氖郑硪恢皇掷鵂敔數(shù)谋蹚?，文字中“奶奶說:‘我會(huì)照顧好自己的，等我好了，我就去找你?！眻D片中看到奶奶正在對(duì)著爺爺講話，圖片直觀再現(xiàn)出文字所描述的情景，圖片內(nèi)容是對(duì)文字內(nèi)容的證實(shí)。

第三是強(qiáng)化與補(bǔ)充關(guān)系。圖像與表情互為強(qiáng)化與補(bǔ)充關(guān)系，前者展示客觀事實(shí)，后者表明主觀態(tài)度；前者具有新聞的嚴(yán)肅性，后者具有微博的娛樂性，二者互為補(bǔ)充。在本語料中，文字是主模態(tài)，提供最大信息，圖像模態(tài)和表情模態(tài)為次要模態(tài)，二者與文字模態(tài)共同實(shí)現(xiàn)整體意義。多模態(tài)語篇中的言語具有動(dòng)態(tài)性、持續(xù)性，在時(shí)間性上有優(yōu)勢(shì)，圖像與表情具有極強(qiáng)的表現(xiàn)力，在空間性上有優(yōu)勢(shì)，3種模態(tài)同時(shí)出現(xiàn)，時(shí)間優(yōu)勢(shì)和空間優(yōu)勢(shì)相結(jié)合，各模態(tài)形成協(xié)調(diào)關(guān)系，相互協(xié)調(diào)中傳達(dá)交際者的最終意圖，所以3種模態(tài)整體關(guān)系為協(xié)調(diào)互補(bǔ)型關(guān)系。

3.3 多模態(tài)語篇意義重構(gòu)

語料中文字模態(tài)側(cè)重傳達(dá)新聞事件基本敘事意義，表情模態(tài)渲染文字的表意氣氛，圖像模態(tài)更具體地證實(shí)文字的真實(shí)性，3種模態(tài)協(xié)調(diào)互補(bǔ)最終完成語篇整體意義的建構(gòu)，把一個(gè)發(fā)生在病房里的“愛情故事”真實(shí)、自然地展現(xiàn)在我們面前。沒有轟轟烈烈、海誓山盟，真實(shí)的場(chǎng)景、簡(jiǎn)單的牽手、平實(shí)的語言讓每一個(gè)讀者動(dòng)容，我們都能感受到整個(gè)語篇傳達(dá)出“陪伴是最好的告白、珍惜身邊人”等正能量信息。在政務(wù)微博，特別是非名人新聞中，這條微博引起廣泛關(guān)注及良好互動(dòng)，3天內(nèi)轉(zhuǎn)發(fā)1536次，評(píng)論866次，點(diǎn)贊6305次。我們考察評(píng)論內(nèi)容時(shí)發(fā)現(xiàn)，本條微博引起人們對(duì)往事的追憶，人們?cè)诟袆?dòng)的同時(shí)也對(duì)愛情的真諦有了重新理解。

4　結(jié)束語

本文運(yùn)用三大元功能理論及視覺語法理論，對(duì)共青團(tuán)中央發(fā)布的一條政務(wù)微博進(jìn)行多模態(tài)話語分析，運(yùn)用模態(tài)間的關(guān)系理論揭示各模態(tài)之間的互動(dòng)關(guān)系以及各模態(tài)對(duì)語篇整體意義的重構(gòu)。我們把語料中的多模態(tài)語篇分解為文字模態(tài)、圖像模態(tài)和表情模態(tài)，從概念意義、人際意義和語篇意義方面建構(gòu)文字模態(tài)意義，從再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義方面建構(gòu)圖像模態(tài)意義，同時(shí)認(rèn)為表情符號(hào)是傳遞信息的重要手段，表情模態(tài)發(fā)揮其在整體語篇中的娛樂功能和輔助交際功能。多模態(tài)政務(wù)微博“牽了手的手，來生還要一起走”以文字模態(tài)為主、圖像模態(tài)和表情模態(tài)為輔，3種模態(tài)協(xié)調(diào)互補(bǔ)共同建構(gòu)語篇整體意義，傳達(dá)出政務(wù)微博中宣揚(yáng)真愛的正能量意圖。

代樹蘭. 多模態(tài)話語中各模態(tài)之間關(guān)系的研究[J]. 外語學(xué)刊, 2017(6).

馮德正. 多模態(tài)語篇分析的基本問題探討[J]. 北京第二外國(guó)語學(xué)院學(xué)報(bào), 2017(3).

顧曰國(guó). 多媒體、多模態(tài)學(xué)習(xí)剖析[J].外語電化教學(xué), 2007(4).

胡圣煒. 從社會(huì)符號(hào)學(xué)角度對(duì)征兵海報(bào)的視覺分析[J].外語研究, 2008(4).

胡壯麟. 多模態(tài)小品中的主體模態(tài)[J].外語教學(xué), 2011(4).

李戰(zhàn)子. 多模式語篇的社會(huì)符號(hào)學(xué)分析[J].外語研究, 2003(5).

馬瑩. 當(dāng)代二人轉(zhuǎn)的多模態(tài)話語分析[J].戲劇文學(xué), 2016(2).

韋琴紅. 視覺環(huán)境下的多模態(tài)化與多模態(tài)話語研究[M].北京：科學(xué)出版社, 2009.

張德祿. 多模態(tài)話語分析綜合理論框架探索[J].中國(guó)外語, 2009(1).

朱永生. 多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊, 2007(5).

Halliday, M.A.K.AnIntroductiontoFunctionalGrammar[M]. London: Edward Arnold, 1994.

Kress, G., van Leeuwen, T.ReadingImages:TheGrammarofVisualDesign[M]. London: Routledge, 1996.

Kress, G., van Leeuwen, T.MultimodalDiscourse:TheModesandMediaofContemporaryCommunication[M]. London: Arnold, 2006.