李 丹，蔣葉群

(湖南農(nóng)業(yè)大學(xué) 外國(guó)語(yǔ)學(xué)院，湖南 長(zhǎng)沙 410128)

多模態(tài)話語(yǔ)的非言語(yǔ)銜接研究

李 丹，蔣葉群

(湖南農(nóng)業(yè)大學(xué) 外國(guó)語(yǔ)學(xué)院，湖南 長(zhǎng)沙 410128)

在日常交際活動(dòng)中，交流雙方為達(dá)到交流目的，越來(lái)越多地采用非言語(yǔ)因素來(lái)實(shí)現(xiàn)其話語(yǔ)意義。通過(guò)分析多模態(tài)話語(yǔ)中非言語(yǔ)符號(hào)的主要類(lèi)型以及主要的銜接方式，探討多模態(tài)話語(yǔ)中非言語(yǔ)符號(hào)的應(yīng)用機(jī)制，總結(jié)出不同模態(tài)銜接的語(yǔ)言功效，從而豐富語(yǔ)言的表達(dá)形式。

多模態(tài)；非言語(yǔ)；銜接

隨著科學(xué)技術(shù)發(fā)展水平的不斷提升，人們?cè)谔剿骱驼J(rèn)識(shí)世界的水平也在不斷提高，交流方式相比以前也變得更為多元化和復(fù)雜化，根據(jù)目前我們已取得的研究成果，我們可以大膽地推測(cè)，溝通已經(jīng)不再局限于言語(yǔ)內(nèi)，還涉及到非言語(yǔ)范疇。20世紀(jì)50年代初期，美國(guó)著名語(yǔ)言學(xué)家Harris提出了話語(yǔ)分析理論，至此，國(guó)內(nèi)外話語(yǔ)分析專(zhuān)家便紛紛對(duì)此展開(kāi)研究，他們立足不同角度，針對(duì)不同問(wèn)題提出了自己的理論和研究方法，然而，他們的研究大多數(shù)是屬于言語(yǔ)范疇內(nèi)，而忽略了如圖片、音響等一系列的非言語(yǔ)因素在話語(yǔ)交流中所占據(jù)的重要地位。因此，只對(duì)交流中言語(yǔ)因素進(jìn)行研究已經(jīng)不能滿足當(dāng)前話語(yǔ)分析的需求，國(guó)內(nèi)外語(yǔ)言學(xué)專(zhuān)家開(kāi)始意識(shí)到交際中多模態(tài)話語(yǔ)的重要性。為此，20世紀(jì)90年代，西方國(guó)家逐步興起了多模態(tài)話語(yǔ)的研究。多模態(tài)話語(yǔ)是在話語(yǔ)分析基礎(chǔ)之上產(chǎn)生的一個(gè)獨(dú)立的前沿學(xué)術(shù)研究領(lǐng)域。它是指運(yùn)用聽(tīng)覺(jué)、視覺(jué)、 觸覺(jué)等多種感覺(jué)模式，通過(guò)語(yǔ)言、圖像、聲音、動(dòng)作等多種手段和符號(hào)資源進(jìn)行交際的現(xiàn)象。 此后，人們加深了對(duì)多模態(tài)話語(yǔ)的重要性和現(xiàn)實(shí)性的認(rèn)識(shí)，在之后的研究中，也逐步意識(shí)到言語(yǔ)因素和非言語(yǔ)因素在現(xiàn)代語(yǔ)言學(xué)研究中占據(jù)著同樣的地位，特別是話語(yǔ)分析，將多種模態(tài)結(jié)合起來(lái)進(jìn)行話語(yǔ)分析研究將成為一個(gè)新的課題。文章將系統(tǒng)地探討多模態(tài)話語(yǔ)的非言語(yǔ)的銜接類(lèi)型及它的應(yīng)用機(jī)制。

一、多模態(tài)話語(yǔ)

隨著電子時(shí)代、信息時(shí)代、多媒體時(shí)代的到來(lái)，人們?cè)诮涣鬟^(guò)程中已經(jīng)不僅僅采用單一的模態(tài)，需要同時(shí)用到聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)等多種模態(tài)，從而最初不被大家所重視的視覺(jué)符號(hào)以及圖像、聲音等非言語(yǔ)因素在交流中所占的地位越來(lái)越突出，因此多模態(tài)話語(yǔ)應(yīng)運(yùn)而生。最早對(duì)多模態(tài)進(jìn)行研究是西方的語(yǔ)言學(xué)家R.Barthes，2003年我國(guó)語(yǔ)言學(xué)家李戰(zhàn)子首次闡述了關(guān)于多模態(tài)話語(yǔ)理論，此后，國(guó)內(nèi)著名專(zhuān)家學(xué)者開(kāi)始展開(kāi)了對(duì)多模態(tài)話語(yǔ)的研究，其中，較為突出的有胡壯麟、朱永生、顧曰國(guó)、羅永勝等。多模態(tài)(Multimodal)也有人譯成“多模式”話語(yǔ),是指運(yùn)用聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)、嗅覺(jué)、味覺(jué)，運(yùn)動(dòng)覺(jué)等多種感覺(jué)，通過(guò)語(yǔ)言、圖像、聲音、動(dòng)作、動(dòng)漫、網(wǎng)絡(luò)等多種手段和符號(hào)資源進(jìn)行交際的現(xiàn)象.

二、多模態(tài)話語(yǔ)中常見(jiàn)非言語(yǔ)銜接類(lèi)型

多模態(tài)話語(yǔ)作為綜合聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)等多種感覺(jué)的交際現(xiàn)象，它涉及了各種符號(hào)系統(tǒng)，文章將著重討論多模態(tài)話語(yǔ)中非言語(yǔ)銜接的主要類(lèi)型，它們主要是通過(guò)身勢(shì)語(yǔ)、環(huán)境語(yǔ)和副語(yǔ)言實(shí)現(xiàn)銜接。

1.身勢(shì)語(yǔ)銜接

身勢(shì)語(yǔ)的概念最開(kāi)始是由美國(guó)著名心理學(xué)家伯德惠斯特爾提出的，它主要包括目光語(yǔ)、手勢(shì)、身體姿勢(shì)、面部表情、舉止動(dòng)作以及觸覺(jué)等方面的內(nèi)容。身勢(shì)語(yǔ)作為一種交際方式是先于語(yǔ)言而存在的，人們?cè)跊](méi)有找到共同的語(yǔ)言或者不能找到正確的表達(dá)方式進(jìn)行交流時(shí)通常會(huì)使用身勢(shì)語(yǔ)進(jìn)行交流。它具備了情感表露、象征動(dòng)作、伴隨動(dòng)作、反應(yīng)動(dòng)作、調(diào)節(jié)動(dòng)作五種功能，而多模態(tài)話語(yǔ)中，視覺(jué)模態(tài)通常涉及的就是身勢(shì)語(yǔ)，通過(guò)眼睛觀察對(duì)方的身勢(shì)語(yǔ)即可能了解到對(duì)方所要表達(dá)的意思，因此，身勢(shì)語(yǔ)可以說(shuō)是多模態(tài)話語(yǔ)中非言語(yǔ)銜接的主要類(lèi)型。

2.環(huán)境語(yǔ)銜接

環(huán)境語(yǔ)是指文化本身所造成的生理上和心理上的環(huán)境，是人們?cè)诮浑H過(guò)程中為更好地實(shí)現(xiàn)交流目的而創(chuàng)造的交流環(huán)境，它主要涉及的是時(shí)間上和空間上一些特殊的存在，如幼兒園內(nèi)的裝飾主要是一些充滿童真的物品，向孩子們傳遞了幼兒園是充滿趣味的信息，從而達(dá)到激發(fā)孩子們上學(xué)欲望的目的。而在法院則主要裝飾一些彰顯公平、公正的物品，向人們傳遞法院是主持公道、彰顯正義的信息，讓人們對(duì)法院充滿了敬畏和信賴(lài)。此外，它還涉及顏色、聲音、燈光等因素，如在心理咨詢(xún)室，它的各種裝飾以及墻面顏色都是以暖色調(diào)為主，給人們傳遞一種溫暖的信息；又如在演講進(jìn)入到最激動(dòng)人心的時(shí)候，伴奏則會(huì)選擇一些節(jié)奏較快的曲目；話劇在表演到悲傷的情節(jié)時(shí)，舞臺(tái)上的燈光就會(huì)變得昏暗，促使觀眾產(chǎn)生更為強(qiáng)烈的感覺(jué)。環(huán)境語(yǔ)作為一種非言語(yǔ)的表達(dá)方式，充分利用人們的視覺(jué)模態(tài)和聽(tīng)覺(jué)模態(tài)，使交流變得更為高效。

3.副語(yǔ)言銜接

從語(yǔ)言學(xué)的角度，副語(yǔ)言屬于一種沒(méi)有特定含義卻能表達(dá)言語(yǔ)意義的有聲行為，大多數(shù)語(yǔ)言學(xué)文獻(xiàn)將副語(yǔ)言分為狹義和廣義兩種，狹義的副語(yǔ)言指伴隨語(yǔ)言的某些聲音現(xiàn)象,而廣義的副語(yǔ)言則是指無(wú)聲而有形的非言語(yǔ)現(xiàn)象，包括手勢(shì)、身勢(shì)、面部表情、對(duì)話時(shí)的位置和距離等等，本文主要探討?yīng)M義范疇的副語(yǔ)言，分別涉及到語(yǔ)言替代碼(指能取代詞或話語(yǔ)的無(wú)固定語(yǔ)義發(fā)音,包括語(yǔ)空填補(bǔ)語(yǔ)、語(yǔ)間停頓和沉默)、語(yǔ)音分隔符號(hào)以及語(yǔ)音替代符號(hào)。如在進(jìn)行演講時(shí)，演講者在即將講述自己痛苦的經(jīng)歷時(shí)會(huì)沉默幾秒，這幾秒時(shí)間使得聽(tīng)眾的情緒得到一個(gè)轉(zhuǎn)換，從某種意義上來(lái)說(shuō)，正是由于這種沉默，使得演講者的演講內(nèi)容得到一個(gè)隱性的銜接，讓聽(tīng)眾能夠更好地理解演講者的意圖。又比如，交流雙方閑聊時(shí)，因?yàn)槠渲幸环秸劶皩?duì)方難以啟齒的話題時(shí)，對(duì)方則發(fā)出了“額”等詞，通過(guò)這種隱性的銜接給對(duì)方發(fā)出自己不愿談及此事的信號(hào)，成功地避免了尷尬氣氛的產(chǎn)生，讓交流得以順利進(jìn)行。

三、多模態(tài)話語(yǔ)的主要功能

多模態(tài)話語(yǔ)作為一種綜合多種感覺(jué)，運(yùn)用多種手段和符號(hào)進(jìn)行交際的現(xiàn)象，它的功能主要體現(xiàn)在交際方面。主要有以下幾種：

第一，讓交流變得更為簡(jiǎn)單快捷。當(dāng)今社會(huì)是一個(gè)快捷社會(huì)，生活節(jié)奏變得越來(lái)越快，因此，交流方式也在追求速度，人們的交流方式逐漸由寫(xiě)信、發(fā)短信、打電話轉(zhuǎn)變成采用QQ、微信、郵件這種不僅可以通過(guò)輸入語(yǔ)言符號(hào)還可以使用非言語(yǔ)符號(hào)進(jìn)行交流的方式，相比之前使用短信等傳統(tǒng)交流方式更為迅速、方便，讓交流變得更為簡(jiǎn)單、快捷。

第二，讓交流變得更為清楚明了。人們?cè)谶M(jìn)行交流時(shí)，都渴望對(duì)方能在最短的時(shí)間里明白自己想表達(dá)的東西，而漢語(yǔ)作為一種古老的語(yǔ)言博大精深，一個(gè)標(biāo)點(diǎn)符號(hào)，或者是斷句、重讀位置的變化也可能讓意思表達(dá)發(fā)生改變，因此，人們?cè)诮涣鲿r(shí)常常會(huì)因?yàn)榻涣麟p方的身份地位、所處環(huán)境和受教育程度的不同而產(chǎn)生分歧，而多模態(tài)話語(yǔ)綜合了多種感覺(jué)多種手段和符號(hào)，在雙方進(jìn)行交流時(shí)可以采用兩種甚至多種模態(tài)同時(shí)進(jìn)行交流，讓交流變得更為清楚明了。

第三，讓交流變得更為高效。人類(lèi)是一種感性動(dòng)物，總是會(huì)受到各種信息的干擾，因此，很難做到長(zhǎng)時(shí)間的精神集中，學(xué)生上課就是最典型的，據(jù)調(diào)查，學(xué)生上課四十五分鐘內(nèi)能夠集中精神的時(shí)間最多三十分鐘，因此，現(xiàn)在越來(lái)越多的老師喜歡采用多媒體等現(xiàn)代化的教學(xué)設(shè)備，因?yàn)樗C合了聽(tīng)覺(jué)、視覺(jué)等多種感覺(jué)以及聲音、圖像等多種語(yǔ)言符號(hào)，可以更好地吸引學(xué)生的注意力，相比傳統(tǒng)的只依靠老師講授這種單一模態(tài)進(jìn)行講授的效果更為高效。

四、多模態(tài)話語(yǔ)中非言語(yǔ)銜接的應(yīng)用

語(yǔ)篇的銜接理論最開(kāi)始是由著名語(yǔ)言學(xué)家韓禮德和哈桑提出的，他們認(rèn)為文字在形成語(yǔ)篇意義時(shí)需要依靠其他的文字來(lái)實(shí)現(xiàn)便出現(xiàn)了銜接，他們將銜接手段歸納為五種類(lèi)型：指稱(chēng)、替代、省略、連接和詞匯連接，其中指稱(chēng)、替代和省略屬于語(yǔ)法銜接手段，詞匯連接(復(fù)現(xiàn)、詞匯搭配) 屬于詞匯銜接手段，連接(增補(bǔ)關(guān)系、轉(zhuǎn)折關(guān)系、因果關(guān)系和時(shí)間關(guān)系)則介于兩者之間，主要屬于語(yǔ)法銜接，但也包含詞匯的成分。這些銜接手段都是語(yǔ)言文字上的，而多模態(tài)話語(yǔ)作為一種綜合聽(tīng)覺(jué)、視覺(jué)等多種感覺(jué)、運(yùn)用多種符號(hào)和手段進(jìn)行交際的現(xiàn)象，它的銜接除了語(yǔ)篇意義上的銜接，還有非言語(yǔ)上的銜接方式，本文重點(diǎn)探討多模態(tài)話語(yǔ)中非言語(yǔ)銜接的應(yīng)用。

1.內(nèi)容的承接

多模態(tài)話語(yǔ)充分利用人的視覺(jué)、聽(tīng)覺(jué)等多種模態(tài)，通過(guò)交流者雙方交流時(shí)所展現(xiàn)的身勢(shì)語(yǔ)、環(huán)境語(yǔ)以及副語(yǔ)言等讓話題或者演講內(nèi)容實(shí)現(xiàn)了承上啟下的目的。

身勢(shì)語(yǔ)主要指依靠身體所做出的動(dòng)作及面部所呈現(xiàn)的表情來(lái)傳遞信息，它包括手勢(shì)語(yǔ)、目光語(yǔ)、面部表情等。如手勢(shì)語(yǔ)，又稱(chēng)“啞語(yǔ)”“手勢(shì)”，手勢(shì)語(yǔ)作為一種交際手段，不僅僅在聾啞人中使用，它更是作為一種銜接手段在人們的交流中得到廣泛運(yùn)用，尤其是在一些演講或者脫口秀中，手勢(shì)語(yǔ)作為一種銜接手段得到了眾多人的青睞，它的銜接方式主要是通過(guò)不同的手勢(shì)表現(xiàn)出來(lái)，如脫口秀節(jié)目《金星秀》，講述者金星在講完一個(gè)環(huán)節(jié)時(shí)都會(huì)做出兩手一攤的動(dòng)作再轉(zhuǎn)個(gè)圈告訴觀眾本環(huán)節(jié)已結(jié)束，即將進(jìn)入下一個(gè)環(huán)節(jié)。這種手勢(shì)充分利用了觀眾的視覺(jué)模態(tài)讓講述的內(nèi)容實(shí)現(xiàn)了完美的銜接，讓信息的傳遞更加簡(jiǎn)單快捷。又如目光語(yǔ)，它是指運(yùn)用眼睛動(dòng)作或者眼神來(lái)傳遞信息或情感，它只需要一個(gè)細(xì)微的動(dòng)作就能讓交流者雙方在最短的時(shí)間里了解對(duì)方想要傳遞的信息，同時(shí)，它也可以作為一種銜接方式，通過(guò)眼睛動(dòng)作來(lái)促進(jìn)交流的進(jìn)行。比如，在電視節(jié)目《超級(jí)演說(shuō)家》中，一個(gè)演講者在進(jìn)行演講的時(shí)候，剛開(kāi)始他的情緒慷慨激昂，表情十分激動(dòng)，眼神充滿了力量，突然他的眼睛低垂，眼神變得暗淡無(wú)光，這一個(gè)小小的動(dòng)作就是在告訴觀眾，演講者接下來(lái)的講述將開(kāi)始進(jìn)入煽情階段，而此時(shí)，觀眾的情緒也將由前面的慷慨激昂轉(zhuǎn)變?yōu)閭?，無(wú)需語(yǔ)言的刻意提醒，便能使演講內(nèi)容得到有效銜接，這種通過(guò)目光語(yǔ)進(jìn)行的非言語(yǔ)的銜接，讓語(yǔ)篇意義得到更為完整的體現(xiàn)。

2.情緒的調(diào)動(dòng)

演講者在進(jìn)行演講活動(dòng)時(shí)，除了用語(yǔ)言調(diào)動(dòng)聽(tīng)眾或者對(duì)方的情緒外，還常常會(huì)利用一些非言語(yǔ)的因素來(lái)調(diào)動(dòng)聽(tīng)眾的情緒，因?yàn)檫@些非言語(yǔ)因素不僅充分利用了人們的聽(tīng)覺(jué)模態(tài)而且還充分地利用了聽(tīng)眾的視覺(jué)模態(tài)，這種多模態(tài)的話語(yǔ)對(duì)調(diào)動(dòng)聽(tīng)眾的情緒通常會(huì)收獲到意想不到的效果，如環(huán)境語(yǔ)。環(huán)境語(yǔ)是綜合視覺(jué)模態(tài)、聽(tīng)覺(jué)模態(tài)、觸覺(jué)模態(tài)等多種模態(tài)的交際現(xiàn)象，文章主要討論演講者在進(jìn)行演講時(shí)，如何利用環(huán)境語(yǔ)這種非言語(yǔ)的因素達(dá)到銜接的目的。如演講者在進(jìn)行演講活動(dòng)時(shí)，會(huì)根據(jù)不同的內(nèi)容放送不同的音樂(lè)，此時(shí)，聽(tīng)眾也會(huì)根據(jù)不同的樂(lè)曲了解到演講者所講述內(nèi)容的不同而促使情緒的轉(zhuǎn)變。這種非言語(yǔ)的銜接方式既保證了交流的有序進(jìn)行，還很好地取得了交流的效果。而顏色則是通過(guò)眼、腦和我們的生活經(jīng)驗(yàn)所產(chǎn)生的一種對(duì)光的視覺(jué)效應(yīng)。不同的顏色代表著不同的意義，比如白色代表純潔、紅色代表喜慶等，因此，人們?cè)谶M(jìn)行交流時(shí)通?？梢酝ㄟ^(guò)顏色的轉(zhuǎn)變實(shí)現(xiàn)銜接，這種銜接方式在演講活動(dòng)中最為常見(jiàn)。在進(jìn)行演講時(shí)，燈光師通常會(huì)根據(jù)演講者講述的不同內(nèi)容對(duì)燈光進(jìn)行調(diào)解，如演講者在講述讓人高興的故事時(shí)燈光通常以暖色調(diào)為主，而講述悲傷的故事時(shí)燈光通常以冷色調(diào)為主，這種燈光顏色的切換讓演講內(nèi)容的銜接變得更為自然，也很好地調(diào)動(dòng)了觀眾的情緒。

3.話語(yǔ)的暗示

在多模態(tài)話語(yǔ)中，非言語(yǔ)銜接充分利用聽(tīng)眾的聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)等多種模態(tài)，不僅能夠?qū)崿F(xiàn)內(nèi)容上的承上啟下以及調(diào)動(dòng)聽(tīng)眾或者交流雙方的情緒，同時(shí)它還能夠?qū)υ捳Z(yǔ)起到一定的暗示作用，話題講述者只需要利用一些非言語(yǔ)的因素如身勢(shì)、環(huán)境語(yǔ)以及副語(yǔ)言(狹義)就能暗示接受者。比如一個(gè)肯定的眼神就是在暗示對(duì)方我對(duì)他的話題很感興趣，他可以繼續(xù)講下去；在一些講座或者演講中主持人一個(gè)擺手有可能是在示意觀眾們坐下，暗示節(jié)目即將開(kāi)始，現(xiàn)場(chǎng)的觀眾請(qǐng)保持安靜；學(xué)生在回答問(wèn)題時(shí)停頓、沉默或者是不斷的發(fā)出“uh”等詞語(yǔ)，就是在暗示老師他可能不知道問(wèn)題的答案，這種依靠人的視覺(jué)、聽(tīng)覺(jué)等模態(tài)，通過(guò)非言語(yǔ)銜接，不僅能夠?qū)崿F(xiàn)話題講述者的意圖，還能讓交流更好地進(jìn)行。

多模態(tài)話語(yǔ)中非言語(yǔ)的銜接主要是通過(guò)身勢(shì)語(yǔ)和環(huán)境語(yǔ)得以實(shí)現(xiàn)的，一個(gè)手勢(shì)的運(yùn)用、一個(gè)轉(zhuǎn)身、又或者是眼神的交流、面部表情的改變，甚至是音量大小、舞臺(tái)燈光顏色的轉(zhuǎn)換，都可以給交流雙方傳遞大量的信息，這些非言語(yǔ)的交際手段很好地為交流者、演講者在進(jìn)行交流或者在闡述話題時(shí)實(shí)現(xiàn)完美的銜接，讓交流變得更為簡(jiǎn)單、高效。

[1]O’Halloran,Kay L. Multimodal Discourse Analysis: Systemic-Functional Perspectives [C].London:Continuum, 2004.

[2]Lim Fei,V.Developing an integrative multi-semiotic model[A].In O’Halloran,Kay L. Multimodal Discourse Analysis: Systemic-Functional Perspectives [C].London:Continuum,2004:220-246.

[3]顧曰國(guó).多媒體、多模態(tài) 學(xué)習(xí)剖析[J].外語(yǔ)電化教學(xué),2007(2):3-12.

[4]韋琴紅.論多模態(tài)話語(yǔ)中的模態(tài)、媒介與情態(tài)[J].外語(yǔ)教學(xué),2009(7):54-57.

[5]張德祿.語(yǔ)篇銜接中的形式與意義[J].外國(guó)語(yǔ),2005(9):32-38.

[6]張德祿.多模態(tài)話語(yǔ)分析綜合理論框架探索[J].中國(guó)外語(yǔ),2009(1):24-30.

[7]周紅云.銜接在功能語(yǔ)篇分析中的應(yīng)用[J].外語(yǔ)與外語(yǔ)教學(xué),2006(7):22-24.

[8]朱永生.多模態(tài)話語(yǔ)分析的理論基礎(chǔ)與研究方法[J].外語(yǔ)刊,2007(5):82-86.

Class No.:H030 Document Mark：A

(責(zé)任編輯：宋瑞斌)

Non-verbal Cohesion in Multi-modal Discourse

Li Dan, Jiang Yequn

(School of Foreign Languages, Hunan Agricultural University, Changsha, Hu'nan 410128，China)

In order to achieve the purpose of daily communication,, more and more people like to use nonverbal factors to realize its utterance meaning. Through analyzing the main types and cohesive ways of nonverbal factor in multimodal discourse, we explore the application mechanism of nonverbal factor in multimodal discourse and the different modes of convergence of language effect so as to enrich the expression of the language.

multimodal; nonverbal; cohesion

李丹，碩士，教授，湖南農(nóng)業(yè)大學(xué)。 蔣葉群，在讀碩士，湖南農(nóng)業(yè)大學(xué)。

1672-6758(2017)07-0142-4

H030

A