呂行

摘 要：多模態(tài)語篇的人際功能為語篇編寫者與讀者之間搭建了溝通的橋梁。多模態(tài)語篇通過語言、圖像、字體等模態(tài)傳遞人際意義。近年來，多模態(tài)語篇的意義構(gòu)建一直是研究的重點(diǎn)和難點(diǎn)。本文通過對一篇多模態(tài)文化語篇的分析，闡釋了各符號系統(tǒng)人際功能的具體體現(xiàn)形式，同時(shí)探討了兩個(gè)系統(tǒng)如何通過符際互補(bǔ)性構(gòu)建人際意義。

關(guān)鍵詞：多模態(tài)語篇；人際意義；符際互補(bǔ)性

中圖分類號：H05 文獻(xiàn)標(biāo)識碼：A 文章編號：1009 — 2234（2018）07 — 0168 — 03

一、引言

隨著科學(xué)技術(shù)的發(fā)展，各種符號資源如聲音、圖像、動畫等已融入到了我們生活的方方面面。語言學(xué)研究者們也逐漸將研究重點(diǎn)由傳統(tǒng)語言語篇分析轉(zhuǎn)向了多模態(tài)語篇分析。多模態(tài)語篇與傳統(tǒng)語言語篇一樣，具有三大元功能：概念功能、人際功能和語篇功能。胡壯麟（2007）指出，這類語篇分析既可以推動我們對語言學(xué)的研究，同時(shí)也可以加深我們對符號學(xué)的認(rèn)知。不可否認(rèn)，伴隨著越來越多的多模態(tài)語篇的出現(xiàn)，人類的互動也逐步多模態(tài)化。那么除了多模態(tài)語篇的概念意義，在人類互動過程中符號資源如何相互協(xié)作來構(gòu)建意義也是研究的重點(diǎn)。本文將以一篇文化語篇為例，探討語篇中圖像與語言系統(tǒng)通過互動整合構(gòu)建人際意義。

二、多模態(tài)語篇分析理論基礎(chǔ)

經(jīng)過實(shí)踐，許多語言學(xué)家（Matthiessen，2007；OHalloran，2004；胡壯麟，2007）都認(rèn)為，分析多模態(tài)話語，最合適的理論模式是系統(tǒng)功能語言學(xué)理論。因?yàn)樗恍枰獮檫m應(yīng)新的目的而對理論框架本身進(jìn)行改造，可以有效地為研究者提供理論支撐。

1.語言的人際功能

語言的人際功能是講話者作為參與者的意義潛勢。通過這一功能，講話者使自己參與到某一情境語境中，來表達(dá)他的思想和推斷，并試圖影響別人的思想和行為（胡壯麟，朱永生等，2017：110）。人們在交際過程中，使用語言完成最基本的兩個(gè)任務(wù)：給予或求取，所涉及的內(nèi)容分為信息、物品或服務(wù)。以上四個(gè)變項(xiàng)組成了四種最重要的言語功能：提供、命令、陳述和提問。它們由語言的語氣系統(tǒng)體現(xiàn)。人際意義的另一重要組成部分是講話者對自己的命題的成功性和有效性所做的判斷，或在命令中要求對方承擔(dān)的義務(wù)，或在提議中表達(dá)的個(gè)人意愿，這一部分由情態(tài)系統(tǒng)體現(xiàn)（胡壯麟，朱永生等，2017：146）。

2.圖像的互動功能

Kress &van; Leeuwen（2006）指出視覺交流是一個(gè)復(fù)雜的過程，這期間涉及到兩類參與者：表征參與者和互動參與者。前者指的是在圖片中出現(xiàn)的人物、事物或地點(diǎn)等；而后者指通過圖片交流的人們，也就是圖片創(chuàng)造者和圖像觀賞者。圖像系統(tǒng)的人際功能主要涉及的是圖像互動者之間的社會關(guān)系以及這些互動參與者對彼此和語篇的評價(jià)取向?；右饬x主要通過四個(gè)語義系統(tǒng)來實(shí)現(xiàn)：接觸（contact）、社會距離（social distance）、態(tài)度（attitude）和情態(tài)（modality）。

接觸指圖像參與者與圖像互動者目光對接，從而引起圖像互動者一定情感體驗(yàn)的虛擬行為。需要指出的是，在接觸過程中圖像互動者的主觀能動性對于互動意義的識讀至關(guān)重要。與語言的即時(shí)對話不同，圖像交際時(shí)互動參與者之間并沒有直接的接觸；讀者（觀看者）和作者（圖像創(chuàng)作者）都是獨(dú)自與圖像本身接觸的，因此兩者的接觸是平面的而不是立體的。在視覺交流中有一種互動關(guān)系是普遍存在的，即一個(gè)讀者與多個(gè)該圖像的創(chuàng)造者互動。接觸分為提供和求取，兩者之間的區(qū)別在于圖像參與者和互動者之間目光是否可以實(shí)現(xiàn)對接。當(dāng)圖像進(jìn)行“提供”時(shí)，通常提供的是信息；當(dāng)其“求取”時(shí)，則索取的是物品和服務(wù)或者來自讀者的回應(yīng)。接觸具體由“注視”（gaze）體現(xiàn)，即直接或間接形式的投向讀者的目光接觸。注視由一個(gè)或多個(gè)來自圖像內(nèi)有生命的表征參與者的視線以向量的投向讀者方式體現(xiàn)，同時(shí)伴隨著一些姿勢，如圖像中一人注視著同時(shí)用手指指向讀者。圖像內(nèi)表征者所“求取”的東西取決于其面目表情，可能是一個(gè)微笑或一個(gè)怒視等。

除接觸外，人際功能也由社會距離（social distance）體現(xiàn)。社會距離的遠(yuǎn)近與圖像的取景有關(guān)。一般來說，遠(yuǎn)景表示社會距離較遠(yuǎn)，近景表示社會距離較近。Kress & van Leeuwen（2006）對取景和社會距離做了劃分，即個(gè)人近距離：頭部至肩部的近距離取景；個(gè)人遠(yuǎn)距離：腰部以上的距離取景；社會近距離：個(gè)體或人物的全身距離的取景；社會遠(yuǎn)距離：整個(gè)人并且周圍有空間環(huán)繞；公共距離：至少有四至五個(gè)人的距離。取景的遠(yuǎn)近決定對讀者介入要求的強(qiáng)弱，即越近距離的取景對要求讀者介入的程度越強(qiáng)烈，反之亦然。

另一個(gè)體現(xiàn)人際功能的語義系統(tǒng)是視點(diǎn)。態(tài)度通過視角（angle）來體現(xiàn)，表達(dá)對參與者所持的主客觀態(tài)度。圖像根據(jù)創(chuàng)造者的態(tài)度和意圖分為主觀圖像和客觀圖像。主觀圖像（subjective）創(chuàng)造者通過對視角系統(tǒng)的選擇表達(dá)出希望圖像參與者與讀者在閱讀過程中采取的角度。大部分圖像都采用多樣化的水平視角和垂直視角的主觀圖像；從水平角度看，正面角度給讀者帶來感同身受、融入其中的感覺（involvement），而傾斜的角度則表現(xiàn)出作為旁觀者的漠然與事不關(guān)己（detachment）；從垂直的視角看，讓讀者俯視代表讀者的強(qiáng)勢（viewer power），平視表示讀者和表征參與者關(guān)系相對平等（equality），仰視則表示參與者處于強(qiáng)勢的地位（representation power）。客觀圖像（objective）中，圖像創(chuàng)造者并沒有給出自己預(yù)設(shè)的理解角度，而是盡可能完整地向讀者呈現(xiàn)信息。這類客觀圖像多見于科教語篇中的圖形、圖表、以行動或指示為導(dǎo)向的地圖等。許多這類圖像以水平或垂直的角度呈現(xiàn)，以最客觀的方式展現(xiàn)。有時(shí)候在對立體圖形進(jìn)行展示時(shí)可能會有側(cè)面或傾斜的角度，這并不表示圖像使用者的任何主觀態(tài)度，而是通過透視法展現(xiàn)圖形的一種手段。

圖像符號系統(tǒng)的情態(tài)語義系統(tǒng)與語言的情態(tài)系統(tǒng)類似，是指人們對關(guān)注的世界所做出的陳述的真實(shí)度或可信度，即視覺符號表現(xiàn)出的與真實(shí)世界存在的現(xiàn)狀相一致的程度，是一個(gè)變化區(qū)間，其體現(xiàn)資源豐富，被歸納為高、中、低三類。決定情態(tài)程度的體現(xiàn)資源被稱作情態(tài)標(biāo)記，包括色彩、語境化、再現(xiàn)程度、深度、照明和亮度。色彩包括飽和度、色彩區(qū)分度和色彩調(diào)諧度，以區(qū)間的形式進(jìn)行衡量，色彩的值與真實(shí)世界越接近則；語境化指從沒有背景到意味細(xì)致的背景的變化尺度；再現(xiàn)指從最抽象的表達(dá)到對細(xì)節(jié)最大限度的再現(xiàn)；深度指從沒有縱深到最大程度的透視的變化區(qū)間；照明指從對光和影的最大程度的再現(xiàn)到?jīng)]有光和影的變化；亮度指從最大數(shù)量的不同明亮程度到只有明與暗兩種對比的變化。這些情態(tài)標(biāo)記用來衡量情態(tài)高低的標(biāo)準(zhǔn)實(shí)際上取決于是否最大程度地對要表征的世界做了真實(shí)再現(xiàn)。必須指出的是，我們需要區(qū)分圖像是屬于自然化（naturalistic）的還是科技化（scientific）的。以上的情態(tài)標(biāo)記的變化標(biāo)準(zhǔn)只限于衡量表征自然化世界，因?yàn)樵诓煌恼Z境下，真實(shí)度的標(biāo)準(zhǔn)不盡相同。自然化的圖像指的反映真實(shí)世界的圖像，例如圖畫、照片等。而科技化的圖像是用來表征科學(xué)世界的，相對抽象。由于人們習(xí)慣性地認(rèn)為科學(xué)世界是抽象的，從而對其越是抽象、與真實(shí)世界相反的表達(dá)越是對科學(xué)世界相對真實(shí)的反映，越是具有高情態(tài)，這點(diǎn)與自然化的圖像相反。除了自然化圖像和科技化圖像，還有以展現(xiàn)不同感官感覺為目的的藝術(shù)化圖像以及抽象化圖像。根據(jù)不同的語境，Kress & van Leeuwen （2006）提出另外三種不同的衡量情態(tài)的標(biāo)準(zhǔn)，稱為“真實(shí)度原則”，又叫作“編碼取向”（coding orientation），具體為：

科技化編碼取向：有效地展現(xiàn)作為解釋和描述概述大綱或藍(lán)圖的圖像，除必要時(shí)，色彩的衡量區(qū)間越趨于最小化，情態(tài)程度越高；感觀化編碼取向：在以藝術(shù)、時(shí)尚或美食視覺語境下為以給讀者提供充分的感官壓力為主要原則，色彩的區(qū)間越趨于最大化，情態(tài)程度越高；抽象化編碼取向：以能夠總結(jié)共性和簡化細(xì)節(jié)為原則，存在于科學(xué)和教育語境下，再現(xiàn)區(qū)間越趨于最小，情態(tài)程度越高。

以上我們總結(jié)了體現(xiàn)人際功能的幾個(gè)語義系統(tǒng)，包括接觸、社會距離、態(tài)度和情態(tài)。然而需要指出的是，對這些語義系統(tǒng)的分析并不是絕對的，例如對科技語篇和自然語篇的情態(tài)分析就不能使用同一標(biāo)準(zhǔn)，要根據(jù)具體語境做出具體的判斷。

三、語言與圖像的互補(bǔ)性

各種符號系統(tǒng)通過互動和協(xié)商共同構(gòu)建一個(gè)有意義的連貫的語篇。符號間是如何共同協(xié)作、互動協(xié)商構(gòu)建意義的一直是多模態(tài)研究的關(guān)鍵點(diǎn)。Lim （2004）提出視覺符號資源和語言符號資源在語篇內(nèi)容層進(jìn)行互動和協(xié)調(diào)從而產(chǎn)生的語義擴(kuò)展，即這兩個(gè)符號資源所制造的大于各自制造的意義之和。這個(gè)整合的過程發(fā)生在語篇內(nèi)容層，由三個(gè)元功能組織。根據(jù)Royce（2007）的觀點(diǎn)，這一過程主要由符號間的互補(bǔ)機(jī)制體現(xiàn)。分析多模態(tài)語篇符號通過以下兩個(gè)符際互補(bǔ)性構(gòu)建人際意義：即不同模態(tài)之間在語氣方面相互加強(qiáng)與否；在傳遞的態(tài)度方面存在一致或相反。前文提到，視覺圖像系統(tǒng)和語言系統(tǒng)一樣，在交際中最基本的角色是給予和求取。而交際物又可分為物品和服務(wù)、以及信息。因此符號系統(tǒng)的交際角色和交際物兩個(gè)變項(xiàng)組成了四種最主要的符號功能：提供、命令、陳述和提問。在分析多模態(tài)語篇中語言系統(tǒng)的言語功能時(shí)主要依靠對語氣系統(tǒng)的分析；對視覺符號系統(tǒng)的交際功能分析主要依靠對接觸系統(tǒng)的分析。在對兩個(gè)符號系統(tǒng)展現(xiàn)給讀者的交際功能分析后，則要分析兩者展現(xiàn)的功能是否相互加強(qiáng)。對態(tài)度趨向整合機(jī)制的分析則要兩個(gè)符號系統(tǒng)的情態(tài)系統(tǒng)。說話者對自己通過語言系統(tǒng)表達(dá)意義的成功性和有效性的判斷，或在命令中要求對方承擔(dān)的義務(wù)，或在提議中要表達(dá)的個(gè)人意愿都由情態(tài)系統(tǒng)實(shí)現(xiàn)。語言在交換信息時(shí)的表現(xiàn)形式是命題，而在交換物品或服務(wù)時(shí)的表現(xiàn)形式是提議。在命題中，意義的歸一性表現(xiàn)為肯定和否定。在這兩極之間有不同值的概率和頻率，前者相當(dāng)于“可能是—可能不是”，后者相當(dāng)于“有時(shí)是—有時(shí)不是”，兩者都有不同程度變化的值，即情態(tài)。對語言系統(tǒng)表現(xiàn)的態(tài)度趨向分析時(shí)對此情態(tài)系統(tǒng)的值的分析，然而視覺圖像符號系統(tǒng)的情態(tài)主要取決于語篇的編碼取向。前文提到，不同編碼取向的語篇的情態(tài)值的高低有不同的標(biāo)準(zhǔn)。通過分析兩個(gè)符號系統(tǒng)的情態(tài)值的高低來判斷兩個(gè)符號系統(tǒng)表達(dá)的態(tài)度趨向一致或不一致，從而構(gòu)建不同的人際意義。

四、多模態(tài)語篇的人際意義構(gòu)建

本文選取的語料來自由國家漢辦編著的HSK（漢語水平考試）標(biāo)準(zhǔn)教程第五冊中的文化語篇《中國人對年齡的詢問方法》。該教材中的文化語篇主要的交際目的是向外國學(xué)習(xí)者傳遞有關(guān)中國文化的信息。編寫者以兩種模態(tài)（圖像和文字）呈現(xiàn)語篇，使語篇能夠豐富地表達(dá)意義。

語料中語言符號系統(tǒng)表現(xiàn)的言語功能為陳述、提供和提問。在提供部分建議（對于10歲一下的孩子，一般問“你今年幾歲了？”）蓋然性中等，情態(tài)值居中；而在提供另一部分建議時(shí)（詢問年長的人的年齡則一定要用“您今年多大年紀(jì)了”）確定性高，情態(tài)值高。

語料中圖像符號系統(tǒng)是一張以綠色植物為背景的六個(gè)不同年齡段的中國人（兩位老年人，兩位青年人，兩位兒童）的合影。圖像符號的表征參與者是六位中國人及綠植覆蓋的公園背景。表征參與者平視的目光則表現(xiàn)其與閱讀者不存在權(quán)力差異，而照片中微笑的表情意味著表征參與者在邀請閱讀者與之形成友好的密切關(guān)系。表征參與者的目光直視鏡頭，與閱讀者有明顯的目光接觸，體現(xiàn)了求取功能，即表征參與者在強(qiáng)烈建議讀者參與到他們的幸福世界中。從態(tài)度這一語義系統(tǒng)來分析，該語料視覺符號的作者以水平角度，客觀正面地給讀者帶來感同身受、融入其中的感覺，體現(xiàn)了表征參與者與讀者平等的關(guān)系。照片的色彩飽和度很高，自然主義地表現(xiàn)在了六位中國人愉悅的生活狀態(tài)，因而情態(tài)值高。從照片的色彩區(qū)分度看，色彩對比比較明顯，紅色和白色的衣服與背景的綠色形成了鮮明對比。從照片的色彩調(diào)諧度來看，照片的色彩搭配有序，深淺有致，這些標(biāo)記都體現(xiàn)了高情態(tài)。另外在語境化這個(gè)標(biāo)記方面，該照片的背景也極為豐富：近處的長椅，修剪過的花草及遠(yuǎn)處的綠樹，錯(cuò)落有致，最大限度地再現(xiàn)了周圍環(huán)境，說明作者采用了高情態(tài)的表現(xiàn)手法表達(dá)意義。通過以上對情態(tài)標(biāo)記的分析，我們知道該語料中視覺符號系統(tǒng)表征的是高情態(tài)。

語言系統(tǒng)和圖像系統(tǒng)通過協(xié)作構(gòu)建人際意義。具體來看，構(gòu)成該語料的兩個(gè)符號系統(tǒng)通過語氣和情態(tài)相互協(xié)作，語言系統(tǒng)給予信息，圖像系統(tǒng)求取信息或服務(wù)，因此兩個(gè)系統(tǒng)在語篇內(nèi)容層并沒有通過相互加強(qiáng)。另外，兩個(gè)系統(tǒng)都通過高情態(tài)值表達(dá)了人際意義，因此在內(nèi)容層通過態(tài)度一致性構(gòu)建意義。

五、結(jié)語

人際意義是多模態(tài)語篇構(gòu)建的搭建在讀者與語篇編寫者之間的橋梁。本文闡釋了語言的人際意義與圖像系統(tǒng)的人際意義構(gòu)建方式。本文通過分析一篇選自《HSK標(biāo)準(zhǔn)教程》的多模態(tài)文化語篇的語言及圖像符號系統(tǒng)，探討了多模態(tài)語篇的人際功能的具體體現(xiàn)形式，即兩個(gè)系統(tǒng)各自通過具體的語義系統(tǒng)構(gòu)建，并在語篇內(nèi)容層上通過語氣加強(qiáng)與否和態(tài)度一致或相反兩個(gè)謀篇機(jī)制相互協(xié)作構(gòu)建意義。目前，學(xué)術(shù)界對多模態(tài)語篇的意義構(gòu)建研究還處在地定性研究階段，需要大量的語篇分析來驗(yàn)證。

〔參 考 文 獻(xiàn)〕

〔1〕胡壯麟. 2007. 社會符號學(xué)研究中的多模態(tài)化. 語言教學(xué)與研究，（1）：1-10.

〔2〕Matthiessen， C. M. I. M. 2007. The Multimodal Page： A Systemic Functional Exploration. In T. D. Royce & W. L. Bowcher （eds.）. New Directions in the Analysis of Multimodal Discourse. pp：1-62. New Jersey and London： Lawence Erlbaum Associates.

〔3〕OHalloran， K. L. 2004. Multimodal Discourse Analysis. London： Continuum.

〔4〕胡壯麟，朱永生，張德祿，李戰(zhàn)子. 2017. 系統(tǒng)功能語言學(xué)概. 北京：北京大學(xué)出版社.

〔5〕Kress， G. and van Leeuwen， T. 2006. Reading Images： The Grammar of Visual Design. 2nd Ed. London： Routledge.

〔6〕Lim Fei， V. 2004. Developing an Integrative Multi-semiotic Model. In K. L. OHalloran （ed.）. Multimodal Discourse Analysis. pp： 220-246. London： Continuum.

〔7〕Royce， T. D. 2007. Intersemiotic Complementarity： A framework for Multimodal Discourse Analysis. In T. D. Royce and W. L. Bowcher （eds.）. New Directions in the Analysis of Multimodal Discourse. pp： 63-110. New Jersey and London： Lawence Erlbaum Associates.

〔責(zé)任編輯：楊 赫〕