同濟大學 韓艷方

1. 引言

在讀圖時代的大背景下，多符號或多媒介信息在現(xiàn)代交際中的作用愈加凸顯，更迭了傳統(tǒng)的交際模式。在這類新型多模態(tài)交際模式中，交際資源在交流者之間的各種關(guān)聯(lián)得以體現(xiàn)和建構(gòu)。作為多模態(tài)隱喻和多模態(tài)認知語用研究的國際領(lǐng)軍人物之一的荷蘭阿姆斯特丹大學語言學家Charles Forceville，于2020年在牛津大學出版社出版了新著《視覺與多模態(tài)交際：運用關(guān)聯(lián)原則》，該書即為關(guān)注多模態(tài)交際中參與者對明示信息的指代分配、歧義消解和關(guān)聯(lián)擴展及視覺關(guān)聯(lián)的認知和交際原則的一部作品。該書是作者十多年來語用關(guān)聯(lián)視角下多模態(tài)認知語用研究的最終成果，也是國際多模態(tài)認知語用研究的最新代表作。本文將對該書進行內(nèi)容介紹和簡要評價。

2. 內(nèi)容簡介

該書聚焦于視覺與多模態(tài)交際明示信息在大眾傳播(mass-communication)中的視覺觸發(fā)源(visual stimuli)，旨在將關(guān)聯(lián)理論(Relevance Theory，RT)發(fā)展成為塑造多模態(tài)交際模式的綜合理論。全書分為11章，第1章為理論背景，最后一章為全書綜括，第2—5章為理論探討，其余5章為案例分析。

第1章：“背景”。作者概述了RT作為可解釋所有交流形式的理論所依據(jù)的一般背景。這些背景包括語言使用的目的及其作為聯(lián)合行為(joint action)、電影創(chuàng)造意義的認知路徑、藝術(shù)作品的傳播維度、人類和猿的合作傾向、人類和生物進化論等。它們強調(diào)了人類在性別、性別偏好、年齡、種族背景、階級、居住環(huán)境、宗教和政治觀點、飲食習慣等諸多方面存在多樣性，這是交際共享的關(guān)鍵因素。特定群體為實現(xiàn)具體目的而形成的特有方式已被根植于文化傳統(tǒng)和價值觀中，這些方式即是他們的進化共同點。

第2章：“關(guān)聯(lián)理論基礎(chǔ)”。作者總結(jié)了Sperber和Wilson所提出的RT基本原理，主要參考了面對面的口語交流。同時也為如何將RT應用于視覺和多模態(tài)大眾傳播埋下伏筆。該章從認知和交際的關(guān)聯(lián)原則、編碼/解碼、明示/暗指、關(guān)聯(lián)個體性、“癥候”交際(symptomatic communication)等多方面對RT的復雜性進行深層剖視，探索RT復雜性與多模態(tài)研究者對關(guān)聯(lián)的理解之間的平衡。

第3章：“調(diào)整RT來適合視覺交際”。作者從多個維度論證了將RT運用于視覺與多模態(tài)交際的適用性和理據(jù)。首先，該章從多模態(tài)概念本身出發(fā)，對“關(guān)注所有用于構(gòu)成多模態(tài)整體的符號資源”的觀點提出了疑惑(Jewittetal.2016: 3)。作者認為描述多少種模態(tài)參與語篇建構(gòu)是很困難的，由此提出該書的重點觀點之一，從視覺觸發(fā)源攜帶的關(guān)聯(lián)信息去解構(gòu)視覺/多模態(tài)語篇的復雜度。隨后，作者從視覺語篇的認知和交際關(guān)聯(lián)原則、個體關(guān)聯(lián)、信息解構(gòu)、編碼模式以及信息的指代分配(reference assignment)、歧義消解(disambiguation)、信息富衍(enrichment)、松弛調(diào)用(loose use)等多維度論證RT在視覺語篇中的關(guān)聯(lián)建構(gòu)。該章指出視覺語篇關(guān)聯(lián)建構(gòu)不僅要關(guān)注明示和暗示，還要重視“癥候”意義(symptomatic meaning)的存在。同時，論證了認知語言學的融合理論、概念整合理論及視覺/多模態(tài)隱喻與RT的深層聯(lián)系。該章最后還指出該書另一個重點之一，即視覺和多模態(tài)信息的大眾傳播本質(zhì)。

第4章：“關(guān)聯(lián)理論與媒介性大眾傳播”。作者以媒介性大眾傳播為重心，聚焦最佳關(guān)聯(lián)在媒介性和群體性交際中的關(guān)涉因素。該章提出媒介化交際中最佳關(guān)聯(lián)的受眾不是非單一的，而存在多元性，且與媒介的供用性相關(guān)。媒介的供用性除物質(zhì)性、感官性、時空性和符號性(Ellestr?m 2010)外，還應關(guān)注媒介的技術(shù)性、機構(gòu)性、成本性、意識性等供用性和局限性。在視覺和多模態(tài)大眾傳播中，每個受眾將依據(jù)個人的知識、信仰、態(tài)度、情感和目的構(gòu)成的語境處理觸發(fā)源(Groarke 2015)。該章還強調(diào)從一對一到大眾傳播的模式轉(zhuǎn)變并不影響RT的中心原則，即關(guān)聯(lián)性始終與個體相關(guān)。但是，這些個體擁有一個動態(tài)群體身份：知識、興趣、態(tài)度或信仰共有的集群個體。大眾傳播的交際和信息目的在于機構(gòu)賦予受眾的身份定位。

第5章：“體裁”。作者另辟新章，著重介紹了引導人們對視覺和多模態(tài)語篇進行解讀的最重要因素：體裁，將體裁的概念從傳統(tǒng)內(nèi)涵延展至大到電影和小到插圖、徽標。該章重點指出由于體裁具有規(guī)約性，因而能主導語篇的解讀。同時強調(diào)，討論體裁時不僅要關(guān)注其組成和典型事件結(jié)構(gòu)，還要重視體裁的語用性——人們和機構(gòu)通過體裁做何事及人們?nèi)绾螌Ⅲw裁進行范疇化、分類、評估、商業(yè)化和節(jié)日化等。該章還提出一種新的觀點，即體裁應被視為“活動類型”(Activity Type)，是語篇與語境的接面。因為作者認為成功參與到一種活動類型預示著一種主導該活動類型的規(guī)約意識，而體裁回歸(genre attribution)過程既受語篇內(nèi)部暗示也受語境中的語篇規(guī)約主導。而語篇實例回歸體裁過程本質(zhì)上是一種范疇化行為，這種范疇化圍繞其關(guān)聯(lián)原型展開。該章最后總結(jié)了解讀關(guān)聯(lián)建構(gòu)依靠編碼目的、體裁意識和體裁知識、媒介供用性和局限性、語篇涉及元素的現(xiàn)實象似載體、百科知識等多種因素。

第6—10章：“案例研究”。為了證實理論研究，作者以不同體裁的豐富案例展示了RT的大眾傳播視覺分析的適用性。第6章專門討論象形圖、交通標志和徽標等體裁，作者稱這類體裁為編碼型視覺語篇(coded visuals)，因為它們是由視覺物質(zhì)獨立或聯(lián)合其他字母、詞匯等資源構(gòu)成的，形成的多模態(tài)意義是高度具體和解碼的，不需要推斷，即編碼型語篇和場所聯(lián)合產(chǎn)生了具體的明示意義。它們的編碼特質(zhì)鼓勵或允許了暗含關(guān)聯(lián)的建構(gòu)。第7章探討了廣告體裁，作者強調(diào)在這類體裁中視覺解碼元素和場景與語言解碼元素聯(lián)合形成明示意義，受眾依據(jù)這些明示意義在體裁所屬語境與情景和世界知識中沿著由最強到最弱的暗含意義連續(xù)體進行解碼。第8章探討了卡通畫，作者在該章借助卡通畫分析了如何借助體裁規(guī)約、解碼成分和場景進行指代分配和歧義消解。第9章討論了漫畫，作者認為關(guān)聯(lián)性的獲得取決于象似現(xiàn)實、投射泡變化、圖畫符文、象形圖和媒介的具體規(guī)約。第10章“誤導性交際”(controversial communication)討論了一系列誤導性的視覺和多模態(tài)語篇，反思RT如何容納它們。

第11章：“總結(jié)評價”。該章首先回顧、總結(jié)了該書中有關(guān)RT的要點，闡明關(guān)聯(lián)原則在視覺和多模態(tài)交際中的適用性和實用性：基于視覺“編碼型”(coded)元素和行動，聯(lián)合相宜語境信息進行正確的體裁回歸，合理解碼明示意義和建構(gòu)關(guān)聯(lián)，將關(guān)聯(lián)個體置于群體身份中。在視覺與多模態(tài)交際中，建構(gòu)關(guān)聯(lián)的重點應放在編碼型元素、體裁、媒介供用性和限制性及交際和信息目的上。(韓艷方 2022)最后，作者還總結(jié)提出了未來進一步加強RT研究的趨勢：識解交際目的與明示信號和癥狀、信息編碼-歧義消解-指代分配-關(guān)聯(lián)建構(gòu)模式、邏輯形式與明示意義和暗指意義的關(guān)系、體裁與關(guān)聯(lián)，以及交際者、受眾和機構(gòu)的身份投射，號召其他學科的研究者一同探索RT在視覺與多模態(tài)研究中的潛力。

3. 簡要評析

該書是Charles Forceville多年來多模態(tài)語用關(guān)聯(lián)研究的最終成果。作者采用理論探索與案例研究結(jié)合的論證范式和多維分析方法，尤其對涉及multimodality、affordance等概念的主流觀點提出了挑戰(zhàn)，見解獨到，觀點新穎，前沿性強。主要體現(xiàn)為以下特色：

第一，體現(xiàn)了視覺和多模態(tài)研究的學科融合視角。以往研究主要在單一學科路徑進行多模態(tài)語篇分析，很少從學科融合視角進行研究。該書正是以RT為基礎(chǔ)，提出了適用于多模態(tài)話語分析的多學科融合路徑。通過RT原理的深度剖析實現(xiàn)了語用學推理模式、認知語言學的概念整合與原型范疇化、傳播學的大眾傳播和媒介化理論等的融合性分析與創(chuàng)新性結(jié)合，將觸發(fā)性編碼、體裁原型回歸、媒介供用性(Bateman 2017)等納入關(guān)聯(lián)分析的研究范圍，探索受眾在大眾傳播模式下是如何解碼信息、消解歧義、分配指代、建立關(guān)聯(lián)、獲取目的，從而在特定語境中完成視覺和多模態(tài)交際(Batemanetal.2019)。此外，該書并非關(guān)注簡單的個體關(guān)聯(lián)，而是關(guān)注擁有一個動態(tài)群體身份的集群關(guān)聯(lián)個體；并非單一立足關(guān)聯(lián)原則、運用單一分析方法，而是強調(diào)圍繞產(chǎn)生關(guān)聯(lián)的多向度和多層次因素的綜合分析；不僅為視覺和多模態(tài)交際分析提供了新思路，也可以促進專業(yè)實踐，如優(yōu)化視覺交際方式、提升媒介調(diào)用層次、改良設計方案等。

第二，凸顯了視覺和多模態(tài)研究的語用研究趨勢。該書關(guān)注視覺和多模態(tài)話語中的集群交際和語用關(guān)聯(lián)現(xiàn)象，不僅為視覺和多模態(tài)交際提供了新的語用研究維度，也將語用學應用拓展至視覺交際領(lǐng)域，凸顯了多模態(tài)與語用學結(jié)合的必然趨勢，“彌補現(xiàn)有理論的不足”(陳新仁、錢永紅 2011: 89)。作者分析了視覺交際中的各類關(guān)聯(lián)維度，應用和拓展了RT和言語行為理論。例如，作者在第3章著重討論了視覺受眾如何通過解碼元素獲取視覺語篇的明示意義、暗指意義和“癥候”意義。在指代分配和信息富衍之后，視覺語篇不僅可以指導信息接收者獲得強或弱的暗示，還可以獲取明示，從而消解歧義以加強交際者之間意義傳遞的一致性，同時建構(gòu)集群關(guān)聯(lián)個體身份。書中諸如此類攜帶語用因素的擴展分析勢必為多模態(tài)語用研究帶來更大空間。

第三，推動了RT的縱深發(fā)展。作者將經(jīng)典RT一對一交際模式擴展到大眾傳播模式，并強調(diào)了體裁原型回歸在關(guān)聯(lián)分析中的核心地位，同時重新闡釋體裁為“活動類型”，是語篇與語境的接面。這一縱深拓展打破了RT重言語、輕體裁的傳統(tǒng)，大大豐富了RT的維度，使基于RT的多模態(tài)分析更具解釋力和客觀性。針對當前多模態(tài)研究對非語言符號解釋主觀性強這一現(xiàn)狀，作者創(chuàng)新性地將媒介供用理論引入關(guān)聯(lián)分析中，重視媒介供用性相關(guān)的技術(shù)性、機構(gòu)性、成本性、意識性特征及其局限性，借由供用性實現(xiàn)對媒介產(chǎn)生關(guān)聯(lián)的深層解讀。此外，盡管體裁和供用性兩個概念很早已被提出，但未在關(guān)聯(lián)分析領(lǐng)域得到足夠關(guān)注。作者在RT原理的基礎(chǔ)上運用體裁和供用性來闡釋視覺和多模態(tài)交際實踐，將關(guān)聯(lián)分析的各個維度及不同關(guān)聯(lián)空間系統(tǒng)充分聯(lián)系在一起，不僅延展了體裁的內(nèi)涵，也使RT適用性更強。

第四，采用了多維關(guān)聯(lián)的多模態(tài)認知分析方法(Forciville 1996, 2007)。該書聚焦視覺和多模態(tài)交際中的語用關(guān)聯(lián)，覆蓋了主要常見體裁，但對每種體裁的分析觀照又不盡相同，維度各有側(cè)重。例如，第6章關(guān)注編碼型語篇，即編碼型語篇+場所→具體明示意義；第7章關(guān)注廣告體裁，即視覺解碼元素+場景+語言解碼元素→明示意義；第8和9章關(guān)注卡通畫和漫畫體裁，即體裁規(guī)約+解碼成分+場景+象似現(xiàn)實→明示意義→暗指意義。每一章節(jié)的分析維度的側(cè)重都各不相同，但均以獲取關(guān)聯(lián)信息為核心。

誠然，該書也存在少許不足。首先，視覺和多模態(tài)交際的關(guān)聯(lián)分析建立在編碼型語篇的體裁原型回歸基礎(chǔ)上，但該書并未明確給出編碼型語篇的界定標準，只是以象似畫、交通標志和徽標等體裁為例，這使分析過程中明示性編碼的解碼具有一定的主觀性。其次，對于視覺和多模態(tài)交際的語用關(guān)聯(lián)分析只是提供了一個分析框架，但作者未提出原創(chuàng)性的具體分析程序，尤其在體裁原型回歸分析維度的體現(xiàn)更為凸顯，不能使關(guān)聯(lián)分析很好地降噪。而且，該書主要采用例釋法，缺少具體的方法論作為指導。

4. 結(jié)語

總體來看，該書具有重大的理論價值和實踐意義。多模態(tài)話語分析的語用關(guān)聯(lián)視角這一課題比較新穎，給視覺與多模態(tài)研究領(lǐng)域注入了一股新的力量，突破了該領(lǐng)域原有的研究范式，凸顯了語用關(guān)聯(lián)對多模態(tài)研究的潛力，推動了多模態(tài)認知語用學的發(fā)展，是視覺與多模態(tài)研究者不可多得的參考書目。同時，在很大程度上也推進了多模態(tài)話語分析的發(fā)展。