石慧

[摘 要] 指出話語(yǔ)領(lǐng)域中意義的建構(gòu)依賴于各種符號(hào)資源的整合，除語(yǔ)言外也擴(kuò)展到了圖像、空間、色彩等多種交際符號(hào)。作為一種新型數(shù)字出版物，兒童交互式繪本聚合了文字、圖像、色彩、聲音等豐富的符號(hào)資源，具有多模態(tài)話語(yǔ)特征，單一的圖像分析與視覺(jué)語(yǔ)法難以解釋。因此，文章基于視覺(jué)敘事理論、多模態(tài)話語(yǔ)分析理論，探究交互式兒童繪本作為一種具有典型意義的新型數(shù)字出版物，如何基于數(shù)字媒介的特征進(jìn)行視覺(jué)敘事與傳達(dá)，視覺(jué)系統(tǒng)中的不同模態(tài)之間如何協(xié)同作用，以及多模態(tài)話語(yǔ)如何參與交互式繪本的意義建構(gòu)。

[關(guān)鍵詞] 兒童交互式繪本 視覺(jué)敘事 多模態(tài)話語(yǔ)分析 語(yǔ)篇意義 數(shù)字出版

[中圖分類號(hào)] G230[文獻(xiàn)標(biāo)識(shí)碼] A[文章編號(hào)] 1009-5853 （2022） 01-0079-09

Visual Narrative Models and Meaning Construction of New Digital Publications：? A Case of Interactive Childrens Picture Books

Shi Hui

（School of Information Management， Wuhan University， Wuhan， 430072）

[Abstract] The paper points out that the meaning construction of discourse in childrens interactive picture books relies on the integration of various symbolic resources. These symbolic resources have a broad scope， which not only includes the language symbolic， as well as images， space， and color. As a new type of digital publication， childrens interactive picture books aggregate rich resources such as words， images， colors， and sounds， showing clear characteristics of multimodal， which are difficult to be solely explained by image and visual analysis. Based on visual narrative theory and multimodal discourse analysis theory， this paper explores how an interactive childrens picture book， a typical new digital publication， carries out visual narrative and communication with the characteristics of digital media， how different modalities in the visual system work together， and how multimodal discourse participates in the construction of meaning in interactive picture books.

[Key words] Childrens interactive picture books Visual narrative theory Multimodel discourse analysis Textual meaning Digital publishing

伴隨著媒介技術(shù)的日益革新，新型數(shù)字出版物不斷問(wèn)世，并帶來(lái)了新的敘事形式和敘事體驗(yàn)。閱讀形式的革命使得“媒介環(huán)境”作為一種前景化感知經(jīng)驗(yàn)和審美經(jīng)驗(yàn)悄然作用于語(yǔ)篇組織和意義闡釋，媒介形態(tài)通過(guò)約束讀者的閱讀情境和行為習(xí)慣傳達(dá)對(duì)媒介環(huán)境的偏好并參與意義的解釋。其中，依賴于數(shù)字化媒介的兒童交互式繪本通過(guò)圖形、色彩、聲效、動(dòng)畫(huà)、3D圖像、觸控等多模態(tài)（multimodality）的配合，構(gòu)造了一個(gè)表征性世界。讀者可以通過(guò)點(diǎn)觸屏幕上的各種按鍵、放大縮小或平移圖片、播放動(dòng)畫(huà)效果、選擇情節(jié)的發(fā)展走向，參與到這個(gè)想象空間中。這延展、增強(qiáng)、豐盈了人們的思維空間和感官體驗(yàn)。由于交互式繪本匯聚了豐富的符號(hào)資源，涉及多種場(chǎng)景因素，來(lái)共同完成視覺(jué)敘事、情感表達(dá)和氛圍營(yíng)造。這顯然無(wú)法通過(guò)單一的圖像分析與視覺(jué)語(yǔ)法來(lái)加以解釋。因此，對(duì)于交互式繪本話語(yǔ)意義的分析必須依賴于語(yǔ)言學(xué)和符號(hào)學(xué)領(lǐng)域的多模態(tài)研究理論。

本文的研究聚焦于兒童交互式繪本中交際符號(hào)的多模態(tài)聯(lián)動(dòng)以及它們所構(gòu)成的整體意義，并通過(guò)分析此類繪本的視覺(jué)多模態(tài)敘事結(jié)構(gòu)，試圖解決以下幾個(gè)問(wèn)題：兒童交互式繪本多模態(tài)敘事元素之間的相互關(guān)系及其組合的基本特征是什么？各模態(tài)之間如何配合聯(lián)動(dòng)，從而增強(qiáng)意義生成潛能？視覺(jué)多模態(tài)的選擇和使用如何實(shí)現(xiàn)意義的建構(gòu)？

1 跨學(xué)科視域下的多模態(tài)研究

生命科學(xué)概括了人類所擁有的視覺(jué)、聽(tīng)覺(jué)、嗅覺(jué)、味覺(jué)、觸覺(jué)5種不同的感知通道，這些感知通道也產(chǎn)生了相對(duì)應(yīng)的“模態(tài)”，即“用于表征和交流意義的社會(huì)文化資源”[1]。人類的交際活動(dòng)具有顯著的多模態(tài)話語(yǔ)特征，這一方面體現(xiàn)在話語(yǔ)交際涉及視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等多種模態(tài)和感官系統(tǒng)，如日常生活中使用手機(jī)進(jìn)行交流時(shí)，需要用眼睛看、耳朵聽(tīng)、手指滑動(dòng)屏幕;另一方面體現(xiàn)在具體模態(tài)中涉及的復(fù)雜符號(hào)資源，如交互式繪本包含的文字、圖像、動(dòng)畫(huà)、色彩等多套符號(hào)系統(tǒng)。我們將以上兩種情況均稱為“多模態(tài)”，用來(lái)指稱話語(yǔ)交際中符號(hào)的多樣性。對(duì)話語(yǔ)交際中的多種模態(tài)或符號(hào)系統(tǒng)以及它們之間的關(guān)系所共同構(gòu)成的整體意義的分析也被稱為“多模態(tài)話語(yǔ)分析”。早期的多模態(tài)研究源自以系統(tǒng)功能語(yǔ)言學(xué)為基礎(chǔ)的社會(huì)符號(hào)學(xué)理論，后來(lái)又逐漸發(fā)展出了“多模態(tài)隱喻分析、多模態(tài)互動(dòng)分析、會(huì)話分析、地理符號(hào)學(xué)、多模態(tài)民族志、多模態(tài)語(yǔ)料庫(kù)分析以及多模態(tài)感知分析”[2]等不同的研究路徑。本文沿襲系統(tǒng)功能語(yǔ)言學(xué)與社會(huì)符號(hào)學(xué)的經(jīng)典進(jìn)路展開(kāi)對(duì)交互式繪本的多模態(tài)話語(yǔ)分析，探索在多重符號(hào)化方式交織的背景下，各種符號(hào)物態(tài)、符號(hào)運(yùn)用者的感官經(jīng)驗(yàn)在意義建構(gòu)中的重要作用。

事實(shí)上，多模態(tài)話語(yǔ)分析的重要意義便在于整合各種形式的符號(hào)資源，使得話語(yǔ)意義的傳達(dá)與構(gòu)建更加全面和完整。這不僅推動(dòng)了語(yǔ)言學(xué)、符號(hào)學(xué)研究的進(jìn)一步發(fā)展，還滲入到教育學(xué)、心理學(xué)、社會(huì)學(xué)、傳播學(xué)等多個(gè)學(xué)科領(lǐng)域，尤其是它在敘事學(xué)中的拓展，更是有助于我們?cè)谛旅浇檎Z(yǔ)境下，深入探索新類型、新樣態(tài)數(shù)字文本的意義潛能。圍繞數(shù)字文本敘事這一主題，眾多學(xué)者已開(kāi)展過(guò)諸多理論探索和實(shí)踐活動(dòng)。數(shù)字?jǐn)⑹拢―igital Storytelling）這一新興研究領(lǐng)域關(guān)注敘事者運(yùn)用數(shù)字工具，結(jié)合動(dòng)靜態(tài)影像、文本等要素，以非線性或互動(dòng)形式講述故事的新實(shí)踐[3]。它旨在探索由數(shù)字技術(shù)所帶來(lái)的敘事空間的變化以及其如何作用于讀者和閱讀。這一理論旨趣，啟發(fā)我們對(duì)一系列基于新型技術(shù)的出版物的文本架構(gòu)、敘事體驗(yàn)予以重新關(guān)照，對(duì)其語(yǔ)篇意義建構(gòu)模式進(jìn)行再度挖掘。如佩吉（Page）提出的“多模態(tài)敘事”（multimodal narrative）概念，涵蓋了印刷文本、數(shù)字文本、影視、游戲等多種“敘事參與者與故事得以相互影響”的敘事類型。這一概念在敘事學(xué)領(lǐng)域的應(yīng)用，對(duì)于研究具有多模態(tài)特征的文本具有重要意義，從而傳統(tǒng)敘事研究中處于被忽視狀態(tài)的媒介性、物質(zhì)性、感官性維度得以重新被審視。

2 多模態(tài)敘事與話語(yǔ)分析

在新型數(shù)字出版物中，蘊(yùn)含圖像、聲音、動(dòng)作等多種符號(hào)資源和視、聽(tīng)、觸多種感官系統(tǒng)的多模態(tài)話語(yǔ)的應(yīng)用伴隨著媒介技術(shù)的發(fā)展臻于成熟和完善。然而對(duì)于這些新型出版物的話語(yǔ)特征及意義生產(chǎn)模式，尤其是多模態(tài)之間的協(xié)同運(yùn)作則需要更多深入探索，以進(jìn)一步完善多模態(tài)話語(yǔ)分析框架和理論。受符號(hào)互動(dòng)論等理論的影響，學(xué)者們探索社會(huì)互動(dòng)下符號(hào)化過(guò)程中話語(yǔ)意義的生成，并不再局限于語(yǔ)言文本，而是致力于研究諸如圖像、聲音、顏色、字體等其他非語(yǔ)言類社會(huì)符號(hào)資源在意義建構(gòu)方面所起的作用，關(guān)注重點(diǎn)則轉(zhuǎn)向各種模態(tài)的表現(xiàn)形式與其所表達(dá)的意義之間的關(guān)聯(lián)，以及各種模態(tài)之間的協(xié)同作用如何生產(chǎn)新的話語(yǔ)，即強(qiáng)調(diào)符號(hào)的物態(tài)特征和使用者感官經(jīng)驗(yàn)的重要性[4]。

2.1 “元功能”：多模態(tài)話語(yǔ)分析的理論基礎(chǔ)

英國(guó)語(yǔ)言學(xué)家韓禮德（Halliday）[5]創(chuàng)立的系統(tǒng)功能語(yǔ)言學(xué)是多模態(tài)話語(yǔ)的理論基礎(chǔ)。具體地說(shuō)，多模態(tài)話語(yǔ)理論從系統(tǒng)功能語(yǔ)言學(xué)中吸收了語(yǔ)言的社會(huì)符號(hào)（social semiotic）思想、語(yǔ)境理論、層次理論、系統(tǒng)理論、語(yǔ)域（register）理論與元功能理論。其中，社會(huì)符號(hào)思想和意義潛勢(shì)（meaning potential）等觀點(diǎn)將語(yǔ)言之外的其他符號(hào)系統(tǒng)納入意義生產(chǎn)與建構(gòu)范疇;純理功能假說(shuō)（metafunction hypothesis）認(rèn)為多模態(tài)話語(yǔ)具有多功能性，即概念（ideational）、人際（interpersonal）和語(yǔ)篇（textual）三大功能[6];語(yǔ)域理論強(qiáng)調(diào)語(yǔ)境在話語(yǔ)意義的解讀中具有不可或缺的重要性[7]。

根據(jù)韓禮德的系統(tǒng)功能語(yǔ)言學(xué)理論，語(yǔ)言的3種元功能中：概念功能又可分為經(jīng)驗(yàn)功能和邏輯功能。其中，經(jīng)驗(yàn)功能是語(yǔ)言對(duì)于人們?cè)诂F(xiàn)實(shí)的外部世界和內(nèi)心世界中各種經(jīng)歷的表達(dá)，反映了事件、人物、時(shí)間、地點(diǎn)等因素;邏輯功能是語(yǔ)言對(duì)意義單位之間邏輯關(guān)系的表達(dá)[8]。人際功能是表達(dá)講話者的身份、地位、態(tài)度、動(dòng)機(jī)及其對(duì)某一事物判斷的功能[9]。由于概念和人際功能的實(shí)現(xiàn)最終要通過(guò)語(yǔ)言得以達(dá)成，因而必然受到語(yǔ)言本身的制約。語(yǔ)篇是一種有意義的表述的集合體，屬于語(yǔ)義范疇。它不是大于句子的句法單位，也不是段落。在語(yǔ)義層中，把語(yǔ)言成分組織成為語(yǔ)篇的功能即為“語(yǔ)（謀）篇功能”[10]。盡管三大元功能的提出基于韓禮德對(duì)言語(yǔ)的研究，但事實(shí)上這些元功能可以適用于幾乎所有的人類交際系統(tǒng)。本文研究的關(guān)鍵問(wèn)題則在于，這些元功能是如何在多模態(tài)話語(yǔ)交際中實(shí)現(xiàn)的？

2.2 模態(tài)聯(lián)動(dòng)：多模態(tài)話語(yǔ)分析的關(guān)鍵問(wèn)題

根據(jù)元功能理論，在語(yǔ)篇中不僅語(yǔ)言符號(hào)系統(tǒng)應(yīng)具有這三種功能，其他符號(hào)系統(tǒng)如圖像、聲音、動(dòng)畫(huà)、色彩等同樣能夠?qū)崿F(xiàn)這些元功能。因此，需要進(jìn)一步考慮的問(wèn)題是，各個(gè)符號(hào)系統(tǒng)如何聯(lián)動(dòng)協(xié)作共同實(shí)現(xiàn)三個(gè)元功能？這需要我們關(guān)注以下兩方面的問(wèn)題。

首先是要確定不同模態(tài)或符號(hào)系統(tǒng)之間的語(yǔ)法關(guān)系。傳統(tǒng)的符號(hào)學(xué)和語(yǔ)言學(xué)研究主要集中于圖像、人物、事件、場(chǎng)景等單個(gè)元素的意義，忽視了元素之間關(guān)系的結(jié)構(gòu)。事實(shí)上，圖像中的視覺(jué)模態(tài)是一個(gè)系統(tǒng)連貫的整體，圖像的意義是由視覺(jué)模態(tài)之下諸多元素的相互配合與整合而完成的，這一組合的過(guò)程也遵循著某種語(yǔ)法規(guī)則和章程。因此，僅從某一單獨(dú)的模態(tài)或符號(hào)系統(tǒng)出發(fā)難以建立起一個(gè)完整全面的意義分析框架，而需要注重模態(tài)或符號(hào)系統(tǒng)間的語(yǔ)法關(guān)系。因此，為進(jìn)一步探究交互式繪本的多模態(tài)敘事特征，我們便可以借鑒韓禮德的三大功能假說(shuō)，從概念功能、人際功能和語(yǔ)篇功能三個(gè)層面展開(kāi)分析和論述。

其次是要確定文字和圖像之間的關(guān)系。來(lái)自后形式主義、圖像學(xué)、符號(hào)學(xué)等領(lǐng)域的學(xué)者們基于不同的立場(chǎng)和視角均對(duì)這一問(wèn)題展開(kāi)了研究，其說(shuō)法不盡相同。誠(chéng)然，文字和圖像的關(guān)系是一個(gè)十分古老的命題，更多的學(xué)者傾向于認(rèn)為它們是彼此獨(dú)立的兩套符號(hào)系統(tǒng)，卻又存在著密不可分的聯(lián)系。例如亞里士多德曾“論述過(guò)詩(shī)歌與繪畫(huà)的平行關(guān)系”“米歇爾將圖像與語(yǔ)詞喻作說(shuō)不通語(yǔ)言的兩個(gè)國(guó)度，但它們之間保持著一個(gè)漫長(zhǎng)的交流與接觸的關(guān)系”[11]。這給我們帶來(lái)的啟發(fā)是，一方面不能在圖像與文字之間建立直接的等同關(guān)系，將圖像視為文字的視覺(jué)再現(xiàn)或?qū)⑽淖忠暈閳D像的意義闡釋，而應(yīng)當(dāng)認(rèn)識(shí)到，文字與圖像在內(nèi)部語(yǔ)法、形式結(jié)構(gòu)、敘事特征方面都存在巨大差異。另一方面要格外注重文字與圖像之間的互動(dòng)和關(guān)聯(lián)，尤其反映在敘事層面，圖與文的關(guān)系是滲透融合、模仿再現(xiàn)，還是相互沖突？這都需要我們?cè)诰唧w的圖像和文本語(yǔ)境中具體地展開(kāi)討論。

2.3 視覺(jué)語(yǔ)法：多模態(tài)話語(yǔ)分析的理論框架

多模態(tài)話語(yǔ)分析的相關(guān)研究在1996年取得重要進(jìn)展。這一年克瑞斯（Kress）和范勒文（Van Leeuwen）出版了《閱讀圖像：視覺(jué)設(shè)計(jì)的語(yǔ)法》[12]一書(shū)，將圖像、音樂(lè)、色彩、版式等多模態(tài)符號(hào)系統(tǒng)囊括在語(yǔ)篇范疇內(nèi)，為系統(tǒng)闡釋圖文語(yǔ)篇的意義建構(gòu)開(kāi)創(chuàng)了新的理論框架。比照韓禮德功能語(yǔ)法，他們建立起圖像的視覺(jué)分析框架，認(rèn)為圖像可以體現(xiàn)三種意義：再現(xiàn)意義（representational meaning）、互動(dòng)意義（interactive meaning）、組篇意義（compositional meaning）。這一視覺(jué)圖像敘事分析框架為后來(lái)的多模態(tài)話語(yǔ)分析奠定了重要的理論基礎(chǔ)，然而也存在一定的不足：缺乏關(guān)于語(yǔ)言與圖像模態(tài)關(guān)系及相互作用的探討，也沒(méi)有在圖像與讀者互動(dòng)的層面進(jìn)行論述。因而，佩因特（Painter）、馬丁（Martin）和昂斯沃斯（Unsworth）三位系統(tǒng)功能語(yǔ)言學(xué)者在克瑞斯等人的研究基礎(chǔ)上，于2013年出版了《閱讀視覺(jué)敘事》一書(shū)。他們同樣在“元功能”理論的基礎(chǔ)上，提出了視覺(jué)敘事的理論框架，涵蓋了概念意義、人際意義和語(yǔ)篇意義三部分?？巳鹚古c佩因特等人建構(gòu)的敘事理論框架都基于韓禮德的三大元功能，二者卻存在諸多差異：佩因特等將再現(xiàn)意義發(fā)展為概念意義，細(xì)化了其中的語(yǔ)法規(guī)則，總結(jié)出更加清晰的邏輯框架;他們還將互動(dòng)意義重新命名為人際意義，并進(jìn)一步歸納出聚焦、情感、氛圍三大系統(tǒng);組篇意義則對(duì)應(yīng)于后者的語(yǔ)篇意義，佩因特等將信息值的概念發(fā)展為涵蓋面更廣的版面布局概念?？傮w而言，新的圖像敘事理論框架在兩方面對(duì)原視覺(jué)語(yǔ)法進(jìn)行了修正和補(bǔ)充：一是研究對(duì)象的擴(kuò)展，由原來(lái)的單個(gè)圖像拓展為多個(gè)圖像組成的多模態(tài)復(fù)雜語(yǔ)篇;二是理論框架的完善，在視覺(jué)語(yǔ)法基礎(chǔ)上增加了讀者的維度，補(bǔ)充了對(duì)圖像與讀者互動(dòng)的研究，加入了情感系統(tǒng)、人物表征、事件關(guān)系等重要框架，以更深入地解讀和闡釋圖像。

3 兒童交互式繪本視覺(jué)多模態(tài)話語(yǔ)分析

傳統(tǒng)紙質(zhì)繪本主要采用線性敘事，通過(guò)文本和圖像傳達(dá)意義，讀者的參與感和互動(dòng)程度較低;而交互式繪本結(jié)合文本、圖像、動(dòng)畫(huà)和觸摸技術(shù)，為讀者提供多層次、多維度的閱讀體驗(yàn)。圖書(shū)通過(guò)動(dòng)態(tài)方式呈現(xiàn)，讀者隨著互動(dòng)的深入可表現(xiàn)出更多的主體性與情感投入。目前已有學(xué)者對(duì)于兒童繪本的敘事問(wèn)題展開(kāi)討論[13][14]，本文基于系統(tǒng)功能語(yǔ)言學(xué)和圖像敘事的理論視角，在調(diào)研數(shù)十種目前具有代表性的兒童交互式繪本的基礎(chǔ)上，以Nosy Crow出版的交互式繪本《小紅帽》（App應(yīng)用）為例，對(duì)這一類型圖書(shū)的視覺(jué)多模態(tài)敘事和話語(yǔ)特征展開(kāi)具體分析和研究。

3.1 概念意義的建構(gòu)

概念意義（Ideational Meaning）通常關(guān)注敘事中的人物、事件、場(chǎng)景三種基本要素，進(jìn)一步可呈現(xiàn)為三個(gè)子框架（見(jiàn)圖1）：一是人物表征框架;二是事件關(guān)系框架;三是圖像的背景關(guān)系框架。

視覺(jué)圖像敘事中人物的塑造主要依賴人物表征框架。人物表征方式可分為完整表征和轉(zhuǎn)喻表征：完整表征是指通過(guò)刻畫(huà)人物外部特征來(lái)建立明確的人物身份;轉(zhuǎn)喻表征是指通過(guò)身體的局部特征來(lái)明確人物身份。如圖2所示，當(dāng)人物首次出場(chǎng)時(shí)，常常采用正面全景角度，展現(xiàn)人物的全貌;而當(dāng)出現(xiàn)戲劇沖突時(shí)，往往展現(xiàn)人物的面部特寫(xiě)以突顯人物的神態(tài)與情感反應(yīng)。如小紅帽在故事開(kāi)頭出場(chǎng)時(shí)采用了全景式的呈現(xiàn)，在圖2左的構(gòu)圖中，小紅帽位居畫(huà)面中央且無(wú)遮擋，能夠使讀者對(duì)該人物有一個(gè)較為清晰完整的印象;當(dāng)小紅帽遇見(jiàn)大灰狼后，故事情節(jié)走向高潮，人物情緒在此時(shí)成為圖像敘事突出表達(dá)的內(nèi)容，因此圖2右便著重刻畫(huà)了人物怒目圓睜、斜視的面部神態(tài)，表達(dá)了一種警惕、憤怒、防御的情緒狀態(tài)。傳統(tǒng)繪本中人物的表征方式被印刷媒介固化在紙張上無(wú)法變動(dòng);但在閱讀交互式繪本時(shí)，讀者可以通過(guò)點(diǎn)觸操作，放大或縮小，調(diào)整取景距離，以便更清楚地看到人物細(xì)節(jié)。這使畫(huà)面不受限于全景與特寫(xiě)之分，人物的表征方式更加靈活。

事件關(guān)系框架即敘事中不同事件之間的聯(lián)系，包括展開(kāi)和投射兩種模式。事件展開(kāi)指的是敘事的時(shí)間順序;事件投射可分為真實(shí)事件投射與想象事件投射。區(qū)別于傳統(tǒng)紙質(zhì)繪本中較為固定的時(shí)間關(guān)系，交互式繪本依托于數(shù)字交互技術(shù)帶來(lái)的媒介屬性和特征，多采用非線性敘事結(jié)構(gòu)，在敘事過(guò)程中為讀者提供了開(kāi)放的敘事框架、任意的敘事順序，以及可以根據(jù)個(gè)人喜好調(diào)整、觸發(fā)的場(chǎng)景模式。在《小紅帽》中，讀者可以通過(guò)地圖上的不同線路和地點(diǎn)，幫助故事人物選擇即將前往的地點(diǎn)（見(jiàn)圖3）。此時(shí)，讀者在閱讀的過(guò)程中被賦予了自主選擇的權(quán)利，根據(jù)不同讀者的操作和輸入，交互式繪本可以輸出和反饋不同的內(nèi)容，一方面極大地增強(qiáng)了讀者的參與感與互動(dòng)感，另一方面也延展了圖像敘事的意義空間。

背景關(guān)系框架考察的則是事件發(fā)生情境的延續(xù)和變化。背景變化可以構(gòu)成敘事時(shí)空的轉(zhuǎn)換，因此相鄰圖像選擇相同的背景或僅變換視角以表示敘事情境的延續(xù)或不變。交互式繪本相較于紙質(zhì)繪本的一個(gè)優(yōu)勢(shì)在于，其場(chǎng)景可以不受紙張的局限，場(chǎng)景大小可以任意定制，場(chǎng)景切換方式也有不同。當(dāng)小紅帽在森林中奔跑，繪本中呈現(xiàn)的是動(dòng)態(tài)畫(huà)面，讀者可以控制小紅帽的奔跑速度以及何時(shí)停下;如果不施加干預(yù)，小紅帽可以一直在畫(huà)面中的道路上奔跑。這使得場(chǎng)景的變化、情節(jié)的推動(dòng)節(jié)奏掌握在讀者手中，讀者可以根據(jù)自身需要調(diào)整故事的敘事節(jié)奏。

3.2 人際意義的建構(gòu)

視覺(jué)語(yǔ)篇的人際意義（Interpersonal Meaning）通過(guò)分析圖像中參與者之間的社會(huì)關(guān)系、圖像設(shè)計(jì)者的交際目的以及讀者對(duì)圖像內(nèi)容的介入程度來(lái)考察圖像與讀者之間的互動(dòng)，可進(jìn)一步展開(kāi)為聚焦系統(tǒng)、情感系統(tǒng)和氛圍系統(tǒng)。

聚焦系統(tǒng)包含兩方面內(nèi)容（見(jiàn)圖4）：一是圖像中人物與讀者的互動(dòng)關(guān)系;二是讀者閱讀圖像的視角。在聚焦系統(tǒng)中，讀者和圖像的關(guān)系可以概括為接觸與觀察兩種：接觸即讀者透過(guò)繪本故事中的人類、動(dòng)物或擬人角色凝視;觀察指讀者處于第三視角，不通過(guò)角色凝視。繪本通過(guò)人物的視角、場(chǎng)景轉(zhuǎn)換創(chuàng)造出一個(gè)與我們現(xiàn)實(shí)世界平行的故事世界;而讀者通過(guò)觀察來(lái)了解繪本中的故事世界。在《小紅帽》中，接觸與觀察兩種聚焦關(guān)系都大量存在，例如當(dāng)小紅帽提著籃子穿過(guò)森林時(shí)，讀者便能夠代入她的視角一路前行，并且可以通過(guò)觸摸屏幕停下來(lái)觀察周邊變化的環(huán)境;而當(dāng)小紅帽遇見(jiàn)大灰狼開(kāi)始與之進(jìn)行斗爭(zhēng)時(shí)，讀者便處在第三視角，以便更完整地看到富有戲劇性的故事情節(jié)。相較于紙質(zhì)繪本，交互式繪本的特殊之處在于可以通過(guò)觸摸電子屏幕，探索場(chǎng)景的更多細(xì)節(jié)和不同角度，與故事世界中的人物建立更豐富的聯(lián)系。在故事發(fā)展的關(guān)鍵時(shí)刻，讀者還可以通過(guò)角色的眼睛、站在角色的立場(chǎng)選擇和看待故事世界，增強(qiáng)其參與感及認(rèn)同感。

不同抽象程度的視覺(jué)圖像可以建構(gòu)出圖像人物與讀者之間不同的情感互動(dòng)，這是創(chuàng)作者在視覺(jué)設(shè)計(jì)中經(jīng)常使用的策略。人際意義建構(gòu)中用來(lái)描述和解釋圖像敘事的情感介入的子框架為情感（pathos）系統(tǒng)（見(jiàn)圖5）。該系統(tǒng)可以被劃分為觀察與異化兩種表征方式：觀察指讀者與圖中人物存在情感關(guān)系，圖像敘事也旨在喚起讀者更多的情感投入;異化指讀者不存在或不需要情感關(guān)系，讀者對(duì)圖像的態(tài)度是抽離的、客觀的。根據(jù)情感介入的程度，觀察表征方式又可細(xì)分為鑒賞、移情和個(gè)體三種類型。鑒賞類圖像最為簡(jiǎn)單抽象，如基礎(chǔ)的符號(hào)、簡(jiǎn)化的線條等;移情類圖像較之前者更具象復(fù)雜一些，讀者能夠識(shí)別出人物情感，但不能確定具體人物;個(gè)體類圖像則更加寫(xiě)實(shí)、細(xì)節(jié)刻畫(huà)較多，人物有具體的表征，如人物的特寫(xiě)圖像，可以清晰地反映其面部神態(tài)和情緒。在《小紅帽》中，作者通常在刻畫(huà)主要人物形象時(shí)主要選取更寫(xiě)實(shí)、更具象化的個(gè)體類圖像，從而能夠給讀者以直觀的感受和視覺(jué)沖擊力，更快速地建立讀者與人物的情感關(guān)系。而在一些遠(yuǎn)景、次要人物和細(xì)小物品的刻畫(huà)中，作者會(huì)選取鑒賞類和移情類的圖像風(fēng)格，突出圖像的主要內(nèi)容，弱化次要內(nèi)容。

根據(jù)克瑞斯等關(guān)于顏色的符號(hào)學(xué)描述，氛圍（ambience）系統(tǒng)主要是關(guān)于背景的描述和使用顏色來(lái)創(chuàng)建情緒。該框架認(rèn)為顏色可作為一種人際意義資源在敘事中構(gòu)建氛圍和情感基調(diào)，并把彩色圖像按照色度、色調(diào)和自然度3個(gè)維度進(jìn)行劃分?！缎〖t帽》在不同故事情節(jié)中，選擇不同的色度、色調(diào)和自然度設(shè)定故事的情感基調(diào)，渲染人物的情緒，推動(dòng)情節(jié)發(fā)展。在小紅帽出門探望外婆時(shí)，主要采用明亮鮮艷的高色度色彩和代表熱情的暖色調(diào)，營(yíng)造明媚、充滿活力的氛圍和情緒;在大灰狼出場(chǎng)時(shí)，畫(huà)面采用相對(duì)較低的色度和代表冷漠的冷色調(diào)，奠定人物 “邪惡”形象的整體基調(diào)。構(gòu)建語(yǔ)篇的情感氛圍時(shí)，自然度也起著重要作用，自然度指顏色的豐富程度，顏色越豐富越容易讓人產(chǎn)生親切感，越單一則越容易導(dǎo)致疏遠(yuǎn)的感覺(jué)。色彩變化不僅對(duì)應(yīng)故事情節(jié)的內(nèi)容發(fā)展，也通過(guò)氛圍營(yíng)造引發(fā)讀者共鳴。顏色在敘事中的運(yùn)用并不限于數(shù)字媒介中;但數(shù)字媒介對(duì)于顏色運(yùn)用有所發(fā)展，體現(xiàn)為提高呈現(xiàn)精度。由于計(jì)算機(jī)輔助色彩設(shè)計(jì)等技術(shù)的發(fā)展，計(jì)算機(jī)可以以數(shù)值方式構(gòu)建色彩屬性的選取和呈現(xiàn)模式，從而能更精確地提升讀者的視覺(jué)體驗(yàn)。此外，相較于紙質(zhì)繪本，交互式繪本在同一場(chǎng)景、同一畫(huà)面中，還可以通過(guò)讀者互動(dòng)改變圖像顏色。如小紅帽在探望外婆的路上，穿過(guò)森林的時(shí)候突然下起雨，此時(shí)整體圖像色度就會(huì)變低，以營(yíng)造陰雨綿綿的環(huán)境氣氛，讓讀者更有身臨其境之感。

3.3 語(yǔ)篇意義的建構(gòu)

在語(yǔ)篇意義（Textual Meaning）層面，圖像及圖像中的成分所處的相對(duì)位置反映了多模態(tài)話語(yǔ)的信息分布（information distribution）。據(jù)此可以辨認(rèn)出已知信息、新信息、信息焦點(diǎn)等，而信息值、取景（framing）和顯著性（salience）是分析圖像構(gòu)成意義的三個(gè)維度。佩因特等補(bǔ)充和完善了傳統(tǒng)的視覺(jué)語(yǔ)法，把信息值改為版面布局（layout）關(guān)系，并提出融合與互補(bǔ)兩種圖文關(guān)系以及敘事語(yǔ)篇中圖像與文字的布局框架（見(jiàn)圖6）。

在融合型版面布局中，語(yǔ)言文字是圖像的一部分，二者融為一個(gè)整體。在文字和圖像之間，存在著擴(kuò)展和投射兩種語(yǔ)義關(guān)系。投射即圖像中人物的話語(yǔ)以文字形式出現(xiàn)，通常還會(huì)表現(xiàn)為氣泡、對(duì)話框的形式，如圖7中媽媽與小紅帽的對(duì)話。擴(kuò)展是指圖像與文字各具意義，二者相互補(bǔ)充、闡釋、增強(qiáng)，通常以字幕的形式出現(xiàn)在圖像畫(huà)幅的邊緣，如圖7下方的解釋性說(shuō)明文字作為圖像的補(bǔ)充信息，交待了畫(huà)面之外的故事背景。在互補(bǔ)型版面布局中，文字和圖像各占一部分空間，彼此處于相對(duì)獨(dú)立的狀態(tài)，我們則可以通過(guò)對(duì)稱性、重要性、位置特征三個(gè)要素考察其關(guān)系。一般來(lái)說(shuō)，對(duì)稱性表示圖像與文字平均分布于畫(huà)面中軸線兩側(cè);重要性指具體畫(huà)面中圖像或文字的主導(dǎo)性問(wèn)題;位置特征則描述了圖像與文字在畫(huà)面中的布局與排版情況，其中包含了相鄰與分隔兩種情況。

在交互式繪本的取景與顯著性方面，其版面呈現(xiàn)不受媒介空間的限制，讀者因此可以任意放大或縮小圖像。這導(dǎo)致了圖像之間相對(duì)位置的模糊以及信息焦點(diǎn)的不確定性：一方面，讀者可以根據(jù)自己的理解定制圖像信息的中心，圖像的意義解釋空間得到豐富和擴(kuò)張;另一方面，由于信息傳遞的不確定性，意義的邊界過(guò)于向外延展，導(dǎo)致圖像的敘事性削弱。

4 結(jié) 語(yǔ)

數(shù)字媒介技術(shù)的發(fā)展帶來(lái)了人類活動(dòng)物質(zhì)手段的豐富性與多樣性，其直接影響便是多種模態(tài)資源的復(fù)合與共存成為社會(huì)文化的典型特征。這不僅作用于話語(yǔ)交流的形態(tài)，同樣形塑著話語(yǔ)內(nèi)容，并在此基礎(chǔ)上催生了新的意義表達(dá)、傳遞、理解機(jī)制。多模態(tài)話語(yǔ)分析的意義便在于整合各種符號(hào)資源，使人們不僅可以看到語(yǔ)言符號(hào)系統(tǒng)還可以看到諸如圖像、聲音、動(dòng)畫(huà)等其他符號(hào)系統(tǒng)如何作用于人類交際，從而使話語(yǔ)意義生產(chǎn)發(fā)揮出更大潛能。建立在系統(tǒng)功能語(yǔ)言學(xué)和社會(huì)符號(hào)學(xué)基礎(chǔ)上的多模態(tài)研究，不僅在語(yǔ)言學(xué)方面獲得了長(zhǎng)足的進(jìn)步和發(fā)展，同時(shí)在更廣泛的傳播交流領(lǐng)域具有很強(qiáng)的解釋力，對(duì)分析人類社會(huì)復(fù)雜的交際行為提供了理論指導(dǎo)?；诖?，本文選擇了具有代表性意義的新型數(shù)字出版物—兒童交互式繪本作為集中分析和考察的對(duì)象，一方面以此為切入點(diǎn)，反映交互式數(shù)字出版物的典型敘事特征，探討圖像系統(tǒng)中的視覺(jué)多模態(tài)話語(yǔ)及意義構(gòu)建;另一方面，多模態(tài)話語(yǔ)研究本身也作用于現(xiàn)實(shí)社會(huì)的發(fā)展，對(duì)兒童交互繪本的深入解讀和闡釋也有利于其在兒童心理、認(rèn)知教育方面發(fā)揮影響。

注 釋

[1]李戰(zhàn)子，陸丹云.多模態(tài)符號(hào)學(xué)：理論基礎(chǔ)，研究途徑與發(fā)展前景[J].外語(yǔ)研究，2012（2）：1-8

[2]潘艷艷，李戰(zhàn)子.國(guó)內(nèi)多模態(tài)話語(yǔ)分析綜論（2003—2017）：以CSSCI來(lái)源期刊發(fā)表成果為考察對(duì)象[J].福建師范大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2017（5）：49-59+168-169

[3]徐麗芳，曾李.數(shù)字?jǐn)⑹屡c互動(dòng)數(shù)字?jǐn)⑹耓J].出版科學(xué)，2016，24（3）：96-101

[4]胡永近.多模態(tài)話語(yǔ)分析理論及其在外語(yǔ)教學(xué)中的應(yīng)用[M].合肥：安徽大學(xué)出版社，2018：4

[5]M.A.K.Halliday. Language as social semiotic： The social interpretation of language and meaning[M].London： Edward Arnold， 1978

[6]唐納德·韓禮德.韓禮德語(yǔ)言學(xué)文集[M].長(zhǎng)沙：湖南教育出版社，2006：44-58

[7]朱永生，嚴(yán)世清.系統(tǒng)功能語(yǔ)言學(xué)再思考[M].上海：復(fù)旦大學(xué)出版社，2011：121

[8][9][10]胡壯麟.系統(tǒng)功能語(yǔ)言學(xué)概論[M].北京：北京大學(xué)出版社，2008：74，115，161

[11]曹意強(qiáng).圖像與語(yǔ)言的轉(zhuǎn)向：后形式主義、圖像學(xué)與符號(hào)學(xué)[J].新美術(shù)，2005（3）：4-15

[12]KRESS G，LEEUWN T. Reading Images：The Grammar of Visual Design [M]. London： Routledge， 1996

[13]徐志武.電子繪本中的數(shù)字?jǐn)⑹卵芯縖J].出版科學(xué)，2018，26（6）：94-98

[14]楊忠. 以繪為本 抵心問(wèn)道[D].北京：中央美術(shù)學(xué)院，2017

[15][18]馮德正.視覺(jué)語(yǔ)法的新發(fā)展：基于圖畫(huà)書(shū)的視覺(jué)敘事分析框架[J].外語(yǔ)教學(xué)，2015，36（3）：23-27

[16][17]Painter C.，Martin J.R.& Unsworth.L.Reading Visual Narratives：Image Analysis of Childrens Picture Books [M]. London： Equinox，2013：30，35

（收稿日期：2021- 02-23）