王文峰 趙曉瑞

（西安石油大學外國語學院，陜西 西安 710065）

傳統(tǒng)意義上的語篇分析注重分析語言系統(tǒng)本身，忽略對其他語義符號系統(tǒng)，如圖像、聲音和顏色的探究。隨著科技創(chuàng)新的不斷發(fā)展和多媒體技術(shù)的廣泛應(yīng)用，多模態(tài)文本已經(jīng)成為了當今信息交流的常態(tài)化方式。Kress & van Leeuwen(1996)基于韓禮德的社會符號學理論觀點，開創(chuàng)了多模態(tài)話語研究領(lǐng)域，構(gòu)建了視覺語法框架，詳細闡釋了多模態(tài)語義分析模式。

兒童繪本在幼兒的生活和教育等諸多方面發(fā)揮著重要的作用，繪本閱讀是兒童識字以及未來的學校教育的必要準備。[1]繪本通常由圖畫配以簡短的文字構(gòu)筑出多個故事，是兒童教育的重要工具和載體，繪本閱讀已經(jīng)成了兒童教育的重要方式。繪本主題內(nèi)容主要涉及童話故事、科普知識、兒童哲學啟蒙等。敘事類兒童繪本是兒童社會化的工具之一，是有關(guān)世界和社會價值中的意識形態(tài)信息的來源。兒童繪本中的較大篇幅是圖片，所以圖畫部分與語言同等重要，在兒童幼年發(fā)展時期起著同樣重要的作用。本文以兒童繪本為例考察視覺敘事中的意義的構(gòu)建模式，詳細闡釋Painter等[1]構(gòu)建的多模態(tài)語篇敘事的意義建構(gòu)分析框架。

一、多模態(tài)語篇的概念意義建構(gòu)

概念意義包含兩種語義，即經(jīng)驗意義和邏輯意義。[2]與語言的經(jīng)驗意義的表達類似，視覺敘事語篇概念意義的建構(gòu)也涉及參與者角色、事件本身和相關(guān)環(huán)境成分。相對于語言而言，兒童繪本的視覺符號表征更容易識解。

（一）參與者角色表征

視覺敘事不同于文本敘事，視覺敘事中沒有與語言系統(tǒng)中等同的“指稱(Reference)”概念。語言中的代詞可以避免人名和描述的重復而實現(xiàn)指稱。視覺敘事語篇中，當人物的顯著特征在后續(xù)的圖像中出現(xiàn)，就常被認為是同一參與者。讀者可通過身體的一部分或者影子或輪廓等辨認出一個人，這是視覺敘事語篇實現(xiàn)指稱的重要手段。下面圖1是視覺敘事語篇中參與者角色的表征模式：

圖1 多模態(tài)敘事語篇中人物的表征模式

（二）事件關(guān)系

視覺敘事語篇主要表達的及物過程包括（1）含單個或者多個參與者的行為過程；（2）通過有矢量指示的“言語泡”表達言語過程；（3）包括認知過程和感知過程的心理過程。兒童在閱讀繪本時，不僅要理解單頁的圖畫，而且還需要清楚多個連續(xù)圖像之間的關(guān)系。在語言文本中，小句之間的聯(lián)系依賴的是小句之間的“擴展”(expansion)和“投射”(projection)兩種邏輯語義關(guān)系。然而，在圖像中并不存在能夠明確表示事件之間關(guān)系的資源，讀者通過比較相鄰的或先后相連的圖像，然后從圖像之間的殊同之處推斷出事件之間的關(guān)系?！氨容^”(compare)和“對比”(contrast)是讀者在理解圖像中描述的兩個事件之間關(guān)系的必備的語義策略。Painter等[1]對圖像中的事件關(guān)系進行了總結(jié)，見圖2。在圖像表征的事件間關(guān)系中，先后順序指的是多個連續(xù)的圖像描繪相同的參與者的行為。同時發(fā)生指的是不同參與者的行為。投射關(guān)系中，第一種為真實所見的視覺投射，通常是前圖顯示人物在思考，后續(xù)的圖像顯示的是人物看到的內(nèi)容。第二種是圖像中人物所思考的或者想象的事物，稱之為想象的投射。

圖2 多模態(tài)敘事語篇中事件關(guān)系的表征模式

（三）環(huán)境成分

從概念功能來看，背景環(huán)境可以為事件過程提供發(fā)生場所。視覺敘事語篇中對背景的描繪可以提供圖像中參與者角色的行為的物質(zhì)環(huán)境。語言可以借助詞匯語法資源明確提供多種環(huán)境成分，如地點、方式、原因、條件、范圍、角色等。[2]然而在視覺敘事語篇中，這些環(huán)境成分中的大多數(shù)并不能通過視覺方式直接表征出來。盡管圖像中的鐘表、燈光和月亮可以用來表示時間，然而其主要意義在于指明空間位置的細節(jié)信息。如果圖像中沒有環(huán)境成分的描繪，那注意力就一定聚焦于圖像中的人物或者動作本身。[1]

如果事件發(fā)展過程中情景沒有發(fā)生改變，圖像可以選擇相同的背景，或者可以使用不同視角變化如仰角-俯角、遠景-近景等的變換。如果情景發(fā)生變化，圖像可以使用新背景或者進行去背景化，多模態(tài)敘事語篇中及物性過程的環(huán)境成分的表征模式詳見圖3。

二、多模態(tài)語篇的人際意義建構(gòu)

Halliday[3]認為提供(giving)和求取(demanding)是交際中最重要的言語功能。借鑒韓禮德對語言的描述思想，Kress 和 van Leeuwen[4]指出圖像中人物的眼神注視讀者表明圖像要求讀者與圖像中的人物建立某種關(guān)系。反之，則表明圖像在向閱讀者提供某種信息。然而，Painter等[1]則認為圖像不能像語言那樣表達明確的提供或者求取關(guān)系。鑒于此，Painter等提出了針對視覺敘事語篇的新的聚焦系統(tǒng)(focalization)來考察圖像和讀者間的互動關(guān)系。

圖3 多模態(tài)敘事中及物性過程的環(huán)境成分呈現(xiàn)方式

Kress & van Leeuwen[4]構(gòu)建了圖像中表現(xiàn)人際意義的語義系統(tǒng)，如社會距離(social distance)、態(tài)度(attitude，包含參與和權(quán)力)、聯(lián)系(contact)和情態(tài)(modality)。其中，社會距離是由圖像人物框架的大小來體現(xiàn)的，即通過特寫(close up)、中景(mid shot)和遠景(long shot)三種方式對人物進行表征。Painter等[1]對Kress & van Leeuwen的互動意義和情態(tài)意義系統(tǒng)進行了修正和補充，提出了表征視覺圖像中人際意義的語義系統(tǒng)：

（一） 聚焦 (Focalization)

“聚焦”系統(tǒng)是對Kress & van Leeuwen[4]的“接觸”系統(tǒng)(contact)的重新闡述和詳述，它關(guān)注的是圖像中人物的描寫。該系統(tǒng)主要有兩個關(guān)注點，其一，圖像中的人物與讀者之間是否存在互動；其二，圖像為讀者提供了何種閱讀視角。關(guān)于圖中人物和讀者的互動關(guān)系，Painter等[1]區(qū)分了兩種不同于Kress & van Leeuwen(2006)的圖像類型，即“接觸”和“旁觀”兩種主要視角：接觸類可細化為直接接觸和被邀請接觸兩類。旁觀類圖像使讀者在故事之外觀察和了解視覺敘事語篇中發(fā)生的事。當圖像僅顯示故事參與者的身體的一部分時，通常是雙手或者雙腳在外面而整個身體隱藏，讀者就可以從人物的視角進入人物角色。就圖像為讀者提供的視角而言，Painter等區(qū)分了有中介(mediated)和無中介(unmediated)兩種圖像，前者是指引導讀者通過圖中人物的視角來閱讀圖像；后者是指讀者的閱讀視角和圖像中的人物不相關(guān)。

（二）情感系統(tǒng)

情感系統(tǒng)是人際意義的一個重要的子系統(tǒng)。兒童繪本是兒童教育的重要途徑，因此重視對閱讀者情感體驗的培養(yǎng)。兒童繪本中人物描繪方式大致分為三種風格：最簡風格(minimalist)、類化風格(generic)和自然風格(naturalistic)，見圖4。最簡風格指用圓圈或橢圓表示人物的頭部特征，用點或者是小圓圈表示眼睛，此風格不需要保持精確的面部和身體比例。最簡風格表達人物快樂或者悲傷的程度最強，希望讀者做相對不帶感情的旁觀者來閱讀故事。類化風格對人物特征描繪較為詳細，其情感表達技能可以擴展到更多行為表達的情感，也就是說，這些情感和觀察、行動、集中注意力等相關(guān)。類化風格可創(chuàng)造所有類型的人物，繪本中該風格多表示本質(zhì)上具有指令性，含蓄地希望讀者將自己視為主人公，按照其所作所為行事。類化風格常促使兒童與圖中人物持相同立場，使讀者感同身受，設(shè)身處地體驗主人公的處境及其內(nèi)心世界，從而達到感受和理解其情感，培養(yǎng)閱讀者的共情能力。自然風格在人物特征刻畫上最為詳細、細致入微，情感表達多為真實人物的情感，最容易引發(fā)讀者的感情，進入對方的生命，感受對方的觀念和體驗，產(chǎn)生共情。

圖4 多模態(tài)語篇中人物描寫的不同風格類型

Painter等區(qū)分了兩種讀者和圖像人物情感關(guān)系的表達方式：介入(engaging)和異化(alienating)。介入指圖像希望讀者和圖像中的人物產(chǎn)生情感介入。異化中讀者并無過多情感投入，讀者常不帶情感，客觀地閱讀圖像。見圖5。

根據(jù)讀者情感投入程度的不同，Painter等區(qū)分了三種不同的介入方式：鑒賞類常選擇最簡風格描述人物，圖像人物較為抽象，讀者的情感介入較少；移情類則常選擇類化風格描述人物，圖像人物不易確定，其情感較易識別，易引發(fā)讀者一定程度的情感介入；個體類常選擇自然風格描述人物，多為真實人物，能最大程度地引發(fā)閱讀者的情感體驗。

圖5 圖像人物情感的介入與異化

（三）色彩渲染(Ambience)

語言文本語篇中情態(tài)(Modality)體現(xiàn)手段在圖像語篇中通過色彩渲染得以實現(xiàn)。研究為產(chǎn)生特定語氣對背景的描繪和顏色使用，考察如何通過顏色渲染創(chuàng)設(shè)情感氣氛。Kress & van Leeuwen[4]指出多數(shù)人認為顏色主要與情感有關(guān)，但顏色作為一種視覺交際資源，和其它模態(tài)一樣，具有多功能性，亦可表達概念意義、人際意義和組篇意義。Painter等提出了顏色資源分析的理論框架，其核心系統(tǒng)主要包括:

色度(vibrancy)主要取決于色彩的飽和度。鮮亮色彩常用來構(gòu)建興奮的、充滿活力的情感。柔和色彩則用來構(gòu)建溫和、冷靜的情感。顏色飽和度的深度體現(xiàn)圖像的鮮亮程度。但飽和度不是一個獨立變量，它和色值（顏色的明暗程度）有著密切聯(lián)系。

色調(diào)(warmth)是畫面中呈現(xiàn)的色彩總和，指畫面給人的總體色彩感覺，即畫面的整體色彩效果。色調(diào)對時間、環(huán)境、氣氛等都有較大的渲染作用。暖色調(diào)圖像常表現(xiàn)為紅黃基調(diào)，給人以溫暖、親切之感；冷色調(diào)圖像則以明亮的藍色為基調(diào)，給人距離感。

熟悉度(familiarity)由圖像中色彩區(qū)分度的量值體現(xiàn)。其基本原則是人們體驗的現(xiàn)實世界五彩繽紛，因此圖像呈現(xiàn)的顏色種類越多，圖像的自然度越強。如果圖像僅僅限于一兩種色彩或者一種顏色的不同調(diào)制，創(chuàng)設(shè)的世界與現(xiàn)實世界則相去甚遠。色差的不足會降低所描繪的事物的確定性和現(xiàn)實性。

（四）級差 (Graduation)

級差是借用Martin & White[5]的評價理論中的術(shù)語，指的是加強或者減弱人際意義的策略。Painter等將該概念推廣到了視覺圖像中，提出了視覺級差(visual graduation)概念。極差重要的體現(xiàn)方式就是力度(force)，細分為數(shù)(number)、量(mass/amount)和面積范圍(extent)。這三種維度不同量值的選擇對讀者的態(tài)度反應(yīng)發(fā)揮著重要作用，見下表。

下面，我們通過圖6來詳細討論視覺級差的不同表征形式：

力度特點 （Force feature）數(shù)（number）量（mass/amount）面積范圍（extent）強化(up-scaled)↑較多數(shù)量的同一事物相對其他成分比例較大概念成分占較大篇幅降低弱化（down-scaled）↓較少數(shù)量的同一事物相對其他成分比例較小概念成分占較小篇幅

圖6 視覺級差的不同表征形式

數(shù)(number)：圖6(a)若呈現(xiàn)一個人也可表征對熊的侵犯行為的反應(yīng)，但增加參與者數(shù)量加強了人們反抗性的表達。量(mass/amount)：圖6(b)運用了極差中系統(tǒng)中的“量”，圖中占超大尺寸的將軍在比例上與其他成分不相稱，凸顯了其權(quán)威性和權(quán)力。圖6(c)是面積范圍(extent)的運用，即使欲表征的概念內(nèi)容是中性的，增加數(shù)量仍可以增強某種情感態(tài)度，如吃香腸行為本身并不易引起消極評價，但因其在面積上占據(jù)較大空間，所以容易引起讀者的消極評價。再如圖6(d)中笑臉占據(jù)了圖像三分之二的面積，強化了圖中人物的快樂心情。

三、多模態(tài)敘事語篇的語篇意義建構(gòu)

語言語篇中有多種組篇機制可供使用來創(chuàng)造話語之間的銜接，如代詞指稱(prenominal reference)、 省 略(ellipsis)、 篇 章 重 復(textual repetition)等。此外，言語者還可以通過其他方式引導讀者，如通過主位的選擇引起一個小句。同時，還可以通過語調(diào)(intonation)、詞序展開(unfolding word order)、標點符號等把語篇切分為多個信息單元。每一個信息單元又包含一個“信息焦點”，信息焦點又表示為讀者最關(guān)注的重要新信息。

視覺圖像常使用“空間維度”來控制讀者的注意力。繪本通過圖像的版面設(shè)計、頁面和圖像本身等要素將意義“打包”(packaged)成容易理解的信息。借鑒語言語篇，視覺圖像語篇中的信息單元也可以被稱為“焦點群”(focus group)。Kress & van Leeuwen[4]指出，視覺材料整合或者分離的方法是運用不同的圖像框架。Painter等[1]指出圖像中橫跨兩頁的圖像可視為一種宏觀框架，其內(nèi)部可有其他框架。

繪本可以通過投射或者擴展這兩種方式將話語和圖像整合成一個視覺整體。當話語出現(xiàn)在“語泡”中時，二者就形成了由“投射體”和“被投射內(nèi)容”組成的雙模態(tài)圖像。被投射的內(nèi)容可以是“言語”或“思想”。此外，一些非語言的聲音如“Bang！”或者“ Pow！”都可以被投射。圖文之間的投射關(guān)系是圖中人物和言語融合的一種重要方式，因此要完全理解圖像表達的意義就必須將二者結(jié)合起來去解讀圖像。另一種重要的融合式布局方式是擴展(expanded)，其中最常見的是包含(subsumed)，即文字內(nèi)容覆蓋在圖像上成為圖像的一部分，可實現(xiàn)圖文的最強融合，引導讀者把二者視為整體理解。此外，并置(colocated)也是一種實現(xiàn)方式，圖像中的人物或行為整體或者部分脫離背景，圖像和文字通常共用一個白色背景。復位(reinstated)指文字出現(xiàn)在圖像上，但不被圖像包含起來，與圖像有清晰界限，而文字有背景框。

（一）圖文關(guān)系：圖文互補分布表明圖文這兩種模態(tài)在意義的建構(gòu)中起著不同的作用。在兒童繪本圖像按照水平軸分布中，文字居左是最常見的分布情況。Kress & van Leeuwen[4]指出圖片的左右位置擁有不同的“信息價值”，左側(cè)常代表已知舊信息，右側(cè)常代表新信息。左側(cè)通常提供背景和引導性信息，右側(cè)常提供重點信息和新信息。在圖文的上下關(guān)系中，構(gòu)圖中的上面要比下面更為重要。在視覺構(gòu)圖中上半部分是“理想的”(ideal)，即理想化的、非具體化的信息，下半部分是“真實的”(real)，即較為具體的、實際的信息。此外，還存在一種“三明治式”，即“文字+圖像+文字”或者“圖像+文字+圖像”。

（二）重要性：如果圖像和文字占據(jù)相等的空間，說明這兩種模態(tài)承載著同樣重要的信息和語義。兩種模態(tài)哪個占據(jù)較大的圖片空間說明哪個模態(tài)在語義表達上更為重要。據(jù)此，互補分布除圖文相等之外可以分為兩種不同的構(gòu)圖模式：圖像優(yōu)先型(image privileged)和文字優(yōu)先型(verbiage privileged)。

（三）位置關(guān)系：主要分為相鄰式和插補式。前者指圖像和文字在一個頁面分別獨立又相鄰地呈現(xiàn)出來。插補式是指本文插補在一個完整圖像中間或者圖像插補在一個整體文本中間。

四、結(jié)語

本文主要介紹基于視覺語法的圖像類敘事語篇元功能的建構(gòu)框架，該理論框架突破了以往以分析單個圖像為主的局限。本文考察了連續(xù)視覺敘事語篇的語義構(gòu)建分析框架，聚焦于視覺敘事語篇概念意義、人際意義和組篇意義的建構(gòu)模式，詳細討論了多模態(tài)語篇的概念意義建構(gòu)過程中的參與者的表征、事件間關(guān)系和環(huán)境成分的呈現(xiàn)方式等， 人際意義建構(gòu)中聚焦、情感系統(tǒng)、色彩渲染和級差相關(guān)要素，組篇意義建構(gòu)過程中圖像的布局模式，介紹了語篇敘事過程中圖文互動時的投射與擴展等融合情況。