劉曉華

(安徽農(nóng)業(yè)大學(xué) 外國(guó)語(yǔ)學(xué)院，合肥 230036)

基于視覺(jué)敘事分析框架的多模態(tài)敘事語(yǔ)篇意義構(gòu)建
——以幾米繪本為例

劉曉華

(安徽農(nóng)業(yè)大學(xué) 外國(guó)語(yǔ)學(xué)院，合肥 230036)

多模態(tài)語(yǔ)篇的圖像意義構(gòu)建是系統(tǒng)功能語(yǔ)言學(xué)的研究熱點(diǎn)。依據(jù)Painter等的視覺(jué)敘事分析框架，以幾米繪本為語(yǔ)料，從聚焦系統(tǒng)、情感系統(tǒng)、氛圍系統(tǒng)、人物表征、事件關(guān)系、背景關(guān)系和圖文布局關(guān)系分析圖像在多模態(tài)敘事語(yǔ)篇中如何構(gòu)建人際意義、概念意義和組篇意義，并總結(jié)在多模態(tài)敘事語(yǔ)篇中圖像意義生成的特點(diǎn)，驗(yàn)證該框架應(yīng)用于多模態(tài)敘事語(yǔ)篇分析的可行性，同時(shí)也發(fā)現(xiàn)該框架存在不足，需要進(jìn)一步修改和補(bǔ)充。

視覺(jué)敘事；多模態(tài)敘事語(yǔ)篇；幾米；繪本

一、引言

隨著圖像時(shí)代的到來(lái)，圖像作為重要的符號(hào)資源，與文字一起構(gòu)建意義，并創(chuàng)造出新穎的審美體驗(yàn)。在由圖文組成的多模態(tài)語(yǔ)篇中，圖像如何構(gòu)建意義也成為系統(tǒng)功能語(yǔ)言學(xué)研究的熱點(diǎn)。目前的研究分為三個(gè)方面：一是理論框架的建立，即通過(guò)語(yǔ)料分析提出多模態(tài)語(yǔ)篇分析的框架，如Kress和van Leeuwen的視覺(jué)語(yǔ)法，系統(tǒng)地闡釋了圖像對(duì)于意義表達(dá)的重要作用[1]18，為視覺(jué)語(yǔ)篇的圖像意義構(gòu)建提供了系統(tǒng)的理論分析工具，并奠定了多模態(tài)語(yǔ)篇分析作為一門(mén)學(xué)科的獨(dú)立地位。但是視覺(jué)語(yǔ)法并不是萬(wàn)能的，Painter，Martin和Unsworth通過(guò)對(duì)兒童圖畫(huà)書(shū)的語(yǔ)料分析提出新的視覺(jué)敘事分析框架[2]166，進(jìn)一步發(fā)展了傳統(tǒng)的視覺(jué)語(yǔ)法；二是實(shí)證研究，即使用語(yǔ)料庫(kù)或?qū)嶒?yàn)的方法驗(yàn)證一些觀(guān)點(diǎn)，例如，Bateman使用多模態(tài)語(yǔ)料庫(kù)對(duì)圖文版式做了實(shí)證研究[3]238，Holsanova通過(guò)實(shí)驗(yàn)研究了視覺(jué)交流和多模態(tài)媒介的融合[4]251-257；三是跨學(xué)科研究，例如，孫毅從社會(huì)歷史的角度對(duì)世博會(huì)會(huì)徽這一特殊模態(tài)進(jìn)行了解讀[5]44-47；張德祿和穆志剛提出了多模態(tài)文體學(xué)理論框架[6]1-6；陳瑜敏從教學(xué)的角度研究了多模態(tài)外語(yǔ)教材[7]69-72；馮德正和邢春燕從認(rèn)知隱喻的視角分析了空間隱喻在多模態(tài)語(yǔ)篇中的意義構(gòu)建[8]58-64。綜合國(guó)內(nèi)外多模態(tài)語(yǔ)篇研究現(xiàn)狀，發(fā)現(xiàn)國(guó)內(nèi)對(duì)多模態(tài)敘事語(yǔ)篇的關(guān)注不夠，國(guó)外多模態(tài)語(yǔ)篇分析理論的分析對(duì)象也需要拓展到更復(fù)雜的多模態(tài)敘事語(yǔ)篇。基于此，本文將Painter等提出的視覺(jué)敘事分析框架應(yīng)用到多模態(tài)敘事語(yǔ)篇，根據(jù)語(yǔ)料分析對(duì)該分析框架進(jìn)行驗(yàn)證和補(bǔ)充。

二、理論基礎(chǔ)——視覺(jué)敘事分析框架

Painter，Martin和Unsworth提出的視覺(jué)敘事框架對(duì)視覺(jué)語(yǔ)法做了大量的修正和補(bǔ)充，體現(xiàn)在以下兩個(gè)方面：一是把研究對(duì)象從單個(gè)圖像拓展到多個(gè)圖像組成的復(fù)雜的多模態(tài)語(yǔ)篇，二是在原有的基礎(chǔ)上把圖像與讀者的互動(dòng)關(guān)系納入到視覺(jué)敘事分析框架里，探討多模態(tài)語(yǔ)篇的人際意義、概念意義和組篇意義的生成。因此，這個(gè)視覺(jué)敘事分析框架可以成為多模態(tài)敘事語(yǔ)篇分析的理論工具。該框架主要由以下三個(gè)方面構(gòu)成：

(一)人際意義構(gòu)建

Painter等認(rèn)為視覺(jué)圖像與語(yǔ)言的不同在于視覺(jué)圖像不能明確地建立提供和求取關(guān)系。而人際意義也不單純只有提供和求取兩種簡(jiǎn)單的關(guān)系[2]131。因此，他們?cè)谘芯恳曈X(jué)語(yǔ)篇的人際意義構(gòu)建時(shí)，提出了新的聚焦系統(tǒng)、情感系統(tǒng)和氛圍系統(tǒng)，來(lái)動(dòng)態(tài)地考察圖像與讀者之間的互動(dòng)關(guān)系，圖像敘事的情感介入和顏色作為視覺(jué)符號(hào)具備多模態(tài)意義構(gòu)建的功能。

(二)概念意義構(gòu)建

傳統(tǒng)的視覺(jué)語(yǔ)法以單個(gè)圖像為單位研究視覺(jué)過(guò)程的構(gòu)建。Painter等擴(kuò)展了這個(gè)概念意義分析框架。他們提出了三個(gè)子框架，即人物表征與人物關(guān)系，事件關(guān)系和背景關(guān)系來(lái)進(jìn)一步結(jié)構(gòu)圖像在多模態(tài)語(yǔ)篇的概念意義生成[2]150，對(duì)應(yīng)了系統(tǒng)功能語(yǔ)言學(xué)中的參與者、過(guò)程和環(huán)境這三個(gè)要素。

(三)組篇意義構(gòu)建

傳統(tǒng)的視覺(jué)語(yǔ)法把信息值、取景和顯著性作為分析圖像構(gòu)成意義的三個(gè)維度。Painter等他們把信息值改為版面布局關(guān)系，并提出了敘事語(yǔ)篇中圖像與文字的布局框架[2]182，區(qū)分了融合與互補(bǔ)的兩種圖文關(guān)系，進(jìn)一步修正了傳統(tǒng)視覺(jué)語(yǔ)法。

下文以幾米繪本為語(yǔ)料，根據(jù)Painter等的視覺(jué)敘事分析框架，分析圖像在多模態(tài)敘事語(yǔ)篇中如何構(gòu)建人際意義、概念意義和組篇意義，歸納圖像構(gòu)建多模態(tài)意義的特點(diǎn)，并指出該框架存在的不足。

三、多模態(tài)敘事語(yǔ)篇人際意義的構(gòu)建

1.聚焦系統(tǒng)

Painter等提出的新的聚焦系統(tǒng)主要研究圖像中的人物與讀者之間的互動(dòng)關(guān)系，以及圖像為讀者提供了什么樣的視角[2]29。而按照視角的標(biāo)準(zhǔn)，圖像可分為有中介和無(wú)中介兩種。馮德正用電影術(shù)語(yǔ)把無(wú)中介解釋為客觀(guān)視角，把有中介解釋為主觀(guān)視角，而主觀(guān)視角又分為直視主觀(guān)視角和引發(fā)主觀(guān)視角[9]23-27。主觀(guān)視角可以讓圖像與讀者之間產(chǎn)生互動(dòng)關(guān)系，讓讀者參與到故事的敘事之中，引起共鳴。因此，按照這一框架來(lái)分析多模態(tài)語(yǔ)篇視覺(jué)敘事的視角，能夠更加科學(xué)地解構(gòu)人際意義的產(chǎn)生過(guò)程。

在幾米的繪本中，作者采用主觀(guān)視角設(shè)計(jì)圖像，讓圖像中的人物與讀者產(chǎn)生互動(dòng)關(guān)系，讓圖像配合文字構(gòu)建更加豐富的人際意義。例如，在《時(shí)光電影院》里，作者用文字以第一人稱(chēng)敘述了一個(gè)小女孩的成長(zhǎng)故事，她從小失去母親，想念母親時(shí)父親就會(huì)帶她去電影院尋找與母親有關(guān)的記憶。在設(shè)計(jì)視覺(jué)圖像時(shí)，作者主要選取了主觀(guān)視角，即小女孩的視角，再現(xiàn)了許多與電影院有關(guān)的場(chǎng)景，表達(dá)“思念”這一情感。如圖1，圖像以主人公的主觀(guān)視角，呈現(xiàn)了一幕電影片段，首先構(gòu)建了敘事語(yǔ)篇的空間，用母親、擁抱、女兒的圖素組合成圖式，構(gòu)建了更深層的意義，即小女孩思念母親，以看母女親情的電影撫慰“思念”之情。讓讀者身臨其境，觸景生情。如圖2，作者把電影海報(bào)，女孩，洪水組成圖像，一是構(gòu)建了新的空間，推進(jìn)了情節(jié)的敘事；二是使用主觀(guān)視角，敘述女孩思念母親，涉水去電影院，增加視覺(jué)敘事的感染力。

圖1

圖2

2.情感系統(tǒng)

Kress 和van Leeuwen 的視覺(jué)語(yǔ)法理論的人際意義只討論了接觸、距離、視角和色彩[1]89，忽略了讀者的情感介入，以及作者、作品和讀者之間的互動(dòng)關(guān)系[2]88，因此Painter等在這個(gè)基礎(chǔ)上提出了情感系統(tǒng)的概念，也就是說(shuō)，圖像的表征不僅僅構(gòu)建情態(tài)意義，還構(gòu)建了讀者與圖像人物之間的情感關(guān)系[2]16。這種情感介入分為介入和異化兩種。介入是指圖像人物與讀者之間存在情感關(guān)系，異化是指讀者對(duì)圖像沒(méi)有情感投入，只是以客觀(guān)評(píng)價(jià)的態(tài)度閱讀圖像。根據(jù)情感介入的程度不同，介入分為鑒賞、移情和個(gè)體三類(lèi)。鑒賞類(lèi)指的是最簡(jiǎn)單最抽象的圖像；移情類(lèi)指的是類(lèi)化風(fēng)格的圖像，能夠表達(dá)人物情感，但不確定具體人物；個(gè)體類(lèi)是自然風(fēng)格的圖像，人物有具體的表征。因此，運(yùn)用圖像增加讀者的情感介入程度，是視覺(jué)語(yǔ)篇?jiǎng)?chuàng)作者在視覺(jué)設(shè)計(jì)時(shí)常用的語(yǔ)篇策略。

在幾米的繪本中，根據(jù)表達(dá)主題的不同，作者主要選取了移情和個(gè)體這兩類(lèi)圖像建立讀者和圖像人物的情感關(guān)系。例如，在《我不是完美小孩》一書(shū)中，幾米以一個(gè)三年級(jí)女生郝完美在學(xué)習(xí)、生活，以及和大人相處中所遇到的困惑與煩惱來(lái)類(lèi)化在成長(zhǎng)中不得不放棄完美的所有人。作者在設(shè)計(jì)視覺(jué)圖像時(shí)重在表達(dá)人物情感，故意隱藏了人物的具體表征，以引起讀者的情感介入，產(chǎn)生共鳴。如圖3，作者用一個(gè)沒(méi)有具體表征的小孩形象類(lèi)比所有的小孩，如圖4，作者刻意隱去了圖中人物的具體特征，來(lái)類(lèi)比所有人都是不完美的。

圖3

圖4

但同時(shí)在敘述小女孩郝完美的成長(zhǎng)煩惱時(shí)，在視覺(jué)圖像設(shè)計(jì)上又使用了個(gè)體類(lèi)圖像。如圖5，作者設(shè)計(jì)了一個(gè)有具體特征的人物形象作為主人公的身份設(shè)定，同時(shí)這個(gè)人物又具有三年級(jí)小女生的普遍特征。圖像人物既具有辨識(shí)度，敘述的主題又具有普遍意義。這樣，讀者更易于將自己與敘事語(yǔ)篇的人物聯(lián)系起來(lái)，語(yǔ)篇中的人物所遭遇的成長(zhǎng)煩惱實(shí)際上是所有人在成長(zhǎng)過(guò)程中都可能會(huì)遇到的問(wèn)題。

圖5

3.氛圍系統(tǒng)

傳統(tǒng)視覺(jué)語(yǔ)法把顏色當(dāng)做一種符號(hào)，并未研究其人際意義。在這個(gè)基礎(chǔ)上，Painter等人把顏色作為人際意義資源，認(rèn)為顏色在視覺(jué)敘事中可以構(gòu)建氛圍，即語(yǔ)篇的情感基調(diào)，因此顏色被納入到新的視覺(jué)敘事框架里[2]26。該框架認(rèn)為黑白色不能營(yíng)造情感基調(diào)，并把彩色圖像按照色度、色調(diào)和自然度三個(gè)維度進(jìn)行劃分。高色度，即為明亮鮮艷的顏色，營(yíng)造明媚的、充滿(mǎn)活力的情感；而低色度，是指表達(dá)陰郁、悲傷的灰暗色彩。色調(diào)分為代表熱情的暖色調(diào)和代表冷漠的冷色調(diào)。自然度指的是顏色的豐富程度，顏色越豐富越親切；反之，顏色越單一越疏遠(yuǎn)。因此，顏色可以成為多模態(tài)語(yǔ)篇作者視覺(jué)創(chuàng)作時(shí)的手段，創(chuàng)作者可以選擇不同的色度、色調(diào)和自然度構(gòu)建語(yǔ)篇的情感氛圍，感染讀者。顏色作為視覺(jué)符號(hào)，代替語(yǔ)言實(shí)現(xiàn)人際意義，在幾米的作品中得到極大的體現(xiàn)。幾米運(yùn)用顏色符號(hào)來(lái)設(shè)定故事的情感基調(diào)，渲染人物情緒，用冷暖色調(diào)對(duì)比敘述人物情緒起伏，帶動(dòng)情節(jié)發(fā)展，以實(shí)現(xiàn)視覺(jué)敘事。

例如，圖6，在《向左走 向右走》中作者始終用低色度來(lái)表達(dá)男女主人公總是一再錯(cuò)過(guò)彼此的惆悵，展現(xiàn)現(xiàn)代都市人在快節(jié)奏的生活中寂寞的內(nèi)心；圖7，在《地下鐵》中，作者用明亮的暖色調(diào)烘托盲女樂(lè)觀(guān)面對(duì)生活的態(tài)度，在圖8里，用豐富的顏色來(lái)刻畫(huà)盲女內(nèi)心天真爛漫，童心未泯，充滿(mǎn)希望。

圖6

圖8

但是，Painter等認(rèn)為只有彩色才能激活情感氛圍，黑白色不能夠營(yíng)造語(yǔ)篇的情感基調(diào)，這一點(diǎn)是有待商榷的。在視覺(jué)語(yǔ)篇中，黑白色同樣可以營(yíng)造情感氛圍，黑色和白色都是冷色調(diào)，同樣可以通過(guò)不同色度來(lái)奠定語(yǔ)篇的情感基調(diào)，感染讀者。例如，圖9，在《森林里的秘密》一書(shū)中，為了烘托女孩孤獨(dú)蒼涼的心境，作者幾乎全部使用了黑白色，來(lái)描繪城市的冰冷與單調(diào)。因此，色彩作為人際意義資源，也應(yīng)該包括黑色和白色，因此，Painter等提出的敘事分析框架對(duì)于色彩作為人際意義資源的理論仍需進(jìn)一步補(bǔ)充。

圖9

四、多模態(tài)敘事語(yǔ)篇概念意義的構(gòu)建

傳統(tǒng)視覺(jué)語(yǔ)法以單個(gè)圖像為分析單位來(lái)結(jié)構(gòu)其概念意義，更關(guān)注視覺(jué)過(guò)程建構(gòu)，在這個(gè)基礎(chǔ)上，Painter等擴(kuò)展了這個(gè)概念意義分析框架，提出了三個(gè)子框架：人物表征、事件關(guān)系和背景關(guān)系[2]193。下文將依據(jù)這三個(gè)子框架，以幾米繪本為例，來(lái)分析多模態(tài)語(yǔ)篇的概念意義建構(gòu)。

1.人物表征

Painter等把人物表征的方式分為完整表征和轉(zhuǎn)喻表征[2]193。完整表征是指具體刻畫(huà)人物外表特征，建立明確的人物身份；轉(zhuǎn)喻表征是指只通過(guò)衣著等其他特征代表人物身份[9]31。在視覺(jué)語(yǔ)篇中，當(dāng)人物第一次出現(xiàn)，為了明確人物身份，通常會(huì)用完整表征來(lái)刻畫(huà)人物，在視覺(jué)敘事過(guò)程中則可以使用轉(zhuǎn)喻表征來(lái)代替完整表征。例如，在《我不是完美小孩》中，當(dāng)人物第一次出現(xiàn)，作者用完整表征刻畫(huà)了三年級(jí)女生郝完美的形象，建立明確的人物身份，如圖5，在隨后的敘事中，則使用轉(zhuǎn)喻表征，用尖牙、綠角和豎起的頭發(fā)來(lái)表達(dá)人物的憤怒，如圖10。

圖10

2. 事件關(guān)系

事件關(guān)系指的是視覺(jué)語(yǔ)篇中不同事件之間的關(guān)系，Painter等把事件關(guān)系分為展開(kāi)和投射兩種[2]196。在多模態(tài)敘事語(yǔ)篇中，事件展開(kāi)指的是敘事的時(shí)間順序，即兩個(gè)事件是同時(shí)發(fā)生，還是先后發(fā)生。例如，在《向左走 向右走》中，如圖6，兩個(gè)主人公同時(shí)做一件事，卻朝著不同的方向，所以一再錯(cuò)過(guò)，這樣的事件關(guān)系就是為了構(gòu)建語(yǔ)篇的概念意義，男女主人公一再錯(cuò)過(guò)彼此的悵惘，令讀者扼腕嘆息。

事件投射關(guān)系根據(jù)事件類(lèi)型分為真實(shí)事件投射和想象事件投射[2]197，在真實(shí)事件中，一幅圖是另一幅圖的人物所見(jiàn)，這是視覺(jué)投射，同時(shí)擔(dān)當(dāng)著時(shí)間的敘事，這在視覺(jué)敘事語(yǔ)篇中比較常見(jiàn)；在想象事件中，一幅圖是另一幅圖人物所想，這是思維投射。在幾米繪本中，同一幅圖中，人物所想也可以投射在這幅圖中。例如，《地下鐵》中，如圖11，盲女乘坐地鐵時(shí)，她對(duì)世界的想象也投射在這幅圖中。因此，在多模態(tài)語(yǔ)篇的事件關(guān)系中，同一幅圖也可以構(gòu)建思維投射，這也是對(duì)Painter等新的敘事框架的補(bǔ)充。

圖11

3. 背景關(guān)系

背景關(guān)系是指視覺(jué)敘事語(yǔ)篇中事件發(fā)生情境的延續(xù)和變化[2]199。如果情境沒(méi)有變化，相鄰的圖像可能會(huì)選擇相同的背景，或者變換視角。如果敘事情境發(fā)生變化，作者可以使用新的背景或者去掉背景。因此，背景關(guān)系的延續(xù)和變化可以構(gòu)建視覺(jué)語(yǔ)篇線(xiàn)性時(shí)間敘事和空間的轉(zhuǎn)換。例如，圖11和12，在《地下鐵》中，幾米用大量相似背景的圖片敘述盲女乘坐地鐵時(shí)的情形，并用不同的思維投射來(lái)進(jìn)行時(shí)間敘事和空間轉(zhuǎn)換。

圖12

五、多模態(tài)敘事語(yǔ)篇組篇意義的構(gòu)建

結(jié)合了Martinec和Salway的圖文關(guān)系框架[10]337-371，Painter等提出了版面布局關(guān)系來(lái)分析視覺(jué)語(yǔ)篇中的圖像與文字之間的關(guān)系。他們把版面布局分成融合和互補(bǔ)兩種[2]239。前者是指語(yǔ)言是圖像的一部分，二者融為一體；后者是指語(yǔ)言和圖像各占一部分。依據(jù)這一版面布局框架，幾米繪本的圖文版面布局是多變的。

1.融合型

融合型版面布局是指圖像和文字融為一體，之間存在擴(kuò)展和投射兩種語(yǔ)義關(guān)系[2]241。投射相對(duì)簡(jiǎn)單，即圖像中人物的話(huà)語(yǔ)以文字的形式出現(xiàn)在圖中。擴(kuò)展是指圖像與文字各具意義，二者相互補(bǔ)充，相互增強(qiáng)。在多模態(tài)敘事語(yǔ)篇中，擴(kuò)展的融合型圖像更加常見(jiàn)。例如，圖5屬于融合型版面布局，圖中的人物和文字各自具有自己的意義，并相互闡釋、相互照應(yīng)，并用矢量將二者連接。因此，在多模態(tài)敘事語(yǔ)篇中，擴(kuò)展關(guān)系的融合型版面布局可以為語(yǔ)篇構(gòu)建統(tǒng)一的語(yǔ)境。

2.互補(bǔ)型

互補(bǔ)型是指圖像和文字各占一部分空間，用位置特征來(lái)考察圖文之間的語(yǔ)義關(guān)系[2]242。相鄰的圖像與文字之間即使沒(méi)有矢量連接，但存在緊密的語(yǔ)義關(guān)系。

例如，圖3屬于互補(bǔ)型的版面，從位置特征來(lái)看，單獨(dú)的圖像表達(dá)的意義比較模糊，而單純的文字無(wú)法為讀者提供想象空間，因此，作者把相鄰的圖像與文字緊密連接起來(lái)，構(gòu)建語(yǔ)義關(guān)系，用語(yǔ)言進(jìn)一步補(bǔ)充說(shuō)明了圖像的意義，從而構(gòu)成一幅富有深度內(nèi)涵的視覺(jué)圖像。由此可見(jiàn)，在多模態(tài)敘事語(yǔ)篇的組篇意義構(gòu)建中，不同類(lèi)型的圖文版面布局關(guān)系可以構(gòu)建多模態(tài)敘事語(yǔ)篇的組篇意義。

六、結(jié)語(yǔ)

本文依據(jù)Painter等的視覺(jué)敘事分析框架，以幾米繪本為例，解構(gòu)了多模態(tài)敘事語(yǔ)篇人際意義、概念意義和組篇意義的構(gòu)建過(guò)程，發(fā)現(xiàn)在多模態(tài)敘事語(yǔ)篇中，圖像意義生成具有以下特點(diǎn)：1.為了增強(qiáng)作品與讀者之間的互動(dòng)關(guān)系，多模態(tài)敘事語(yǔ)篇更傾向于使用有中介圖像，即主觀(guān)視角，讓讀者參與視覺(jué)敘事，移情類(lèi)和個(gè)體類(lèi)圖像更有助于建立與讀者的情感關(guān)系，增強(qiáng)讀者的情感介入程度。同時(shí)，不同色度、色調(diào)和飽和度的顏色，也是多模態(tài)敘事語(yǔ)篇奠定語(yǔ)篇氛圍的重要手段；2.多模態(tài)敘事語(yǔ)篇用人物表征和轉(zhuǎn)喻表征結(jié)合起來(lái)塑造圖像人物形象，用事件擴(kuò)展和投射關(guān)系，背景的延長(zhǎng)和變化實(shí)現(xiàn)視覺(jué)的時(shí)間表達(dá)和空間轉(zhuǎn)化；3.多模態(tài)敘事語(yǔ)篇的版面布局非常靈活多變，圖像與文字的關(guān)系有時(shí)融合有時(shí)互補(bǔ)，關(guān)系錯(cuò)綜復(fù)雜。

同時(shí)，本文將Painter等的視覺(jué)敘事框架應(yīng)用于幾米繪本的語(yǔ)料分析，驗(yàn)證了該框架應(yīng)用于多模態(tài)敘事語(yǔ)篇分析的可行性，也發(fā)現(xiàn)該框架對(duì)多模態(tài)敘事語(yǔ)篇的解釋力存在以下不足：

Painter等認(rèn)為黑白色不能營(yíng)造情感氛圍，而對(duì)幾米黑白繪本的研究發(fā)現(xiàn)事實(shí)恰恰相反，黑白色也可以構(gòu)建視覺(jué)語(yǔ)篇的情感氛圍；Painter等認(rèn)為想象事件投射必須要兩幅圖像完成，而實(shí)際上，在幾米繪本中，同一幅圖像即可以完成。因此，該框架并不是萬(wàn)能的，需要被應(yīng)用于各種不同的多模態(tài)語(yǔ)篇分析中，不斷地進(jìn)行修改和補(bǔ)充。

[1] Kress G. T. van Leeuwen Reading Images: The Grammar of Visual Design [M]. London: Routledge, 1996.

[2] Painter C. J. R. Martin L. Unsworth Reading Visual Narratives: Image Analysis of Children’s Picture Books [M]. London: Equinox, 2013.

[3] Bateman J. Multimodality and Genre [M]. London: Routledge, 2008:238.

[4] Holsanova J. New Methods for Studying Visual Communication and Multimodal Intergration [J]. Visual Communication, 2012,(11): 251-257.

[5] 孫毅. 多模態(tài)話(huà)語(yǔ)意義建構(gòu)—以2011西安世界園藝博覽會(huì)會(huì)徽為基點(diǎn)[J]. 外語(yǔ)與外語(yǔ)教學(xué)，2012，(1)：44-47.

[6] 張德祿，穆志剛. 多模態(tài)功能文體學(xué)理論框架探索[J]. 外語(yǔ)教學(xué)，2012，(3)：1-6.

[7] 陳瑜敏. 情態(tài)分析在多模態(tài)外語(yǔ)教材研究中的應(yīng)用探析[J]. 外語(yǔ)教學(xué)，2012，(1)：69-72.

[8] 馮德正，邢春燕. 空間隱喻與多模態(tài)意義建構(gòu)[J]. 外國(guó)語(yǔ)，2011，(3)：58-64.

[9] 馮德正. 視覺(jué)語(yǔ)法的新發(fā)展：基于圖畫(huà)書(shū)的視覺(jué)敘事分析框架[J]. 外語(yǔ)教學(xué)，2015，(5)：23-27.

[10]Martinec R Salway A A System for Image Text Relations in New Media [J]. Visual Comuunication, 2005，(4):337-371.

責(zé)任編輯：陳君丹

Meaning Construction of Narrative Multimodal Discourse Based on Visual Narratives Analysis Framework— A Case Study of Ji Mi’s Picture Books

LIU Xiao-hua

(School of Foreign Languages, Anhui Agricultural University, Hefei 230036, China)

The study of meaning construction of multimodal discourse is the hot-spot of system-functional linguistics. Taking Ji Mi’s picture books as an example, the paper employs the framework of visual narratives for multimodal discourse, a new development of traditional visual grammar, to give a analysis of spotlight system, emotional system, atmosphere system, character features, event relations, background relations and picture-text relations to build the interpersonal meaning, concept meaning and discourse meaning with languages, and to summarize the traits of meaning construction of multimodal discourse. It proves that this framework is able to analyze multimodal discourse, which yet also needs to be further modified.

visual narrative; narrative multimodal discourse; Ji Mi; picture books

2016-11-01

安徽農(nóng)業(yè)大學(xué)質(zhì)量工程大規(guī)模在線(xiàn)課程：科技英語(yǔ)寫(xiě)作(2015-11)

劉曉華(1981-)，女，安徽合肥人，講師，碩士，研究方向?yàn)楣δ芪捏w學(xué)、語(yǔ)篇分析。

H030

A

1674-344X(2016)12-0005-06