劉巧麗

摘要：多模態(tài)話語分析是將語言與其他符號資源結(jié)合起來，共同構(gòu)建語篇的意義。除語言之外，它包括圖像、聲音、顏色、動漫等其他表現(xiàn)形式。基于視覺社會符號學(xué)分析理論基礎(chǔ)，以《媽媽不懂我的心》這本風(fēng)靡韓國的暢銷書為例，通過多模態(tài)話語分析的方法來分析漢語兒童圖畫故事書。故事作者與繪圖者的巧妙配合，使故事更易于兒童閱讀并且吸引其注意力。

關(guān)鍵詞：多模態(tài)話語分析；視覺社會符號學(xué)；漢語兒童圖畫故事書

中圖分類號：H08文獻標志碼：A文章編號：10017836（2016）04010302

引言

多模態(tài)話語（multimodal discourse）是運用人體的多種感官，通過語言、圖像、聲音等多種手段以及符號資源進行交際的現(xiàn)象。學(xué)習(xí)語言兒童從一生下來就會了，在此過程中他們想表達自己的情感及想法都是通過文字、圖像、語音等方式。因為近年來圖像在人類社會中的廣泛應(yīng)用，在很多方面都大量地使用，尤其是在媒體、教育還有兒童文學(xué)中，因此研究多模式話語，已經(jīng)引起了我們的重視，應(yīng)將其放在重中之重的地位。兒童圖畫故事書是一種典型的多模態(tài)語篇（Multimodal Discourse），可作為分析研究多模態(tài)話語的重要資源。多模態(tài)語篇是同時使用多種交流模態(tài)（如語音、圖像、文字、氣味等）進行信息傳遞的語篇。胡壯麟指出，由于人類已進入社會符號學(xué)多模態(tài)化的新世紀，因此對多模態(tài)識讀能力的培養(yǎng)應(yīng)引起重視[1]。本文是基于視覺社會符號學(xué)分析理論，對小學(xué)低年級圖畫故事書的多模態(tài)話語分析，來解讀故事書中的深刻含義，最終實現(xiàn)圖畫書對兒童語言學(xué)習(xí)的合理性與可行性。

一、多模態(tài)話語的視覺社會符號學(xué)分析方法

多模態(tài)話語分析過程是一種整合性的過程，目的是將語言與非語言資源整合起來，共同構(gòu)建意義的一種分析方法。而在多模態(tài)話語分析中，視覺社會符號學(xué)作為一個重要分支，強調(diào)并突出了多模態(tài)話語分析對話語分析所起到的重大意義。

1多模態(tài)話語分析

多模態(tài)話語分析是上世紀末新興的學(xué)科，體現(xiàn)了該學(xué)科不可估量的發(fā)展前景。多模態(tài)作為一種新的交際技術(shù)，逐漸取代了單模態(tài)這種單一的交際模式。同時，也為語言學(xué)界話語分析提供了新的理論基礎(chǔ)與研究視角。對語言交際產(chǎn)生了很大的實踐意義。人們在日常的社會活動中，總是運用多種符號資源進行意義建構(gòu)。多模態(tài)語篇常作為多模態(tài)話語的研究內(nèi)容。Scollon & Levine認為多模態(tài)即是指交際時所使用的多種模式。從社會語言學(xué)的角度來看，像語言、顏色、味道、圖像等方面，這些符號資源共同構(gòu)建了多模態(tài)語篇的意義。曾蕾則有不同的觀點，她認為，多模態(tài)語篇就是那種不光只有文字語言符號，而且還含有多種符號的語篇。Kress和van Leeuwen則認為多模態(tài)語篇的多模態(tài)性是現(xiàn)代社會人類在交際過程中使用的各種語篇的一個重要特性。李戰(zhàn)子認為，多模式（multimodal）不僅有文本元素，還應(yīng)該有其他元素，比如說圖像或圖表的復(fù)合話語，或者說它應(yīng)該是一種文本，這種文本是通過兩種或兩種以上的符號編碼來實現(xiàn)的。Lim認為對語篇在表現(xiàn)、內(nèi)涵和語境等三個方面進行識讀的分析過程即是多模態(tài)話語分析。本文認為，多模態(tài)話語分析是通過對符號資源的綜合運用，最終達到構(gòu)建語篇意義的目的。

2視覺社會符號學(xué)

Kress和Leeuwen基于Halliday系統(tǒng)功能語言學(xué)，創(chuàng)建了社會符號學(xué)角度的多模態(tài)話語分析。也就是說，社會符號學(xué)是以Halliday系統(tǒng)功能語言學(xué)為研究基礎(chǔ)的。Halliday系統(tǒng)功能語法對英語語言進行了分析，Halliday認為語言作為一種社會符號，具有表征客觀世界和內(nèi)心世界的概念、體現(xiàn)語言使用者的交際參與和交際角色關(guān)系的人際關(guān)系、以及組織成語篇等三大功能，這是系統(tǒng)功能語法的核心理念。比較早的采用社會符號學(xué)方法分析多模態(tài)話語的語言學(xué)家當(dāng)屬O.Toole和Kress等。他們對多模態(tài)話語的分析都基于Halliday系統(tǒng)功能語言學(xué)的社會符號學(xué)理論?；谝陨系睦碚?，O.Toole和Kress等人認為，圖像也可看作一種社會符號，因此可用Halliday分析語言的社會符號學(xué)的方法來進行分析。由此，他們提出了視覺社會符號學(xué)分析。因此該流派的主要觀點是語言和視覺交際同時體現(xiàn)并構(gòu)成文化的意義系統(tǒng)，但這兩者獨自以其獨特的形式，相互協(xié)作體現(xiàn)功能。這一批學(xué)者主要研究如何將功能語法進行擴展，延伸到包括視覺模態(tài)和空間物體等在內(nèi)的多模態(tài)語篇。

二、對《媽媽不懂我的心》的多模態(tài)話語分析

兒童圖畫故事書最大的特點就是圖畫。通過圖畫與文字的完美結(jié)合，達到吸引兒童眼球的目的。根據(jù)Kress的多模態(tài)話語分析的視覺符號分析方法，本文將多模態(tài)話語分析用在了《媽媽不懂我的心》，這本在韓國賣得火熱的圖畫故事書上。該故事書中共含有圖片46張，其中處于雙開頁面上的有21張，占全部圖片的45.64%；處于單開頁上的圖畫有25張，占全部圖片的54.35%。處于雙開頁面上的圖畫中有10張是整頁圖畫，它們沒有框架也不含文字的，剩余的頁面中，圖畫就只占其中一部分了。而隨著故事情節(jié)發(fā)展不斷變化，書中圖畫占據(jù)頁面的大小也是跟著不斷變化的。第一部分講述了主人公小豆豆是一個愛發(fā)脾氣、不聽大人話的孩子；第二部分講述的是小豆豆離開家之后，與八角石在一起的經(jīng)歷，以及在森林里迷路的場景；第三部分講述的是小豆豆因為看到八角石身上的毛病，覺得自己做得很不好，反思的過程，最后回到家中做一個乖孩子。第一部分圖畫占據(jù)的頁面較小，慢慢擴延到半頁，第二部分小豆豆在森林里無助時，圖畫達到四分之三頁面，甚至占據(jù)了雙開頁面。慢慢減少圖畫的占據(jù)篇幅，最后圖畫只占據(jù)頁面的五分之一甚至更小，突出的是文字的力量，將故事的主題凸現(xiàn)出來，完成了小豆豆對家的身體和心靈的回歸，做一個聽話懂事的乖孩子。

1再現(xiàn)意義

再現(xiàn)意義在這本圖畫故事書中所體現(xiàn)出來的，就是通過圖畫中的參與者包括圖畫中的人物、事物和場景等，將其中的內(nèi)容表現(xiàn)出來。小豆豆是這本故事書中的主人公，他身穿黃白條的T恤，而文章中的大背景是森林中那種陰暗基調(diào)，它們形成了鮮明的對比，凸出了主人公小豆豆。該故事書中其他的參與者就是森林里的植物和動物，它們出現(xiàn)在故事的中間。雖然它們把大部分的頁面占據(jù)了，并且區(qū)域數(shù)量眾多，但是故事發(fā)展的第三部分時小豆豆回到了家里后逐漸占據(jù)了畫面的主要區(qū)域。Kress和Leeuwen認為，圖畫中第一參與者應(yīng)當(dāng)是其中的人物，而第二參與者則是圖畫中其他的東西?？蛷d、森林和我是該故事圖畫中的三種背景，其中客廳和我象征著家，森林則是情節(jié)發(fā)展的高潮以及轉(zhuǎn)節(jié)點的象征。

2人際意義

Kress和Leeuwen的視覺符號的社會符號學(xué)分析方法認為，視覺圖像中觀看者和參與者之間通過目光的接觸這種顯性的表現(xiàn)方式體現(xiàn)出聯(lián)系。根據(jù)圖像觀看者與圖像中的參與者之間有無直接的視線接觸，將接觸分為提供（offer）和索?。╠emand）這兩種關(guān)系。如果目光接觸沒有聯(lián)系在圖像的觀看者與參與者之間，那么就表明人際關(guān)系不存在在他們之間，提供類圖像就是說的這種圖像；反之，如果目光接觸有聯(lián)系在圖像的觀看者與參與者之間，就表明圖像中的參與者向觀看者有所索求，如信息、意見、評論等。圖像中的觀看者就像是標本展覽中的欣賞者，而圖像中的參與者就像是標本，是標本展覽中的能讓觀看者欣賞或娛樂的那種[2]。

合成意義是指由圖像內(nèi)各參與者以各種形式進行組織所帶來的意義。在圖像中，圖片位置可認為具有合成意義。本文所研究的對象中，不同的合成意義體現(xiàn)在位置的元素中。在雙頁面中頁面的左側(cè)表示已知信息、新信息；人物的不同的大小以及框架的使用方式被放置頁面的右側(cè)，以此來產(chǎn)生不同的合成意義。本文所研究的故事書中，隨著情節(jié)的發(fā)展變化，小豆豆在頁面中的位置也隨之改變：當(dāng)小豆豆離開家時，他一直處于頁面的右方，表示其新的旅程的開始；但是到達森林，小豆豆則占據(jù)了頁面的左方，表示小豆豆在接觸新的事物；當(dāng)小豆豆開始想家的時候，他轉(zhuǎn)移到頁面右邊的位置，面部表情非常憂傷，表示新的信息出現(xiàn)。在該故事中，通過對主人公小豆豆在頁面中位置的變化，來體現(xiàn)故事情節(jié)的跌宕起伏，使故事的發(fā)展更加具有吸引力。

結(jié)語

由于我們生活在一個多模態(tài)的社會中，所以幾乎所有意義的構(gòu)建是需要很多符號資源的幫助的。當(dāng)然，兒童故事書也不例外，作為一種有獨特讀者群體的文體類型，也借助多模態(tài)這種話語分析方法來達到吸引小讀者們的目的。本文就是基于多模態(tài)話語的視覺社會符號學(xué)分析方法對《媽媽不懂我的心》這個兒童故事書進行了多模態(tài)話語分析。多模態(tài)語篇分析通常能夠使讀者更深層地識別圖像以及文字的含義。利用這種視覺圖像，達到吸引讀者的目的，使得故事情節(jié)發(fā)展更為生動。

參考文獻：

[1]胡壯麟.社會符號學(xué)研究中的多模態(tài)化[J].語言教學(xué)與研究，2007，（1）：1—10.

[2]胡明霞，張麗平.英文兒童圖畫故事書的多模態(tài)話語分析——以Where the wild things are為例[J].外語藝術(shù)教育研究，2010，（1）：9—13.

（責(zé)任編輯：劉東旭）