陳 俊，李福莉

淮陰工學(xué)院外國語學(xué)院，淮安，223001

優(yōu)秀兒童繪本的多模態(tài)表征形式及其意義再現(xiàn)

陳 俊，李福莉

淮陰工學(xué)院外國語學(xué)院，淮安，223001

為了研究兒童繪本中各個模態(tài)之間在敘事過程中的相互作用和意義構(gòu)建方式，選取了獲得國際兒童繪本大獎的優(yōu)秀作品為研究對象，運用多模態(tài)話語分析的相關(guān)理論，分析了其中的圖像、文字、色彩等模態(tài)的表征形式，發(fā)現(xiàn)繪本中圖像能夠再現(xiàn)參與者的客觀信息，文字、色彩起到補充說明的作用；同時也發(fā)現(xiàn)有時文字、色彩與圖像信息并不相互補充，需要讀者進(jìn)行更多解讀才能實現(xiàn)其意義再現(xiàn)；有時圖像與文字、色彩在敘述故事過程中呈現(xiàn)出相反的信息，需要讀者加以思考，挖掘其隱含意義。

優(yōu)秀兒童繪本；多模態(tài)；模態(tài)關(guān)系

1 問題的提出

繪本(Picture Book)，也叫圖畫書，一般指以繪畫為主，并且適當(dāng)附以少量文字或者沒有文字的書籍。它是一種比較獨特的圖書形式，強調(diào)圖畫與文字之間的內(nèi)在的相互關(guān)系。目前，市場上繪本圖書讀者多以兒童為主，這樣的繪本圖書也稱為兒童繪本。兒童繪本普遍使用具有敘述故事能力的圖畫、淺顯簡潔的語言文字等多模態(tài)視覺符號給孩子講故事、講知識，特別是優(yōu)秀繪本故事中所蘊含的道理、豐富的視覺化圖畫及多樣化符號，可以極大地豐富孩子的想象空間，啟迪孩子的思維。對兒童繪本的分析、研究有助于規(guī)范國內(nèi)兒童繪本的出版，提高兒童繪本的質(zhì)量，因此對兒童繪本的研究逐漸引起了學(xué)者的關(guān)注。Perry Nodelman從視覺心理和符號學(xué)等方面解剖兒童圖畫書的圖文關(guān)系、圖像敘事和符號意義[1]；Gibbons從認(rèn)知詩學(xué)視角分析了帶有印刷圖形和插圖的、可供成年人閱讀的小說，考察了讀者在閱讀這類多模態(tài)語篇過程中的體驗和審美感受[2]24；David Lewis對兒童繪本里的圖像與文字關(guān)系進(jìn)行了研究，認(rèn)為圖像與文字可以相互協(xié)調(diào)，共同敘述繪本的故事內(nèi)容，圖像與文字又能交替輪流進(jìn)行，而且是相互激勵的、靈活的和復(fù)雜的[3]。陳文亮分析了幾米的繪本作品，認(rèn)為幾米繪本作品中圖像與文字相互協(xié)調(diào)，共同表達(dá)繪本故事內(nèi)容和所隱含的比喻意義[4]；周俐對兒童繪本多模態(tài)語篇中的三種模態(tài)——圖像、文字甚至讀音所起的作用以及圖像、文字甚至讀音間的關(guān)系作了詳細(xì)的分析[5]；趙秀鳳等對兒童繪本中多種模態(tài)敘述故事人物情緒以達(dá)到構(gòu)建轉(zhuǎn)喻意義進(jìn)行了研究，同時從讀者的角度探究其審美感知及其涉身體會[6]；謝妮妮從人際意義視角分析了《格林童話》插圖本中的圖文關(guān)系[7]。

分析上述研究發(fā)現(xiàn)，這些成果主要反映在對單個兒童繪本多模態(tài)語篇中的圖像、文字等模態(tài)的功能及相互關(guān)系的分析方面，而未涉及色彩模態(tài)與圖、文模態(tài)之間的關(guān)系分析。為此，本文選取幾部具有代表性的優(yōu)秀兒童繪本作品作為研究對象，運用多模態(tài)話語分析相關(guān)理論，分析繪本中的圖像、文字、色彩等模態(tài)的特點及其在敘事過程中的相互關(guān)系。

2 多模態(tài)話語分析理論及模態(tài)間關(guān)系

模態(tài)就是信息交流的渠道和媒介，包括語言、技術(shù)、圖像、顏色和音樂等符號系統(tǒng)。綜合利用聽覺、視覺和觸覺三個或以上感官，通過語言、聲音、顏色、圖像等多種符號模態(tài)創(chuàng)造和傳達(dá)意義的方式則叫多模態(tài)[8]。

20世紀(jì)90年代以來，多模態(tài)話語分析理論(Multimodal Discourse Analysis)在西方逐漸興起，Kress等認(rèn)為，多模態(tài)話語是一種文字、圖像、動態(tài)畫面、聲音等諸多模態(tài)相互融合以表達(dá)信息的語言形式[9]。張德祿認(rèn)為，多模態(tài)話語是運用兩種以上人體感覺器官如耳朵、眼睛、手腳和身體等，借助文字、圖像、聲音、手勢或身勢等形式與外部世界交流互動的一種情形[10]。多模態(tài)話語分析方法主要以Halliday的系統(tǒng)功能語言學(xué)為理論基礎(chǔ)，包括了圖像、文字、色彩等在內(nèi)的多模態(tài)視覺研究框架，從圖像意義呈現(xiàn)、讀者與圖像互動效果和圖像布局意義三個方面完成意義構(gòu)建。其中圖像的再現(xiàn)意義指圖像中的文字、圖片、色彩等多種模態(tài)重現(xiàn)了客觀的世界事物以及這些模態(tài)與客觀世界所發(fā)生的聯(lián)系[11]。

兒童繪本是融合了圖像、文字、色彩甚至聲音的多模態(tài)語篇，對其進(jìn)行分析就是試圖探索某個模態(tài)對語篇意義的作用，同時便于了解語篇中不同模態(tài)間是如何相互協(xié)同作用，進(jìn)而促使這類包含多模態(tài)的語篇產(chǎn)生意義[12]。研究兒童繪本首先必須分析兒童繪本中的圖像和文字這兩種主要模態(tài)間的關(guān)系。Royce把圖像與文字的關(guān)系分為以下幾種，即重復(fù)關(guān)系、意義相同關(guān)系、意義相反關(guān)系、全局與局部關(guān)系、上義與下義關(guān)系和相互搭配關(guān)系[13]。Nikolajeva等在研究圖畫書這類多模態(tài)語篇時，把圖像和文字之間的關(guān)系歸納為四種，即相互對等(對稱)關(guān)系、互相補充關(guān)系、對比關(guān)系和相反關(guān)系[14]。

本文運用多模態(tài)話語分析理論對所挑選的優(yōu)秀兒童繪本從圖像的再現(xiàn)意義方面來分析兒童繪本中的圖像、文字、色彩等多種模態(tài)間的相互關(guān)系，將著重闡述圖像、文字和色彩間的互補關(guān)系、對比關(guān)系以及相反關(guān)系。

3 兒童繪本中的多模態(tài)關(guān)系及意義再現(xiàn)

3.1 圖像、色彩及文字互補敘事

兒童繪本將圖像、文字、色彩甚至聲音等多模態(tài)結(jié)合在一起，且每一種模態(tài)以其特有的、“擅長”的方式敘述著繪本故事的內(nèi)容，協(xié)同起來再現(xiàn)了繪本的意義。比如，圖像能形象地再現(xiàn)參與者的體貌特征及其所處的周圍環(huán)境。在兒童繪本語篇中，圖像在語篇意義構(gòu)建中占有較大的比例，語篇中的語言文字部分往往無法形象直觀地描述和介紹語篇中事物外部特征，而圖像恰恰可以彌補這一不足[2]31來敘述故事。文字在此過程中則起到描述參與者的身體活動(即動作行為)和心理活動(即思想感情)的作用。這兩種模態(tài)相互補充，使繪本的信息得以更為準(zhǔn)確地、清晰地傳遞給兒童讀者。

《大衛(wèi)，不可以》(No,David!)是美國著名繪本作家、著名畫家大衛(wèi)·香農(nóng)(David Shannon)創(chuàng)作的兒童繪本，1999年獲得了凱迪克銀獎以及美國圖書館學(xué)會年度好書推薦等多項大獎。在該繪本中，大衛(wèi)的媽媽總是對大衛(wèi)說：“大衛(wèi)，不可以！”大衛(wèi)伸著舌頭，站在椅子上顫顫巍巍去夠糖罐；大衛(wèi)一身污泥回家，客廳的地毯上留下了一串黑腳印……每一幅頁面里都有媽媽說的話：“大衛(wèi)，不可以！”但是，在該繪本最后，當(dāng)大衛(wèi)在房屋里玩耍時，不小心打碎了花瓶惹了禍被媽媽懲罰時，大衛(wèi)哭了。這時候，他的媽媽將他擁抱入懷，對他說：“Yes, David…I love you!”從這本繪本中，小讀者們能感受到媽媽總是那個給自己關(guān)心和愛的人。

《大衛(wèi)，不可以》的封面就很好地體現(xiàn)了該繪本的圖像、文字互補關(guān)系，見圖1。圖1的前景中有一個小男孩正在夠放在桌子上的金魚缸，從他腳下墊起的書本看他很聰明，而他腳下已經(jīng)傾斜的書和魚缸架子傳遞著危險的信息，但是他臉蛋上紅黃相間的色彩，顯示著此時大衛(wèi)很為自己的聰明高興。這是該封面中圖像模態(tài)和色彩模態(tài)向讀者傳遞的主要信息。但是讀者們僅僅從圖像、色彩所獲得的信息是不全面的，只有結(jié)合封面上方的文字信息(No,David！)，才能準(zhǔn)確地把握該繪本創(chuàng)作者的本意——因為大衛(wèi)的行為聰明但很危險，媽媽才會簡單粗暴地說“No, David!”這樣的圖、文、色彩互補敘事的方式也體現(xiàn)在接下來的情節(jié)中。“No,David!”這兩個文字符號補充說明每一頁的大面積的圖像、色彩模態(tài)。如圖2，大衛(wèi)家客廳的墻上顯眼地地寫著“No,David,no!”讀者不知道大衛(wèi)媽媽為什么對大衛(wèi)說這樣的話，而看到大衛(wèi)一身褐色的污泥，客廳的地毯上一串黑黑的腳印，回頭張望的驚訝神情以及他臉上的黑色污泥，讀者很容易理解他媽媽為什么要對他說“No,David,no!”此時，這一頁的圖像和色彩模態(tài)信息很好地補充了簡潔文字“No,David,no”所缺失的信息。因此，圖像與文字的相互補充作用能起到單純文字?jǐn)⑹鰺o法達(dá)到的效果，這樣使得兒童繪本的多種模態(tài)敘事更為合理，也精煉繪本語言[5]108。同時，繪本故事中的文字又能更好地向讀者傳遞故事中人物的心理動態(tài)、心理感受以及由此可能發(fā)生的相應(yīng)的行為動作?？梢钥闯?，通過圖像、文字以及色彩的相互補充敘述，“No, David!”中母愛的意義才能得以再現(xiàn)。

3.2 圖像、色彩和文字對比敘事關(guān)系

圖像、文字、色彩等之間的對比關(guān)系表示圖像、文字、色彩呈現(xiàn)交互的信息，繪本作者和插畫家有意讓圖像與文字、色彩等之間信息不對稱，這樣讀者就可以借助多種模態(tài)呈現(xiàn)的信息對繪本故事進(jìn)行更多的解讀[5]108。

關(guān)于圖像(圖像色彩)與文字對比敘事最典型的繪本是美國莫里斯·桑達(dá)克創(chuàng)作的《野獸出沒的地方》(WheretheWildThingsAre)。該繪本獲得了1964年凱迪克獎金獎和1970年國際安徒生大獎(插畫獎)。但是該繪本在1963年出版時曾引起不少爭議，許多人認(rèn)為故事里面的怪獸很可怕，會嚇著兒童讀者。其實封面中的文字模態(tài)“WHERE THE WILD THINGS ARE”和圖像模態(tài)共同給讀者呈現(xiàn)了這樣的信息，預(yù)想這是一本關(guān)于一群野獸的故事，情節(jié)應(yīng)該很恐怖。然而，當(dāng)讀者仔細(xì)閱讀完這一繪本時，便會發(fā)現(xiàn)其實這是一個美妙的幻想故事，一趟偉大的心靈探險。一個名叫Max的小孩在家里淘氣，媽媽不給他吃晚飯，讓他去睡覺。Max回到自己房間，窗外的月色是朦朧的、灰暗的，這樣的圖像色彩也恰恰反映Max不開心的情緒，這時他發(fā)現(xiàn)自己的房間里生出了一片森林(這可能是Max被懲罰后心中不滿情緒的一種發(fā)泄表現(xiàn)，是想象中的森林)。隨后，Max進(jìn)行了一次特別的、想象的旅行：他開著船離開了家，經(jīng)過一年時間，來到了野獸國，野獸們拜Max為王，Max在那里發(fā)泄完他內(nèi)心憤怒和不滿的情緒，日子過得非常愜意(見圖4)。然而，隨著時間的流逝，Max開始想家了，野獸們恐嚇?biāo)蛔屗丶?，但是Max還是毅然決定回家！當(dāng)Max回到家里，等著他的是媽媽給他準(zhǔn)備好的香噴噴的、熱騰騰的晚餐，這時Max房間窗外月亮的色彩是明亮的，映襯出Max此刻得到宣泄之后比較開心的心情，與之前形成鮮明對比。這樣，通過讀者開始閱讀時的預(yù)測與該繪本故事情節(jié)發(fā)展的結(jié)果對比，發(fā)現(xiàn)這是一個充滿親情與溫暖的情感故事，而不是關(guān)于怪獸的恐怖故事。同時，當(dāng)讀者閱讀到該繪本最后一頁，就會發(fā)現(xiàn)這一頁只有一行文字“and it was still hot”，文字周圍是空白的，沒有任何圖片來補充說明文字模態(tài)，這樣使得文字和圖片信息不銜接，留給讀者更多的想象的空間。這里，圖、文和色相互對比，讓兒童讀者自己體會家的溫暖，并開啟了一次心靈的冒險旅程。

3.3 圖像、文字以及色彩呈現(xiàn)不同或相反意義

繪本中的圖像和文字所表達(dá)出的意義是有差異的，有時甚至是相悖的，往往會出現(xiàn)圖像模態(tài)所呈現(xiàn)的是當(dāng)時客觀的情況，而文字模態(tài)表達(dá)出不同的意義。圖像與文字意義表現(xiàn)的不一致也使讀者推敲自己所獲得的信息，從而能準(zhǔn)確地理解圖文的真實含義[5]108。這樣，圖像與文字模態(tài)產(chǎn)生不對等的信息也給讀者留下更多思考的空間。有時整個繪本中的色調(diào)使用基本是一致的，沒有太大變化，但是在某些再現(xiàn)圖像中卻出現(xiàn)與基本色調(diào)格格不入的色彩，這樣的色彩往往也是在向讀者傳達(dá)不一樣的意義。

意大利格萊茲(文)和英諾森提(圖)創(chuàng)作的《鐵絲網(wǎng)上的小花》獲得了布拉迪斯國際插畫雙年展大獎金蘋果獎，該繪本是一個關(guān)于戰(zhàn)爭題材的故事。這個故事發(fā)生在第二次世界大戰(zhàn)期間德國的一個小鎮(zhèn)上。主人公是一個名叫羅斯·布蘭奇小女孩。她在一次偶然外出時發(fā)現(xiàn)鎮(zhèn)外的鐵絲網(wǎng)里面有一群骨瘦如柴的人(被納粹關(guān)押在那里的猶太人)，善良熱心的羅斯·布蘭奇常常給這群人送食品，可是在故事的結(jié)尾她被納粹士兵射殺在鐵絲網(wǎng)的另一邊。該繪本的著者和插畫家并沒有用文字和圖像模態(tài)直接描寫或繪畫出戰(zhàn)爭的殘酷、血腥和罪惡的場面。在該繪本的開頭，圖像中所描繪的人群的衣著大多是灰暗的，而與周圍環(huán)境色彩格格不入的是紅色的納粹旗以及紅袖標(biāo)，這些無疑是戰(zhàn)爭的血腥與罪惡的象征(圖5)。

該繪本的結(jié)尾更是發(fā)人深省，具有深刻的含義。圖6中出現(xiàn)了綠色的樹林、青青的草地、清澈的河流、黑黑的鐵絲網(wǎng)以及白色小花等。與圖像信息相比，此時文字傳遞著不同的信息：羅斯·布蘭奇的母親等著她的女兒，等了好久，終未出現(xiàn)。此時只見圖中番紅花開始發(fā)芽，草樹泛綠，枝頭鳥兒歌唱，春天來了。這段文字“樹木都變綠了，鳥兒落滿了枝頭，春天在歌唱。”給讀者更多的思考空間，它不僅意味著春天的到來，戰(zhàn)爭已經(jīng)過去，然而這些圖像向讀者再現(xiàn)的信息具有相反的意義，鐵絲網(wǎng)前卻沒有小女孩羅斯·布蘭奇熟悉的身影，她再也回不來了。這樣，圖像、色彩和文字在敘述故事時呈現(xiàn)出不一致或相反的信息，以促使讀者深入思考戰(zhàn)爭的殘酷和童心的美好。在此，圖、文、色再現(xiàn)了繪本的創(chuàng)作意義。

4 結(jié) 語

基于系統(tǒng)功能語言學(xué)的多模態(tài)話語分析理論和方法，結(jié)合三部優(yōu)秀的兒童繪本，發(fā)現(xiàn)優(yōu)秀兒童繪本普遍借助圖像、文字、色彩模態(tài)各自的特點和相互作用來敘述故事，實現(xiàn)繪本創(chuàng)作意義的再現(xiàn)。而多模態(tài)表征形式及其之間有多種相互關(guān)系，如圖像、文字和色彩等之間能以相互補充、相互對比、相反或者不同等方式協(xié)同呈現(xiàn)，達(dá)到敘述故事和闡明道理等目的。

[1]諾德曼.話圖[M].臺灣：財團(tuán)法人兒童文化藝術(shù)基金會，2010：243-244

[2]Gibbons Alison．Multimodality，Cognition，and ExperimentalLiterature[M]．London:Routledge，2012:21-74

[3]Lewis David．Reading Contemporary Picturebooks: Picturing Text [M]．London:Routledge，2001:24-45

[4]陳文亮.成人中心主義的解構(gòu):幾米繪本的文化學(xué)分析[J].汕頭大學(xué)學(xué)報:人文社會科學(xué)版,2012(3):69-74

[5]周俐.兒童繪本中的圖、文、音：基于系統(tǒng)功能多模態(tài)語篇研究及社會符號學(xué)理論的分析[J].外國語文,2014(3):106-112

[6]趙秀鳳,李曉巍.認(rèn)知詩學(xué)視域下“情緒”的多模態(tài)轉(zhuǎn)喻構(gòu)建：以幾米繪本《時光電影院》為例[J].北京科技大學(xué)學(xué)報:社會科學(xué)版,2014(6):1-7

[7]謝妮妮.《格林童話》中圖文關(guān)系的邏輯語義擴(kuò)展探討[J].外語教學(xué),2014(1):21-25

[8]朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊,2007(5):82-86

[9]Kress G，T van Leeuwen. Multimodal Discourse: The Modes and Media of Contemporary Communication[M].London:Edward Arnold,2001:87-88

[10]張德祿.多模態(tài)話語分析綜合理論框架探索[J].中國外語, 2009(1):24-30

[11]李德志.廣告類超文本多模態(tài)的視覺語法分析[J].外語學(xué)刊,2013(2):7-11

[12]潘艷艷．政治漫畫中的多模態(tài)隱喻及身份構(gòu)建[J].外語研究,2011(1):11-15

[13]Jewitt Carey.The Routledge Handbook of Multimodal Analysis[M]. London: Routledge，2009:153-159

[14]Ventola Eija，Arsenio Jesus，Moya Guijarro.The World Told and the World Shown:Multisemiotic Issues[M].Hampshire:Palgrave Macmillan,2009:112-113

(責(zé)任編輯：胡永近)

H031

A

1673-2006(2017)09-0073-04

10.3969/j.issn.1673-2006.2017.09.017

2017-01-13

江蘇高校哲學(xué)社會科學(xué)研究一般項目“優(yōu)秀兒童繪本的多模態(tài)語篇特征與讀者閱讀認(rèn)知研究”(2016SJD740029)。

陳俊(1977-)，江蘇漣水人，碩士，講師，研究方向：認(rèn)知語言學(xué)、多模態(tài)及外語教學(xué)。