【摘要】?jī)和L本作為一種多模態(tài)語(yǔ)篇，文本模態(tài)和圖像模態(tài)在繪本故事發(fā)展中協(xié)同建構(gòu)多模態(tài)語(yǔ)篇的人際意義。本文在系統(tǒng)功能語(yǔ)言學(xué)人際意義視角下，以符際互補(bǔ)理論為基礎(chǔ)分析兒童繪本My Brother Charlie中的圖文關(guān)系及意義建構(gòu)。研究發(fā)現(xiàn)，文本模態(tài)協(xié)同圖像模態(tài)采用稱(chēng)謂強(qiáng)化、態(tài)度趨同兩種圖文互補(bǔ)機(jī)制建構(gòu)讀者與角色間的互動(dòng)關(guān)系。此類(lèi)圖文互補(bǔ)機(jī)制的使用，既增強(qiáng)繪本的可讀性，又使得作品的多模態(tài)表現(xiàn)形式與繪本的功能更好地結(jié)合。

【關(guān)鍵詞】圖文互補(bǔ)；多模態(tài)話語(yǔ)分析；兒童繪本；人際意義

【中圖分類(lèi)號(hào)】H315 【文獻(xiàn)標(biāo)識(shí)碼】A 【文章編號(hào)】2096-8264（2024）28-0119-03

【DOI】10.20024/j.cnki.CN42-1911/I.2024.28.037

一、引言

繪本是兒童讀者獲取信息和培養(yǎng)價(jià)值觀的渠道之一，是兒童讀者社會(huì)化的重要方式。兒童繪本作為一種多模態(tài)語(yǔ)篇，文本模態(tài)和圖像模態(tài)在繪本故事發(fā)展中協(xié)同建構(gòu)多模態(tài)語(yǔ)篇的人際意義。

目前，從系統(tǒng)功能語(yǔ)法人際意義視角下出發(fā)探究繪本意義建構(gòu)的研究多獨(dú)立考察文本模態(tài)和視覺(jué)模態(tài)的人際意義表征、角色與讀者間關(guān)系的建構(gòu)方式，鮮有關(guān)注文本模態(tài)與視覺(jué)模態(tài)之間的整合意義。即文本資源與視覺(jué)資源以何種方式整合模態(tài)間關(guān)系，共建兒童繪本這一多模態(tài)語(yǔ)篇的人際意義，這正是多模態(tài)話語(yǔ)研究的重點(diǎn)與難點(diǎn)。[1]因此本研究選取兒童繪本My Brother Charlie為語(yǔ)料，基于Royce的符際互補(bǔ)理論[2]，從人際意義視角出發(fā)，解讀繪本中圖像模態(tài)和文字模態(tài)之間的關(guān)系，分析其人際意義建構(gòu)，以期為兒童繪本的解讀和科學(xué)設(shè)計(jì)提供有效參考。

繪本正文頁(yè)共計(jì)17個(gè)版面，以作者家庭真實(shí)經(jīng)歷為基礎(chǔ)，繪本從妹妹的視角聚焦雙胞胎兄妹的相處，展現(xiàn)雙胞胎哥哥Charlie在言語(yǔ)發(fā)展、社交、以及行為方面的特別之處。

本文聚焦以下研究問(wèn)題：

第一，兒童繪本中圖文模態(tài)在人際意義建構(gòu)上呈現(xiàn)何種關(guān)系？

第二，上述模態(tài)間關(guān)系是如何作用于繪本解讀的？

二、理論框架

結(jié)合繪本的敘事特征，基于韓禮德系統(tǒng)功能語(yǔ)法人際意義[3]、佩因特等人視覺(jué)敘事框架[4]以及Royce符際人際互補(bǔ)理論[2]，本文提出一個(gè)適用于分析繪本人際意義的理論框架。

此框架分為兩個(gè)階段。第一階段指分別使用系統(tǒng)功能語(yǔ)言學(xué)人際意義系統(tǒng)中的語(yǔ)氣、情態(tài)系統(tǒng)以及視覺(jué)分析敘事框架中的聚焦、氛圍、情感介入三大視覺(jué)系統(tǒng)分別分析文字和圖像模態(tài)的人際意義表征。在第一階段討論基礎(chǔ)上，第二階段中使用人際符際互補(bǔ)理論探究繪本是如何通過(guò)圖文互補(bǔ)，建立、維持讀者與角色間關(guān)系實(shí)現(xiàn)人際意義協(xié)同建構(gòu)的。整合的繪本人際意義分析框架如圖1所示。

圖1 繪本人際意義分析框架

三、分析與討論

（一）文本模態(tài)人際意義建構(gòu)

根據(jù)語(yǔ)氣系統(tǒng)對(duì)繪本中的小句進(jìn)行分類(lèi)統(tǒng)計(jì)，共73個(gè)小句全部使用陳述語(yǔ)氣表達(dá)文本的陳述功能。兒童繪本的社會(huì)教育功能決定其以向讀者提供信息為主。在陳述語(yǔ)氣的使用下，Charlie的妹妹作為敘述者主導(dǎo)這一交際事件向讀者充分“給予信息”，不鼓勵(lì)讀者與故事世界產(chǎn)生互動(dòng)。讀者只需接受繪本傳遞的信息。文本模態(tài)賦予讀者疏遠(yuǎn)的閱讀立場(chǎng)，為讀者建立起一個(gè)具體的兒童形象。文本模態(tài)在文本與讀者間建立起一種給予—接受互動(dòng)關(guān)系。

繪本中共21處情態(tài)操作詞，低量值9處，中量值7處。其一，低量值操作詞分散在文本中。低量值情態(tài)操作詞語(yǔ)氣委婉，避免對(duì)讀者施加話語(yǔ)權(quán)勢(shì)而是進(jìn)行溫情敘事，構(gòu)建與讀者間和諧的人際關(guān)系。其二，繪本在塑造Charlie的形象、鼓勵(lì)讀者接納Charlie時(shí)傾向于使用中量值操作詞，增強(qiáng)信息的可信度。使用中量值詞可以降低敘事的絕對(duì)化，維持向讀者傳遞信息的客觀立場(chǎng)，提升信息內(nèi)容的準(zhǔn)確性。其三，高量值情態(tài)操作詞能夠通過(guò)展示人的態(tài)度，立場(chǎng)，決心來(lái)有效的強(qiáng)化人際意義，實(shí)現(xiàn)交際目的。高量值詞的使用將角色的情感感受最大程度上地傳遞給讀者，試圖引起讀者的情感共鳴，構(gòu)建與讀者間的情感互動(dòng)。如在第七版面中的文字模態(tài)“We watch over him with the might of angels.We have to”中，Charlie的妹妹使用have to這一高量值情態(tài)詞，向讀者傳遞一家人堅(jiān)定守護(hù)Charlie的決心。

（二）視覺(jué)模態(tài)人際意義建構(gòu)

繪本中圖像符號(hào)資源與文字符號(hào)資源具有同等效力，二者結(jié)合共同傳遞信息、構(gòu)建人際意義。

繪本在聚焦系統(tǒng)的選擇上存在以下兩個(gè)特點(diǎn)。一方面，繪本17個(gè)版面全部采用旁觀視覺(jué)選項(xiàng)且10個(gè)版面采用無(wú)中介視覺(jué)選項(xiàng)的使用高于中介視覺(jué)選項(xiàng)。這表明讀者以旁觀的方式與圖像中角色建立互動(dòng)關(guān)系，以客觀閱讀立場(chǎng)梳理情節(jié)發(fā)展，不參與圖像中角色之間的情感互動(dòng)，二者保持較遠(yuǎn)的社會(huì)距離。圖像給予讀者獨(dú)立觀察者身份并向讀者傳遞以下信息，Charlie區(qū)別于普通兒童的行為、妹妹對(duì)Charlie行為的不理解、家人對(duì)Charlie的關(guān)懷，Charlie的閃光點(diǎn)等，為讀者打開(kāi)了解Charlie性格特質(zhì)和其生活處境的窗口。另一方面，即使僅有7個(gè)版面使用中介視覺(jué)選項(xiàng)，但對(duì)于建構(gòu)圖像互動(dòng)意義起重要作用。其中，引發(fā)視覺(jué)選項(xiàng)的運(yùn)用增強(qiáng)了圖像間關(guān)聯(lián)性與敘事的連貫性。直視的視覺(jué)選擇使得讀者跟隨妹妹的視角密切關(guān)注Charlie的行為，將讀者帶入故事情節(jié)中與角色達(dá)成統(tǒng)一的心理站位并與其共情。

基于氛圍系統(tǒng)對(duì)繪本中的色彩資源進(jìn)行分析，發(fā)現(xiàn)冷暖色調(diào)數(shù)量相當(dāng)、搭配使用。繪本創(chuàng)作中對(duì)色調(diào)的合理選擇能夠輔助故事情節(jié)營(yíng)造氛圍，直接作用于讀者的感官感受，激發(fā)或抑制讀者的情感。共有9個(gè)版面使用暖色調(diào)繪制圖像背景，用于表征以下四類(lèi)語(yǔ)境：母親迎接新生命到來(lái)時(shí)的喜悅、兄妹之間的相互牽掛、Charlie的優(yōu)點(diǎn)以及一家人其樂(lè)融融相處的情景。鮮艷活潑的黃色和橙色營(yíng)造出輕松且溫情的氛圍，給予讀者溫馨感，調(diào)動(dòng)讀者的積極樂(lè)觀的情緒，引導(dǎo)讀者感受繪本愛(ài)的主題。另外，暖色調(diào)外顯Charlie作為兒童豐富且純真的內(nèi)心世界，拉進(jìn)讀者與Charlie的心理距離，增進(jìn)對(duì)角色的了解與互動(dòng)。此外，8個(gè)版面使用冷色調(diào)來(lái)表征Charlie的情感模式和社會(huì)互動(dòng)的缺陷以及妹妹與父母面對(duì)Charlie時(shí)的擔(dān)憂和無(wú)奈。繪本在刻畫(huà)此類(lèi)傷感情節(jié)時(shí)，使用低飽和度的淺藍(lán)色綠色刻畫(huà)人物所處的環(huán)境，降低故事世界的真實(shí)度。構(gòu)造出的區(qū)別于現(xiàn)實(shí)世界的故事世界，切斷讀者對(duì)故事世界的情感投入以及與角色間的情感互動(dòng)，維持讀者的客觀閱讀立場(chǎng)，了解Charlie區(qū)別于一般兒童的特征?？傊?，故事發(fā)展前后色調(diào)的對(duì)比調(diào)整了讀者對(duì)故事的情感投入以及與角色之間的情感距離。色調(diào)視覺(jué)資源在變化中建立、轉(zhuǎn)變、維持角色與讀者間的關(guān)系，構(gòu)建人際意義。

繪本在情感介入系統(tǒng)的選擇上，17個(gè)版面全部使用鑒賞類(lèi)視覺(jué)選項(xiàng)，以“最簡(jiǎn)風(fēng)格”描繪角色。鑒賞類(lèi)視覺(jué)選項(xiàng)為讀者提供客觀的閱讀視角與角色之間營(yíng)造較遠(yuǎn)的社交距離，讀者在閱讀過(guò)程中只需對(duì)角色和故事情節(jié)做出社會(huì)評(píng)價(jià)。最簡(jiǎn)風(fēng)格更具有標(biāo)志性和風(fēng)格化，注重快樂(lè)或悲傷的表達(dá)。[4]最簡(jiǎn)風(fēng)格多使用線條勾勒角色的五官，圖像人物的的眼睛和嘴巴更具表現(xiàn)力，最大化表征角色情感也更容易的被讀者識(shí)別。讀者通過(guò)對(duì)Charlie和妹妹眼睛和嘴巴形狀的解讀，可以更好把握故事情節(jié)的發(fā)展，接受角色之間的情感傳遞。繪本中，在第九版面之前，Charlie的嘴巴一直處于緊閉的狀態(tài)，眼神空洞且游離看向隨意方向，處于一種呆滯或悲傷的狀態(tài)，同時(shí)這也符合文字模態(tài)中對(duì)Charlie性格行為特征的描寫(xiě)。相反妹妹時(shí)而張著嘴巴表達(dá)開(kāi)心，或者是以失落、傷心的眼神時(shí)刻關(guān)注自己“奇怪”的哥哥。在第九版之后，妹妹理解并接受Charlie的別樣的做事方式，兄妹間心靈逐漸靠近，最簡(jiǎn)風(fēng)格將兩人相處時(shí)的喜悅表情放大。根據(jù)角色表情上的變化及對(duì)比，讀者并不需要復(fù)雜的推斷便可以輕松獲得信息，感受角色間情感的傳遞。

（三）圖文人際符際互補(bǔ)機(jī)制及其意義建構(gòu)

Royce的符際人際互補(bǔ)理論指文本模態(tài)和視覺(jué)模態(tài)通過(guò)稱(chēng)謂強(qiáng)化和態(tài)度的一致性或不一致生成連貫的多模式文本實(shí)現(xiàn)模態(tài)之間關(guān)系的整合和與讀者間的互動(dòng)。

基于Royce的符際互補(bǔ)理論結(jié)合上述分析，歸納繪本的圖文模態(tài)聯(lián)合表征人際意義方式，可以得出繪本中圖文關(guān)系呈現(xiàn)稱(chēng)謂強(qiáng)化的特點(diǎn)，即通過(guò)各符號(hào)與讀者交流的方式的一致性創(chuàng)建意義。[2]繪本中的圖文稱(chēng)謂強(qiáng)化體現(xiàn)在向讀者提供信息以及邀請(qǐng)讀者參與情感互動(dòng)兩方面。一方面，繪本多數(shù)版面以圖文互補(bǔ)共同向讀者提供信息為主。文本的語(yǔ)氣系統(tǒng)以及人稱(chēng)的使用是文本稱(chēng)謂的重要表達(dá)方式。正如上文所提到的，繪本中的小句全部使用陳述語(yǔ)氣，實(shí)現(xiàn)了陳述的無(wú)標(biāo)記言語(yǔ)功能，向讀者傳遞信息。讀者可以保持信息接收者的身份，對(duì)文本模態(tài)傳遞出的信息進(jìn)行接受或拒絕。另外，在人稱(chēng)系統(tǒng)的選擇上，妹妹作為故事的講述者，在描寫(xiě)Charlie和自己的差異時(shí)，第一人稱(chēng)“I”和第三人稱(chēng)“He”或者“Charlie”中總是對(duì)比出現(xiàn)，文本符號(hào)資源在兩種人稱(chēng)的對(duì)比變換之間陳述命題與讀者交換故事信息。除第16版面的文本資源外，文本中并沒(méi)有對(duì)讀者的直接稱(chēng)呼，如第二人稱(chēng)“you”或者“reader”等，賦予讀者參與者的身份進(jìn)行信息情感交流。即使文中出現(xiàn)5處第一人稱(chēng)復(fù)數(shù)“we”的使用，目的也并非是將讀者囊括進(jìn)故事中吸引讀者參與角色間的互動(dòng)。與之對(duì)應(yīng)，視覺(jué)模態(tài)則全部使用旁觀視覺(jué)選項(xiàng)，角色不與讀者產(chǎn)生眼神接觸也并不面向讀者施以任何面部表情。因此，視覺(jué)符號(hào)資源并不邀請(qǐng)讀者參與故事情節(jié)發(fā)展，而是指向圖像所描繪的角色身上，以提供視覺(jué)陳述為特點(diǎn)，實(shí)現(xiàn)視覺(jué)模態(tài)與讀者之間信息的交換。

另一方面，少數(shù)版面圖文結(jié)合邀請(qǐng)讀者參與情感互動(dòng)。典型實(shí)例出現(xiàn)在第16版面，其中文本模態(tài)共出現(xiàn)5次第二人稱(chēng)“you”，妹妹鼓勵(lì)讀者與Charlie結(jié)交朋友。第二人稱(chēng)呈現(xiàn)出內(nèi)部敘事聲音，將讀者介入故事中拉進(jìn)其與角色之間的距離，作為參與者直接與角色進(jìn)行信息交流與產(chǎn)生情感連接。與此同時(shí)，視覺(jué)模態(tài)描繪一家四口還有寵物小狗其樂(lè)融融在夕陽(yáng)下散步的場(chǎng)景，所有角色面帶微笑面向正前方，雖然不與讀者產(chǎn)生直接的眼神接觸，但采用齊眼高度視角和暖色調(diào)的視覺(jué)選擇、圖像人物前景化，營(yíng)造溫馨的氛圍。此類(lèi)人關(guān)系建構(gòu)數(shù)量雖少，但對(duì)于繪本主題的解讀有重要作用。

態(tài)度趨同是繪本中實(shí)現(xiàn)圖文互補(bǔ)的第二個(gè)機(jī)制，指繪本中視覺(jué)和文本模態(tài)在態(tài)度表達(dá)上有不同程度的一致性。[2]除文字?jǐn)⑹鐾猓L本以視覺(jué)陳述向讀者傳遞信息。繪本對(duì)視覺(jué)資源的藝術(shù)加工在可信度和真實(shí)性方面是對(duì)繪本想要傳遞給讀者態(tài)度的投射。首先，從情感介入系統(tǒng)、氛圍系統(tǒng)與情態(tài)系統(tǒng)的互補(bǔ)創(chuàng)建人際意義來(lái)看，文本—視覺(jué)情態(tài)總體上低情態(tài)為主，建構(gòu)Charlie的形象。最簡(jiǎn)風(fēng)格對(duì)角色的身體細(xì)節(jié)如面部表情和身體特征和物理環(huán)境進(jìn)行概要性描繪。色彩單一的冷色調(diào)描繪角色的所處的環(huán)境，降低故事世界真實(shí)度且更為凸顯畫(huà)面人物。視覺(jué)敘事的真實(shí)性上呈現(xiàn)出低情態(tài)的特點(diǎn)，在引發(fā)讀者情感上效果微弱，重點(diǎn)在Charlie形象的客觀建構(gòu)。文本模態(tài)在情態(tài)系統(tǒng)的選擇上，表達(dá)作者態(tài)度的低中量值詞并非像高量值詞一樣在特定的情節(jié)里集中出現(xiàn)與讀者進(jìn)行情感共鳴，而是貫穿語(yǔ)篇。這一選擇既可客觀描述主人公Charlie的特征又可維持讀者客觀的閱讀視角。其次，圖文模態(tài)在表征家人對(duì)Charlie堅(jiān)定不移的愛(ài)與責(zé)任以及呼吁讀者的關(guān)愛(ài)兩類(lèi)語(yǔ)境時(shí)，呈現(xiàn)出高情態(tài)的特點(diǎn)。其中，文本資源使用高情態(tài)來(lái)向讀者展示圖像中人物對(duì)其命題的高度確定性以及視覺(jué)描繪上采用氛圍系統(tǒng)中橙色、黃色此類(lèi)暖色調(diào)。高情態(tài)的圖文表征將可以將圖像人物對(duì)Charlie的態(tài)度放大，帶給讀者強(qiáng)烈的情感體驗(yàn)，吸引讀者與妹妹形成統(tǒng)一的心理站位?？傊?，繪本的重點(diǎn)并非通過(guò)描寫(xiě)的準(zhǔn)確性或真實(shí)性激活讀者的情感共鳴，而是通過(guò)視覺(jué)模態(tài)與文字模態(tài)的協(xié)同合作呈現(xiàn)主題向讀者傳遞信息，從而吸引讀者對(duì)想要表達(dá)態(tài)度的關(guān)注。

四、結(jié)語(yǔ)

本文展現(xiàn)了符際互補(bǔ)理論在解析兒童繪本這一多模態(tài)語(yǔ)篇作品的圖文關(guān)系上的強(qiáng)大解釋力。研究發(fā)現(xiàn)，繪本中兩種符號(hào)資源相輔相成通過(guò)稱(chēng)謂強(qiáng)化和態(tài)度趨同實(shí)現(xiàn)多模態(tài)文本的連貫、傳遞話語(yǔ)意義以及構(gòu)建角色與讀者間的互動(dòng)關(guān)系，展現(xiàn)兩種模態(tài)符際間互補(bǔ)性。并實(shí)現(xiàn)以恰當(dāng)?shù)姆绞较蜃x者傳遞信息和引導(dǎo)讀者解讀信息和接受價(jià)值傳遞的目標(biāo)。Royce的人際符際互補(bǔ)理論對(duì)兒童繪本的解讀和設(shè)計(jì)具有一定的指導(dǎo)意義。一方面，讀者達(dá)到對(duì)繪本內(nèi)容及意義的確切把握以及深刻理解。另一方面，設(shè)計(jì)者可以從圖文互補(bǔ)銜接共同創(chuàng)建人際意義的角度為創(chuàng)作出更優(yōu)質(zhì)的繪本。

參考文獻(xiàn)：

[1]Unsworth L.Towards a Metalanguage for Multiliteracies Education：Describing the Meaning—making Resources of Language－image Interaction[J].English Teaching：Practice and Critique，2006，（1）：55-76.

[2]Royce T.Intersemiotic Complementarity：A Fra-mework for Multimodal Discourse Analysis[J]//Royce T D，W L Bowcher.New Directions in t-he Analysis of Multimodal Discourse[C].New J-ersey：Lawrence Erlbaum Associates，2007：63-109.

[3]Halliday M，Matthiessen C.An Introduction to Functional Grammar（3rd ed.）[M].London：Hodder Arnold，2008.

[4]Painter C，Martin J，Unsworth L.Reading Visual Narratives：Image Analysis in Children’s Picture Books[M].Sheffield：Equinox Publishing Ltd，2013.

作者簡(jiǎn)介：

姬麗娜，女，漢族，山東費(fèi)縣人，西安外國(guó)語(yǔ)大學(xué)英文學(xué)院碩士研究生在讀，研究方向：多模態(tài)話語(yǔ)分析。