國(guó)　防

(華北電力大學(xué)，北京 102206)

1　引言

Kress和van Leeuwen于1996年提出“多模態(tài)話語(yǔ)”(multimodal discourse)這個(gè)概念，并比照系統(tǒng)功能語(yǔ)言學(xué)的3大元功能思想，創(chuàng)建視覺(jué)語(yǔ)法分析框架，為多模態(tài)話語(yǔ)分析的發(fā)展奠定基礎(chǔ)。在國(guó)內(nèi)，李戰(zhàn)子(2003)發(fā)文介紹Kress和van Leeuween的《閱讀圖像：視覺(jué)設(shè)計(jì)的語(yǔ)法》(ReadingImages:TheGrammarofVisualDesign)以來(lái)，多模態(tài)研究迅速發(fā)展(馮德正 2017：2)。這一領(lǐng)域的興起使人們意識(shí)到“語(yǔ)篇的意義生成不再單獨(dú)依賴于語(yǔ)言符號(hào)的貢獻(xiàn)，而是進(jìn)一步凸顯出視覺(jué)符號(hào)的重要性……多種符號(hào)體系融合起來(lái)，共同構(gòu)建語(yǔ)篇的意義”(劉成科 2014：144)。“意義的建構(gòu)需要多種符號(hào)的協(xié)同作用”(代樹(shù)蘭 2017：1)，而在由多種符號(hào)構(gòu)成的多模態(tài)語(yǔ)篇里，圖文是兩種最普遍的符號(hào)表征結(jié)果，二者既分立又統(tǒng)一。

2　主要研究回顧

圖像和文本的關(guān)系問(wèn)題是“多模態(tài)話語(yǔ)分析中存在的瓶頸問(wèn)題”(汪燕華 2010:74)。Barthes在闡述圖像與文本的關(guān)系時(shí)指出：(1)文本附屬于圖像，文本信息用來(lái)加速對(duì)圖像的理解；(2)語(yǔ)言呈現(xiàn)的內(nèi)涵與圖像外延密切相關(guān)，二者關(guān)系越緊密，其內(nèi)涵意義表現(xiàn)越少；(3)語(yǔ)言內(nèi)涵不可能與圖像意義重合，更常見(jiàn)的情況是語(yǔ)言拓展圖像的意義(Barthes 1977:25-27)。Kress和van Leeuwen對(duì)其觀點(diǎn)提出異議，認(rèn)為語(yǔ)言和圖像都可以用來(lái)實(shí)現(xiàn)人類蘊(yùn)含文化元素的基本意義系統(tǒng)，二者具有自己特有的表達(dá)方式。但要表達(dá)某種確定的意義，必須由語(yǔ)言來(lái)挽救(Kress, van Leeuwen 1996:19)。Royce以銜接和連貫理論為指導(dǎo)來(lái)分析圖像與文本的關(guān)系。他認(rèn)為，在圖文并置的語(yǔ)篇中，從概念意義上講，圖像和語(yǔ)言之間的關(guān)系與語(yǔ)言本身之間的關(guān)系類似，從人際意義上講，語(yǔ)言表達(dá)的意義更加確定，而圖像需要借助文本將其意義確定(Royce 2006:70)。在研究圖文并置的科學(xué)語(yǔ)篇基礎(chǔ)上，Martinec總結(jié)出4種圖文關(guān)系:(1)圖文各自獨(dú)立，彼此沒(méi)有關(guān)聯(lián)；(2)圖文意義互補(bǔ)，彼此增強(qiáng)對(duì)方的意義；(3)以文本意義為主，圖像意義為輔；(4)以圖像意義為主，文本意義為輔(Martinec, Salway 2005：337-371)。van Leeuwen認(rèn)為在很多交際場(chǎng)景下，文本與圖像各有分工，文本負(fù)責(zé)提供事實(shí)、說(shuō)明及只有用語(yǔ)言才能表達(dá)出的情況，而圖像負(fù)責(zé)對(duì)文本的解讀(van Leeuwen 2008：136)。Wignell(2011)以系統(tǒng)功能語(yǔ)法理論為指導(dǎo)，對(duì)6個(gè)年齡組的繪本進(jìn)行系統(tǒng)分析。結(jié)果表明，隨著目標(biāo)讀者年齡段的改變，圖像與文本間相互關(guān)系出現(xiàn)相應(yīng)的變化。針對(duì)年齡較小讀者的繪本，文本對(duì)圖像的依賴性越強(qiáng)，人際功能越突出；隨著目標(biāo)讀者年齡的增加，文本對(duì)圖像的依賴性越小，概念功能及語(yǔ)篇功能逐漸超越人際功能。

綜觀多模態(tài)話語(yǔ)的研究文獻(xiàn)不難發(fā)現(xiàn)，大多數(shù)文獻(xiàn)關(guān)注純理論探討的初級(jí)層面，典型實(shí)證研究仍不多見(jiàn)，尚未見(jiàn)對(duì)不同語(yǔ)言水平、不同年齡的認(rèn)知主體對(duì)多模態(tài)語(yǔ)篇圖文關(guān)系識(shí)解的比較研究。本研究將對(duì)中美兒童及成年人閱讀英文繪本情況進(jìn)行實(shí)驗(yàn)研究，從而揭示不同語(yǔ)言水平及不同年齡的認(rèn)知主體對(duì)多模態(tài)語(yǔ)篇圖文關(guān)系識(shí)解的特點(diǎn)。

3　實(shí)驗(yàn)研究

3.1 研究問(wèn)題

本研究旨在回答以下兩個(gè)問(wèn)題：(1)不同語(yǔ)言水平的認(rèn)知主體對(duì)多模態(tài)語(yǔ)篇中圖文關(guān)系的識(shí)解是否存在顯著差異；(2)兒童與成人對(duì)多模態(tài)語(yǔ)篇中圖文關(guān)系的識(shí)解是否存在顯著差異？

3.2 研究被試

本研究被試共12人，包括3位在美留學(xué)1年、第二外語(yǔ)為英語(yǔ)的5-6歲中國(guó)兒童(男)、3位本族語(yǔ)為英語(yǔ)的5-6歲美國(guó)兒童(男)、3位在美訪學(xué)1年、第二外語(yǔ)為英語(yǔ)的中國(guó)高校教師(男)和3位本族語(yǔ)為英語(yǔ)的美國(guó)高校教師(男)。將12位被試分為中美兒童組與中美成人組。Johnson 和 Rosano 研究發(fā)現(xiàn)，本族語(yǔ)者的英語(yǔ)語(yǔ)言水平高于二語(yǔ)學(xué)習(xí)者(Johnson, Rosano 1993：159-175)。據(jù)此，各組雙方的英語(yǔ)水平在本組內(nèi)由高至低排名為中美兒童組：美國(guó)兒童>中國(guó)兒童；中美成人組：美國(guó)高校教師>中國(guó)高校教師。

3.3 研究工具

繪本是典型的多模態(tài)語(yǔ)篇原型。Hassett 和 Curwood認(rèn)為繪本中的每一個(gè)元素都是“某種模態(tài)”，甚至無(wú)文本的繪本仍屬于多模態(tài)語(yǔ)篇(Hassett，Curwood 2009:272)。通常情況下，繪本包含圖像與文本兩種符號(hào)模態(tài)，兩種模態(tài)共現(xiàn)是意義存在的潛勢(shì)。

本研究選取兩本語(yǔ)言級(jí)別不同的英文繪本作為被試的閱讀材料。閱讀材料選取的出發(fā)點(diǎn)是以美國(guó)被試兒童的年齡為衡量標(biāo)準(zhǔn)，選取低于5-6歲美國(guó)被試兒童語(yǔ)言水平及與被試兒童語(yǔ)言水平相當(dāng)?shù)牟牧稀８鶕?jù)Wignell(2011)的調(diào)查結(jié)果，針對(duì)6歲以上兒童的讀物，因?yàn)閳D畫(huà)基本消失，已稱不上是繪本，所以本研究沒(méi)有選取高于5-6歲兒童語(yǔ)言水平的閱讀材料。

本研究選擇兩個(gè)時(shí)間段，按3-4歲繪本和5-6歲繪本閱讀的分工將閱讀任務(wù)分兩次完成。面向3-4歲讀者的繪本是2000年由Scholastic出版社出版的《大衛(wèi)不可以》(No，David！)。面向5-6歲讀者的繪本是The Viking Press出版的《下雪天》(TheSnowyDay)。研究者將繪本放置桌上，請(qǐng)被試進(jìn)行手指點(diǎn)讀，點(diǎn)讀之后復(fù)述繪本內(nèi)容，并回答研究者有關(guān)圖文切換原因的提問(wèn)。在征得被試兒童家長(zhǎng)及幾位成人被試同意后，研究者對(duì)12位被試兩次點(diǎn)讀繪本的過(guò)程錄像記錄。

3.4 結(jié)果及討論

實(shí)驗(yàn)結(jié)束之后，研究者通過(guò)對(duì)現(xiàn)場(chǎng)的記憶、記錄以及對(duì)錄像反復(fù)觀看后將各個(gè)被試對(duì)繪本的點(diǎn)讀過(guò)程進(jìn)行整理、記錄。以下將以兩個(gè)繪本中分別指定的頁(yè)碼點(diǎn)讀情況為例進(jìn)行數(shù)據(jù)整理，記錄情況分別如表1至表4。

3.41 3-4歲繪本點(diǎn)讀結(jié)果及圖文關(guān)系識(shí)解

3-4歲的繪本選擇《大衛(wèi)不可以》中Put your toys away這一頁(yè)。該頁(yè)面中，大衛(wèi)正坐在地板上聚精會(huì)神地看電視，他的周圍到處堆放著玩具。頁(yè)面左上方印著Put your toys away.

表1為中美兒童在閱讀3-4歲繪本《大衛(wèi)不可以》中Put your toys away頁(yè)內(nèi)容的點(diǎn)讀情況記錄：

表1　中美兒童組3-4歲繪本點(diǎn)讀過(guò)程記錄

我們發(fā)現(xiàn)6位兒童被試首先將目光注視在圖像上，同時(shí)將手指置于文本上開(kāi)始點(diǎn)讀。文本點(diǎn)讀結(jié)束后，將手指移至圖片。6位兒童被試查看圖片的時(shí)間遠(yuǎn)遠(yuǎn)大于閱讀文本的時(shí)間。3位中國(guó)兒童對(duì)研究者“為什么讀完文本看了圖片？”的提問(wèn)，回答一致：“圖畫(huà)好看”。圖片查看結(jié)束后，研究者請(qǐng)6位兒童被試講述該頁(yè)內(nèi)容，3位中國(guó)兒童均忽視文本，針對(duì)畫(huà)面做出簡(jiǎn)單描述。3位美國(guó)兒童的回答各不相同。在講述該頁(yè)內(nèi)容時(shí)，3位美國(guó)兒童對(duì)畫(huà)面做出詳細(xì)描述，其描述內(nèi)容與文本相關(guān)聯(lián)。

表2為中美成人在閱讀3-4歲繪本《大衛(wèi)不可以》中Put your toys away頁(yè)內(nèi)容的點(diǎn)讀過(guò)程記錄：

表2　中美成人組3-4歲繪本點(diǎn)讀過(guò)程記錄

中美成人組閱讀3-4歲英語(yǔ)繪本時(shí)，6位受試均將目光首先注視在文本上，同時(shí)將手指置于文本處開(kāi)始朗讀。文本點(diǎn)讀結(jié)束后，將手指移至圖片。6位被試對(duì)圖片都一眼帶過(guò)，對(duì)研究者“為什么讀完文本才看圖片？”的提問(wèn)，回答完全一致：“沒(méi)有特殊原因”。在查看完圖片后，研究者請(qǐng)6位被試講述該頁(yè)內(nèi)容，6位被試的復(fù)述內(nèi)容仍然一致：“玩具到處扔，房間太亂，家長(zhǎng)讓Peter收拾玩具”。

3.42 5-6歲繪本點(diǎn)讀結(jié)果及圖文關(guān)系識(shí)解

5-6歲繪本選擇《下雪天》中It was a stick這一頁(yè)。該頁(yè)整個(gè)頁(yè)面是一片多彩的雪世界，身著紅色防雪服的Peter手拿一根黑色的小樹(shù)棍站在一棵枝丫落滿白雪的大樹(shù)前，抬眼仰視樹(shù)上積雪。頁(yè)面底端印著It was a stick.

6位兒童被試首先將目光注視在圖像上，然后將手指置于文本上開(kāi)始點(diǎn)讀。3位中國(guó)兒童在文本點(diǎn)讀結(jié)束后，將手指移至圖片，此時(shí)幾位小朋友眼中充滿困惑。中兒1和中兒3手指在圖片和文本間切換2次，停在stick一詞處，停留在木棍圖上。中兒2手指在圖片和文本間切換3次。6位被試查看圖片時(shí)間超過(guò)文本閱讀時(shí)間。3位中國(guó)兒童對(duì)研究者“為什么讀完文本后才看圖片？”的提問(wèn)，回答一致：“想知道 stick是什么，不認(rèn)識(shí)這個(gè)詞”。他們?cè)谥v述該頁(yè)面故事時(shí)，強(qiáng)調(diào)木棍一詞，注意到Peter要拿木棍打樹(shù)上的雪。這一現(xiàn)象說(shuō)明，3位中國(guó)兒童將畫(huà)面當(dāng)做查詢文本意義的“字典”，畫(huà)面起到對(duì)文本解釋說(shuō)明的作用。這個(gè)結(jié)果與Kress和van Leeuwen必須由語(yǔ)言來(lái)表達(dá)某種確定意義的觀點(diǎn)相悖(Kress，van Leeuwen 1996:19)。3位美國(guó)兒童手指在圖片和文本間切換一次，文本點(diǎn)讀結(jié)束后將手移至圖片處。對(duì)“為什么讀完文本才看圖片？”的提問(wèn)，他們的回答也基本一致“想看看木棍是什么樣的”。在他們的描述中出現(xiàn)“黑色木棍”“白雪”等細(xì)節(jié)描寫(xiě)。

表3為中美兒童在閱讀5-6歲繪本《下雪天》It was a stick頁(yè)內(nèi)容的點(diǎn)讀過(guò)程記錄：

表3　中美兒童組5-6歲繪本點(diǎn)讀過(guò)程記錄

6位成人閱讀5-6歲兒童繪本時(shí)，手眼同時(shí)集中于文本處，中成2和美成1在圖文之間切換1次，瞬間掃視畫(huà)面便指向下一頁(yè)文本。其余4位被試閱讀完該頁(yè)文本后，無(wú)視畫(huà)面的存在直接轉(zhuǎn)向下頁(yè)文本。中成2和美成1對(duì)于問(wèn)題“為什么讀完文本才看圖片？”的回答是“好奇”。另外4位成人被試回答“為什么不看畫(huà)面？”的答案為“文本已經(jīng)將意義表達(dá)清楚了”。在描述畫(huà)面時(shí)，4人均利用文本內(nèi)容“是一根木棍”。

表4為中美成人在閱讀5-6歲繪本《下雪天》It was a stick頁(yè)內(nèi)容的點(diǎn)讀過(guò)程記錄：

表4　中美成人組5-6歲繪本點(diǎn)讀過(guò)程記錄

本實(shí)驗(yàn)研究表明語(yǔ)言水平能夠直接影響人們對(duì)圖文關(guān)系的解讀。英語(yǔ)詞匯量及閱讀能力較低的中國(guó)兒童被試閱讀繪本時(shí)更依賴于畫(huà)面信息。一方面，他們閱讀文本，識(shí)解的只是文本的字面意義，還沒(méi)有能力理解言外之意。此時(shí)，他們將畫(huà)面和文本視為相互獨(dú)立的符號(hào)系統(tǒng)。另一方面，當(dāng)閱讀含有生詞的文本時(shí)，他們?nèi)皂毲笾趫D畫(huà)。此時(shí)，文本和畫(huà)面是互為補(bǔ)充的兩個(gè)意義主體。美國(guó)兒童被試英語(yǔ)水平較高，可以將文本與圖畫(huà)相互聯(lián)系，對(duì)他們而言，畫(huà)面使文本意義更加豐富、細(xì)化和具體。對(duì)于語(yǔ)言水平較高的中美成人被試而言，文本成為獲取信息的主要來(lái)源。除非要獲取言外之意或受好奇心驅(qū)使，他們一般無(wú)視畫(huà)面的存在，完全憑借文本來(lái)理解語(yǔ)篇。對(duì)他們而言，文本可以獨(dú)立于畫(huà)面存在，也可以將畫(huà)面作為豐富文本意義的工具。因此我們可以得出結(jié)論，語(yǔ)言水平越低的認(rèn)知主體，當(dāng)閱讀高于自己語(yǔ)言水平的繪本時(shí)，他們?cè)絻A向于將畫(huà)面與文本視為獨(dú)立的意義實(shí)體，他們依賴畫(huà)面獲取意義的傾向越突出。語(yǔ)言水平稍高的認(rèn)知主體，當(dāng)閱讀與自己語(yǔ)言水平相當(dāng)?shù)睦L本時(shí)，會(huì)將畫(huà)面與文本結(jié)合，視二者為相互補(bǔ)充的意義實(shí)體。語(yǔ)言水平越高的認(rèn)知主體越會(huì)把畫(huà)面與文本視為獨(dú)立的意義實(shí)體，他們一般無(wú)視畫(huà)面，更傾向于依賴文本獲取信息。

年齡對(duì)圖文關(guān)系識(shí)解也存在顯著的影響。中美兒童在閱讀繪本時(shí)，都首先將目光集中在畫(huà)面上，這一點(diǎn)能說(shuō)明他們對(duì)畫(huà)面更感興趣，對(duì)其依賴性更強(qiáng)。對(duì)兒童而言，對(duì)意義的理解是以畫(huà)面為主，文本為輔。而兩組成人被試在閱讀繪本時(shí)，手眼都是首先集中在文本上。對(duì)成人而言，信息的獲取主要來(lái)自文本，文本為主、畫(huà)面為輔。這一結(jié)果也能驗(yàn)證了Wignell(2011)的研究結(jié)果，年齡越小的讀者對(duì)繪本的理解越依靠人際意義，而年齡越大的讀者對(duì)繪本的理解越依靠概念意義與語(yǔ)篇意義。

4　結(jié)束語(yǔ)

綜合中美成人與兒童被試閱讀英語(yǔ)繪本情況，我們發(fā)現(xiàn)，成人在閱讀英文繪本時(shí)，均以文本為主，而兒童均以圖像為主。對(duì)兒童而言，當(dāng)閱讀高于自己語(yǔ)言水平的繪本時(shí)，他們視畫(huà)面與文本為獨(dú)立的意義實(shí)體，依賴畫(huà)面獲取意義的傾向較突出；當(dāng)閱讀與自己語(yǔ)言水平相當(dāng)?shù)睦L本時(shí)，他們會(huì)將畫(huà)面與文本結(jié)合，視二者為相互補(bǔ)充的意義實(shí)體。語(yǔ)言水平越高的認(rèn)知主體，則視畫(huà)面與文本為獨(dú)立的意義實(shí)體，他們無(wú)視畫(huà)面，依賴文本獲取信息的傾向更為突出。同一繪本，因讀者的年齡不同、語(yǔ)言水平存在差異，對(duì)繪本的圖文關(guān)系識(shí)解會(huì)存在較大的差異。這也說(shuō)明，圖文關(guān)系是動(dòng)態(tài)的、復(fù)雜的，影響圖文關(guān)系識(shí)解的更多其他因素還有待未來(lái)更廣泛的研究。

代樹(shù)蘭. 多模態(tài)話語(yǔ)中各模態(tài)之間關(guān)系的研究[J]. 外語(yǔ)學(xué)刊, 2017(6).

馮德正. 多模態(tài)語(yǔ)篇分析的基本問(wèn)題探討[J]. 北京第二外國(guó)語(yǔ)學(xué)院學(xué)報(bào), 2017(3).

李戰(zhàn)子. 多模態(tài)話語(yǔ)的社會(huì)符號(hào)學(xué)分析[J]. 外語(yǔ)研究, 2003(5).

劉成科. 多模態(tài)語(yǔ)篇中的圖文關(guān)系[J]. 寧夏社會(huì)科學(xué), 2014(1).

汪燕華. 多模態(tài)話語(yǔ)中的圖文關(guān)系[J].外國(guó)語(yǔ)文, 2010(10).

Barthes, R.Image-Music-Text[M].London: Fontana, 1977.

Hassett, D.D., Curwood, J.S. Theories and Practices of Multimodal Education: The Instructional Dynamics of Picture Books and Primary Classrooms[J].TheReadingTeacher, 2009(4).

Johnson, J., Rosano, T. Relation of Cognitive Style to Metaphor Interpretation and Second Language Proficiency[J].AppliedPsycholinguistics, 1993(14)．

Kress, G.R., van Leeuween, T.ReadingImages:TheGrammarofVisualDesign[M]. London: Rouledge, 1996.

Martinec, R., Salway, A. A System for Image-text Relations in New(and Old) Media[J].VisualCommunication, 2005(4).

Royce, T.D. Intersemiotic Complementarity: A Framework for Multimodal Discourse Analysis[A]. In: Royce, T.D., Bowcher, W.L.(Eds.),NewDirectionsintheAnalysisofMultimodalDiscourse[C]. Hillsdale: Lawrence Erlbaum, 2006.

van Leeuwen, T.DiscourseandPractice:NewToolsforCriticalDiscourseAnalysis[M]. Oxford: Oxford University Press, 2008.

Wignell, P. Picture Books for Young Children of Different Ages：The Changing Relationships Between Images and Words[A]. In: O’Halloran, K.L., Smith, B.A.(Eds.),MultimodalStudies:ExploringIssuesandDomains[C]. London: Routledge, 2011.