張麗娜

摘 要： Kress和van Leeuwen提出韓禮德的語言三大元功能同樣適用于視覺語法的研究，并將其延伸為再現(xiàn)意義、互動意義和構(gòu)圖意義。本文在研究其理論基礎(chǔ)之上，以圖畫書The Man Whose Mother Was a Pirate為例分析圖畫如何傳達(dá)意義。視覺語法運(yùn)用于圖畫書的分析上，不僅為兒童和成人閱讀圖畫書提供新角度，而且為圖畫書作家精準(zhǔn)傳達(dá)意義開辟新途徑。

關(guān)鍵詞： 視覺語法 多模態(tài) 圖畫書 功能符號學(xué)

一、引言

進(jìn)入二十世紀(jì)以后，隨著科學(xué)技術(shù)發(fā)展進(jìn)入新的階段，多媒體的廣泛使用豐富和便利了人們的生活，也改變了人們的交流方式：從以語言、文字為主到如今的文字、圖片、聲音等并存。順從時(shí)代的發(fā)展，學(xué)者不再僅僅專注于傳統(tǒng)的單一語言話語分析，越來越多的目光轉(zhuǎn)向圖片、文本、動作、聲音等多模態(tài)分析。以圖片為主、文字為輔傳遞信息和情感的兒童讀物，是典型的多模態(tài)文本。然而國內(nèi)的多模態(tài)研究領(lǐng)域?qū)ζ潢P(guān)注度并不高，圖畫書是極其重要的兒童文學(xué)組成部分，對兒童的身心健康具有重要作用，研究圖畫書的意義構(gòu)建和接受有利于更好地培養(yǎng)兒童的思想、道德和審美。從視覺語法角度分析The Man Whose Mother Was a Pirate的圖畫如何傳達(dá)意義，希望引起更多學(xué)者對圖畫書多模態(tài)研究的注意。

二、多模態(tài)的研究

李戰(zhàn)子認(rèn)為多模式是復(fù)合的話語，也就是說除了最基礎(chǔ)的文本之外，往往還包含圖像、圖表等模式（李戰(zhàn)子，2003）。多模態(tài)的研究角度有多種，常見的有交互社會學(xué)角度、語體學(xué)角度等。而在本文中我們將從功能符號學(xué)出發(fā)，對多模態(tài)進(jìn)行探討和研究。Micheal OTool發(fā)表于1994年的The Language of Displayed Art是多模態(tài)領(lǐng)域?yàn)閿?shù)不多的一部開創(chuàng)性作品，完全致力于藝術(shù)作品的分析和解釋。這本書探討了繪畫、雕塑和建筑等藝術(shù)的視覺語法，提出三種意義：再現(xiàn)意義、情態(tài)意義和組合意義。1996年，Kress和van Leeuwen在《圖像識讀：視覺設(shè)計(jì)的語法》（Reading Images： The Grammar of Visual Design）一書中提出了視覺語法的理論研究和分析框架。而在中國知網(wǎng)上第一篇介紹多模態(tài)話語研究的是李戰(zhàn)子于2003年在《外語研究》上發(fā)表的《多模式話語的社會符號學(xué)分析》一文，這篇文章對Kress和van Leeuwen的視覺語法理論體系做了較系統(tǒng)的介紹。在此之后，胡壯麟、張德祿等學(xué)者在多模態(tài)研究上有突出貢獻(xiàn)。張德祿在論文《多模態(tài)話語分析綜合理論框架探索》中嘗試構(gòu)建了多模態(tài)話語分析的理論框架，主要有四個(gè)層面：文化層面、語境層面、內(nèi)容層面和表達(dá)層面。他認(rèn)為對于多模態(tài)話語選擇來說，最關(guān)鍵的是讓多種模態(tài)之間相互配合，這樣才能達(dá)到最好的交際效果。另外他還提出，模態(tài)間的配合主要體現(xiàn)在內(nèi)容層面下的形式層面，特別是其中的語法層面（張德祿，2009）。本文所重點(diǎn)研究的視覺語法系統(tǒng)則是其所指的語法層面之一。

三、視覺語法

Kress和van Leeuwen是視覺語法研究的集大成者。他們于1996年發(fā)表的《圖像識讀》構(gòu)建了視覺語法研究的框架，并配有大量實(shí)例加以佐證其解釋力。Kress和van Leeuwen強(qiáng)調(diào)視覺語法中的“語法”不同于傳統(tǒng)意義的語法，他們所說的“語法”關(guān)注各種元素如何結(jié)合并生成有意義的整體。語言的語法描述詞語怎樣組成小句、句子和篇章，同樣的，視覺的語法描述各種元素——人、地點(diǎn)和事物——怎樣組合為視覺上意義，這種意義具有不同的復(fù)雜程度和延展度的狀態(tài)（Kress & van Leeuwen 2006）。同時(shí)，他們提出視覺結(jié)構(gòu)不是對現(xiàn)實(shí)結(jié)構(gòu)一種簡單的再創(chuàng)作，相反這些圖片與產(chǎn)生、傳播和識讀與其所處的社會機(jī)構(gòu)緊密相關(guān)，即它們是具有意識形態(tài)的。視覺結(jié)構(gòu)不僅是形式的，更重要的是具有意義維度。韓禮德提出語言的元功能包括概念功能、人際功能和語篇功能，Kress和van Leeuwen認(rèn)為這三大功能可以用于視覺系統(tǒng)、觸覺系統(tǒng)等。而在視覺語法中主要延伸為再現(xiàn)意義（representational meaning）、互動意義（interactive meaning）和構(gòu)圖意義（compositional meaning）三大意義。因此，Kress和van Leeuwen的視覺語法被認(rèn)為是對韓禮德元功能思想的繼承和創(chuàng)造性延伸（張敬源，2012）。

1.再現(xiàn)意義

視覺語法中的再現(xiàn)意義對應(yīng)語言中的概念功能。根據(jù)矢量的有無，再現(xiàn)意義可分為敘事再現(xiàn)（narrative representations）和概念再現(xiàn)（conceptual representations）。當(dāng)參與者由矢量連接，表示為對方或者對對方做某事時(shí)，表達(dá)敘事過程。在敘事過程中包含至少一個(gè)矢量，而在概念過程中沒有矢量。矢量在視覺語法中的概念類似于語言系統(tǒng)中的動詞，通常同斜線等表示。根據(jù)矢量和參與者的數(shù)量及種類的差異，敘事過程可進(jìn)一步分為動作過程、反應(yīng)過程及言語和心理過程。在動作過程中參與者有動作者和目標(biāo)之分：矢量的發(fā)出者為動作者，其構(gòu)成矢量的整體或部分；動作行為的對象是目標(biāo)，目標(biāo)在動作過程中可有可無。動作者一般是圖像中最顯眼的參與者，可通過肉眼觀察它在構(gòu)圖中的大小、位置、與背景的對比或者色彩的飽和度等。根據(jù)目標(biāo)的有無，動作過程可分為及物性和不及物性過程。以圖一為例（Mahy & Chamberlain 1985），圖片中有至少四個(gè)參與者：瘦小的男人、手推車、海盜媽媽和彎刀，表達(dá)出多個(gè)動作過程。一個(gè)過程為瘦小的男人推手推車，瘦小的男人為動作的發(fā)出者，即動作者，手推車為動作的對象，是目標(biāo)；一個(gè)過程為海盜媽媽坐在手推車上，海盜媽媽是“坐”這一動作的發(fā)出者，是動作者，手推車是目標(biāo)；還有一個(gè)過程為海盜媽媽舉著彎刀，海盜媽媽是動作者，彎刀為目標(biāo)。在這三個(gè)動作中目標(biāo)現(xiàn)身屬于及物性動作過程。我們仔細(xì)觀察，看到海盜媽媽右手和左腳在空中揮舞著，這是一個(gè)動作過程，動作者為海盜媽媽，而動作目標(biāo)缺失，因而是不及物的動作過程。整幅圖片顯得生動活潑，富有張力，正是由于這些動作過程意義的傳遞，使得兒童閱讀者仿佛看到動態(tài)的畫像，深深吸引他們的目光。

反應(yīng)過程體現(xiàn)的是參與者目光的交流，其矢量由目光表示，與動作過程不同，這里的參與者分別為反應(yīng)者和現(xiàn)象。反應(yīng)者一般為人或類人的動物，用眼觀察事物。而現(xiàn)象則是反應(yīng)者觀察到的人、事物等，也就是被觀察者（Kress & van Leeuwen 2006）。同樣的，反應(yīng)過程分及物性和不及物性。仍以圖一為例，瘦小的男人看向了他的媽媽，瘦小的男人是反應(yīng)者，他的媽媽則是現(xiàn)象，整個(gè)過程是及物的。而從海盜媽媽的角度看，她所看到的現(xiàn)象并未在圖中展示，給讀者留下想象的空間和余地，她的反應(yīng)過程是不及物的。

言語和心理過程中在漫畫中較常見。其矢量的特殊性表現(xiàn)在思考者/說話者的思維/話語和思維氣泡/對話氣泡由傾斜的突出連接起來。這本圖畫書為圖文結(jié)合的一類，因而圖畫中沒有涉及直接的言語和心理過程，而是通過另一模態(tài)——文字語言體現(xiàn)。

與敘事再現(xiàn)相比，概念再現(xiàn)在時(shí)間空間概念上更穩(wěn)定，包含三類過程：分類過程、分析過程和象征過程。在分類過程中，連接參與者的是他們的分類關(guān)系。其中必然有一組參與者扮演從屬角色，而至少一個(gè)參與者扮演統(tǒng)領(lǐng)角色（ibid）而統(tǒng)領(lǐng)角色的“現(xiàn)身”與否，將分類關(guān)系劃分為顯形分析和隱形分析。在隱形分析中，從屬通過構(gòu)圖上的勻稱實(shí)現(xiàn)其平等地位。在分析過程中，參與者被放置在整體——部分的結(jié)構(gòu)當(dāng)中。這個(gè)過程共涉及兩類參與者：一類為載體（整體），另一類為任意數(shù)量的所有屬性（部分）。分析過程在宏觀上可分為結(jié)構(gòu)性分析過程和非結(jié)構(gòu)性分析過程。象征過程與參與者是什么或意味著有關(guān)。由于概念再現(xiàn)在這類圖畫中運(yùn)用較少，受篇幅所限，本文不做詳細(xì)介紹。

2.互動意義

在研究圖像的互動意義之前，我們首先需要區(qū)分兩種參與者：再現(xiàn)參與者（represented participates）和互動參與者（interactive participates）。再現(xiàn)參與者是圖像中所刻畫的人物、場所和事件；互動參與者則是指通過圖像交流的雙方——圖像的繪畫者和觀看者。參與者之間的互動關(guān)系可以分為三類：a. 再現(xiàn)參與者之間的關(guān)系；b. 再現(xiàn)參與者與互動參與者的關(guān)系（互動參與者對再現(xiàn)參與者的態(tài)度）；c. 互動參與者的關(guān)系（通過圖片互動參與者之間對對方或者為對方做了什么）。

接觸、社會距離和態(tài)度是形成互動意義的三個(gè)主要因素。當(dāng)再現(xiàn)參與者的目光投向觀看者時(shí)，作為矢量的目光連接兩者形成接觸。需要說明的是，在這一過程里觀察者的主觀能動性對于互動意義的識讀至關(guān)重要。接觸具有兩種功能：一種為直接向觀看者傳遞信息；另一種構(gòu)成一種圖像的行為。圖像行為包括索求（demand）和提供（offer）兩類。索求就是說圖像對觀看者做出某事。當(dāng)再現(xiàn)參與者的目光與觀看者接觸時(shí)，索求建立一種虛擬的關(guān)系。如圖二（Mahy & Chamberlain 1985）中，瘦小的男人和海盜媽媽是圖片的再現(xiàn)參與者，兩者的目光看向讀者，表達(dá)一種索求的功能。其中海盜媽媽面帶微笑地看向讀者，具有親和力和感染力，她的索求是要同讀者建立一種友好的關(guān)系，拉近同讀者的距離。當(dāng)再現(xiàn)參與者與觀看者無目光交流時(shí)，表達(dá)“提供”的功能，即提供信息內(nèi)容和注視對象。如圖三（ibid）所示，再現(xiàn)參與者海盜媽媽與讀者完全沒有目光的接觸，圖片提供給讀者注視的對象，和海盜媽媽這一人物形象的信息——海盜媽媽正大步前行，擦亮她的老銀槍。

第二個(gè)維度社會距離表達(dá)親密關(guān)系，它與圖像取景的大小有關(guān)，可分為近景、中景和遠(yuǎn)景等，社會距離隨著取景增大而疏遠(yuǎn)。Kress和van Leeuwen對近遠(yuǎn)景做了具體的劃分：近景顯示人物的頭和肩部，任何少于近景的為超近景；中近景顯示人物的腰部以上部位，中景到人物膝部之上，中遠(yuǎn)景顯示整個(gè)人物；遠(yuǎn)景為整個(gè)人及約一半的取景空間，而超遠(yuǎn)景是比遠(yuǎn)景還要更寬闊的空間（Kress & van Leeuwen 2006）。圖四（Mahy & Chamberlain 1985）中，我們可以看到瘦小的男人待在公司里，我們基本可以看到瘦小男人的整個(gè)身影，同時(shí)還有其他五個(gè)人的身影。從取景看是超遠(yuǎn)景，表達(dá)出疏遠(yuǎn)的社會距離，拉遠(yuǎn)了瘦小男人與小讀者的距離，體現(xiàn)在工作中瘦小男人是冷漠的，側(cè)面表達(dá)了作者對瘦小男人帶海盜媽媽去看大海這件事的贊頌之情。

視角表達(dá)再現(xiàn)人物與觀察者的關(guān)系，展現(xiàn)出對圖像參與者、人物等的個(gè)人態(tài)度。從水平的維度看，正面直視讓觀看者仿佛置身于再現(xiàn)參與者之間，側(cè)面斜視讓觀看者脫離再現(xiàn)情景之外，站在旁觀者的位置上。從垂直的維度看，如果圖像描述的是仰視角度，就是說圖像參與者被俯視，那么參與者的地位低于觀察者，反之高于觀察者，如果圖像為平視角度，那么給人以兩者地位平等的感覺。在圖五中，圖像的再現(xiàn)參與者包括瘦小的男人、海盜媽媽和一只彩色的鳥。從水平角度看，這幅圖為正面直視的角度，拉近讀者與人物的距離，仿佛參與到他們歡快的舞蹈當(dāng)中，讓兒童感受到他們此刻的愉悅和快樂。從垂直角度看，再現(xiàn)人物與觀察者處于同一水平線，兩者地位平等，進(jìn)一步使得兒童同兒童產(chǎn)生親切感。

3.構(gòu)圖意義

構(gòu)圖意義指整體的布局，是通過整體構(gòu)圖將再現(xiàn)因素和互動因素相聯(lián)系，從而形成整體的意義（Kress & van Leeuwen 2006）。其實(shí)現(xiàn)方式包括信息值、凸顯和框架，這三者是相互聯(lián)系、相互作用的。其中信息值可以通過元素的空間位置，如上下、左右等體現(xiàn)出來。凸顯是指各個(gè)元素吸引觀察者注意力的程度，一般通過觀察元素位于前景或背景地位、相對大小及色調(diào)的對比等實(shí)現(xiàn)?？蚣芡ㄟ^框架手段如分割線、框架線等的運(yùn)用告訴觀察者圖像之間的關(guān)系，或?yàn)橥环鶊D片，或各位一幅圖片。從水平坐標(biāo)看，在習(xí)慣從左往右書寫的文化中左邊的信息為已知信息（given information），右邊的信息為新信息（new information）。從垂直坐標(biāo)看，圖像的上面多帶有情感上的號召，告訴我們事物理想的狀態(tài)。而圖片的底部則多提供事實(shí)信息，告訴我們事物的現(xiàn)實(shí)狀態(tài)。中間位置一般為整個(gè)構(gòu)圖的中心和焦點(diǎn)，而邊緣位置的圖像多為重復(fù)或近似的元素，使得圖像呈現(xiàn)對稱狀態(tài)。如圖五所示，圖像具有多種元素，如海邊的沙灘、沙灘中的螃蟹、石子、海盜媽媽、瘦小的男人和彩色的鳥。而海盜媽媽、瘦小的男人和彩色的鳥無疑是圖像的前景，因?yàn)槠湮挥趫D片較為中心的位置，色彩突出、濃郁。而沙灘、螃蟹、石子等則是背景，位于邊緣位置，顏色淺淡。整幅圖像雖然沒有明確的框架線，但通過與周圍的留白對比，標(biāo)明圖像為同一整體，而非分裂的。

四、結(jié)語

本文對當(dāng)前國內(nèi)外多模態(tài)話語分析和Kress和van Leeuwen的視覺語法研究的主要觀點(diǎn)進(jìn)行扼要整理、分析，通過對圖畫書The Man Whose Mother Was a Pirate進(jìn)行多模態(tài)分析，發(fā)現(xiàn)他們的視覺語法理論雖有不完美之處，但就目前而言仍是解釋圖像意義的最有力工具。運(yùn)用該理論一方面可以使得圖畫書的作者更好地呈現(xiàn)思想和審美，同時(shí)為讀者欣賞圖畫書提供更開闊的視角。由于篇幅限制，本文對其中的概念過程、情態(tài)等沒有做詳盡闡述。在之后的研究中，將就這兩部分做更詳盡的研究。

參考文獻(xiàn)：

[1]Kress， G & Leeuwen， T. v. Reading Images： The Grammar of Visual Design[M]. Routledge，2006.

[2]Mahy， M & Chamberlain， M. The Man Whose Mother Was a Pirate [M]. Orion Childrens Books，2013.

[3]OToole， M. The Language of Displayed Art [M]. Taylor & Francis Ltd，2010.

[4]張德祿. 模態(tài)話語分析綜合理論框架探索[J].中國外語，2009（1）：24-30.

[5]張敬源，賈培培. 關(guān)于視覺語法的幾點(diǎn)思考[J].當(dāng)代外語研究，2012（3）：38-42.