劉　純

（中南民族大學 外語學院，湖北 武漢 430074）

?

多模態(tài)話語觀照下的視覺語法與視覺敘事——以一則敘事型廣告為例

劉純

（中南民族大學 外語學院，湖北 武漢 430074）

摘 要：視覺語法理論被廣泛認為是多模態(tài)話語分析的主流理論框架。文章首先以一則敘事型廣告為語料， 在視覺語法框架下對其進行多模態(tài)話語分析，其分析結果直觀地反映該理論中所存在的一些問題；然后引入視覺敘事理論，并在該理論框架下對同一語料進行第二次分析；最后通過兩次分析結果的對比，闡明視覺敘事理論的相對優(yōu)勢，并歸納出相應結論。

關鍵詞：多模態(tài)；話語；視覺敘事；視覺語法

多模態(tài)話語分析產生于上世紀90年代，隨科技進步而得以長足發(fā)展：O’Toole（1994）對三維建筑物進行過多模態(tài)分析；Kress和van Leeuwen（1996）將Halliday功能語法三大元功能延伸至視覺交際模態(tài)中，構建了視覺語法；van Leeuwen和Jewitt（2001）將多模態(tài)話語分析延伸到人類學、心理治療、民族志及影視作品等領域[1]。

國內多模態(tài)話語研究處于起步階段，李戰(zhàn)子（2003）、胡壯麟（2007）、朱永生（2007）、張德祿（2009）、馮德正（2011）等在構建理論框架方面卓有貢獻，此外諸多研究者在各類語料分析方面也頗有建樹。

縱觀多模態(tài)話語分析領域，主流理論框架為Kress 和 van Leeuwen（1996）的視覺語法理論，其應用性研究不勝枚舉，但對其局限性的研究較為鮮見。本文首先在視覺語法理論框架下分析一則2015年戛納廣告節(jié)的平面金獎作品[2]，直觀地反映該理論在實際語料分析方面的一些問題；然后引入視覺敘事理論，在該理論框架下對同一作品進行二次分析，根據分析結果對比，闡述其相對優(yōu)勢性；最后歸納得出結論。

一、本文所選語料

（一）多模態(tài)話語范疇中的廣告類型

談及廣告類型的劃分，黃國文（1997）曾從語篇分析角度，依據廣告文本的體裁與風格，將廣告分為敘事型、證言型、描述型和對話型。隨著對視覺圖像的日益關注，美國藝術史家Mark D. Fullerton（2004）曾在Greece Art一書中將視覺圖像分為敘事型和象征型。綜合廣告文本和圖像的分類，可將現代平面廣告在多模態(tài)話語范疇中劃分如表1。若圖像或文本是敘事型，即為敘事型廣告，因此8種廣告類型中5種為敘事型，3種為非敘事型，可見敘事型廣告所占比例較高。無論是廣告手段還是目的，廣告商還是受眾，廣告效果還是藝術價值，敘事型廣告的接受度較高。從平面媒體、電視媒體到新銳媒體，敘事型廣告都是主流類型。

（二）語料介紹

本文以2015年戛納廣告節(jié)平面類金獎作品——法國莫城戰(zhàn)爭博物館廣告為語料，包括三幅連續(xù)圖像；其中圖像元素為一戰(zhàn)中首次使用的重機槍、手榴彈和大口徑巨炮彈；文字部分呈縱向詩行排列。依據上述廣告類型劃分標準，該廣告屬于敘事型廣告。

表1　多模態(tài)話語范疇中的敘事型廣告

圖1　重機槍

圖2　手榴彈 　

圖3　大口徑巨炮彈

二、視覺語法框架下的語料分析

（一）視覺語法理論

Kress和van Leeuwen（1996）在Reading Images: The Grammar of Visual Design中首次提到視覺語法，并仿效功能語法語言三大元功能提出再現意義、互動意義和構圖意義（見表2）：

表2　系統(tǒng)功能語法與視覺語法的理論框架對照

（二）語料分析

在視覺語法框架下對本文所選廣告的多模態(tài)話語分析見表3。

表3　基于視覺語法框架的語料分析

再現意義方面，“重機槍”、“手榴彈”和“大口徑巨炮彈”三種武器屬于概念意義，象征第一次世界大戰(zhàn)的存在性及災難性。

互動意義方面，以近鏡頭客觀提供三種武器的信息；以低情態(tài)畫面客觀低調地再現第一次世界大戰(zhàn)；以正面直觀平視的視角，拉近與觀看者的距離，使其以平等心態(tài)融入到陰郁濃重的色彩所營造的戰(zhàn)爭環(huán)境當中，從而達到互動目的。

構圖意義方面，圖文無分割，是個整體；武器在圖像中心，尺寸較大，或偏左，或偏上，因此是主導信息，已知信息，強勢地傳遞戰(zhàn)爭信息；文字在圖像邊緣，尺寸較小，或偏右，或偏下，為輔助信息，新信息，負責詮釋，使觀看者接受圖像信息后，再由文字引發(fā)共鳴。

三、語料分析所反映的問題

根據上文語料分析不難發(fā)現：

（1）再現意義方面，視覺語法解讀了三種武器各自蘊含的信息，但本廣告作為一個整體旨在傳達更復雜的內涵與情感，絕非三幅圖像含義的簡單疊加或羅列，對此該理論框架無法深入挖掘。

（2）互動意義方面，視覺語法認為本廣告圖像在“提供”信息，因為武器與觀看者沒有視線接觸。其實本廣告并非一味“提供”信息，而旨在 “索取”觀看者的心理共鳴與情感認同等，在此“提供”和“索取”發(fā)生了偏差。

（3）構圖意義方面，視覺語法認為武器是主要信息，已知信息，而文字是次要信息，輔助信息。但實際上，文字雖在視覺上所占比例較小，位置也并未居中，但其深層含義較之武器有過之而無不及。

上述問題雖反映于一個廣告案例中，但其存在性不容忽視。關于視覺語法的種種爭議，John A. Bateman(2012)和張敬源教授（2012）都曾有所探討，該理論亟待新的補充與擴展。

四、視覺敘事框架下的語料分析

（一）視覺敘事理論

Reading Visual Narratives: Image Analysis of Children’s Picture Books是Clare Painter，Jim Martin與Len Unsworth三位著名系統(tǒng)功能語言學者歷經十年的嘔心之作，是自Kress和van Leeuwen的視覺語法以來對視覺圖像分析理論最顯著的發(fā)展，是該理論框架的完善[3]。馮德正（2015）教授凝練其中主要觀點，建構了視覺敘事理論框架（見表4）。

表4　系統(tǒng)功能語法、視覺語法和視覺敘事的理論框架對照

（二）語料分析

在視覺敘事框架下對本文所選廣告的多模態(tài)話語分析如表5。

表5　基于視覺敘事框架下的語料分析

概念意義方面，三種武器通過整體表征，以相同情境構建戰(zhàn)爭屬性，且位置相鄰，彼此延續(xù)，這種視覺與功能的并列和延續(xù)如同并列句，既重復強化信息，也遞進升華信息：

（1）從“重機槍”到殺傷力更強的“手榴彈”，再到凡爾登戰(zhàn)役中首次使用的“大口徑巨炮彈”，武器的并列除了構建戰(zhàn)爭屬性外，還凸顯“武器殺傷力逐漸增強”、“災難性越來越大”、“對人類摧殘越來越深”等社會意義；

（2）重機槍、手榴彈和大口徑巨炮彈是一戰(zhàn)所用武器之代表，大炮、坦克、轟炸機、潛艇和化學武器等也都是首次用于一戰(zhàn)后得以迅猛發(fā)展；

（3）武器是社會文明與科學技術發(fā)展的標志，但正是這一人類科技與智慧的結晶反而在戰(zhàn)爭中起到“關鍵性”作用，反而讓人類自己處于水生火熱之中，讓一戰(zhàn)成為人類文明史上的噩夢，這無疑是對人類文明與戰(zhàn)爭意義的反諷。

人際意義方面，陳列型畫面真實再現武器屬性，色調近乎黑白，濃重低沉，色彩單一，旨在與觀看者保持冷漠疏遠的距離，建構沉重壓抑的情感，引導觀看者冷靜克制地旁觀、回顧和審視這場戰(zhàn)爭，重溫浩劫的同時，感慨戰(zhàn)爭殘酷、人民痛苦，從而更加珍惜和維護來之不易的和平環(huán)境，以此達到互動目的。

組篇意義方面，圖文融合，通過相鄰位置關系擴展意義，投射思維，增強意義：

（1）圖1的文字貌似介紹“重機槍”的使用年份和功能，其中“一分鐘能產生450個孤兒”即“一分鐘能摧毀450個家庭”之意，反映死難者無數、民不聊生的景象，“450名孤兒”的信息深入人心，讓觀看者對重機槍、對戰(zhàn)爭不寒而栗；

（2）圖2的文字以“解剖課”暗喻死傷者被開膛破肚、血流成河之景象，增強了戰(zhàn)爭的血腥和殘忍之含義，讓人唏噓不已；

（3）圖3的文字以數字反映一戰(zhàn)最殘酷之戰(zhàn)役——凡爾登戰(zhàn)役中所投巨炮彈的數量之多，密度之高，意義之巨，尤其是“你在上戰(zhàn)場前就已被炸死了”這一句，看似“不可能”在戰(zhàn)場上成為“可能”，強調戰(zhàn)爭的殘忍程度超乎想象。

此外，文字部分還有些地方值得注意：

（1）文字顏色和背景顏色幾乎一樣，僅淺一個色調，貌似從背景中浮現、凸透出來，增強可信度和歷史厚重感；

（2）文字部分全是英文大寫，旨在形成視覺沖擊，強調和刻畫含義；

（3）文字部分多為不完整結構，名詞化現象除了凸顯語言簡潔精煉之外，還以一種“碎片式”的行文風格進行含義上的反諷，“完整”建構從武器到戰(zhàn)爭對人類肉體和精神的摧殘；

（4）文字部分均呈詩行般排列，第一個信息點最短（圖1“1914”，圖2“WW1”和圖3“Verdun”），第二個信息點稍長（圖1“France put into service”，圖2 “Probably the most brutal anatomy class in the world.”和圖3“26 million shells or 6 per m2.”），第三個信息點最長，信息量與內涵最豐富（圖1“The first machine capable of producing 450 orphans a minute.”和圖3 “Mathematically speaking, even before the battle you were already dead.”）。獨特的建行，匠心獨運，口語節(jié)奏自然轉換成視覺節(jié)奏，再轉換成思維節(jié)奏，讓觀看者充分感受到“憤怒、控訴且渴望共鳴”，而這些是圖文內容本身無法表現得淋漓盡致的。

五、視覺語法與視覺敘事分析結果對比

（一）對本文所選語料的兩次分析結果對比

在視覺語法與視覺敘事框架下對本文所選語料進行兩次分析，其分析結果見表6。

可見，視覺敘事理論在多幅連續(xù)圖像關系及其含義解讀、圖像與觀看者的互動效果、圖文關系傳達含義等方面進行了有益補充和擴展，更適合現代社會視覺圖像迅猛發(fā)展的宏觀語境及多模態(tài)話語分析的實際需求。

（二）對其它類型廣告的分析結果對比

根據上文廣告類型的劃分，象征型圖像結合證言型、描述型或對話型文本的廣告屬于非敘事型廣告，它們在視覺語法與視覺敘事理論框架下呈現各自的特點。由于篇幅有限，無法對每種類型的廣告一一分析，因此對非敘事型廣告在兩種理論框架下可能呈現的異同點作簡要闡述（見表7）。

表6　本文所選語料的兩次分析結果對比

表7　非敘事型廣告在視覺語法與視覺敘事框架下的異同

象征型圖像“不是敘述某個事件，只是代表某種物體或現象”（Mark D. Fullerton，2004），因此“代表或呈現”是其特點：

（1）在視覺語法框架的再現意義方面，象征型圖像屬于概念意義的象征過程；在互動意義方面，屬于接觸方面的提供類圖像；而考察圖像呈現、視角和色彩的社會距離、態(tài)度和情態(tài)，以及考察圖文比例與位置關系的構圖意義方面，有待結合具體廣告進行分析。

（2）在視覺敘事框架的概念意義方面，象征型廣告的表征形式和圖像數量不盡相同，因此無論是考察事物性質的人物表征，還是考察多幅連續(xù)圖像間的事件關系或背景關系，都需結合具體廣告分析；在人際意義方面，象征型圖像屬于旁觀性互動的聚焦模式，至于聚焦系統(tǒng)中的視角，以及考察情感互動與色彩的情感系統(tǒng)與氛圍系統(tǒng)，也需結合具體廣告分析；在組篇意義方面，每個廣告的圖文布局各有特點，因此圖文間的含義增補或含義相悖無法確定，但根據證言型、描述型和對話型廣告的文本特點，對可能呈現的圖文關系分析如下：

①證言型廣告有“證明書”的特點，是權威人士或知名人士對商品（或服務等）的鑒定、評價、贊揚、使用和見證等。這里所說的權威人士和知名人士既包括實際生活中的真人, 也包括虛構的人（黃國文，1997）。證言型文字往往是直接引語或間接引語，利用“思維慣常定勢的權威定勢（黃國文，1997）”達到廣告目的，因此在組篇意義方面圖文多為融合布局，但具體是投射型融合，還是擴展型融合，有待結合具體廣告來分析圖文相對位置、語泡或矢量等因素。

②描述型廣告以解釋說明商品性能或服務特點為主，圖文往往各占一部分空間，因此在組篇意義方面呈互補性布局，但具體是對稱性互補，還是重要性互補，是相鄰位置關系，還是分隔位置關系，有待結合具體廣告分析。

③對話型廣告通過廣告商與消費者或消費者間的對話來凸顯商品或服務的優(yōu)越性，拉近與消費者的距離，增強廣告信賴度。該類型廣告多為直接引語，在組篇意義方面圖文呈融合性布局，至于具體圖文位置、語泡和矢量等情況，也需結合具體廣告進行分析。

六、結語

本文所選語料屬于主流廣告類型，具有普遍性和代表性，因此可將本文廣告?zhèn)€案的兩次分析對比和其它類型廣告的分析對比，歸納總結至以視覺圖像為特點的多模態(tài)話語領域中：

（1）單幅圖像無法滿足當今信息傳達的需要，多幅連續(xù)圖像逐漸成為圖像時代的主流形式。視覺語法雖能分析前者，但無法透徹分析后者。而視覺敘事可通過分析連續(xù)圖像的連接關系與方式，使其整體含義得以關注和剖析。

（2）視覺語法框架下“提供”與“索取”信息在實際語料分析中可能發(fā)生偏差。究其原因，是因為該理論的“提供”和“索取”概念是套取Halliday功能語法的“給予”和“求取”概念（胡壯麟，2005）。后者研究對象是語言文字，而視覺圖像有其特殊性，因此“提供”和“索取”的分類不能充分概括圖像和觀看者目光接觸中的多種復雜情況（李戰(zhàn)子，2003）。而視覺敘事理論能夠摒棄這個方面，轉而從圖像與觀看者的關系——聚焦系統(tǒng)，觀看者的情感介入情況——情感系統(tǒng)及圖像所營造的氛圍——氛圍系統(tǒng)來考察互動情況，更適合在當今圖像時代客觀地反映多模態(tài)話語的真實含義，也更為人們所接受。

（3）視覺語法框架中對“顯著性”和“信息值”的闡述固化了圖文關系。實際語料分析中，圖像元素所處的位置與其內涵間并無絕對關系，其含義解讀還要考慮社會習俗、文化背景等，如某些視覺圖像中的圖文含義不一致、擴展或相悖；再如Darrida解構主義顛覆傳統(tǒng)的中心，而關注邊緣等。而視覺敘事的圖文版面布局框架，從圖文融合性和互補性出發(fā)，根據個人屬性、地域屬性和社會屬性等靈活考量圖文關系及意義。

參考文獻：

[1] 張敬源，賈培培. 關于視覺語法的幾點思考[J]. 當代外語研究，2012，(3)：38-42.

[2] 佚名. 2015戛納廣告節(jié)平面金獎作品合集[EB/OL]. http://www.a.com.cn/info/Creative/pm/2015/0623/283138.html, 2015-06-24.

[3] 馮德正. 視覺語法的新發(fā)展：基于圖畫書的視覺敘事分析框架[J]. 外語教學，2015，(5)：23-27.

[4] Kress G.,T.van Leeuwen. Reading Images: The Grammar of Visual Design[M]. London: Routledge, 1996.

[5] 顧曰國. 論言思情貌整一原則與鮮活話語研究——多模態(tài)語料庫語言學方法[J]. 當代修辭學，2013，(6)：1-19.

[6] 黃國文. 對“胡—朱與Halliday訪談”的解讀[J]. 中國外語，2010，(11)：25-30.

[7] 黃國文. 廣告語篇中的敘事性正文[J]. 外語研究, 1997，(3)：11-15. 41.

[8] 黃國文. 廣告語篇中的證言式話語[J]. 中山大學學報（社科版），1997，(4):119-125.

[9] 李戰(zhàn)子. 多模態(tài)符號學：理論基礎，研究途徑與發(fā)展前景[J]. 外語研究，2012，(2):1-8.

[10] 馬克·D·富勒頓. 希臘藝術[M]. 李娜，謝瑞貞譯. 北京：中國建筑工業(yè)出版社，2004. 101.

[11] 張德祿. 論多模態(tài)話語設計[J]. 山東外語教學，2012，(1)：9-15.

[12] 吳安萍，鐘守滿. 視覺語法與隱喻機制的多模態(tài)話語研究[J]. 外語與外語教學，2014，(3)：23-28.

[13] 韋琴紅. 論多模態(tài)話語的整體意義構建——基于一個多模態(tài)媒體語篇的話語分析[J]. 天津外國語學院學報, 2008, (11):16-21.

[14] 朱永生. 多模態(tài)話語分析的理論基礎與研究方法[J]. 外語學刊，2007，(5): 82-86.

Visual Grammar and Visual Narrative in the Multimodal Discourse——A Case Study of a Narrative Advertisement

LIU Chun
(Department of Foreign Languages, South-central University for Nationalities, Wuhan Hubei 430074, China)

Abstract:Visual Grammar, the main approach of visual images analysis in multimodal discourse analysis, establishes the theory structure of Representing Meaning, Interacting Meaning and Constructing Meaning, according to the three meta-functions of language in Functional Grammar. A narrative advertisement will be analyzed in this paper as the language material under the theory structures of Visual Grammar and Visual Narrative, through which some conclusions will be arrived at to illustrate the disadvantages of Visual Grammar and the advantages of Visual Narrative in the complex visual narratives, based on the comparison of the results of analysis.

Key words:multimodal; discourse; visual narratives; visual grammar

作者簡介：劉純（1981-），女，講師，碩士，研究方向：話語分析.

中圖分類號：H312

文獻標識碼：A

文章編號：2095－414X(2016)01－0051－06