田文杰，吳琦

（空軍工程大學(xué)理學(xué)院，陜西西安，710051）

多模態(tài)話語分析視角下MV語篇的圖像意義構(gòu)建——以MV《唐詩》為例

田文杰，吳琦

（空軍工程大學(xué)理學(xué)院，陜西西安，710051）

近年來，功能語言學(xué)與語篇分析的多模態(tài)轉(zhuǎn)向使多模態(tài)話語分析成為話語分析研究的新手段、新熱點。MV是含有多元符號且需要多種感官互動的多模態(tài)語篇，是用多模態(tài)語篇構(gòu)建意義的典型范例之一。從視覺模態(tài)出發(fā)，運用Halliday的系統(tǒng)功能語法以及VanLeeuwen的視覺語法綜合分析畫面要素在意義構(gòu)建中的作用，探討多模態(tài)話語分析手段在MV語篇意義構(gòu)建中的作用與可行性。

多模態(tài)話語分析；MV語篇；系統(tǒng)功能語法；視覺語法；意義

話語分析由來已久，但是之前的研究過多關(guān)注語言本身，忽視了語言之外其他要素的作用與意義。在此基礎(chǔ)上，多模態(tài)話語分析應(yīng)運而生，“多模態(tài)話語主要是強(qiáng)調(diào)運用聽覺、視覺、觸覺等多種感官，通過語言、畫面圖像、聲音以及動作等多種手段和符號進(jìn)行交際的現(xiàn)象?！保ê鷫痒?，2007）MV語篇涉及視覺、聽覺等一系列模態(tài)，本文將從多模態(tài)話語分析的視角對MV《唐詩》中的圖像意義進(jìn)行分析，以便更好地理解語篇傳達(dá)的意義以及探索多模態(tài)話語分析的可行性。

一、多模態(tài)話語分析簡介

自Harris于20世紀(jì)50年代提出話語分析（discourse analysis）研究以來，學(xué)者們在此方面做了很多研究，提出了許多話語分析的理論與方法，比如流行的有批評性話語分析（critical discourse analysis）和積極話語分析（positive discourse analysis），研究了話語的內(nèi)在規(guī)律性以及與意識形態(tài)間的關(guān)系。隨著研究的深入，針對之前研究中僅僅關(guān)注語言層面的局限性，基于Halliday的系統(tǒng)功能語言學(xué)，多模態(tài)話語分析在20世紀(jì)90年代應(yīng)運而生，突破了話語研究在社會文化和心理認(rèn)知之間關(guān)系的局限性，同時關(guān)注了語言、音樂、圖像等諸多符號系統(tǒng)。多模態(tài)話語主要是強(qiáng)調(diào)運用聽覺、視覺、觸覺等多種感官，通過語言、畫面圖像、聲音以及動作等多種手段和符號進(jìn)行交際的現(xiàn)象。（胡壯麟，2007）其意義在于它可以將語言和其他諸如圖像、音樂、顏色等符號系統(tǒng)整合起來，關(guān)注多種符號系統(tǒng)共同作用產(chǎn)生的效果，使話語意義的解讀更加全面和準(zhǔn)確。本文將在多模態(tài)話語分析的框架下，著眼視覺模態(tài)，綜合運用Halliday的系統(tǒng)功能語法以及Van Leeuwen的視覺語法，分析富有中國風(fēng)的音樂視頻《唐詩》中畫面要素及其在意義構(gòu)建中的作用，深入探討多模態(tài)話語分析手段在MV語篇意義構(gòu)建中的作用與可行性。

二、音樂視頻及MV《唐詩》簡介

音樂視頻，也叫音樂短片（Music Video），是指與音樂（通常大部分是歌曲）搭配的短片，是把對音樂的解讀同時用電視畫面呈現(xiàn)的一種藝術(shù)類型。音樂視頻主要依據(jù)音樂作品所提供的表現(xiàn)內(nèi)涵和詩歌般的意象進(jìn)行視覺形象設(shè)計，確立畫面的類型特征和情境氛圍，使音樂與畫面在運動著的時空中相互滲透、相互作用，并以鮮明的視聽結(jié)構(gòu)運用畫面語言最大程度地表現(xiàn)音樂作品。MV中涉及到了聽覺和視覺兩種模態(tài)，也有語言、音樂、畫面等多種符號系統(tǒng)，通過鏡頭畫面、歌詞與音樂的完美結(jié)合，達(dá)到音樂視頻中的完整意義構(gòu)建。

《唐詩》是央視音樂頻道電視節(jié)目《One Journey One Song一次旅行一首歌》的一期節(jié)目。歌詞講述了唐朝一位外國人不遠(yuǎn)千里來到長安尋找詩人李白的故事。在這個MV中，作者用英文的歌詞詮釋著極具中國風(fēng)的曲調(diào)與畫風(fēng)，中西元素的碰撞使得唐朝曾經(jīng)的浩瀚文化與厚重底蘊展示在聽眾面前，詩與人、情與景，從淺吟輕唱到恢宏壯闊，詞曲如詩如畫。

三、對MV《唐詩》的多模態(tài)話語分析

多模態(tài)話語分析是指綜合運用視覺、聽覺、觸覺等多種模態(tài)種類，通過聲音、圖像、色彩等多種形式和符號系統(tǒng)進(jìn)行交際的現(xiàn)象。張德祿在2009年提出了多模態(tài)話語分析的綜合理論框架，其模態(tài)形式及關(guān)系如下圖所示：

MV作為一種特殊的藝術(shù)表現(xiàn)形式，其文字、音樂、畫面三要素之間的關(guān)系并非以畫面為主導(dǎo)推動情節(jié)發(fā)展及為了畫面或劇情的需要配以合適的文字或音樂，而是音樂（聽覺模態(tài)）與文字（兼有聽覺模態(tài)和視覺模態(tài)）先行，畫面起輔助作用，先有成型的歌曲，后有畫面的存在，這點與電影或者廣告有所不同。但是畫面在MV中所起的作用也并非可以忽略不計，它在意義構(gòu)建方面也有其獨特而重要的功能。

對于MV中的畫面分析，我們將采用Kress和Van Leeuwen提出的視覺語法。視覺語法是將系統(tǒng)功能語言學(xué)中的元功能理論擴(kuò)展到視覺圖像上，構(gòu)建視覺圖像的三大元功能：再現(xiàn)意義（representational meaning）、互動意義（interactive meaning）和構(gòu)圖意義（compositional meaning）。下面我們將利用視覺語法對該MV中畫面在意義構(gòu)建中所起的作用加以深入分析。

圖2　視覺語法功能框架

（一）再現(xiàn)意義

與語言的概念功能相對應(yīng)的概念是再現(xiàn)意義，再現(xiàn)意義是表示圖像所描述的人、事、地之間關(guān)系的方式，分為敘事性和概念性兩大類。

根據(jù)Kress和Van Leeuwen的觀點，敘述再現(xiàn)包括動作過程（action process）、反應(yīng)過程（reactional process）和言語過程（speech process）。在動作過程中，矢量的發(fā)出者即動作者（actor），矢量指向的參與者是目標(biāo)（goal）。當(dāng)矢量不再由動作而是由眼神或者目光構(gòu)成時，就形成了反應(yīng)過程。由于反應(yīng)過程主要體現(xiàn)的是參與者眼神的交流，所以反應(yīng)過程中的參與者不再是動作者和目標(biāo)，而是反應(yīng)者（reactors）和現(xiàn)象（phenomena）。在該長度為5 分23秒的MV中，按畫面可以分為157個小鏡頭，其動作過程、反應(yīng)過程和言語過程出現(xiàn)的次數(shù)分別為：11次、32次和114次。由于在MV中，畫面的推進(jìn)過多依賴于音樂的發(fā)展，言語過程占絕大多數(shù)比例不難理解，同時，作為MV宣傳的一種策略，鏡頭頻繁地切換于錄音棚內(nèi)歌手的演唱空間和敘事畫面之間，在這里涉及了過多的反應(yīng)過程。MV的第37秒第12個鏡頭畫面，此時歌詞演唱至“Mum said it’s called Tang”，畫面上出現(xiàn)了一個戴著黑框眼鏡的外國青年（主人公），身穿休閑裝，脖子上掛著相機(jī)，眼神凝視鏡頭，雖然在畫面中沒有任何文字描述該感知者的內(nèi)心活動，但他的想法從他的眼神中已然流露了出來，在他的眼神中看到了渴望與向往，顯示了主人公對這次探訪之旅的期待，這是一個典型的反應(yīng)過程。

圖3　“再現(xiàn)意義”結(jié)構(gòu)圖

與敘事再現(xiàn)不同的是，概念再現(xiàn)則表示更為穩(wěn)定的意義關(guān)系，分為分類過程、分析過程和象征過程三類。其中象征過程指的是關(guān)于參與者是什么或者意味著什么。舉個例子，以第30句歌詞為例，“Ah I see the Emperor through the street”（帝過千人迎），在歌手演唱該句時，從3分33秒到3分42秒共9秒鐘的時間，其中畫面由演唱空間切換至西安南門的入城儀式，再回切到演唱空間，再切到永寧門的城門，然后又回切到演唱空間，最后切換至立在西安城墻上的戰(zhàn)鼓。在這句歌詞的演唱中，從畫面的角度來看，這是一個典型的象征過程，其中永寧門、入城儀式等多個象征物的存在使該句歌詞乃至整首歌曲的表達(dá)更加有力，更加豐滿，象征了古都的悠久歷史，也印證了該首MV為大唐盛世而歌而和的主題。

（二）互動意義

互動意義是關(guān)于圖像的制作者、圖像所表征的事物（包括人）和圖像的觀看者之間的關(guān)系，同時提示觀看者對表征事物應(yīng)持的態(tài)度（Kress，G& Van Leeuwen，1996）。圖像的互動意義主要依靠接觸、社會距離、權(quán)勢關(guān)系和情態(tài)來實現(xiàn)。

接觸指的是圖像中參與者通過目光與觀看者建立起來的一種關(guān)系，可以分為“提供”和“索取”兩類。很多圖像表現(xiàn)畫框中的人直接看著觀看者，Kress和Van Leeuwen把這種圖像叫做“索取”類圖像，即圖像中的人似乎在向觀看者索取什么。在MV的第2分47秒到2分48秒，映入眼簾的是一位在小雨中吹笙的老人，眼睛直視鏡頭，這就是一幅“索取”類圖像，老人的眼神堅毅又富有思想，其“索取”的是一種認(rèn)可與期待。在3分03秒，一位美女遙遙指著兵馬俑博物館的2號坑，這就是一個“提供類”圖像，給觀眾提供了新的信息，同時配合了整個情節(jié)的推進(jìn)。

圖像中參與者與觀看者之間的親疏關(guān)系取決于社會距離，社會距離通常與鏡頭取景的框架大小有關(guān)系。在這個MV里，鏡頭時近時遠(yuǎn)，比如在第8秒，畫面里出現(xiàn)的是大明宮丹鳳門的正面全景，取景單一，在固定的鏡頭里該景觀便顯得小一些，與此相反的是，在MV的第1分42秒，全部鏡頭對焦于一堆線裝版古書，取景內(nèi)容雖然少，但是突出了該內(nèi)容，拉近了距離。

至于權(quán)勢關(guān)系，它是通過視角來區(qū)分的，表達(dá)參與者所持有的主觀態(tài)度。從水平的視角來看，正面角度給觀看者帶來的是感同身受，還是以第13句歌詞為例（Ah the kids read in morning），在MV的第1分27秒，從正面角度拍攝了兒童與主人公的見面，也使觀眾融入其中。與正面角度不同，傾斜視角的拍攝可以使觀眾感覺自己是作為一個旁觀者的視角出現(xiàn)的，第2分12秒，兩位游客在大明宮博物館內(nèi)交談，用側(cè)拍的角度體現(xiàn)了第三方的視角，與正面角度拍攝有所區(qū)分。除了水平視角，垂直視角也是權(quán)勢關(guān)系的一個方面，在垂直視角里，仰視代表著參與者處于強(qiáng)勢地位，俯視代表觀看者的強(qiáng)勢。在MV的第1分21秒，閃出了佇立在大雁塔南廣場上的玄奘雕塑，用仰拍的手法顯示了觀看者的弱勢地位，也表達(dá)了對歷史名人的尊重，并且在MV里多次出現(xiàn)仰視手法的拍攝，主要表達(dá)的也是對悠久歷史的尊重以及對名勝古跡的向往。在第3分40秒，主人公在城墻上俯視繼續(xù)觀看南門入城儀式的人群，在這個視角里，俯視并非完全體現(xiàn)觀看者也就是主人公的強(qiáng)勢，而是與前面平視視角相結(jié)合，使西安南門的入城儀式展現(xiàn)得更加立體。

互動意義的最后一個維度就是情態(tài)，圖像分析中的情態(tài)指的是對世界所作出陳述的真實度或者可信度。Kress&van Leeuwen以八個視覺標(biāo)記為基礎(chǔ)，探討了圖像中情態(tài)的現(xiàn)實意義量值的高低，即色彩飽和度、色彩區(qū)分度、色彩協(xié)調(diào)度、語境化、表現(xiàn)、深度、照明和亮度。我們將簡單指出幾個主要的因素進(jìn)行分析。這首MV的主題是為大唐盛世而歌而和，在整首MV中，色彩以暖色調(diào)為主，主要就是黃色和紅色，偶爾穿插部分綠色，不過無論是哪種顏色，其飽和度相對較低，整體色彩的營建略顯柔弱，但又碰巧與歌手演唱空間灰黃的背景相協(xié)調(diào)，不至于在鏡頭頻繁切換時過于突兀。具體來看，在《唐詩》中，無論是白天第2分24秒時城墻灰白的墻壁，還是夜晚第4分01秒時高家大院大紅燈籠的色彩；也不論是自然景觀第1分13秒遠(yuǎn)方夕陽西下前絢麗的云彩，還是人文景觀第2分50秒斜拍的丹鳳門，整體上都是昏黃的色調(diào)，充分展示了盛世文明下飽經(jīng)滄桑的長安城以及與之緊緊相隨的悠久歷史。

（三）構(gòu)圖意義

與語言的語篇功能相對應(yīng)的是圖像的構(gòu)圖意義，它指的是圖像整體構(gòu)成，即表現(xiàn)性與互動性元素彼此關(guān)系的方式，構(gòu)圖意義主要是靠其圖文關(guān)系、取景、突出度以及信息值等機(jī)制得到實現(xiàn)。

圖文關(guān)系指的是圖像與文字之間的相對關(guān)系。以MV中第31個鏡頭為例，第1分17秒背景的畫面是三個小孩單臂舉起，一個搭在一個肩膀上統(tǒng)一向左望去，整體顏色是夜幕已悄悄降臨的黑綠色，在這里該畫面所要配合的歌詞是“Dad’s afraid I was too young.”（父恐吾尚青）。這個畫面，其圖像和文字處理的比較和諧，圖像用三個小孩向左望去貌似期待著什么的畫面?zhèn)让骟w現(xiàn)了作為父母對孩子遠(yuǎn)走別國的擔(dān)心。圖文相互補(bǔ)充和延伸，意義上體現(xiàn)一種邏輯銜接，實現(xiàn)了這個圖像和文字的信息銜接。

再說取景和突出度，取景是指用架構(gòu)的方法，通過劃分框線來連接或切割影像中的元素，以象征它們在某些方面彼此相屬與否。突出度則指的是元素的設(shè)計，可以通過前景或者背景、相對大小、色調(diào)值的對比、清晰度的差異來表現(xiàn)，以該不同程度來吸引觀看者的注意力。還是以MV中開頭第7秒到第10秒的鏡頭為例，從大明宮宏偉的正面到虛化的包含丹鳳門三個字的牌匾，再到最后丹鳳門三個字顯得愈發(fā)清楚，這樣就使丹鳳門這個景觀印在了觀眾的腦海里，同時畫面鏡頭由大至小、緩緩遞進(jìn)，開篇明義，為后面歌曲的正式演唱以及畫面的正式開端打下了一定基礎(chǔ)。

根據(jù)Kress&van Leeuwen的理論，信息值這個概念涉及的是圖像中任何特定元素在整體中的角色取決于其所處位置，左邊還是右邊、中間還是邊緣，這一點主要是基于Halliday在系統(tǒng)功能語言學(xué)中的主位推進(jìn)模式。舉個例子，從MV的第2分32秒到第2分39秒，拋開所涉及歌詞不談，這幾秒的視頻是靠以下幾個部分的圖像串起來的：（1）手捧古書的睿智中年坐在放滿茶具的圓桌邊仔細(xì)閱讀；（2）一位青年走到茶桌前虛心求教；（3）在微風(fēng)輕拂的草地上兩人相談甚歡。其中，第一幅畫面中先出現(xiàn)的是茶具和古書，其次才是那位中年，在第一幅畫面中，茶具和古書屬于已知信息，而這位中年為新信息，等轉(zhuǎn)到第二幅畫面后，中年成為了已知信息，而這位青年對于整幅畫面而言是新信息，這其實也就是主位推進(jìn)模式的第三種類型，T2= R1，新單元中的已知信息為上一個單元的新信息。在這種情況下，整個畫面信息值的出現(xiàn)順理成章，同時也配合著整個故事情節(jié)的發(fā)展。

音樂視頻作為融多種藝術(shù)形式于一體的綜合藝術(shù)手段有著獨特魅力，其中音樂、語言、圖像等眾多模態(tài)或符號系統(tǒng)共同構(gòu)建話語意義，給觀眾帶來了深刻的印象。本文利用Halliday的系統(tǒng)功能語法以及Van Leeuwen的視覺語法對音樂視頻《唐詩》進(jìn)行了多模態(tài)的話語分析，主要指出了圖像符號系統(tǒng)在該MV語篇意義構(gòu)建中的作用，同時也反證了多模態(tài)話語分析手段在MV語篇意義構(gòu)建中是可行的。

［1］Halliday.M.A.K.An Introduction to Functional Grammar［M］.London：Edward Arnold，1985.

［2］VanLeeuwen.T.Introducing Social Semiotics［M］. London：Routledge，2005.

［3］VanLeeuwen.T.Speech，Music，Sound［M］.New York：St Martin's Press，1999.

［4］陳珺.音樂結(jié)構(gòu)認(rèn)知的奧秘初探——以奧爾夫教學(xué)法為例［J］.樂器，2012（10）：53.

［5］陳子娟，耿敬北.中國多模態(tài)話語分析回顧與展望［J］.云南開放大學(xué)學(xué)報，2014，16（4）：72-77.

［6］胡壯麟.社會符號學(xué)研究中的多模態(tài)化［J］.語言教學(xué)與研究，2007（1）：1-10.

［7］胡壯麟，等.系統(tǒng)功能語言學(xué)概論［M］.北京大學(xué)出版社，2008：115.

［8］李慧艷.視覺語法與多模態(tài)公益廣告的整體意義構(gòu)建［J］.長春理工大學(xué)學(xué)報：社會科學(xué)版，2014，5：99-103.

［9］李戰(zhàn)子.多模式話語的社會符號學(xué)分析［J］.外語研究，2003（5）.

［10］梁永革.音樂電視的音畫關(guān)系創(chuàng)意［J］.遼寧師范大學(xué)學(xué)報：社會科學(xué)版，2005，28（5）：110-111.

［11］汪劍，張琳.多模態(tài)視覺語法構(gòu)建的思考［J］.齊齊哈爾師范高等?？茖W(xué)校學(xué)報，2011（5）：131-133.

［12］辛志英.話語分析的新發(fā)展——多模態(tài)話語分析［J］.社會科學(xué)輯刊，2008（5）.

［13］袁艷艷，張德祿.多模態(tài)電影海報語篇的社會符號學(xué)分析［J］.濟(jì)寧學(xué)院學(xué)報，2012（4）：35-39.

［14］尹富林.視覺語法觀照下的多模態(tài)語篇分析——以一則平面廣告為例［J］.南京工業(yè)大學(xué)學(xué)報：社會科學(xué)版，2011，10（4）：96-100.

［15］張德祿.多模態(tài)話語分析綜合理論框架探索［J］.中國外語，2009（1）：24-30.

［16］張德祿，張兢田.多模態(tài)語法建構(gòu)問題探索［J］.外語學(xué)刊，2012（3）：38-43.

［17］朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法［J］.外語學(xué)刊，2007（5）：82-86.

H030

A

田文杰（1966-），男，教授，研究方向為應(yīng)用語言學(xué)和語義學(xué)。