葉起昌　趙　新

(北京交通大學,北京,100044)

論多模式話語分析中視覺素養(yǎng)的重要性

葉起昌趙新

(北京交通大學,北京,100044)

摘要:從超鏈接文本作為網絡話語的范式、視覺素養(yǎng)的變革、視覺交流在多模式話語中的應用以及圖像的主導地位等方面,本文強調視覺素養(yǎng)的重要性,并指出“以圖做事”應理解為圖像統(tǒng)治屏幕的事實和用圖做事的能力。同時,本文還指出,繼續(xù)學習能力是定義素養(yǎng)必須包含的主要內容。

關鍵詞:多模式話語,視覺素養(yǎng),超鏈接文本,圖像

[中圖分類號]H03

[文獻標識碼]A

[文章編號]1674-8921-(2015)11-0036-04

[doi編碼] 10.3969/j.issn.1674-8921.2015.11.008

作者簡介:葉起昌,北京交通大學語言與傳播學院教授。主要研究方向為話語分析。電子郵箱:yqcguist@163.com

1. 前言

在社會符號學產生之前,就有過三個符號學流派將語言學應用于交流的非語言模式研究。第一是20世紀三四十年代的布拉格學派,該學派為分析視覺語篇留下了十分有用的觀念,如“前景”(foregrounding)、指稱與詩學功能(referential and poetic functions)等。第二是六七十年代的巴黎學派,這個流派主要將索緒爾的語言學理論應用于視覺分析,其中最得力的實踐者與推廣者之一是Roman Barthes。第三學派源自兩個分支:70年代的批評語言學與80年代后期的澳大利亞學者以符號學為基礎研究文學、視覺符號學和音樂研究。這兩個分支均受益于韓禮德的系統(tǒng)功能語言學。

當代網絡的發(fā)展將視覺素養(yǎng)推到了語篇理解與分析的前沿。網絡語篇以超鏈接文本為范式(paradigm)。超鏈接文本是信息和知識時代的統(tǒng)一語碼,是互聯網用以存貯、傳遞、提取、顯示與讀寫數據庫、智庫和各種文檔等的最主要途徑,還是文字、圖像、聲音、音樂、手勢、視頻等符號體系交互與產生意義的普遍場所。

2. 視覺素養(yǎng)的變革

視覺素養(yǎng)(visual literacy)并不是新事物,而是比文字要早得多的人之素養(yǎng)。圖像的應用歷史悠久,古人就曾以圖像進行交流。視覺交流的歷史可追溯到三萬年前的洞穴壁畫,而對壁畫的描述則僅有二千五百多年的歷史,視覺素養(yǎng)作為術語則僅有四十多年的歷史。從語言教學角度重視“視覺素養(yǎng)”的培養(yǎng)始于1965~1966年(Fransecky & Debes 1972:20)。隨后,教育傳播與技術協會(The Association for Educational Communications and Technology,簡稱AECT)1968年的休斯頓年會上,出現了第一批標示著“視覺素養(yǎng)”這個名稱的論文。AECT這個名稱的正式確認是在1969年3月在紐約的羅切斯特舉辦的第一屆美國國家視覺素養(yǎng)年會上。這之后,AECT每年舉辦一次年會。根據上世紀七八十年代談論視覺交流的資料顯示,人們對視覺讀寫的認識與重視還處在萌芽狀態(tài),因為當時人們接觸到的視覺媒介僅是電視機。下面是早期對視覺素養(yǎng)的定義。

趙新,北京交通大學語言與傳播學院副教授。主要研究方向為英語語言文學。電子郵箱:xzhao@bjtu.edu.cn

*本文為北京市哲學社會科學規(guī)劃項目(編號13ZXB004)成果之一。

美國國家視覺素養(yǎng)大會成員達成下述定義:“視覺素養(yǎng)指一個人通過觀察產生其他感覺,并將觀察與其他感覺經驗整合起來的一類視覺能力。這些能力的發(fā)展構成正常人的學習基礎。當這些能力得到發(fā)展,有視覺素養(yǎng)的人就可區(qū)分和解釋自己在周邊環(huán)境中看到的行為、事物,以及自然和人造符號。通過創(chuàng)造性地應用這些能力,他就可以與別人交流。通過鑒賞性地應用這些能力,他就可以理解與欣賞大師的視覺交流作品”(Fransecky & Debes 1972:7)?？磥?當時專家們在定義視覺素養(yǎng)時頗費周折,這種定義不僅讀起來佶屈聱牙,而且依據上述定義,視覺素養(yǎng)的最終目的是欣賞大師作品。

1976年,Lida Cochran邀請參加媒體峰會的代表就“視覺素養(yǎng)”進行定義(Pettersson 2009:38)。在提交的62個定義中,界定形容詞“視覺”一詞有52個不同的短語,從“素養(yǎng)”一詞中產生出3個主要含義:作為一類能力、作為教學法與教學過程以及作為一場運動。所有的代表都同意,視覺素養(yǎng)指三大不同的范疇:人之能力、教學策略和提升觀念。總體上,60至70年代的視覺素養(yǎng)教育是作為語言學習的輔助教學手段。

當代的“素養(yǎng)”是個含義極廣的術語:“‘素養(yǎng)’是組群,每一組由相互依存的社會實踐構成,這些社會實踐將人、媒介客體和意義生產的策略相聯系。每一組都是某種文化必備的部分,或是這種文化的次文化。每一組承擔著維護和變革社會的角色,因為素養(yǎng)為意義與做事之間提供根本的聯系。素養(yǎng)自身就是技術,它們又為應用更大范圍的技術提供秘訣。它們也為自我和社會之間建立主要通道:是我們作用、參與和被塑造的更大范圍的‘生態(tài)社會’系統(tǒng)和網絡的手段。素養(yǎng)在這個更大范圍的自組織體系的動態(tài)中得到變革,人之感知、身份和可能性也隨之得到轉變”(Lemke 1998:283)。這段引言對理解什么是素養(yǎng)以及它與技術的關系具有啟發(fā)意義,但在實際研究中這種定義卻很難派上用場。

Pettersson(2002:68)列出了17種“素養(yǎng)”,這足以說明其復雜性:計算機素養(yǎng)(computer literacy)、文化素養(yǎng)(cultural literacy)、圖表素養(yǎng)(diagrammatic literacy)、文獻素養(yǎng)(document literacy)、經濟素養(yǎng)(economic literacy)、環(huán)境素養(yǎng)(environmental literacy)、電影素養(yǎng)(film literacy)、信息素養(yǎng)(information literacy)、數學素養(yǎng)(mathematical literacy)、媒介素養(yǎng)(media literacy)、音樂素養(yǎng)(music literacy)、政治素養(yǎng)(political literacy)、科學素養(yǎng)(scientific literacy)、技術素養(yǎng)(technical literacy)、電視素養(yǎng)(television literacy)、錄像素養(yǎng)(video literacy)和視覺素養(yǎng)。

上述各種“素養(yǎng)”實際上就是各個行業(yè)要求的基本素質,不同的行業(yè)還有各自不同的要求。當然,也存在要求不明確的地方,如計算機素養(yǎng)是指需要程序設計員的素質還是一般的電腦使用者?如此多的“素養(yǎng)”,一個人在某方面是“文盲”也就在所難免。

Erstad(1998)主張,我們必須放棄將“素養(yǎng)”定義為一整套無實體的“技巧”,而素養(yǎng)總是不可避免地處在特定的實踐與社會語境中。信息素養(yǎng)則是能為所有人增強能力的素養(yǎng)。我們不否定,獲取信息在這個時代具有與讀懂多模式話語同等的重要性,但獲取信息不等于理解語篇,多模式話語的理解與分析僅僅依賴信息的獲取是不夠的。

3. 視覺交流在多模式話語分析中的應用

下面這張圖片(參見van Leeuwen 2004:8;White 2010:373)是談論視覺交流經常援引的例子。這是英軍在第一次世界大戰(zhàn)期間的征兵布告,有四個語言特征組合在一起構成命令,實現了一個言語行為:直呼(YOU,大寫,字體粗大);公告;詞匯化為動詞的要求(“need”需要);施事者的需要在這里變?yōu)橐环N可直接向被呼者索取的權力(基于愛國主義之上的一種道德權力)。然而,這則公告還實現了一個圖像行為,也是通過幾個特征相結合而成:手指指向讀者與嚴肅的面部表情實現了視覺指令,其他特征(如表情的霸氣本質、軍裝和軍國主義式的八字胡,這兩者代表官方權威)則增強了視覺命令的直接性和權威性。

圖1　英軍在第一次世界大戰(zhàn)期間的征兵布告

但問題是:圖中是一個還是兩個行為?是相同的命令被表達了兩次?一次是用視覺的直接方式表達,另一次用言語的間接方式表達?還是這兩者相結合完成了一個單一的多模式的交流行為?社會符號學指出,這是一個單一的多模式交流行為。圖1中各元素的具體分析見圖2。

圖2　圖1的各元素分解

上述分析說明,話語分析不能忽視多模式,單一模式的分析通常顧此失彼;同樣,多模式話語分析應以視覺素養(yǎng)為基礎,因為當代話語最重要的兩個模式就是文字和圖像,而文字在屏幕之中首先應當服從圖像規(guī)則。

對此,van Leeuwen(2004:8-18)提出了語言學家應該重視視覺交流的十大理由。

(1) 言語行為不僅必須重新命名為交流行為,而且必須理解為是所有應用于此行為的各種符號相組合所決定的交流意圖的微觀事件。

(2) 言語與書寫體裁事實上都是多模式的,言語體裁由語言與行為組合成整體,而書面體裁則由語言、圖像和插圖組合成整體。應將言語體裁改為行為體裁,書面體裁改為題寫體裁,行為體裁與題寫體裁還可以有多種可能的組合方式。

(3) 界定為不同階段的行為體裁的交流行為可以包含或不包含言語;同樣,界定為不同階段的題寫體裁可以包含或不包含書寫。

(4) 行為與題寫體裁之成份或階段之間的界線通常由視覺標示。

(5) 甚至在單一“命題”內,視覺與言語可整合成一個單一的組合單位。

(6) 印刷字體與手寫不再只是語言意義的表達手段,它們自身就是符號模式。

(7) 批評話語分析不僅要描述話語的語言方面,也需描述非言語方面,要描述話語、圖像、語篇的各個層次,因為它們通常表達富有差別甚至是對立的意義。

(8) 在研究語法與語篇中發(fā)展起來的許多概念并不只適用于語言。

(9) 將語言作為資源的結構描述等概念和談話的“基礎”(footing)概念①均可用于多模式研究。

本研究結果表明，Danu具有較好的體外抗HCC效果，為下一步進行體內實驗奠定了基礎。Danu引起的自噬起到了保護細胞的作用，提示聯合使用自噬抑制劑能夠增強AURK抑制劑的抗HCC效果。此外，Danu聯合索拉菲尼等現有的靶向藥物從而增強抗HCC效果可能是日后的研究方向。

(10) 研究視覺交流的學者也應關注語言學,因為語言學的許多概念和語法可直接應用于視覺交流研究,且生產性能強。

我們贊同van Leeuwen(2004)的第1和第2個理由。在當今這個信息時代,從多種符號模式視角來重新審視言語行為的貢獻是必要的,甚至在不否定語言還是日常生活最重要的交流方式的前提下,“以言做事”已為“以圖做事”所替代。

上述第2個理由在漢文化中更為顯著。一方面,中國傳統(tǒng)語言學僅有兩個層面:一個是文字和訓詁,一個是音韻,沒有西方語言學中的“語法”體系。語言學家韓禮德深受中國傳統(tǒng)文化熏陶,對此有深刻的認識(Kress,Hasan & Martin 1992)。另一方面,漢語更多的是視覺,從象形文字起源到書法藝術,它本身就是圖像,書畫同源。在Mitchell(2007:11-13)看來,漢字與其說是文字不如說是圖畫。要用漢語進行閱讀與寫作,首先要“識”字,就是辨識和記住兩千多個常用漢字。

4.圖像占據交流的主導地位

探討讀寫(或“素養(yǎng)”)很難與廣泛的社會、經濟和技術等因素分離開來。有兩個相互區(qū)別但又相互關聯的因素特別值得關注。一方面,就是大范圍的長達幾個世紀的書面語(writing)統(tǒng)治轉向了圖像(image)統(tǒng)治;另一方面,紙質媒介統(tǒng)治走向屏幕媒介統(tǒng)治。這兩個因素使得表征和交流的相關手段正經歷著一次革命。在此語境下,社會符號學強調多模式話語分析的首要條件是超越語言,重視多種符號體系?！拔覀儾荒軐⒄Z言看作是唯一的表征與交流手段,其他模式(即多種符號化模式)也同時存在,甚至在許多情況下,即使出現了書面語,其他模式或許更突出,更富有意義。結果就是,語言學理論并不能完全解釋什么是讀寫,讀寫都做了什么;僅僅通過語言是無法理解多模式構建的迅息,語言與讀寫只是意義的部分載體”(Kress 2003:35)。

圖3按照Bateman等(2002)以及Bateman(2008)的“體裁與多模式方法”(Genre and Multimodality Model),用高斯模糊處理原圖,目的是為了清楚辨識與標注網頁的不同模塊,建構多模式語料庫。

圖3　人民網英文網頁②

在255個劃分出的單位中,文字單位占151個,圖像占104個。圖像在總比中接近41%。當然這只是個別網頁,而且是首頁,理所當然圖像要多些,所以還不足以說明問題,更何況現在上圖與錄入文字在技術上幾乎都是同樣簡單的事。

盡管這種統(tǒng)計文字與圖像的比例數字在表層上有一定的說服力,但是,“以圖做事”并不由此來決定,而應理解為文字語篇必須服從圖像的邏輯方能在屏幕上顯示的事實。如現在的文字處理就是一個典型的例子,不管是以Word還是WPS格式處理文字,首先這些文字是以圖像的方式顯示的。即以空間分布為特征的數字語篇代替了以時間先后為序的口頭語篇和以線性排列為序的印刷語篇?！耙詧D做事”同時還指能以圖做事,就是視覺素養(yǎng)。

1900年在倫敦舉辦的第一屆泛非大會(The First Pan-African Conference)的閉幕式上,Du Bois作了題為《向全世界各民族的演說》的演說，其中有句名言:二十世紀的問題是顏色線條的問題(Du Bois 1970:125)。這里的“顏色”與“線條”是與種族身份相關的。Mitchell(1994:2)巧妙地引用此名言并指出:當我們進入一個“顏色”與“線條”(作為身份標記)成為廣泛的仿真與大眾媒介技術可操縱的成分的時代,話語發(fā)生了“圖像轉向”,我們發(fā)現21世紀的問題是圖像問題。

5. 結語

從社會符號學的角度來看,我們要注意的是,“信息”一詞的動詞是“inform”(意為:通知、知會),它所預設的交流模式是單向的(unidirectional),而非雙向,在這個意義上,信息僅僅只是人或機器接收到的數據。這種“中性”意義上的信息不足以說明信息和意義是如何塑造并最終決定人們交流事件的本質。因此,光有“信息”的獲取與量化分析是不夠的,社會符號學更重視的是“信息”之外的東西。

我們也贊同van Leeuwen前述的第8與第10個理由,語言學的許多概念當然可以應用于視覺分析,但僅憑語言學知識來推斷其他符號模式的應用及其意義的多模式分析是片面和不完整的。多模式是一個寬廣的領域,在這個領域中,幾乎人文學科的所有知識都有發(fā)揮的余地。從事多模式研究的學者除自身專業(yè)知識之外還應當掌握至少一種其他模式的充足知識,如運用攝影(像)知識來解構和闡釋圖像,這一點至關重要,而不是單純依靠某種語言學理論做間接解釋(Forceville 2007:1237)。

數字時代對素養(yǎng)的要求已經與過去完全不同了,它包括下述內容:“基礎、科學、經濟和技術的素養(yǎng);視覺與信息素養(yǎng);多文化與全球意識”(Solomon & Schrum 2007:19)。上述定義中的各項無疑是重要的,但似乎還有一個方面未得到應有的重視,那就是繼續(xù)學習的能力,樹立終身教育的理念。只有這種能力方能使我們擺脫“文盲”的境地。網絡的發(fā)展與語篇的變革也是依據人的這種能力,因為網絡和語篇是人的網絡和語篇,而不是遠離塵世的“怪物”。

于是,今天的讀寫(素養(yǎng))應涵蓋:習得新技巧,包含應用技術、理解科學、擁有全球意識,而最重要的是,擁有繼續(xù)學習的能力。同時,我們還需要共同關注:讀寫的未來會怎樣?這種變革給社會和文化帶來什么效應?

附注

① 此處原文有注釋:“footing源自Goffman(1981)”。

② 圖3由北京交通大學英語語言與文學專業(yè)2013級碩士研究生王雪同學所標記,特致謝意。

參考文獻

Bateman, J., J. Delin & R. Henschel. 2002. A brief introduction to the GeM annotation schema for complex document layout [R/OL].Paperpresentedatthe2ndWorkshoponNLPandXML(NLPXML-2002)Taipei. [2015-06-21]. http:∥www.purl.org/net/gem.

Bateman, J. 2008.MultimodalityandGenre:AFoundationfortheSystematicAnalysisofMultimodalDocuments[M]. Basingstoke/New York: Palgrave Macmillan.

Du Bois, W.E.B. 1970.W.E.B.DuBoisSpeaks:SpeechesandAddresses1890-1919 (S. F. Philip ed.) [C]. New York: Pathfinder Press.

Erstad, O. 1998. Media literacy among young people: Integrating culture, communication and cognition [A]. In B. H?ijer & A. Werner (eds.).CulturalCognition:NewPerspectivesinAudienceTheory[C]. NORDICOM: G?teborg.85-101.

Forceville, C. 2007. Book review: Multimodal transcription and text analysis: A multimedia toolkit and course book [J].JournalofPragmatics39(6): 1235-38.

Fransecky, R. B. & J. L. Debes. 1972.VisualLiteracy:AWaytoLearn-AWaytoTeach[M]. Washington: Association for Educational Communications and Technology.

Goffman, E. 1981.FormsofTalk[M]. Philadelphia: University of Pensylvania Press.

Kress, G., R. Hasan & J. Martin.1992. An interview with M. A. K. Halliday [J].SocialSemiotics2(1): 176-96.

Kress, G. 2003.LiteracyintheNewMediaAge[M]. London/New York: Routledge.

Lemke, J. L. 1998. Metamedia literacy: Transforming meanings and media [A]. In D. Reinking,etal. (eds.).HandbookofLiteracyandTechnology:TransformationsinaPost-TypographicWorld[C]. Mahwah/London: Lawrence Erlbaum. 283-301.

Mitchell, W. J. T. 1994.PictureTheory:EssaysonVerbalandVisualRepresentation[M]. Chicago/London: The University of Chicago Press.

Mitchell, W. J. 2007. Visual literacy or literary visualcy? [A]. In J. Elkins (ed.).VisualLiteracy[C]. London/New York: Routledge. 11-30.

Pettersson, R.2002.InformationDesign:AnIntroduction[M]. Amsterdam/Philadelphia: John Benjamins.

Pettersson, R. 2009. Visual literacy and message design [J].TechTrends53(2): 38-40.

Solomon, G. & L. Schrum. 2007. Web 2.0:NewTools,NewSchools[M]. Eugene, OR./Washington, DC.: International Society for Technology in Education.

van Leeuwen, T. 2004. Ten reasons why linguists should pay attention to visual communication [A]. In Philip LeVine & Ron Scollon (eds.).DiscourseandTechnology:MultimodalDiscourseAnalysis[C]. Washington: Georgetown University Press. 7-19.

White, P. 2010. Grabbing attention: The importance of modal density in advertising [J].VisualCommunication9(4): 371-97.

(責任編輯甄鳳超)