王紅芳 喬孟琪

內(nèi)容摘要：本研究辨析了視聽翻譯、多媒體翻譯與多模態(tài)翻譯三個(gè)概念，認(rèn)為：視聽翻譯是針對(duì)視聽文化產(chǎn)品的翻譯，強(qiáng)調(diào)視聽文本在翻譯中的多符號(hào)、多維信息的轉(zhuǎn)換;多媒體翻譯是依托于多媒體技術(shù)的翻譯，側(cè)重多媒體文本翻譯中所使用的多媒體電子系統(tǒng)及渠道;多模態(tài)翻譯是多模態(tài)話語(yǔ)的翻譯，重點(diǎn)在于翻譯中語(yǔ)言模態(tài)及非語(yǔ)言模態(tài)信息的相互轉(zhuǎn)換。三者之間既互相區(qū)別又彼此聯(lián)系，視聽翻譯兼有多模態(tài)及多媒體屬性。

關(guān)鍵詞：視聽翻譯;多媒體翻譯;多模態(tài)翻譯

Title： An Analysis on Audiovisual Translation， Multimedia Translation and Multimodal Translation

Abstract： This paper explores audiovisual translation， multimedia translation and multimodal translation. The author holds that audiovisual translation means the translation of audiovisual cultural products in nature with an emphasis on the transfer of multi-semiotic and multi-dimensional information. Multimedia translation is multimedia technology-based translation which highlights the multimedia electronic system and channel in translating multimedial texts; whereas multimodal translation means the translation of multimodal discourse concerning the transfer of verbal and non-verbal modal information in the translation of multimodal discourse. The three conceptions are different from as well as interrelated with each other， besides， audiovisual translation is both multimodal and multimedial.

Key Words： audiovisual translation; multimedia translation; multimodal translation

Authors： Wang Hongfang is Ph.D. candidate at College of Foreign Languages， Nankai University （Tianjin 300071， China）. Her research interests are translation studies and audiovisual translation. E-mail： waiyuanhongfang@126.com. Qiao Mengqi is lecturer at School of Foreign Languages， Tianjin Chengjian University （Tianjin 300384， China）. Her research interests are British & American literature and English language teaching.

一、引言

“隨著數(shù)字化時(shí)代的來(lái)臨，翻譯的對(duì)象除了傳統(tǒng)的紙質(zhì)文本外，還涌現(xiàn)了形形色色的涵蓋文字、圖片、聲音影像等多種形式符號(hào)的文本，即超文本（hypertext）或虛擬文本（cybertext），而這些‘文本的翻譯行為已經(jīng)超出了傳統(tǒng)意義上翻譯的概念”（謝天振 14）。引文中的這些“超文本”或“虛擬文本”，在視聽翻譯、多媒體翻譯與多模態(tài)翻譯的相關(guān)研究中比比皆是。有趣的是，在視聽翻譯研究文獻(xiàn)中，“多媒體翻譯”與“多模態(tài)翻譯”出現(xiàn)的頻率甚高，如Orero（2004）、Gambier（2013）、Taylor（2016）、劉大燕（2010）、許勉君（2017），似乎后兩者與“視聽翻譯”有著千絲萬(wàn)縷的關(guān)系。辨析后發(fā)現(xiàn)，視聽翻譯、多媒體翻譯與多模態(tài)翻譯的屬性及本質(zhì)雖不同，卻彼此聯(lián)系。本文中，筆者試圖追本溯源，探索三個(gè)概念的淵源與發(fā)展，以厘清區(qū)別與聯(lián)系，從而為后續(xù)研究提供一定參照。

二、視聽翻譯的演進(jìn)路徑

2.1 從“視聽”的含義說(shuō)起

關(guān)于“視聽”（audiovisual）一詞的含義，有四種解釋可以從詞典中加以考證：（1）“看和聽”。出自《書·蔡仲之命》：“詳乃視聽”，《史記· 秦始皇本紀(jì)》中亦有記載：“皇帝明德，經(jīng)理宇內(nèi)，視聽不怠”。（2）借指耳目（替人刺探消息的人），出自《三國(guó)志·吳志·諸葛恪傳》：“恪更拜太傅。于是罷視聽，息校官，原逋責(zé)，除關(guān)稅，事崇恩澤，眾莫不悅”。（3）看到的和聽到的，謂見聞。漢荀悅《漢紀(jì)·平帝紀(jì)》記載：“臣悅所論，粗表其大事，以參得失，以廣視聽也?！保?）言路;輿論。唐蘇鶚《蘇氏演義》卷下：“五明扇，舜所作也。舜廣開視聽，求賢為輔，故作?！彪S著時(shí)代發(fā)展及技術(shù)進(jìn)步，較詞典中的解釋，“視聽”一詞的含義已發(fā)生根本性變化。它更多地依托于多媒體及網(wǎng)絡(luò)技術(shù)，常出現(xiàn)在“視聽網(wǎng)”、“網(wǎng)絡(luò)視聽”、“視聽演播”等語(yǔ)境中，體現(xiàn)著人們?cè)谛聲r(shí)代、新媒體背景下的視覺(jué)、聽覺(jué)活動(dòng)及體驗(yàn)。廣義的視聽，“承載和涵蓋了以電子介質(zhì)作為創(chuàng)造、呈現(xiàn)、傳播、接受載體的所有視聽活動(dòng)……只要是以電子技術(shù)所呈現(xiàn)的圖像和聲音的文化傳播活動(dòng)，都可以統(tǒng)合在視聽概念之下”（龐井君38），具體而言，它既包括廣播、電影、電視等傳統(tǒng)視聽形態(tài)，也包括移動(dòng)廣播電視、網(wǎng)絡(luò)影視、三維動(dòng)畫、3D電影等新型視聽形態(tài)，甚至包括“未來(lái)可能出現(xiàn)的融合生物技術(shù)、腦神經(jīng)科學(xué)、電子信息技術(shù)、網(wǎng)絡(luò)技術(shù)于一體的直接連接讀取人腦視聽信息的視聽活動(dòng)”（同上）。這些視聽形態(tài)，統(tǒng)稱為視聽文本，均屬于視聽時(shí)代的文化產(chǎn)品，它們是受語(yǔ)言及非語(yǔ)言因素綜合影響的混合型文本，是一種特殊的文化產(chǎn)品。

2.2 視聽文化時(shí)代的到來(lái)

縱觀人類文化發(fā)展史，不難發(fā)現(xiàn)，它已經(jīng)歷縱橫捭闔的四個(gè)時(shí)代：前語(yǔ)言時(shí)代、聽說(shuō)時(shí)代、閱讀時(shí)代和視聽時(shí)代（龐井君36-38）。前語(yǔ)言時(shí)代，即人類茹毛飲血的遠(yuǎn)古時(shí)期，誕生了人類的前語(yǔ)言文化;人類分音節(jié)的口頭語(yǔ)言的出現(xiàn)，將人類帶入了聽說(shuō)時(shí)代;人類文化發(fā)展史上的一次重要革命——文字的出現(xiàn)，使人類進(jìn)入了文化的閱讀時(shí)代;19世紀(jì)末，人類歷史上出現(xiàn)了兩項(xiàng)偉大發(fā)明——攝影與錄像技術(shù)，使人類步入了文化的視聽時(shí)代，視聽文化應(yīng)運(yùn)而生。視聽文化與技術(shù)的發(fā)明及運(yùn)用息息相關(guān)?！霸缙谝暵犖幕\(yùn)用當(dāng)時(shí)世界上最先進(jìn)的聲、光、電技術(shù)，從形式上顛覆了文化特別是中國(guó)傳統(tǒng)文化的存在、傳播與消費(fèi)方式”（韓晗115）。時(shí)至今日，數(shù)字技術(shù)、網(wǎng)絡(luò)技術(shù)和信息技術(shù)迅猛發(fā)展，形式各樣的現(xiàn)代電子視聽文化及傳播方式，正被廣泛用于人類的信息傳遞及文化交往。在視聽時(shí)代之下，“人類文化的生產(chǎn)方式、傳播方式以及人的生活方式和消費(fèi)方式正發(fā)生著劇烈轉(zhuǎn)型，甚至整個(gè)社會(huì)結(jié)構(gòu)和社會(huì)交往方式也因之發(fā)生強(qiáng)烈的震蕩和改變”（龐井君38）。視聽時(shí)代的文化，呈現(xiàn)出了泛視聽化、融合化、社會(huì)化、產(chǎn)業(yè)化及個(gè)性化特征。從國(guó)家戰(zhàn)略的高度部署視聽文化，建設(shè)“視聽中國(guó)”，是實(shí)現(xiàn)中華民族文化的偉大復(fù)興的應(yīng)有之義（同上 41-43）。

2.3 視聽翻譯是視聽文化產(chǎn)品的翻譯

2.3.1 術(shù)語(yǔ)變遷

19世紀(jì)末，人類歷史上出現(xiàn)的兩項(xiàng)重大發(fā)明——攝影與錄像技術(shù)，將人類帶入了偉大的視聽時(shí)代，電影及電影院節(jié)目應(yīng)運(yùn)而生。視聽翻譯（Audiovisual Translation， AVT）就是一種為電影與電影院節(jié)目的翻譯而發(fā)展起來(lái)的一種特殊的翻譯活動(dòng)，可以追溯到早期的默片，人們最初也使用“電影翻譯”（film translation）指代“視聽翻譯”。

隨著技術(shù)進(jìn)步、翻譯實(shí)踐及研究的拓展，“視聽翻譯”先后經(jīng)歷了“電影翻譯”、“語(yǔ)言轉(zhuǎn)換”（language transfer）、“改編”（versioning）、“屏幕翻譯”（screen translation）、“多媒體翻譯”（multimedia translation）幾種術(shù)語(yǔ)的演進(jìn)（Gambier， The position of audiovisual translation studies 46）?！半娪胺g”未包含電視、真人秀、專題紀(jì)錄片等產(chǎn)品類型，其涵義過(guò)于狹窄;“語(yǔ)言轉(zhuǎn)換”忽略了視聽文本集多種符號(hào)（聽覺(jué)符號(hào)、視覺(jué)符號(hào)、語(yǔ)言符號(hào)等）于一體的復(fù)雜性，有側(cè)重語(yǔ)言符號(hào)的轉(zhuǎn)換之嫌;“改編”未免過(guò)于寬泛，且難以與文學(xué)翻譯中的“改編”（adaptation）相區(qū)別;“屏幕翻譯”最初現(xiàn)于歐洲視聽翻譯研究協(xié)會(huì)（European association for Studies in Screen Translation， ESIST），不僅指電視屏幕、電影屏幕及電腦屏幕上視聽產(chǎn)品的翻譯，也包含本地化，卻不包含舞臺(tái)、歌劇字幕翻譯，且容易與“網(wǎng)頁(yè)翻譯”相混淆;“多媒體翻譯”包羅萬(wàn)千，范疇不定;相比之下，“視聽翻譯”這一術(shù)語(yǔ)，在其所涵蓋文化產(chǎn)品的范圍、適用性等諸方面具有優(yōu)越性。上述術(shù)語(yǔ)均有側(cè)重，學(xué)者對(duì)AVT的發(fā)展亦持開放態(tài)度，“AVT研究在名稱上的不統(tǒng)一并沒(méi)有為該領(lǐng)域的研究和交流設(shè)置任何障礙，而是表明了時(shí)代的改變，反映了最近科技的發(fā)展，折射了這個(gè)領(lǐng)域不斷變化的本質(zhì)，是其活力的象征”（劉大燕64）。國(guó)內(nèi)學(xué)者，如董海雅（2007）、肖維青（2012）、彭典貴（2013）慣用“影視翻譯”指西方學(xué)者的AVT。值得注意的是，自2010年以來(lái)，“視聽翻譯”這一術(shù)語(yǔ)逐漸被中國(guó)學(xué)者所接受。

2.3.2 定義與學(xué)科發(fā)展

視聽翻譯是“一個(gè)可以囊括所有新技術(shù)發(fā)展和業(yè)內(nèi)實(shí)踐”的概括性術(shù)語(yǔ)，并不單純關(guān)注節(jié)目類型或播放的場(chǎng)所，而是更強(qiáng)調(diào)譯作與觀眾的交流通道（董海雅，蓬勃發(fā)展的視聽翻譯研究55），它廣泛、直觀而生動(dòng)地傳遞著文化產(chǎn)品的信息，促進(jìn)了不同文化間的交往。奧雷羅（Orero）（2004）從視聽翻譯實(shí)踐的角度概括了視聽翻譯的內(nèi)涵。她認(rèn)為，視聽翻譯“不僅包含任何媒體、形式中用于作品制作（或后續(xù)制作）的一切翻譯或多符號(hào)轉(zhuǎn)換，而且包括媒體的無(wú)障礙傳播：即為殘障人士而服務(wù)的聽障者字幕（Subtitling for the Deaf and Hard of Hearing， SDHH）或口述影像（Audio Description， AD）”（Orero viii）。有學(xué)者認(rèn)為，視聽翻譯“將多模態(tài)、多媒體的文本轉(zhuǎn)化到另一種語(yǔ)言或文化的翻譯研究分支”（Baker 13），從而定位了視聽翻譯的學(xué)科屬性。

縱觀學(xué)術(shù)界，翻譯研究學(xué)者前仆后繼，從未停止關(guān)于視聽翻譯學(xué)科發(fā)展的探索。早在20世紀(jì)80年代末及90年代初，就有學(xué)者提出，視聽翻譯研究是“未被開墾的研究領(lǐng)域”（Delabastita 202）;Bassnett（1991）將視聽翻譯列為“翻譯和詩(shī)學(xué)”之下的研究?jī)?nèi)容;Snell-Hornby（1995）將視聽文本的翻譯列入文學(xué)翻譯之下;20世紀(jì)90年代中期，隨著視聽翻譯實(shí)踐的拓展與譯者培訓(xùn)的開展，視聽翻譯已正式贏得學(xué)術(shù)認(rèn)可。21世紀(jì)之初，Baker（2009）對(duì)視聽翻譯學(xué)科屬性的定位，推動(dòng)了視聽翻譯研究學(xué)科的進(jìn)程?！耙暵牱g已發(fā)展了自身的理論視角及方法論，為其學(xué)術(shù)研究地位的確立提供了充分可能”（Díaz-Cintas 7）。目前，學(xué)者已達(dá)成共識(shí)，將視聽翻譯視為翻譯學(xué)研究中的一個(gè)獨(dú)立性研究領(lǐng)域。

三、多媒體翻譯探索

3.1 從“媒”說(shuō)起

欲知“媒體”（media），需了解 “媒”?！对?shī)·衛(wèi)風(fēng)·氓》中有記載：“匪我愆期，子無(wú)良媒”;古語(yǔ)曰：天上無(wú)云不下雨，地上無(wú)媒不成婚。由此，早期的“媒”，主要是在男女婚嫁中起傳情達(dá)意的中介作用。“媒體”一詞，源于拉丁語(yǔ)“medius”，音譯為“媒介”，意為“兩者之間”。傳播學(xué)中，媒體有兩種基本含義：（1）媒體是傳播工具、傳播渠道和傳播信息的載體;（2）媒體是各種傳播工具的總稱，如電影、電視、廣播、印刷品（書籍、雜志、報(bào)紙）、計(jì)算機(jī)和計(jì)算機(jī)網(wǎng)絡(luò)等。根據(jù)傳播方式，媒體可分為口頭媒體、書寫媒體、印刷媒體、電子媒體和新傳媒等（董璐 67），其中，新傳媒又稱“數(shù)字媒體”。每一種媒體的出現(xiàn)，都是對(duì)既有媒體的整合、延伸與革新。媒體的每次革新，“都伴隨著人類思維的變化和社會(huì)文化的發(fā)展”（李春媚 15），革新并不代表完全替代，相反，各媒體的融合與發(fā)展，是大勢(shì)所趨。

媒體功能的融合，產(chǎn)生了多媒體，如多媒體電腦，集文字、影像、聲音、數(shù)據(jù)儲(chǔ)存、雙向通信、網(wǎng)絡(luò)等功能于一體，更好地服務(wù)于人類，體現(xiàn)著數(shù)字媒介的人性化與智能化?！岸嗝襟w”，是計(jì)算機(jī)和視頻技術(shù)的結(jié)合，在計(jì)算機(jī)系統(tǒng)中，它是組合兩種或兩種以上媒體的一種人機(jī)交互式信息交流和傳播媒體。認(rèn)為，“多媒體是指具有文字、圖像、音頻、視頻等播放功能的現(xiàn)代技術(shù)，如在課堂上使用的電腦、投影儀、電視機(jī)、移動(dòng)終端等，……它強(qiáng)調(diào)的是不同媒體技術(shù)的綜合使用”（許勉君41）。早期的多媒體與教學(xué)（幻燈片、錄像等）和先鋒派藝術(shù)相聯(lián)系，后來(lái)，新數(shù)字技術(shù)與數(shù)字傳媒為多媒體帶來(lái)了豐富新穎多樣化的交際形式，如電子書籍、多媒體數(shù)據(jù)庫(kù)、視頻會(huì)議、虛擬現(xiàn)實(shí)等，“反映了這些交際新技術(shù)的高科技特征”（劉大燕 63）。可以預(yù)見的是，未來(lái)的多媒體，將繼續(xù)呈現(xiàn)高科技、人性化與智能化特征，并以更加靈活多樣化的姿態(tài)為人類帶來(lái)更高的生活品質(zhì)。

3.2依托于媒介與技術(shù)的多媒體翻譯

3.2.1 定義

根據(jù)上文中關(guān)于“媒體”的兩層基本含義，筆者認(rèn)為，媒體翻譯不僅指將一種語(yǔ)言文化內(nèi)的媒體文本轉(zhuǎn)換為另一種語(yǔ)言文化內(nèi)的媒體文本，而且指在轉(zhuǎn)換過(guò)程中所使用的媒體。廣義的媒體翻譯，不僅包括印刷媒體翻譯，而且包括口頭媒體、書寫媒體、電子媒體和新傳媒的翻譯。國(guó)際傳播視野下，媒體翻譯具有跨文化傳播的意義，“傳媒文本翻譯成為跨文化傳播中一個(gè)直觀重要的因素”（王海 205），在跨文化交流、外交與外宣等方面發(fā)揮著重要作用;于翻譯理論而言，媒體翻譯的實(shí)踐豐富了翻譯理論的內(nèi)涵。實(shí)際上，媒體文本翻譯已是翻譯研究的一個(gè)重要分支，斯內(nèi)爾-霍恩比（Snell-Hornby）在《翻譯研究：綜合法》（Translation Studies： An Integrated Approach 1995）中將各類翻譯文本分為文學(xué)翻譯、普通語(yǔ)言翻譯和特殊語(yǔ)言翻譯。對(duì)于舞臺(tái)劇、電影、報(bào)紙、廣告等媒體文本的翻譯，她不僅引進(jìn)文化史、社會(huì)文化與地域研究，也引進(jìn)了專門主題研究，勾勒了媒體文本翻譯的多學(xué)科研究途徑。

維基百科將“多媒體翻譯”定義如下：多媒體翻譯，有時(shí)也指視聽翻譯，是翻譯的一個(gè)專門的分支，是將一種文化語(yǔ)言內(nèi)的多模態(tài)、多媒體文本轉(zhuǎn)換為另一種文化語(yǔ)言的多模態(tài)、多媒體文本的活動(dòng)，同時(shí)，它也指在翻譯或轉(zhuǎn)換過(guò)程中所使用的多媒體電子系統(tǒng)。此定義將多媒體翻譯視為翻譯的一個(gè)分支，并強(qiáng)調(diào)了待譯文本所依托的多媒體系統(tǒng)以及文本的多模態(tài)、多媒體屬性，但該定義將多媒體翻譯與視聽翻譯相混淆，筆者認(rèn)為欠妥?！岸嗝襟w翻譯與視聽翻譯并不完全重合”（Gambier， The position of audiovisual translation studies 46），以連環(huán)漫畫的翻譯為例，連環(huán)漫畫至少融合了文字、圖像兩種傳播信息，屬于多媒體翻譯，但卻不屬于視聽翻譯，因?yàn)樗皇且暵牣a(chǎn)品，不包含聽覺(jué)信息的傳遞?！岸嗝襟w翻譯，明確來(lái)講，指翻譯的媒介及交流渠道，它廣泛地運(yùn)用于電影、電視、劇院、廣告、視聽及移動(dòng)設(shè)備通訊等多種領(lǐng)域，在全球及局部地域發(fā)揮著信息傳遞、娛樂(lè)、教育及廣告等功能”（同上）。

3.2.2 對(duì)象與內(nèi)容

多媒體翻譯的對(duì)象所呈現(xiàn)的文本，是多媒體文本（multi-medial texts）。與傳統(tǒng)意義上的文本不同，多媒體文本結(jié)合了信息代碼和交際代碼， 混合了文字、圖像和聲音， 是具有三維性質(zhì)的超文本結(jié)構(gòu)。萊斯（Reiss）是“關(guān)注為說(shuō)或唱而進(jìn)行書面表達(dá)的聽覺(jué)媒體型（audio-medial）文本的第一人”（Gambier & Gottlieb x）?！叭R斯的聽覺(jué)媒體型文本更多地是指廣告文本而非電影翻譯和紀(jì)錄片翻譯”（Munday 268）。斯內(nèi)爾—霍恩比（2006）將多媒體文本視為由技術(shù)或涉及視覺(jué)媒體和聲音媒體的電子媒體傳遞的文本，突出了技術(shù)與電子媒體對(duì)于此類文本的重要性。多媒體文本具有兩大特征：多重符號(hào)聚合性與交互性。多媒體文本的意義是文字和非文字符號(hào)（如圖片、聲音、顏色和版式等）的總和， 多重符號(hào)共處于多媒體交際的大環(huán)境中。多媒體文本的交互性首先在于各符號(hào)間相互作用，共同完成意義的構(gòu)建;其次在于接受者和文本之間相互作用，如個(gè)人與電腦、個(gè)人與電影電視等媒體的交互，所用媒體不同，交互程度各異。

多媒體翻譯的內(nèi)容相當(dāng)廣泛，首先，“它包括為電影或電視而進(jìn)行的視聽翻譯，如字幕翻譯、配音、畫外音等等，也涵蓋了屏幕翻譯（電影、家庭和公司錄像、電視節(jié)目）的領(lǐng)域，還包括戲劇和歌劇的翻譯”（劉大燕 63），其次，因它涉及到信息通訊技術(shù)產(chǎn)品的本地化及互聯(lián)網(wǎng)產(chǎn)品的翻譯，包括“為互聯(lián)網(wǎng)和在互聯(lián)網(wǎng)上的翻譯、脫機(jī)產(chǎn)品和服務(wù)的翻譯”（Gambier & Gottlieb xi），如字幕/配音組、網(wǎng)絡(luò)動(dòng)畫，也屬多媒體翻譯的范疇，此外，手機(jī)、平板電腦等設(shè)備的視頻游戲、網(wǎng)上交流也屬此類?？梢姡嗝襟w翻譯包羅萬(wàn)象，導(dǎo)致其概念模糊，范疇不定，“多媒體翻譯這一概念，會(huì)導(dǎo)致某種困惑”（Gambier， Screen transadaptation 171）。似乎，凡是能與多媒體技術(shù)有聯(lián)系的任何翻譯行為，都可以被統(tǒng)括在多媒體翻譯之下。

四、多模態(tài)翻譯透析

4.1從“模態(tài)”的含義說(shuō)起

“模態(tài)”（modality）一詞，源于生物學(xué)與生命科學(xué)中的5種感知渠道——視覺(jué)、聽覺(jué)、嗅覺(jué)、味覺(jué)和觸覺(jué)，當(dāng)這5種感知渠道用于交際時(shí)，就產(chǎn)生了5種交際模態(tài)。朱伊特（Jewitt）（184）認(rèn)為模態(tài)是“有組織、有規(guī)律的任何表現(xiàn)及交流方式”;顧曰國(guó)（3）從人機(jī)互動(dòng)中受到啟發(fā)，認(rèn)為人類通過(guò)感官與外部環(huán)境之間的互動(dòng)方式就是模態(tài)。模態(tài)，指交流的渠道和媒介，包括語(yǔ)言、技術(shù)、圖象、顏色和音樂(lè)等符號(hào)系統(tǒng)（朱永生83）。克雷斯和凡魯文（Kress & van Leeuwen ）（Multimodal Discourse 20）將“多模態(tài)”（multimodality）定義為：“在具體的社會(huì)情境中，同時(shí)被使用的多種符號(hào)資源，就構(gòu)成了多模態(tài)”，強(qiáng)調(diào)社會(huì)情境與多樣化符號(hào)資源的運(yùn)用;多模態(tài)指語(yǔ)篇中使用的多種符號(hào)資源，既包括口語(yǔ)及書面語(yǔ)資源，也包括圖像、空間及其他用于構(gòu)建語(yǔ)篇的非語(yǔ)言資源（Baldry & Thibault 4）;LeVine & Scollon（2）從社會(huì)語(yǔ)言學(xué)的視角出發(fā)，將多模態(tài)定義為“交際時(shí)所采用的多種模式，如言語(yǔ)、顏色、味道、圖像等”，諾里斯（Norris）（404）則認(rèn)為“言語(yǔ)交際方式與非言語(yǔ)交際方式（如手勢(shì)、姿勢(shì)）共同構(gòu)成了多模態(tài)的社會(huì)互動(dòng)”。綜合考慮，筆者認(rèn)為，多模態(tài)指用于建構(gòu)語(yǔ)篇或社會(huì)交際（互動(dòng)）的資源、渠道和媒介等多種模態(tài)構(gòu)成的符號(hào)系統(tǒng)，它不僅包括語(yǔ)言符號(hào)，也包括非語(yǔ)言符號(hào)。

傳統(tǒng)意義上的話語(yǔ)基于語(yǔ)言，如“話語(yǔ)是超越句子或小句的語(yǔ)言”（Harris 3），功能主義者認(rèn)為話語(yǔ)“是社會(huì)文化語(yǔ)境中互動(dòng)的產(chǎn)物”（代樹蘭26）。多模態(tài)中的“話語(yǔ)”刷新了話語(yǔ)本身的含義，多模態(tài)話語(yǔ)，指同時(shí)使用兩種及以上模態(tài)所形成的“現(xiàn)實(shí)知識(shí)的社會(huì)建構(gòu)”（Kress & van Leeuwen， Reading Images 17）。分析多模態(tài)話語(yǔ)時(shí)，不僅關(guān)注語(yǔ)言模態(tài)，還要關(guān)注聲音、圖像、動(dòng)作、空間、手勢(shì)、技術(shù)等非語(yǔ)言模態(tài)，“語(yǔ)言是社會(huì)符號(hào)（social semiotic）和意義潛勢(shì)（meaning potential），語(yǔ)言以外的其他符號(hào)系統(tǒng)也是意義的源泉”（朱永生 84）。

4.2 多模態(tài)翻譯面面觀

4.2.1 定義

目前關(guān)于這一概念的界定，至今未有定論。筆者認(rèn)為，多模態(tài)翻譯（multimodal translation），即多模態(tài)話語(yǔ)意義的翻譯。國(guó)內(nèi)有學(xué)者認(rèn)為，它至少包含三層含義：首先，多模態(tài)作品的翻譯，包括但不限于影視作品/視聽作品、漫畫、連環(huán)畫、題畫詩(shī)、兒童讀物、廣告等的翻譯;其次，翻譯中不同模態(tài)之間的轉(zhuǎn)換或綜合運(yùn)用，如將文字模態(tài)轉(zhuǎn)換為圖像模態(tài);第三，多模態(tài)理論在翻譯教學(xué)與實(shí)踐的運(yùn)用，如運(yùn)用多媒體技術(shù)展示多媒體文本，從而調(diào)動(dòng)學(xué)生的多個(gè)感官系統(tǒng)參與學(xué)習(xí)（許勉君 41）該論述囊括了與“多模態(tài)”、“翻譯”相關(guān)的幾個(gè)重要內(nèi)涵——多模態(tài)話語(yǔ)、模態(tài)轉(zhuǎn)換、多模態(tài)理論、多媒體、翻譯教學(xué)與實(shí)踐，具有重要參考價(jià)值。由此，多模態(tài)翻譯與多模態(tài)作品、模態(tài)轉(zhuǎn)換、多媒體技術(shù)、翻譯教學(xué)與實(shí)踐密切相關(guān)，不可分割。

4.2.2 理論基礎(chǔ)

多模態(tài)翻譯是翻譯學(xué)研究中的新術(shù)語(yǔ)、新事物，有待于被研究、挖掘。針對(duì)這一新術(shù)語(yǔ)，筆者擬嘗試性概括了它的理論基礎(chǔ)，主要包括三方面，即，多模態(tài)話語(yǔ)與多模態(tài)話語(yǔ)分析、與多媒體技術(shù)相關(guān)的理論知識(shí)及符際翻譯。鑒于筆者已介紹前兩方面，此處只簡(jiǎn)述符際翻譯。俄羅斯著名語(yǔ)言學(xué)家、翻譯學(xué)專家Roman Jakobson 在專著《論翻譯的語(yǔ)言學(xué)方面》（On Linguistic Aspects of Translation 232-239 ）中歸納了三種翻譯類型：語(yǔ)內(nèi)翻譯（intralingual transaltion）、語(yǔ)際翻譯（interlingual translation）和符際翻譯（intersemiotic translation）。其中，符際翻譯，又稱“變形”，指用某種非語(yǔ)言符號(hào)系統(tǒng)的符號(hào)來(lái)解釋語(yǔ)言符號(hào)的現(xiàn)象，例如，將書面文本轉(zhuǎn)換為音樂(lè)、電影或是繪畫等形式。符際翻譯將非語(yǔ)言符號(hào)納入研究對(duì)象，將語(yǔ)言符合與非語(yǔ)言符號(hào)之間的信息傳播作為研究?jī)?nèi)容，超越了傳統(tǒng)意義上的翻譯內(nèi)涵，為翻譯研究開拓了新視野、新思路。多模態(tài)翻譯的其中一個(gè)含義在于不同模態(tài)（語(yǔ)言模態(tài)與非語(yǔ)言模態(tài)）之間的轉(zhuǎn)換或綜合運(yùn)用，鑒于此點(diǎn)，筆者認(rèn)為多模態(tài)翻譯與符際翻譯有異曲同工之妙。

4.2.3 研究前瞻

與翻譯學(xué)研究領(lǐng)域內(nèi)的其他類研究（如文學(xué)翻譯、科技翻譯等）相比，多模態(tài)翻譯研究比較滯后。究其原因，有兩方面：其一，以往的研究側(cè)重于單模態(tài)（主要指語(yǔ)言）層面的語(yǔ)際翻譯，忽略了非語(yǔ)言符號(hào)與語(yǔ)言符號(hào)系統(tǒng)之間的符際翻譯;其二，多模態(tài)翻譯的理論基礎(chǔ)之一——多模態(tài)話語(yǔ)理論尚不成熟、不完善，從而限制了研究的深層次發(fā)展。此外，“目前國(guó)內(nèi)關(guān)于多模態(tài)翻譯的研究，主要集中在影視翻譯和多模態(tài)翻譯教學(xué)體系構(gòu)建方面，并且多數(shù)研究，只是簡(jiǎn)單套用了多模態(tài)話語(yǔ)分析理論，研究方法和內(nèi)容大同小異，研究視角單一，缺乏深度和廣度”（許勉君40）。展望未來(lái)的多模態(tài)翻譯研究，應(yīng)以多模態(tài)翻譯學(xué)科建設(shè)為主要旨?xì)w，從純理論研究、應(yīng)用研究及方法論建設(shè)三方面同等發(fā)力，具體研究?jī)?nèi)容應(yīng)包括：多模態(tài)翻譯理論建構(gòu)、多模態(tài)語(yǔ)料庫(kù)建設(shè)與研究、多模態(tài)翻譯產(chǎn)品、過(guò)程與功能研究、多模態(tài)翻譯人才培養(yǎng)、多模態(tài)翻譯質(zhì)量評(píng)估研究等。

五、結(jié)語(yǔ)

本文對(duì)視聽翻譯、多媒體翻譯與多模態(tài)翻譯三個(gè)概念進(jìn)行了相關(guān)辨析，呈現(xiàn)了它們的淵源、研究與發(fā)展。綜合上述分析，筆者認(rèn)為，視聽翻譯、多媒體翻譯與多模態(tài)翻譯三個(gè)概念之間既相互區(qū)別，又彼此聯(lián)系（如圖所示）。

圖? 視聽翻譯、多媒體翻譯與多模態(tài)翻譯的關(guān)系

視聽翻譯強(qiáng)調(diào)的是視聽文本（如電影、電視劇、脫口秀等）翻譯過(guò)程中的多符號(hào)、多維信息的轉(zhuǎn)換，本質(zhì)上，它是視聽文化的翻譯，具體體現(xiàn)為視聽文化產(chǎn)品的翻譯;多媒體翻譯側(cè)重多媒體文本（如網(wǎng)頁(yè)翻譯、連環(huán)漫畫、網(wǎng)絡(luò)動(dòng)畫等）翻譯或轉(zhuǎn)換過(guò)程中所使用的多媒體電子系統(tǒng)、媒介及渠道，本質(zhì)上，它是依托于多媒體技術(shù)的翻譯;而多模態(tài)翻譯的重點(diǎn)在于多模態(tài)話語(yǔ)（如影視作品、兒童讀物等）的翻譯中多模態(tài)（如語(yǔ)言、聲音、圖像、技術(shù)等）信息的轉(zhuǎn)換，本質(zhì)上是不同模態(tài)的話語(yǔ)之間的轉(zhuǎn)換與翻譯。當(dāng)人們使用不同的符號(hào)資源或模態(tài)來(lái)制作、翻譯視聽文本時(shí)，視聽文本就具有了“多模態(tài)”屬性，視聽翻譯可被稱為“多模態(tài)翻譯”。當(dāng)各種模態(tài)，如語(yǔ)言、圖像、音樂(lè)、顏色、視角與多媒體屏幕的主要功能相組合時(shí)，視聽文本就具有了“多媒體”屬性，視聽翻譯亦可被稱為“多媒體翻譯”。如尼葛洛龐帝（Negroponte）（68）所言：“視聽文本的視覺(jué)模態(tài)與聽覺(jué)模態(tài)在多媒體技術(shù)的協(xié)調(diào)下，借助屏幕得以同步呈現(xiàn)，因此，視聽文本不僅有多模態(tài)屬性，而且有多媒體屬性”。

此外，多模態(tài)話語(yǔ)分析需要借助多媒體手段，如聲音的轉(zhuǎn)錄、動(dòng)態(tài)圖像的錄制與分解，語(yǔ)料庫(kù)的建立等，它的發(fā)展將日趨結(jié)合多模態(tài)和多媒體（辛志英 210）。多模態(tài)理論（尤指多模態(tài)話語(yǔ)分析理論）為視聽翻譯研究提供了重要的理論支撐，是視聽翻譯研究的必要理論;多媒體為視聽翻譯研究與實(shí)踐提供了必要的技術(shù)支持，視聽翻譯的蓬勃發(fā)展，是多媒體技術(shù)、信息技術(shù)與數(shù)字網(wǎng)絡(luò)技術(shù)的必然產(chǎn)物。

引用文獻(xiàn)【W(wǎng)orks Cited】

Baker， Mona and Gabriela Saldanha， eds. Routledge Encyclopedia of Translation Studies. 2nd Edition. London： Routledge， 2009.

Baldry， Anthony， and Paul J. Thibault. Multimodal Transcription and Text Analysis： A Multimedia Toolkit and Coursebook. London/ Oakville： Equinox， 2006.

Bassnett， Susan. Translation Studies. London： Methuen， 1991.

代樹蘭：話語(yǔ)、話語(yǔ)分析與多模態(tài)話語(yǔ)分析的界定與發(fā)展?！段靼餐鈬?guó)語(yǔ)大學(xué)學(xué)報(bào)》3（2013）：26-30。

[Dai， Shulan. “The definition and development of discourse， discourse analysis and multimodal discourse analysis.” Journal of Xi an International Studies University 3（2013）： 26-30.]

Delabastita， Dirk. “Translation and mass-communication： Film and TV Translation as evidence of cultural dynamics.” Babel 4（1989）： 193-218.

Díaz Cintas， Jorge. “Introduction- Audiovisual translation： An overview of its potential.” New Trends in Audiovisual Translation. Ed. Jorge Díaz-Cintas. Bristol， Buffalo， Toronto： Multilingual Matters Limited. 2009. 1-20.

董海雅：西方語(yǔ)境下的影視翻譯研究概覽?！渡虾７g》1（2007）：12-17。

[Dong， Haiya. “A review on audiovisual translation studies in western context.” Shanghai Journal of Translation 1（2007）： 12-17.]

——：蓬勃發(fā)展的視聽翻譯研究及教學(xué)——Jorge Díaz-Cintas訪談?！渡虾７g》4（2012）：53-57。

[---. “An interview with Jorge Díaz Cintas on audiovisual translation studies.” Shanghai Journal of Translation 4 （2012）： 53-57.]

董璐：《傳播學(xué)核心理論與概念》。北京：北京大學(xué)出版社，2008。

[Dong， Lu. Key Theories and Concepts in Communication. Beijing： Beijing University Press， 2008.]

Gambier， Yves， and Henrik Gottlieb， eds. （Multi） Media Translation. Amsterdam： John Benjamins， 2001.

Gambier， Yves. “Screen transadaptation： Perception and reception.” The Translator 2 （2003）： 171-189.

---. “The position of audiovisual translation studies.” The Routledge Handbook of Translation Studies. Eds. Carmen Millán and Francesca Bartrina. London and New York： Routledge Tylor & Francis Group. 2013. 45-59.

顧曰國(guó)：多媒體、多模態(tài)學(xué)習(xí)剖析?！锻庹Z(yǔ)電化教學(xué)》2（2007）：3-12。

[Gu， Yueguo. “On multimedia learning and multimodal learning.” Computer-Assisted Foreign Language Education 2（2007）： 3-12.]

韓晗：早期視聽文化：中國(guó)現(xiàn)代文化產(chǎn)業(yè)的重要起源?！段錆h大學(xué)學(xué)報(bào)（人文科學(xué)版）》5（2017）：111-117。

[Han， Han. “Early audiovisual culture： the important origin of Chinese modern cultural industries.” Wuhan University Journal （Arts & Humanity） 5（2017）： 111-117.]

Harris， Zelling. “Discourse analysis.” Language 28 （1952）： 1-30.

Jakobson， Roman. “On linguistic aspects of translation.” On Translation. Ed. Reuben. A. Brower. Cambridge， MA： Harvard University Press. 1959. 232-239.

Jewitt， Carey. “Multimodality and new communication technologies.” Multimodal Discourse Analysis. Ed. OHalloran， Kay. London and New York： Continuum. 2004. 184-195.

Kress， Gunther， and Theo van Leeuwen. Multimodal Discourse. London： Edward Arnold， 2001.

---. Reading Images： The Grammar of Visual Images. London： Routledge， 1996.

LeVine， Philip， and Ron Scollon eds. Discourse and Technology： Multimodal Discourse Analysis. Washington， D. C.： Georgetown University Press， 2004.

李春媚：四大媒體特征論。《湖南大眾傳媒職業(yè)技術(shù)學(xué)院學(xué)報(bào)》1（2004）：15-18。

[Li， Chunmei. “On the features of the four media forms.” Journal of Hunan Mass Media Vocational Technical College 1 （2014）： 15-18.]

劉大燕：析 AVT 名稱演變：從電影翻譯到多媒體翻譯?！渡虾７g》4（2010）：61-65。

[Liu， Dayan. “The Name of AVT—AVT studies from film translation to multimedia translation.” Shanghai Journal of Translation 4（2010）： 61-65.]

Munday， Jeremy. Introducing Translation Studies. 3rd Edition. London and New York： Routledge， 2012.

Negroponte， Nicholas. “Multimedia.” Feb 8， 2018 .

Norris， Sigrid. “Multiparty interaction： a multimodal perspective on relevance.” Discourse Studies 3（2006）： 401-421.

Orero， Pilar. “Audiovisual translation： A new dynamic umbrella.” Topics in Audiovisual Translation. Ed. Pilar Orero. Amsterdam/ Philadelphia： John Benjamins. 2004：vii-xiii.

龐井君：當(dāng)代人類文化發(fā)展的視聽轉(zhuǎn)型?！短旖蛏鐣?huì)科學(xué)》5（2013）：36-43。

[Pang， Jingjun. “The audiovisual transition of contemporary peoples cultural development.” Tianjin Social Sciences 5（2013）： 36-43.]

彭典貴：影視翻譯中情色禁忌語(yǔ)的歸化策略?！渡虾７g》3（2013）：66-68。

[Peng， Diangui. “On domestication strategy of sexual language in audiovisual translation.” Shanghai Journal of Translation 3（2013）： 66-68.]

Snell-Hornby， Mary. The Turns of Translation Studies： New Paradigms or Shifting Viewpoints？ Amsterdam/ Philadelphia： John Benjamins Publishing Company， 2006.

---. Translation Studies： An Integrated Approach. Amsterdam and Philadelphia： John Benjamins， 1995.

Taylor， Christopher. “The multimodal approach in audiovisual translation.” Target 2（2016）： 222-36.

王海：《傳媒翻譯概論》。廣州：暨南大學(xué)出版社，2011。

[Wang， Hai. An Introduction to Translation for the Media. Guangzhou： Jinan University Press， 2011.]

肖維青：論影視翻譯課程的技術(shù)路徑?！吨袊?guó)翻譯》5（2012）：44-47。

[Xiao， Weiqing. “On the technological method of audiovisual translation course.” Chinese Translators Journal 5（2012）： 44-47.]

謝天振：現(xiàn)行翻譯定義已落后于時(shí)代的發(fā)展——對(duì)重新定位和定義翻譯的幾點(diǎn)反思?！吨袊?guó)翻譯》3（2015）：14-15。

[Xie， Tianzhen. “The current definition of translation has been outdated—some reflections on the repositioning and redefinition of translation.” Chinese Translators Journal 3（2015）： 14-15.]

辛志英：話語(yǔ)分析的新發(fā)展——多模態(tài)話語(yǔ)分析?！渡鐣?huì)科學(xué)輯刊》5（2008）：208-211。

[Xin， Zhiying. “The new development of discourse analysis—multimodal discourse analysis.” Social Science Journal 5（2008）： 208-211.]

許勉君：中國(guó)多模態(tài)翻譯研究述評(píng)。《廣東外語(yǔ)外貿(mào)大學(xué)學(xué)報(bào)》2（2017）：40-46。

[Xu， Mianjun. “A review of multimodal translation studies in China.” Journal of Guangdong University of Foreign Studies 2（2017）： 40-46.]

朱永生：多模態(tài)話語(yǔ)分析的理論基礎(chǔ)與研究方法?！锻庹Z(yǔ)學(xué)刊》5（2007）：82-86。

[Zhu， Yongsheng. “On theoretical basis and research methods of multimodal discourse analysis.” Foreign Language Research 5（2007）： 82-86.]