王 娟

（上海師范大學(xué)，上海200240）

提 要：字幕翻譯認(rèn)知實(shí)證研究主要涉及受眾的認(rèn)知加工。 本文對(duì)1985 -2016 年間相關(guān)英文文獻(xiàn)①進(jìn)行梳理分析發(fā)現(xiàn)，研究過程包括受眾表現(xiàn)研究路徑、行為研究路徑兩種類型（Kruger， Steyn 2013:1038）。 2000 年后，前者日益萎縮，而后者則如雨后春筍；此外，涉及內(nèi)容呈多樣化，如語言習(xí)得、閱讀影響因素、注意力分配、文本分塊等多方面。 本文在梳理分析其研究的成就和存在的不足以及對(duì)未來的研究進(jìn)行展望的基礎(chǔ)上，對(duì)國(guó)內(nèi)相關(guān)研究進(jìn)行分析并給出建議。

1 引言

字幕翻譯指對(duì)視聽文本進(jìn)行文字轉(zhuǎn)錄和翻譯，如英文電影的中文字幕。 相對(duì)配音而言，由于字幕成本低廉，效果良好，可以讓視聽產(chǎn)品得到迅速傳播，同時(shí)又有幫助二語教學(xué)或有視聽障礙的人享受觀看視頻的多種效應(yīng)，所以被廣泛應(yīng)用，字幕研究也成為視聽翻譯中關(guān)注較多、發(fā)展較快的一部分。

本文聚焦于字幕翻譯的認(rèn)知實(shí)證研究，討論在字幕翻譯中認(rèn)知加工的作用，涉及生產(chǎn)端（譯者的認(rèn)知加工）和接收端（受眾的認(rèn)知加工）。 在目前的研究中，前者涉及較少，而以后者為主。 這可能是因?yàn)榫妥帜环g性質(zhì)而言，它要比其他形式的翻譯更需要注重受眾的感受，以更有針對(duì)性地作出翻譯決策。 對(duì)觀看字幕翻譯的受眾的認(rèn)知加工情況，我們還知之甚少。 研究受眾的認(rèn)知特點(diǎn)將有助于我們了解他們的認(rèn)知規(guī)律，同時(shí)避免字幕翻譯的誤區(qū)。

近年，國(guó)內(nèi)對(duì)字幕翻譯的研究呈不斷發(fā)展的態(tài)勢(shì)，但大多是借用傳統(tǒng)語言學(xué)或翻譯學(xué)的理論，對(duì)字幕翻譯的討論比較零散，且多是個(gè)案研究，同質(zhì)化傾向較重，亟需提高學(xué)科性理論和研究方法（林娜席紀(jì)新2016:57）。 對(duì)西方視聽翻譯研究的關(guān)注和總結(jié)（劉大燕2010，呂潔2013）也涉及字幕翻譯，這些論（綜）述促進(jìn)我們對(duì)國(guó)外視聽翻譯的理解。 就已有的國(guó)內(nèi)文獻(xiàn)資料看，其關(guān)注點(diǎn)多是介紹各種新的視聽翻譯形式，還沒有專門研究字幕翻譯這一較為重要的領(lǐng)域，也沒有關(guān)注過程實(shí)證研究這一方面——而這恰恰是近年來國(guó)外研究關(guān)注最多、最突出的一個(gè)分支。 因此，有必要對(duì)西方字幕翻譯過程實(shí)證研究進(jìn)行梳理、總結(jié)，了解其最新進(jìn)展及成果，反思其中的不足，并對(duì)未來的研究提出問題與展望，以期對(duì)國(guó)內(nèi)相關(guān)研究給予積極的建議。

2 數(shù)據(jù)來源

本研究首先確定文獻(xiàn)來源，獲取全面且具代表性的字幕翻譯認(rèn)知實(shí)證研究成果。 選用Translation Studies Bibliography，Bibliography of Interpreting and Translation 和Google Scholar 這3 個(gè)數(shù)據(jù)庫。 在摘要中搜索subtitling 及其相關(guān)詞subtitle，subtitler，caption. 經(jīng)過梳理、通讀全文，排除無關(guān)內(nèi)容、去重。 同時(shí)也考察這些文獻(xiàn)后的參考文獻(xiàn)，看是否與本研究相關(guān)。 以這種“滾雪球技術(shù)”（snowballing technique）篩選出總共80 篇英語文獻(xiàn)。

3 數(shù)據(jù)分析

根據(jù)已有的文獻(xiàn)，較早的字幕翻譯認(rèn)知實(shí)證研究可以追溯到1985 年（d'Ydewalle et al. 1985），2000 年后相關(guān)研究在數(shù)字技術(shù)的推動(dòng)下才越來越多。 受翻譯研究過程轉(zhuǎn)向②的影響，近10 年來逐年上升，尤其是近5 年來增長(zhǎng)顯著（見圖1）。

圖1 字幕翻譯研究的發(fā)展趨勢(shì)

4 字幕翻譯認(rèn)知實(shí)證研究的路徑及成就

研究者認(rèn)為，對(duì)認(rèn)知過程的探索可以有兩個(gè)研究路徑:受眾表現(xiàn)研究路徑和行為研究路徑。依此，字幕翻譯認(rèn)知實(shí)證研究可分為表現(xiàn)研究路徑和行為研究路徑。 前者占比例較小，主要是字幕翻譯對(duì)受眾外在學(xué)習(xí)表現(xiàn)的影響。 通過問卷、調(diào)查，將有正確答案的作為表現(xiàn)的指標(biāo)；后者占主要部分（見圖2），一般使用行為研究或者生理性（physiological）技術(shù)手段研究，如眼動(dòng)跟蹤（eyetracking）、神經(jīng)科學(xué)等。

圖2 字母翻譯研究主要路徑

4.1 表現(xiàn)研究路徑

表現(xiàn)研究所占比例?。ㄒ妶D2），主要圍繞語言學(xué)習(xí)中字幕的使用所帶來的益處。 具體而言，字幕是否會(huì)促進(jìn)語言習(xí)得。 對(duì)此有兩種截然相反的意見:一方面，多數(shù)學(xué)者持肯定觀點(diǎn)。 如Bird 和Williams 認(rèn)為，字幕可以促進(jìn)理解和聽力、詞匯獲得（Bird， Williams 2002:525）；另一些學(xué)者則持不同的意見，如Diao 等基于認(rèn)知負(fù)載理論認(rèn)為，字幕雖然對(duì)理解有所幫助，但也會(huì)讓受眾分散注意力，不能專注于聽（Diao et al. 2007:240）。 Markham 認(rèn)為，如學(xué)習(xí)者層次較低，從字幕中受益就會(huì)很少（Markham 1999:322）。 Vanderplank 則指出，在運(yùn)用字幕時(shí)，必須有合適的任務(wù)設(shè)置和教學(xué)設(shè)計(jì)，否則受眾在語言習(xí)得上不會(huì)有很大的收獲（Vanderplank 1999:255）。

這一路徑的研究成果主要來自教育心理學(xué)，所用的方法多是一些問卷調(diào)查、被試自己的反思等。 由于難以控制細(xì)微的閱讀變量（如字幕出現(xiàn)的時(shí)候，被試是否在閱讀、閱讀的深度），因此難以確定信息來源變量（被試接受信息時(shí)，是通過字幕、聽覺通道、還是視覺通道），很多研究只是簡(jiǎn)單地比較在有字幕和沒有字幕情況下觀看的感受。 由于研究設(shè)計(jì)的不完善、所選材料不科學(xué)（同上2016:260），導(dǎo)致研究雖多，但收獲有限。

表現(xiàn)研究或者說以表現(xiàn)路徑為主的字幕翻譯認(rèn)知實(shí)證研究，在新世紀(jì)之后逐漸減少（見圖3）。

圖3 字幕翻譯路徑趨勢(shì)

4.2 行為研究路徑

這一路徑的研究在上世紀(jì)90 年代就有所涉及，但參與者寥寥。 之后，尤其是近年來得益于翻譯研究的過程轉(zhuǎn)向、實(shí)驗(yàn)手段及數(shù)字技術(shù)的不斷發(fā)展，有增多的趨勢(shì)（見圖3）。 其所運(yùn)用的生理性研究技術(shù)手段可以較為精確地、客觀而實(shí)時(shí)地測(cè)量和確定字幕認(rèn)知加工過程中的一些變量。 將這一路徑進(jìn)一步細(xì)分，對(duì)研究關(guān)鍵詞中出現(xiàn)頻率較多的詞加以歸類，發(fā)現(xiàn)這一研究路徑主要圍繞字幕閱讀的影響因素、注意力分配、字幕的文本分塊3 個(gè)問題展開（見圖2）。 不同的研究主題之間會(huì)有重疊、交叉的情況。 在統(tǒng)計(jì)的時(shí)候，以該文獻(xiàn)圍繞的主要問題來歸類。

4.21 對(duì)字幕閱讀的影響因素

字幕閱讀和靜態(tài)文本閱讀不一樣。 與閱讀紙質(zhì)文本相比，受眾對(duì)字幕的回溯（regression，即眼睛去看已經(jīng)閱讀過的材料）的增加，固視持續(xù)時(shí)間較短，固視數(shù)量較多（d'Ydewalle， De Bruycker 2007:7），其影響因素如下。 （1）受眾本身。 受眾是否熟悉字幕形式會(huì)影響字幕閱讀，這一點(diǎn)尤其體現(xiàn)在兩行字幕的長(zhǎng)度延遲（latency）上:字幕在屏幕上停留的時(shí)間有一定行規(guī)限制，兩行字幕比一行字幕的停留時(shí)間長(zhǎng)一些。 如果被試有這種期待，就會(huì)慢悠悠地將視線從影像轉(zhuǎn)到字幕。 也就是說，此時(shí)將視線從影像轉(zhuǎn)到字幕會(huì)發(fā)生一個(gè)較長(zhǎng)的延遲。 研究人員還發(fā)現(xiàn)年齡因素的影響。 年幼的孩子，如二年級(jí)學(xué)生，會(huì)對(duì)文本有更長(zhǎng)的固視和更短的掃視（同上:203）。 Perego 等學(xué)者（2015:19，2016:270）比較配音和字幕條件下年輕人和老年人的表現(xiàn)時(shí)發(fā)現(xiàn)，老年人在所有認(rèn)知測(cè)量上的得分都要差一些，但相對(duì)來說字幕更支持老年人的認(rèn)知，不過年齡不會(huì)導(dǎo)致太大字幕閱讀行為的差異。Linebarger 等學(xué)者認(rèn)為，受眾的閱讀能力非常重要。受眾閱讀能力差，理解屏幕上的文字很困難，閱讀字幕的動(dòng)力就不高。 而如果受眾閱讀能力高，會(huì)在一定程度上忽視字幕（Linebarger 2010:160）。

（2）信息冗余度。 字幕條件下有很高的信息冗余度，因?yàn)楦鱾€(gè)渠道（聲音、畫面、字幕）輸出的信息都有部分重疊。 信息冗余度高低會(huì)引發(fā)不同的認(rèn)知加工行為。 d'Ydewalle， De Bruycker 在對(duì)一行字幕和兩行字幕的閱讀比較中發(fā)現(xiàn)，一行字幕一般很短，其中包含的信息多已包含在畫面或聲音中，因此觀察到有更多的回溯（即眼睛去看已經(jīng)閱讀過的材料），有更多的詞被跳過（d'Ydewalle， De Bruycker 2007:198）。 Kruger 等人在此基礎(chǔ)上進(jìn)一步指出，認(rèn)知加工程度不僅與字幕長(zhǎng)度有關(guān)，更與其中所包含的詞匯頻率高低有關(guān)，高頻率詞匯在字幕中經(jīng)常會(huì)被跳過，要求加工方式更像是一種形狀識(shí)別和匹配、掃視，而非閱讀（即持續(xù)地關(guān)注）（Kruger 2015:10）。

（3）研究較多的顯示方式包括:1）行間距離。研究人員發(fā)現(xiàn)，兩行字幕的行間距離小，被試的視線從一行末跳到另一行首，會(huì)增加修正眼動(dòng)的頻率，降低閱讀效率。 研究人員因此假設(shè)，行間距離會(huì)對(duì)認(rèn)知產(chǎn)生一個(gè)橫向干擾。 依此推之，干擾效果會(huì)隨著行間距離增加而減少（d'Ydewalle， De Bruycker 2007:202）。 但到目前為止，對(duì)行間距離的操縱還沒有產(chǎn)生更多足夠的證據(jù)去支持這個(gè)假設(shè)。 2）視頻類型和剪輯。 受眾一般感覺不到電影的剪輯，認(rèn)為它是連續(xù)的整體，這就是所謂的“剪輯盲癥”（Kruger et al. 2015:9）。 但是，如果剪輯過多，受眾為維持這種整體感，認(rèn)知負(fù)載就會(huì)增加，從而影響對(duì)字幕的理解。 d'Ydewalle 和Van Rensbergen 發(fā)現(xiàn)，如果電影動(dòng)作多、節(jié)奏快、視覺效果強(qiáng)烈，受眾來不及關(guān)注其他因素，因此對(duì)字幕的關(guān)注就較少（d'Ydewalle，Van Rensbergen 1989:240）。 3）字幕呈現(xiàn)速度。 Kruger 和Steyn 認(rèn)為，當(dāng)字幕的呈現(xiàn)速度加快時(shí)，認(rèn)知資源會(huì)優(yōu)先分配給更穩(wěn)定的信息源（如幻燈片），或者非言說的視覺語境信息（如演講者的面部）（Kruger， Steyn 2013:110）。 4）語言。 標(biāo)準(zhǔn)字幕（字幕是母語，聲音是外語）、反向字幕（聲音是母語，字幕是外語）和語內(nèi)字幕（字幕和聲音是同一語言）的比較。研究人員發(fā)現(xiàn)，標(biāo)準(zhǔn)字幕的認(rèn)知加工程度一般比反向字幕的要深（Bisson et al. 2014:400）。 反向字幕有更多不規(guī)則的閱讀模式，如更多的字幕會(huì)被忽略，更少的固視，更長(zhǎng)的注意力延遲。 令人驚訝的是，反向字幕對(duì)外語詞匯習(xí)得的促進(jìn)作用比正向字幕更大（d'Ydewalle， De Bruycker 2007:200）。 Kruger 等（2014:10）調(diào)查不同語言的字幕對(duì)認(rèn)知負(fù)載的影響，地點(diǎn)是在南非，大學(xué)課程授課語言是英語。 實(shí)驗(yàn)中放英語PPT，分別用母語和二語字幕。 研究者發(fā)現(xiàn)，母語字幕會(huì)導(dǎo)致較好的長(zhǎng)時(shí)記憶表現(xiàn)，而英語字幕則會(huì)提高短時(shí)記憶表現(xiàn)。 5）翻譯策略。 在Ghia （2012:160）的研究中，被試是學(xué)習(xí)英語的意大利人，觀看有母語字幕的英語電影。 研究者發(fā)現(xiàn)，意譯會(huì)導(dǎo)致視線在文本和影像之間有更多的轉(zhuǎn)移。 不過，因?yàn)樵撗芯渴峭ㄟ^回放每個(gè)被試的凝視來獲取數(shù)據(jù)，所以其研究的被試數(shù)量、視頻的長(zhǎng)度都有限。

這類研究有助于我們了解受眾如何加工、融合、理解不同來源的信息，但還可以在以下方面作進(jìn)一步的探索:受眾對(duì)不同機(jī)器出現(xiàn)的字幕內(nèi)容的加工情況；系統(tǒng)地探索有字幕節(jié)目的確切特點(diǎn)，以及它如何影響加工策略（如對(duì)話和視覺信息的相關(guān)重要性、情節(jié)的復(fù)雜性，文本—影像冗余性程度）等（Perego et al. 2010:269）；需要進(jìn)一步考慮受眾的特別差異，需要探索受眾的執(zhí)行控制力、注意力的差異、加工速度的差異如何影響其加工字幕的能力等。

4.22 字幕和畫面之間的注意力分配

首先，字幕出現(xiàn)時(shí)對(duì)注意力的自動(dòng)吸引。 研究人員發(fā)現(xiàn)，字幕一出現(xiàn)，受眾的視線就會(huì)自動(dòng)轉(zhuǎn)到字幕上，注意力從畫面轉(zhuǎn)移到文本（d'Ydewalle，De Bruycker 2007:200）。 字幕對(duì)視線的這種自然吸引不僅因?yàn)槲谋臼怯幸饬x的信息。 換句話說，受眾下意識(shí)地對(duì)照字幕來理解視頻，效果會(huì)更好。在有限的時(shí)間內(nèi)融合信息的不同方面，而不必使短時(shí)記憶過載。 還因?yàn)樽帜坏某霈F(xiàn)會(huì)給屏幕帶來變化——受眾會(huì)下意識(shí)地把眼睛移到屏幕變化的地方，這是一個(gè)從下到上的沖動(dòng)。 即體現(xiàn)出一種視覺通道主導(dǎo)性:說明視覺在和聽覺相互競(jìng)爭(zhēng)注意力時(shí)，視覺總會(huì)占上風(fēng)（d'Ydewalle et al. 1991:660）。

其次，注意力分配會(huì)不會(huì)導(dǎo)致認(rèn)知負(fù)載的加重？ 注意力初始早期選擇理論（Early-selection Theories of Attention）推測(cè)，在觀看有字幕的視頻時(shí)，受眾要在文本和畫面之間進(jìn)行多重注意力轉(zhuǎn)換，對(duì)復(fù)雜的信息來源的監(jiān)控需要不同的加工策略，而且也必須分配出一些認(rèn)知資源去證實(shí)不同信息源的信息。 因此字幕會(huì)導(dǎo)致認(rèn)知過載，對(duì)觀看體驗(yàn)產(chǎn)生消極影響（Perego et al. 2010:244）。隨著研究方法的進(jìn)步，研究人員對(duì)此做出不同的回答。 以d'Ydewalle， De Bruycker（2007:201）為代表的觀點(diǎn)是，注意力的轉(zhuǎn)換不費(fèi)力，不同的認(rèn)知過程可以同時(shí)平行進(jìn)行，受眾有能力同時(shí)加工字幕和畫面；以Kruger 等（2016:20）為代表的觀點(diǎn)則認(rèn)為，心理測(cè)量③和EEG 技術(shù)④證明，字幕會(huì)刺激大腦后頂葉皮層這一和具象認(rèn)知活動(dòng)密切相關(guān)的區(qū)域。 這充分證明，字幕能夠促進(jìn)影片的代入感（immersion）。 也就是說，幫助受眾更沉浸于視頻的故事敘述，仿佛置身于另一個(gè)世界。 從而為字幕的認(rèn)知有效性從另一個(gè)角度提供實(shí)證證據(jù)支持。

然而，很多研究并沒有考察被試對(duì)各個(gè)信息渠道的信息加工情況，因而其證明并不十分令人信服。 以Perego 等（2010）為代表的研究者進(jìn)一步指出，如果在不同的信息源之間轉(zhuǎn)換注意力，融合這些信息須要付出很大的認(rèn)知努力，且吸收不同渠道的信息不可能等值:如果更多的認(rèn)知資源被投入于字面加工，那么視覺場(chǎng)景加工就不太有效率，反之亦然。 為檢驗(yàn)這個(gè)假設(shè)，Perego 等（2010:269）用眼動(dòng)跟蹤（eye-tracking）、文字識(shí)別（word recognition）、電影場(chǎng)景識(shí)別（visual scene recognition）等方法研究發(fā)現(xiàn)，在一般情況下，被試能夠成功融合多源信息、合理分配在各個(gè)信息源上所花的時(shí)間，字幕只會(huì)促進(jìn)認(rèn)知，而非導(dǎo)致認(rèn)知過載。

以上研究雖然已具有一定的成果，但在字幕加工認(rèn)知有效性的界限等方面，還需要進(jìn)一步的探索。 如果不同來源的信息很復(fù)雜，信息變化很快，信息來源之間冗余度很少，那么注意力轉(zhuǎn)換、分配和信息的融合就可能會(huì)出現(xiàn)問題。 受眾可能會(huì)更多地關(guān)注需要較少認(rèn)知努力的信息來源（即視覺信息），而對(duì)字幕的關(guān)注就會(huì)減少。

4.23 字幕的文本分塊

以往對(duì)字幕翻譯中文本分塊的討論主要基于審美。 隨著行為路徑研究的發(fā)展，研究人員試圖基于實(shí)證為文本的分塊找出科學(xué)依據(jù)，目的在于給字幕分段提供更為合理的解釋，讓字幕分段進(jìn)一步符合認(rèn)知規(guī)律，減輕受眾的認(rèn)知負(fù)載。

有學(xué)者認(rèn)為，文本分塊不會(huì)對(duì)受眾的觀看體驗(yàn)有明顯的影響。 Perego 等（同上:243）觀察不同的分段方式在固視數(shù)量、整個(gè)固視時(shí)間、字幕區(qū)域和畫面區(qū)域之間視線轉(zhuǎn)移的數(shù)量，結(jié)果并無太大差異。 字幕的認(rèn)知加工不太受分段限制，受眾很容易自行調(diào)整適應(yīng)分段。 但他們對(duì)同一組被試使用同一字幕的不同分段，實(shí)驗(yàn)結(jié)果會(huì)受被試記憶的影響，并且字幕樣本少會(huì)使其結(jié)論無法推廣。也有研究人員對(duì)其研究方法提出質(zhì)疑，認(rèn)為其沒有考慮到字幕過程的特點(diǎn)，將靜態(tài)文本中固視計(jì)算方法沿用到字幕研究中（Rajendran et al. 2013:10），但這不影響其是一個(gè)很細(xì)致的心理語言學(xué)研究。

更多的學(xué)者則認(rèn)為，不同的文本分塊對(duì)字幕認(rèn)知加工有很大的影響:Rajendran 等（同上:5）研究發(fā)現(xiàn)，滾動(dòng)字幕（一個(gè)字一個(gè)字地出現(xiàn)）的認(rèn)知加工效率最低:被試對(duì)滾動(dòng)字幕（字對(duì)字的）需投入大概兩倍的固視，花較多的時(shí)間去加工文本，而不是視覺場(chǎng)景。 他們（同上:11）認(rèn)為，短語分段和句子分段能夠讓受眾花較少時(shí)間在字幕閱讀上，使受眾的觀看體驗(yàn)更好，認(rèn)知加工較為省力。 但就理解來說，沒有太大差異。 該研究分析詳盡，但視頻時(shí)間很短（不到一分鐘），沒有聲音，因此結(jié)論仍不具有可推廣性。

5 問題與展望

首先在理論方面，字幕翻譯研究一直深度依賴于翻譯研究的發(fā)展。 事實(shí)上，學(xué)者們對(duì)于視聽翻譯本身的未來走向目前觀點(diǎn)不一。 它可能會(huì)繼續(xù)停留在翻譯研究之內(nèi)，也可能會(huì)開辟出一個(gè)新的學(xué)術(shù)領(lǐng)域，逐漸自成一個(gè)獨(dú)立的學(xué)科。 但肯定的是，目前過于借鑒其他學(xué)科的理論和模型，其理論和研究方法都不甚統(tǒng)一，這將妨礙其研究的進(jìn)一步發(fā)展。 對(duì)字幕翻譯的相關(guān)思考始于上世紀(jì)30 年代，但局限于隨感式的討論。 因?yàn)榕c傳統(tǒng)的翻譯形式不同，也無法遵循對(duì)等的翻譯要求，所以一直被認(rèn)為無法理論化，被排除在翻譯研究之外。90 年代末隨著翻譯定義的擴(kuò)大⑤，此時(shí)翻譯不再局限于對(duì)等概念，字幕翻譯才得以被納入到學(xué)術(shù)研究中，逐漸擺脫邊緣化的狀態(tài)。 但翻譯研究中能夠支持其進(jìn)一步發(fā)展的理論顯得后勁不足。 與之相關(guān)的只有Roman Jakobson 的符際（intersemiotic）翻譯，詳細(xì)探討非言說（non-verbal）因素對(duì)意義形成的貢獻(xiàn)。 但它過于強(qiáng)調(diào)結(jié)構(gòu)和編碼，忽略語義系統(tǒng)的功能和社會(huì)用途（Pérez-González 2014:126），并不完全適用于作為字幕翻譯的理論框架。 字幕翻譯認(rèn)知實(shí)證研究要取得進(jìn)一步的發(fā)展必須要找到合適的概念網(wǎng)絡(luò)和理論框架及系統(tǒng)整合研究方式。 而適合字幕翻譯實(shí)證研究特點(diǎn)的應(yīng)該是一種多模式（multimodality）意義翻譯的理論假設(shè)，即對(duì)影像和詞匯的結(jié)合所構(gòu)建的意義、視聽信息不同因素之間的影響進(jìn)行系統(tǒng)的理論化。所謂多模式指使用不止一個(gè)信息模式同時(shí)表達(dá)一個(gè)交流事件，如圖像、手勢(shì)、姿勢(shì)、言語、音樂等，不同模式的信息有重疊和互動(dòng)。 在數(shù)字技術(shù)日益發(fā)展、網(wǎng)絡(luò)和合作化日益參與意義創(chuàng)造的今天，多模式的意義實(shí)踐也會(huì)成為主流，多模式必然是未來文本的一般呈現(xiàn)方式，在字幕翻譯中體現(xiàn)最為突出。

在這方面目前已有一些初步的探索，如雙重渠道（Dual Channel）理論和雙重編碼（Dual Coding）理論對(duì)不同感官渠道接受信息是否會(huì)導(dǎo)致認(rèn)知過載作出完全不同的回答。 也有一些研究者對(duì)其作出驗(yàn)證（Specker 2008， Kruger， Steyn 2013），不過學(xué)術(shù)界對(duì)此仍有爭(zhēng)論。 研究者應(yīng)在已有理論資源的基礎(chǔ)上，積極開發(fā)新的理論來整合字幕翻譯認(rèn)知實(shí)證研究的成果。

其次在方法方面，直接測(cè)量法用得較少。 研究認(rèn)知過程的方法可分為間接測(cè)量法和直接測(cè)量法，即所使用的方法是否能直接探測(cè)到認(rèn)知加工，抑或是一種間接的推測(cè)（Kruger et al. 2014:5）。在字幕翻譯認(rèn)知實(shí)證研究中，間接測(cè)量法使用較多，如自我報(bào)告、訪談以及大量眼動(dòng)數(shù)據(jù)，考察眼睛在閱讀時(shí)的移動(dòng)（如受眾看哪里，看多長(zhǎng)時(shí)間），得出大腦活動(dòng)的間接數(shù)據(jù)，多基于眼睛—大腦假設(shè)，即視線的移動(dòng)反映大腦的認(rèn)知。 但直接測(cè)量法，如EEG，fMRI⑥，瞳孔擴(kuò)張（pupillometrics）等，則用得較少。

而且，眼動(dòng)跟蹤目前仍以定性數(shù)據(jù)為主。 長(zhǎng)期以來主要限于對(duì)掃視途徑視覺化（scanpath visualizations）的比較，結(jié)論上沒有什么突破。 不像固視、固視持續(xù)時(shí)間等眼動(dòng)指標(biāo)，單一的視覺化掃視途徑不能對(duì)眼動(dòng)因素提供定量的比較（Rajendran et al. 2013:4）。 近年來，定量研究有所增多（如Ghia 2012， Kruger et al. 2014）。 但與相關(guān)研究的需要相比，眼動(dòng)跟蹤中的定量研究還很少。因此，研究人員（Uzquiza 2010:165， 169 -170）呼吁要擴(kuò)大定量研究，以提高字幕加工研究的準(zhǔn)確性，將定性和定量相結(jié)合，以發(fā)揮各自的優(yōu)勢(shì)。

此外，對(duì)字幕閱讀的特點(diǎn)還需要更多的研究。多數(shù)研究對(duì)字幕閱讀與靜態(tài)文本閱讀的差異關(guān)注不夠，數(shù)據(jù)收集和實(shí)證設(shè)計(jì)也不夠嚴(yán)謹(jǐn)。 如很多用眼動(dòng)跟蹤技術(shù)研究定義的AOI（興趣區(qū)，area of interest） 包含整個(gè)字幕區(qū)域（如Perego et al.2010； d'Ydewalle et al. 1985， 1991 做的多數(shù)研究）。 這意味著，屏幕上沒有字幕時(shí)，也能收集眼動(dòng)數(shù)據(jù)，這在一定程度上淡化研究的科學(xué)性。 也有一些研究者注意到這些不同點(diǎn)。 如Specker（2008:28） 提出， 看字幕不等于閱讀字幕；d'Ydewalle 和De Bruycker （2007）試圖了解具體的閱讀方式；Kruger 等（2014）設(shè)計(jì)閱讀指標(biāo)來試圖了解對(duì)字幕的閱讀程度。 但它們多屬于小型研究，對(duì)具體的閱讀方式的測(cè)量也不夠嚴(yán)謹(jǐn)，達(dá)不到靜態(tài)文本閱讀需要研究的高度。

我們認(rèn)為，未來的研究應(yīng)注意字幕閱讀的以下兩個(gè)方面。 首先，要注意動(dòng)態(tài)影像上的字幕。停留不過幾秒，更像是影像而非文本。 不像靜態(tài)文本中的閱讀，受眾很少有時(shí)間針對(duì)語言難點(diǎn)進(jìn)行思考或有頻繁的回溯。 同時(shí)，字幕還要和其他信息源，如動(dòng)態(tài)影像、各種聲音爭(zhēng)奪注意力和認(rèn)知資源，受眾的閱讀往往會(huì)被其他的信息所打斷，如何挖掘適應(yīng)這些特點(diǎn)的研究方法顯得尤其重要。

其次，未來應(yīng)根據(jù)研究的需要開發(fā)適應(yīng)字幕閱讀的眼動(dòng)跟蹤軟件。 因?yàn)槟壳暗难蹌?dòng)跟蹤軟件針對(duì)的是靜態(tài)文本閱讀，用于字幕閱讀時(shí)，顯得有些不足。 如將視頻和眼動(dòng)數(shù)據(jù)同步很困難，目前大部分商業(yè)軟件都缺乏這一功能。 另外，數(shù)字視頻格式也越來越多樣化，這導(dǎo)致商業(yè)眼動(dòng)軟件無法對(duì)其進(jìn)行必要的解碼和編碼。 隨著數(shù)字技術(shù)的進(jìn)步，將會(huì)進(jìn)一步促進(jìn)字幕翻譯認(rèn)知實(shí)證研究更科學(xué)。

第三，對(duì)國(guó)內(nèi)相關(guān)研究的啟示。 國(guó)內(nèi)字幕翻譯研究大多集中于技巧的討論，對(duì)字幕翻譯技術(shù)的研究不夠重視。 事實(shí)上，數(shù)字化的潮流導(dǎo)致翻譯實(shí)踐和研究正在經(jīng)歷“技術(shù)轉(zhuǎn)向”⑦。 未來占主導(dǎo)地位的必然是多重模式的翻譯，而非僅僅是傳統(tǒng)的紙質(zhì)翻譯，字幕翻譯的比重將會(huì)越來越大，因此注重這方面的研究十分重要。 國(guó)內(nèi)在這方面的研究可以吸收國(guó)外研究的一些比較成熟的方法、成果，尤其是將一些心理測(cè)量技術(shù)用于字幕研究，并在剛開始時(shí)就應(yīng)注重定量及直接測(cè)量的應(yīng)用，以避免國(guó)外相關(guān)研究所走過的彎路。 此外，目前該研究領(lǐng)域很多亟待開發(fā)的地方，如國(guó)外的研究目前只集中在西方語系，中文字幕的認(rèn)知研究有哪些特點(diǎn)。 又如，目前國(guó)外研究中的“受眾”多指一般的觀眾，而譯者在翻譯時(shí)對(duì)原文的接受過程是否有與一般受眾不同的地方，這種不同是否會(huì)對(duì)字幕翻譯產(chǎn)生影響？，等等。 國(guó)內(nèi)研究是否可以在這些方面率先做些探索。

注釋

①考慮到英語是國(guó)外學(xué)者在國(guó)際主流學(xué)術(shù)期刊上發(fā)表學(xué)術(shù)論文采用的主要語言，因此筆者只搜索了英文文獻(xiàn)。

②從21 世紀(jì)初開始，隨著翻譯理論的發(fā)展，尤其是計(jì)算機(jī)技術(shù)的進(jìn)步， 使人們可以觀察譯者的在線行為特點(diǎn)，并可以數(shù)字化翻譯產(chǎn)品，因此有可能以更先進(jìn)的手段進(jìn)一步去探索大腦， 促進(jìn)過程導(dǎo)向翻譯實(shí)證研究的迅速發(fā)展，這就是所謂的“翻譯研究過程轉(zhuǎn)向”（王娟2015:71）。

③心理測(cè)量（psychometrics）是指依據(jù)心理學(xué)理論，使用一定的操作程序，給人的能力、人格及心理健康等心理特性和行為確定出一種數(shù)量化的價(jià)值。 利用眼動(dòng)測(cè)量解讀人類行為即是心理測(cè)量的一種。

④腦電圖（electroencephalography， EEG）是通過醫(yī)學(xué)儀器腦電圖描記儀，將人體腦部自身產(chǎn)生的微弱生物電于頭皮處收集，并放大記錄而得到的曲線圖。

⑤翻譯不再局限于原文和譯文之間的轉(zhuǎn)換。 翻譯包括廣泛的活動(dòng)和成品，不一定與某一特定的原文相關(guān)聯(lián)。

⑥fMRI（功能性磁共振成像，F(xiàn)unctional Magnetic Resonance Imaging）是一種神經(jīng)影像學(xué)技術(shù)，其原理是利用磁共振造影來測(cè)量神經(jīng)元活動(dòng)所引發(fā)的血液動(dòng)力的改變。

⑦數(shù)字技術(shù)是現(xiàn)代社會(huì)的一個(gè)常規(guī)部分，今天的翻譯實(shí)踐同樣不可能脫離數(shù)字技術(shù)來研究。 學(xué)界有人（O'Hagan 2013）將這種影響稱為翻譯學(xué)科中的“技術(shù)轉(zhuǎn)向”（盡管這種轉(zhuǎn)向目前在學(xué)術(shù)界的影響還遠(yuǎn)比不上“文化轉(zhuǎn)向”或者“社會(huì)學(xué)轉(zhuǎn)向”那樣巨大）。