鄭彧 莊 利

一、研究背景

隨著多媒體在外語教學中日益廣泛地運用以及多模態(tài)話語分析理論的不斷發(fā)展， 多媒體輔助下的多模態(tài)教學正在普及。 多模態(tài)是指“綜合語言、視覺圖像、其他符號資源，構建紙質、數(shù)字媒體和日常生活文本、事物、事件的理論分析與實踐”[1]。教學環(huán)節(jié)的變化必然帶動測試理念及手段的轉變。 近年來，國內外語言測試中采用音視多模態(tài)組合輸入來評價學習者聽力水平的任務逐漸增多。 在眾多視覺材料類型中，圖片使用最為廣泛。隨著聽力測試理論的發(fā)展以及多媒體多模態(tài)教學實踐的深化，圖片在聽力測試領域的應用愈加廣泛。 以國內外語考試為研究樣本，探究圖片如何應用于聽力理解測試顯得尤為重要。

對于該課題的研究， 國內外學者多聚焦于英語作為二語的聽力理解測試， 從圖片使用數(shù)量和類型角度， 研究靜態(tài)圖片在聽力測試中的使用情況或動態(tài)視頻應用于聽力測試的可行性[2，3]。 以國內外大規(guī)模標準化德語考試聽力部分為研究樣本， 探討靜態(tài)圖片的使用情況以及其在多模態(tài)意義構建中作用的研究鮮少可見。 有鑒于此， 本文擬參照Bachman &Palmer 測試任務特征框架[4]及Painter et al.新視覺語法[5]，從數(shù)量和質量兩個方面分析圖片類視覺材料在國內外德語聽力考試中的使用情況， 對比分析聽力測試任務的多模態(tài)特征， 以揭示國內外聽力測試在多模態(tài)構建方面的異同， 為國內聽力測試多模態(tài)設計提供參考。

本文主要探討： （1）國內外德語測試中，圖片應用于哪些聽力任務類型？（2）在圖片和文字的選擇和配置方面，國內外聽力測試任務有何異同？ （3）聽力測試任務如何通過圖像和文字實現(xiàn)意義的建構？

二、研究設計

1.聽力測試任務試題庫的建立與分析方法

筆者收集2019 年公布于各考試院官網及出版發(fā)行的國內外大規(guī)模標準化德語考試樣題共57 套，對其聽力中涉及圖片的任務進行分析。 國內考試有大學德語四、六級，德語專業(yè)四級、八級；國外包括Goethe Zertifikat、?SD、telc A1 至C2 級別德語考試以及德?？荚嚕═estDaF）。 這些考試以德語作為外語的學習者為測試對象， 旨在考查考生是否具備相應等級的德語語言能力。 在進行聽力圖片任務分析時， 主要參考Bachman & Palmer 的測試任務特征框架，包括任務類型、輸入和預期作答。 為確保分析的一致性和準確性，邀請兩位應用語言學背景的研究者參照框架， 對以上項目獨立進行分析，一致性為98%。

2.圖片的使用分析

2013 年，Clare Painter、Jim Martin、Len Unsworth三位著名系統(tǒng)功能語言學學者在單個圖像分析框架基礎上，擴展了研究對象，完善了理論框架，提出了新視覺語法， 為深入探索圖文語篇構建和意義解讀提供了嶄新的視角， 成為了視覺語法理論發(fā)展的新里程碑[6]。以此為指導，研究者分析了美國政治漫畫[7]及兒童繪本的敘事結構特征[8，9]。 本研究以Painter et al.新視覺語法為研究框架， 構建如圖1 的理論分析框架，從多模態(tài)的投入方面，側重分析聽力測試任務如何通過圖文投入實現(xiàn)人際意義和組篇意義。 該理論的另一個重要組成部分概念意義框架，由于其關注的是人物系統(tǒng)、事件關系和背景關系的構建，與研究語料的相關度較低，故本文暫不以此為據(jù)分析。

圖1 新視覺語法中人際意義和組篇意義圖示

根據(jù)新視覺語法，人際意義表達主要由聚焦、情感及氛圍系統(tǒng)構成， 分別考察圖像與讀者的互動關系，闡釋圖像敘事的情感介入以及分析顏色資源。情感系統(tǒng)作為讀者與圖像人物情感關系的語篇策略可以區(qū)分成異化與介入兩種表征方式。 前者指讀者沒有情感投入，以客觀的、批評性的態(tài)度閱讀，后者指讀者與圖中人物存在情感關系。 根據(jù)讀者情感投入程度的不同，介入方式可分為鑒賞類、移情類與個體類。氛圍系統(tǒng)指顏色所構建的情感基調，按是否使用彩色區(qū)分為情感氛圍激活或未激活。 此外， 顏色色度、 色調和自然度的合理使用都利于渲染自然貼切的情緒氛圍。

組篇意義構建是通過圖片和文字的位置來實現(xiàn)人際意義和概念意義的構建， 具體可分為融合與互補兩種。文字附在圖片中即為融合，圖片和文字分布在不同的位置則為互補。 由于不同的圖文關系吸引讀者注意力的程度不同，其產生的人際意義、概念意義和篇章意義也不同。

三、統(tǒng)計結果與分析

1.圖片在聽力考試中的使用分析

經統(tǒng)計， 試題庫中的四項國內德語考試均不涉及視覺信息， 基于音頻和文字的雙模態(tài)輸入是最常見的聽力任務形式。而國外22 套試題中，總計30 項聽力任務使用圖片， 涉及圖片任務的試卷占測試總數(shù)量的38.60%。 聽力任務涉及圖片的共有5 大類，共計10 種任務，包括選圖/看圖選擇①選圖指與內容相關的圖片作為選項直接供考生選擇；看圖選擇是指考生對文字選項做出選擇，圖片僅作為語音輸入的輔助。、排列圖片順序、改錯、填空和記錄，詳見表1。 其中后三類任務采用圖片或圖表形式，僅提供描述場景的視覺輸入。

表1 22 套德語測試聽力理解任務圖片使用情況

輸入的特征包括短文、對話、圖片、問題、部分內容缺失的圖表以及文字選項。 期望作答的形式包括聽懂主旨或具體信息、 選擇固定圖片或/及固定文字、文字填空、記錄關鍵信息、糾正關鍵信息以及書寫梗概。 從圖片任務的數(shù)量來看，A1-A2 測試（初級水平）涉及圖片的聽力任務數(shù)量最多，其次為C1-C2測試（高級水平）， B1-B2 測試（中級水平）則最少。從圖片類型來看，73.21%為與內容相關的圖片，其余為僅提供情境的圖片。其中，初級水平測試使用與內容相關的圖片多于僅提供情境的圖片，中、高級水平測試只涉及僅提供情境的圖片或圖表。

2.圖像投入對比分析

表2 直觀展示了各GeR 級別測試包含圖像的聽力任務的人際意義構建和組篇意義構建這兩方面圖像投入對比的結果， 表格包含圖像投入的視覺意義潛勢系統(tǒng)和視覺意義實現(xiàn)的選擇。

表2 圖像投入分析

從聚焦系統(tǒng)看， 聽力任務中所有圖像均使用客觀視角，絕大多數(shù)圖像不參與和考生的互動。僅有少部分圖像人物與考生有眼神接觸， 主要集中在初級測試聽力任務，中級占少數(shù)。

情感系統(tǒng)可分成異化與介入兩種表征方式。 前者指沒有情感投入，以客觀的、批評性的態(tài)度閱讀，后者指讀者與圖中人物存在情感關系。 從情感系統(tǒng)看，測試所用圖片主要采用移情類情感介入方式。此類圖片通過類化風格實現(xiàn)， 考生很容易識別圖中人物的情感， 但無法確定具體人物。 其次為個體類圖片，圖片中人物以個體照片形式出現(xiàn)，風格自然，面部表情真實。 上述這兩類圖像均較能引起考生情感和態(tài)度的共鳴。較為抽象的鑒賞類圖像則使用最少。

從氛圍系統(tǒng)看，測試任務圖像使用高飽和度鮮亮色彩的情況略多于黑白色彩。 高色度表達歡快的氛圍，暖色調營造溫馨的氛圍，色彩豐富度反映其自然程度。 分析后發(fā)現(xiàn)，初級水平測試中情感氛圍多被激活， 而高級水平測試則較不注重營造情感氛圍。

如表3 所示，在組篇意義構建方面，聽力測試任務中圖文互補的布局方式明顯多于圖文融為一體的布局方式。 尤其在初級、中級水平測試中，圖像與文字多以互補方式投入； 而高級水平測試中的圖文布局則恰恰相反。

表3 圖文布局分析

在圖像和文字互補的情況下， 首先看圖像和文字的對稱性。據(jù)統(tǒng)計，所有圖文布局均為單個頁面的圖片和文字分別位于上中下左右多個方位， 無對稱布局。由此可見，測試設計者能根據(jù)圖片和文字投入的差異，將圖片和文字合理安排在不同的聚焦位置，以達到吸引考生投入不同程度的注意力的目的。 其次，就圖像和文字的重要性而言，初級與中級測試中圖像使用的側重點有所不同。 初級測試均以圖片表達意義為主，文字輔之，而中級測試則主要以文字表達意義為主，圖像輔之。聽力任務用圖片和文字共同構建意義， 但兩者對意義構建所產生的影響不盡相同。 其中，文字部分需與考生的外語水平相符合，否則將會給考生的理解帶來困難。 初級考試針對初學者，圖片為主、文字為輔的設計布局符合目標考生的語言水平。 第三，圖片和文字的位置相鄰，又通過語義關聯(lián)在一起。

四、結論與建議

研究發(fā)現(xiàn)， 四項國內德語考試聽力中均不使用圖片類型的視覺材料， 而國外聽力任務中使用圖片非常普遍。尤其在初級階段，聽力任務中使用圖片的題型較多，且涉及的任務類型豐富。短文和對話是比較常見的語言輸入形式， 大多考查對細節(jié)信息的理解，對整體語篇層面的考查較少。圖片的組織形式多樣，包括單張圖片、多張圖片、相互關聯(lián)的一組圖片等。圖像投入注重營造情感氛圍，較能引起考生情感和態(tài)度的共鳴，圖像和文字的布局合理，設計靈活，能較好利用多模態(tài)符號資源為考生提供相對更加真實的情境。 同時，通過分析也可發(fā)現(xiàn)，聽力測試中的圖片在人際意義構建方面存在視角單一、 情感系統(tǒng)真實度不夠等問題。根據(jù)新視覺語法，圖像聚焦方式設計可適當增加接觸類圖像， 以此建立考生與圖像之間的關聯(lián)，引起考生情感和態(tài)度的共鳴。情感系統(tǒng)設計可增加個體類畫風，利于引發(fā)考生的情感、判斷和態(tài)度。

圖片在四項國內德語聽力考試中的使用情況一定程度上反映了國內語言考試聽力理解部分的測評現(xiàn)狀。 測試中使用音頻，僅調動聽覺渠道接受信息，沒有利用其他渠道，信息接收量少。 另一方面，傳統(tǒng)的聽力測試在一定程度上偏離了真實生活中多模態(tài)的交際方式，既不能滿足實際的交際需要，也不能真正有效檢測和評估學習者的聽力能力。因此，研究者主張將視覺輸入納入外語聽力能力的構念定義中，以提高考試的真實性， 從而進一步保證測試的效度（Ockey，2007；Wagner，2007）。研究發(fā)現(xiàn)，相比單模態(tài)信息呈現(xiàn)， 視聽雙模態(tài)呈現(xiàn)的信息表現(xiàn)出更佳的模態(tài)效應， 因為視覺輸入能幫助激活情境知識和背景知識[10]。 因此，在語言測試中將圖片類視覺信息用于聽力測評具有合理性。研究表明，視聽內容相關度高可以顯著提高聽力理解， 視覺設計效應在低語言水平者中更強[11]。 現(xiàn)有聽力測試中常見的聽力任務類型均可搭配合適的圖片形式加以呈現(xiàn)，因此，測試設計者可以根據(jù)具體的測試目的采用多樣的圖片聽力任務形式；尤其在初級測試中，應充分考慮考生的語言水平， 合理利用圖片提供場景或具體內容輔助聽力理解，減少考試焦慮。在聽力測試任務中運用視覺信息輔助可以將考生置于聲音和圖像互相作用的條件下，為他們提供集圖像和聲音于一體的感官刺激，實現(xiàn)了在聽力理解過程中多種感官互動， 強化自上而下的聽力過程， 提高考生對聽力輸入的理解。 同時，考試設計者應關注圖片的數(shù)量和質量，降低視覺信息負荷，避免信息量過大、干擾性大于輔助性，并合理設計聽力測試任務。 具體可通過多樣的圖片組織形式、 圖像投入注重營造情感氛圍以及靈活合理的圖文布局等手段實現(xiàn)。 圖像聚焦方式設計可適當增加接觸類圖像；情感系統(tǒng)設計可增加個體類畫風，利于引發(fā)考生的情感、判斷和態(tài)度。

以上主要參照測試任務框架對圖片在聽力測試任務中的應用情況進行了初步探討， 同時根據(jù)新視覺語法分析理論， 粗略探討了圖像和文字的意義潛勢和實現(xiàn)對整體語義表達的投入，希望能夠引起考試設計者對這個領域的研究興趣，為利用圖片類視覺信息提高聽力測評效度提供一些參考。視聽輸入已經顯示出其在多模態(tài)意義構建中的優(yōu)勢，因此有必要采取措施促進和推廣圖片在聽力測評中的應用。