(南通航運(yùn)職業(yè)技術(shù)學(xué)院，南通 226000)

測試和評估是教學(xué)中非常重要的環(huán)節(jié)，其目的是提供一種科學(xué)的測試工具，對學(xué)生的語言能力進(jìn)行客觀、準(zhǔn)確、公正的評價(jià)，反映教學(xué)中的長處和短處，為提高教學(xué)質(zhì)量服務(wù)。[1]海船船員英語評估是為履行STCW公約馬尼拉修正案，進(jìn)一步提高我國海船船員英語運(yùn)用能力而采取的一種強(qiáng)制性評估。航海英語測試和評估包括航海英語閱讀考證和航海英語聽力與會(huì)話評估，是對海船船員在相關(guān)航海技能、航海知識、日常操作、船舶管理等各方面進(jìn)行英語應(yīng)用能力的全面考查，有力地促進(jìn)了船員(特別是無限航區(qū)船員)英語水平的提高。但從實(shí)踐來看，航海英語在測試和評估方式上還需要進(jìn)一步改進(jìn)和完善。

一、測試評估的信度和效度

1. 測試評估的信度

所謂信度就是測試結(jié)果的可靠性，它體現(xiàn)了分?jǐn)?shù)與試題、試題與應(yīng)試者之間的關(guān)系。語言測試信度的高低主要說明的是測試結(jié)果在多大程度上反映了受試者真實(shí)的語言行為。影響信度的因素有很多，他們存在于語言測試的每個(gè)環(huán)節(jié)中。首先，試卷本身要有一定的量，試題的難度要適中，要能檢驗(yàn)出應(yīng)試者不同的水平層次，而且試題的內(nèi)容要屬于同一個(gè)范疇、同一個(gè)領(lǐng)域，試題與應(yīng)試者之間要相互具有適應(yīng)性；其次，在測試的組織、實(shí)施這個(gè)環(huán)節(jié)中，各個(gè)考場每次考試要保持條件一致，另外，各個(gè)考場的環(huán)境、考試設(shè)備乃至監(jiān)考人員必須保證條件一致；最后，試卷的評判工作要保持一致，同一個(gè)測試的評分標(biāo)準(zhǔn)必須保持一致或穩(wěn)定。此外，評分者之間以及同一個(gè)評分者前后在評分標(biāo)準(zhǔn)的把握上應(yīng)當(dāng)保持一致。[2]

2. 測試評估的效度

效度就是考試的有效性，是指考試是否測量了它所想要測量的東西。關(guān)于考試的效度，體系不同、分類方法也不同，對其理解也不完全一致。[3]測試的效度一般可分為以下幾類：表面效度、內(nèi)容效度、編制效度和經(jīng)驗(yàn)效度。表面效度是指測試應(yīng)達(dá)到的卷面標(biāo)準(zhǔn)，即一套測試題從表面看來是否合適。內(nèi)容效度是指一套測試題是否測試了應(yīng)該測試的內(nèi)容或者說所測試的內(nèi)容是否反映了測試的要求，即測試的代表性和覆蓋面的程度。編制效度是指一套測試題的諸項(xiàng)目對編制該測試所依據(jù)的理論的各個(gè)基本方面的反映程度。經(jīng)驗(yàn)效度是一種衡量測試有效性的量度，通過把一項(xiàng)測試與一個(gè)或多個(gè)標(biāo)準(zhǔn)尺度相對照而得出。經(jīng)驗(yàn)效度可分為兩種：一種是共時(shí)效度，即將一項(xiàng)測試的結(jié)果同另一次時(shí)間相近的有效測試的結(jié)果相比較或同教師的鑒定相比較而得出的系數(shù)；二是預(yù)測效度，即將一次測試的結(jié)果同后來的語言能力相比較，或同教師后來對學(xué)生的鑒定相比較而得出的系數(shù)。[4]

二、當(dāng)前航海英語測試評估的現(xiàn)狀

當(dāng)前航海英語聽力與會(huì)話的評估內(nèi)容分為聽力與會(huì)話兩個(gè)部分。聽力部分由考生在計(jì)算機(jī)上回答，考生做完試題后計(jì)算機(jī)會(huì)直接給出客觀的成績。會(huì)話是由考生把自己的答案錄進(jìn)計(jì)算機(jī)，再由評估員對考生的答案進(jìn)行評分。這種評分雖然有一定的主觀性，但是在評分過程中評估員只能聽到考生的匿名錄音，因此評估結(jié)果也基本客觀公正。航海英語評估要求考生聽力與會(huì)話同時(shí)達(dá)到60分才算通過，否則需要重新評估聽力與會(huì)話兩部分內(nèi)容。

航海英語評估的目的在于促進(jìn)我國船員英語聽、說能力的提高，建立相應(yīng)的培訓(xùn)機(jī)制，從而使船員英語聽、說能力的培訓(xùn)走上一條良性循環(huán)的軌道。[5]而目前的聽力與會(huì)話評估系統(tǒng)還存在某些缺陷。首先試題庫的題量較少，適用性有待改進(jìn)，不符合考核與評估的實(shí)際需要，難以滿足STCW公約對船員英語適任方面的要求。一直以來，考生普遍使用人民交通出版社出版的《全國海船船員英語評估學(xué)習(xí)指南(航海英語聽力與會(huì)話)》，航海英語評估的內(nèi)容也基本上來自該教材，而且多年沒有變更。雖然2012年出版了新的評估教材，但是題目變化較少，未能覆蓋評估規(guī)范的全部內(nèi)容。有些考生英語實(shí)際能力較低，但是靠評估前死記硬背教材也能順利通過評估，因此其評估結(jié)果不能反映考生的真實(shí)水平和實(shí)際應(yīng)用能力；而且不同職級、不同航區(qū)的考生使用的是同一本教材，難易度、區(qū)分度小。其次，評估內(nèi)容不全面，聽力題型多為選擇題，缺乏科學(xué)性。

評價(jià)一項(xiàng)測試是否成功，主要看它有沒有較高的信度和效度。航海英語評估的聽力基本為選擇題，信度較高，但效度較低；會(huì)話部分占主要比重的問答題效度較高，但信度較低。這些問題在一定程度上影響了評估效果，同時(shí)也導(dǎo)致考生陷入“應(yīng)試”怪圈，忽視了文化知識的積累和語言能力的提高，并在某種程度上束縛了航海英語教學(xué)。[6]

三、航海英語測試評估體系的建立和完善

1. 完善評估材料和內(nèi)容

由海事局組織的全國海船船員英語聽力與會(huì)話評估試題庫即《航海英語聽力與會(huì)話評估學(xué)習(xí)指南》是公開的，其結(jié)果是學(xué)員把精力都集中到記憶材料內(nèi)容上，尤其是聽力部分，因考試形式過于單一，有些考生在考核時(shí)完全憑著記憶回答即能應(yīng)付，因此每期船員英語評估聽力通過率都很高。其次是會(huì)話部分，口述題和問答題事先都已經(jīng)有答案，考試之前考生只需把答案背誦下來，而無需經(jīng)過思考組織句子，同一個(gè)問題的答案也是千篇一律的，不能反映考生真實(shí)的英語水平。因此，應(yīng)大幅度增加和完善評估材料，內(nèi)容應(yīng)涉及航海工作和生活的方方面面；與海事院校合作，把平時(shí)教學(xué)中聽力與會(huì)話考核的內(nèi)容作為評估的一部分，使學(xué)員在平時(shí)學(xué)習(xí)中注重訓(xùn)練提高自己的聽力和口語能力。只有這樣，評估才能真正達(dá)到應(yīng)有的目的。

2.改革評估手段和形式

目前的航海英語聽力與會(huì)話評估沒有貫徹落實(shí)運(yùn)用能力的考核，不符合評估的實(shí)際需要，難以滿足STCW公約馬尼拉修正案對船員英語方面的要求。聽力考試可以增加判斷題、排序題、聽力填空等新題型，以便更真實(shí)地反映考生的聽力狀況，迫使考生真正提高聽力水平，實(shí)現(xiàn)航海英語聽力評估的目的。另外，會(huì)話考試的形式應(yīng)更加完善。如對于簡單的日常生活問答題可以采用人機(jī)對話的形式；對于一些專業(yè)性很強(qiáng)的知識點(diǎn)，可以采用分組對話的形式，幾個(gè)考生一組，按考官指定的情景進(jìn)行對話，由考官和評估員組成考核小組對每個(gè)考生的表現(xiàn)進(jìn)行打分，這樣更能考查學(xué)員的真實(shí)口語能力和應(yīng)變能力，從而杜絕目前靠死記硬背蒙混過關(guān)的問題。

3.保證評估的公正性

由于種種原因，目前航海英語聽力與會(huì)話評估還存在把關(guān)不嚴(yán)的現(xiàn)象。有些學(xué)院為了保證學(xué)生通過率，評估員在評判時(shí)有意放松要求，對于有些答非所問的考生也會(huì)給予一定的分?jǐn)?shù)，總分也能及格，從而失去了評估的意義。因此，首先要從制度上保證評估員做到公平、公正，不徇私舞弊，為此建議由兩個(gè)或兩個(gè)以上的評估員統(tǒng)一對考生進(jìn)行評判，然后進(jìn)行綜合評定，或通過海事院校之間交換評判的方式對學(xué)生進(jìn)行評分；此外，聽力與會(huì)話評估應(yīng)制定一個(gè)具體的容易操作的評分標(biāo)準(zhǔn)，并對評估員進(jìn)行統(tǒng)一培訓(xùn)，保證測試的效度。[6]

四、結(jié) 語

測試和評估作為反映學(xué)習(xí)者學(xué)業(yè)成績的重要指標(biāo)，對英語口語和聽力教學(xué)有著重要的實(shí)踐意義。因此，為了使我國的船員能與國際接軌，更好地與國外船員競爭，航海英語測試與評估體系應(yīng)盡快加大力度深入改革。通過對考試內(nèi)容、信息、反饋形式以及考試組織和管理等進(jìn)行改革，科學(xué)地引導(dǎo)日常教學(xué)與考核評估，切實(shí)有效地提高我國船員的英語語言綜合運(yùn)用能力。

[1] 王淑君.多元化評估方式在大學(xué)英語口語聽力課程中的運(yùn)用研究[J].消費(fèi)導(dǎo)刊，2010(6).

[2] 汪先鋒，倪建樂.從信度與效度的相互關(guān)系看語言測試的取向[J].山東外語教學(xué)，2000(3).

[3] 孫成崗.現(xiàn)代語言測試與試卷分析[J].解放軍外國語學(xué)院學(xué)報(bào)，2000(4).

[4] 楊惠中. 大學(xué)英語四.六級考試效度研究[M].上海：上海外語教育出版社，1998.

[5] 張錦朋.剖析航海英語評估[J].航海技術(shù)，2001(6).

[6] 丁自華.現(xiàn)行航海專業(yè)英語考核評估體系的問題與建議[J].航海教育研究，2008(4).