華有杰

（賀州學(xué)院，廣西 賀州 542800）

英語寫作測試信度保障機制構(gòu)建研究
——以賀州學(xué)院寫作教學(xué)為例

華有杰

（賀州學(xué)院，廣西 賀州 542800）

以賀州學(xué)院英語專業(yè)本科寫作教學(xué)為例，本研究突破傳統(tǒng)的寫作測試評分的印象法及分析評分法的局限，提出寫作測試評分模塊與等級相結(jié)合的模型，在每個模塊中區(qū)分六個等，最大限度提高寫作測試評分的效度.

英語寫作測試；模塊；等級

1 傳統(tǒng)英語寫作測試評分機制中的不可靠性

人們對英語測試的寫作部分總會認(rèn)為其信度不高.傳統(tǒng)的英語寫作印象法評分更是成為人們詬病英語寫作測試的理由之一.事實上，不少學(xué)者的專門研究英語寫作測試傳統(tǒng)評分機制，得出結(jié)論：傳統(tǒng)英語寫作測試評分信度過低.這主要體現(xiàn)于兩個方面：評分員自我縱向評分的不一致性及評分員之間橫向評分的不一致性.

在日常英語教學(xué)的英文寫作測試中，評分員往往就是英語寫作的任課教師，故直接影響寫作測試評分的因素至少有以下幾個方面：其一，學(xué)生作文中明確寫出來的東西；其二，評分員認(rèn)為學(xué)生作文中所要表達(dá)的東西；其三，學(xué)生英語作文的書寫及文章總體外觀；其四，評分員對學(xué)生原有的了解.除此之外，學(xué)生參加寫作測試的狀態(tài)及評分員評分的狀態(tài)等都會影響英語寫作測試的評分.“對于同一篇作文，不同的老師給的分?jǐn)?shù)很可能不一樣.甚至同一位老師在不同的時間給的分也不一樣.”[1]

為明確不同評分員之間評分的差異，本研究將一次英語寫作滿分為20分的五名學(xué)生的作文描述件給了四名不同的專業(yè)教師進(jìn)行評分，評分結(jié)果如下表.

甲乙丙丁A 14 10 9 9 B 11 9 6 12 C 10 8 5 10 D 7 7 2 11 E 5 6 1 6合計 47 40 23 48

R甲=9，R乙=4，R丙=8，R丁=6.數(shù)據(jù)表明，丙、丁兩評分員所給分?jǐn)?shù)全距相對比較接近，甲與乙的分?jǐn)?shù)全距相差較遠(yuǎn)；甲評分員給分范圍最大，乙評分員給分范圍最也..數(shù)據(jù)表明，甲與丁兩評分員所給分?jǐn)?shù)的平均分大體相當(dāng)，丙評分員評分最為嚴(yán)格，平均分最低.

S甲=3.03，S乙=1.41，S丙=2.87，S丁=2.10.數(shù)據(jù)表明，甲評分員給分波動性最大，乙評分員評分波動最小.

評分員丁與其他評分員的給分重點存在顯著差異.

寫作測試評分的不可靠性遠(yuǎn)不止這些.同一學(xué)生在相隔較短的時間內(nèi)容參加難度大致相當(dāng)?shù)牟煌瑢懽鳒y試，理論上而言，該學(xué)生的得分應(yīng)大致相當(dāng)，但現(xiàn)實中根本無法保證.這既受學(xué)生自身狀況的影響，又受評分員的影響.甚至同一份試卷由同一評分員評閱，不同時間的評閱分?jǐn)?shù)也相差甚遠(yuǎn).

由此可知，寫作測試的評分主觀性和片面性是不可避免的.

盡管寫作測試有上述種種不可靠性，寫作測試在實踐中的作用卻是不可低估，寫作測試被廣泛運用于各類英語考試當(dāng)中，因為學(xué)生用自己的語言組織和表達(dá)思想和觀點的能力在日常交際中至關(guān)重要.故寫作測試不單可以用作學(xué)生寫作技能培養(yǎng)的重要手段，還可以作為英語學(xué)習(xí)高級階段教學(xué)反拔效果檢測的重要工具.如果能形成一種信度較高的英語寫作測試的評分機制，以保證英語寫作測試的信度，則英語寫作測試的效果也不會低于其他客觀性測試的效果.

當(dāng)然，不能用把寫作測試評分的所有主觀因素排除，或用精心制訂的懲罰制度來確保英語寫作測試的客觀性評分基礎(chǔ)，從而提高英語寫作測試的信度.然則，只要以充分考慮和處理好英語寫作測試評分機制中的主觀因素，找到一種新方法，這種方法能夠克服傳統(tǒng)寫作測試評分手段中因主主觀因素而內(nèi)在的不可靠性，則英語寫作測試評分機制的信度是可以大大提高的.

2 等級+模塊的評分機制

針對傳統(tǒng)英語寫作測試評分方法中不可靠性，本研究提出英語寫作測試的等級+模塊評分機制.這種機制首先將學(xué)生英語寫作的能力水平區(qū)分為優(yōu)秀、很好、好、一般、差、很差六個等級.其次，將學(xué)生英語作文評分的學(xué)生證言使用劃分為內(nèi)容、篇章結(jié)構(gòu)、語言使用、詞匯、拼寫、標(biāo)點符號、連貫性、切題等若干個方面.制定英語寫作測試評分標(biāo)準(zhǔn)首先要研究評分的幾個構(gòu)成部分.結(jié)合筆者日常英語寫作教學(xué)工作，本研究以賀州學(xué)院英語專業(yè)四級考試和英語專業(yè)八級考試專項教學(xué)中的寫作測試為例，把英語寫作測試具體劃分為內(nèi)容、篇章結(jié)構(gòu)、詞匯、語言使用、其他等五個模塊，每個模塊都被賦予一定的權(quán)重.等級與模塊結(jié)合后，每一個模塊都區(qū)分六個不同的等級，給出相應(yīng)的等級分?jǐn)?shù).

等級劃分有總體等級劃分與模塊等級劃分兩種.總體等級劃分是對學(xué)生英語寫作測試的總體表現(xiàn)給出一個具體描述，區(qū)分六個不同等級，每個等級都有相對應(yīng)的分?jǐn)?shù)區(qū)間.模塊等級劃分是把學(xué)生英語作文中的語言使用區(qū)分為內(nèi)容、篇章結(jié)構(gòu)、語法、語言使用及詞匯、其他等具有一定分值權(quán)重的五個模塊.一個模塊就是評分的一個考察點.每個模塊都劃分優(yōu)秀、很好、好、一般、差、很差六個等級.以百分制為例，本研究的英語寫作測試評分總體等級劃分描述如下.（1）優(yōu)秀(90-100分):完全完成了寫作測試規(guī)定的任務(wù).語言流暢自然、幾乎沒有語法錯誤，具體而言：內(nèi)容覆蓋所有內(nèi)容要點；使用了較多甚至復(fù)雜的句法結(jié)構(gòu)和詞匯；語法結(jié)構(gòu)或詞匯使用方面有部分錯誤，但主要是因為使用較為復(fù)雜的句法結(jié)構(gòu)或較為高級的語匯所致；具備較強的語言運用能力.（2）很好(70-89分):完全完成了寫作測試規(guī)定的任務(wù).選詞用句變化豐富、句式結(jié)構(gòu)多變，沒有基本的語法錯誤，具體而言：雖然遺漏一到兩個次重點，但內(nèi)容覆蓋所有主要內(nèi)容；使用能夠滿足任務(wù)要求的句法結(jié)構(gòu)和詞匯；語法結(jié)構(gòu)或詞匯使用方面基本準(zhǔn)確，主要語法錯誤主要是因為嘗試使用較為復(fù)雜的句法結(jié)構(gòu)或較為高級的語匯所致；應(yīng)用簡單的語句間連接成分，使全文結(jié)構(gòu)緊湊，達(dá)到一寫作測試的預(yù)期目的.（3）好(60-69分):基本完成了英語寫作測試規(guī)定的任務(wù).遺漏部分內(nèi)容要點，但基本意思沒有遺漏太多.語言句式簡單，但表述清楚、自然，有一定的語法錯誤，但不是太多.信息能夠基本清楚地傳達(dá)給讀者.（4）一般(45-59分)未適當(dāng)完成英語寫作測試規(guī)定的任務(wù).遺漏或未描述清楚一些主要內(nèi)容，寫了一無關(guān)內(nèi)容.語法結(jié)構(gòu)單調(diào)，詞匯使用比較單調(diào).有一些語法結(jié)構(gòu)或詞匯的錯誤，影響了對寫作內(nèi)容的理解.較少使用語句之間的連接成分，內(nèi)容缺少連貫性.信息未能清楚地傳達(dá)給讀者.（5）差（31-44分）未完成英語寫作測試規(guī)定的任務(wù).明顯遺漏主要內(nèi)容，出現(xiàn)了一些無關(guān)內(nèi)容，原因可能是未理解寫作測試的相關(guān)要求.語法結(jié)構(gòu)過于單調(diào)，所使用的詞匯有限.寫作中存在較多的語法結(jié)構(gòu)呀詞匯方面的錯誤，影響對寫作內(nèi)容的理解.缺乏語句之間的連接成分，內(nèi)容不連貫.信息未能傳達(dá)給讀者.（6）很差（0-30分）未能傳達(dá)讀者任何信息.內(nèi)容太少或太亂或基本與寫作測試要求無關(guān)這種等級標(biāo)準(zhǔn)的描述既可用于日常的教學(xué)隨堂測試，也可以用于具有一定規(guī)模的英語寫作測試.

這種總體等級標(biāo)準(zhǔn)也是動態(tài)的.在日常教學(xué)，本課題組針對英語專業(yè)四級和專業(yè)八級寫作測試的不同要求，形成以下兩個不同的等級標(biāo)準(zhǔn).1.英語專業(yè)四級寫作標(biāo)準(zhǔn)（1）優(yōu)秀：語言流暢地道，幾乎沒有語病，完全達(dá)到寫作要求（2）很好：選詞造句變化豐富，鋪路工結(jié)構(gòu)多變，沒有基本的語?。?）好：語言句式不是復(fù)雜，但能完成寫作任務(wù)，表述簡單自然，語法錯誤不是太多（4）一般:語句基本正確，但有些地方不太流暢，有部分語法錯誤.（5）差:語言、語法使用不當(dāng)，無法完成寫作任務(wù)（6）很差:語言毫無章法，缺乏基本的英語知識2.英語專業(yè)八級寫作標(biāo)準(zhǔn)(1)優(yōu)秀：完全沒有語法錯誤，內(nèi)容充實，語言變化豐富，表達(dá)得體，完全完成寫作任務(wù).(2)很好：較好地完成寫作任務(wù)，語言自然、流暢，幾乎沒有語法錯誤.(3)好：語言表達(dá)正確，沒有基本的語法錯誤，論述緊扣主題.(4)一般：能夠完成寫作任務(wù)，語言正確自然.(5)差：大體能完成寫作任務(wù)，但有一定的語法錯誤，語言生硬.(6)很差：有基本語法錯誤，詞匯量過小.

日常教學(xué)中，筆者分別運用上述兩表對英語專業(yè)學(xué)生模擬專業(yè)四級及英語專業(yè)學(xué)生模擬專業(yè)八級考試的寫作測試進(jìn)行評分，不同評分員對同一學(xué)生的評分要比沒有任何標(biāo)準(zhǔn)的傳統(tǒng)印象評分法的信度高得多.為進(jìn)一步提高英語寫作測試的信度，筆者結(jié)合《高級英語》的寫作教學(xué)及《英語寫作》等課程教學(xué)，將英語寫作測試的評分標(biāo)準(zhǔn)進(jìn)一步細(xì)化成內(nèi)容、篇章結(jié)構(gòu)、語法、語言使用及詞匯、其他等具有一定分值權(quán)重的五個模塊.權(quán)重分布如下.

模塊 內(nèi)容 篇章結(jié)構(gòu) 語法 語言使用詞匯 其他權(quán)重 0.3 0.2 0.2 0.25 0.05

在實際寫作測試評分中，對每一個評分模塊又細(xì)分為優(yōu)秀、很好、好、一般、差、很差六個等級.為與平時教學(xué)的百分制接軌，沒整個寫作測試滿分為100分，則內(nèi)容為30分，篇章結(jié)構(gòu)為20分，語言使用及為25分，詞法為20分，其他5分.每個模塊的分?jǐn)?shù)等級及標(biāo)準(zhǔn)如下.1.寫作內(nèi)容模塊評分標(biāo)準(zhǔn)（1）優(yōu)秀：30-26分，完全完成寫作任務(wù)，內(nèi)容詳實，覆蓋所有要點（2）很好：25-21分，很好完成寫作任務(wù)，內(nèi)容充實，雖漏掉一兩個次重點，但覆蓋所有要點.（3）好：20-16分，能夠完成寫作任務(wù)，內(nèi)容基本全面，雖漏掉一兩個次重點，覆蓋所有要點.（4）一般：15-11分，基本完成寫作任務(wù)，內(nèi)容要點有部分缺漏，有一些無關(guān)內(nèi)容.（5）差10-5分，不能完成寫作任務(wù)，內(nèi)容核心部分缺失，有一定的無關(guān)內(nèi)容.（6）很差：4-0分，完全無法完成寫作任務(wù)，所寫的東西基本與主題無關(guān).2.篇章結(jié)構(gòu)模塊評分標(biāo)準(zhǔn).（1）優(yōu)秀：20-18分,完全完成寫作任務(wù)，層次分明，結(jié)構(gòu)緊湊.（2）很好：17-14分,很好完成寫作任務(wù)，層次分明，結(jié)構(gòu)基本緊湊（3）好:13-10分,能夠完成寫作任務(wù)，層次基本分明，結(jié)構(gòu)基本緊湊.（4）一般:9-7分,基本完成寫作任務(wù)，層次基本分明，結(jié)構(gòu)不夠緊湊.（5）差:6-4分,不能完成寫作任務(wù)，層次不夠分明，結(jié)構(gòu)不夠緊湊.（6）很差:3-0分,完全無法完成寫作任務(wù)，所寫的東西毫無結(jié)構(gòu)與層次.3.語法模塊評分標(biāo)準(zhǔn)（1）優(yōu)秀：20-18分,完全完成寫作任務(wù)，語法正確，能有效交流.（2）很好：17-14分,很好完成寫作任務(wù)，幾乎沒有語法錯誤，能有效交流，（3）好:13-10分,能夠完成寫作任務(wù)，有些許語法錯誤，但不影響能正常交流（4）一般:9-7分,基本完成寫作任務(wù)，語法不正確.（5）差:6-4分,不能完成寫作任務(wù)，很多語法不正確，影響交流.（6）很差: 3-0分,完全無法完成寫作任務(wù)，所寫的東西語法全部錯誤，無法交流.4.語言使用與詞匯模塊評分標(biāo)準(zhǔn).（1）優(yōu)秀：25-22分,完全完成寫作任務(wù)，詞匯使用豐富多變，得體、精確（2）很好：21-18,分很好完成寫作任務(wù)，詞匯使用豐富，得體、準(zhǔn)確（3）好:17-13分,夠完成寫作任務(wù)，詞匯使用得體、準(zhǔn)確.（4）一般:12-9分,基本完成寫作任務(wù)，詞匯使用基本得體、部分詞使用不夠準(zhǔn)確.（5）差:8-5分,不能完成寫作任務(wù)，詞匯使用不夠得體、不夠準(zhǔn)確.(6)很差：4-0分，完全無法完成寫作任務(wù)，詞匯使用不得體、不準(zhǔn)確5.其他方面模塊評分標(biāo)準(zhǔn).（1）優(yōu)秀：5分,完全完成寫作任務(wù)，標(biāo)點符號使用正確，拼寫正確.（2）很好：4分,很好完成寫作任務(wù)，標(biāo)點符號使用與拼寫幾乎沒有錯誤（3）好:3分,能夠完成寫作任務(wù)，標(biāo)點符號使用與拼寫正確，有一些錯誤（4）一般:2分,基本完成寫作任務(wù)，標(biāo)點符號使用與拼寫基本正確，有一些錯誤（5）差:6-4分,不能完成寫作任務(wù)，標(biāo)點符號使用與拼寫有較多的錯誤（6）很差：0分，完全無法完成寫作任務(wù)，標(biāo)點符號使用與拼寫都是錯誤.

模塊劃分的理論依據(jù)是結(jié)構(gòu)主義語言學(xué)理論中交際語言能力模式.該模式認(rèn)為，交際語言能力構(gòu)成的主要因素是可以分解為語言知識和語用知識.語言知識包括語法知識和語篇知識兩塊，前者含詞匯、句法、語音及書寫等方面的知識，后者含語句連結(jié)、修辭及會話等方面的知識.語用知識也有兩個方面：功能知識與社會語言知識.功能知識包括達(dá)意功能、操縱功能、傳授功能及想象性語言能等.社會語言知識則包括各種語言變體知識，如方言，語體知識、文化習(xí)俗知識、修辭知識等方面.[2]

3 等級+模塊的評分機制的應(yīng)用

基于以上等級+模塊的評分機制，本課題組改造傳統(tǒng)的寫作測試評分的印象法，并提出分析評分法工作制.

傳統(tǒng)的寫作測試印象評分法的做法是，一個或幾個評分員對一份試卷給單獨給出分?jǐn)?shù).分?jǐn)?shù)評的評定是評分員基于學(xué)生寫作所做的總體印象，評分員對這種總體印象做出判斷，不必在評分過程中細(xì)抓作文的各個細(xì)節(jié).這種判斷基本上是評分員個人的主觀判斷，通常會受評分員自身的各種狀況的影響，如評分員的情緒、個人偏見、細(xì)心程度、疲勞程度等.為克服這種印象評分法的不可靠性，本課題級通常是由4個專業(yè)教師組成一個評分小組，先組織評分小組的成員學(xué)習(xí)評分標(biāo)準(zhǔn)各個等級的描述.培訓(xùn)結(jié)束后馬上開始評閱工作.四位評分員對同一份試卷做出評分，然后一個平均分.這種平均分的信度往往要比單個評分員的分?jǐn)?shù)的信度高.各評分員對一份試卷出現(xiàn)偏差比較大時，對該試卷重新進(jìn)行評分.在沒有區(qū)分等級評分標(biāo)準(zhǔn)的情況下，各評分員之間的評分差別較大，但運用英語寫作測試評分總體等級劃分描述標(biāo)準(zhǔn)后，要求每一位評分員快速讀完學(xué)生作文，然后在印象中大體定級，定級后級出具體分?jǐn)?shù).這種多人評分員制既給每個評分員充分的評分自主權(quán)，又要求評分細(xì)心閱讀學(xué)生作文，從宏觀上把握整個作文的質(zhì)量.這往往會使評分員很快疲勞.當(dāng)評分員感到比較疲勞時，建議評分員暫停評閱工作，適當(dāng)休息后重新評閱.這種多人制印象評分法的優(yōu)勢就是在于節(jié)省時間.這一點對大規(guī)模的考試而言尤為明顯.

當(dāng)然，在高校日常教學(xué)中，每次都組織多位專業(yè)教師對日常寫作測試進(jìn)行評分不太現(xiàn)實，切實可行的方法是任課教師自己一個人為評分員.這時，為克服印象法中評分員的主觀性，提高評分的信度，分析法成為首選.分析評分法首先要預(yù)先精心制定好評分細(xì)則.這些評分細(xì)則就是上文中的模塊評分標(biāo)準(zhǔn).模塊評分標(biāo)準(zhǔn)在日常寫作教學(xué)中可操作性強；只要熟悉模塊標(biāo)準(zhǔn)，任何一個評分員都可依標(biāo)準(zhǔn)盡量客觀地給出模塊分?jǐn)?shù)，然后計算出寫作總分.每個模塊的分?jǐn)?shù)對教師的教學(xué)具有很高的指導(dǎo)作用，使教師明確自己教學(xué)的優(yōu)勢與劣勢，對不足之處采取相應(yīng)的措施予以補救.而每個學(xué)生也能夠清晰地知道自己每個模塊的得分，非常有利于學(xué)生針對自己的薄弱環(huán)節(jié)進(jìn)行努力.

每一次考試模塊的劃分及每個模塊的具體標(biāo)準(zhǔn)都可以依據(jù)不同程度的考試而靈活制定.如基礎(chǔ)階段可以側(cè)重語法與詞匯，中級與高級階段側(cè)可以更多地關(guān)注作文的流暢程度.

與印象法相比，分析法相當(dāng)費時.故在大規(guī)劃的考試中更多地采用印象法評分，在日常的教學(xué)中采用分析法能夠更有效地指導(dǎo)教學(xué).研究表明，印象法單個評分員的信息最低，多人制印象法總體評分的信度比分析法單個評分員的信度更高，而多個評分員用分析法得出的平均分信度最高.

4 結(jié)語

等級+模塊的評分機制

英語寫作測試由于評分員的主觀因素而不可避免地具有不可靠性.用總體等級劃分的標(biāo)準(zhǔn)改造傳統(tǒng)的印象法，形成多人制印象法評分法，其信度可以大大提高.用模塊等級劃的標(biāo)準(zhǔn)將學(xué)生英語寫作測試的評分要點細(xì)分為不同的得分模塊，采用分析法評分，英語寫作測試的信度最高.具體劃分哪些模塊，每個模塊的權(quán)重各是多少都可以根據(jù)考試的不同程度與考試的不同目的靈活制定.在高校日常的英語寫作教學(xué)中，教師可能根據(jù)實際靈活選用一種或兩種評分方法，以取得最佳效果.

〔1〕Heaton, J.B.英語測試[M].北京：外語教學(xué)與研究出版社，2000.

〔2〕武尊民.英語測試的理論與實踐[M].北京：外語教學(xué)與研究出版社，2002.5-9.

H319

A

1673-260X（2014）03-0183-03

本文系廣西教育教學(xué)“十二五”規(guī)劃課題成果+《生態(tài)美學(xué)式翻譯教學(xué)模式的構(gòu)建研究》（2013C078）