劉睿

[摘 要] 為促進學生讀寫能力的發(fā)展，基于系統(tǒng)功能語言學元語言功能和語言三個層面的特點，設計了TEM-8寫作評分量表，對某地方院校大四英語專業(yè)學生的寫作樣本進行了實評，采用因子分析方法對評分結(jié)果進行了分析。結(jié)果表明，本研究設計的寫作評分量表是有效的。

[關(guān) 鍵 詞] 元語言功能；寫作評分量表；效度驗證

[中圖分類號] G642 [文獻標志碼] A [文章編號] 2096-0603（2016）31-0063-03

一、引言

系統(tǒng)功能語言學是一種“適用語言學”，提出20多年來，解決了教育中很多實際問題，為語言（母語、二語、外語）學習，提供了理論與實踐指導，促進了學生讀寫能力發(fā)展。在高等教育領域，語言學家、教育學家利用系統(tǒng)功能語言學理論在實踐中幫助學生發(fā)展閱讀能力（Rose，2005），幫助教師解決教學中遇到的問題和困難（Halliday &Hasan， 2006）。

我國英語專業(yè)八級測試的目的是檢查學生是否能達到大綱規(guī)定的八級水平應具有的綜合語言技能及交際能力，提高教學質(zhì)量。試題中TEM-8寫作的總分為20分，要求考生根據(jù)所給題目及要求撰寫各類體裁約400個單詞的文章。近10年來，TEM-8寫作題都是議論文體裁，注重考查考生議論文的寫作能力。

系統(tǒng)功能語言學把語言看成生成意義的資源，注重從語義的視角考查語法，認為語言的形式和意義是不可分的。在大學英語寫作教學中，語類理論主要用于描述語篇和語境的關(guān)系，可用來幫助學生使用語類和語域構(gòu)建意義。以往的研究對象多側(cè)重描述已發(fā)表論文和教材語篇（Hewings，2002），對學生TEM-8的寫作語篇的認知評價方面仍有待研究。

二、研究設計

（一）研究問題

本研究擬從系統(tǒng)功能語言學角度設計寫作評分量表并驗證其信度與效度，需研究三個問題：評分量表設計構(gòu)念與寫作能力評價的維度是否一致？評分量表是否能有效區(qū)分學生的能力？評分員使用評分量表評分時是否一致？

（二）研究步驟

研究分兩個階段。一是從理論上設計評分量表。包括：（1）研讀文獻，厘清評分量表的維度。（2）邀請寫作測試的專家指導、分析量表各個維度所對應的項目。（3）訪談寫作教學的教師，收集、整理教師對量表各維度的意見與建議，初步形成寫作評分量表。（4）進一步討論、修訂描述語，完善評分量表。二是從實踐上檢驗評分量表。通過比較評分員應用量表評價考生寫作樣本的情況，檢驗評分量表的有效性。

（三）研究對象

本研究的寫作樣本來自某地方院校英語專業(yè)的84名大四學生。他們都要參加2016年英語TEM-8考試，熟悉TEM-8考試寫作題的要求。

（四）實驗材料

試驗材料采用2005年英語TEM-8寫作考試題目：

Interview is frequently used by employers as a means to recruit prospective employees. As a result， there have been many arguments for or against the interview as a selection procedure. What is your opinion？ Write an essay of about 400 words to state your view.

該題屬于議論文體裁。每個學生在畢業(yè)找工作的過程中都有這方面的經(jīng)歷，在規(guī)定時間內(nèi)完成考試。收集學生作文并編號保存，為下一步實驗做好準備。

（五）評分量表設計

研究者在閱讀相關(guān)文獻的基礎上，參考、借鑒已有的寫作的評分量表，初步設定一份評分量表。訪談46名熟悉英語專業(yè)八級寫作教學的英語教師，讓每位教師寫出他們能想到的寫作評價的所有項目維度。在不改變原意的情況下，逐條修改教師寫出的評價項目，從中提煉出33條描述語，初步設計出一份評分量表。然后，歸納整理為調(diào)查問卷（問卷采用5點Likert量表，5表示完全有必要，1表示完全沒必要），向外語學院的其他英語教師發(fā)放，調(diào)查、統(tǒng)計問卷結(jié)果。

根據(jù)問卷調(diào)查結(jié)果，從33條描述語中選出平均分最高（完全有必要）的15條描述語。研究者和經(jīng)驗豐富的六位英語教師一起討論，從理論上確定寫作的構(gòu)念，一起設定寫作測量學生的什么能力，一起劃分評分等級，把問卷調(diào)查的15條描述語分別歸入理論構(gòu)念的各個維度。

Dillman等（2009）發(fā)現(xiàn)，使用4-5個等級評分信度是最有效的。因此，研究者邀請學院有多年寫作教學經(jīng)驗的同事在認真閱讀、討論寫作評分量表的基礎上，把評分等級分為優(yōu)、良、中、及格、差五個等級，分別賦予4、3、2、1、0五種分值。“優(yōu)”表示學生作文較好地完成任務要求，各分項幾乎沒有缺陷，且在某分項有創(chuàng)意、有創(chuàng)造性；“良”表示學生作文有效地完成任務要求，但在某分項有微小的或可以忽視的缺點；“中”表示學生作文基本完成任務要求，在某分項有明顯的錯誤，但不影響意義表達；“及格”表示學生作文勉強完成任務的要求，某分項有明顯的影響意義表達的錯誤；“差”表示學生作文不符合任務要求，各分項大多有明顯的失誤或錯誤。

最后，研究者根據(jù)評價內(nèi)容把15條描述語歸納為整體語篇層面的語類和語域（1～5條描述語），段落層面的語篇語義（6～9條描述語），詞匯、句子層面的語法與表達（10～14條描述語），其他（15條描述語）四個相對獨立構(gòu)念的寫作評分量表。

（六）用設計的評分量表評分

1.錨定寫作樣本，培訓評分員

人工評分中最大的問題是評分員評分的不一致性（Coffman，1971）。本研究通過4位評分員一起錨定寫作樣本的方式來培訓他們，提高評分一致性。根據(jù)設計的評分量表，4位評分員從84名學生的寫作樣本中錨定有代表性的、等級區(qū)分明顯的10個樣本，在錨定寫作樣本的過程中，評分員需對照描述語，給出寫作樣本的每個分項對應等級的分值，利用加權(quán)平均、四舍五入的方法確定最終等級。重復進行這個過程，可以幫助評分員厘清構(gòu)念并體會不同等級的寫作樣本間的差別，最大限度地保證所有評分員的評分標準都一致。錨定出的等級樣本作為正式評分時的參照范本。

2.試評及評分

試評時從沒有參加錨定的樣本中隨機選2個樣本，4位評分員同時在設計好的評分單上逐項評分。之后統(tǒng)計結(jié)果，計算評分員間評分信度。

正式評分時，評分員要對剩余的72個寫作樣本分別評分，為防止疲勞影響評分信度，特意要求評分員在兩天內(nèi)完成72個樣本的評分。之后匯總評分單，統(tǒng)計、處理數(shù)據(jù)。

三、結(jié)果與討論

（一）評分信度

四位評分員在15個分項上的評分信度Cronbach α=0.936，利用Friedman檢驗和Kendalls W檢驗了每位評分員在各分項上的評分。結(jié)果表明，漸進顯著性取值都大于0.05，即4位評分員之間不存在顯著性差異。評分員在各分項上的評分是一致的。

（二）探索性因子分析

1.KMO檢驗和Bartlett球形檢驗結(jié)果（如表1所示）

Kaiser（1974）認為，KMO值大于0.6表示變量間存在共同因子，就可以做因子分析。本研究中KMO統(tǒng)計量為0.898，適合進行因子分析。此外，Bartlett的球形檢驗的χ2值為1125.539（自由度為105），p=0.000<0.05，即各變量間存在顯著的相關(guān)性，適合進行因子分析。

2.主成分分析法抽取主成分的結(jié)果（如表2所示）

左邊15個成分的特征值大于1的，共有3個，這也是因子分析時所抽出的共同因子個數(shù)，3個共同因素共可解釋的總變異量為79.797%，轉(zhuǎn)軸后三個共同因素可以解釋的總變異量也為79.797%。

3.轉(zhuǎn)軸后的成分矩陣

轉(zhuǎn)軸的目的是為了更清楚地看出一組變量數(shù)所確定的那個共同因素，判斷每一個分項變量應歸屬于哪一個明確的主因素。關(guān)于能否將分項變量歸入共同主因素，還有一個選取因素負荷量標準的問題。Hair等人（1998）認為，要同時考慮到因素分析時樣本的大小，若樣本較小，則因素負荷量的選取標準就要高些。陳宇順（2004）認為，當樣本大小介于70～85之間時，因素負荷量選取的標準應介于0.650～0.600。

本實驗包含72個學生寫作樣本，所以因素負荷量的標準定為0.650。從轉(zhuǎn)軸后的成分矩陣中可以發(fā)現(xiàn)：共同因素一包含Item 1～8共8條描述語，共同因素二包含Item 9～12共4條描述語，共同因素三包含Item 14、Item 15兩條描述語（如表3所示）。

對比之前理論上的評分量表，可以看出大多數(shù)描述語在實際評分時表現(xiàn)出和原來構(gòu)念一致的屬性。最初設計的評分量表第一和第二構(gòu)念的一部分（整體語篇和段落）試評時構(gòu)念屬性一致，應歸屬共同因素一，共同因素包含二最初設計的評分量表中第二和第三與的第三構(gòu)念各一部分描述語，共同因素三與最初設計的評分量表的第四構(gòu)念和一條第三構(gòu)念，Item 13這條描述語的構(gòu)念特征不明顯，應刪除。根據(jù)以上探索性因子分析結(jié)果，評分量表應保留14條描述語。

四、結(jié)論

評分量表是評價過程的一個重要組成部分。本研究采用理論和實證研究相結(jié)合，定量和定性研究相結(jié)合的方法描述、總結(jié)了寫作評價的不同維度，運用探索性因子分析方法厘清了寫作的構(gòu)念。統(tǒng)計分析表明，本研究設計的評分量表能保證評價學生寫作表現(xiàn)的信度和效度，讓教師在評價的維度、分項、等級標準方面最大限度地達成一致，提高評分員自身和評分員之間評分的一致性，為教師在評價學生寫作能力時提供了一種方便、實用的工具。

本研究的局限性在于學生和教師都來自于地方院校，樣本容量較小，且數(shù)據(jù)只來自對一種體裁（議論文）寫作的評價。此外，限于篇幅，本研究也沒有涉及各評分維度應賦予的合理權(quán)重。研究者的目的旨在拋磚引玉，希望能給英語教師提供一些思路與啟示，在實踐中共同改進和完善評分量表。

參考文獻：

[1]Coffman， W. E. Essay examinations. In R. L. Thorndike （Ed.）， Educational measurement （2nd ed. pp.271-302）[M]. Washington， DC： American Council on Education，1971.

[2]Dillman， D. A.， Smyth， J. D.， & Christian， L. M. Internet， mail， and mixed-mode surveys： The tailored design method （3rd ed.）[M]. Hoboken， NJ： John Wiley & Sons， Inc，2009.

[3]Hair， J. F. Anderson， R. E.， Tatham， R. L. & Black， W. C.. Multivariate data analysis（5th ed.）[M]. Englewood Cliffs， NJ： Prentice-Hall，1998.

[4]Halliday， M. A. K. and Hasan， R.. ‘Retrospective on SFL and literacy， inR. Whittiker， M. ODonnell， and A. McCabe （eds）， Language and Literacy： FunctionalApproaches[D]. London： Continuum， 2006：15-44.

[5]Hewings， A.‘Shifting rhetorical focus in student and professional geography writing， in C. N. Candlin（ed.）， Research and Practice in Professional Discourse[D]. HongKong： City University of Hong Kong Press， 2002： 441-462.

[6]Humphrey， S. Martin， J.， Dreyfus， S.， and Mahboob， A.（2010）. A 3x3 toolkit for academic writing[A]. In A.Mahboob & N. Knight（eds.） Directions in Appliable Linguistics[C]. London： Continuum.

[7]Kaiser， H. F. Little Jiffy， Mark IV. Educational and Psychological Measurement[J]，1974（34）： 111-117.

[8]陳宇順. 多變量分析[M]. 臺北：華泰書局， 2004.