王顯濤

摘 ? ?要： 在大學(xué)英語配對(duì)口語測試過程當(dāng)中，有關(guān)評(píng)分寬嚴(yán)度與一致性常會(huì)受到多面Rasch模型（MFRM）的影響，發(fā)揮出一定作用。本次研究通過SPSS與MFRM分析的方法，將10對(duì)考生作為研究對(duì)象，依靠4名經(jīng)驗(yàn)評(píng)分員對(duì)口試加以有效評(píng)價(jià)。結(jié)果顯示，具有各異性格特點(diǎn)的評(píng)分員對(duì)寬嚴(yán)度方面的評(píng)價(jià)是不同的，相較于外向型評(píng)分員，內(nèi)向型更加嚴(yán)格;表現(xiàn)在一致性方面的差異卻微乎其微。

關(guān)鍵詞： 多面Rasch模型 ? ?評(píng)分員效度 ? ?寬嚴(yán)度 ? ?一致性

作為口試中的重要目標(biāo)，口語評(píng)分是其中主要的測試環(huán)節(jié)。在我國現(xiàn)有外語考試當(dāng)中，口語方面的測驗(yàn)必不可少，旨在對(duì)學(xué)生的口語表達(dá)水平加以檢驗(yàn)。在這過程當(dāng)中，在評(píng)分的信度、合理性、公平性方面的問題可謂教學(xué)研究的焦點(diǎn)和關(guān)鍵。以當(dāng)前情況來看，一般超過3人的小組形式測試最為常見，而專門的雙人配對(duì)口語測試卻十分稀少，并將個(gè)性因素作為影響評(píng)分方面的探究重點(diǎn)。本文基于我國高校英語課程公共必修的屬性特征，與新建應(yīng)用型本科院校特征緊密聯(lián)系，以實(shí)證方式研究在雙人配對(duì)的口語測試中，評(píng)分員表現(xiàn)出的傾向行為。

1.研究英語口語測試當(dāng)中評(píng)分員效度的重要價(jià)值意義

充分利用《大學(xué)英語課程教學(xué)要求（試行）》中的規(guī)定，在學(xué)生口語能力訓(xùn)練方面有如下規(guī)定，包括語音和語調(diào)、表達(dá)連續(xù)性、溝通交流技能等幾點(diǎn)。在借鑒和利用以往實(shí)踐研究經(jīng)驗(yàn)和環(huán)境條件的基礎(chǔ)上，能夠?qū)崿F(xiàn)的任務(wù)內(nèi)容涵蓋了：①短文的朗誦、②情節(jié)的復(fù)述、③依圖講話、④結(jié)合視頻短片的要求、⑤即興演講、⑥溝通交流、⑦分組探討。

顯然，①②顯示出較弱的交際特征，以考查學(xué)生語音語調(diào)為目的;而③④⑤目標(biāo)的交際性特征也不顯著，著重對(duì)學(xué)生連續(xù)性表達(dá)技能加以考察;最后兩個(gè)則顯示出很強(qiáng)的交際性特征，依照準(zhǔn)備的情節(jié)與內(nèi)容進(jìn)行表達(dá)和反應(yīng)。所以，本次研究測試可以將這三個(gè)方面劃分成三類：依次為A、B、C，便于比較不同目標(biāo)下的測試效度差異情況，從而找到能夠?qū)W(xué)生語音語調(diào)、表達(dá)連續(xù)性、溝通交流技能均予以檢驗(yàn)的口語測試任務(wù)設(shè)定，并予以推廣。

1.1研究價(jià)值意義

作為一類主觀性評(píng)分，口語評(píng)分旨在引導(dǎo)學(xué)生按照一定指標(biāo)要求完成相應(yīng)任務(wù)，將其中表現(xiàn)全部顯示出來，了解具有的分析、判斷及表達(dá)能力，隨后依靠評(píng)分員實(shí)施綜合分?jǐn)?shù)評(píng)價(jià)。在此過程中，參與評(píng)分人員具有的個(gè)人特點(diǎn)非常重要，比如：經(jīng)驗(yàn)情況、文化水平、情緒態(tài)度及疲勞狀況等因素，在評(píng)分信度、效度當(dāng)中均會(huì)有所干擾[1]，由此造成測試中產(chǎn)生評(píng)分偏差。學(xué)者Skehan指出，造成配對(duì)口語評(píng)分產(chǎn)生偏差的原因主要為多重因素互相影響造成，其中涵蓋任務(wù)目標(biāo)特征、考生、評(píng)分員各自間及評(píng)分要求的差異影響。

回顧以往二十多年，來自國外的Iwashita，Orr，Lyn May等專家都對(duì)配對(duì)模式各異、外語水平、性格差異及學(xué)生愛好、語言類型等方面給口語造成的影響情況加以研究，而我國則起步較晚，主要包括目前大學(xué)英語四、六級(jí)考試、英語專業(yè)四、八級(jí)考試等，并沒有將口語測試納入其中。直到1994年的英語專業(yè)四級(jí)考試中，口語錄音測試首次執(zhí)行（文秋芳），1999年，大學(xué)英語的四、六級(jí)考試內(nèi)容中包含口語測試[2]?？v觀口語測試的研究范圍，以國外相關(guān)研究啟示與我國口語測驗(yàn)實(shí)踐為主，其中存在形式測驗(yàn)、（盛越，管博），基于真實(shí)性的口試（鄒申）、大學(xué)英語口試測驗(yàn)（熊敦禮等）及英語專業(yè)的四級(jí)考試效度研究等。（文秋芳）

1.2概念辨析

1.2.1表面效度

表面效度在指從測試的表面來看的可信度，不過在實(shí)際應(yīng)用中具有較大的爭議，有一部專家學(xué)者認(rèn)為表面效度并沒有實(shí)際意義，而且在測試衡量上并不科學(xué)，和測試效果沒有直接聯(lián)系。也有部分專家學(xué)者認(rèn)為，表面效度是測試的基礎(chǔ)，只有從表面測試為有效之后，才能進(jìn)行下一步測試，發(fā)揮出更好的水平，從測試角度做出更為合適的反應(yīng)。如果被測試人員面對(duì)測試態(tài)度不端正，那么這一態(tài)度勢必會(huì)影響其在測試中的發(fā)揮，并且對(duì)測試結(jié)果造成不必要的干擾。這一問題需要將被測試人員的感受作為衡量標(biāo)準(zhǔn)，明確他們對(duì)測試的態(tài)度和反應(yīng)，這樣才能取得最為合理的表面效度數(shù)據(jù)資料。

1.2.2結(jié)構(gòu)效度

結(jié)構(gòu)效度是衡量被測試人員在表現(xiàn)上的特征和素質(zhì)上的體現(xiàn)，是測試的內(nèi)部關(guān)聯(lián)性的一種重要的衡量方式。具體來說，測試的內(nèi)部關(guān)聯(lián)性是指在測試過程中，其中各個(gè)組成成分之間相互關(guān)聯(lián)，組成了不同的組成結(jié)構(gòu)，并且形成了不同的素質(zhì)體現(xiàn)，這些不同的素質(zhì)體現(xiàn)在一定程度上會(huì)影響受測試人員的語言能力。如果結(jié)構(gòu)的各個(gè)組成部分的相關(guān)系數(shù)較低，那么證明測試項(xiàng)目可行，能準(zhǔn)確衡量受測試者的技能水平，而如果相關(guān)系數(shù)較高，那么可以認(rèn)為這兩個(gè)測試項(xiàng)目在實(shí)質(zhì)上是同樣的測試項(xiàng)目，并不用區(qū)分考慮，那么測試的時(shí)候可以選擇去掉其中一個(gè)測試項(xiàng)目，留下一個(gè)測試項(xiàng)目保證測試的準(zhǔn)確性、合理性和科學(xué)性[3]。

1.2.3并存效度

并存效度屬于測試的外部效度，可以通過某個(gè)測試項(xiàng)目的規(guī)律總結(jié)分析其效度，如對(duì)固定測試分?jǐn)?shù)和同類型的受測試者在同一時(shí)間所做出的其他結(jié)果進(jìn)行衡量，這也是可以體現(xiàn)不同的測試樣本和版本的比較過程[4]。另一種測試方式是受測試者對(duì)自身語言能力進(jìn)行自我評(píng)價(jià)，然后教師對(duì)受測試者的相關(guān)能力進(jìn)行評(píng)價(jià)，兩個(gè)評(píng)價(jià)結(jié)果進(jìn)行對(duì)比，保證其并存效度的相關(guān)系數(shù)在0.5到0.7之間。

2.大學(xué)英語口語測試中評(píng)分員效度實(shí)驗(yàn)分析

2.1測試對(duì)象

本文提出的大學(xué)英語口語測試中評(píng)分員效度實(shí)驗(yàn)選擇了經(jīng)管學(xué)院一年級(jí)的學(xué)生，學(xué)生平均年齡為20歲，共20名，從花名冊(cè)中隨機(jī)挑選出來。

測試任務(wù)主要是經(jīng)管學(xué)院英語期末考試的口語部分。

受測試學(xué)生共分為十組，每組成員都從15個(gè)備選題目中抽選測試試題，經(jīng)過三分鐘的準(zhǔn)備時(shí)間按照順序在3～5分鐘之內(nèi)完成口語對(duì)話，學(xué)生的測試口語由計(jì)算機(jī)識(shí)別錄音保存，全部十組學(xué)生的錄音作為音頻文件保存[5]。

2.2評(píng)分

本次大學(xué)英語口語測試中評(píng)分員效度實(shí)驗(yàn)測試選擇的評(píng)分人員是四位有著豐富的口語評(píng)分經(jīng)驗(yàn)的大學(xué)英語專業(yè)教師，并且具有副教授級(jí)職稱。在四位評(píng)分教師評(píng)分之前對(duì)其進(jìn)行性格測試，保證性格的取向偏內(nèi)向和偏外向的各兩名。

評(píng)分標(biāo)準(zhǔn)是受測試人員的口語表達(dá)準(zhǔn)確性，包括詞匯的運(yùn)用、語言的連貫性、語言的實(shí)用性、語言的靈活性和兩人之間的交流狀況，對(duì)十組受測試人員進(jìn)行評(píng)分。

3.大學(xué)英語口語測試中評(píng)分員效度研究結(jié)果

本次實(shí)驗(yàn)采用SPSS和Rasch模型（Linacre）對(duì)評(píng)分結(jié)果進(jìn)行分析，Rasch模型是由丹麥數(shù)學(xué)家Rasch提出的數(shù)據(jù)處理模型，主要是分析受測試人員的能力和項(xiàng)目的難易程度之間的雙層模型，在數(shù)據(jù)統(tǒng)計(jì)和參數(shù)估計(jì)上優(yōu)勢明顯，并且在數(shù)據(jù)處理上極為簡單，得到了較為廣泛的應(yīng)用。多面Rasch模型可以獨(dú)立分析評(píng)分人員的性格導(dǎo)致的寬嚴(yán)度，并且和受測試人員的能力和項(xiàng)目的難易程度相結(jié)合，對(duì)其中誤差加以校正，尤其主觀印象對(duì)評(píng)分結(jié)果的影響，有效地消除誤差，減少評(píng)分結(jié)果的不合理之處，提高評(píng)分結(jié)果的準(zhǔn)確度和可信度。本次實(shí)驗(yàn)的數(shù)據(jù)處理模型上都有獨(dú)立的參數(shù)設(shè)定，以logits（洛基量尺）作為衡量單位[6]。本次研究主要是采取Rasch模型，準(zhǔn)確分析在分組口語測試中，評(píng)分人員性格特點(diǎn)對(duì)評(píng)分過程寬嚴(yán)度的影響，找出一致性，找出影響評(píng)分人員評(píng)分偏差的因素。一般來說，評(píng)分的寬嚴(yán)度在-2～+2之間屬于正常誤差，不會(huì)影響結(jié)果的準(zhǔn)確性。Rasch模型評(píng)分人員寬嚴(yán)度估計(jì)見表1。

表1 ?Rasch模型評(píng)分人員寬嚴(yán)度估計(jì)表

3.1評(píng)分員寬嚴(yán)度分析

從表1可以看出，本次實(shí)驗(yàn)選擇的四位評(píng)分人員是評(píng)分寬嚴(yán)度都在誤差可以接收的范圍內(nèi)，可以證明本次實(shí)驗(yàn)評(píng)分結(jié)果的準(zhǔn)確性[7]。系統(tǒng)分析四個(gè)評(píng)分人員的寬嚴(yán)度可以看出，評(píng)分人員D的寬嚴(yán)度數(shù)值為-0.39，屬于四位評(píng)分者中最為寬松的評(píng)分人員，而評(píng)分者B是寬嚴(yán)度數(shù)值為0.88，是四位評(píng)分者中最為嚴(yán)厲的評(píng)分人員，評(píng)分員B和評(píng)分員D之間相差了1.27洛基量尺，從第五列的內(nèi)適合度均方來看，評(píng)分員的評(píng)分寬嚴(yán)度和自身的特點(diǎn)相一致。一般來說，Rasch模型允許評(píng)分者的一致性在一定范圍內(nèi)上下浮動(dòng)，但是如果某個(gè)評(píng)分者的上下浮動(dòng)幅度過大，那么說明該名評(píng)分者評(píng)分的穩(wěn)定性較差，缺乏一致性，一般來說浮動(dòng)范圍是在0.8～1.2之間[8]。適合度小于0.8或者適合度大于1.2的評(píng)分者可以認(rèn)為在評(píng)分過程中受到主觀印象和性格的影響較大，并不穩(wěn)定，沒有按照評(píng)分標(biāo)準(zhǔn)完成評(píng)分過程，缺乏一致性。從表1可以看出，評(píng)分員A的適合度值小于0.8，說明評(píng)分者A在評(píng)分過程中采取的測量的安全策略，變化幅度過小，一致性過高，并沒有根據(jù)受測試人員的表現(xiàn)進(jìn)行合理的區(qū)別和區(qū)分;而評(píng)分員C的適合度值為1.44，說明評(píng)分員C在評(píng)分時(shí)受到自身性格和主觀的影響較大，自身缺乏一致性，評(píng)分標(biāo)準(zhǔn)并不穩(wěn)定，可以說評(píng)分員A和評(píng)分員C在評(píng)分過程中都缺乏一致性，而評(píng)分員B和評(píng)分員D的適合度都在0.8～1.2的范圍之內(nèi)，一致性較好。最后一列是標(biāo)準(zhǔn)差，是評(píng)分者寬嚴(yán)度估計(jì)值的標(biāo)準(zhǔn)差，都為0.10，表現(xiàn)了這一寬嚴(yán)度估計(jì)值的準(zhǔn)確。

3.2評(píng)分偏差

表2主要體現(xiàn)了四位評(píng)分人員對(duì)受測試人員口語能力測試的評(píng)分和學(xué)生實(shí)際口語能力之間的偏差，為了觀察和研究方便，本文只選擇前五名和后五名進(jìn)行研究。

表2 ?偏差分析表

從表2來看，第三列為受測人員的口語能力，第四列為受測試人員實(shí)際得到的分?jǐn)?shù)，第五列是根據(jù)系統(tǒng)模型分析得出受測試人員的應(yīng)得分?jǐn)?shù)，第六列是均值，第七列是偏差值，第八列是誤差值，最后一列是偏差度的Z分?jǐn)?shù)。上文提到過偏差度的合理范圍是-2～+2，如果偏差度大于+2，則說明評(píng)分員在評(píng)分過程中過于嚴(yán)格，如評(píng)分員A在評(píng)論受試者5號(hào)的時(shí)候，偏差度為2.07，大于2，證明這次評(píng)分過于嚴(yán)格，偏差過大，本次評(píng)分不合理，不能作為最終評(píng)價(jià)結(jié)果。除了這一結(jié)果之外，所有評(píng)價(jià)結(jié)果都屬于有效評(píng)價(jià)，具有一定的統(tǒng)計(jì)學(xué)意義。另外，從表2中可以看出，前五位受試者是期望值大于實(shí)際得分值，也就是說這五名受測試人員的實(shí)際口語能力大于他們獲得的評(píng)分，評(píng)分員對(duì)他們的評(píng)分過于嚴(yán)格，導(dǎo)致評(píng)分偏低[9]。而后五名受測試人員的期望值低于評(píng)分值，說明這五名受測試人員的實(shí)際口語能力不夠他們獲得的評(píng)分，評(píng)分員對(duì)他們的評(píng)價(jià)過于寬松，存在一定的偏差?？傊?，通過這一分析可以看出，評(píng)分員的性格特征會(huì)對(duì)評(píng)分結(jié)果造成影響，而內(nèi)向性格的評(píng)分員嚴(yán)格程度要高于外向性格的評(píng)分員，在評(píng)分一致性上，內(nèi)向性格和外向性格對(duì)評(píng)分結(jié)果沒有明顯的差別影響。

4.總結(jié)

國家教育部最新《課程要求》針對(duì)非英語專業(yè)大學(xué)生的外語素質(zhì)訓(xùn)練宗旨更為明確和系統(tǒng)，以聽說技能為培養(yǎng)重點(diǎn)，其中提到“大學(xué)英語的教學(xué)目的是培養(yǎng)學(xué)生英語綜合應(yīng)用能力，進(jìn)而幫助其更好地適應(yīng)與應(yīng)對(duì)未來的工作任務(wù)，可以熟練地使用英語予以口頭及書面溝通[10]”。強(qiáng)調(diào)教學(xué)過程中準(zhǔn)確評(píng)估的作用價(jià)值所在，不僅要認(rèn)真執(zhí)行終結(jié)性的評(píng)估模式，還要注重對(duì)學(xué)生實(shí)踐能力的考察、指導(dǎo)與評(píng)測，使其具備高水平的口語及書面表述技能[11]。為了對(duì)學(xué)生學(xué)習(xí)成效加以檢測，推行大學(xué)英語口語測試不失為一種好方法，當(dāng)可以在考試中保證一定的科學(xué)嚴(yán)謹(jǐn)性，以合理的考察方式，嚴(yán)格的考場紀(jì)律的時(shí)候，最終形成的考試結(jié)果便可以對(duì)學(xué)生知識(shí)掌握程度做出真實(shí)反映，進(jìn)而提高學(xué)生的實(shí)踐能力，讓其可以從中清晰地了解到學(xué)習(xí)內(nèi)容的重點(diǎn)，幫助校方老師及時(shí)對(duì)學(xué)生的情況加以掌握，方便有針對(duì)性地對(duì)教學(xué)內(nèi)容和方案進(jìn)行優(yōu)化調(diào)整。顯然，推進(jìn)大學(xué)生的英語口語測試，不但是在落實(shí)教育部《課程要求》，完成對(duì)大學(xué)生英語口語能力的提升任務(wù)，而且有助于學(xué)生及時(shí)糾正錯(cuò)誤的學(xué)習(xí)方法。然而鑒于大學(xué)英語口語測試開展過程中存在諸多困難[12]，比如：涉及范圍廣泛、執(zhí)行復(fù)雜、耗時(shí)多等弊端，因而想要達(dá)成設(shè)計(jì)合理、樹立一定的規(guī)范性、確保結(jié)果的準(zhǔn)確性等方面是非常困難的。本次研究以具體的大學(xué)英語口語測試案例為研究對(duì)象，加以分析，參照考察后的結(jié)果，做出多維判斷，權(quán)衡利弊，完成有關(guān)展望和設(shè)想，以便提供給相關(guān)部門及人員更多的指導(dǎo)和幫助。

在本次針對(duì)配對(duì)口語評(píng)分的研究當(dāng)中，有效引入多面Rasch模型，分別對(duì)內(nèi)外向型評(píng)分員處于評(píng)分當(dāng)中的表現(xiàn)加以分析，包括評(píng)分偏差、寬嚴(yán)度和一致性等，進(jìn)而提供給后續(xù)研究和實(shí)踐更多的啟示，尤其對(duì)于那些具有不同評(píng)分偏差評(píng)分員來說，可以起到良好的反饋與訓(xùn)練作用。當(dāng)然，評(píng)分員自身的認(rèn)知程度研究不容忽視，評(píng)分員應(yīng)對(duì)參考的那些評(píng)分規(guī)定和其他無關(guān)信息進(jìn)行細(xì)致的分析，這樣便能夠運(yùn)用有聲思維方式對(duì)信息方面的問題加以合理處置，以便進(jìn)一步探究完善。

參考文獻(xiàn)：

[1]徐坤銀.計(jì)算機(jī)輔助口語測試的真實(shí)性分析[J].科技信息，2010（11）：18-19.

[2]閻艷琳.口語測試研究綜述[J].山西煤炭管理干部學(xué)院學(xué)報(bào)，2009，26（4）：58-59.

[3]景恒偉，馬麗玲.英語口語測試任務(wù)與類型及其對(duì)測試表現(xiàn)影響的研究述評(píng)[J].甘肅高師學(xué)報(bào)，2015，20（1）：45-49.

[4]周小琴，李欣.任務(wù)型口語測試與大學(xué)英語口語教學(xué)改革[J].吉林省教育學(xué)院學(xué)報(bào)，2010（02）.

[5]薛榮.論交際口語測試及其評(píng)分方法[J].外語教學(xué).2009，30（6）.

[6]沈淼.口語測試及評(píng)價(jià)[J].科技信息，2008（15）.

[7]丁愛云.形成性口語評(píng)價(jià)——激發(fā)學(xué)生學(xué)習(xí)熱情的口語測試新模式[J].天津工程師范學(xué)院學(xué)報(bào)，2007，17（2）：

70-74.

[8]高見.論影響口語測試的相關(guān)重要因素[J].科技信息（科學(xué)教研），2007（22）：215-215，224.

[9]張?jiān)铺?基于計(jì)算機(jī)的口語考試中的一些問題的分析及改進(jìn)方案[D].中國科學(xué)技術(shù)大學(xué)，2008.

[10]寧見紅.大學(xué)英語期末面試口試與機(jī)助口試的對(duì)比研究[D].廣西師范大學(xué)，2009.

[11]王麗.基于《英語課程標(biāo)準(zhǔn)》的計(jì)算機(jī)輔助高考英語口語測試的研究[D].華中師范大學(xué)，2011.

[12]周欣.計(jì)算機(jī)化高考英語口語測試中整體性和分析性評(píng)分方法的對(duì)比研究[D].廣東外語外貿(mào)大學(xué)，2008.

基金項(xiàng)目：江西省高校人文社會(huì)科學(xué)研究項(xiàng)目（22321

074）