李 斌

(北京師范大學(xué)發(fā)展心理研究所,北京 100875)

影響主觀評(píng)分一致性的評(píng)分者自身特征分析

李 斌

(北京師范大學(xué)發(fā)展心理研究所,北京 100875)

文章編制一份調(diào)查問(wèn)卷對(duì)參加某全國(guó)統(tǒng)一考試作文題目評(píng)閱的評(píng)分者進(jìn)行調(diào)查,來(lái)分析影響評(píng)分一致性的評(píng)分者自身特征。首先,采用探索性因子分析方法對(duì)數(shù)據(jù)進(jìn)行處理后,得出影響主觀評(píng)分一致性的評(píng)分者自身特征為六因子結(jié)構(gòu),即:責(zé)任心、自信心、情緒穩(wěn)定性、評(píng)分經(jīng)驗(yàn)、標(biāo)準(zhǔn)把握能力及執(zhí)裁能力。然后,應(yīng)用單因素方差分析法研究被調(diào)查者的有關(guān)人口學(xué)特征與評(píng)分者自身特征的關(guān)聯(lián),研究表明教齡和評(píng)分經(jīng)驗(yàn)、閱卷次數(shù)和情緒穩(wěn)定性之間存在明顯正相關(guān)。

主觀評(píng)分一致性;因素結(jié)構(gòu);探索性因子分析

一 問(wèn)題提出

主觀評(píng)分是指具有一定專業(yè)知識(shí)和經(jīng)驗(yàn)背景的評(píng)分者,按照一定的評(píng)分標(biāo)準(zhǔn)對(duì)被測(cè)對(duì)象的作答內(nèi)容或行為表現(xiàn)做出有效和客觀評(píng)判的思維過(guò)程,其目的是對(duì)被測(cè)對(duì)象進(jìn)行打分 (判斷其類別)或者以此分?jǐn)?shù)來(lái)決定被測(cè)對(duì)象的排名順序。主觀評(píng)判性是主觀評(píng)分的本質(zhì)屬性,[1]每個(gè)評(píng)分主體即評(píng)分者依據(jù)評(píng)分標(biāo)準(zhǔn)做出某一種判斷,具有強(qiáng)烈的主觀色彩,帶有許多人為估計(jì)的成分。評(píng)分者的知識(shí)、經(jīng)驗(yàn)、性格、習(xí)慣以及心態(tài)等因素都體現(xiàn)在評(píng)分活動(dòng)過(guò)程中并影響評(píng)分結(jié)果,造成多個(gè)評(píng)判主體間的不一致現(xiàn)象。[2]因此在實(shí)際應(yīng)用中評(píng)分信度常常較難保障,影響了主觀評(píng)分的客觀性、公平性和科學(xué)性。

目前國(guó)內(nèi)外研究者主要運(yùn)用不同的理論模型從統(tǒng)計(jì)學(xué)的角度,針對(duì)主觀評(píng)分者的信度進(jìn)行研究:經(jīng)典測(cè)量理論將主觀測(cè)試的信度理解為評(píng)分者所評(píng)分?jǐn)?shù)的一致性,并用相關(guān)系數(shù)表示信度系數(shù)用以計(jì)算評(píng)分者的一致性,如皮爾遜積差相關(guān)、斯皮爾曼等級(jí)相關(guān)、肯德爾等級(jí)相關(guān)以及 Cronbach’s Alpha系數(shù)等組內(nèi)相關(guān)法。[3]概化理論則通過(guò)識(shí)別各種誤差來(lái)源以及他們對(duì)于總變異的貢獻(xiàn)大小,來(lái)提供一個(gè)總體概化系數(shù)以反應(yīng)測(cè)量的水平。該理論全面描述評(píng)分的各種誤差來(lái)源,特別是評(píng)分者效應(yīng),不單關(guān)注某個(gè)評(píng)分員,還提供了評(píng)分員間信度的信息。[4]項(xiàng)目反應(yīng)理論更關(guān)注于對(duì)評(píng)分員效應(yīng)的分析識(shí)別,得出評(píng)分員的不一致性不僅表現(xiàn)為嚴(yán)厲度的差異,還表現(xiàn)在準(zhǔn)確度和集中度的差異上。[5,6,7]有的學(xué)者針對(duì)主觀評(píng)分的誤差分析和控制進(jìn)行研究,關(guān)注主觀評(píng)分各種誤差來(lái)源及其特點(diǎn)研究[8,9],蘇永華博士研究了影響主觀題評(píng)分誤差的各種心理效應(yīng)。[10]有研究評(píng)分員隊(duì)伍建設(shè)、評(píng)分資格認(rèn)證以及評(píng)分員培訓(xùn)在控制主觀評(píng)分不一致性現(xiàn)象中的作用。[11,12,13]還有的學(xué)者結(jié)合主觀評(píng)分的應(yīng)用背景環(huán)境展開相關(guān)研究,如結(jié)合英語(yǔ)口語(yǔ)測(cè)試討論評(píng)分者效應(yīng)的各種影響因素;[14,15]研究結(jié)構(gòu)化面試中評(píng)分過(guò)程中追問(wèn)方式、首因效應(yīng)、面試者接收信息的順序等影響因素,[16]有四個(gè)影響因素維度,即“評(píng)價(jià)維度、測(cè)評(píng)的情景、評(píng)價(jià)員、受測(cè)被試”四個(gè)不同側(cè)面影響到了測(cè)評(píng)的有效性,[17]研究績(jī)效考核中寬大效應(yīng)的成因及其控制方法[18]等等。

總的來(lái)說(shuō),對(duì)主觀評(píng)分的研究國(guó)外學(xué)者注重從統(tǒng)計(jì)學(xué)角度對(duì)主觀評(píng)分結(jié)果進(jìn)行衡量分析與應(yīng)用,而國(guó)內(nèi)則偏重從實(shí)踐應(yīng)用的角度來(lái)分析主觀評(píng)分不一致的影響因素以及采取的一些可行措施。主觀評(píng)分活動(dòng)是一個(gè)復(fù)雜的思維過(guò)程,受到諸多來(lái)自自身和環(huán)境等因素的影響,并且人們對(duì)主觀評(píng)分不一致產(chǎn)生的機(jī)理還不明確,對(duì)影響因素較難有全面的認(rèn)識(shí);主觀評(píng)分一致性影響因素的研究分散在信度衡量研究、誤差分析與控制研究以及一些具體背景問(wèn)題的研究中,同時(shí)研究者又從不同側(cè)面對(duì)其進(jìn)行研究,比如:從整個(gè)評(píng)分系統(tǒng)、評(píng)分過(guò)程、評(píng)分者效應(yīng)、評(píng)分者的個(gè)體效應(yīng)等。本文不涉及主觀試題、評(píng)分標(biāo)準(zhǔn)設(shè)計(jì)以及被試的表現(xiàn)或作答等因素,主要以主觀評(píng)分者的自身心理特征為主,通過(guò)設(shè)計(jì)的調(diào)查問(wèn)卷來(lái)研究影響主觀評(píng)分一致性的評(píng)分者自身特征因素,并進(jìn)行解釋。

二 研究方法

(一)被試選擇

本文選擇參加某全國(guó)統(tǒng)一考試英語(yǔ)科目作文和語(yǔ)文作文網(wǎng)上閱卷的教師為被試,評(píng)分者對(duì)考生的作文在計(jì)算機(jī)上獨(dú)立打分,彼此互不影響。

(二)工具編制

我們檢索了已有評(píng)分者一致性研究文獻(xiàn),沒有找到對(duì)評(píng)分者自身特征進(jìn)行研究的調(diào)查問(wèn)卷。于是通過(guò)專家訪談、預(yù)試等程序編制了評(píng)分者自身特征調(diào)查問(wèn)卷,來(lái)分析評(píng)分者自身特征對(duì)評(píng)分一致性的影響。

首先,采用訪談法搜集影響主觀評(píng)分一致性的各種因素。我們選擇了多年從事主觀試卷評(píng)閱,具有豐富主觀評(píng)分經(jīng)驗(yàn)的專家共 10人,進(jìn)行了深度訪談。主要的訪談提綱是:

問(wèn)題一:您是如何理解“主觀評(píng)分一致性”這個(gè)概念的?并舉例說(shuō)明。

問(wèn)題二:請(qǐng)您列舉出一些“主觀評(píng)分不一致”的現(xiàn)象,并用實(shí)例說(shuō)明。

問(wèn)題三:您以為影響主觀評(píng)分一致性的因素有哪些?請(qǐng)列舉說(shuō)明。

問(wèn)題四:主觀評(píng)分的特點(diǎn)是依靠主觀評(píng)分者的主觀判斷,請(qǐng)您談?wù)勛陨砟承┨卣鲗?duì)評(píng)分結(jié)果有哪影響?

問(wèn)題五:請(qǐng)您就影響主觀評(píng)分一致性的不同因素來(lái)源,列舉出影響主觀評(píng)分一致性的各因素? (每個(gè)因素來(lái)源至少五個(gè))

問(wèn)題六:關(guān)于影響主觀評(píng)分者一致性問(wèn)題,您的其他想法?

然后,確定調(diào)查問(wèn)卷的內(nèi)容。將訪談分析中收集到的影響主觀評(píng)分一致性的因素進(jìn)行歸納整理,得出主觀評(píng)分一致性的影響因素有 22項(xiàng),即來(lái)自主觀評(píng)分環(huán)境的有安靜程度、氣氛等;來(lái)自主觀評(píng)分者方面的有評(píng)分者的自身素質(zhì)、專業(yè)知識(shí)水平、業(yè)務(wù)水平、評(píng)分經(jīng)驗(yàn)、認(rèn)真負(fù)責(zé)態(tài)度、注意力、心理、心情及疲勞度等;來(lái)自被試者方面的有被試者書寫的字體清晰度、內(nèi)容要點(diǎn)突出、表達(dá)準(zhǔn)確、卷面整潔度、字跡工整程度等;來(lái)自評(píng)分標(biāo)準(zhǔn)的有評(píng)分標(biāo)準(zhǔn)中主觀題的分值與平時(shí)百分制打分不協(xié)調(diào);來(lái)自主觀評(píng)分組織管理工作的有評(píng)卷任務(wù)壓力、評(píng)卷方式、專家和組長(zhǎng)的意見、評(píng)分過(guò)程管理的嚴(yán)格程度、閱卷報(bào)酬計(jì)算標(biāo)準(zhǔn)等。因本文主要從評(píng)分者自身角度來(lái)探索影響主觀評(píng)分一致性的因素,因此不考慮評(píng)分環(huán)境、評(píng)分標(biāo)準(zhǔn)及被測(cè)試者表現(xiàn)等因素,從而編制了包含 25個(gè)調(diào)查項(xiàng)目的問(wèn)卷。

經(jīng)隨機(jī)選取參加某省統(tǒng)一考試英語(yǔ)作文閱卷的教師進(jìn)行預(yù)試 (發(fā)放問(wèn)卷 80份,收回 72份,有效問(wèn)卷 71份)。經(jīng)對(duì)問(wèn)卷預(yù)試結(jié)果的分析,剔出 2項(xiàng)無(wú)關(guān)項(xiàng),最終得到 20項(xiàng)主觀評(píng)分一致性的影響因素調(diào)查問(wèn)卷。

(三)施測(cè)

我們分兩次向參加某全國(guó)英語(yǔ)考試作文和語(yǔ)文作文網(wǎng)上閱卷的教師發(fā)放調(diào)查問(wèn)卷 120份,收回115份,剔除無(wú)效問(wèn)卷 5份,共獲得有效問(wèn)卷 110份。這 110位評(píng)分者的人口學(xué)特征為:按性別分,男40人,女 70人;按年齡分,30歲以下 5人,31-40歲 85人,41-50歲 11人,51歲以上 9人;按教齡分,2年以下 26人,3-8年 54人,8年以上 30人;按從參加閱卷的次數(shù)分,第一次參加 8人,第二次 22人,第三次 34人,參加 4次以上 46人。

三 數(shù)據(jù)分析

我們采用 Cronbach’sAlpha系數(shù)法對(duì)調(diào)查問(wèn)卷信度進(jìn)行分析。一般來(lái)說(shuō),Cronbach’s Alpha如量表的信度系數(shù)在 0.9以上,表示量表的信度很好;信度系數(shù)在 0.8～0.9之間,表示量表的信度可以接受;信度系數(shù)在 0.7～0.8之間,表示量表有些項(xiàng)目需要修訂;如果量表的信度系數(shù)在 0.7以下,表示量表有些項(xiàng)目需要拋棄[19]。本調(diào)查問(wèn)卷 20個(gè)調(diào)查項(xiàng)的信度Alpha=0.862 0,因此其信度和探索分析結(jié)果是可以接受的。

本調(diào)查問(wèn)卷 K MO值為 0.685有些偏低,但滿足大于 0.5的條件,還是適合因素分析[20]。

(一)因子結(jié)構(gòu)

本文采用比較常用的主成分析法來(lái)進(jìn)行公共因子的提取,因子旋轉(zhuǎn)采用方差最大化正交旋轉(zhuǎn)方法,得到了影響主觀評(píng)分一致性因素結(jié)構(gòu),累計(jì)解釋變異數(shù)為 68.029%,能解釋出大部分整體的變異。共抽取出了 6個(gè)公因子,各個(gè)公因子的解釋指標(biāo)都在三個(gè)或三個(gè)以上。其中各項(xiàng)指標(biāo)在各因子上的載荷達(dá)到 0.8以上的占 35%,載荷在 0.7-0.8的占到15%,載荷在 0.6-0.7的占到 20%,載荷在 0.5-0.6之間的占到 30%。解釋命名后,得到影響主觀評(píng)分一致性的評(píng)分者自身特征六因子結(jié)構(gòu),即責(zé)任心因素、情緒穩(wěn)定性因素、自信心因素、評(píng)分經(jīng)驗(yàn)因素和標(biāo)準(zhǔn)把握能力因素。

因素一命名為“責(zé)任心”:包含 3.閱卷時(shí)我能很好的安排時(shí)間,使各項(xiàng)評(píng)閱工作按時(shí)完成;20.對(duì)各種閱卷工作我都能及時(shí)正確地完成;5.我能夠高質(zhì)量地完成閱卷工作;16.閱卷中我會(huì)盡力把相關(guān)問(wèn)題考慮周全。主要體現(xiàn)評(píng)分中評(píng)分者主觀上重視、行動(dòng)上落實(shí)、嚴(yán)格要求自己、有信心勝任主觀評(píng)分工作。

因素二命名為“情緒穩(wěn)定性”:包含 10.情緒激動(dòng)會(huì)使我的評(píng)分出現(xiàn)偏差;8.評(píng)分工作環(huán)境的偶然變化會(huì)引起我情緒的改變;17.我的打分會(huì)受到評(píng)卷過(guò)程中其他無(wú)關(guān)事件的干擾。情緒和心情都是評(píng)分者的心理活動(dòng)表現(xiàn),這些都影響到評(píng)分者的主觀判斷,情緒會(huì)影響到對(duì)被試的態(tài)度以及對(duì)評(píng)分標(biāo)準(zhǔn)的把握。

因素三命名為“自信心”:包含 11.我認(rèn)為專業(yè)知識(shí)水平?jīng)Q定了評(píng)分的公正性;6.我評(píng)分時(shí)精力集中思維敏捷;7.評(píng)分中我會(huì)合理安排評(píng)分細(xì)則等三項(xiàng)。評(píng)分者自信來(lái)自于本身的專業(yè)背景和知識(shí)水平、評(píng)分過(guò)程中的判斷思維活動(dòng)以及自己對(duì)主觀評(píng)分標(biāo)準(zhǔn)的科學(xué)理解和把握,自信因素將影響到主觀評(píng)分的整個(gè)過(guò)程環(huán)節(jié)。

因素四命名為“評(píng)分經(jīng)驗(yàn)”:包含 2.過(guò)去的評(píng)分經(jīng)驗(yàn)有利于提高我的評(píng)分效率;15.我的第一印象往往是正確的;1.我在評(píng)分時(shí)是理性的等三項(xiàng)。評(píng)分者的經(jīng)驗(yàn)形成了定勢(shì)的評(píng)分行為,造成評(píng)分者的偏好和盲目自信,只有經(jīng)驗(yàn)和客觀標(biāo)準(zhǔn)的有機(jī)結(jié)合才是理性的評(píng)分。

因素五命名為“執(zhí)裁能力”:包含 12.我打分有時(shí)猶豫不決;13.缺乏評(píng)分經(jīng)驗(yàn)會(huì)使我對(duì)題目評(píng)分的判斷把握不準(zhǔn)確;4.面對(duì)繁重的評(píng)卷任務(wù)我會(huì)感到不安等三項(xiàng)。體現(xiàn)評(píng)分者對(duì)評(píng)分問(wèn)題的應(yīng)急處理能力以及對(duì)評(píng)分任務(wù)的適應(yīng)性,和評(píng)分者所具有的專業(yè)知識(shí)、評(píng)分經(jīng)驗(yàn)及評(píng)分標(biāo)準(zhǔn)的熟練掌握程度。

因素六命名為“標(biāo)準(zhǔn)把握能力”:包含 18.評(píng)分時(shí)過(guò)去的某些評(píng)分經(jīng)驗(yàn)可能會(huì)與評(píng)分標(biāo)準(zhǔn)的要求不符;19.感覺疲勞時(shí)我會(huì)放松對(duì)評(píng)分過(guò)程的把握;14.通常要花很多時(shí)間我才能靜下心來(lái)評(píng)分;9.我對(duì)評(píng)分標(biāo)準(zhǔn)把握得不好。評(píng)分過(guò)程中評(píng)分者對(duì)評(píng)分標(biāo)準(zhǔn)的把握尺度很重要,不能前緊后松、忽高忽低,標(biāo)準(zhǔn)的把握不能受制于先驗(yàn)的評(píng)分經(jīng)驗(yàn)和評(píng)分習(xí)慣。

(二)人口學(xué)特征與主觀評(píng)分一致性自身特征的關(guān)聯(lián)分析

對(duì)調(diào)查問(wèn)卷數(shù)據(jù)進(jìn)行探索性分析得到六因子結(jié)構(gòu)后,以六因子的因子得分?jǐn)?shù)據(jù)和被調(diào)查教師的人口學(xué)特征數(shù)據(jù)為依據(jù),運(yùn)用方差分析方法 (SPSS15. 0中的One-Way ANOVA)來(lái)分析人口學(xué)特征與各因素的關(guān)系,并通過(guò)平均值比較、方差檢驗(yàn)和組間多重比較的方式進(jìn)行分析檢定,得到的分析檢定結(jié)果如下表所示。因?yàn)樵诒辉囍醒芯可陨蠈W(xué)歷占總數(shù)的 86%,其他學(xué)歷人數(shù)較少,年齡也是集中在 30到40歲,數(shù)據(jù)沒有代表性,僅分析教齡和閱卷次數(shù)與自身特征的關(guān)聯(lián)。

表1 教齡和閱卷次數(shù)對(duì)主觀評(píng)分一致性影響因素分析檢定結(jié)果(n=110)

平均值比較的結(jié)果說(shuō)明不同的教齡層次和不同的閱卷次數(shù)在主觀評(píng)分一致性影響因素的六個(gè)影響維度上都存在一般性差異,但是否在顯著性差異則需要通過(guò)方差檢驗(yàn)的結(jié)果來(lái)說(shuō)明,由表中的 F值可知,三個(gè)不同層次的教齡組在評(píng)分經(jīng)驗(yàn)維度上的差異達(dá)到了 0.05;四個(gè)不同層次的閱卷次數(shù)組在情緒穩(wěn)定維度上的差異達(dá)到了 0.05。

教齡的差異分析,在評(píng)分經(jīng)驗(yàn)維度上 8年以上教齡顯著高于 2年以下教齡,其他維度沒有發(fā)現(xiàn)因教齡差異而帶來(lái)的顯著差異。不同教齡的教師僅在“評(píng)分經(jīng)驗(yàn)”上差異顯著,而在其他因素上不存在顯著差異。教齡越長(zhǎng),評(píng)分經(jīng)驗(yàn)也就積累越多。

閱卷次數(shù)的差異分析,在情緒穩(wěn)定性維度上閱卷次數(shù) 4次以上的顯著高于只參加過(guò) 1次閱卷的,其他維度沒有發(fā)現(xiàn)因閱卷次數(shù)差異而帶來(lái)的顯著差異。參加過(guò)不同閱卷次數(shù)的人員在“情緒穩(wěn)定性”上表現(xiàn)出差異顯著,可見,參加閱卷的次數(shù)越多,閱卷者的情緒越容易保持穩(wěn)定。

四 結(jié)論與展望

本文通過(guò)專家訪談方法,來(lái)搜集和整理主觀評(píng)分一致性的各影響因素,并通過(guò)編制主觀評(píng)分一致性評(píng)價(jià)者自身特征問(wèn)卷來(lái)獲取主觀評(píng)分者對(duì)各影響因素的評(píng)定信息,然后對(duì)調(diào)查問(wèn)卷數(shù)據(jù)進(jìn)行探索性因子分析,得出主觀評(píng)分一致性影響因素的因子結(jié)構(gòu),即責(zé)任心、自信心、情緒穩(wěn)定性、評(píng)分經(jīng)驗(yàn)和標(biāo)準(zhǔn)把握能力和執(zhí)裁力六個(gè)因素,六因素結(jié)構(gòu)分別從主觀評(píng)分過(guò)程和主觀評(píng)分者方面對(duì)主觀評(píng)分不一致性的產(chǎn)生進(jìn)行了解釋。一般來(lái)說(shuō),評(píng)分者的責(zé)任心和自信心能夠保證評(píng)閱任務(wù)的順利完成,其情緒穩(wěn)定性則是不受外界干擾的關(guān)鍵因素,過(guò)去的經(jīng)驗(yàn)對(duì)一致性影響不能忽視,它使評(píng)分者可以盡快適應(yīng)評(píng)分要求,而標(biāo)準(zhǔn)把握能力則是反應(yīng)評(píng)閱工作中標(biāo)準(zhǔn)的重要性,一個(gè)評(píng)分者具有良好的執(zhí)裁力才能作出客觀的評(píng)判。通過(guò)單因素方差分析得出主觀評(píng)分者的人口統(tǒng)計(jì)特征對(duì)主觀評(píng)分一致性影響因素結(jié)構(gòu)的影響,即教齡和閱卷次數(shù)分別對(duì)主觀評(píng)分一致性影響因素結(jié)構(gòu)中的自信心、評(píng)分經(jīng)驗(yàn)和情緒穩(wěn)定三個(gè)維度影響顯著。

影響主觀評(píng)分一致性的評(píng)分者自身因素的驗(yàn)證和應(yīng)用是今后的兩個(gè)研究?jī)?nèi)容。本文經(jīng)探索分析得到的影響因素結(jié)構(gòu)只是在初步分析調(diào)查數(shù)據(jù)的基礎(chǔ)上得到的,還需要在更大樣本的調(diào)查數(shù)據(jù)基礎(chǔ)上來(lái)進(jìn)行驗(yàn)證性因子分析,來(lái)驗(yàn)證并修正六因子結(jié)構(gòu)模型,以得到模型結(jié)構(gòu)簡(jiǎn)單、與大量樣本數(shù)據(jù)擬合度較好的影響因素結(jié)構(gòu)模型。主觀評(píng)分一致性的影響因素結(jié)構(gòu)在一定程度上解釋了主觀評(píng)分不一致性產(chǎn)生的根源和常見因素,希望把這一結(jié)果應(yīng)用到對(duì)主觀評(píng)分信度的控制中去。比如在選擇主觀評(píng)分者時(shí),要選拔那些責(zé)任心強(qiáng)、自信心高且情緒穩(wěn)定,能夠很好把握標(biāo)準(zhǔn)的人員,這樣能夠減少主觀評(píng)分的不一致性;并且優(yōu)先選擇那些具有一定專業(yè)知識(shí)背景學(xué)歷較高、教齡較長(zhǎng)并多次參加過(guò)主觀評(píng)分閱卷的人員,以便在主觀評(píng)分者選擇階段來(lái)預(yù)先控制主觀評(píng)分不一致現(xiàn)象的產(chǎn)生。

[1]劉建立.體育競(jìng)賽中主觀評(píng)分的概念、內(nèi)涵及其評(píng)判特征研究[J].體育與科學(xué),2008(3):78-81.

[2]徐曉鋒,劉 勇.評(píng)分者內(nèi)部一致性的研究和應(yīng)用[J].心理科學(xué),2007(5):1175-1178.

[3]孫曉敏,張厚粲.表現(xiàn)性評(píng)價(jià)中評(píng)分者信度估計(jì)方法的比較研究——從相關(guān)法、百分比法到概化理論[J].心理科學(xué),2005(3):646-649.

[4]魏高峽,李佑發(fā),孫曉敏.概化理論及其在運(yùn)動(dòng)成績(jī)主觀評(píng)定中的應(yīng)用 [J].北京體育大學(xué)學(xué)報(bào),2006(1):53-55.

[5]Thomas Eckes.Examining Rater Effects in TestDaF W riting and Speaking Performance Assess ments:A Many-Facet Rasch Analysis[J].Language AssessmentQuarterly,2005, 2(3):197-221.

[6]George Engelhard,Jr.Examining Rater Errors in the Assessment of W ritten Composition W ith a Many-Faceted RaschModel[J].Journal of EducationalMeasurement Summer,1994,31(2):93-112.

[7]George Engelhard,Jr.Evaluating Rater Accuracy in Perfor mance Assess ments[J].Journal of EducationalMeasurement Spring,1996,33(1):56-70.

[8]王文成.筆試主觀性試題評(píng)分誤差及其控制研究[D].華中師范大學(xué)碩士學(xué)位論文,2005.

[9]Okim Kang.Ratings of L2 Oral Performance in English: Relative I mpactof RaterCharacteristics andAcousticMeasures of Accentedness[J].Spaan Fellow Working Papers in Second or Foreign Language Assess ment,2008(6):181-205.

[10]蘇永華.現(xiàn)代人才測(cè)評(píng)理論與方法研究[D].華東師范大學(xué)博士學(xué)位論文,2000.

[11]O Loughlin.K.The I mpact of Gender in Oral Proficiency Testing[J].Language Testing,2002(2):169-192.

[12]Bachman,L.F.Some Reflection on Task-Based Language Performance Assess ment[J].Language Testing, 2006(2):452-476.

[13]Steven Barrett.The I mpact of Training on Rater Variability [J].International Education Journal,2001,2(1):49-58.

[14]Wang Haizhen.Rater Perceptions of Factors thatAffect the Rating of TEM-4 oral test[J].Celea Journal(Bimonthly) (30)2:9-15.

[15]Lawrence T.DeCarlo A Model of Rater Behavior in Essay GradingBased on Signal Detection Theory[J].Journal of EducationalMeasurement Spring,2005,42(1):53-76.

[16]孫悅博.結(jié)構(gòu)化面試中評(píng)分過(guò)程影響因素的實(shí)驗(yàn)研究[D].吉林大學(xué)碩士學(xué)位論述文,2007.

[17]彭平根.評(píng)價(jià)中心的測(cè)評(píng)有效性及其影響因素的實(shí)證研究[D].華東師范大學(xué)博士學(xué)位論文,2003.

[18]周 浩,龍立榮.績(jī)效考核中寬大效應(yīng)的成因及控制方法[J].心理科學(xué)進(jìn)展,2005(6):806-813.

[19]王劍輝,肖 瑋,車文博.軍事飛行員職業(yè)自我效能感量表的探索性分析[J].中華航空航天醫(yī)學(xué)雜志,2005, 16(1):34-37.

[20]李永鑫,趙 娜.工作 -家庭支持的結(jié)構(gòu)與測(cè)量及其調(diào)節(jié)作用[J].心理學(xué)報(bào),2009(9):863-874.

The Analysis of Raters’O wn Characteristics Influencing Subjective Scoring Agreement

L IBin
(Institute of Developm ental Psychology,B eijing Nor m al University,B eijing100875,China)

By surveying many raterswho attended the writing scoring in a National Examination with the questionnaire,this papermakes an analysis of raters’own characteristicswhich influence the subjective scoring agreement. Firstly,after processing the collected data with the method of exploratory factor analysis,it finds that the raters’own characteristicswhich influence subjective scoring agreement are of six-factor structure,namely,responsibility,self-confidence,stabilization of emotion,scoring experiences,and the abilities in grasping criterion and exercising scoring.Then,by the means of single factor analysis of variance this paper explores the relationship between the factor structure and demographic variable,with the result that therewere significantpositive correlations between education and self-confidence,teaching years and scoring experiences,total scoring ti mes and stabilization of emotion respectively.

subjective scoring agreement;factorial structure;exploratory factor analysis

book=75,ebook=296

G449.7

A

1000-5935(2010)03-0075-05

(責(zé)任編輯 石 濤)

2009-11-08

李 斌(1974-),男,山東章丘人,教育部基礎(chǔ)教育課程教材發(fā)展中心助理研究員,北京師范大學(xué)發(fā)展心理研究所在讀博士,主要從事教育評(píng)價(jià)與測(cè)量方向的研究。