何 壯,趙守盈

(1.北京師范大學教育學部,北京 100875;2.貴州師范大學教育科學學院,貴州 貴陽 550001)

技能評分項目裁判員評分結果的多面Rasch模型分析
——項目反應理論在體育運動領域的應用

何 壯1,趙守盈2

(1.北京師范大學教育學部,北京 100875;2.貴州師范大學教育科學學院,貴州 貴陽 550001)

技能類運動項目以裁判員評分作為評定比賽成績的主要因素,對裁判員評分分析可以得到許多有價值的信息。研究使用多面Rasch模型對倫敦奧運會男子10米臺跳水決賽結果進行分析。分析結果表明：運動員能力排序與奧運會比賽結果有差異;比賽中運動員之間狀態(tài)起伏規(guī)律有差異;裁判員之間評分寬嚴程度一致,但對個別評分等級把握不準確;規(guī)則中的動作難度系數(shù)與Rasch分析的動作難度之間有差異。Rasch分析得到的信息對裁判選拔、規(guī)則修訂、運動員備戰(zhàn)具有參考價值。

多面Rasch模型;項目反應理論;跳水;主觀評分

1 問題的提出

技能評分項目是由若干名裁判依據(jù)評分規(guī)則同時并獨立地對某一名(組)運動員的競技能力進行主觀評判,以決定運動員成績的運動競技項目[1]。跳水、體操、花樣滑冰等均屬于技能評分項目。這類競技比賽的最終成績受到運動員自身技能水平的影響,同時也受到比賽場地、時間等情境因素的影響。此外,評分規(guī)則和裁判的主觀評分也是影響最終成績的因素。其中,裁判的公平問題一直是公眾關注的焦點。因此,裁判員評分結果的分析對運動員備戰(zhàn)、裁判選拔、評分規(guī)則的修訂意義重大。

傳統(tǒng)的評分結果分析基于經(jīng)典測量理論(Classical Test Theory,CTT),以相關分析、極差分析、方差分析為主。但統(tǒng)計學中認為如果樣本量小、個體差異大,估計的誤差可能很大[2]。受場地和時間等條件影響,競技比賽對參賽人數(shù)和時間都有嚴格要求。以倫敦奧運會的跳水決賽為例,每名運動員出場6次,由7名裁判員打分,計算成績時還要剔除兩個最高得分、兩個最低得分。這種處理方式使得抽樣數(shù)量更小,增加了測量誤差,有可能造成結果的不公平。

與CTT相比,項目反應理論(Item Response Theory,IRT)具有參數(shù)不變性的特點,其參數(shù)估計不受抽樣影響。CTT分析中運動員能力和項目難度不是定義在同一個量尺上,無法推斷運動員在某一項目上會出現(xiàn)怎樣的反應。IRT將運動員能力和項目難度轉化為統(tǒng)一的Logit單位,便于兩者之間的比較。CTT假設裁判員的打分屬于等距數(shù)據(jù),但實際上這些得分是等級數(shù)據(jù)[3]。例如一個跳水動作,運動員將成績從5.0提高到6.0要比從9.0提高到10分容易。從原始分數(shù)上看,同樣是一分的差別,后者顯然要付出更多的努力。IRT克服了CTT的這些缺陷,是對CTT的重要補充。已有研究者論證過將IRT用于運動技能的測量的可行性[4]。

技能類評分項目的得分受到運動員能力、時空條件(場地及出場順序)、裁判等諸多因素的影響。通過CTT方法進行分析僅能得到運動員能力和裁判評分兩方面的信息[5]。這些信息對運動員備戰(zhàn)、裁判選拔來說有很高的價值,但卻非常有限。而多面Rasch模型(many-Facets Rasch Model,MFRM)能將運動員能力、項目難度、裁判寬嚴程度、出場次序(回合)等因素統(tǒng)一在同一模型中,并轉化為相同的Logit單位,方便因素間比較和交互作用分析。因此,本研究使用多面Rasch模型對倫敦奧運會男子10米臺跳水決賽結果進行分析,以期為提高裁判水平、改進規(guī)則和運動備戰(zhàn)提供參考。

2 研究對象及方法

2.1研究對象

MFRM研究所用數(shù)據(jù)取自2012年倫敦奧運會男子10米臺跳水決賽。本場比賽共有12名運動員參加,分6輪進行,運動員的出場順序按照半決賽成績從低到高排列。共有7名裁判參加評分。評分規(guī)則規(guī)定運動員每一跳動作得分計算方式為：去掉兩個最高得分、兩個最低得分,計算剩余三個分數(shù)的平均分,再乘以動作的難度系數(shù)。MFRM分析使用的數(shù)據(jù)沒有經(jīng)過刪除和加權,而是對全部打分數(shù)據(jù)進行分析。

本次研究所用的模型如下：

MFRM中每個影響因素為一個面,如運動員面、裁判面、動作面等。Pnijk是跳水運動員n在動作i上被裁判j評定為k分的概率,Pnij(k-1)是運動員n在動作i上被裁判j評定為k-1分的概率,P的取值范圍為[0,1];Bn代表運動員n的能力,倫敦奧運會跳水決賽有12名(組)運動員參加,n=1,2,…,12;Di是動作難度,男子10米臺跳水共出現(xiàn)14個動作,i=1,2,…,14; Cj是評委的寬嚴程度,共有7名裁判,j=1,2,…,7;Rm代表輪次難度,跳水決賽共有6輪,m=1,2,…,6;Fk是評分等級量表中從(k-1)到k分的等級難度。由公式可以見,如果運動員能力大于動作難度、裁判寬嚴程度、輪次難度、某一特定等級難度的和,那么他在該動作上獲得該等級分數(shù)的概率大于50%。

MFRM分析結果除上述信息之外還包括偏差分析(Bias analysis)和交互作用分析(Interaction analysis)。偏差分析可以分析裁判給不同運動員打分時的寬嚴程度,為評價裁判評分的公平性提供參考。交互作用分析可以發(fā)現(xiàn)各面之間的交互作用,如輪次與裁判員之間的交互作用分析能夠得到裁判員各輪次的寬嚴程度信息,為運動員備戰(zhàn)、安排動作提供信息。

2.2數(shù)據(jù)分析

本研究使用FACETS 3.70軟件,數(shù)據(jù)分析結果主要包括：層面圖、運動員能力、裁判員寬嚴程度、動作難度、各輪次難度、評分量表中各等級難度等。

3 分析結果

3.1層面圖

圖1 層面圖

層面圖將不同層面的全部個體直觀的呈現(xiàn)在同一Rasch量尺下,方便研究者了解各面?zhèn)€體的分布狀況以及進行各面之間的比較。圖1的最左側為Rasch量尺,以Logit為單位。運動員面列出了能力估計的結果,中國運動員邱波能力最強,烏克蘭運動員BONDAR Oleksandr能力最弱。輪次面顯示第4輪、第5輪的競爭最為激烈。動作面顯示5156B難度最高,207C難度最低。裁判面顯示7號裁判打分最嚴格,3號裁判打分最寬松。評分面顯示各等級分數(shù)梯難度之間不相等。

3.2運動員能力分析

MFRM在運動員能力估計過程中考慮了動作、輪次、裁判等因素,接近競賽的實際情境,其能力估計結果更接近運動員實際水平。

MFRM各面的參數(shù)估計結果包括：屬于該面每個個體的參數(shù)(Measure)、參數(shù)估計誤差(Model SE)、擬合參數(shù)(Infit MNSQ、Outfit MNSQ、ZStd、RMSE)、分離系數(shù)(Separation)和分離信度(Separation Reliability)。

以運動員能力估計為例(見表1),估計結果為轉化后的數(shù)據(jù),以Logit為單位;參數(shù)估計誤差反映能力估計的精準程度。Infit MNSQ和Outfit MNSQ反映了模型預期與實際觀測值間的差異,理想值為1[6]。Outfit MNSQ是未加權的擬合統(tǒng)計量,受偏離模型預期的極端數(shù)據(jù)影響較大,Infit MNSQ是加權后的擬合統(tǒng)計量,受極端數(shù)據(jù)影響較小。一般將Infit MNSQ作為擬合參數(shù)。這兩個擬合統(tǒng)計量在[0.6,1.4]區(qū)間較好[7]。運動員能力估計的擬合參數(shù)大于1.4,表明其可能出現(xiàn)超?；蚴С０l(fā)揮。12名運動員中第8名WOLFRAM Martin、第12名BONDAR Oleksandr的Infit MNSQ大于1.4,可能出現(xiàn)超常發(fā)揮或失常發(fā)揮。分離系數(shù)反映了屬于同一面的個體之間差異程度,大于2就認為個體之間存在顯著差異[8]。運動員面的分離系數(shù)為7.12,表明運動員之間的能力差異顯著。分離信度是真實變異與觀測變異之比,理論范圍為[0,1],運動員面的分離信度為0.98,表明Rasch分析的結果可靠性很高。

表1中運動員以能力高低排序,決賽排名與Rasch分析結果之間存在顯著相關(r=0.902,p＜0.001),但在關系金牌歸屬的關鍵名次上存在差異。出現(xiàn)這一差異的原因可能在于計分規(guī)則。奧運會比賽的成績是刪除4個評分后求平均分并乘以難度系數(shù)加權的結果。刪除4個裁判的評分丟失了大量信息,這就人為加大了能力估計的誤差。使用剩余評分的數(shù)據(jù)進行能力估計,結果顯示能力估計的平均誤差為0.28,而使用全部評分數(shù)據(jù)進行能力估計時的平均誤差僅為0.14。

表1 運動員能力估計結果

圖2 信息量圖

項目反應理論中提出了“信息量”的概念來表示測量的精準程度[9]。比較兩種情況下的信息量,發(fā)現(xiàn)刪除4個評分后的信息量(虛線)不足刪除前(實線)的一半(見圖2)。這表明奧運會的評分規(guī)則導致大量的有效信息被刪除,對評分結果的公平性、準確性影響很大。刪除部分評分的初衷是為了避免極端評分對比賽結果的影響,但也可能會出現(xiàn)下述情況。第1輪中GUERRA Jose Antonio和McCORMICK Riley均選擇了107B,兩人的得分情況見表2。按照評分規(guī)則,GUERRA Jose Antonio的評分中刪除兩個最高分9.0、9.0和兩個最低分8.5、8.5;McCORMICK Riley的得分應刪除兩個最高分8.5、8.5和兩個最低分8.0、8.0(見表2)。刪除后兩名運動員得分相同(平均8.5,最終得分=平均分8.5×難度系數(shù)3.0=25.5)。但從總體情況看,GUERRA Jose Antonio能力明顯高于McCORMICK Riley。Rasch的分析結果與原始的得分情況一致,GUERRA Jose Antonio能力更高。出現(xiàn)類似情況時,奧運會的評分規(guī)則不能區(qū)分兩人的能力差異。

表2 兩名運動員第1輪得分

3.3裁判評分分析

裁判的主觀評分過程受到心理、生理、環(huán)境等多種因素的影響,自身的寬嚴標準會有波動;裁判之間的寬嚴程度也會有所差異。這種同一評分者前后寬嚴標準不統(tǒng)一,不同評分者之間寬嚴標準不統(tǒng)一的現(xiàn)象稱為評分者效應[10]。在重大比賽的裁判工作中,這些波動和差異對比賽結果影響很大。

裁判評分的分析結果表明,7號裁判打分最嚴格,3號裁判打分最寬松。裁判之間寬嚴程度的極差為0.28(Logit單位),標準差0.09。裁判面的分離系數(shù)小于0.01。裁判之間寬嚴程度不存在差異,裁判對評分尺度的把握非常統(tǒng)一。

裁判寬嚴標準的擬合參數(shù)大于1.4,表明其打分比較激進,完成好的動作打分很高、完成差的動作打分很低,分數(shù)之間差異很大。相反,擬合參數(shù)小于0.6則表明其打分比較保守,存在趨中現(xiàn)象,完成好的動作給分偏低,完成差的動作給分偏高。1號裁判為12名運動員打分的標準差為1.03,在全部裁判中最高。該名裁判的Infit MNSQ=1.35,說明其打分時最為激進。2號裁判打分的標準差為0.73、極差3.5,在所有裁判中最低,Infit MNSQ=0.74,說明其打分較保守。盡管如此,所有裁判的擬合參數(shù)都在可以接受的范圍之內(nèi)。

除評分寬嚴程度之外還可以對裁判掌握評分量表的情況進行分析。奧運會的評分屬于等級評分,以0.5為一個等級。裁判根據(jù)運動員動作完成情況,按照規(guī)則要求,從0-10分中選擇自己認為合適的分數(shù)。Rasch理論要求,運動員能力越高得分等級越高,且等級量表中相鄰兩個分數(shù)等級的間距應當相等[11]。但實際應用中,等級間距相等這一要求很難滿足。各評分等級的參數(shù)見表3。等級間距不相等,意味著原始分數(shù)相差一個等級(0.5分),體現(xiàn)出來的實際能力差距有所不同。如得10分的運動員得分高出得9.5分的運動員一個等級,實際能力高出0.57個Logit單位;得7.5分的運動員得分高出得7分的運動員一個等級,實際能力僅高出0.28個Logit單位。Rasch理論要求,等級越高,對應的能力越高。5.0、6.0、6.5三個等級出現(xiàn)了倒置現(xiàn)象,即高能力對應低等級、低能力對應高等級。如能力為-0.74的被試得分為5.5分,比他能力低的被試(能力為-0.87)得分為6.0或6.5。這說明裁判對這三個等級把握不準確。這對改進裁判工作、提高裁判水平很有價值。

3.4輪次難度分析

奧運會跳水決賽中運動員每輪出場一次,每次做一個動作,共需完成6輪比賽。出場時間以預賽成績排序,這就為比賽增加了時間因素。了解各輪次的難度對運動員的備戰(zhàn)有很大幫助。

表3 等級評分分析

數(shù)據(jù)分析結果表明,比賽的中后階段競爭非常激烈。難度最高的兩輪為第4輪、第5輪。這兩輪中12名運動員得分的標準差最大,分別為11.17和11.34,說明運動員發(fā)揮差異很大。運動員之間拉開距離主要是在第4輪、第5輪。輪次面的分離系數(shù)為6.31,分離信度0.98,表明各輪次難度存在顯著差異。

3.5動作難度分析

動作的難度系數(shù)由國際游泳技術委員會規(guī)定,在計分過程中,難度系數(shù)以權重的形式出現(xiàn),是確定奧運會最終成績的重要因素。本次決賽,12名運動員共使用了14個動作,Rasch難度估計結果見表4。

表4 動作難度分析

續(xù)表4

14個動作按Rasch難度排序與規(guī)則規(guī)定的難度系數(shù)排序之間有所不同。有些高難度系數(shù)動作(409C,難度系數(shù)4.1)的Rasch難度估計為中等,有些低難度系數(shù)動作(6243D,難度系數(shù)3.2)的Rasch難度較高。這些信息對運動員備戰(zhàn)很有價值：運動員可以選擇409C這類難度系數(shù)較高但Rasch難度較低的動作,盡量避免選擇6243D這類難度系數(shù)較低但Rasch難度較高的動作。

動作難度面的分離系數(shù)為5.86,分離信度0.97,表明運動員對各動作的掌握存在顯著差異。

3.6交互作用分析

對影響結果的各面之間交互作用進行分析可以得到更多比賽信息。

運動員與輪次之間交互作用的分析結果為比賽中運動員狀態(tài)的保持和調(diào)整提供了參考。圖3將各輪次按難度從左至右、由低至高排列,可以發(fā)現(xiàn)運動員比賽中狀態(tài)起伏不定,不同運動員狀態(tài)起伏特點不同。兩名中國運動員,前兩輪均發(fā)揮出色。邱波在第4輪、第5輪表現(xiàn)較差,林躍后四輪發(fā)揮均不理想。最終奪冠的BOUDIA David第3、4、6輪發(fā)揮出色。同時還發(fā)現(xiàn)中國運動員邱波的表現(xiàn)最為穩(wěn)定,他的Rasch能力也最高。Rasch能力排名第2、第3的BOUDIA David和DALEY Thomas發(fā)揮不穩(wěn)定,尤其在難度較低的1、2兩輪表現(xiàn)很差。

圖3 運動員與輪次交互作用分析

運動員與裁判之間交互作用的卡方檢驗結果表明裁判與運動員之間不存在交互作用,裁判的打分客觀公正。比賽過程中,英國選手DALEY Thomas曾申請重跳,以上Rasch分析都是基于重跳后的打分。該選手得分數(shù)據(jù)分析中并未出現(xiàn)與模型不擬合的異常值。對其重跳前的打分結果進行分析,發(fā)現(xiàn)1、2、4、5、7號裁判的打分均為異常值。也就是說該名運動員第一次試跳發(fā)揮失常,重跳對其得分和名次有重大影響。

裁判與輪次之間交互作用的卡方檢驗結果表明裁判員各輪次打分的寬嚴標準一致,多數(shù)裁判能夠保持自己評分的寬嚴程度一致。只有3號裁判的寬嚴程度波動較大,尤其是在第1輪時,打分較寬松。這種波動在模型允許的范圍之內(nèi),未對比賽結果產(chǎn)生影響。

4 討論

4.1參數(shù)估計結果對規(guī)則修訂的啟示

Rasch分析得到的運動員能力排序與實際比賽結果相關顯著,但在關鍵名次上有差異。對評分規(guī)則的分析發(fā)現(xiàn)：現(xiàn)行的評分規(guī)則采取的去掉最高和最低各兩個評分方法使得大量的有效信息被刪除。導致比賽成績的代表性差,比賽結果的隨機性增大。運動員能力估計的誤差增大,尤其是在運動員能力相近時,不能有效區(qū)分。更有可能導致關鍵名次上的排序與實際能力不符,造成爭議。同時,刪除數(shù)據(jù)的計算方法對裁判心理也會產(chǎn)生影響。

優(yōu)質(zhì)的評分規(guī)則應能準確、快速評價運動員能力,同時計算簡單、便于推廣。與奧運會規(guī)則相比,Rasch理論提供的能力估計方法能夠更加準確的評價運動員,但因為理論復雜,不適合推廣。在制定或修訂規(guī)則時可選擇現(xiàn)代測量理論進行充分論證,確保評價結果準確、公正。

對裁判評分的分析可以有效避免評分時的舞弊現(xiàn)象,也可以了解裁判員掌握規(guī)則的程度。這一方法在裁判員的培訓及選拔過程中可以發(fā)揮重要的作用。

4.2交互作用對運動員備戰(zhàn)的啟示

對運動員能力分析可以發(fā)現(xiàn)運動員在不同輪次上發(fā)揮起伏的規(guī)律。以中國運動員為例：邱波的表現(xiàn)比較穩(wěn)定,但第4輪、第5輪表現(xiàn)欠佳。兩輪選擇的動作為207B和109C,在其選擇的所有動作中難度較高。由于其本身的發(fā)揮規(guī)律,在比賽中段或難度較高時表現(xiàn)會有起伏。剛好本次比賽這兩個動作安排在比賽中段,導致其得分不理想。

收集運動員參加世界大賽的數(shù)據(jù)進行分析,可以總結出其運動規(guī)律。制定競賽策略時,應當綜合考慮運動員自身運動規(guī)律、動作難度、裁判員打分規(guī)律。這樣針對比賽出現(xiàn)的問題進行的備戰(zhàn),將會幫助提高運動員的成績。

4.3動作難度對制定比賽策略的啟示

比賽的規(guī)則應當與運動的發(fā)展相適應,以本次分析為例：跳水動作Rasch難度與規(guī)則規(guī)定的難度系數(shù)之間存在差異。國際泳聯(lián)可以將現(xiàn)代測量理論分析結果作為修訂規(guī)則的參考。從備戰(zhàn)及比賽策略的角度來講,運動員比賽中可以選擇Rasch難度低但難度系數(shù)高的動作,這樣更有可能得到高分。以109C為例,規(guī)則中動作的難度系數(shù)為3.7,是決賽出現(xiàn)的全部動作中難度系數(shù)最高的動作之一。但這一動作的Rasch難度僅為0.87,在所有動作中,Rasch難度屬于中等稍高水平。選擇這一動作可以在實際難度較低的情況下獲得較高的權重,從而在得分上獲取一定的優(yōu)勢。

以Rasch為代表的項目反應理論在比賽成績確定、規(guī)則修訂、評價裁判評分的客觀性等方面都有很強的應用價值。在今后的研究和應用中應當將現(xiàn)代測量理論與傳統(tǒng)方法相結合,才能得出更有價值的結論。

5 結論

(1)對裁判評分的分析表明,總體上講裁判的評分公平、公正,未出現(xiàn)舞弊現(xiàn)象;但裁判員對個別評分等級把握不準確。

(2)動作Rasch難度分析結果與規(guī)則規(guī)定的難度系數(shù)存在差異。

(3)對評分規(guī)則的分析發(fā)現(xiàn)：現(xiàn)行的評分規(guī)則采取的去掉最高和最低各兩個評分方法使得大量的有效信息被刪除,增大了測量誤差。

(4)對運動員能力的分析發(fā)現(xiàn)Rasch能力估計與比賽名次相關顯著,但在關鍵名次上存在差異。

以Rasch理論為代表的現(xiàn)代測量理論可以運用到體育心理學領域,分析結果為提高裁判水平、改進規(guī)則和運動員備戰(zhàn)提供了豐富的信息。

[1]魏高峽,李佑發(fā),孫曉敏.概化理論及其在運動成績主觀評定中的應用[J].北京體育大學學報,2006,29(1)：53-55.

[2]魏登云.主觀評分誤差的非參數(shù)處理方法[J].中國體育科技,2001(3)：39-41.

[3]漆書青,戴海崎,丁樹良.現(xiàn)代教育與心理測量學原理[M].北京：高等教育出版社,2002：79-82.

[4]張軍.項目反應理論在體育運動領域的應用——運動項目主觀評分和比賽排名的量化[J].體育成人教育學刊,2008(3)：38-41.

[5]俞宗火,唐小娟,王登峰.GT與IRT的比較：北京奧運會男子10米跳臺跳水分析[J].心理學報,2009(8)：773-784.

[6]姚若松,趙葆楠,劉澤,等.無領導小組討論的多側面Rasch模型應用[J].心理學報,2013(9)：1039-1049.

[7]Wright B D,Linacre JM,Gustafson J E,et al.Reasonable mean-square fitvalues[J].Raschmeasurement transactions,1994,8(3)：370.

[8]Guilford J P.Fundamental statistics in psychology and education.[M].New York,NY,US：McGraw-Hill,1942：13.

[9]羅照盛.項目反應理論基礎[M].北京：北京師范大學出版社,2012：88-91.

[10]Wolfe E W.Identifying rater effects using latent traitmodels [J].Psychology Science.2004,46：35-51.

[11]劉國慶,趙守盈.Rasch模型在李克特量表中的應用[J].貴州師范大學學報(自然科學版),2012(1)：13-16.

Multi-Faceted Rasch Analysis of Result of Skill Referees of Sport Events——Application of item response theory in sport filed

HE Zhuang,et al
(Faculty Of Education,Beijing Normal University,Beijing,100875)

This paper analyzes the results ofMen's10meter platform diving at the London Olympic Games by using themethod of Multi-Faceted Rasch Model.The results indicate that there are differences between the ranks of athletes' ability and the result of Olympic Games.The athletes'forms are unstable during competitions.The referees abide by the same judging standards but they are subject to inaccuracy in some grading levels.There is a certain gap between the difficulty degree and that of the Rasch analysis.The data from Rasch analysis can provide references for the selection of referees,rule amendment and athletes'preparation for competitions.

mufti-faceted Rasch Model;item response theory;diving;subjective assessment

G808

：A

：1001-9154(2014)03-0043-06

G808

：A

：1001-9154(2014)03-0043-06

何壯(1984-),男,山東聊城人,在讀博士研究生,研究方向：教育測評。

趙守盈。

2013-12-04