吳 華,阮 輝,張新定
功能動(dòng)作篩查中評分者間信度的實(shí)證研究
吳 華,阮 輝,張新定
目的:功能動(dòng)作篩查(FMS)目前已得到廣泛認(rèn)可,但其評分者信度存在爭議。為了拓展其應(yīng)用范圍,本文對FMS評分者間的信度進(jìn)行實(shí)證研究。方法:所取樣本為高水平運(yùn)動(dòng)隊(duì)男女籃、排球運(yùn)動(dòng)員37人,研究對象為專業(yè)評分者6人。6名評分者按照FMS評價(jià)細(xì)則對被試運(yùn)動(dòng)員分別進(jìn)行FMS評分,然后將每個(gè)評分者評定的各項(xiàng)分值,運(yùn)用統(tǒng)計(jì)方法分析評分者信度。結(jié)果:(1)FMS中控體俯撐、肩部靈活性、深蹲、直膝抬腿、體旋5個(gè)項(xiàng)目,評分者間評分具有較高的關(guān)聯(lián)性(W值0.723-0.904)和一致性(0.6<k≤1);(2)前后分腿蹲和過欄架步2項(xiàng),相關(guān)性(W值0.380-0.570)與一致性(k<0.2)偏弱,但無顯著性差異。結(jié)論:FMS的總體評分者間信度良好。
功能動(dòng)作篩查;評分者間信度;實(shí)證研究
現(xiàn)代體育理念認(rèn)為體育運(yùn)動(dòng)的本質(zhì)即動(dòng)作,無論何種運(yùn)動(dòng)都是由基本的動(dòng)作構(gòu)成,如蹲、推拉、旋轉(zhuǎn)等,這些基本的動(dòng)作也稱為功能動(dòng)作,是遵循人體生長發(fā)育的規(guī)律和特點(diǎn)逐漸形成的,從人體力學(xué)角度出發(fā),是省力、高效、安全的最優(yōu)化的動(dòng)作實(shí)現(xiàn)方式。它們既是個(gè)體日常生活的組成部分,也是體育動(dòng)作學(xué)習(xí)的基礎(chǔ)。當(dāng)完成這些身體動(dòng)作時(shí)出現(xiàn)了疼痛、不對稱或代償動(dòng)作,往往意味潛伏著損傷的風(fēng)險(xiǎn)。功能動(dòng)作篩查(Functional Movement Screen,F(xiàn)MS)是由Gary Cook提出,它通過對被試運(yùn)動(dòng)員完成深蹲、過欄架步、前后分腿蹲、肩部靈活性、直膝抬腿、控體俯撐、體旋7個(gè)典型功能動(dòng)作,以及3個(gè)附加傷病排除動(dòng)作的測試,評價(jià)被試運(yùn)動(dòng)員完成動(dòng)作的質(zhì)量(如穩(wěn)定性、靈活性及對稱性),觀察是否存在某種代償動(dòng)作、動(dòng)作限制和動(dòng)作功能不良,從而對被試運(yùn)動(dòng)員參與運(yùn)動(dòng)時(shí)可能面臨的風(fēng)險(xiǎn)進(jìn)行預(yù)測。
與傳統(tǒng)的實(shí)驗(yàn)室測試方法不同,F(xiàn)MS被認(rèn)為是“最接近(或模擬)某些運(yùn)動(dòng)方式”的評價(jià)方法。FMS操作方法簡易,使用工具經(jīng)濟(jì)便捷,自21世紀(jì)以來頗受廣泛關(guān)注和追捧,在我國,近幾年也陸續(xù)開展了FMS的應(yīng)用研究。然而,由于FMS的評分取決于評分者對受試者完成動(dòng)作過程的觀察與評判,往往存在一定程度的主觀性,從而影響測量與評價(jià)結(jié)果的信度。
FMS評分誤差出自于評分者自身和評分者之間,即評分者內(nèi)信度(Intra-rater Reliability)和評分者間信度(Inter-rater Reliability)。國外大多數(shù)研究者認(rèn)為,F(xiàn)MS的評分者內(nèi)信度較高[1-4],而評分者間信度存在爭議。如Smith等[2]認(rèn)為FMS評分者間信度較高(組內(nèi)相關(guān)系數(shù)ICC=0.81-0.91)與評分者經(jīng)驗(yàn)和教育無關(guān),Onate[4]、Teyhen[5]和Minick[6]也得出類似結(jié)論,但Shultz[1]等研究認(rèn)為評分者間一致性較弱(Krippendorff α系數(shù)為0.38),Gribble[3]認(rèn)為評分者間一致性隨FMS測試經(jīng)驗(yàn)與臨床背景而提高。國內(nèi)對FMS測量與評價(jià)信度的研究只涉及理論上描述和邏輯性推理,尤其有關(guān)對評分者間的信度實(shí)證研究,尚不多。
評分者間信度是檢驗(yàn)多個(gè)評分者對同一被試運(yùn)動(dòng)員進(jìn)行評分時(shí),其評定結(jié)果的一致程度指標(biāo)。在方法學(xué)上,如只有2名評分者時(shí),國外研究一般采用Spearman相關(guān)系數(shù)法(Spearman correlation coefficient)或Kappa系數(shù)法(Kappa coefficient);如有2個(gè)以上評分者評定,評分者間信度的計(jì)算方法則采用Krippendorff α指數(shù)或肯德爾和諧系數(shù)(Kandall coefficient of concordance)。
目前FMS應(yīng)用在國外涉及多個(gè)領(lǐng)域,如職業(yè)體育俱樂部、大學(xué)高水平運(yùn)動(dòng)隊(duì)、健康機(jī)構(gòu)、部隊(duì)等運(yùn)動(dòng)教學(xué)與訓(xùn)練,多種人群,如兒童少年、中青年及老年人,通常FMS被試樣本量大,而由單個(gè)的評分者對眾多人數(shù)進(jìn)行測試與評價(jià),其結(jié)果的信度往往不高。我國對FMS的應(yīng)用研究多為國家專業(yè)運(yùn)動(dòng)隊(duì),對于高校高水平運(yùn)動(dòng)隊(duì)研究較少,評分者也多為一個(gè)或兩個(gè)專家。因此,本文擬從多個(gè)類別不同評分者(專家與業(yè)余人士)對FMS評分的一致性程度分析入手,同時(shí)選取籃、排球項(xiàng)目的高水平運(yùn)動(dòng)員為測試樣本,主要基于籃、排是我國高校高水平運(yùn)動(dòng)隊(duì)開展較普遍的運(yùn)動(dòng)項(xiàng)目,且在項(xiàng)群分類上為技能主導(dǎo)的同場或隔網(wǎng)項(xiàng)目,對技術(shù)動(dòng)作要求較高,以此對FMS的評分者間信度問題進(jìn)行實(shí)證性研究,探討其進(jìn)一步推廣使用的價(jià)值。
1.1研究樣本與對象 以海南師范大學(xué)高水平運(yùn)動(dòng)隊(duì)籃、排球男女運(yùn)動(dòng)員為研究樣本。為了排除研究過程中可能出現(xiàn)的干擾,在選取受試者時(shí)剔除6個(gè)月內(nèi)患有持續(xù)骨科損傷[4]的運(yùn)動(dòng)員,同時(shí)遵照自愿完成FMS原則,最后確定37名運(yùn)動(dòng)員為本研究的被試者,其中排球運(yùn)動(dòng)員18人(女子7人,男子11人),籃球運(yùn)動(dòng)員19人(女子10人,男子9人)。研究對象為6名測試評分員,其中1名為有FMS測試經(jīng)驗(yàn)及醫(yī)學(xué)背景的教師;5名為經(jīng)過系統(tǒng)專業(yè)培訓(xùn)(培訓(xùn)內(nèi)容包括評分規(guī)則學(xué)習(xí)、討論、視頻模擬打分等)的體育專業(yè)高年級學(xué)生。按照FMS測試要求共同完成FMS 7種12項(xiàng)(非對稱測試2項(xiàng),左右對稱測試各5項(xiàng))測試評分。
1.2研究方法 采用2種檢驗(yàn)方法評價(jià)評分者間信度:一是基于相關(guān)分析的Kendall和諧系數(shù)方法;二是基于評分者間一致百分?jǐn)?shù)的方法,即Kappa系數(shù)法。全部數(shù)據(jù)采用SPSS17.0軟件包處理,對6名評分者間信度進(jìn)行統(tǒng)計(jì)學(xué)分析,判斷基于多位評分者的FMS評定結(jié)果的可信度。
1.2.1Kendall和諧系數(shù)檢驗(yàn) Kendall和諧系數(shù)檢驗(yàn)(即Kendall W檢驗(yàn))是檢驗(yàn)多列等級變量相關(guān)程度的一種方法,即讓K個(gè)評價(jià)者N件事物進(jìn)行等級評定。FMS評分時(shí)采用0-3分等級評定,本文為6名評分者對37人進(jìn)行FMS測試評分進(jìn)行統(tǒng)計(jì),適合采用Kendall和諧系數(shù)檢驗(yàn)法。
1.2.2Kappa系數(shù)法
Kappa系數(shù)法,是采用 Kappa值作為判斷評價(jià)一致性程度指標(biāo)的方法。文獻(xiàn)研究已證實(shí),Kappa值是比較2個(gè)或多個(gè)觀察者對同一事物進(jìn)行評定,或者同一觀察者對某一事物兩次或多次進(jìn)行評定,其結(jié)果是否一致,以及由于機(jī)遇或機(jī)會(huì)造成的一致性與實(shí)際觀察的一致性之間的差異大小,作為評價(jià)基礎(chǔ)的統(tǒng)計(jì)學(xué)指標(biāo)[7]。本文將1名教師FMS測試的各項(xiàng)評分分別與5名學(xué)生的評分結(jié)果進(jìn)行統(tǒng)計(jì)學(xué)分析,評價(jià)他們評分結(jié)果的一致性,適合Kappa系數(shù)法。
2.1評分者評分值的相關(guān)性(W值) 經(jīng)Kendall和諧系數(shù)檢驗(yàn)6名評分者的相關(guān)程度,發(fā)現(xiàn)6名評分者各項(xiàng)評分結(jié)果W值在0.380-0.904之間(如表1),而漸進(jìn)顯著性水平為0,且。依據(jù)Kendall W檢驗(yàn),W值越接近1,表明評估者評分一致性越強(qiáng),所以6名評分者各項(xiàng)評分結(jié)果具有中等到較好相關(guān)性,評分項(xiàng)目相關(guān)性由高到底的排序分別為控體俯撐、肩部靈活性、深蹲、直膝抬腿、體旋、前后分腿蹲和過欄架步。
FMS的評分等級為0-3級,其中0級為完成動(dòng)作時(shí)出現(xiàn)疼痛,1-3級標(biāo)準(zhǔn)認(rèn)定與動(dòng)作完成質(zhì)量密切相關(guān)??伢w俯撐的評分要求是一個(gè)完整的單元撐起身體,胸腹部同時(shí)離開地面,得分等級差別是在雙手的起始位置不同,深蹲得分等級的差別,也與腳跟加墊木板有關(guān),評分者能統(tǒng)一把握;而肩部靈活性、直膝抬腿的評分要求均為間距的測量對比,也便于評分者掌握,所以評分一致性較高。而體旋得分等級差別會(huì)在同側(cè)或沿軀干對角線完成動(dòng)作,3分與2分的區(qū)別較好,但對于完成1次對角線動(dòng)作后身體出現(xiàn)不穩(wěn)定的程度是否影響等級,在評分要求中未明確說明。評分者中度相關(guān)性為前后分腿蹲、過欄架步,主要因?yàn)檫@2個(gè)動(dòng)作的等級判斷涉及腰、髖、膝、踝多個(gè)部位在不同平面的穩(wěn)定性,需要評分者站在不同位置進(jìn)行觀察,如運(yùn)動(dòng)員完成過欄架步動(dòng)作時(shí),評分者只站在運(yùn)動(dòng)員前面,不易觀察到髖、膝和踝關(guān)節(jié)是否在一條直線,木桿是否與欄架平行;只站在側(cè)面,較難發(fā)現(xiàn)運(yùn)動(dòng)員腰部是否有移動(dòng),從而影響評分等級。本文與Teyhen等[5]研究結(jié)果類似,他們認(rèn)為FMS具有中度至良好的評分者間信度,且排序依次是控體俯撐、體旋、肩部靈活性、深蹲、直膝抬腿、過欄架步、前后分腿蹲。
表1 Kendall和諧系數(shù)檢驗(yàn)統(tǒng)計(jì)結(jié)果Table1 Results of Kendall concordance coefficient test
2.2評分者評分的一致性 Kendall和諧系數(shù),所反映的只是評分者評分?jǐn)?shù)的相關(guān)程度,雖然本研究結(jié)果顯示6位評分者的評分?jǐn)?shù)相關(guān)程度高,但并不一定表示評分者間信度就高,即相關(guān)性不能完全代表一致性。Kappa系數(shù),通常是被用于檢驗(yàn)2名評分者評分一致性程度的指標(biāo)。Kappa值(k)一般在0-1之間,代表著一致性強(qiáng)弱的程度。k值為0.81 -1時(shí),說明一致性極強(qiáng);k值為0.61-0.80時(shí),說明高度一致性;k值為0.41-0.60時(shí),說明中度一致性;k值為0.21-0.40時(shí),說明一致性較弱;而k<0.2時(shí),說明一致性強(qiáng)度微弱,判斷結(jié)果完全由于機(jī)遇造成[7]。
本文將教師分別與5名學(xué)生評分結(jié)果分成五組(Ⅰ-Ⅴ組)兩兩對比(表2-4),發(fā)現(xiàn)各組一致性程度較相似,在肩部靈活性、控體俯撐、深蹲、體旋項(xiàng)目上一致性程度在極強(qiáng)到高度之間(0.6<k≤1),直抬腿顯示中度一致性(0.4<k<0.6),而過欄架步、分腿蹲的一致性程度較低(k<0.2),但無統(tǒng)計(jì)學(xué)意義,說明評分者間仍具有一致性。
表2 5組評分者對FMS測試項(xiàng)目得分的一致性檢驗(yàn)(1)Table 2 Consistency in scores of 5 group raters in the FMS test item(i)
表3 5組評分者對FMS測試項(xiàng)目得分的一致性檢驗(yàn)(2)Table 3 Consistency in scores of 5 group raters in the FMS test item(ii)
表4 5組評分者對FMS測試項(xiàng)目得分的一致性檢驗(yàn)(3)Table 4 Consistency in scores of 5 group raters in the FMS test item(iii)
2.3評分者相關(guān)性與一致性的差異分析 由上面的結(jié)果顯示,評分者對FMS測試,除過欄架步、分腿蹲外,評分者間仍有良好的相關(guān)性,較高的一致性。這與國外同類研究相當(dāng),表明 FMS測試穩(wěn)定性較好。
而對于過欄架步、分腿蹲項(xiàng)目測試,評分者相關(guān)性和一致性較弱,我們認(rèn)為原因有5個(gè)方面:一是評分者對這兩項(xiàng)評分標(biāo)準(zhǔn)的掌握程度有差異。如過欄架步3分標(biāo)準(zhǔn)中描述“腰部沒有明顯移動(dòng)”,2分為“腰部出現(xiàn)移動(dòng)”,這就造成評分員打分時(shí)對“明顯”標(biāo)準(zhǔn)的理解帶有一定主觀性。二是測試過程往往重復(fù)同一動(dòng)作,被試者接受提示可能影響評分者的決定。如在前后分腿蹲的測試時(shí),當(dāng)運(yùn)動(dòng)員蹲下時(shí)出現(xiàn)身體前傾、或桿位置的變化時(shí),提醒運(yùn)動(dòng)員保持身體準(zhǔn)備姿態(tài),部分運(yùn)動(dòng)員能夠自我調(diào)整姿態(tài),得分等級可能提高。三是評分者觀察角度的選擇差異。四是評分者主觀情感及評分經(jīng)驗(yàn)差異,如當(dāng)后一個(gè)測試者的動(dòng)作比前幾個(gè)測試者完成質(zhì)量更好些,雖然他可能沒達(dá)到高一等級的標(biāo)準(zhǔn),但容易得分高。五是過欄架步和前后分腿蹲動(dòng)作對運(yùn)動(dòng)員挑戰(zhàn)性高,運(yùn)動(dòng)員高標(biāo)準(zhǔn)的完成率較低。
(1)FMS具有較好的評分者間信度,且對評分者背景要求不高,經(jīng)統(tǒng)一培訓(xùn)的多名評分者,F(xiàn)MS評分結(jié)果具有較好的相關(guān)性、中等偏高的一致性。為開展大樣本的FMS測試或保證該測試公平性,可采取多名評分者聯(lián)合評分。
(2)FMS不同項(xiàng)目的評分一致性存在差異,其中控體俯撐、體旋、肩部靈活性、深蹲一致性程度較高,而過欄架步、前后分腿蹲一致性程度較差。
(3)評分者對評分標(biāo)準(zhǔn)掌握有一定差異。建議加強(qiáng)對較難掌握測試項(xiàng)目要領(lǐng)的講解與培訓(xùn),注意觀察角度的及時(shí)轉(zhuǎn)換及測試經(jīng)驗(yàn)積累,有利于提高評分者間評分結(jié)果的信度。
[1] Shultz R,Anderson SC,Matheson GO.Test-retest and Interrater Reliability of the Functional Movement Screen[J].J Athl Train,2013,48(3):331-336.
[2] Smith CA,Chimera NJ,Wright NJ,et al.Interrater and Intrarater Reliability of the Functional Movement Screen[J].J Strength Cond Res,2013,27(4):982-987.
[3] Gribble PA,Brigle J,Pietrosimone BG,et al.Intrarater Reliability of the Functional Movement Screen[J].J Strength Cond Res,2013,27(4):978-981
[4] Onate JA,Dewey T,Kollock RO.Real-time Intersession and Interrater Reliability of the Functional Movement Screen[J].J Strength Cond Res,2012,26(2):408-415.
[5] Teyhen DS,Shaffer SW,Lorenson CL.The Functional Movement Screen:A Reliability Study[J].J Orthop Sports Phys Ther. 2012,42(6):530-540.
[6] Minick KI,Kiesel KB,Burton L.Interrater Reliability of the Functional Movement Screen[J].J Strength Cond Res,2010,24(2):479-486.
[7] 夏邦世,吳金華.Kappa一致性檢驗(yàn)在檢驗(yàn)醫(yī)學(xué)研究中的應(yīng)用[J].中華檢驗(yàn)醫(yī)學(xué)雜志,2006,29(1):83-84.
Objictive:Functional Movement Screen(FMS)was widely accepted.However,its rater reliability is controversial.In order to expand the scope of its application,this article conducts an empirical study on its interrater reliability.Methods:37 basketball and volleyball elite players were sampled to participate in this study and 6 raters were chosen as the subjects.In the experiment,six raters gave their scores for athletes according to FMS evaluation rules,then each rater’s reliability was evaluated through statistical analysis of their scores.Results:(1)High correlation(0.723≤W≤0.904)and consistency(0.6<k≤1)were found among raters scores for push-up,shoulder mobility,deep squat,straight leg raise and rotary stability.(2)Lower correlation(0. 380≤W≤0.570)and consistency(k<0.2)were found for hurdle step,in-line lunge,but the differences were not significant differences.Conclusion:The overall inter-rater reliability of FMS is good.
(編輯 孫君志)
An Empirical Study of the Inter-rater Reliability in Functional Movement Screen
WU Hua,RUAN Hui,ZHANG Xinding
Functional Movement Screen;Inter-rater Reliability;Empirical Study
G804.3 Document code:A Article ID:1001-9154(2016)06-0099-04
G804.3
A
1001-9154(2016)06-0099-04
10.15942/j.jcsu.2016.06.00
教育部人文社會(huì)科學(xué)研究項(xiàng)目“基于功能動(dòng)作視角下學(xué)齡兒童運(yùn)動(dòng)能力發(fā)展的研究”(14YJC890027)。
吳華,副教授,主要研究方向:體育保健、體能康復(fù),E -mail:455847502@qq.com。通訊作者:阮輝。
海南師范大學(xué)體育學(xué)院,海南???71158 Hainan Normal University,Haikou Hainan 571158
2015-10-29
2016-07-20
成都體育學(xué)院學(xué)報(bào)2016年6期