沈夢英 趙書祥
(1. 河南科技大學(xué),洛陽 471023;2. 北京體育大學(xué)體育統(tǒng)計(jì)與測量教研室,北京 100084)
如何科學(xué)的評價(jià)體育應(yīng)用領(lǐng)域中各種體育實(shí)踐活動是進(jìn)一步推動國家體育運(yùn)動健康發(fā)展的保障和基礎(chǔ)(趙書祥,2008)[1]。有研究者也認(rèn)為體育活動的影響及效果是一個(gè)高度綜合概括的評價(jià)范疇,因此無法用一句話或一個(gè)指標(biāo)來表達(dá)清楚,必須通過在指標(biāo)體系中選擇一系列有代表性的評價(jià)指標(biāo)從各個(gè)側(cè)面反映,才能近似表達(dá)其影響效果(祁國鷹,徐明,2006)[2]。因此對體育活動的效果和影響因素進(jìn)行評價(jià)時(shí),采用綜合評價(jià)的方法也是必然的。
近年來在體育領(lǐng)域中綜合評價(jià)的方法得到了廣泛的應(yīng)用,積累了很多的研究成果,但也存在很多問題。徐明欣,高斌,李瑞年,鞠傳進(jìn)(2000)[3]從層次分析法的方法過程入手,重點(diǎn)介紹了“體育課程評估”和“體育教學(xué)質(zhì)量評價(jià)”中構(gòu)建評估指標(biāo)體系和求解權(quán)重的方法步驟。任弘(2004)[4]在體質(zhì)研究中人體適應(yīng)能力的理論與實(shí)證研究中運(yùn)用因子分析法確定了人體適應(yīng)能力各指標(biāo)的權(quán)重。祁國鷹,徐明(2006)[2]在體育統(tǒng)計(jì)簡明教程中介紹了專家調(diào)查法確定權(quán)重的理論與方法。趙書祥(2007)[5]的研究重點(diǎn)闡述了層次分析法的應(yīng)用。方強(qiáng)(2010)[6]采用主要采用層次分析法和問卷調(diào)查法對高等學(xué)校體育教學(xué)質(zhì)量評價(jià)體系進(jìn)行了研究。于萬清(2010)[7]運(yùn)用層次分析法對陽光體育背景下學(xué)生體育成績進(jìn)行了量化評定。趙書祥(2008)[1]通過文獻(xiàn)資料法對國內(nèi)近二十年來關(guān)于體育領(lǐng)域綜合評價(jià)的研究進(jìn)行了分析,研究顯示目前國內(nèi)體育綜合評價(jià)應(yīng)用研究中存在的主要問題之一就是體育綜合評價(jià)研究中權(quán)重的計(jì)算方法也有誤用現(xiàn)象。以上前人的研究中大多是僅涉及到綜合評價(jià)中的一種權(quán)重(也稱加權(quán),它表示對某指標(biāo)的重要性程度進(jìn)行定量分配)的確定方法,如因子分析,層次分析法等。
綜合評價(jià)的重要工作之一就是建立評價(jià)指標(biāo)體系。評價(jià)指標(biāo)體系是實(shí)現(xiàn)對評價(jià)對象識別的依據(jù),其科學(xué)性是評價(jià)結(jié)果真實(shí)可靠的保證。因此要從研究目的出發(fā),窮盡所有的可能因素,建立初選的指標(biāo)體系,再經(jīng)過科學(xué)的論證建立起綜合評價(jià)的指標(biāo)體系,在此基礎(chǔ)上確定各指標(biāo)的權(quán)重。體育科學(xué)研究中許多研究者面對眾多的權(quán)重賦值方法時(shí)不知如何選擇。針對此問題,有必要將一些綜合評價(jià)中涉及的權(quán)重系數(shù)的問題給與詳細(xì)闡述,并加以區(qū)分,以期對體育科研中指標(biāo)體系綜合評價(jià)工作提供理論指導(dǎo)。本研究目的是總結(jié)體育科研綜合評價(jià)常用權(quán)重的確定方法,并結(jié)合實(shí)踐將每種方法的適用條件和操作程序分別進(jìn)行闡述。本研究將重點(diǎn)介紹利用專家調(diào)查法、因子分析法、層次分析法三種常用的體育綜合評價(jià)中確定指標(biāo)權(quán)重的方法。
通過前人研究進(jìn)行梳理并采用實(shí)例演示的方法,對體育科研中常用綜合指標(biāo)權(quán)重確定的方法如專家調(diào)查法、因子分析法、層次分析法等的適用條件、操作過程與方法進(jìn)行總結(jié)與演示。
3.1.1 適用條件
專家調(diào)查法實(shí)際上是一種經(jīng)驗(yàn)確定指標(biāo)體系和各指標(biāo)權(quán)重的方法,根據(jù)相關(guān)研究領(lǐng)域的權(quán)威專家主觀認(rèn)為的重要性程度賦予相應(yīng)的權(quán)重,即主觀確定權(quán)重的方法。專家組的成員一般由15人左右組成為宜,問卷發(fā)放量和專家人數(shù)一致。
首先通過查閱文獻(xiàn)及專家訪談等方法,建立某個(gè)考核評價(jià)體系的初選指標(biāo);然后針對初選指標(biāo)對專家進(jìn)行訪談及問卷調(diào)查,確定入選指標(biāo)體系。評價(jià)指標(biāo)確定后,后續(xù)的工作就是確定各個(gè)評價(jià)指標(biāo)的權(quán)重系數(shù)。本研究就是在指標(biāo)已經(jīng)確定的基礎(chǔ)上,采用專家調(diào)查法確定出各個(gè)指標(biāo)的權(quán)重系數(shù)。
3.1.2 專家調(diào)查法確定指標(biāo)權(quán)重的過程與方法
由于各個(gè)評價(jià)指標(biāo)在整個(gè)考核評價(jià)中所處的地位和重要性不同,要根據(jù)其重要性和具體條件合理性確定各個(gè)指標(biāo)的權(quán)重系數(shù)。首先選出精通于某研究領(lǐng)域的權(quán)威專家,組成專家組。讓專家們按照其認(rèn)為的各個(gè)指標(biāo)的相對重要程度打分。打分的級數(shù)可以是0到10分共十一級,也可以是1到5分共5級。一般情況下我們運(yùn)用0到10級的打分辦法,給專家更大的選擇空間,以便充分的發(fā)表意見。專家調(diào)查表如表1。
表1 專家調(diào)查中指標(biāo)賦值情況
最后將專家組的打分信息進(jìn)行匯總(見表2),以用來確定出每個(gè)指標(biāo)的權(quán)重系數(shù)。有的研究還需要最后建立起相應(yīng)的考核評價(jià)標(biāo)準(zhǔn)。
表2 專家調(diào)查資料匯總
注:“|”代表針對某指標(biāo)所有專家選中某一分值的頻數(shù)為1次。
3.1.3 應(yīng)用舉例
某項(xiàng)研究需要對籃球教練員的執(zhí)教能力進(jìn)行綜合評價(jià)。一級指標(biāo)有5個(gè),分別是比賽成績、職業(yè)道德、訓(xùn)練水平、合作關(guān)系及參賽能力。再如比賽成績的二級指標(biāo)分別是最終成績、階段性大賽成績、訓(xùn)練成績。研究共發(fā)放專家調(diào)查問卷18份,回收18份,有效問卷為18份,有效率為100%。一級指標(biāo)的權(quán)重系數(shù)如下表3。
表3 各個(gè)一級指標(biāo)權(quán)重系數(shù)
如比賽成績指標(biāo)的加權(quán)均數(shù)的計(jì)算為:所有專家選中9分的次數(shù)為4次,選中10分的次數(shù)為14次,即加權(quán)均數(shù)為(9×4+10×14) / (4+14) = 9.78。如果沒有缺失值,那么所有專家對每一個(gè)指標(biāo)的評分得分乘以次數(shù)相加后,都除以18即可(共18個(gè)專家)。其它指標(biāo)的加權(quán)均數(shù)依次為7.50、9.00、7.00、8.89。所以一級指標(biāo)加權(quán)均數(shù)之和為:9.78+7.50+9.00+7.00+8.89=42.17。
二級指標(biāo)的權(quán)重系數(shù)的確定也采用同樣的方法。如比賽成績的二級指標(biāo)分別是最終成績、階段性大賽成績、訓(xùn)練成績。其權(quán)重的計(jì)算如表4所示。
表4 比賽成績的各個(gè)二級指標(biāo)權(quán)重系數(shù)
注:本指標(biāo)總的加權(quán)均數(shù)的和為22.5。
所以最終成績指標(biāo)的權(quán)重系數(shù)等于一級指標(biāo)比賽成績指標(biāo)的權(quán)重系數(shù)(0.23)乘以二級指標(biāo)下最終成績指標(biāo)的權(quán)重系數(shù)(0.44)計(jì)算得:0.23×0.44≈0.10,依次計(jì)算出階段性大賽成績指標(biāo)的權(quán)重系數(shù)為0.07,訓(xùn)練成績指標(biāo)的權(quán)重系數(shù)為0.06。
3.2.1 適用條件
因子分析法這是一種客觀確定指標(biāo)權(quán)重的方法,是根據(jù)指標(biāo)自身的作用和影響確定權(quán)重的方法,還有主成分分析法、聚類分析法、判別分析法等。適用于采用SPSS統(tǒng)計(jì)分析軟件對指標(biāo)體系中各變量進(jìn)行因子分析,并根據(jù)因子的貢獻(xiàn)率確定指標(biāo)的權(quán)重。它要求問卷發(fā)放的量比較大,而且原則上越大越好。一般為指標(biāo)變量數(shù)與樣本量比例為1:5為宜,實(shí)際理想的樣本量應(yīng)該為指標(biāo)變量數(shù)的10~25倍。5~10倍之間略顯不足,但一般都能得到較好的結(jié)果(吳明隆,2010)[8]。應(yīng)用的目的是一般是編制量表或建立某個(gè)研究項(xiàng)目的評價(jià)指標(biāo)體系。
3.2.2 因子分析法確定指標(biāo)權(quán)重的過程與方法
因子分析是檢驗(yàn)評價(jià)量表信度與效度的常用手段。其特點(diǎn)是在現(xiàn)有數(shù)據(jù)的基礎(chǔ)上,依靠觀測變量之間的相關(guān),提取較少因素就能反映大部分原始數(shù)據(jù)信息,從而起到簡化變量、分清因素結(jié)構(gòu)的作用。它的缺點(diǎn)是不能估計(jì)因變量和自變量的測量誤差。本研究主要探討采用因子分析法確定指標(biāo)的權(quán)重。在根據(jù)一定的專業(yè)理論知識,建立了指標(biāo)體系,編制問卷,并發(fā)放回收問卷。采用SPSS統(tǒng)計(jì)軟件對指標(biāo)體系進(jìn)行因子分析。
使用因子分析的方法對參加評價(jià)的所有指標(biāo)進(jìn)行分析,首先要判斷各個(gè)指標(biāo)之間是否適合進(jìn)行因子分析。KMO值與Bartlett球度檢驗(yàn)是SPSS統(tǒng)計(jì)軟件提供的判斷各變量是否適合進(jìn)行因子分析的統(tǒng)計(jì)檢驗(yàn)方法。KMO在0-1之間,其值越接近1,表明變量間共同因素越多,越適合進(jìn)行因子分析。因子分析要求變量間有較強(qiáng)的相關(guān)性,Bartlett球度檢驗(yàn)是檢驗(yàn)變量間相關(guān)系數(shù)矩陣是否為單位矩陣的方法,其檢驗(yàn)結(jié)果呈現(xiàn)出統(tǒng)計(jì)顯著性(如P≤ .05),則說明變量間的相關(guān)系數(shù)矩陣不是單位矩陣,變量間有較強(qiáng)的相關(guān)性,適合進(jìn)行因子分析,反之則不適合進(jìn)行因子分析。其次,先將所有指標(biāo)進(jìn)行因子分析,根據(jù)因子提取的要求(如提取特征值>1)和一定的專業(yè)理論知識,采用方差最大正交旋轉(zhuǎn),提取特征值>1的因子;接著計(jì)算每個(gè)因子的權(quán)重,即用該因子的貢獻(xiàn)率除以所有特征值大于1的因子的累計(jì)貢獻(xiàn)率。最后,計(jì)算每個(gè)因子中各個(gè)指標(biāo)的權(quán)重,方法是在因子內(nèi)按照指標(biāo)載荷的大小,按比例分割因子權(quán)重作為指標(biāo)權(quán)重(任弘,2004)[4]。
3.2.3 應(yīng)用舉例
現(xiàn)將數(shù)據(jù)在SPSS統(tǒng)計(jì)軟件進(jìn)行錄入,使用如下命令:Analyze / Data Reduction / Factor,進(jìn)入因子分析的操作,具體步驟和說明詳見有關(guān)SPSS統(tǒng)計(jì)軟件的參考書。本例采用的數(shù)據(jù)資料是前人有關(guān)體質(zhì)四因素(形態(tài)、機(jī)能、素質(zhì)、社會適應(yīng))中各指標(biāo)權(quán)重系數(shù)的計(jì)算,見表5。
本例在研究中根據(jù)特征值大于1提取原則,共提取五個(gè)公因子。表5中的權(quán)重系數(shù)是指該因子的載荷(方差貢獻(xiàn)率)占特征值大于1的所有因子總載荷(累計(jì)貢獻(xiàn)率)的百分比。如表5中因子1的權(quán)重等于第一因子的方差貢獻(xiàn)率16.595除以5個(gè)因子累計(jì)方差貢獻(xiàn)率65.509,即為0.25。其他四個(gè)因子照此法計(jì)算出的權(quán)重系數(shù)分別為0.246、0.194、0.155、0.151。
表5 體質(zhì)四因素因子分析結(jié)果
數(shù)據(jù)引自2004年任弘博士論文《體質(zhì)研究中人體適應(yīng)能力的理論與實(shí)證研究》。
在表6中列出了5個(gè)因子中每個(gè)因子中包括的二級指標(biāo),每個(gè)因子的權(quán)重再由該因子中包含的指標(biāo)的因子載荷按比例分擔(dān)。具體計(jì)算方法:如因子1包括仰臥起坐、縱跳兩個(gè)二級指標(biāo),其中仰臥起坐的權(quán)重系數(shù)為它在兩個(gè)指標(biāo)載荷之和中占的比例,再乘以因子1的權(quán)重系數(shù)0.25。即:[0.966 / (0.966+0.962)]×0.25=0.125259,調(diào)整為0.125。其他各個(gè)二級指標(biāo)的權(quán)重系數(shù)我們以此法依次計(jì)算出來。
表6 體質(zhì)綜合評價(jià)指標(biāo)權(quán)重(40歲以下)
數(shù)據(jù)引自2004年任弘博士論文《體質(zhì)研究中人體適應(yīng)能力的理論與實(shí)證研究》。
3.3.1 層次分析法的理論與適用條件
層次分析法簡稱AHP法,實(shí)際上也是一種定性與定量分析相結(jié)合的多準(zhǔn)則確定權(quán)重的決策方法。對于復(fù)雜的綜合評價(jià)問題,將專家的意見匯總后利用數(shù)學(xué)模型對實(shí)際問題進(jìn)行抽象和簡化。目的是為回避評估者和決策者的選擇與判斷所起的決定性作用?;舅枷胧前褟?fù)雜的問題分解為各個(gè)組成因素,將這些因素按支配關(guān)系分組,使之形成有序的遞階層次結(jié)構(gòu)。通過兩兩比較,確定層次中各因素的相對重要性,然后綜合判斷,將決策因素的相對重要性進(jìn)行排序。此方法是先將研究的問題分為目標(biāo)層、準(zhǔn)則層、方案層三個(gè)層次。相對于目標(biāo)層求出準(zhǔn)則層各要素的相對權(quán)重。然后相對于準(zhǔn)則層求出方案層各要素的相對權(quán)重。最后以準(zhǔn)則層各要素的相對權(quán)重為權(quán),求出方案層相對于目標(biāo)層的組合權(quán)重。這個(gè)組合權(quán)重就是各個(gè)方案相對于總目標(biāo)的重要程度。
適用條件是問卷的發(fā)放對象都是有關(guān)研究領(lǐng)域的權(quán)威或?qū)<?。層次分析法涉及到高等?shù)學(xué)知識,要求使用者有一定的數(shù)學(xué)基礎(chǔ)。另外這種方法涉及到的計(jì)算量較大,所以專家組的成員一般由10人左右組成為宜,不易過多。
3.3.2 層次分析法的確定指標(biāo)權(quán)重的過程與方法
本研究采用層次分析法確定權(quán)重的方法是美國著名的運(yùn)籌學(xué)專家薩迪(T.L.Satty)等人在研究人們的選擇、判斷與決策的思維規(guī)律的基礎(chǔ)上提出來的。具體操作步驟如下(高洪軍,2008;余濤,2009;方強(qiáng),2010)[9,6,10]:
(1) 明確問題,建立層次結(jié)構(gòu)
用層次分析法作系統(tǒng)分析,對決策問題要有明確的認(rèn)識,根據(jù)問題的性質(zhì),各因素間的相互關(guān)系和隸屬關(guān)系,把問題層次化,以形成一個(gè)多層次的分析結(jié)構(gòu)模型同一層次的各元素作為準(zhǔn)則對其下一層元素起支配作用,同時(shí)其本身亦受上一層元素的支配,這種自上而下的支配關(guān)系形成了一個(gè)遞階層次結(jié)構(gòu)。
(2) 建立兩兩判斷矩陣
在確定的遞階層次結(jié)構(gòu)中,每一個(gè)元素和該元素支配的下一層元素構(gòu)成一個(gè)子區(qū)域,對于子區(qū)域內(nèi)的各元素采用專家調(diào)查法來構(gòu)建若干個(gè)判斷矩陣(每位專家給出一個(gè)判斷矩陣)。設(shè)上一層次的元素A作為準(zhǔn)則,對下一層次的元素C1、C2、Cn有聯(lián)系,則判斷矩陣A如表7。
表7 判別矩陣
然后把屬于每一層次的評判因素逐對的進(jìn)行比較判斷,通常使用1~9比例標(biāo)度法將相對重要性的邏輯判斷數(shù)量化,其值由專家根據(jù)自己的綜合判斷結(jié)果給出。按其因素的重要程度,引用1~9的比例標(biāo)度(見表8)。
表8 判斷矩陣標(biāo)度及其含義
(3) 計(jì)算判斷矩陣的最大特征根和對應(yīng)的特征向量可采用下面近似計(jì)算方法:
(4) 對判斷矩陣計(jì)算最大特征根λmax。
一致性指標(biāo)C.I.的值越小,表明判斷矩陣的一致性越高:當(dāng)C.I. < 0.1時(shí),可認(rèn)為判斷矩陣是滿意的,否則就需要對判斷矩陣進(jìn)行調(diào)整。
(6) 根據(jù)判斷矩陣的階數(shù)n,查找相應(yīng)的平均隨機(jī)一致性指標(biāo)RI。對于1-10階判斷矩陣,RI值如表9所示。
表9 平均隨機(jī)一致性指標(biāo)
3.3.3 應(yīng)用舉例
以下是籃球運(yùn)動員體能的評價(jià)指標(biāo)體系,見表10。本例屬于多人單準(zhǔn)則下權(quán)重的計(jì)算,利用Excel軟件分別求出每位專家判斷矩陣的權(quán)重向量。
第一步,建立層次分析結(jié)構(gòu)模型。
籃球運(yùn)動員的體能分為形態(tài)、機(jī)能與素質(zhì)三個(gè)維度。
表10 籃球運(yùn)動員體能權(quán)重研究層次分析結(jié)構(gòu)表
上表中形態(tài)指標(biāo)包括身高、體重、上肢長、手長、肩寬等5個(gè)指標(biāo)。素質(zhì)指標(biāo)包括100m、握力、3000m、反應(yīng)時(shí)、坐位體前屈等5個(gè)指標(biāo)。機(jī)能指標(biāo)包括肺活量1個(gè)指標(biāo)。目標(biāo)層即籃球運(yùn)動員體能;準(zhǔn)則層為形態(tài)、機(jī)能與素質(zhì)三個(gè)二級指標(biāo)。方案層為所有的11個(gè)三級指標(biāo)。
第二步,構(gòu)造判別矩陣。目標(biāo)層與準(zhǔn)則層間權(quán)重的確定方法:選擇4位專家,經(jīng)過專家調(diào)查得到目標(biāo)層與準(zhǔn)則層間判別矩陣如下(見表11):
表11 目標(biāo)層判斷矩陣表
第三步,相對權(quán)重的求法。根據(jù)每位專家的判別矩陣,求出最大特征根及其對應(yīng)的特征向量,該向量的各分量就是判斷距陣各要素相對于上一層次某要素的相對權(quán)重??梢杂煤头e法或方根法求解,在此用方根法。
第一位專家的判別矩陣如下表12所示。其他專家的判別矩陣略。
表12 專家1的目標(biāo)層判斷矩陣
①計(jì)算第一位專家判別矩陣中的每一行元素的乘積的方根。
②對每一個(gè)方根作歸一化處理,即為所求的權(quán)重系數(shù)。
③計(jì)算λmax。
λ1= (1×0.1667 +1/3×0.3487 +1/2×0.4836) / 0.1667 = 3.1477
λ2= (3×0.1667+1×0.3487+1/2×0.4836) / 0.3487 = 3.127617
λ3= (2×0.1667 +2×0.3487 +1×0.4836) / 0.4836 = 3.131514
λmax=(λ1+λ2+λ3) / 3 = (3.1477+3.127617+3.131514) /3 = 3.1356
⑤計(jì)算C.R.。查平均隨機(jī)一致性指標(biāo)RI表得RI=0.58。
由以上①②③④⑤步依次計(jì)算其他三位專家的判斷矩陣的權(quán)重系數(shù)及為
這里λl為滿足一致性檢驗(yàn)條件的專家的權(quán),這里取λ1=λ2=λ3=1/3,經(jīng)計(jì)算得:
所以準(zhǔn)則層形態(tài)、機(jī)能、素質(zhì)的權(quán)重系數(shù)分別為:
W1=0.1469/0.9947=0.1477,W2=0.4240/0.9947=0.4261,W3=0.4240/0.9947=0.4261
此例中,方案層的指標(biāo)的權(quán)重系數(shù)的確定方法同準(zhǔn)則層,這里略過。對于評價(jià)時(shí)選的專家人數(shù)較多,且指標(biāo)較多,計(jì)算量較大,可以采用EXCEL軟件進(jìn)行編程計(jì)算。
本研究介紹了體育綜合評價(jià)中三種常用的指標(biāo)權(quán)重的方法有主觀評價(jià)法、因子分析法及層次分析法。通過對三種綜合評價(jià)確定權(quán)重的方法的適用條件、理論基礎(chǔ)及操作過程進(jìn)行了梳理,并用實(shí)例進(jìn)行演示,希望能夠?yàn)轶w育科學(xué)研究者提供一些理論經(jīng)驗(yàn)與捷徑。但目前層次分析法可以通過EXCEL軟件編制模板程序來實(shí)現(xiàn)。因子分析法對樣本量要求比較高,要求樣本量比較大,要求研究者能夠熟悉因子分析法的基本原理并熟練掌握一些統(tǒng)計(jì)軟件,例如SPSS。 實(shí)際科學(xué)研究中研究者要分清以上三種方法的使用條件,三種方法還可結(jié)合使用。層次分析法是一種定性與定量相結(jié)合的方法,一定程度上能夠克服個(gè)人的主觀判斷的偏差。雖然在應(yīng)用中難度比較大,但不失是一種好的方法,建議研究者們要大膽嘗試。
參考文獻(xiàn):
[1] 趙書祥. 我國體育領(lǐng)域中綜合評價(jià)理論與方法及實(shí)證的研究[D]. 北京體育大學(xué)博士學(xué)位論文, 2008.
[2] 祁國鷹, 徐明. 在體育統(tǒng)計(jì)簡明教程[M]. 北京體育大學(xué)出版社, 2006.
[3] 徐明欣, 高斌, 李瑞年, 鞠傳進(jìn). 我國普通高校體育課程評估方案的研制與實(shí)踐[J]. 體育科學(xué), 2000, 20(2): 15-18.
[4] 任弘. 體質(zhì)研究中人體適應(yīng)能力的理論與實(shí)證研究[D]. 北京體育大學(xué)博士學(xué)位論文, 2004.
[5] 趙書祥. 體質(zhì)綜合評價(jià)中層次分析法的應(yīng)用研究[J]. 北京體育大學(xué)學(xué)報(bào), 2007, 30(7): 938-940.
[6] 方強(qiáng). 高等學(xué)校體育教學(xué)質(zhì)量評價(jià)體系的層次分析研究[J]. 廣州體育學(xué)院學(xué)報(bào), 2010, 30(3): 109-112.
[7] 于萬清. 陽光體育背景下學(xué)生體育成績量化研究—運(yùn)用層次分析法對體育成績評定[J]. 體育科技文獻(xiàn)通報(bào), 2010, 18(4): 82-83.
[8] 吳明隆. 問卷統(tǒng)計(jì)分析實(shí)務(wù)—SPSS操作與應(yīng)用[M]. 重慶大學(xué)出版社, 2010.
[9] 高洪軍. 自學(xué)考試助學(xué)組織評價(jià)體系的研究及評價(jià)系統(tǒng)的實(shí)現(xiàn)[D]. 北體工業(yè)大學(xué)碩士學(xué)位論文, 2008.
[10] 余濤. 我國群眾體育發(fā)展評價(jià)研究[D]. 北體體育大學(xué)博士學(xué)位論文, 2009.