王 海，解月光，付海東

(1.東北師范大學(xué) 歷史文化學(xué)院，吉林 長春 130024；2.東北師范大學(xué) 教育學(xué)部，吉林 長春 130024；3.東北師范大學(xué) 信息與軟件工程學(xué)院，吉林 長春 130117；4.長春大學(xué) 教務(wù)處，吉林 長春 130022)

評估維度量化方法研究
——以基礎(chǔ)教育信息化績效評估維度為例

王 海1,2，解月光3，付海東4

(1.東北師范大學(xué) 歷史文化學(xué)院，吉林 長春 130024；2.東北師范大學(xué) 教育學(xué)部，吉林 長春 130024；3.東北師范大學(xué) 信息與軟件工程學(xué)院，吉林 長春 130117；4.長春大學(xué) 教務(wù)處，吉林 長春 130022)

評估維度是評估指標(biāo)體系構(gòu)建的基礎(chǔ)及前提，是評估結(jié)果應(yīng)用的重要依據(jù)，對整個評估活動的開展有著重要的作用。目前評估維度多基于專家法等以定性分析為主進行確立。該類方法及過程雖然易于接受，但定性分析的成分較多，評估維度之間相互關(guān)聯(lián)且不穩(wěn)定，進而導(dǎo)致評估指標(biāo)體系不穩(wěn)定、評估結(jié)果應(yīng)用不理想。該文以基礎(chǔ)教育信息化績效評估維度為例，試圖利用探索性因子分析的方法進行評估維度的量化研究。研究結(jié)果表明，利用該方法確立的評估維度更加穩(wěn)定且獨立，同時依據(jù)各維度對整體評估的貢獻率，可以科學(xué)地指導(dǎo)評估指標(biāo)體系的構(gòu)建及評估結(jié)果的應(yīng)用。

基礎(chǔ)教育信息化；績效評估；評估維度

一、問題的提出

評估維度是評估指標(biāo)體系構(gòu)建的基礎(chǔ)及前提，是評估結(jié)果應(yīng)用的重要依據(jù)，對整個評估活動的開展有著重要的作用。目前，對于評估維度的研究，主要存在以下問題：

(一)評估維度之間相互關(guān)聯(lián)

評估維度是考量評估對象的層面、側(cè)面或角度。評估維度之間相互關(guān)聯(lián)將會干擾評估結(jié)果的應(yīng)用。因此，要求評估維度之間盡量弱相關(guān)或者無相關(guān)。評估維度的確立可以依據(jù)評估理論、評估模型，也可使用各種方法。目前，比較常見的方法是利用定性分析的方法，如：專家法、德爾菲法和層次分析法等。在這些方法中，雖然也有定量分析的成分，但均屬于輔助地位。利用定性分析方法確定績效評估維度的好處是操作過程簡單、確立評估維度容易。但此類方法比較適合于簡單的評估對象，對于教育信息化這樣復(fù)雜的評估對象，由于評估項目較多、評估內(nèi)容繁雜，很難主觀判斷各維度之間的相關(guān)性，容易造成評估維度之間相互關(guān)聯(lián)。

(二)評估維度不穩(wěn)定

評估維度的穩(wěn)定性是保證評估指標(biāo)體系信度的基礎(chǔ)和前提，不以評估研究者的知識體系為轉(zhuǎn)移。評估維度確定過程可分為自上而下的維度分解過程和自下而上的維度降解過程。維度分解的方法常見的有層次分析法和關(guān)鍵成功因素法，維度降解的方法常見的有主成分分析法和因子分析法。目前，基礎(chǔ)教育信息化績效評估指標(biāo)體系構(gòu)建多選擇維度分解的方法。維度分解的方法通常把研究對象看作一個系統(tǒng)，利用邏輯推理，比較判斷，綜合分析的思維過程進行決策，使復(fù)雜系統(tǒng)逐級分解。該方法符合人類思維習(xí)慣，易于人們接受。但當(dāng)群體或個體不盡相同時，分解的結(jié)果會有所不同，這樣導(dǎo)致評估維度不穩(wěn)定。而維度降解的方法是完全基于量化的方法，各級指標(biāo)的產(chǎn)生過程較少被人工干預(yù)，因而評估維度較穩(wěn)定、生命周期長。

二、研究方法與過程

本研究的目的在于完全用量化的方法確定基礎(chǔ)教育信息化績效評估的維度。完全量化的方法遵循了自下而上的維度降解理念，主要包括主成分分析法和因子分析法。兩種方法均是使用少數(shù)不相關(guān)的綜合變量盡可能全面地反映多個原始變量的信息，既消除了原始變量之間的相關(guān)性，又提高了可信度。不同的是，主成分分析法中的綜合變量是原始變量的線性組合，而因子分析法中的綜合變量是基于原始變量之間的復(fù)雜關(guān)系，通過對原始變量進行分解而得到的公共因子。因子分析法包括探索性因子分析法和驗證性因子分析法。探索性因子分析法主要用于找出影響原始變量的公共因子個數(shù)，以及公共因子和各原始變量之間的相關(guān)程度，以試圖揭示出錯綜復(fù)雜原始變量的內(nèi)在結(jié)構(gòu)[1]。驗證性因子分析法是依據(jù)一定的理論，對原始變量和公共因子之間的關(guān)系做出合理的假設(shè)，并對這種假設(shè)進行統(tǒng)計檢驗的現(xiàn)代統(tǒng)計方法。驗證性因子分析主要用于檢驗事先定義的因子模型擬合實際數(shù)據(jù)的能力，以試圖驗證原始變量和公共因子之間的關(guān)系是否與預(yù)先建立的假設(shè)一致[2]。

本研究中未對原始變量和公共因子之間的關(guān)系做出假設(shè)，僅是想探索影響基礎(chǔ)教育信息化績效水平的原始變量的公共因子個數(shù)，以及公共因子和各原始變量之間的相關(guān)程度，進而揭示出原始變量的內(nèi)在結(jié)構(gòu)及確定公共因子，即確定基礎(chǔ)教育信息化績效評估的維度。因此，本研究選擇探索性因子分析法確定基礎(chǔ)教育信息化績效評估維度更為適合。下面將按照探索性因子分析過程展開研究。

(一)收集原始變量

收集原始變量通常采用抽樣的方法，具體可使用量表或問卷進行抽樣。本研究選擇問卷進行抽樣。

1.基礎(chǔ)教育信息化績效水平調(diào)查問卷編制

首先，明確問卷的調(diào)研目的和科學(xué)可行的調(diào)研內(nèi)容。本次問卷的調(diào)研目的是用于收集影響基礎(chǔ)教育信息化績效水平的原始變量。調(diào)研內(nèi)容是基礎(chǔ)教育信息化的績效水平。為此，根據(jù)近年來國內(nèi)外基礎(chǔ)教育信息化績效研究的相關(guān)文獻，分析基礎(chǔ)教育信息化系統(tǒng)的構(gòu)成要素及要素間的相互關(guān)系，分析基礎(chǔ)教育信息化績效的內(nèi)涵及考察內(nèi)容，進而獲得影響基礎(chǔ)教育信息化績效水平的原始變量[3]。

其次，采用德爾菲法對原始變量做進一步的修正、裁減及合并。德爾菲法實施過程先后包括：成立專門工作小組、選取咨詢專家成員、制定征詢方案、發(fā)放和回收征詢表、統(tǒng)計分析征詢結(jié)果等。經(jīng)過專家多輪征詢，確定最終的影響基礎(chǔ)教育信息化績效水平的原始變量。

最后，遵循問卷編制的原則及注意事項，將影響基礎(chǔ)教育信息化績效水平的原始變量轉(zhuǎn)換為問卷題項。依據(jù)數(shù)據(jù)采集對象不同，將問卷分為校長問卷、信息化管理者問卷、信息技術(shù)教師問卷、學(xué)科教師問卷及學(xué)生問卷五類。

2.基礎(chǔ)教育信息化績效水平調(diào)查問卷施測

首先，采用區(qū)域抽樣與分層抽樣相結(jié)合的調(diào)查方法，在吉林省長春市市內(nèi)及周邊選取12所學(xué)校作為本次調(diào)查樣本，其中包括3所小學(xué)、8所初中及1所高中。

其次，發(fā)放及回收問卷。問卷總共發(fā)放1029份，其中校長問卷16份、信息化管理者問卷16份、信息技術(shù)教師問卷37份、學(xué)科教師問卷240份、學(xué)生問卷720份。問卷回收總共1000份，其中校長問卷16份、信息化管理者問卷16份、信息技術(shù)教師問卷37份、學(xué)科教師問卷228份、學(xué)生問卷703份?；厥諉柧碇袑W(xué)科教師問卷作廢2份、學(xué)生問卷作廢14份。問卷回收率達97%，問卷有效率達98.4%。

最后，問卷編碼和錄入。選擇IBM SPSS Statistics 19.0軟件，將5套問卷分開進行編碼錄入。

(二)初始檢驗

構(gòu)造相關(guān)矩陣，對問卷的信度和效度進行檢驗，用于確定是否可以進行因子分析。

1.基礎(chǔ)教育信息化績效水平問卷信度檢驗

信度反映問卷測量所得到結(jié)果的一致性和穩(wěn)定性。信度檢驗常用方法包括重測信度法、折半信度法和Cronbach's Alpha信度系數(shù)法。本研究選擇Cronbach's Alpha信度系數(shù)法進行信度檢驗。一般而言，信度系數(shù)0.6以下為不可信；信度系數(shù)在0.6和0.7之間為可接受；信度系數(shù)在0.7和0.8之間為較好；信度系數(shù)在0.8以上為非常好。本次調(diào)研總共回收有效問卷984份。對這些問卷進行信度檢驗。檢驗結(jié)果如表1所示。5套問卷的Cronbach's Alpha信度系數(shù)和基于標(biāo)準(zhǔn)化項的 Cronbach's Alpha信度系數(shù)均在0.8以上，由此可知，問卷的信度非常好，問卷的穩(wěn)定性和內(nèi)在一致性非常高。

表1 調(diào)查問卷信度分析表

2. 基礎(chǔ)教育信息化績效水平問卷效度檢驗

效度反映問卷測量所得到結(jié)果的準(zhǔn)確性和有用性。一般可通過內(nèi)容效度分析和結(jié)構(gòu)效度分析得出問卷效度。5類問卷在編制過程中使用了德爾菲法，已經(jīng)由專家對測驗項目與所涉及的內(nèi)容范圍進行了符合性判斷。因此，問卷的測量內(nèi)容及范圍的科學(xué)性和準(zhǔn)確性已經(jīng)得到驗證。結(jié)構(gòu)效度分析可通過計算簡單相關(guān)系數(shù)矩陣、計算逆影像相關(guān)矩陣、巴特利特球形度檢驗和KMO檢驗等方法進行。本研究使用KMO和巴特利特球形度檢驗。一般而言，KMO檢驗時KMO值0.6以下不適合進行因子分析；KMO值在0.6和0.7之間可勉強進行因子分析；KMO值在0.7和0.8之間可進行因子分析；KMO值在0.8和0.9之間適合進行因子分析；KMO值在0.9以上非常適合進行因子分析。對于巴特利特球形度檢驗時，如果巴特利特球形度檢驗的統(tǒng)計量數(shù)值較大，且對應(yīng)的相伴概率值小于設(shè)定的顯著性水平，則適合進行因子分析。本研究中，由于校長問卷、信息化管理者問卷及信息技術(shù)教師問卷數(shù)量過小，不適合進行結(jié)構(gòu)效度分析，故只對學(xué)科教師問卷及學(xué)生問卷進行結(jié)構(gòu)效度分析。分析結(jié)果如表2所示。

表2 調(diào)查問卷效度分析表

由表2的數(shù)據(jù)可知，學(xué)科教師問卷的KMO值為0.914，學(xué)生問卷的KMO值為0.912。并且均通過了顯著性水平為0.05的巴特利特球形度檢驗，基礎(chǔ)教育信息化績效水平問卷效度很好。由內(nèi)容效度分析和結(jié)構(gòu)效度分析可知，基礎(chǔ)教育信息化績效水平問卷非常適合進行因子分析。

(三)提取因子并確定因子個數(shù)

提取因子的方法有多種，如主成分分析法、最小二乘法、極大似然法及映像分析法等。本研究選擇比較常用的主成分分析法提取因子。一般來講，確定因子的個數(shù)可根據(jù)特征根的大小、因子的累計貢獻率和碎石圖三方面準(zhǔn)則來綜合考慮。當(dāng)然，如果研究者有一定的假設(shè)，也可根據(jù)預(yù)先的假設(shè)來確定因子個數(shù)，但需要將統(tǒng)計結(jié)果與預(yù)設(shè)結(jié)合分析。對調(diào)查數(shù)據(jù)進行因子分析，提取特征值大于1的因子共6個，這6個因子的累計貢獻率達到91.057%(如表3所示)。并且由碎石圖(如右圖所示)可知，這些因子中有6個占大部分變異性，曲線在因子6后開始逐步變直。說明其余因子僅占很小部分的變異性，可能并不重要。綜合特征根的大小、因子的累計貢獻率和碎石圖三方面考慮，確定6個因子。

表3 各因子的特征值及方差解釋量

(四)因子旋轉(zhuǎn)

由于初始因子綜合性太強，難以找出具體實際意義，一般需要對因子進行旋轉(zhuǎn)來簡化因子載荷矩陣，進而合理解釋因子結(jié)構(gòu)。常用的因子旋轉(zhuǎn)方法有很多，如最大方差法、最大四次方值法、最大平衡值法、直接Oblimin轉(zhuǎn)軸法、Promax轉(zhuǎn)軸法。其中前3種方法為正交旋轉(zhuǎn)法，后兩種為斜交旋轉(zhuǎn)法。本研究使用最大方差值的正交旋轉(zhuǎn)法，旋轉(zhuǎn)在20次迭代后收斂，旋轉(zhuǎn)后的因子載荷矩陣如右表4所示。

表4 旋轉(zhuǎn)后的因子載荷矩陣

(五)解釋因子結(jié)構(gòu)

經(jīng)因子旋轉(zhuǎn)后，使得每個原始變量僅在一個公共因子上有較大載荷，而在其他公共因子上的載荷中等或較小，這就保證了各公共因子之間弱相關(guān)，同時適合對各因子進行具體解釋。

公共因子一與教師信息化水平、管理者信息化水平、學(xué)生信息化水平、信息化資源建設(shè)水平、信息化資源應(yīng)用水平、信息化人才保障程度6個原始變量緊密相關(guān)，主要反映師生信息化水平、信息化資源建設(shè)及應(yīng)用水平、信息化人才保障程度，可將公共因子一定義為信息化資源匹配主體程度，其方差貢獻率達到38.437%，是對整個績效水平影響最大的公共因子。

公共因子二與校園網(wǎng)絡(luò)建設(shè)水平、電腦設(shè)備建設(shè)水平、信息化教室建設(shè)水平、信息技術(shù)教學(xué)水平4個原始變量緊密相關(guān)，主要反映信息技術(shù)環(huán)境建設(shè)水平及信息技術(shù)教學(xué)水平，可將公共因子二定義為信息技術(shù)環(huán)境支撐教學(xué)程度，其方差貢獻率達到16.985%，是對整個績效水平影響第二大的公共因子。

公共因子三與網(wǎng)站建設(shè)水平、管理信息系統(tǒng)建設(shè)水平兩個原始變量緊密相關(guān)，主要反映信息化服務(wù)平臺建設(shè)水平，可將公共因子三定義為信息技術(shù)環(huán)境提供服務(wù)程度，其方差貢獻率達到12.447%，是對整個績效水平影響第三大的公共因子。

公共因子四與信息技術(shù)與課程整合水平、廣播電視平臺建設(shè)水平、基礎(chǔ)設(shè)施應(yīng)用水平3個原始變量緊密相關(guān)，主要反映信息技術(shù)應(yīng)用于學(xué)科教學(xué)水平，可將公共因子四定義為信息技術(shù)與課程整合程度，其方差貢獻率達到10.348%，是對整個績效水平影響第四大的公共因子。

公共因子五與信息化制度保障程度、信息化政策保障程度兩個原始變量緊密相關(guān)。公共因子六與信息化資金保障程度、信息化機構(gòu)保障程度兩個原始變量緊密相關(guān)。雖然4個原始變量分別影響各自的公共因子，但均屬于信息化發(fā)展的保障建設(shè)。因此，現(xiàn)將其合并為一個公共因子，可定義為信息化發(fā)展保障程度。合并前各自方差貢獻率分別為7.449%、5.391%，是對整個績效水平影響較小的兩個公共因子。

三、研究成果

對影響基礎(chǔ)教育信息化績效水平的原始變量進行探索性因子分析，揭示出原始變量的內(nèi)在結(jié)構(gòu)及公共因子，即確定了基礎(chǔ)教育信息化績效評估維度。評估維度共包含5個，分別是信息化資源匹配主體程度、信息技術(shù)環(huán)境支撐教學(xué)程度、信息技術(shù)環(huán)境提供服務(wù)程度、信息技術(shù)與課程整合程度、信息化發(fā)展保障程度，各維度的評估內(nèi)容如下：

(一)信息化資源匹配主體程度維度

與維度一緊密相關(guān)的原始變量包括：教師信息化水平、管理者信息化水平、學(xué)生信息化水平、信息化資源建設(shè)水平、信息化資源應(yīng)用水平、信息化人才保障程度。其評估的內(nèi)容主要有信息化主體的信息意識、信息化主體的信息技術(shù)知識、信息化主體的信息技術(shù)能力、信息化資源的建設(shè)水平、信息化資源的應(yīng)用水平、信息化資源的滿意程度等[4]。

(二)信息技術(shù)環(huán)境支撐教學(xué)程度維度

與維度二緊密相關(guān)的原始變量包括：校園網(wǎng)絡(luò)建設(shè)水平、電腦設(shè)備建設(shè)水平、信息化教室建設(shè)水平、信息技術(shù)教學(xué)水平。其評估的內(nèi)容主要有校園網(wǎng)帶寬、校園網(wǎng)覆蓋率、師生電腦擁有率、電腦聯(lián)網(wǎng)率、信息化教室配置級別、信息技術(shù)環(huán)境的滿意程度、信息技術(shù)教學(xué)的滿意程度等[5]。

(三)信息技術(shù)環(huán)境提供服務(wù)程度維度

與維度三緊密相關(guān)的原始變量包括：網(wǎng)站建設(shè)水平、管理信息系統(tǒng)建設(shè)水平。其評估的內(nèi)容主要有網(wǎng)站規(guī)模、網(wǎng)站服務(wù)等級、管理信息系統(tǒng)的種類、管理信息系統(tǒng)的功能級別等[6]。

(四)信息技術(shù)與課程整合程度維度

與維度四緊密相關(guān)的原始變量包括：信息技術(shù)與課程整合水平、廣播電視平臺建設(shè)水平、基礎(chǔ)設(shè)施應(yīng)用水平。其評估的內(nèi)容主要有校園網(wǎng)功能發(fā)揮程度、電腦設(shè)備功能發(fā)揮程度、廣播電視平臺功能發(fā)揮程度、信息化教室設(shè)備功能發(fā)揮程度、信息技術(shù)應(yīng)用于學(xué)科教學(xué)的滿意程度等[7]。

(五)信息化發(fā)展保障程度維度

與維度五緊密相關(guān)的原始變量包括：信息化制度保障程度、信息化政策保障程度、信息化資金保障程度、信息化機構(gòu)保障程度。其評估的內(nèi)容主要有信息化制度健全程度、信息化政策執(zhí)行程度、信息化資金投入程度、信息化機構(gòu)職能健全程度等[8]。

四、結(jié)論

在基礎(chǔ)教育信息化績效評估的研究領(lǐng)域內(nèi)，比較典型的研究成果有郭偉剛等的《學(xué)校教育信息化績效評價研究》、解月光的《農(nóng)村基礎(chǔ)教育信息化績效評估研究》。郭偉剛等的研究成果中包含的評估維度有組織與管理、基礎(chǔ)設(shè)施與公用管理平臺、教育教學(xué)資源建設(shè)與應(yīng)用、信息化應(yīng)用及信息化人才，該研究成果是在參考國內(nèi)外專家學(xué)者的研究成果基礎(chǔ)上確立[9]；解月光的研究成果中包含的評估維度有信息化設(shè)施建設(shè)水平、信息化教學(xué)資源建設(shè)水平、信息化應(yīng)用水平、信息化保障建設(shè)水平、信息化主體發(fā)展水平，該研究成果同樣是在參考國內(nèi)外專家學(xué)者的研究成果基礎(chǔ)上確立[10]。將本研究確立的評估維度及內(nèi)容與上述研究成果比較分析發(fā)現(xiàn)，本研究的評估內(nèi)容與領(lǐng)域內(nèi)的典型成果類似，但評估維度不同。郭偉剛和解月光的研究成果主要對評估對象的結(jié)構(gòu)進行分析，在綜合比較領(lǐng)域內(nèi)典型研究成果基礎(chǔ)上確立評估維度。這類評估維度主要關(guān)注的是基礎(chǔ)教育信息化系統(tǒng)構(gòu)成要素的發(fā)展水平，測量結(jié)果反映的是基礎(chǔ)教育信息化水平發(fā)展現(xiàn)狀。本研究確立的評估維度打破直接從評估對象的結(jié)構(gòu)分析確定評估維度的研究思路，從影響復(fù)雜研究對象發(fā)展水平的原始變量入手，通過對各原始變量之間的關(guān)系分析以及各原始變量與公共因子的相關(guān)程度分析而揭示出評估對象內(nèi)部難于主觀推斷的結(jié)構(gòu)，進而確定評估維度。此種方法確定的基礎(chǔ)教育信息化績效評估維度更多關(guān)注的是基礎(chǔ)教育信息化績效結(jié)構(gòu)要素的均衡、有效及優(yōu)質(zhì)發(fā)展，測量結(jié)果反映的是績效發(fā)展均衡程度及績效整體發(fā)展程度。同時，在利用探索性因子分析法確定評估維度的過程中，較少被人工干預(yù)，故而確立的評估維度更加穩(wěn)定、獨立。另外，探索性因子分析法確定評估維度后可以得出各維度對整體評估的貢獻率，這些數(shù)據(jù)可以科學(xué)地指導(dǎo)評估指標(biāo)體系的構(gòu)建及評估結(jié)果的應(yīng)用。

[1][2]周曉宏,郭文靜.探索性因子分析與驗證性因子分析異同比較[J].科技和產(chǎn)業(yè),2008,(9):69-71.

[3]-[8][10]解月光.農(nóng)村基礎(chǔ)教育信息化績效評估及發(fā)展研究[M].北京:人民出版社,2015.

[9]郭偉剛,李亞娟,岑健林,朱珍,戎海武.學(xué)校教育信息化績效評價模型的設(shè)計和應(yīng)用[J].中國電化教育,2010,(4):36-40．

Study on Quantitative Methods to Evaluate Dimensions—Take Performance Evaluation Dimensions of ICT in Basic Education for Example

Wang Hai1,2, Xie Yueguang3, Fu Haidong4
(1.School of History and Culture, Northeast Normal University, Changchun Jilin 130024; 2. Faculty of Education,Northeast Normal University, Changchun Jilin 130024; 3. School of Information and Software Engineering, Northeast Normal University, Changchun Jilin 130117; 4. Academic Affairs Office, Changchun University, Changchun Jilin 130022)

Evaluation dimension is the basis and premise in the construction of Evaluation System. It provides the foundation for assessing the application of evaluation results, and plays an important role in carrying out the entire evaluation activities. Currently,the evaluation dimensions are mainly established through qualitative analysis such as Delphi method. Although the method of this kind is easy to accept, it relies more on qualitative analysis, which, together with the interlinked and unbalanced relationship among dimensions, leads to instability of the evaluation system and less desired application results. This study, using evaluation dimensions of ICT in basic education as an example, attempts to conduct quantitative study on evaluation dimensions with the method of exploratory factor analysis. The results show that the dimensions established by this method are more stable and more independent. In addition, the contribution rate of each dimension to the overall evaluation system can offer guidance to the construction of evaluation system and the application of evaluation results.

ICT in Basic Education; Performance Evaluation; Evaluation Dimensions

G434

A

王海：在讀博士，高級工程師，研究方向為信息技術(shù)教育、中小學(xué)教育信息化(lucky_sir@tom.com)。

解月光：教授，博士生導(dǎo)師，研究方向為信息技術(shù)教育、農(nóng)村基礎(chǔ)教育信息化、數(shù)字化學(xué)習(xí)環(huán)境設(shè)計(xyg6367@126.com)。

付海東：在讀博士，講師，研究方向為信息技術(shù)教育應(yīng)用研究(fuhd.ccu@163.com)。

2016年7月27日責(zé)任編輯：趙興龍

1006—9860(2016)10—0097—05