王興華
(1.臨沂大學(xué) 教育學(xué)院,山東 臨沂 276005;2.山東師范大學(xué) 教育學(xué)院,山東 濟(jì)南 250014)
隨著信息技術(shù)的發(fā)展,我國的教育信息化進(jìn)程正在以前所未有的速度向前推進(jìn)。但是高校難以對信息化應(yīng)用效果和信息化為高校帶來的績效進(jìn)行充分評估。因而,建立一套科學(xué)、規(guī)范、實用的高校信息化績效評價模型,科學(xué)合理地對高校信息化進(jìn)行評估,對于提高高校信息化管理和教學(xué)水平,有重要的意義。
20世紀(jì)60年代,日本學(xué)者小松崎清介提出的“信息化指數(shù)”及其一套算法是最早的信息化測評體系??冃гu價,是指運用數(shù)理統(tǒng)計、運籌學(xué)原理和特定指標(biāo)體系,對照統(tǒng)一的標(biāo)準(zhǔn),按照一定的程序,通過定量定性對比分析,對項目一定經(jīng)營期間的經(jīng)營效益和經(jīng)營者業(yè)績做出客觀、公正和準(zhǔn)確的綜合評判。無論是信息化,還是績效評價,其發(fā)端之處都在企業(yè)。
企業(yè)在信息化績效評估中進(jìn)行的研究是比較成熟的。Zeitaml總結(jié)了衡量企業(yè)信息系統(tǒng)有效性的關(guān)鍵績效指標(biāo),包括集成性、服務(wù)質(zhì)量、交付、效率、經(jīng)濟(jì)性、擴(kuò)展性、影響、用途、適應(yīng)性。Garter Group提出了IT能力成熟度模型。Jayanth Jayaram探討了信息基礎(chǔ)設(shè)施和過程改進(jìn)之間的相互關(guān)系,以及信息基礎(chǔ)設(shè)施、過程改進(jìn)、他們之間的相互作用對基于供應(yīng)鏈的績效產(chǎn)生的影響。羅伯特·卡普蘭和戴維·諾頓所提出了平衡記分卡(BSC)績效評價體系。平衡記分卡從財務(wù)、客戶、內(nèi)部業(yè)務(wù)流程、學(xué)習(xí)與成長四個角度來綜合評價企業(yè)績效,并在企業(yè)遠(yuǎn)景和戰(zhàn)略框架統(tǒng)領(lǐng)下構(gòu)建系統(tǒng)的評價指標(biāo)體系。這四類指標(biāo)通過相互驅(qū)動的因果關(guān)系構(gòu)成了一個完整的績效評價體系。
2002年10月9日,國家信息化測評中心正式推出了我國第一個面向效益的信息化指標(biāo)體系——企業(yè)信息化基本指標(biāo)構(gòu)成方案(試行)。王志江和郭東強利用DEA數(shù)據(jù)包絡(luò)分析方法,討論了企業(yè)信息化建設(shè)投入產(chǎn)出的相對有效性問題。陳曉紅和劉磊輝在模糊理論的基礎(chǔ)上對信息化建設(shè)進(jìn)行了深入的研究,結(jié)合實際情況建立了一套評價體系,并據(jù)此建立了模糊綜合評價模型。汪瑩根據(jù)現(xiàn)代數(shù)學(xué)、現(xiàn)代評價理論與方法,將AHP、灰色理論、模糊評判三種方法有機(jī)結(jié)合,提出并構(gòu)建了企業(yè)信息化綜合評價的三元整合模型。程揚、張潔和瞿兆榮通過對企業(yè)信息化實施過程全生命周期的分析研究,建立了一套可按實施階段進(jìn)行動態(tài)評估的信息化績效評估體系,并在AHP法的基礎(chǔ)上提出了目標(biāo)遞進(jìn)的層次結(jié)構(gòu),實現(xiàn)了對企業(yè)信息化的階段性和綜合性的評估。
雖然學(xué)校是以教學(xué)為中心的事業(yè)單位,不像企業(yè)單位那樣直接從事物質(zhì)資料等有形產(chǎn)品的生產(chǎn)和銷售,但同樣存在著投入和產(chǎn)出,需要消耗大量資源?;诖?,高校在做信息化績效評估時應(yīng)該向企業(yè)學(xué)習(xí),吸取有益的績效評估實踐經(jīng)驗和理論,探索建立更合理的信息化績效評估模型。
國外對教育信息化績效研究成績比較顯著的主要在歐美國家。
美國NCREL(North Central Regional Educational Laboratory)與NCRTEC(North Central Regional Technology Education Consortium)合作開發(fā)了enGauge評估框架①,旨在促進(jìn)技術(shù)在教學(xué)中的有效應(yīng)用。該評估框架確定了對教育信息化效益進(jìn)行評估的六個方面,也就是說教育信息化的效益體現(xiàn)在以下六個方面:愿景、有效的教學(xué)實踐、教師教育技術(shù)效能、信息公平、技術(shù)的連接、系統(tǒng)及其領(lǐng)導(dǎo)力。
美國教育技術(shù)CEO論壇共同開發(fā)了著名的STaR(School Technology and Readiness)評估量表。其包括四個指標(biāo)類(評估維度):硬件和網(wǎng)絡(luò)連通性、教師專業(yè)發(fā)展、數(shù)字化資源、學(xué)生成就和考核。
此外,英國的教育通訊和技術(shù)署于2006年3月發(fā)布了 SRF The Self-review Framework評估,主要對領(lǐng)導(dǎo)和管理、課程、學(xué)與教評價、教師專業(yè)發(fā)展、擴(kuò)展學(xué)習(xí)的機(jī)會、資源和學(xué)生學(xué)業(yè)成績的影響等8個要素進(jìn)行評估。②
國內(nèi)方面,顧小清提出了區(qū)域教育信息化效益評估模型,基于視角、發(fā)展、角色三個維度對不同區(qū)域教育信息化進(jìn)行評估。楊斌則研究了農(nóng)村基礎(chǔ)教育信息化的績效評估模型。肖玉敏給出了一個學(xué)校教育信息化評價指標(biāo)體系,其著眼點是從中小學(xué)校長的角度關(guān)注教育信息化的效益,其中包括教育信息化對于課程教學(xué)、學(xué)校管理、學(xué)生發(fā)展等方面產(chǎn)生的效益。這些研究主要從理論上探討了從績效的角度進(jìn)行教育信息化評價的思路和方法,但缺乏實際的應(yīng)用和定量分析,其可操作性和有效性有待檢驗。
總之,當(dāng)前國內(nèi)外對教育信息化的研究更多的集中在基礎(chǔ)教育層面上,而對高校信息化的研究較少;對教育信息化水平的研究相對較多,而真正對教育信息化績效的研究相對較少。在研究方法上,還沒有形成共識,但從總體上來看,主觀賦權(quán)法,如層次分析法、德爾菲法、模糊綜合評價法等占絕大多數(shù),客觀賦權(quán)法,如因子分析法、主成份分析法等占的比例相對較少,能夠把兩類方法同時應(yīng)用與教育信息化績效研究的更是少之又少。
高校信息化績效評價是一項復(fù)雜的系統(tǒng)工程,所涉及的因素眾多,包括高校辦學(xué)理念、教育體制、管理體制、教學(xué)內(nèi)容、教學(xué)方法等方方面面,而且信息化績效評價與人的主觀認(rèn)識密切相關(guān),又是一項較為復(fù)雜的思維和認(rèn)證過程。基于此,本文采用SEM(結(jié)構(gòu)方程模式)來探索高校信息化績效評價模型構(gòu)建。高校信息化績效評價應(yīng)該借鑒企業(yè)中比較成熟的全過程評價。高校信息化績效應(yīng)該包括兩個方面:過程和結(jié)果,即表現(xiàn)為高校信息化運行過程和運行結(jié)果。運行過程是指通過有效配置信息資源來改善高校的科研、管理和教學(xué);運行結(jié)果是指信息化成果的應(yīng)用對高校目標(biāo)實現(xiàn)的貢獻(xiàn)度。高校信息化績效的評價也主要集中在這兩個方面上:一方面,對信息化過程進(jìn)行評價,評價的結(jié)果進(jìn)行分析后,再反饋給高校,實現(xiàn)實施過程的評價與控制;另一方面,對信息化產(chǎn)生的效果進(jìn)行綜合評價。
基于文獻(xiàn)分析得到的相關(guān)理論、前人所做的相關(guān)研究、專家訪談以及我國教育信息化的相關(guān)標(biāo)準(zhǔn),高校信息化績效評價應(yīng)該從下面四個維度開展:
開展信息化的前提,首先要配備較為完備的信息化硬件和軟件設(shè)施。高校投入大筆資金、人力、時間和精力,用于規(guī)劃、選型、采購信息化設(shè)備,建設(shè)高校信息化體系,其產(chǎn)出則是信息化平臺、教室和網(wǎng)絡(luò)等。
高校信息化運行機(jī)制主要考查的是在信息化背景下,高校的組織機(jī)構(gòu)設(shè)置是否合理,信息化發(fā)展、規(guī)劃和實施方案是否完備以及這些方案的實際執(zhí)行情況,信息化管理制度、保障措施、安全相應(yīng)機(jī)制是否設(shè)立或完備,以及這些制度、措施和機(jī)制的真正執(zhí)行程度,最為重要的是,高校信息化人才的培養(yǎng)是否制度化。
高校信息化的終極效益是要實現(xiàn)高校的辦學(xué)目標(biāo),即人才的培養(yǎng)。在高校的教育和管理目標(biāo)中,人才培養(yǎng)始終處于第一位的,任何技術(shù)的采用和改革的開展都是為實現(xiàn)培養(yǎng)高素質(zhì)的人才而服務(wù)的。
高校為開展信息化建設(shè),投入了大量的人力、物力資源,必須都要通過對信息化的應(yīng)用來實現(xiàn)信息化的價值,推動高校改革和教育目標(biāo)更好的實現(xiàn)。信息化的應(yīng)用不是僅僅停留在硬件設(shè)備建設(shè)上的應(yīng)用,其實質(zhì)內(nèi)涵是把信息化融入高校的日常各項工作之中,讓信息化成為一種思維、一種工作和生活方式。
圖1 高校信息化績效評價理論模型
考核的指標(biāo)包括信息化設(shè)備人均數(shù)量(生均數(shù)量、師均數(shù)量、管理人員人均數(shù)量)、建設(shè)質(zhì)量和水平(信息化設(shè)備質(zhì)量、信息化設(shè)備兼容度、信息化設(shè)備總體布局科學(xué)合理性)、信息化設(shè)備日常運營狀況(信息化設(shè)備使用效率、信息化設(shè)備維修保養(yǎng)率、故障響應(yīng)及修復(fù)速度)。
假設(shè)H1高校信息化基礎(chǔ)設(shè)施建設(shè)是評價高校信息化績效的主要維度
主要考核組織機(jī)構(gòu)(信息化領(lǐng)導(dǎo)和管理部門、信息化技術(shù)支持部門、信息化相關(guān)部門與其他各部門的兼容度)、信息化發(fā)展方案(信息化投入預(yù)算、信息化發(fā)展方案的可行性和實際執(zhí)行程度)、信息化管理制度(信息化各部門崗位職責(zé)分工、信息化相關(guān)獎懲機(jī)制)、信息安全機(jī)制(信息安全制度、保障信息安全的軟硬件設(shè)施)、信息化人才培養(yǎng)保障機(jī)制(教師信息化培養(yǎng)機(jī)制、管理人員信息化培養(yǎng)機(jī)制、大學(xué)生信息化培養(yǎng)機(jī)制以及教師)。
假設(shè)H2高校信息化運行機(jī)制是對高校信息績效進(jìn)行評價的主要維度
主要考察信息化管理人才(信息化管理人才結(jié)構(gòu)比例、信息化管理人才技術(shù)能力、信息化管理人才管理實踐)、信息技術(shù)教師(信息技術(shù)教師結(jié)構(gòu)比例、信息技術(shù)教師技術(shù)能力、信息技術(shù)教師教學(xué)和科研實踐)、學(xué)科教師(學(xué)科教師的信息技術(shù)素養(yǎng)、學(xué)科教師對信息化的態(tài)度、學(xué)科教師教學(xué)和科研中信息化實踐)、大學(xué)生的信息素質(zhì)(大學(xué)生信息技術(shù)素養(yǎng)、大學(xué)生的信息化實踐、信息化對大學(xué)生綜合能力的影響)。
假設(shè)H3高校信息化人才的培養(yǎng)成果是評價高校信息化績效的主要維度
主要考查高校信息化行政管理(管理流程,決策速度,信息化管理、統(tǒng)籌和運用能力,管理文化信息化)、信息化教學(xué)(教學(xué)資源信息化、教學(xué)方式信息化、信息化對師生關(guān)系影響)、信息化與科研(新知識獲取和新領(lǐng)域探究、科研成果)、高校信息化的社會效益(主要通過大學(xué)生社會實踐、就業(yè)以及高校服務(wù)社會等活動來實現(xiàn),比如把校內(nèi)課程放在互聯(lián)網(wǎng)上)、信息化與校園文化和校風(fēng)(信息化推動校園文化和校風(fēng)建設(shè))。
假設(shè)H4高校信息化應(yīng)用成果是評價高校信息化績效的主要維度
基于SEM的高校信息化績效評價理論模型的操作化定義的結(jié)果如下圖:
表1 基于SEM的高校信息化績效評價模型操作化定義指標(biāo)
基于對影響高校信息化績效的各維度的分析和操作化定義,本研究采用李克特(Likert)六級量表來設(shè)計研究所需的調(diào)查問卷。問卷各題項的設(shè)計既借鑒了國內(nèi)外在信息化績效評價的研究成果,同時又結(jié)合了本文的實際研究需求。為了保證調(diào)查問卷的有效性和可信性,在正式大范圍施測前對問卷進(jìn)行了初試。初試階段發(fā)放問卷70份,共回收55份,其中受試對象包括25名高校相關(guān)管理人員,15名高校教師,15名大學(xué)生。
信度檢驗。主要采用Cronbach's α值來進(jìn)行檢驗。經(jīng)分析,問卷中有部分題項的值在0.7以下,需要再進(jìn)一步的篩選,并進(jìn)行因子分析以進(jìn)行修改和整合部分題項。
因子分析。主要采用SPSS因子分析中的主成分分析法,通過最大方差法進(jìn)行旋轉(zhuǎn),將特征值大于1作為因子提取的標(biāo)準(zhǔn)。
基于以上分析,重新調(diào)整李克特(Likert)量表,并對高校信息績效評價模型操作化定義指標(biāo)進(jìn)行修改。結(jié)果如表2:
二階潛變量 一階潛變量 測量變量
表2 高校信息化績效評價SEM模型操作化定義最終指標(biāo)
假設(shè)H1 高校信息化基礎(chǔ)設(shè)施建設(shè)是評價高校信息化績效的主要維度
假設(shè)H2 高校信息化運行機(jī)制是對高校信息績效進(jìn)行評價的主要維度
假設(shè)H3 高校人才信息化素養(yǎng)是評價高校信息化績效的主要維度
假設(shè)H4 高校人才信息化實踐是評價高校信息化績效的主要維度
假設(shè)H5 高校信息化應(yīng)用成果是評價高校信息化績效的主要維度
本研究共發(fā)放問卷500份,回收396份,其中有效問卷335份。調(diào)查對象既有高校行政管理人員,占總受試對象的45%;又有高校教師,占總受試對象的30%;還有在校大學(xué)生,占25%。調(diào)研的覆蓋區(qū)域包括十二所高校:中國石油大學(xué)(華東)、北京師范大學(xué)、南開大學(xué)、山東大學(xué)、青島大學(xué)、濟(jì)南大學(xué)、山東師范大學(xué)、山東農(nóng)業(yè)大學(xué)、臨沂大學(xué)、山東中醫(yī)藥大學(xué)、中國海洋大學(xué)、山東理工大學(xué)。
本研究采用的統(tǒng)計軟件為SPSS17.0和Amos7.0。
表3顯示了本研究的描述性統(tǒng)計和各測量維度的相關(guān)系數(shù)。可以看出高校信息化績效評價各維度都是正相關(guān)的。其中高校信息化基礎(chǔ)設(shè)施建設(shè)(Infrastructure)與高校人才信息素養(yǎng)(Capabilities)呈高度正相關(guān),這說明科學(xué)完備的信息化軟硬件設(shè)施是培養(yǎng)高校人才信息素養(yǎng)的前提條件,同時高校人才信息素養(yǎng)的提高又可以優(yōu)化信息化軟硬件的配置和使用,使其發(fā)揮最大效用。另外高校人才信息化實踐(Commitments)與高校信息化的應(yīng)用(Application)又呈現(xiàn)高度正相關(guān),這說明信息化實踐推動了信息化的廣泛應(yīng)用,而信息化的廣泛應(yīng)用又進(jìn)而為人才的信息化實踐提供了條件。
本研究采用兩種方式來檢驗高校信息化績效評價各維度的信度。第一,采用Cronbach's α 值,見表 4。通常,Cronbach's α的最低取值應(yīng)該在0.7及其以上。通過表4可以看出,信息化基礎(chǔ)設(shè)施建設(shè)(Infrastructure)的 Cronbach's α 系數(shù)是 0.749,信息化運行機(jī)制(Mechanism)的Cronbach's α系數(shù)是0.742,人才信息化素養(yǎng)(Capabilities)的 Cronbach's α 系數(shù)是 0.843,人才信息化實踐(Commitments)的 Cronbach's α 系數(shù)是0.848,信息化應(yīng)用(Application)的Cronbach's α 系數(shù)是 0.834。所有維度的Cronbach's α 系數(shù)都大于 0.7.因此,本研究測量模型的信度是可以接受的。另外一種檢驗信度的方式就是檢測每個評價維度(Construct)各個指標(biāo)(Item)的因子載荷系數(shù)λ。通過表5可以看出5個維度(Construct)21個指標(biāo)(Item)的因子載荷系數(shù)λ都是非常顯著的。因此,本測量模型的信度是可以接受的。
在設(shè)計本研究測量量表的時候,本研究參照了國內(nèi)外關(guān)于信息化績效評價的研究;在初試之前,又通過7位信息化方面的專家對量表進(jìn)行了適當(dāng)?shù)男薷?。因此,本研究的測量模型具有內(nèi)容一致效度。除此之外,本研究還根據(jù)Fornell和Larcker提出的抽取平均方差(Average Variance Extracted)方法來檢驗本研究測量模型的區(qū)別效度。AVE是統(tǒng)計學(xué)上用來檢驗結(jié)構(gòu)變量內(nèi)部一致性的統(tǒng)計量。為了滿足區(qū)別效度的要求,每個測量維度的AVE平方根必須大于模型中該測量維度與其它維度的相關(guān)系數(shù)。在本研究中,通過表3和表5可以看出,各個測量維度的AVE平方根都比它們之間的相關(guān)系數(shù)大。比如人才信息素養(yǎng)(Capabilities)和人才信息化實踐(Commitments)的AVE平方根分別是0.771、0.768,它們之間的相關(guān)系數(shù)為0.576,顯然AVE的平方根比兩者的相關(guān)系數(shù)大。因此,本測量模型的區(qū)別效度是可以接受的。另外,根據(jù)表5顯示,除了信息基礎(chǔ)設(shè)施建設(shè)(Infrastructure)和信息化運營機(jī)制(Mechanism)之外,其它三個測量維度的AVE值都大于0.5。因此,本研究的測量模型在聚合效度上基本可以接受。
根據(jù)以上分析,本研究測量模型有充分的信度和效度。
表3 高校信息化績效評價SEM模型描述性統(tǒng)計和相關(guān)系數(shù)
表4 高校信息化績效評價SEM模型各維度的Cronbach's α
Capabilities C1 C2 C3 C4 0.788 0.774 0.924 0.552 0.595 0.771
表5 指標(biāo)路徑系數(shù)和各維度的AVE
表6顯示了結(jié)構(gòu)模型一階CFA分析擬合的結(jié)果,圖2顯示的是一階CFA模型。表7顯示了二階CFA分析擬合的結(jié)果,圖3顯示的是二階 CFA模型。GFI(Goodness of Fit Index)是優(yōu)度擬合指標(biāo),越接近于1表示模型擬合度越好,通常GFI>0.9;NFI(Normed Fit Index)是基準(zhǔn)化適合度指標(biāo),NFI的值在0與1之間,其值越大,表示模型與數(shù)據(jù)的擬合度越好。CFI(Comparative Fit Index)是指比較適合度指標(biāo),CFI的值在0與1之間,其值越大越好,當(dāng)數(shù)據(jù)完全擬合模型時,CFI等于1;RMSEA(Root Mean Square Error of Approximation)是指漸進(jìn)誤差平方根均值,RMSEA<0.05時,模型擬合度較好,RMSEA>0.1時,模型擬合度差,0.05<RMSEA<0.1時,表示模型處于灰色地帶,不滿意但尚可接受。根據(jù)表6、表7、圖2、圖3,本研究的SEM模型中整體擬合指標(biāo)顯示圖2一階CFA和圖3二階CFA的擬合度非常好。無論是一階CFA,還是二階CFA,其中所有路徑系數(shù)都非常顯著,因此,本研究的假設(shè)成立(見表8)。在研究框架中再增加路徑并不會明顯改善模型的擬合度。
根據(jù)表8和圖2、圖3結(jié)果顯示,五個被估計的路徑系數(shù)都非常顯著。本研究發(fā)現(xiàn)高水平的高校人才信息素養(yǎng)不僅能顯著提高信息化績效,同時還對高校信息化基礎(chǔ)設(shè)施建設(shè)和信息化運營機(jī)制有顯著影響;高校信息化應(yīng)用也能顯著提高高校信息化績效,同時還對人才信息化實踐和人才信息化素養(yǎng)有顯著影響。
最后,本研究中的假設(shè) H1、H2、H3、H4、H5成立。高校信息化基礎(chǔ)設(shè)施建設(shè)、信息化運營機(jī)制、人才的信息素養(yǎng)、人才的信息化實踐以及高校信息化的應(yīng)用構(gòu)成高校信息化績效評價的有效、可信維度。
表6 一階CFA分析擬合結(jié)果
圖2 一階CFA模型
表7 二階CFA分析擬合結(jié)果
圖3 二階CFA模型
表8 結(jié)構(gòu)模型分析結(jié)果
根據(jù)以上分析,本研究把外源觀測變量(即指標(biāo)Item)對外源潛變量(即維度Construct)的路徑系數(shù)λ作為每個外源觀測變量的權(quán)重,把外源潛變量對內(nèi)生潛變量的路徑系數(shù)γ作為每個外源潛變量的權(quán)重,以每個外源觀測變量的均值M(通過Likert量表獲得)作為評價高校信息化績效的重要因子。公式如下:
Infrastructure I1 I2 I3 I4 0.732(λ1)0.601(λ2)0.611(λ3)0.669(λ4)0.723γ1)M1 M2 M3 M4
表9 高校信息化績效評價公式中各參數(shù)
注釋
① The CEO Forum School Technology and Readiness Report[DB/OL]http://www.ceoforum.org.
② Self-review framework[DB/OL]http://becta.org.uk/schools/self review.
[1]王志江,郭東強.企業(yè)信息化建設(shè)投入產(chǎn)出的相對有效性分析[J].運籌與管理,2001,10.
[2]陳曉紅,等.企業(yè)信息化建設(shè)的模糊綜合評判[J].運籌與管理,2003,6.
[3]汪瑩.企業(yè)信息化的效應(yīng)理論與評價方法研究[M].北京:中國經(jīng)濟(jì)出版社,2006.
[4]程揚,張潔,瞿兆榮.企業(yè)信息化績效評估體系及其評價方法[J].計算機(jī)工程,2007,33(2).
[5]張聰慧,郭偉.企業(yè)信息化投資價值與績效關(guān)系的實證分析[J].工業(yè)工程,2010,13(6).
[6]費軍,石青,余麗華.高校信息化評價指標(biāo)體系及評價方法探討[M].全國高校信息化研究會2003學(xué)術(shù)年會論文集,2004,21(3).
[7]顧小清,林陽,祝智庭.區(qū)域教育信息化效益評估模型構(gòu)建[J].中國電化教育,2007,5.
[8]楊斌,解月光,孫艷.農(nóng)村基礎(chǔ)教育信息化績效評估模型的構(gòu)建[J].中國電化教育,2009,7.
[9]肖玉敏.學(xué)校教育信息化評價指標(biāo)體系初探——中小學(xué)校長的視角[J].中國電化教育,2009,2.
[10]顧小清.教育信息化建設(shè)項目評估:國際研究現(xiàn)狀調(diào)查[J].電化教育研究.2006.8.
[11]吳明隆.結(jié)構(gòu)方程模型——AMOS的操作與應(yīng)用[M].重慶:重慶大學(xué)出版社,2009.