王家明,丁 浩

(1.中國(guó)石油大學(xué)勝利學(xué)院 文法與經(jīng)濟(jì)管理學(xué)院,山東 東營(yíng) 257000; 2.中國(guó)石油大學(xué)(華東) 經(jīng)濟(jì)管理學(xué)院,山東 青島 266580)

2018年教育部要求全面整頓本科教育教學(xué)秩序,構(gòu)建高水平人才培養(yǎng)體系,提高本科高等院校教育質(zhì)量,本科高等院校教育質(zhì)量評(píng)估至關(guān)重要。目前國(guó)內(nèi)比較認(rèn)可的高等教育評(píng)價(jià)機(jī)構(gòu)主要有武書(shū)連的《中國(guó)大學(xué)評(píng)價(jià)》、中國(guó)校友會(huì)、ARMU及中國(guó)科教評(píng)價(jià)研究院等,以上幾種機(jī)構(gòu)評(píng)價(jià)為現(xiàn)有高等教育評(píng)價(jià)及本科高等教育質(zhì)量的提升做出了貢獻(xiàn)。但以上機(jī)構(gòu)評(píng)價(jià)均側(cè)重于產(chǎn)出,即以成果作為評(píng)價(jià)主要依據(jù),此類評(píng)價(jià)固然重要,但各高校投入差距較大,若單從產(chǎn)出角度,投入不足的本科高校排名很可能靠后。因此，應(yīng)用“指標(biāo)回路法”從投入產(chǎn)出角度對(duì)本科高校教育質(zhì)量評(píng)估的指標(biāo)體系進(jìn)行研究,以對(duì)現(xiàn)有專家機(jī)構(gòu)的評(píng)價(jià)做出有益補(bǔ)充,為本科高校教育質(zhì)量評(píng)估及水平的提升做出貢獻(xiàn)。

一、文獻(xiàn)綜述

現(xiàn)有專家學(xué)者對(duì)高校教育質(zhì)量評(píng)估研究較為廣泛,主要集中在評(píng)估指標(biāo)體系、評(píng)估方法、教育質(zhì)量評(píng)估、質(zhì)量保障等方面。陳蓓(2008)[1]對(duì)目前高校教育質(zhì)量評(píng)價(jià)的概念、方法、問(wèn)題及建議等方面進(jìn)行了梳理研究,特別指出教學(xué)評(píng)價(jià)從功能上、方法上和評(píng)價(jià)主體上的不同分類;彭貞貞(2014)[2]從高校人才培養(yǎng)質(zhì)量的內(nèi)涵入手,對(duì)現(xiàn)有評(píng)價(jià)指標(biāo)體系構(gòu)建及評(píng)價(jià)方法的選擇進(jìn)行了綜述;耿慧(2015)[3]從目前高校教育質(zhì)量評(píng)價(jià)存在的問(wèn)題入手,對(duì)高校教育質(zhì)量評(píng)價(jià)指標(biāo)體系及其影響因素進(jìn)行研究,最后進(jìn)行了評(píng)價(jià)與展望。除此之外,現(xiàn)有學(xué)者從質(zhì)量評(píng)價(jià)、大學(xué)分類等方面也有研究,比如樊晶明(2008)[4]、武書(shū)連(2001)[5]等。但綜合現(xiàn)有研究可以發(fā)現(xiàn),目前高校教育質(zhì)量評(píng)估研究均為實(shí)證研究范式,且指標(biāo)選取均從前人研究中獲取,并未進(jìn)行充分論證,因此,文章提出“指標(biāo)回路法”對(duì)其構(gòu)建的評(píng)估指標(biāo)體系進(jìn)行論證,并提出一套完善的研究范式為前人研究作出補(bǔ)充。

二、“指標(biāo)回路法”及指標(biāo)體系的初步構(gòu)建

“指標(biāo)回路法”是在實(shí)證評(píng)價(jià)領(lǐng)域研究重點(diǎn)前移的條件下提出的。目前大多數(shù)專家學(xué)者對(duì)實(shí)證評(píng)價(jià)的研究重在評(píng)價(jià)模型選擇和創(chuàng)新,重在對(duì)評(píng)價(jià)結(jié)果的分析。評(píng)價(jià)模型和結(jié)果固然重要,但再?gòu)?fù)雜、再新穎的評(píng)價(jià)模型都是在評(píng)價(jià)指標(biāo)體系之上完成的。因此,實(shí)證評(píng)價(jià)中評(píng)價(jià)指標(biāo)體系的構(gòu)建至關(guān)重要。

(一)指標(biāo)回路法

指標(biāo)體系作為科學(xué)有效實(shí)證評(píng)價(jià)的首要前提,其科學(xué)與否直接決定了實(shí)證評(píng)價(jià)的科學(xué)性和價(jià)值性。同一指標(biāo)體系,采用不同模型評(píng)價(jià)可能得到相同或差異不大的評(píng)價(jià)結(jié)果,但不同指標(biāo)體系、不同指標(biāo)權(quán)重,采用同一模型或不同模型所得的評(píng)價(jià)結(jié)果是截然不同的?；诖?“指標(biāo)回路法”指標(biāo)體系的構(gòu)建從以下三方面進(jìn)行理解[6]:

(1)“回路”指從被評(píng)價(jià)主體到各末級(jí)指標(biāo)可正向?qū)訉臃纸?也可從各末級(jí)指標(biāo)到被評(píng)價(jià)主體層層詮釋,即指標(biāo)體系具有可逆性。指標(biāo)體系的構(gòu)建是一個(gè)閉環(huán),需要從正向、逆向兩條路徑進(jìn)行完善。

(2)“指標(biāo)回路法”強(qiáng)調(diào)指標(biāo)的獨(dú)立性和鑒別力,即各評(píng)價(jià)指標(biāo)之間相關(guān)度限制和單個(gè)評(píng)價(jià)指標(biāo)的鑒別能力。對(duì)于指標(biāo)的獨(dú)立性和鑒別力,可結(jié)合因子分析法進(jìn)行定量測(cè)算。

(3)指標(biāo)體系正向、逆向驗(yàn)證后,需進(jìn)行最后的合理性驗(yàn)證。

(二)本科高校教育質(zhì)量評(píng)估指標(biāo)體系的初步構(gòu)建

本科高校教育質(zhì)量評(píng)估簡(jiǎn)單來(lái)講是對(duì)本科高校教育的質(zhì)量評(píng)價(jià),即設(shè)定標(biāo)準(zhǔn)和評(píng)價(jià)指標(biāo),采用相關(guān)理論模型將現(xiàn)有數(shù)據(jù)進(jìn)行計(jì)算論證,將所得結(jié)果與評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行比照或進(jìn)行排序,形成評(píng)價(jià)結(jié)論。整個(gè)過(guò)程最重要的是標(biāo)準(zhǔn)和指標(biāo)體系的構(gòu)建,對(duì)于標(biāo)準(zhǔn)現(xiàn)無(wú)統(tǒng)一論證,大都采用排序進(jìn)行結(jié)果展示,因此評(píng)估指標(biāo)體系的構(gòu)建是整個(gè)實(shí)證研究過(guò)程中的重中之重。故在構(gòu)建本科高校教育質(zhì)量評(píng)估體系之前,文章梳理了國(guó)內(nèi)外先進(jìn)的高等教育評(píng)估經(jīng)驗(yàn),包括美國(guó)以認(rèn)證制度為核心的高等教育質(zhì)量評(píng)價(jià)模式、法國(guó)的“外控式”模式、英國(guó)的多元性評(píng)價(jià)模式、荷蘭的內(nèi)外結(jié)合評(píng)價(jià)模式,以及國(guó)內(nèi)武書(shū)連、校友會(huì)及軟科的評(píng)價(jià)體系。在此基礎(chǔ)上,從我國(guó)本科高校內(nèi)涵、外延及人才培養(yǎng)目標(biāo)入手,結(jié)合不同主體對(duì)本科高校的人才培養(yǎng)需求,從投入、產(chǎn)出兩個(gè)角度,形成了本科高校教育質(zhì)量初步評(píng)估指標(biāo)體系[7],如表1所示。

三、指標(biāo)體系完善及賦權(quán)

前文強(qiáng)調(diào)“指標(biāo)回路法”的指標(biāo)體系要具有可逆性,要通過(guò)相關(guān)性、鑒別力及合理性的驗(yàn)證,因此初步的指標(biāo)體系要再次進(jìn)行優(yōu)化完善才可作為實(shí)證評(píng)價(jià)所用。本文運(yùn)用指標(biāo)回路法對(duì)本科高校教育質(zhì)量評(píng)估指標(biāo)體系的構(gòu)建,所采用的實(shí)驗(yàn)數(shù)據(jù)為山東省2017年本科高校數(shù)據(jù)。

(一)相關(guān)性篩選

相關(guān)性分析是研究?jī)蓚€(gè)指標(biāo)的一致性程度,即對(duì)于評(píng)價(jià)主體而言二者貢獻(xiàn)度是否一致或相似解疑對(duì)相關(guān)性較大的指標(biāo)進(jìn)行篩選,優(yōu)化指標(biāo)體系。目前對(duì)相關(guān)性的測(cè)度較為成熟的主要有線性相關(guān)性分析、偏分析和距離分析。文章借鑒遲國(guó)泰(2018)[8]的研究,使用線性相關(guān)分析并用相關(guān)系數(shù)r來(lái)表示,而線性相關(guān)可分為正相關(guān)、負(fù)相關(guān)及無(wú)線性相關(guān)三種。正相關(guān)是指兩變量在對(duì)評(píng)價(jià)主體的評(píng)價(jià)貢獻(xiàn)上存在一致性,相關(guān)系數(shù)為正值;負(fù)相關(guān)是指在對(duì)評(píng)價(jià)主體的評(píng)價(jià)貢獻(xiàn)上不存在一致性,相關(guān)系數(shù)為負(fù);無(wú)線性相關(guān)是指相關(guān)系數(shù)為零,兩變量對(duì)于評(píng)價(jià)主體的評(píng)價(jià)貢獻(xiàn)不相關(guān)。

r的計(jì)算可以通過(guò)Pearson相關(guān)系數(shù)、Spearman和Kendall相關(guān)系數(shù)。對(duì)定距連續(xù)變量的數(shù)據(jù)使用Pearson相關(guān)系數(shù)計(jì)算,而對(duì)于分類變量的數(shù)據(jù)或變量值的分布明顯非正態(tài)或分布不明時(shí),在離散數(shù)據(jù)排序或定量變量排秩后需要通過(guò)Spearman和Kendall相關(guān)系數(shù)來(lái)計(jì)算。

對(duì)于定序變量則采用等級(jí)相關(guān)來(lái)描述,即R系數(shù)與γ系數(shù)。本文中對(duì)于R系數(shù)采用英國(guó)統(tǒng)計(jì)學(xué)家C.E.Spearman推導(dǎo)的簡(jiǎn)潔式

(1)

式中,di為變量值差,即xi-yi,i=1,2,…,N,N為次數(shù)。

等級(jí)相關(guān)系數(shù)R的絕對(duì)值與變量的相關(guān)性成正相關(guān)。設(shè)定臨界值r=0.6,文章刪除了I2、I20、I21、I22共4個(gè)評(píng)價(jià)指標(biāo),保留了余下的指標(biāo)構(gòu)成第二輪的評(píng)價(jià)指標(biāo)體系。

表1 本科高校教育質(zhì)量初步評(píng)估指標(biāo)體系

(二)鑒別力篩選

在構(gòu)建評(píng)價(jià)指標(biāo)體系中,評(píng)價(jià)指標(biāo)的鑒別力是必須要考慮的，假設(shè)被兩個(gè)或多個(gè)評(píng)價(jià)區(qū)域在某一指標(biāo)上區(qū)別不大,同時(shí)呈現(xiàn)很高或很低的得分或數(shù)值,或不能充分解釋被評(píng)價(jià)對(duì)象,則說(shuō)明此指標(biāo)鑒別力差;相反,在同一指標(biāo)上被評(píng)價(jià)對(duì)象存在顯著差異,則可判定此指標(biāo)在評(píng)價(jià)競(jìng)爭(zhēng)力上鑒別力較強(qiáng)。在目前的學(xué)術(shù)研究中,所使用差異系數(shù)來(lái)描述評(píng)價(jià)指標(biāo)的鑒別力,差異系數(shù)用標(biāo)準(zhǔn)差相對(duì)于平均數(shù)大小的相對(duì)量來(lái)表示:

CV=s/x.

(2)

式中,CV為變差系數(shù),s為標(biāo)準(zhǔn)差,x為平均值。變差系數(shù)與鑒別力呈正相關(guān)關(guān)系?；谧儾钕禂?shù)的測(cè)算,文章刪除變差系數(shù)相對(duì)小的I3、I4、I10、I23共7個(gè)指標(biāo),保留了52個(gè)評(píng)價(jià)指標(biāo),構(gòu)成了最終的評(píng)價(jià)指標(biāo)體系,見(jiàn)表2。

表2 本科高校教育質(zhì)量最終評(píng)估指標(biāo)體系

(三)合理性驗(yàn)證

通過(guò)初步構(gòu)建文化產(chǎn)業(yè)競(jìng)爭(zhēng)力評(píng)價(jià)指標(biāo)體系,加之相關(guān)度、鑒別力的篩選,形成目前的評(píng)價(jià)指標(biāo)體系,不過(guò)此指標(biāo)體系的合理性還有待驗(yàn)證。目前學(xué)術(shù)界對(duì)評(píng)價(jià)指標(biāo)體系合理性的評(píng)價(jià)集中在因子分析、AHP、模糊綜合評(píng)價(jià)、TOPSIS法等,在此文章借鑒王里克(2013)[9]的研究,結(jié)合上文因子分析數(shù)據(jù),采用因子分析對(duì)其合理性進(jìn)行驗(yàn)證。因子分析驗(yàn)證即如何將眾多變量通過(guò)少數(shù)因子表示,并且保證信息損失最小和因子間不具有顯著相關(guān)的變量統(tǒng)計(jì)分析方法。在本文中就是最終由52個(gè)指標(biāo)能否充分代表原始的60個(gè)指標(biāo)形成的指標(biāo)體系。

因子分析用方差表示信息含量,據(jù)此建立指標(biāo)體系構(gòu)建合理性的判定標(biāo)準(zhǔn)。設(shè)S為指標(biāo)數(shù)據(jù)的協(xié)方差矩陣,借助協(xié)方差矩陣及協(xié)方差的跡對(duì)篩選后的指標(biāo)的信息貢獻(xiàn)率In進(jìn)行測(cè)算:

In=trSn/trSp=99.8%.

(3)

式中,n為篩選后最終指標(biāo)體系的指標(biāo)個(gè)數(shù),p為篩選前原始初步指標(biāo)體系的指標(biāo)個(gè)數(shù),表明從海選指標(biāo)中篩選出87%(52/60)的指標(biāo)反映了99.8%的原始信息。經(jīng)驗(yàn)證,此指標(biāo)體系是合理的。

(四)指標(biāo)權(quán)重的確定

單一的客觀賦權(quán)法無(wú)法考慮指標(biāo)的實(shí)際意義,權(quán)重計(jì)算結(jié)果會(huì)與指標(biāo)實(shí)際重要程度相差較大,而單一的主觀賦權(quán)法則會(huì)導(dǎo)致主觀性過(guò)強(qiáng),專家賦權(quán)差距大。因此,有必要選擇主客觀結(jié)合的組合賦權(quán)法,獲得較為合理的指標(biāo)權(quán)重。文章將結(jié)合主觀的層次分析法及客觀的熵值法進(jìn)行組合賦權(quán),鑒于層次分析法與熵值法均屬于本領(lǐng)域非常成熟經(jīng)典的模型,故在此不多做介紹。

組合賦權(quán)法即結(jié)合多種賦權(quán)法的賦權(quán)結(jié)果,形成綜合權(quán)重,從而避免單一客觀賦權(quán)法無(wú)法考慮指標(biāo)的實(shí)際意義以及單一主觀賦權(quán)法主觀性過(guò)強(qiáng)無(wú)法反映現(xiàn)實(shí)的弊端。綜合權(quán)重計(jì)算公式為

W組合權(quán)重=αW主觀權(quán)重+βW客觀權(quán)重.

(4)

式中,α、β兩種賦權(quán)法的權(quán)重系數(shù),層次分析法和熵值法分屬主觀賦權(quán)法與客觀賦權(quán)法,在進(jìn)行組合權(quán)重計(jì)算時(shí),鑒于最終指標(biāo)體系中定性、定量指標(biāo)參半,故認(rèn)為兩種賦權(quán)法同等重要,均賦以0.5的權(quán)重,即α=0.5。組合賦權(quán)法權(quán)重結(jié)果見(jiàn)表2。

(五)原始數(shù)據(jù)的處理

通過(guò)表2可以看出,本體系中指標(biāo)有定性定量差異、量綱差異、數(shù)量級(jí)差異及正負(fù)向的差異等,因此在采用本體系進(jìn)行實(shí)證評(píng)價(jià)之前,需對(duì)已采集的數(shù)據(jù)進(jìn)行處理?，F(xiàn)有數(shù)據(jù)處理方式比較成熟的標(biāo)準(zhǔn)化處理,這可對(duì)以上四大差異進(jìn)行規(guī)范,增加數(shù)據(jù)的可比性和可使用性,標(biāo)準(zhǔn)化處理見(jiàn)式(5)、(6)。

(5)

(6)

(六)評(píng)估模型的選擇

現(xiàn)有學(xué)術(shù)界對(duì)評(píng)估模型的研究較為成熟,比如傳統(tǒng)經(jīng)典的AHP、模糊綜合評(píng)價(jià)以及現(xiàn)有TOPSIS、因子分析模型、神經(jīng)網(wǎng)絡(luò)等都可作為實(shí)證評(píng)價(jià)的模型備選方案。但對(duì)本科高校教育質(zhì)量評(píng)估而言,定性指標(biāo)數(shù)據(jù)的獲取難度較大,故建議采用組合評(píng)價(jià)法,即對(duì)不同評(píng)價(jià)模型進(jìn)行權(quán)重賦值,根據(jù)不同評(píng)價(jià)模型的評(píng)價(jià)結(jié)果進(jìn)行權(quán)衡后,依據(jù)權(quán)重對(duì)評(píng)價(jià)結(jié)果進(jìn)行綜合處理。

四、結(jié)語(yǔ)

文章提出了“指標(biāo)回路法”,并設(shè)定了指標(biāo)回路法的研究規(guī)范。運(yùn)用“指標(biāo)回路法”構(gòu)建了一套完善的本科高校教育質(zhì)量評(píng)估指標(biāo)體系,對(duì)指標(biāo)間相關(guān)性及各指標(biāo)的鑒別力進(jìn)行論證,對(duì)整個(gè)指標(biāo)體系進(jìn)行了合理性驗(yàn)證。從指標(biāo)體系構(gòu)建及完善、賦權(quán)、數(shù)據(jù)處理與評(píng)價(jià)模型選擇四方面提出了一套完整的實(shí)證評(píng)價(jià)研究范式,為現(xiàn)有實(shí)證評(píng)價(jià)研究作了補(bǔ)充,但由于評(píng)價(jià)模型不同,對(duì)于實(shí)證評(píng)價(jià)中標(biāo)準(zhǔn)設(shè)定未作深入探討。