鄧曉衡，劉鐵雄,鄭靜益,沈海瀾

（1.中南大學(xué) 信息科學(xué)與工程學(xué)院，湖南 長沙 410083；2.中南大學(xué) 本科生院，湖南 長沙 410083）

0 引 言

教學(xué)質(zhì)量是高等學(xué)校的生命線。教學(xué)質(zhì)量評價是高等學(xué)校實現(xiàn)高校教學(xué)科學(xué)管理的重要保證。然而高校教學(xué)系統(tǒng)涉及主體多，影響因素多，具有開放性、復(fù)雜性等特征，給建立科學(xué)、有效的高校本科教學(xué)質(zhì)量評價方法帶來了難度。用哪些指標去評價，以及用什么樣的方法去評價是教學(xué)質(zhì)量評價的基本問題。學(xué)者針對教學(xué)質(zhì)量評價從不同角度已經(jīng)展開了許多有效的研究[1-4]。

1 總體方案

AHP層次分析法由美國著名的運籌學(xué)家、匹茲堡大學(xué)薩迪( T.L.Saaty) 教授提出[5]，其基本思想是通過對系統(tǒng)的多個因素的分析，劃出各因素間相互聯(lián)系的有序?qū)哟?，并對每一層次的各因素給出相對重要性的定量表示，進而建立數(shù)學(xué)評價模型，計算出每一層次全部因素的相對重要性的權(quán)值。AHP層次模型主要包括目標層、中間層和方案層。

利用AHP層次方法研究本科教學(xué)質(zhì)量評價問題的總體方案是：第一步，對專家通過座談、問卷調(diào)查的方式確定本科教學(xué)質(zhì)量評價指標，建立指標體系層次化框架；第二步，利用AHP方法，結(jié)合專家自身經(jīng)驗和專業(yè)知識，基于1-9標度法[6]分別對每一層內(nèi)各項指標進行兩兩比較和重要性評價，建立判斷矩陣；第三步，對判斷矩陣進行一致性檢驗，計算得到每一層評價指標相對于上一層評價目標的量化權(quán)重；第四步，綜合考慮指標的權(quán)重和被評目標的相對優(yōu)勢，建立綜合考慮指標權(quán)重和相對排序的評價模型。

2 評價方法和過程

2.1 構(gòu)建評價指標體系

在對專家進行問卷調(diào)查的基礎(chǔ)上，依據(jù)AHP層次化模型，建立本科教學(xué)質(zhì)量評價指標體系，見表1。其中包括一級指標6個（B1～B5），二級指標18個（C1～C18）和三級指標44個（D1～D44）。按照AHP模型，將本科教學(xué)質(zhì)量G定義為目標層，一級指標、二級指標、三級指標分別定義為準則層1、準則層2和準則層3。

2.2 計算評價指標權(quán)重

根據(jù)AHP方法，首先采用1-9標度法分別對每一層內(nèi)各項指標進行兩兩比較和重要性評價，建立判斷矩陣。然后對判斷矩陣進行一致性檢驗，計算該矩陣的最大特征值和其對應(yīng)的特征向量。一致性檢驗通過，特征向量即為該層指標相對于上一層指標的權(quán)重；一致性檢驗沒有通過，需要重新構(gòu)造判斷矩陣。以目標層G與準則層B的判斷矩陣G-B表構(gòu)造為例，見表2。

表1 高校本科教學(xué)質(zhì)量評價指標體系層次框架

表2 目標層G與準則層1的判斷矩陣G-B

計算該矩陣的最大特征值λmax和其對應(yīng)的特征向量，得到λmax=6.11，特征向量w=（0.083 0.083 0.333 0.083 0.333 0.083）。

根據(jù)公式（1）和（2）以及平均隨機一致性指標R.I.的取值[6]（表3）計算得到C.I.=0.000,C.R.= 0.000。

表3 平均隨機一致性指標R.I.的取值

由于C.R.=0.000＜0.1表明判斷矩陣具有可接受的一致性，所以最終優(yōu)化后準則層1中各指標的權(quán)重為w=（0.083 0.083 0.333 0.083 0.333 0.083）按照上述方法依次計算出各層指標對其上一層指標的權(quán)重。各層指標相對于目標層G的權(quán)重則為該目標每一層的權(quán)重之積，如C1對B1的權(quán)重為0.333，B1對G的權(quán)重為0.083，則C1對G的權(quán)重為0.333×0.083=0.028。

2.3 建立考慮權(quán)重和排序比的綜合評價模型

經(jīng)典的加權(quán)平均模型如公式（3），其中k為評價指標個數(shù)，xi為F在指標qi上的指標值，φi為指標qi對應(yīng)的權(quán)重系數(shù)，S為個體F在加權(quán)平均模型下的綜合評價值。

加權(quán)平均模型考慮了評價指標的重要性和被評價單位在該指標上的評分兩個因素，但是加權(quán)平均模型無法體現(xiàn)出被評價個體在群體中同一指標上的相對優(yōu)劣情況。

比如：兩個被評價單位F1和F2在權(quán)重相同的兩個評價指標B1和B2上的評分均為90分，利用加權(quán)平均模型在綜合評分中看不出兩者區(qū)別。但是F1的90分位于100個評價個體中的前1%，而F2的90分位于100個評價個體中的后1%。如何在加權(quán)平均模型基礎(chǔ)上體現(xiàn)出被評價個體在全體中的相對表現(xiàn)情況，我們引入一個排序比因子，并將排序比因子、權(quán)重和評分3個因素綜合考慮構(gòu)建評價模型。

定義1（排序比因子）：設(shè)被評價群體個體總數(shù)為N，待評價個體為F，F(xiàn)在指標q上的得分值為s，群體中指標q上得分值低于s的個體個數(shù)為N(F,q)，則F在指標q上的排序比因子Q(F,q)為：

綜合考慮權(quán)重和排序比因子的綜合評價模型如公式（5）：

其中Snew為個體F在綜合模型下的綜合評價值，k為評價指標個數(shù)，xi為F在指標qi上的指標值，φi為指標qi對應(yīng)的權(quán)重系數(shù)，Q(F,qi)為個體F在指標qi上的排序比因子值，λ為排序比因子對評價結(jié)果的影響程度參數(shù)，由人工設(shè)定。當(dāng)λ=0時，綜合模型等價于加權(quán)平均模型。

以表4的數(shù)據(jù)為例，共有F1～F4四個參評單位，q1～q4四個評價指標，F(xiàn)1～F4 在q1～q4的評價結(jié)果分為A、B、C、D四個等級。q1～q4四個評價指標的權(quán)重分別為0.2、0.3、0.3、0.2，λ設(shè)為0.2，等級A～D對應(yīng)的分值分別為100、80、60、40。則加權(quán)平均模型下F1的綜合評價值為

S=0.2×80+0.3×80+0.3×100+0.2×60=82 ；綜合權(quán)重和排序比模型下F1的綜合評價值為

類似地，可以計算出F2～F4在兩個模型下的綜合評價值，見表4。

表4 兩個評價模型的評價結(jié)果

從表4中可以看到，利用權(quán)重和排序比綜合模型可以進一步獲得個體在群體中的相對表現(xiàn)，比如個體F1和F3，雖然兩者的加權(quán)平均值相同，但是F1的綜合模型值更高，表明F1在某些指標上具有更好的相對表現(xiàn)。同時，利用兩個模型評價值之差，也可以判斷出個體在群體中的相對表現(xiàn)的整體情況。差值越大，表明相對表現(xiàn)越好。

3 方法實現(xiàn)和應(yīng)用情況

根據(jù)上述定義的指標體系和評價模型，實際應(yīng)用中開發(fā)了本科教學(xué)狀態(tài)數(shù)據(jù)采集平臺，完成數(shù)據(jù)采集和質(zhì)量評價。數(shù)據(jù)采集平臺框架見圖1。

數(shù)據(jù)來源于兩個方面：一方面與學(xué)校教學(xué)管理系統(tǒng)對接，由系統(tǒng)自動收集各二級學(xué)院各年度的客觀性教學(xué)狀態(tài)基礎(chǔ)數(shù)據(jù)，比如四級率、畢業(yè)率等；另一方面，需要專家評定打分的數(shù)據(jù)，由專家在平臺在線進行評分。最后依據(jù)本文模型進行二級學(xué)院本科教學(xué)質(zhì)量的綜合評價。

圖1 教學(xué)基礎(chǔ)數(shù)據(jù)采集平臺框架

我們所提方法在我校已經(jīng)進行了實際應(yīng)用，對教學(xué)管理發(fā)揮了較好的支持作用。方法有如下優(yōu)勢：①評價指標體系比較完整地概括了學(xué)校的主要教學(xué)質(zhì)量監(jiān)測點，也受到被評價單位的認可。層次化的指標體系與專家的指標設(shè)定習(xí)慣相符，易于擴充和變更，1-9標度法的定性比較適合以專家經(jīng)驗為基礎(chǔ)的初值設(shè)定。②利用AHP評價方法將定性和定量結(jié)合起來的優(yōu)勢，在專家定性比較的基礎(chǔ)上給出量化的權(quán)重值，能夠既充分發(fā)揮專家的宏觀判斷優(yōu)勢，又能彌補專家精確數(shù)值量化評價的困難，適合教學(xué)這樣復(fù)雜系統(tǒng)的特性。③在加權(quán)平均模型的基礎(chǔ)上引入排序比因子構(gòu)建評價模型，評價人員不僅能獲得個體的總體表現(xiàn)，同時能夠獲得更多的個體在群體中的相對表現(xiàn)信息。

4 結(jié) 語

高質(zhì)量的本科教學(xué)評價對提高教學(xué)質(zhì)量至關(guān)重要。我們結(jié)合高校本科教學(xué)質(zhì)量評價的關(guān)鍵問題，構(gòu)建基于AHP和排序比的高校本科教學(xué)質(zhì)量綜合評價方法。隨著收集數(shù)據(jù)的增多，下一步的工作中，我們將引入機器學(xué)習(xí)方法，研究基于機器學(xué)習(xí)的教學(xué)質(zhì)量評價方法。