鐘金宏，黃 玲，李興國，牛曉玲

（1．合肥工業(yè)大學管理學院，安徽合肥230009；2．解放軍電子工程學院，安徽合肥230037）

基于證據(jù)推理的高校人才培養(yǎng)質量評價系統(tǒng)研究*

鐘金宏1，黃 玲2，李興國1，牛曉玲1

（1．合肥工業(yè)大學管理學院，安徽合肥230009；2．解放軍電子工程學院，安徽合肥230037）

本文分析了高校人才培養(yǎng)質量監(jiān)控與評價方面的研究進展。采用面向互聯(lián)網(wǎng)的W eb應用程序架構，設計了一個涵蓋內部教學質量和外部人才培養(yǎng)質量評估的高校人才培養(yǎng)質量監(jiān)控與評價系統(tǒng)，并詳細分析了系統(tǒng)的具體組成。全面使用證據(jù)推理方法體系，建立了各類人才培養(yǎng)質量評價模型，給出了系統(tǒng)實現(xiàn)方案。

人才培養(yǎng)質量；監(jiān)控與評價系統(tǒng)；證據(jù)推理方法

教育部于2003年啟動了五年一輪的本科教學評估，以加強對人才培養(yǎng)質量的評估與監(jiān)控。同時，學校為保證教學質量和實時監(jiān)控，需要建立常態(tài)的教學質量保障系統(tǒng)。本文提供了一個高校人才培養(yǎng)質量監(jiān)控與評價系統(tǒng)的設計及實現(xiàn)方案。它可以動態(tài)檢測與評價各類教學活動及其責任主體的質量，及時獲取外部對人才培養(yǎng)質量的評價；通過集結內外評價，對學校工作提供指導或導向。

一、研究現(xiàn)狀分析

現(xiàn)代高等教育評估最早可追溯到1845年Mann用學生測量分數(shù)來評價一所學校的教學質量。[1，2]目前這方面的研究主要有：

在指標體系研究上，很多研究集中在教學質量監(jiān)控體系的構建原則和總體設計方面，其中有一般性論述，也有針對具體類型高校和教學實體的。[3-5]涉及的各類具體指標體系可歸類為：課程教學質量指標體系和教師評價、實踐教學質量監(jiān)控指標體系、就業(yè)與外部評價。[6-8]從文獻可看出，目前的指標體系大都偏向課堂教學、教師教學等某一方面，缺乏面向教學、學生和管理人員三方面的綜合監(jiān)控與評價體系，難以全面評價高校的人才培養(yǎng)質量。

在高校人才培養(yǎng)質量監(jiān)控與評價系統(tǒng)建設方面，很多研究限于系統(tǒng)架構和分析設計，且主要側重于某單一責任主體、載體和單一教學環(huán)節(jié)；實際系統(tǒng)的研發(fā)少，且大都功能單一，還沒有面向教師、學生和管理人員的涵蓋所有教學活動的全過程、全方位的人才培養(yǎng)質量監(jiān)控與評價系統(tǒng)；部分研究關注了系統(tǒng)的具體實現(xiàn)技術，如數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、.NET、ASP、Web數(shù)據(jù)庫等技術在監(jiān)控與評價系統(tǒng)中的應用。[9,10]

此外，部分作者研究了國外的高教評估情況，意在為國內高教評估提供借鑒和啟示。[11-13]相當多文獻介紹了高校在教學質量監(jiān)控與評價方面的實踐情況。[14-17]在評估理論與方法方面，主要有ISO9000質量管理體系、齊次馬爾可夫鏈分析法、層次分析法、模糊綜合評價和證據(jù)推理方法等在高校教學質量監(jiān)控與評價中的應用研究。[18-20]

二、系統(tǒng)架構及組成

為適應信息系統(tǒng)軟件的發(fā)展趨勢和信息收集發(fā)布的便利，高校人才培養(yǎng)質量監(jiān)控與評價系統(tǒng)采用面向互聯(lián)網(wǎng)的Web應用程序架構。為實現(xiàn)充分利用現(xiàn)有的信息數(shù)據(jù)，以及與現(xiàn)有信息管理系統(tǒng)的無縫連接，開發(fā)基于XML的信息交換組件。系統(tǒng)結構如圖所示。

圖 高校人才培養(yǎng)質量監(jiān)控與評價系統(tǒng)

1.人機交互接口系統(tǒng)

信息采集、處理和轉換系統(tǒng)收集政府評估、中介評估、社會評價、用人單位評價，以及來自其他信息管理系統(tǒng)的信息，支持手工輸入、專用接口導入和網(wǎng)上收集。采集的原始數(shù)據(jù)經(jīng)處理、轉換由基礎數(shù)據(jù)庫管理系統(tǒng)存入基礎數(shù)據(jù)庫。

在其他監(jiān)控和評價系統(tǒng)中，各種質量的信息輸入主要采取用戶習慣的方式，用圖表實現(xiàn)，盡量做到準確、直觀和有自我查錯能力，避免模型輸入錯誤。質量評價結果主要以分布式方法描述，以圖表形式展示。數(shù)據(jù)庫、模型庫、方法與知識庫管理系統(tǒng)也將以專用人機接口實現(xiàn)，避免直接修改數(shù)據(jù)庫以增強系統(tǒng)容錯能力。

2.數(shù)據(jù)、模型、知識和方法庫

基礎數(shù)據(jù)庫和現(xiàn)有數(shù)據(jù)庫能互相兼容和通訊。除了從現(xiàn)有數(shù)據(jù)庫中提取、挖掘和整理的數(shù)據(jù)外，它主要用來存貯和管理與責任主體和教學活動質量相關的原始信息。基礎數(shù)據(jù)庫管理系統(tǒng)除能提供常用的數(shù)據(jù)庫管理功能外，還應該能和模型數(shù)據(jù)庫、知識與方法數(shù)據(jù)庫通訊，為其提供必要的原始信息，同時負責與人機接口和顯示模塊的通訊。

模型庫用于存貯質量評價模型的結構及運行模型所必需的知識和信息。模型數(shù)據(jù)庫用來存貯評價責任主體和教學活動質量所需要的當前輸入信息和相應的評價結果。模型庫管理系統(tǒng)用來構建、修改和更新模型結構和相應的模型數(shù)據(jù)庫，并負責和基礎數(shù)據(jù)庫的雙向通訊，即從基礎數(shù)據(jù)庫獲取模型所需的輸入信息，同時向基礎數(shù)據(jù)庫輸出質量評價結果。

該系統(tǒng)需要應用多種方法進行數(shù)據(jù)處理、信息轉換、知識推理和決策支持。例如，傳統(tǒng)的統(tǒng)計方法；決策理論中的規(guī)范化方法，以用來對數(shù)據(jù)進行歸類和預處理；證據(jù)推理方法中的數(shù)據(jù)轉換技術，以處理不精確信息和知識的綜合問題，并產(chǎn)生質量的結果分布。這些方法將組成專有方法庫和知識庫，并與相應模型庫中的模型結構相鏈接以實現(xiàn)這些方法的功能。方法庫和知識庫管理系統(tǒng)負責方法的構建、修改和更新。

3.監(jiān)控與評價系統(tǒng)的功能模塊

（1）教學活動質量監(jiān)控與評價系統(tǒng)。教學活動按其性質可分為公共基礎課程教學、專業(yè)課程教學、實踐教學和創(chuàng)新性教學。該系統(tǒng)實時地評價和產(chǎn)生各類教學活動的質量分布，以準確和全面地指出教學活動中可能存在的質量問題和嚴重程度；并可產(chǎn)生、分析和評價不同的質量改進方案和估計可改進的程度，從而避免因盲目而制定不切實際或不必要的質量改進方案。

（2）責任主體評價系統(tǒng)。教學活動責任主體可分為人員和機構兩類。面向人員的責任主體包括教師、學生和管理人員；面向機構的責任主體包括學院（系）、系（教研室）和教學管理部門。該系統(tǒng)產(chǎn)生各責任主體在各指標層次上的教學質量水平分布和量化評分。分布式評價能夠對各主要管理環(huán)節(jié)及方面做出全面客觀的評估，指出各責任主體在教學質量及其管理上的主要薄弱環(huán)節(jié)和需要改進的方面。

（3）社會和用人單位評價系統(tǒng)。社會評價主要涉及學生、家長和市場等方面的評價，主要是學校聲譽和印象方面的，感性部分較多。用人單位評價比較實際、客觀，參考價值大。該系統(tǒng)給出社會和用人單位對學校人才培養(yǎng)質量的評價分布。

（4）內部、外部及內外綜合評價系統(tǒng)。在教學活動及其責任主體的教學質量評價的基礎上，進行校級內部評估，判斷學校教學工作的整體運作態(tài)勢，對全校的人才培養(yǎng)過程及其質量進行全面的綜合診斷，找出存在的問題，為學校相關決策提供依據(jù)，并建議改進方案。外部評估可看作是政府、社會、市場、畢業(yè)生和家長等對高等教育質量的監(jiān)控，不具實時性，所得結果有助于學校培養(yǎng)社會需要人才；通過集結得到學校外部對人才培養(yǎng)質量的評價分布。綜合內部、外部的評價結果，給出某高校人才培養(yǎng)質量的評價分布，生成評價結果的解釋；比較學校內外部對人才培養(yǎng)質量的評價，對學校工作提供指導或導向作用。

三、系統(tǒng)實現(xiàn)方案

1.數(shù)據(jù)收集、處理、歸化及數(shù)據(jù)庫準備工作

為實現(xiàn)前述系統(tǒng)，大量工作將用于支持每一個目標的數(shù)據(jù)收集。為了收集教學質量指標的相關數(shù)據(jù)，將充分利用高校原有信息管理系統(tǒng)積累下的數(shù)據(jù)，如畢業(yè)生跟蹤系統(tǒng)，以及學校積累的紙質數(shù)據(jù)；同時將采用調查問卷、網(wǎng)上信息收集、電話和電子郵件等多種方式采集信息。對收集的信息進行統(tǒng)計、量化分析和分類，建立了質量信息關鍵詞的數(shù)據(jù)庫。

關鍵詞組織采用逐級下拉層次結構，每一級關鍵詞都是人才培養(yǎng)質量水平評價的內容，只是不同層級的關鍵詞反映的是不同的管理深度，只有針對不同層級的關鍵詞進行統(tǒng)計、量化分析和模型計算，才能根據(jù)不同需要有層次地（或在不同層面上）提出不同的評價和改進措施或要求。

在網(wǎng)絡平臺和信息源分類數(shù)據(jù)庫建立后，需要將日常監(jiān)督工作中發(fā)現(xiàn)的質量問題錄入到數(shù)據(jù)庫，在統(tǒng)計質量問題數(shù)量的同時將不同質量問題反映的質量管理水平進行等級化或量化，綜合質量問題數(shù)量后，將綜合信息作為源信息（或不同數(shù)學模型的輸入）提供給各類人才培養(yǎng)質量水平評價模型。

2.基于證據(jù)推理方法的評價模型建立

在人才培養(yǎng)質量的指標體系上，主要參考國內外高校和教育部門的相關評估標準和模型。國內將主要參考教育部的 《普通高等學校本科教學工作水平評估指標體系》以及相關學者研究成果。國外擬參考芬蘭ADULT學校、美國卡內基·梅龍大學和杜克大學等在教學質量評價方面的做法，亦參考美國、英國和德國等高教發(fā)達國家的政府及民間機構的一些做法。在對機構評估時，將參考和借鑒歐洲質量管理委員會的標準模型，即EFQM模型，雖然它是面向歐洲企業(yè)的綜合質量評估。擬基于XML技術先構造一個基本的指標體系描述文件，再采用繼承遞增模式產(chǎn)生各類教學活動的指標體系描述文件。

采用證據(jù)推理方法體系作為建立人才培養(yǎng)質量評價模型的理論基礎。證據(jù)推理方法的核心是采用基于評價準則的分布式置信結構建模，并運用概率統(tǒng)計和人工智能中的近似推理方式進行多指標綜合。這種建模與分析的特點是質量管理水平能夠客觀、準確和透明地評價成基于所規(guī)定準則的分布，這種分布可以在質量評價指標的各個層次產(chǎn)生并可以進一步量化成評分。這種分布與評分相結合的評價方法既有助于產(chǎn)生真實、可信和全面的質量評價結果，又能輔助識別哪些方面需要改進以提高質量。即該質量分布具有可追溯性和解釋性，可一直追溯到最底層的質量關鍵詞，利于找出問題所在，避免改進方案的盲目性。

在評價標準或依據(jù)建立上，由于各個學校的定位不同、培養(yǎng)目標不同，所以對學生的知識、能力素質的要求不一樣，擬采用用戶設定或用戶初始化來解決。在質量等級與指標分類、分級間的關系上，考慮到人才培養(yǎng)質量評價的方法、過程和結果同時具有定性和定量的特點，采用證據(jù)推理多指標決策方法中的置信結構作為基本形式，對這類復雜評價問題進行信息收集、整理和歸類，將原始信息和數(shù)據(jù)轉換成證據(jù)推理方法所要求的信息結構，建立教學質量評價信息庫。

采用證據(jù)推理方法中的證據(jù)合成算法，直接利用置信結構進行人才培養(yǎng)質量的推理評估；利用證據(jù)推理方法中的基于規(guī)則和基于效用的信息轉換技術，實現(xiàn)各層次間質量評估的傳遞。這樣可以全面有效地利用各類指標的檢驗過程和結果，以避免信息損失和變形，保證人才培養(yǎng)質量評估的完整性、合理性和可靠性。

建立人才培養(yǎng)質量評估模型的另一個步驟是估計各類指標在相應評估層次上所起的相對作用?？梢韵胂?，各類指標所起作用的程度不會完全相同，因此，需要通過系統(tǒng)調查分析，建立各級各類指標的相對權重和可能的變化區(qū)域。

四、結束語

為實現(xiàn)校內教學質量的監(jiān)控與評價，獲取并集結校外對人才培養(yǎng)質量的評價，本文設計了一個高校人才培養(yǎng)質量監(jiān)控與評價系統(tǒng)的框架，分析了其詳細組成。全面使用證據(jù)推理方法體系，給出了該系統(tǒng)的實現(xiàn)方案。系統(tǒng)本身適用高校本科人才培養(yǎng)質量監(jiān)控與評價，通過擴展（指標體系、模型），系統(tǒng)可實現(xiàn)對研究生培養(yǎng)質量的監(jiān)控與評估；實現(xiàn)的基于證據(jù)推理的質量評估方法適用于各種領域的質量評估。☉

[1]張慧潔,袁海軍.高等學校教育評估概述[M].香港:雅園出版公司,2000:10-17.

[2]趙鐵.“水平評估”對教學質量監(jiān)控體系構建的啟示[J].高教論壇,2006(1):35-39.

[3]韓理安,張斌,劉紹勤.高等教育教學質量監(jiān)控體系的總體設計[J].中國高教研究,2002(12):77-78.

[4]任文濤.高等學校教學質量監(jiān)控與評價體系的若干思考[J].教育理論與實踐,2007,27(4):6-7.

[5]陳慧,張曉珠,劉濟科.研究型大學本科教學質量監(jiān)控體系構建與探索[J].高等理科教育,2006(1):7-10.

[6]張麗娜.北京理工大學課堂教學質量監(jiān)控體系的建立與實踐[J].北京理工大學學報(社會科學版)2007,9(5):116-117.

[7]彭文博.實踐教學質量監(jiān)控體系的實踐與探索[J].實驗室科學,2006(2):11-13.

[8]余新麗,費毓芳.構建新的高校就業(yè)工作評價體系[J].高等農(nóng)業(yè)教育,2004(4):79-82.

[9]陳德良.高校質量管理信息系統(tǒng)關鍵技術研究[J].(中國)教育信息化,2006(11):39-41.

[10]趙秀峰.基于ASP和W eb數(shù)據(jù)庫的高校教學質量評價系統(tǒng)的設計與實現(xiàn)[J].中國教育信息化2007(7):54-55.

[11]劉紹勤,韓理安.國內外教學質量監(jiān)控與評估的比較研究及啟示[J].中國高教研究,2002(5):51-52.

[12]劉拓.國外高校教學質量監(jiān)控體系分析及啟示[J].高等理科教育,2006(1):83-86.

[13]史秋衡.美國社區(qū)學院教學質量監(jiān)控體系的結構及設計思想[J].高等教育研究,2006,27(8):91-96.

[14]朱永江.構建高校內部教學質量監(jiān)控體系的探索[J].高教發(fā)展與評估,2005,21(1):51-52.

[15]楊小慧,魏紅.北京高等學校教學質量監(jiān)控與評價現(xiàn)狀分析[J].高等理科教育,2005(1):34-38

[16]陳新民.新建本科院校教學管理制度改革的思考和實踐[J].中國大學教學,2005(12):47-49.

[17]高海生.高等教育教學質量保障監(jiān)控體系的構建與實踐[J].教育研究2006(10):89-92.

[18]冉寶春,魏建軍.我國高校建立ISO 9000質量管理體系的誤區(qū)分析[J].清華大學教育研究,2004,25(6):43-46.

[19]張镅.齊次馬爾可夫鏈分析法在教學效果綜合評價中的應用[J].合肥工業(yè)大學學報(自然科學版)1999,S1:162-165.

[20]Y.M.W ang,J.B.Yang and D.L.Xu.The Evidential Reasoning Approach for Multiple Attribute Decision Analysis Using Interval Belief Degrees[J].European Journal of Operational Research2006,175(1):35-66.

（編輯：金冉）

G642.0

B

1673-8454（2010）13-0080-03

安徽省高等學校省級教學研究重點項目（2008jyxm047），合肥工業(yè)大學教學研究項目（XJ2009015）。