王佳樂，方剛

（重慶三峽學院，重慶404100）

0 引言

高質量的高等教育教學改革項目研究將直接影響著學校教育教學管理的成效，決定著高?？沙掷m(xù)建設與發(fā)展的命運[1]。為了建立科學的、合理的、符合實際的項目評審機制，項目組織部門開展了項目評審[2]、項目監(jiān)管[3]和項目管理[4]的機制研究；高等院校更熱衷于項目評審管理機制研究，如文獻[5]探討了基于帕累托定律模型的高?？蒲许椖吭u審機制；文獻[6]對高職院校教改項目評審機制進行了優(yōu)化研究。隨著大數(shù)據(jù)技術的廣泛應用，基于智能信息化的項目評審研究掀起了高潮，如文獻[7]提出一種面向工作分解結構的評審人員指派方法；文獻[8]通過對抗性設計方法解決項目評審中的社會倫理問題，為專家、申請者、大眾提供爭論和表達異議的民主環(huán)境；文獻[9]針對評審過程的不透明帶來了評估不公正、結果不準確的隱患，探討了大數(shù)據(jù)信息化項目在第三方服務模式下的評審。如何立項建設高質量的教育教學改革項目？這向教育教學改革項目評審工作提出了嚴峻的挑戰(zhàn)，可見，研究其評審機制具有重要的現(xiàn)實意義和應用價值。

1 項目評審過程中存在的問題

（1）評審專家來源單一獨特

項目組織管理部門在評審時選擇評審專家的方式不一樣，有的選擇具有單一性，在學科布局上不夠合理，不能夠做到本校學科全覆蓋；如選擇優(yōu)勢學科帶頭人作為專家，而其它學科的項目可能因不深入評審而被落選。有的選擇具有獨特性，專家組成結構缺乏多樣化，要么是清一色的校內(nèi)各級領導，要么是清一色的教授博士，缺少一線應用專家。

（2）評審專家?guī)旄骂l率不快

有的學校雖然建立了評審專家?guī)欤臼庆o態(tài)的，沒有動態(tài)淘汰專家的機制，新鮮血液補充不及時，專家觀念老化現(xiàn)象比較嚴重。有的學校評審項目聘請專家是臨時的，聘請者的主觀性很大。

（3）運用人工智能方法計算評審結果不多

項目管理部門在匯總專家評審結果時，計算項目總成績的方式相對單一，有的運用專家劃分的等級，分組確定立項名單；有的運用專家評審的分數(shù)，通過平均成績或加權平均成績排名來確定立項名單；有的運用專家確定的名次，按比率劃分名額來確定立項名單。雖然這些方法在一定程度上反映了申請項目本身的質量，但評審成績會受到來自專家職業(yè)道德、責任心和學科領域的影響，特別是直接按分數(shù)來確定是有很大偏差的。目前，能夠運用數(shù)學模型，通過人工智能的方法來評價項目質量的方式很少。

2 項目評審機制框架及構建

（1）項目評審機制架構

大數(shù)據(jù)時代下，建立基于數(shù)據(jù)挖掘的教育教學改革項目評審機制，主要包括建立專家動態(tài)調(diào)整機制、學科領域關聯(lián)機制、評閱成績審定機制和評審專家信譽度機制四個部分；項目評審機制的框架結構如圖1所示。

圖1 項目評審機制框架結構

（2）評審機制構建思路

①建立評審專家動態(tài)調(diào)整機制

動態(tài)調(diào)整機制包括評審專家準入機制和評審淘汰機制兩部分：評審專家準入機制通過數(shù)據(jù)挖掘分類方法把專家候選人自動添加到評審專家?guī)熘?；評審專家淘汰機制主要是用數(shù)據(jù)挖掘聚類方法把信譽度較差的專家從評審專家?guī)熘刑蕴?/p>

②建立學科領域關聯(lián)機制

關聯(lián)機制是將待審項目與評審專家進行智能關聯(lián)，主要解決的問題是怎樣把待審項目提交給最佳評審專家組，即用數(shù)據(jù)挖掘關聯(lián)分析方法提取頻繁模式，進而生成評審專家組。

③建立評閱成績審定機制

成績審定機制是把所有評審專家的評閱成績進行聚類分析排序，確定出立項建設的教改項目。

④建立評審專家信譽度機制

評審專家信譽度機制首先建立信譽度計算方法，每次評審結束后更新評審專家?guī)斓膶＜倚抛u度，為評審專家淘汰機制提供數(shù)據(jù)支撐。

3 建立項目評審機制

3.1 建立評審專家動態(tài)調(diào)整機制，為形成優(yōu)質評審專家?guī)斓於ɑA

專家?guī)熘忻總€學科領域的專家數(shù)對評審專家動態(tài)調(diào)整機制影響不大，但數(shù)量要求至少兩名；評審專家準入機制和淘汰機制構建過程如下。

（1）評審專家準入機制

評審專家準入機制主要是把評審專家候選庫中的專家通過數(shù)據(jù)挖掘的分類方法（如決策樹方法ID3等）自動加入到評審專家?guī)熘小?/p>

首先，確定入選專家的規(guī)則，具體描述如下：

第一規(guī)則：校內(nèi)學科領域全覆蓋規(guī)則；即加入候選專家可以填補評審專家?guī)熘袑W科領域空白，如果候選專家數(shù)多于填補名額，則選擇第二規(guī)則。

第二規(guī)則：教育教學業(yè)績分多優(yōu)先規(guī)則；即教育教學業(yè)績分數(shù)多的先進入評審專家?guī)?，如果教育教學業(yè)績分數(shù)相同，則選擇第三規(guī)則。

第三規(guī)則：專業(yè)技術職稱高者優(yōu)先規(guī)則；如果職稱相同，則選擇第四規(guī)則。

第四規(guī)則：教育教學經(jīng)歷長者優(yōu)先規(guī)則；如果教育教學經(jīng)歷時間相同，則選擇第五規(guī)則。

第五規(guī)則：成為專家候選人早者優(yōu)先規(guī)則；此選擇具有唯一性。

其次，轉換候選專家數(shù)據(jù)庫信息，以專家候選人為實體，確定特征（屬性）：

①是否填補學科領域，取值為：是，否。

②教育教學業(yè)績分數(shù)，取值為：高，中，低。

③專業(yè)技術職稱，取值為：高，中。

④教育教學經(jīng)歷，取值：長，中。

⑤申請候選時間，取值：早，遲。

最后，用分類算法（如決策樹方法ID3等）生成入選專家類和落選專家類，并將入選專家添加到評審專家?guī)熘小?/p>

（2）評審專家淘汰機制

評審專家淘汰機制主要是用數(shù)據(jù)挖掘的均值聚類算法把信譽度較差的專家從評審專家?guī)熘刑蕴?/p>

首先，把所有評審專家的信譽度構成一個數(shù)據(jù)集合；

然后，用數(shù)據(jù)挖掘的均值聚類算法（），將評審專家根據(jù)信譽度分成兩類：信譽度較好和信譽度較差。

最后，淘汰信譽度低集合中的評審專家。

3.2 建立待審項目與評審專家的學科領域關聯(lián)機制，保障評審質量

在評審過程中，如果領域專家對待審項目研究的內(nèi)容不熟悉或把握不全面，可能造成誤評，影響評審成績。學科領域關聯(lián)機制主要是用數(shù)據(jù)挖掘的關聯(lián)分析算法把待審項目提交給最佳評審專家組。

首先，建立項目涉及領域和評審專家熟悉或精通領域的數(shù)據(jù)庫；

其次，用數(shù)據(jù)挖掘的關聯(lián)分析算法（如Apriori算法）提取頻繁模式；

最后，把支持度較高的且包含項目涉及領域的頻繁模式形成一組評審專家及其對應的待評審項目。

3.3 建立評閱成績審定機制，保障評出優(yōu)質教改項目

評閱成績審定機制主要是把不同評審專家評閱相同項目時給出的評閱成績進行聚類分析匯總排序，確定出立項建設的教改項目。

假設有M個評審專家，從N個待審項目中，評選出K個建設項目，這里M，N，K均為整數(shù)。

首先，針對第p個專家評閱的項目成績進行K均值聚類分析，聚類得到K個集合，這里令評閱成績最高所在的集合為第1個集合，最低所在的集合為第K個集合，其余依次類推，則每個項目的審定成績?yōu)镚p：

i表示集合排序，即第i個集合；

j表示第i個集合中的項目按評閱成績的排序；

ki表示第個集合中的項目總數(shù)，則有

其次，針對第q個項目，匯總來自所有評審專家的審定成績Gp，根據(jù)專家信譽度Hl計算出加權平均成績，即為項目的最終審定成績Gq：這里Hl為第l個評審專家的信譽度。

最后，匯總N個評審項目的最終審定成績Gq，選擇出前K個項目作為立項建設的教改項目。

3.4 建立評審專家信譽度機制，支撐評審專家動態(tài)調(diào)整機制

專家進入評審專家?guī)鞎r，信譽度c（0≤c≤1）定為100%，專家每參加一次評審，其信譽度就更新一次，信譽度的更新機制如下：

（1）參加一次評審的信譽度計算方式為：

本次信譽度＝專家本次評審推薦項目命中數(shù)/本次立項建設總數(shù)

（2）當前信譽度的更新計算方式為：

當前信譽度＝歷史信譽度×本次信譽度，或者

當前信譽度＝（歷史信譽度+本次信譽度）/2，或者

當前信譽度＝（歷史信譽度×+本次信譽度）/（n+1），n為參與評審次數(shù)。

4 結語

基于數(shù)據(jù)挖掘的教育教學改革項目評審機制能動態(tài)地、公平地添加專家到數(shù)據(jù)庫，努力建立廣覆蓋面和高素質的評審專家?guī)?，并合理地將評審項目分配給關聯(lián)性較強的專家組，科學地計算評審成績得到高質量的立項建設項目，達到項目評審的最終目的。