趙芷萱，虞锜琦，馮國臣

基于CIPP模型的一級學科建設(shè)效能考核指標體系＊

趙芷萱，虞锜琦，馮國臣

（北京交通大學，北京 100044）

建設(shè)世界一流水平的大學的關(guān)鍵在于建設(shè)具有世界一流水平或世界知名的學科。國家與政府一直嘗試用多種方式、從多方面促進大學學科建設(shè)，其中一個重要措施就是通過學科評估“以評促改”。當前第四輪學科評估已告一段落，現(xiàn)行的評估體系仍存在如指標結(jié)構(gòu)缺乏交互性、反饋性等問題。首次提出將學科評估指標體系與CIPP教學評價模型相結(jié)合的理念，將CIPP評價模型的應用由教學項目推廣至整體學科建設(shè)，旨在改善第四輪學科評估指標體系反映出的問題，針對學科評估的優(yōu)化設(shè)計提供理論探索和有益思路。

CIPP模型；一級學科；層次分析法；指標體系

自2002年起，中國教育部學位與研究生教育發(fā)展中心為優(yōu)化學科結(jié)構(gòu)、推動學科穩(wěn)健發(fā)展，開展了四次一級學科整體水平評估。目前第四輪學科評估工作已告一段落，第四輪學科評估的指標體系對比前三輪已經(jīng)做出了明顯的優(yōu)化和調(diào)整，但還存在許多問題，使其無法完全滿足學科評估“以評促改”“以評促建”的初衷[1]。本文將在第四輪學科評估的工作基礎(chǔ)上，創(chuàng)新性地引入CIPP模型，探究評估理念、評估指標、評估過程、評估技術(shù)的優(yōu)化設(shè)計，嘗試重新構(gòu)建一級學科的評估指標體系，使之更好地服務(wù)于中國的學科建設(shè)工作中，從而建設(shè)出具有世界一流水平的學科和大學。

1 CIPP教育評價模型

背景-輸入-過程-成果教育評價模型（Context-Input- Process-Product，簡稱CIPP）是由美國的教育評價專家斯塔弗爾比姆及其研究團隊在20世紀六七十年代提出的[2]，也稱決策導向或改良導向評價模式，一般以目標為導向，對測量結(jié)果的特征進行描述，重在考察教育活動的結(jié)果是否達到預設(shè)的目標。

CIPP模型分為背景評價、輸入評價、過程評價以及成果評價，評價角度、目的各不相同，這種將教育活動全過程納入評價范圍的評價模式，因其評價的動態(tài)性和靈活性，便于進一步對教育活動進行優(yōu)化，為一級學科建設(shè)和評估提供了理論依據(jù)和實證基礎(chǔ)，有利于推動一級學科更好地建設(shè)。

2 CIPP模型應用于一級學科評估的指標體系構(gòu)建

學科建設(shè)是一個涉及多方面問題的復雜系統(tǒng)工作，學科評估需要相應建立多方面的評價指標。指標體系的因子涵蓋范圍要全面，更要有代表性。因子之間不獨立，會導致累積效應、外溢效益。末級指標需要有效、系統(tǒng)地分類，克服單一性、片面性。CIPP模型以目標為導向，通過對背景、輸入、過程、成果的收集，全面地覆蓋了教育活動的全過程。一級指標間清晰的邏輯結(jié)構(gòu)，實現(xiàn)了規(guī)模指標向結(jié)構(gòu)指標的轉(zhuǎn)移。對末端指標重新歸類，指標因子的屬性效果更加突出，方便調(diào)整參數(shù)。因此，將CIPP評價模型推廣至整體學科建設(shè)，建立的一級學科建設(shè)評估指標體系將更具科學性、發(fā)展性、反饋性。

2.1 指標體系構(gòu)建的原則

在以CIPP模型為基礎(chǔ)建立一級學科建設(shè)效能分析指標體系時，應堅持指標體系建立的基本原則和學科評估的特色原則。

科學性原則：指標體系的建立要采用科學的方法，基于科學依據(jù)，基于科學可信的研究成果。

全面性原則：指標的選擇要全面覆蓋一級學科建設(shè)的全過程。

可操作性原則：指標應該易于采集，易于定性、定量，數(shù)據(jù)保證真實可靠。

國際可比性原則：指標體系要有國際標準，置身于國際環(huán)境中，衡量學科的國際競爭力。

指標體系優(yōu)化原則：指標的選擇要全面詳細，更要突出重點，指標體系結(jié)構(gòu)要盡量減少不獨立指標間的累積效應、外溢效應。

堅持中國特色原則：指標體系要有中國標準，要順應中國教育與研究改革趨勢。

2.2 指標體系構(gòu)建的思路

以CIPP評價理論為基礎(chǔ)，將CIPP模型的四個基本要素與一級學科建設(shè)的具體因子相對應。其中，一級學科建設(shè)的背景評價，是評價一級學科建設(shè)的啟動背景、建設(shè)需要和戰(zhàn)略設(shè)置。對比評價對象與學科建設(shè)的標準是否一致，判斷目標學科相關(guān)設(shè)置的合理性。一級學科建設(shè)的輸入評價，是評價一級學科建設(shè)投入的條件和資源。衡量目標學科建設(shè)的投入是否能夠滿足學科建設(shè)的需要。一級學科建設(shè)的過程評價，是評價一級學科建設(shè)的運行情況。審視一級學科的實際建設(shè)過程，考察目標學科建設(shè)過程的運行質(zhì)量。一級學科建設(shè)的成果評價，是評價一級學科建設(shè)的相關(guān)成果。收集目標學科相關(guān)的教育成果數(shù)據(jù)，把它們與背景、輸入、過程聯(lián)系起來，分析目標學科的建設(shè)效能。

3 基于CIPP模型的一級學科建設(shè)效能考核指標體系

基于CIPP模型的體系框架，遵照一級學科評估指標體系的構(gòu)建原則及思路，通過借鑒文件綜述和相關(guān)研究成果，對學科評估的二級、三級指標因子進行篩選和分類，剔除作用很小或與其他指標因子重復的指標因子，替換難以收集或量化的指標因子，選用相似、易收集、易量化的指標因子[3]，保證指標因子的全面性。通過上述過程，構(gòu)建出一級學科建設(shè)效能考核指標體系，如圖1所示。

3.1 指標體系解釋

指標體系解釋如表1所示。

圖1 一級學科建設(shè)評估指標體系

表1 指標體系解釋

一級指標二級指標三級指標指標內(nèi)容解釋 背景學科發(fā)展規(guī)劃戰(zhàn)略目標學科建設(shè)預計成果，包括人才輸出、學術(shù)、科研目標等 發(fā)展規(guī)劃為達到目標而分階段制定的計劃 運行機制為實現(xiàn)學科持續(xù)發(fā)展而制定的運行方式，比如考核、培訓、活動安排等 學科專業(yè)特點課程設(shè)置合理度學科課程設(shè)置的主次安排、時間安排、順序安排、專業(yè)性體現(xiàn)等 社會需求匹配度社會需要的本專業(yè)人才質(zhì)量和個人技能 學科社會聲譽學科排名本文以學科QS排名為準 學科影響評價學科影響力目標學科在其所在領(lǐng)域的專業(yè)影響力 輸入學科師資隊伍投入專職教師數(shù)學科擁有的注冊專職教師數(shù) 師生比專業(yè)師生比應不高于15 學歷結(jié)構(gòu)原則上教師應具有碩士以上學位，比例不低于80% 職稱結(jié)構(gòu)具有高級專業(yè)技術(shù)職稱的教師比例不低于30% 榮譽稱號人數(shù)獲得國家杰青、長江學者、百人/千人計劃等的人數(shù)錯誤！未找到引用源。 學科建設(shè)資源投入國家建設(shè)經(jīng)費國家投入的建設(shè)經(jīng)費金額 省部建設(shè)經(jīng)費省部投入的建設(shè)經(jīng)費金額 校級建設(shè)經(jīng)費學校自籌的建設(shè)經(jīng)費金額 學科科研條件投入實驗室條件國家重點實驗室、國防科技重點實驗室、省級重點實驗室等實驗室數(shù)量 儀器設(shè)備本學科科研所需儀器設(shè)備的種類、數(shù)量及使用率 數(shù)據(jù)庫資源專業(yè)擁有的數(shù)據(jù)庫資源種類及數(shù)量 過程課程教學質(zhì)量學生評價學生對專業(yè)課程的相關(guān)評價 上課模式專業(yè)課程學習模式的多元化，授課型、小組作業(yè)、研討班、導師一對一指導等 導師指導率導師與指導學生科研的匹配比例 學生國際交流合作學校等級交流學校的QS排名及交流學科的專業(yè)排名 交流學生數(shù)赴境外參與國際交流或聯(lián)合培養(yǎng)學生數(shù)

表1（續(xù)）

一級指標二級指標三級指標指標內(nèi)容解釋 過程科學研究項目國家級科研項目評為國家級科研項目的數(shù)量 省部級科研項目評為省部級科研項目的數(shù)量 企事業(yè)委托科研項目企事業(yè)委托科研項目的數(shù)量 社會服務(wù)項目市內(nèi)社會服務(wù)項目學生市內(nèi)公益服務(wù)、校園培訓講座、本地組織大賽或考試承辦等 國內(nèi)社會服務(wù)項目慈善捐款活動、國內(nèi)企業(yè)咨詢服務(wù)、教授對外學術(shù)報告等 國外社會服務(wù)項目重大科略合作、國際性公益服務(wù)等 成果畢業(yè)規(guī)模本科畢業(yè)數(shù)本年度授予學士學位總?cè)藬?shù)錯誤！未找到引用源。 碩士畢業(yè)數(shù)本年度授予碩士學位總?cè)藬?shù)錯誤！未找到引用源。 博士畢業(yè)數(shù)本年度授予博士學位總?cè)藬?shù)錯誤！未找到引用源。 博士后出站數(shù)本年度博士后出站總?cè)藬?shù)錯誤！未找到引用源。 科研成果國家級獎勵國家級重大項目、國家級重點項目、國家級一般項目 省部級獎勵省部級重大項目、省部級重點項目、省部級一般項目 論文專著發(fā)表核心期刊論文數(shù)教師發(fā)表或指導學生發(fā)表的包括國際核心期刊SCI、SSCI、AHCIEI、MEDLINE及國內(nèi)核心期刊CSCD、CSSCI的論文[6-7] 論文被引量發(fā)表在核心期刊上的論文被引量 出版學術(shù)專著數(shù)按學校網(wǎng)站已公布數(shù)據(jù)進行整理，教師參與撰寫且正式出版的著作或譯著、編著、教學用書錯誤！未找到引用源。 發(fā)明專利發(fā)明專利數(shù)已轉(zhuǎn)化或應用的發(fā)明專利 實用新型專利數(shù)已轉(zhuǎn)化或應用的實用新型專利 外觀設(shè)計專利數(shù)已轉(zhuǎn)化或應用的外觀設(shè)計專利

3.2 判斷矩陣的建立

運用AHP的原理建立判斷矩陣：使用由美國Satty教授創(chuàng)建的1～9判斷矩陣標度，設(shè)計了同級中所有指標相對重要性兩兩比較的調(diào)查問卷，并以郵件形式邀請了百余位專家教師參與調(diào)查，被函問的專家均為來自北京交通大學的副教授及以上或相當職稱的專家。最終回收有效問卷77份。判斷矩陣標度及其含義如表2所示。

表2 判斷矩陣標度及其含義

標度值同等重要稍微重要一般重要重度重要極度重要兩相鄰重要程度的中間值 含義135792、4、6、8

3.3 一致性檢驗

所做的判斷帶有主觀性和片面性，要求每次比較時的思維完全一致不太可能，但極端的不一致可能會導致結(jié)果的不精確以及決策的失誤。因此，不要求判斷矩陣具有完全一致性，但要求數(shù)據(jù)大體一致。在收集完所有專家給出的數(shù)據(jù)后，運用Yaahp軟件對每個專家給出的數(shù)據(jù)作一致性檢驗，排除極端偏離一致性系數(shù)的數(shù)據(jù)，保留未偏離或輕度偏離一致性系數(shù)的數(shù)據(jù)，最終篩選出21份問卷。

3.4 權(quán)重計算方法

3.5 權(quán)重計算結(jié)果

根據(jù)收集到的問卷數(shù)據(jù)，運用Yaahp軟件，計算得到指標體系的具體權(quán)重，如表3所示。

表3 基于CIPP的一級學科建設(shè)評估指標體系

一級指標權(quán)重二級指標權(quán)重三級指標權(quán)重 背景0.305 4學科發(fā)展規(guī)劃0.152 8戰(zhàn)略目標0.087 發(fā)展規(guī)劃0.051 7 運行機制0.014 1 學科專業(yè)特點0.090 1課程設(shè)置合理度0.066 1 社會需求匹配度0.024 學科社會聲譽0.042 6學科排名0.042 6 學科影響評價0.019 9學科影響力0.019 9 輸入0.373 1學科師資隊伍投入0.253 4專職教師數(shù)0.077 5 師生比0.088 2 學歷結(jié)構(gòu)0.050 6 職稱結(jié)構(gòu)0.027 2 榮譽稱號人數(shù)0.009 9

表3（續(xù)）

一級指標權(quán)重二級指標權(quán)重三級指標權(quán)重 輸入0.373 1學科建設(shè)資源投入0.084 3國家建設(shè)經(jīng)費0.059 4 省部建設(shè)經(jīng)費0.018 8 校級建設(shè)經(jīng)費0.006 2 學科科研條件投入0.035 5實驗室條件0.020 5 儀器設(shè)備0.012 5 數(shù)據(jù)庫資源0.002 5

注：以上數(shù)據(jù)僅作參考。

4 總結(jié)

本文通過引入CIPP教育評價模型，將其與一級學科建設(shè)評估相融合，遵循指標體系建立的基本原則和學科評估的特色原則，重構(gòu)一級學科建設(shè)評估指標體系。通過冪法處理收集的被函問專家數(shù)據(jù)得到權(quán)重，實際評估中，將待評估學科的各指標數(shù)據(jù)代入計算可得出一級學科的建設(shè)效能結(jié)果。通過分析權(quán)重表不難發(fā)現(xiàn)，師資隊伍投入、學科發(fā)展規(guī)劃和課程教學質(zhì)量占比前三。想要學科持續(xù)健康發(fā)展，首要任務(wù)是樹立堅定不移的戰(zhàn)略目標和可持續(xù)的發(fā)展規(guī)劃。教師是學科發(fā)展的中堅力量，優(yōu)秀的教師團隊是學科發(fā)展的重要支撐。更高質(zhì)量的專職教師、更高的師生比對提高課程教學質(zhì)量無疑起到了積極作用。這些權(quán)重占比高的指標也代表著今后學科建設(shè)需高度重視的環(huán)節(jié)，使學科建設(shè)有的放矢?；贑IPP模型的一級學科建設(shè)效能考核評估指標體系評估范圍更全面，評估內(nèi)容更科學，后續(xù)工作更簡潔清晰。借助具體的結(jié)果反饋，可揚長避短，加快世界一流水平學科建成。

［1］解德渤，李梟鷹.中國特色學科評估體系的優(yōu)化路徑 ——基于第四輪學科評估若干問題的分析［J］.廈門大學學報（哲學社會科學版），2019（1）：96-103.

［2］肖遠軍.CIPP教育評價模式探析［J］.教育科學，2003（3）：42-45.

［3］王國萍，閔慶文，丁陸彬，等.基于PSR模型的國家公園綜合災害風險評估指標體系構(gòu)建［J］.生態(tài)學報，2019，39（22）：8232-8244.

［4］李興國，趙曉冬.教育部直屬財經(jīng)類高校的學科發(fā)展策略——基于學科評估的視角［J］.黑龍江高教研究，2014（7）：56-59.

［5］陳偉，李金龍，方俊.基于屬性識別法的學科質(zhì)量評價［J］.研究生教育研究，2015（2）：56-59.

［6］盧紀華，趙希男，朱春紅.平衡計分卡在高校重點學科評估中的應用［J］.科技進步與對策，2006（11）：190-192.

［7］蔣林浩，沈文欽，陳洪捷，等.學科評估的方法、指標體系及其政策影響：美英中三國的比較研究［J］.高等教育研究，2014，35（11）：92-101.

［8］易開剛.人文社會科學一級學科評價指標體系研究［J］.科技進步與對策，2008（1）：142-145.

G649.2

A

10.15913/j.cnki.kjycx.2020.14.002

2095－6835（2020）14－0006－04

北京市級大學生創(chuàng)新創(chuàng)業(yè)訓練計劃資助項目（編號：202010004104）

〔編輯：嚴麗琴〕