許新月，杜曉莉，劉 斌，嚴 立，劉 利

1 重慶醫(yī)科大學公共衛(wèi)生與管理學院，醫(yī)學與社會發(fā)展研究中心，健康領域社會風險預測治理協(xié)同創(chuàng)新中心，重慶，400016； 2 重慶醫(yī)科大學校辦公室，重慶，400016；3 重慶市教育評估院辦公室，重慶，400020

教育評價事關教育發(fā)展方向。長期以來，由于評價中盛行的管理主義、技術和效率至上，高校圍繞單一標準辦學，導致大學面臨“去特色化”困境以及人才培養(yǎng)趨同性與社會需求多樣性分離等問題。面對高校綜合性評價中日益凸顯的問題，2020年發(fā)布的《深化新時代教育評價改革總體方案》要求系統(tǒng)推進教育評價改革，扭轉不科學的教育評價導向，同時推進高校分類評價，引導不同類型高?？茖W定位，辦出特色和水平。醫(yī)學類本科院校是高等教育體系的重要組成部分，其既存在與其他類型高校共有的特征，也存在眾多個性因素[1]。單獨構建富有特色的醫(yī)學類本科院校綜合評價指標體系對于引導醫(yī)學類本科院校特色辦學，推動醫(yī)學高等教育高質(zhì)量內(nèi)涵式發(fā)展十分必要。目前國內(nèi)外關于醫(yī)學院校評價方面的研究多集中于對醫(yī)學院校構成的某一方面的評價，例如對醫(yī)學院校科技人才勝任力的評價[2]、對醫(yī)學院校研究生導師的評價[3]、對醫(yī)學院校生源質(zhì)量的評價等[4]，缺乏對于醫(yī)學院校的綜合評價。此外，一些第三方機構以大學排行榜形式構建的醫(yī)學院校綜合評價指標體系也多是在綜合大學評價指標體系基礎上篩選部分指標構成，甚至完全照搬綜合大學評價指標體系，不利于對醫(yī)學院校進行科學評價。本研究旨在篩選綜合大學與醫(yī)學類本科院校共性指標的基礎上，加入醫(yī)學院校特色指標和新時代大學評價特色指標構建醫(yī)學類本科院校綜合評價指標體系，為大學分類評價提供新思路，同時推動醫(yī)學教育創(chuàng)新發(fā)展。

1 資料來源與方法

1.1 資料來源

本研究廣泛參閱《深化新時代教育評價改革總體方案》《國務院辦公廳關于加快醫(yī)學教育創(chuàng)新發(fā)展的指導意見》《教育部關于加快建設高水平本科教育全面提高人才培養(yǎng)能力的意見》政策方針和高等教育評價相關文獻資料[5-6]，以泰晤士高等教育世界大學排名、Quacquarelli Symonds 世界大學排名、U.S.News世界大學排名、軟科世界大學學術排名、武書連中國大學排行榜、校友會中國大學排名為參照，篩選大學評價基礎指標。以國務院辦公廳發(fā)布的三級公立醫(yī)院績效考核指標體系為基礎，篩選醫(yī)學院校附屬醫(yī)院評價重點指標。以中共中央、國務院發(fā)布的《深化新時代教育評價改革總體方案》為引導，篩選新時代教育評價特色指標。在此基礎上確定醫(yī)學類本科院校綜合評價指標維度。

1.2 研究方法

1.2.1 德爾菲法。德爾菲法是一種針對不同領域專家開展的匿名反饋函詢法，專家的選擇對數(shù)據(jù)結果的質(zhì)量有著較大影響，因此研究中選擇的專家不僅要具備較高的理論水平和豐富的實踐經(jīng)驗，還要有一定的權威性和代表性，一般以8-20人為宜[7]。課題組于2021年3-6月以電子郵件形式向15位專家發(fā)放問卷進行了兩輪咨詢。咨詢問卷主要包括3個部分：第1部分主要介紹課題研究背景、研究內(nèi)容和問卷整體情況；第2部分為專家對整體指標熟悉程度及判斷依據(jù)調(diào)查，以判斷指標體系科學性；第3部分包括各級指標重要程度評價表。量表采用Likert 5級評分法，從不重要到非常重要依次賦值1-5分，同時問卷后留有空白部分，以供專家提供建議。

1.2.2 層次分析法。采用美國學者Saaty提出的層次分析法來解決權重設置問題[8]。借助層次分析法輔助軟件yaahp 12.6，以第二輪德爾菲專家咨詢重要性評分結果為基礎計算各指標權重。首先建立遞階層次結構，然后采用Saaty1-9標度法根據(jù)專家組對同一層次中各指標的兩兩比較賦值得到兩兩比較判別矩陣，得出單層次排序，同時對矩陣進行一致性檢驗。以一致性比率CR<0.10判定判斷矩陣一致性合格，若CR>0.10，則需要對判斷矩陣進行調(diào)整，直到滿意為止。最后將各指標在各層的權重系數(shù)連乘得到最終的組合權重。

1.3 統(tǒng)計學方法

每輪專家咨詢過后，采用Excel 2019進行數(shù)據(jù)錄入，并使用SPSS 25.0對數(shù)據(jù)進行統(tǒng)計分析，計算專家積極系數(shù)、專家權威系數(shù)、專家意見協(xié)調(diào)系數(shù)來保證專家決策的科學性；計算指標均值、標準差、滿分比、變異系數(shù)進行指標的刪減。其中專家積極系數(shù)以問卷回收率表示，專家權威程度取決于專家對問卷的熟悉程度和判斷依據(jù)。采用肯德爾和諧系數(shù)(Kendall's W系數(shù))表示專家協(xié)調(diào)程度。以P<0.05代表差異有統(tǒng)計學意義。

2 結果

2.1 初步構建評價指標體系

柏林原則要求“大學排名應該認識到組織機構的多樣性，考慮他們各自的使命和目標”[9]。因此，本研究將大學的人才培養(yǎng)、科學研究、社會服務、文化傳承與創(chuàng)新、國際交流與合作五大基本職能設為一級指標，同時基于任何一所大學的發(fā)展都離不開辦學要素的支撐，資源保障是高校運行的必要條件，所以將資源保障也列入一級指標。二級、三級指標方面，在大學評價常規(guī)指標的基礎上，添加了醫(yī)學院校特色指標，包括醫(yī)學院校自身特色指標醫(yī)師資格考試通過率等，醫(yī)學院校附屬醫(yī)院特色指標醫(yī)療服務數(shù)量、醫(yī)療服務質(zhì)量、附屬醫(yī)院畢業(yè)后醫(yī)學教育投入等。同時根據(jù)《深化新時代教育評價改革總體方案》具體要求，突出思想政治教育、生師比、用人單位滿意度等指標，初步確定了由6個一級指標、18個二級指標、64個三級指標構成的醫(yī)學類本科院校綜合評價指標維度。

2.2 專家質(zhì)量指標

2.2.1 專家基本情況。咨詢專家的年齡在39-72歲，工作年限均大于11年；有博士學歷的專家占73.33%，正高級職稱專家占80.00%；在研究領域方面，由于指標體系涉及多個學科內(nèi)容，所以在選擇專家時，以學校行政管理領域專家為主，臨床醫(yī)學專家和衛(wèi)生事業(yè)管理領域專家為輔；所咨詢專家工作單位包括同濟大學、重慶醫(yī)科大學、新疆醫(yī)科大學、內(nèi)蒙古醫(yī)科大學、遵義醫(yī)科大學、溫州醫(yī)科大學、廣東醫(yī)科大學、廣州醫(yī)科大學等，高校分布區(qū)域涉及華東、華南、華北等地。見表1。

表1 專家基本情況

2.2.2 專家質(zhì)量系數(shù)。本研究共邀請了15位專家參加德爾菲專家咨詢，全部專家均完成了兩輪咨詢且所反饋咨詢表有效，兩輪專家積極系數(shù)均為1。兩輪專家咨詢中均有專家提出指標體系修改建議，表明專家對本研究的熟悉度和關注度較高。兩輪咨詢中專家權威程度分別為0.81、0.85，專家權威程度較高。兩輪專家對指標重要程度評分的Kendall's W系數(shù)分別為0.272、0.361，均在0-1之間，且兩輪數(shù)據(jù)結果經(jīng)χ2檢驗P值均小于0.001，差異具有統(tǒng)計學意義，說明專家意見協(xié)調(diào)性較好，結果可取。

2.3 評價指標篩選

指標篩選依據(jù)主要是專家對各指標的重要性賦值及專家的具體建議，以重要性賦值均數(shù)大于3.50且變異系數(shù)小于0.25作為保留標準，若存在指標只滿足其中一個條件，則參考專家意見決定是否保留。

2.3.1 第一輪專家咨詢結果。第一輪專家咨詢中，所有指標均滿足均數(shù)大于3.50。二級指標中E1學生國際化，三級指標中A11本科生數(shù)、F12社會捐贈收入的變異系數(shù)大于0.25。本輪咨詢中，共有4位專家對指標修改提出了意見：專家1建議將一級指標資源保障改為學科基礎條件；專家2建議將二級指標師資隊伍建設單列；專家3建議科研國際化下增加科研成果國際化轉化力三級指標；專家4建議將圖書資源與數(shù)字資源進行區(qū)分，增加數(shù)字資源三級指標?；趯＜乙庖姾椭笜撕Y選界值標準，在第一輪專家咨詢后共對5項指標進行了調(diào)整，其中刪減了1項二級指標和2項三級指標，分別為學生國際化、本科生數(shù)、社會捐贈收入；增加了2項三級指標，分別為數(shù)字資源、科研成果國際化轉化力。

2.3.2 第二輪專家咨詢結果。第二輪專家咨詢中，所有指標均滿足變異系數(shù)小于0.25，三級指標 E12外籍教師人數(shù)、E21來華留學英語授課品牌課程數(shù)、E22引進課程數(shù)均值分別為3.47、3.33、3.20，均小于3.50。本輪咨詢中，有一位專家對指標的修改提出了建議，即在“國際交流與合作”一級指標下保留學生國際化。基于專家意見和指標篩選界值標準，在第二輪專家咨詢后共對兩項指標進行了調(diào)整，即刪減了兩項三級指標，分別為外籍教師人數(shù)、引進課程數(shù)，無新增指標。

經(jīng)過兩輪專家咨詢，最終確定了由6個一級指標、17個二級指標、60個三級指標構成的醫(yī)學類本科院校綜合評價指標體系(表2)。

表2 我國醫(yī)學類本科院校綜合評價指標體系

表2(續(xù))

2.4 指標權重確定

利用yaahp 12.6工具根據(jù)評價目的對所有指標進行歸類，構造出了一個各因素間相互關聯(lián)的遞階層次結構，共4層，最上層的為總目標，即醫(yī)學類本科院校綜合評價指標體系，以一級指標為制約層，二級指標為要素層，三級指標為指標層。同時，計算得到同一層次中兩兩比較判斷矩陣的CR值均小于0.1，具有較好的一致性。最終根據(jù)單層次權重結果得到了醫(yī)學類本科院校綜合評價指標體系的層次總排序(表2)。

3 討論

3.1 本研究構建的指標體系具有一定科學性

本研究經(jīng)過專家咨詢和小組討論，按照定量與定性相結合、過程與結果相結合、投入與產(chǎn)出相結合、共性與個性相結合等原則初步構建了適合我國的醫(yī)學類本科院校綜合評價指標體系，具有一定的科學基礎。指標體系初步建立后，通過德爾菲法經(jīng)兩輪專家咨詢確立了指標維度。兩輪專家咨詢中，本研究就爭議指標回訪了專家意見， 就指標增減進行了反復論證。第一輪專家咨詢建議刪除3個指標，即學生國際化、本科生數(shù)、社會捐贈收入；建議增加2個指標，即數(shù)字資源和科研成果國際化轉化力；建議修改2個指標，即資源保障和師資隊伍建設。根據(jù)教育部《學校招收和培養(yǎng)國際學生管理辦法》《來華留學生高等教育質(zhì)量規(guī)范(試行)》兩項文件要求，不盲目追求來華留學生規(guī)模，相較于國際化學生數(shù)量，培養(yǎng)質(zhì)量才是核心指標，所以刪除學生國際化指標；醫(yī)學生本科培養(yǎng)是衡量醫(yī)學類本科院校綜合水平十分重要的指標，但本科階段更注重基礎知識和學習能力的培養(yǎng)，目前培養(yǎng)已走向同質(zhì)化，綜合考量本科生人數(shù)這一指標不適合作為差異化指標進行院校比較，所以刪除本科生數(shù)指標；社會捐贈收入是社會自愿捐贈行為，并不是高校穩(wěn)定收入，用來衡量高校經(jīng)費保障水平并不可行，所以刪除社會捐贈收入指標；科研成果國際化轉化力是反映高校創(chuàng)新能力和科研國際化水平的重要指標，有必要增加；近年來，數(shù)字資源以其方便、快捷、更新快等優(yōu)勢已經(jīng)成為教師、學生等獲取信息的主要載體，有必要增加數(shù)字資源指標；考慮到資源保障比學科基礎條件更具概括性，所以仍保留資源保障指標名稱；師資隊伍建設相關指標經(jīng)過總結已歸納到培養(yǎng)條件二級指標下，綜合考慮不單設師資隊伍建設指標。第二輪專家建議刪除兩項指標，即外籍教師人數(shù)和引進課程數(shù)；增加一項指標，即學生國際化。外籍教師人數(shù)指標與海外引智人數(shù)指標有一定的概念重疊，引進課程數(shù)量指標與來華留學英語授課品牌課程數(shù)指標也有一定的概念重疊，但對國外優(yōu)秀課程的引進是評價教學國際化的重要指標和常用指標，引進課程數(shù)指標的重要性評分均值小于來華留學英語授課品牌課程數(shù)指標，綜合考慮下決定刪除外籍教師人數(shù)指標和引進課程數(shù)指標；由于第一輪專家咨詢中專家對學生國際化二級指標意見分歧較大，不再重新增加學生國際化指標。

研究遴選了來自國內(nèi)不同層級不同區(qū)域院校從事臨床醫(yī)學、衛(wèi)生事業(yè)管理、醫(yī)學教育發(fā)展規(guī)劃等研究的專家15名。研究進程中專家參與積極性和專家權威程度較高，專家意見協(xié)調(diào)性雖受到指標總體數(shù)量較大和極個別指標專家意見不統(tǒng)一的一定影響，但相關系數(shù)在第二輪專家咨詢中仍有明顯提升且兩輪檢驗都具有統(tǒng)計學意義，仍可認為專家意見有較好的協(xié)調(diào)性[10]。同時，研究基于專家主觀評價，通過層次分析法客觀確定了指標體系各層級權重，主客觀方法相結合，總體上保證了所構建評價指標體系的科學性與合理性。

3.2 指標維度設計具有一定創(chuàng)新性和應用價值

在構建評價指標體系之前，本研究對國內(nèi)外知名大學排行榜評價指標體系進行了分析，發(fā)現(xiàn)并無一項大學排行榜是完全基于大學基本職能構建的。大學基本職能是對高校進行評價的基礎維度。本研究以大學五大基本職能以及資源保障為一級指標建立醫(yī)學類本科院校綜合評價指標體系。其中，人才培養(yǎng)是醫(yī)學院校的首要職能和根本任務[11]；科學研究是提高醫(yī)學院校綜合實力的基石[12]；社會服務是醫(yī)學院校的重要使命[13]；傳承文化與創(chuàng)新文化是醫(yī)學院校的崇高使命與責任[14]；國際交流與合作是醫(yī)學院校文化融合、科技協(xié)作和知識傳播的重要載體[15]；資源保障是醫(yī)學院校平穩(wěn)運行的必要條件[16]。高校基本職能是一個有機整體，以高校基本職能為基礎，從多角度切入醫(yī)學類本科院校綜合評價，能夠更加全面準確地反映醫(yī)學類本科院校的綜合辦學水平和發(fā)展?jié)摿Α?/p>

共性指標與個性指標相結合是構建高等教育評價指標體系的重要原則之一。目前國內(nèi)外鮮有單獨針對醫(yī)學院校構建的綜合評價指標體系，極少數(shù)現(xiàn)存的醫(yī)學院校綜合評價指標體系也多是在綜合大學評價指標體系的基礎上擇取部分指標構成，無法體現(xiàn)醫(yī)學院校的特色性。本研究在二級、三級指標設計過程中，除師生比例、論文引文數(shù)、國際合作等體現(xiàn)高校質(zhì)量的共性指標外，還加入了體現(xiàn)醫(yī)學院校特色的個性指標。其中，醫(yī)療服務數(shù)量和質(zhì)量是附屬醫(yī)院全部工作所取得的醫(yī)療效果的集中表現(xiàn)，是醫(yī)學院校附屬醫(yī)院工作的核心[17]；醫(yī)師資格考試是醫(yī)學從業(yè)人員行業(yè)準入的門檻，醫(yī)師資格考試通過率反映了醫(yī)學院校和附屬醫(yī)院的培養(yǎng)質(zhì)量[18]；造就醫(yī)學人才是醫(yī)學院校培養(yǎng)高層次人才的代表性指標[19]；醫(yī)療聲譽反映了醫(yī)學院校附屬醫(yī)院在社會服務中得到人民群眾的認可程度。同時，根據(jù)《深化新時代教育評價改革總體方案》具體要求，突出了學生思政表現(xiàn)、師德師風情況等指標，以服務醫(yī)學教育發(fā)展和進步為導向，契合國家教育評價改革方針和政策。綜上，本研究所建立的指標體系在指標維度的設計上具有一定創(chuàng)新性和應用價值。

3.3 指標權重設置具有一定合理性

權重體現(xiàn)的不僅是某一因素或指標所占的百分比，更強調(diào)因素或指標的相對重要程度。醫(yī)學類本科院校綜合評價指標體系中人才培養(yǎng)應為首要指標。本研究中人才培養(yǎng)指標占比38.39%，遠遠超過其他一級指標。評價格局的整體性決定著功能的有效性[20]。人才培養(yǎng)是高校的主體功能，培養(yǎng)什么樣的人才、怎樣培養(yǎng)人才是高校所要面對、思索與完成的基本任務。對于醫(yī)學類本科院校來說，人才培養(yǎng)更是教育工作的出發(fā)點和落腳點。《深化新時代教育評價改革總體方案》中提到立德樹人是高等教育的宗旨，立德樹人成效是高校評價的根本標準。因此，將人才培養(yǎng)指標設置為醫(yī)學類本科院校評價指標體系中權重值最高的指標符合國家戰(zhàn)略發(fā)展要求，具有一定的合理性。此外，一級指標資源保障權重為12.36%，醫(yī)學類本科院校綜合評價指標體系是在投入指標與產(chǎn)出指標相結合的原則下構建的，作為投入類指標，資源保障在高等教育評價的作用越來越重要。資源保障是高校平穩(wěn)運行的必要條件，尤其是人財物等核心資源的占有份額和使用效率，不僅直接反映了一所高校的綜合實力，更會影響到這所學校的人才培養(yǎng)能力與辦學水平，最終影響到學校的生存與發(fā)展[16]。資源保障納入醫(yī)學院校綜合評價指標且占比較大，表達了評價者對投入指標的重視?？傮w上看，本研究設置的指標權重值具有一定合理性。