林建平，朱晨輝，賀佳佳，鄧愛珍，孟麗紅

(1.贛南師范大學(xué)地理與環(huán)境工程學(xué)院，江西贛州，341000；2.湖南師范大學(xué)地理科學(xué)學(xué)院，湖南長沙，410000；

3.江西應(yīng)用技術(shù)職業(yè)學(xué)院，江西贛州，341000)

教育評價作為教育改革和發(fā)展的指揮棒，是對教育活動或現(xiàn)象進(jìn)行價值判斷的過程，對教育事業(yè)的改革和發(fā)展具有重要的引領(lǐng)作用。長期以來，我國一直以學(xué)校的升學(xué)率和就業(yè)率衡量教育質(zhì)量，這種評價方法存在較多不足，如只看見校際產(chǎn)出的現(xiàn)實差距，忽略了學(xué)校投入的差距，不利于提高學(xué)校的辦學(xué)積極性和教師的教學(xué)積極性。[1]2020年，中共中央、國務(wù)院印發(fā)《深化新時代教育評價改革總體方案》，提出探索教育增值評價等舉措，著力破除唯分?jǐn)?shù)、唯升學(xué)、唯文憑、唯論文、唯帽子的頑瘴痼疾。[2]

我國教育增值評價研究起步較晚，仍處于探索階段。1997年，張煜發(fā)表《學(xué)校效能評價——一種對學(xué)校進(jìn)行綜合評價與質(zhì)量監(jiān)控的理論與方法》一文，指出多層分析法是教育增值評價的具體運(yùn)用。[3]直到2007年，孫綿濤才明確提出學(xué)校效能評價的概念。[4]張文靜等人以42所小學(xué)的學(xué)生和教師為研究對象，并建立基礎(chǔ)增值模型，在控制學(xué)生背景變量條件下，觀察小學(xué)生學(xué)業(yè)成績增長受教師教學(xué)方式的影響。[5]這項研究是我國教育增值早期的實證研究。此外，馬曉強(qiáng)等人集中研究了學(xué)校效能一致性。[6-7]總體而言，我國教育增值評價領(lǐng)域的研究成果絕大多數(shù)是理論研究，重點集中在內(nèi)涵的確定和意義的探討，而具有可操作性的實際應(yīng)用研究還不夠深入[8]，教育增值評價體系如何構(gòu)建、模型如何選取等一系列問題仍值得進(jìn)一步探討。對此，本文以某高校人文地理與城鄉(xiāng)規(guī)劃專業(yè)為例，結(jié)合專業(yè)培養(yǎng)目標(biāo)、培養(yǎng)質(zhì)量評價內(nèi)涵等要求，構(gòu)建教育增值評價的指標(biāo)體系，通過327份調(diào)查問卷獲取評價指標(biāo)相關(guān)數(shù)據(jù)，采用模糊綜合評價法、主成分分析等方法，定量評價高校教育增值情況，為客觀呈現(xiàn)教育增值評價和提升教育質(zhì)量提供依據(jù)。

一、研究方法與數(shù)據(jù)來源

(一)研究方法

1.模糊綜合評價法

模糊綜合評價法(fuzzy comprehensive evaluation method，F(xiàn)CEM)，是一種基于模糊數(shù)學(xué)的綜合評價方法，根據(jù)模糊數(shù)學(xué)的隸屬度理論把定性評價轉(zhuǎn)化為定量評價，即用模糊數(shù)學(xué)對受到多種因素制約的事物或?qū)ο笞龀鲆粋€總體評價。[9]模糊綜合評價法具有結(jié)果清晰、系統(tǒng)性強(qiáng)的特點，能較好地解決模糊的、難以量化的問題，適合解決各種非確定性問題。一般來說，教學(xué)質(zhì)量采用模糊數(shù)學(xué)的方法進(jìn)行綜合評價，將更接近實際情況。

模糊綜合評價法的一般步驟為：第一，指標(biāo)的構(gòu)建，即廣泛涉獵該評價指標(biāo)系統(tǒng)行業(yè)資料或相關(guān)法律法規(guī)。模糊綜合評價指標(biāo)體系是進(jìn)行綜合評價的基礎(chǔ)，評價指標(biāo)的選取是否適宜，直接影響綜合評價的準(zhǔn)確性。第二，權(quán)重向量的確定，即通過專家經(jīng)驗法或AHP層次分析法構(gòu)建權(quán)重向量。第三，構(gòu)建隸屬矩陣，建立適合的隸屬函數(shù)，從而構(gòu)建好隸屬矩陣。第四，隸屬矩陣和權(quán)重的合成，采用適合的合成因子對其進(jìn)行合成，并對結(jié)果向量進(jìn)行解釋。[10]本文先通過SPSSAU求出各單一因素對各個評審等級的歸屬程度，即隸屬度評判矩陣，然后根據(jù)各因素在評價目標(biāo)中的權(quán)重分配，借助模糊矩陣合成求出評價的最終得分。

2.主成分分析法

主成分分析法(principal components analysis，PCA)是一種降維的統(tǒng)計方法，是將原來眾多具有一定相關(guān)性的指標(biāo)(如P個指標(biāo))，重新組合成一組新的互相無關(guān)的綜合指標(biāo)。[11]通常，數(shù)學(xué)方面的處理就是將原來P個指標(biāo)進(jìn)行線性組合，以組合成新的綜合指標(biāo)。最經(jīng)典的做法就是用F1(選取的第一個線性組合，即第一個綜合指標(biāo))的方差來進(jìn)行表達(dá)，即Va(rF1)越大，表示F1包含的信息越多。在所有線性組合中，選取的F1應(yīng)該是方差最大的，故稱F1為第一主成分。如果第一主成分不足以代表原來P個指標(biāo)的信息，再考慮選取F2即選第二個線性組合。為了有效地反映原來信息，F(xiàn)1已有的信息就不需要再出現(xiàn)在F2中。用數(shù)學(xué)語言表達(dá)就是，要求Cov(F1，F(xiàn)2)=0，則稱F2為第二主成分。依此類推可以構(gòu)造出第三、第四……，第P個主成分。

3.熵權(quán)法

熵權(quán)法是一種客觀賦權(quán)方法[12]，在具體使用過程中，根據(jù)各指標(biāo)數(shù)據(jù)的分散程度，利用信息熵計算出各指標(biāo)的熵權(quán)，再根據(jù)各指標(biāo)對熵權(quán)進(jìn)行一定的修正，從而得到較為客觀的指標(biāo)權(quán)重[13]。本文采用熵權(quán)法確定教育增值評價指標(biāo)權(quán)重。

(二)數(shù)據(jù)來源

本研究根據(jù)教育增值評價指標(biāo)體系設(shè)計問卷，共發(fā)放問卷343份，收回有效問卷327份。某校人文地理與城鄉(xiāng)規(guī)劃專業(yè)在讀的大二、大三、大四本科生共175人，主要了解學(xué)生在校期間教育增值過程；近5年在政府、企事業(yè)單位等工作的人文地理與城鄉(xiāng)規(guī)劃專業(yè)畢業(yè)生共152份，主要調(diào)查畢業(yè)生綜合素質(zhì)增值情況。

二、教育增值指標(biāo)體系的構(gòu)建與信效度分析

(一)指標(biāo)體系的構(gòu)建

教育增值評價指標(biāo)體系是對被評價對象全部或部分特征的真實反映，是評價的標(biāo)準(zhǔn)和尺度。加強(qiáng)對教育增值評價指標(biāo)體系的研究，構(gòu)建一套科學(xué)、高效、可行性強(qiáng)的評價指標(biāo)體系至關(guān)重要，有利于發(fā)揮指標(biāo)的導(dǎo)向功能。本研究從教育增值的現(xiàn)實及教育發(fā)展目標(biāo)和重點工作出發(fā)，在參考借鑒已有研究成果的基礎(chǔ)上，兼顧相關(guān)統(tǒng)計數(shù)據(jù)的準(zhǔn)確性和可獲得性，并采用德爾菲法綜合專家和學(xué)者意見，進(jìn)一步調(diào)整和完善了評價指標(biāo)體系，主要從學(xué)生在校期間的增值過程及用人單位對畢業(yè)生增值結(jié)果兩個方面分別建立過程評價和結(jié)果評價2個一級指標(biāo)、10個二級指標(biāo)、24個三級指標(biāo)，以全面反映教育增值情況。其中，過程評價包括教學(xué)內(nèi)容、教學(xué)方法、教學(xué)目標(biāo)、專業(yè)認(rèn)同及教學(xué)效果，結(jié)果評價包括知識水平、能力素質(zhì)、身心素質(zhì)、公民道德以及政策法規(guī)等。

為方便統(tǒng)計，本文在問卷設(shè)計時參考李克特五分量表法，每個問題在“很不滿意”到“非常滿意”，“很不認(rèn)同”到“很認(rèn)同”，“很不好”到“很好”，“非常差”到“非常好”五個選項中做出唯一選擇。題目選項正向賦值，分別對應(yīng)1、2、3、4、5分，得分越高說明增值越多。為體現(xiàn)不同指標(biāo)的影響程度，本文首先采用熵權(quán)法計算一級指標(biāo)的權(quán)重，并在此基礎(chǔ)上，計算出二級權(quán)重和三級指標(biāo)權(quán)重。之后，通過咨詢專家意見和查閱相關(guān)文獻(xiàn)，本文對初始權(quán)重值進(jìn)行調(diào)整，使其更好地反映研究對象的真實情況。指標(biāo)體系及權(quán)重如表1所示。

表1 評價指標(biāo)體系及權(quán)重表

(二)信效度分析

為保證問卷的可靠性，本文對問卷進(jìn)行了信效度分析。一般情況下，總量表的信度系數(shù)應(yīng)在0.8以上，分量表的信度系數(shù)應(yīng)高于0.7。[15]本研究利用SPSS 19.0對過程評價和結(jié)果評價分別進(jìn)行了信度分析，總體信度分別為0.871和0.957，說明兩個量表的信度均可以接受。

效度分析是用來衡量量表的準(zhǔn)確度的分析方法。本文利用SPSS 19.0軟件分別進(jìn)行了KMO和Bartlett球形檢驗，過程和結(jié)果評價的問卷Bartlett球形檢驗均小于0.05，且量表的KMO檢驗分別為0.855和0.924，說明量表的準(zhǔn)確度較高，可做因子分析。

三、評價結(jié)果與分析

(一)教育增值的描述性統(tǒng)計

從均值來看，各指標(biāo)平均分在3.03—4.16，如表2所示。其中，X8的得分均值較低，說明學(xué)生理論用于實踐的能力有待進(jìn)一步加強(qiáng)。Q12、Q13、Q143個指標(biāo)的均值在4以上，說明學(xué)生思想品質(zhì)的增值較大。其余指標(biāo)都達(dá)到了中等以上水平。從標(biāo)準(zhǔn)差來看，所有指標(biāo)問卷得分的標(biāo)準(zhǔn)差均小于1，表明不同學(xué)生或用人單位的評價整體偏差較小。

(二)模糊綜合評價結(jié)果

為分析教育增值的總體情況，本文采用模糊綜合評價法對增值情況進(jìn)行評價。首先，本文分別對每個三級指標(biāo)進(jìn)行模糊綜合評判，其次與一級指標(biāo)的權(quán)重進(jìn)行模糊綜合，最后得到基于過程評價數(shù)據(jù)的模糊綜合評判結(jié)果。經(jīng)過SPSSAU的在線分析得出，三級指標(biāo)的模糊評判值如表3所示。

表3 各三級指標(biāo)評價情況

根據(jù)模糊綜合評價公式，過程評價五個二級指標(biāo)下隸屬度評判值如下。教學(xué)內(nèi)容的隸屬度評判值為：A1=(0.156，0.536，0.288，0.017，0.002)。教學(xué)方法的隸屬度評判值為：A2=(0.06，0.45，0.45，0.04，0)。教學(xué)目標(biāo)的隸屬度評判值為：A3=(0.122，0.474，0.353，0.051，0)。專業(yè)認(rèn)同的隸屬度評判值為：A4=(0.12，0.48，0.36，0.03，0.01)。教學(xué)效果的隸屬度評判值為：A5=(0.07，0.41，0.46，0.05，0.01)。根據(jù)五個指標(biāo)在過程評價中的權(quán)重系數(shù)(G1=0.22，G2=0.02，G3=0.33，G4=0.36，G5=0.07)，最終得到過程評價的模糊綜合評價向量為0.124，0.485，0.351，0.036，0.004。

同理，結(jié)果評價五個二級指標(biāo)下隸屬度評判值如下。知識水平的隸屬度評判值為：B1=(0.158，0.39，0.382，0.061，0.009)。能力素質(zhì)的隸屬度評判值為：B2=(0.197，0.408，0.33，0.053，0.012)。身心素質(zhì)的隸屬度評判值為：B3=(0.2，0.42，0.33，0.05，0)。公民道德的隸屬度評判值為：B4=(0.348，0.456，0.178，0.012，0.006)。政策法規(guī)的隸屬度評判值為：B5=(0.175，0.408，0.377，0.035，0.005)。利用因子分析法得出結(jié)果評價的權(quán)重系數(shù)(J1=0.38，J2=0.56，J3=0.01，J4=0.03，J5=0.02)，最終算得結(jié)果評價的模糊綜合評價向量為0.186，0.403，0.346，0.054，0.011。

兩個一級指標(biāo)的權(quán)重分別為0.353和0.647，模糊綜合評價的最終隸屬度評判值為0.164，0.432，0.348，0.048，0.009。根據(jù)各評價集的得分可以算出該評價指標(biāo)體系在模糊綜合評價方法下的綜合得分為3.695，介于3和4之間，說明調(diào)查樣本的教育質(zhì)量屬于中等偏上接近優(yōu)秀的水平，無論是學(xué)生還是用人單位對其評價均較高。

(三)主成分分析結(jié)果

為進(jìn)一步分析各指標(biāo)因子對教育增值的影響，本文采用主成分分析法對指標(biāo)因子進(jìn)行分析，結(jié)果如表4所示。24個成分中特征值大于1的為成分1—5，累計貢獻(xiàn)了75.491%，累計貢獻(xiàn)率超過了60%，說明前5個主成分因子足以解釋原始變量總方差，能概括大部分信息。從第6個點開始，特征值點趨于平穩(wěn)。根據(jù)主成分提取結(jié)果，本次研究提取得到5個主成分。

表4 主成分提取表

如表5所示，第一主成分與Q1—Q16存在正相關(guān)關(guān)系且載荷較高，Q1(基本理論)、Q2(設(shè)計技術(shù))、Q7(終身學(xué)習(xí)能力)、Q15(政策法規(guī)掌握情況)載荷最高，因此，第一主成分可視為“學(xué)生的知識水平和能力素質(zhì)”；第二主成分與X1(教學(xué)滿意度)、X2(課程認(rèn)可度)、X3(軟件授課滿意度)都存在較強(qiáng)的正相關(guān)，且載荷較高，第二主成分可視為“教師的教學(xué)內(nèi)容”；第三主成分與Q5(工作環(huán)境適應(yīng)能力)、Q13(職業(yè)道德)存在正相關(guān)關(guān)系且載荷較高，雖然Q5的載荷最高，Q13次之，但因為第二主成分已經(jīng)代表過能力素質(zhì)指標(biāo)，所以第三主成分可視為“公民道德”；第四主成分與X5(教師教學(xué)認(rèn)可度)存在較強(qiáng)的正相關(guān)，且載荷很高，第四主成分可視為“教師的教學(xué)能力和水平”；第五主成分與X4(理論與實踐認(rèn)可度)存在較強(qiáng)的正相關(guān)，且載荷很高，第五主成分可視為“教師的教學(xué)方法”。因此，學(xué)生的知識能力和水平及教師的教學(xué)內(nèi)容、公民道德、教學(xué)能力和水平、教學(xué)方法直接影響教育增值水平。

表5 主成分載荷矩陣

本文將五個主成分的得分記為F1、F2、F3、F4、F5，以5組主成分相應(yīng)的特征值除以特征值總和作為權(quán)重數(shù)，建立主成分綜合得分模型：F綜=0.539×F1+0.267×F2+0.077×F3+0.62×F4+0.055×F5，得分情況和排名情況如表6所示。如果綜合得分為正，且得分越高，說明對教育增值的影響越大；如果綜合得分為負(fù)，得分越低，說明整體的影響越小。從綜合得分來看，在過程評價中，主成分得分系數(shù)較高的三級指標(biāo)是X1(教學(xué)內(nèi)容滿意程度)和X6(教學(xué)目的的理解程度)，說明這兩個指標(biāo)對教育增值影響最明顯。在結(jié)果評價中，綜合得分排前三的指標(biāo)分別是Q3(城鄉(xiāng)規(guī)劃專業(yè)工具)、Q5(新工作環(huán)境適應(yīng)能力)和Q16(法規(guī)知識實際運(yùn)用)，說明這些指標(biāo)增值相較其他指標(biāo)更為明顯。

由表6可知，X3(學(xué)生對軟件的課程講授滿意程度)、X5(學(xué)生對各任課教師認(rèn)同程度)、X7(培養(yǎng)計劃、培養(yǎng)方案及整體認(rèn)同感)、X8(學(xué)生學(xué)以致用的能力與水平)等教育過程指標(biāo)得分較低，Q8(規(guī)劃文本寫作能力)、Q9(團(tuán)隊合作能力)、Q12(政治素養(yǎng))等結(jié)果評價指標(biāo)較低，需要在以后教育中加以改善。

表6 主成分得分及綜合得分排名

四、分析與討論

(一)基于學(xué)生問卷的過程評價的分析與討論

過程評價能反映學(xué)生對教師教學(xué)和專業(yè)認(rèn)同的情況，為后續(xù)教師教學(xué)方法的改進(jìn)和專業(yè)認(rèn)同的提升提供方向。從過程評價來看，學(xué)生對X1(教學(xué)內(nèi)容科學(xué)性、思維性，教書育人的結(jié)合滿意度)和X6(教學(xué)目的的理解度)2個指標(biāo)對增值影響最明顯，重點關(guān)注這2個指標(biāo)尤為重要。同時，其他部分指標(biāo)也需得到進(jìn)一步關(guān)注。

第一，學(xué)生對各任課教師知識、智力和教育因素的認(rèn)同程度最低。對此，高校教育應(yīng)重視師資隊伍建設(shè)，教師應(yīng)提升自我知識儲備和教學(xué)技能。在師資考核方面，高?？梢圆扇《ㄆ诳己?，優(yōu)勝劣汰的考核制度，在調(diào)動教師積極性的同時，也保證了師資隊伍的優(yōu)良供給。

第二，學(xué)生對各種規(guī)劃必學(xué)的軟件的課程講授滿意度欠佳。在教學(xué)過程中，教師應(yīng)盡量詳細(xì)地講授軟件操作的原理和過程。熟練操作軟件是學(xué)生將來步入社會從事規(guī)劃行業(yè)最重要的技能之一。

第三，學(xué)生對專業(yè)培養(yǎng)計劃、培養(yǎng)方案的認(rèn)同感以及學(xué)生對本專業(yè)整體的認(rèn)同感不高。專業(yè)認(rèn)同是職業(yè)認(rèn)同的一部分，增強(qiáng)學(xué)生的專業(yè)認(rèn)同感是非常有必要的。學(xué)生只有對專業(yè)有歸屬感、成就感，才會加大投入力度，投入更多精力與熱情到學(xué)業(yè)上。

第四，學(xué)生學(xué)以致用的能力不足。對此，高校應(yīng)加強(qiáng)相關(guān)能力的培養(yǎng)，多設(shè)置實踐課程，讓學(xué)生把理論和實踐結(jié)合起來，培養(yǎng)其解決現(xiàn)實問題的能力。以人文地理與城鄉(xiāng)規(guī)劃專業(yè)為例，大部分學(xué)生的直接就業(yè)方向是從事規(guī)劃相關(guān)的工作，在本科學(xué)習(xí)期間不僅要了解基礎(chǔ)知識和基本技能，而且要參與社會實踐，提前感受學(xué)習(xí)規(guī)劃的意義。

(二)基于用人單位問卷的結(jié)果評價的分析與討論

用人單位評價可以直觀地看出專業(yè)培養(yǎng)方案的優(yōu)點和不足，反映出學(xué)生的能力水平。一般而言，用人單位對學(xué)生的滿意度越高，教育增值效果越好。從調(diào)查結(jié)果看，用人單位對城鄉(xiāng)規(guī)劃專業(yè)工具、新工作環(huán)境適應(yīng)能力等大部分指標(biāo)滿意度較高，但也存在一些問題。

第一，學(xué)生的規(guī)劃文本寫作能力的主成分綜合得分最低，意味著用人單位對畢業(yè)生的規(guī)劃文本寫作能力滿意度不高。這是由于學(xué)生在大學(xué)期間規(guī)劃文本寫作方面的訓(xùn)練欠佳。規(guī)劃文本是表達(dá)規(guī)劃意圖、目標(biāo)和對規(guī)劃相關(guān)內(nèi)容提出的規(guī)定性要求，從事規(guī)劃行業(yè)的人員對規(guī)劃文本的寫作是一項基本且重要的技能，高校應(yīng)當(dāng)加強(qiáng)學(xué)生的寫作能力訓(xùn)練。

第二，在知識水平方面，學(xué)生對城鄉(xiāng)規(guī)劃基本理論和城鄉(xiāng)規(guī)劃前沿知識的掌握不夠。對此，高校學(xué)生應(yīng)加強(qiáng)城鄉(xiāng)規(guī)劃理論知識和前沿知識的學(xué)習(xí)，多閱讀相關(guān)文獻(xiàn)，在課余時間充實專業(yè)知識儲備，為將來就業(yè)做準(zhǔn)備。

第三，在能力素質(zhì)方面，用人單位對學(xué)生分析處理問題能力、團(tuán)隊合作能力和獨立思考能力的評價不高，意味著學(xué)生在校期間需在這些能力素質(zhì)的提升上下功夫。

第四，學(xué)生的政治素養(yǎng)指標(biāo)的主成分綜合得分與其他結(jié)果評價指標(biāo)相比相對較低。對此，任課教師在日常教學(xué)過程中應(yīng)融入思政教育，培養(yǎng)學(xué)生堅定的社會主義核心價值觀和愛國主義。

(三)基于教育增值評價的重要作用的分析和討論

教育增值是學(xué)校教育質(zhì)量的根本體現(xiàn)，學(xué)生大學(xué)期間所發(fā)生的變化增值越多，大學(xué)的教育質(zhì)量就越高。在新時代背景下，強(qiáng)化教育質(zhì)量的跟蹤調(diào)查、外部評價和問題反饋具有重要的理論和實踐意義，是高校轉(zhuǎn)型發(fā)展、創(chuàng)新研究的重要理論基礎(chǔ)，是推進(jìn)高等教育綜合改革的突破口。通過建立標(biāo)準(zhǔn)的教育增值評價體系，并從學(xué)校、企業(yè)、政府、社會、學(xué)生等多維視角對教育增值評價及問題的反饋，能有效找出教育質(zhì)量的短板和差距，進(jìn)而提出改革優(yōu)化高校教育教學(xué)管理機(jī)制、辦學(xué)模式、課程設(shè)置計劃并應(yīng)用于新的教學(xué)和管理，從而推動高校內(nèi)部教學(xué)改革，保障高校教學(xué)工作的投入，充分調(diào)動學(xué)校教育管理者和一線教師的主觀能動性，提高學(xué)校的辦學(xué)水平和教學(xué)質(zhì)量，提升學(xué)校的競爭力和適應(yīng)能力，為人才培養(yǎng)工作提供有力保障，實現(xiàn)“PDCA”教育質(zhì)量循序提高和“螺旋”上升。

根據(jù)上述分析，所得結(jié)論如下。第一，模糊評價結(jié)果表明，規(guī)劃專業(yè)教育質(zhì)量屬于中等偏上接近優(yōu)秀的水平，學(xué)生和用人單位對其評價均較高。第二，主成分分析結(jié)果表明，學(xué)生的知識能力水平和道德素養(yǎng)、教師的教學(xué)內(nèi)容、教學(xué)能力和水平及教學(xué)方法5個主成分直接影響教育增值水平。第三，通過教育增值評價，可篩選出需要改善的指標(biāo)，并通過PDCA“計劃—實施—檢查—處理”四個主要階段循環(huán)，為后續(xù)可以有針對性地改善規(guī)劃專業(yè)教學(xué)方法和提高培養(yǎng)質(zhì)量提供理論支持，為其他專業(yè)教育增值評價提供借鑒。