崔瑞鋒，馮 蓉

(西安交通大學(xué)高等教育研究所，西安710049;西安交通大學(xué)學(xué)報編輯部，西安710049)

20世紀(jì)90年代以來，世界范圍內(nèi)出現(xiàn)了一種加強社會問責(zé)、強化高等教育質(zhì)量保障的趨勢。美國在發(fā)展高等教育質(zhì)量保障方法方面有悠久的歷史和傳統(tǒng)，其高等教育評估制度發(fā)展也較為成熟，并且評估模式具有多樣化特點［1］。因此，很有必要借鑒美國在這一方面的成功經(jīng)驗。作為蘭德公司實施的一項全國性研究計劃的成果，《保障高等教育的質(zhì)量和效率:評估實踐的分析》(Ensuring Quality and Productivity in Higher Education:An Analysis of Assessment Practices) (ASHE-ERIC高等教育報告第29卷第1號)一書對美國當(dāng)前保障高等教育質(zhì)量和效率工作進(jìn)行了卓有成效的審視和總結(jié)，在深入調(diào)研的基礎(chǔ)上，結(jié)合高等教育與職業(yè)發(fā)展案例［2］，很好地回答了高等教育①評估領(lǐng)域長期困擾人們的難題，為我們透過高等教育評估實踐，考察與借鑒美國高等教育質(zhì)量和效率保障方法提供了一條很好的路徑。

一、為什么需要進(jìn)行系統(tǒng)層次的評估

雖然評估的主要任務(wù)是以教育和職業(yè)發(fā)展的特定提供者的質(zhì)量和效率為中心，然而，任何教育系統(tǒng)的評估涉及的不僅僅是對教育提供者進(jìn)行評估。教育和職業(yè)發(fā)展活動通常屬于擔(dān)負(fù)著某種使命的更大的系統(tǒng)的一部分，而這種使命又遠(yuǎn)遠(yuǎn)超出教育和培訓(xùn)的范圍。研究發(fā)現(xiàn)，就整體而言，從更高層次對系統(tǒng)進(jìn)行評估至關(guān)重要。

此類評估有兩個主要目標(biāo):1)確認(rèn)利益相關(guān)者和系統(tǒng)的需要是否得以確定;2)認(rèn)準(zhǔn)機遇以改善現(xiàn)有計劃的效率。就第一種情況而言，系統(tǒng)評估把所服務(wù)人群的需要與系統(tǒng)中所提出的計劃進(jìn)行比較。例如，在企業(yè)背景下，此類評估可能會發(fā)現(xiàn)企業(yè)部分目標(biāo)并未在其下屬部門的教育和培訓(xùn)計劃中體現(xiàn)出來。在高等教育領(lǐng)域，系統(tǒng)層次的評估可能發(fā)現(xiàn)有些州一級教育機構(gòu)并未很好地為本地區(qū)服務(wù)。

為實現(xiàn)第二個目標(biāo)，此類評估探討了系統(tǒng)的資源是否被有效地分配。許多組織正在通過這一程序和方法提高其效率。德克薩斯高等教育協(xié)調(diào)委員會開展定期計劃審查以評估提出的方案是否基于既定的需要，是否在重復(fù)同一領(lǐng)域的其他計劃，以及是否在機構(gòu)整個使命中降低效率。在朗訊科技公司，通過評估有限的教育與培訓(xùn)資源是否被用于促進(jìn)整個公司的目標(biāo)這一方式，公司已經(jīng)使其教育與職業(yè)發(fā)展走向規(guī)范化。

研究發(fā)現(xiàn)，所有系統(tǒng)(州、企業(yè)以及政府機構(gòu))呈現(xiàn)出這樣一個顯著趨勢:一種不僅僅限于負(fù)責(zé)評估現(xiàn)有教育提供者的某類學(xué)習(xí)型組織的擴張。這些組織一方面在促進(jìn)利益相關(guān)者之間交流以及在教育、培訓(xùn)和職業(yè)發(fā)展之間建立一種密切聯(lián)系方面起著關(guān)鍵作用;另一方面，在完成系統(tǒng)基本使命中也扮演著主要角色。企業(yè)學(xué)習(xí)型組織將這種角色喻為企業(yè)的一個戰(zhàn)略伙伴。這種組織促進(jìn)主要利益相關(guān)者間的對話，收集有關(guān)勞動力需求和現(xiàn)有計劃的信息，在顧客與教育提供者之間充當(dāng)聯(lián)絡(luò)人，其部分職能通常是促使消費機構(gòu)確信學(xué)習(xí)的重要性。

這種戰(zhàn)略角色在評估過程中至關(guān)重要，因為它確保教育提供者一級(第二階段)評估所依據(jù)的目標(biāo)與整個系統(tǒng)的目標(biāo)相一致。它尤其有助于確保所有利益相關(guān)者的需要至少得到了考慮。第一階段的評估也能確保那些對于整個系統(tǒng)來說很重要、但對于系統(tǒng)內(nèi)部各部分卻未必重要的評估活動在評估過程中能受到足夠的重視。第一階段評估也有助于整個系統(tǒng)資源的有效利用?？偟膩碚f，教育和職業(yè)發(fā)展是實現(xiàn)目標(biāo)的方式，而不是目標(biāo)本身，也不會自然而然地得以實現(xiàn)。正是出于這種原因，教育系統(tǒng)不斷地與企業(yè)、政府機構(gòu)及州的其他活動競爭資源。

二、運用什么方法來評估教育提供者和鑒定學(xué)生

通過考察各種評估教育提供者和鑒定學(xué)生的方法，本書總結(jié)出四種基本評估模式來判斷教育提供者如何滿足顧客的需要［3］。

模式1:教育提供者評估教育活動，然后由中介機構(gòu)審核提供者自評的方法及過程。中介設(shè)置目標(biāo)，但并不以此為對照來評估教育提供者應(yīng)如何接受評估或者實際評估其優(yōu)劣，而是關(guān)注教育提供者是否已進(jìn)行了恰當(dāng)?shù)淖晕以u估。其顯著特點是中介負(fù)責(zé)監(jiān)督教育提供者的評估過程。中介在審核其自評方法時，關(guān)注的是這些目標(biāo)是否合理，以及指標(biāo)在目標(biāo)成就上的效度和信度如何。

模式2:由一個中介機構(gòu)作為獨立檢查者來具體制定評估目標(biāo)，設(shè)計評估程序和方法，并根據(jù)教育提供者提供的數(shù)據(jù)測量結(jié)果和評估機構(gòu)的績效。它讓中介機構(gòu)作為獨立檢查者來審核質(zhì)量。除企業(yè)學(xué)習(xí)中心外，大部分中介完全獨立于教育提供者之外，因此，它非常適于問責(zé)。但中介的獨立性也會損害評估的價值。

模式3:提供者在沒有中介介入的情況下獨立進(jìn)行自我評估，其目的在于改進(jìn)而不是問責(zé)。對于顧客而言，模式3沒有第三方來驗證教育提供者自評的準(zhǔn)確性或可靠性。但一些最新方法則具有多種目的，力圖體現(xiàn)各種不同利益相關(guān)者的觀點。

模式4:無論是提供者還是中介都開展評估活動，但它關(guān)注的是學(xué)生的能力而非教育提供者。在有些情況下，個人并不需在教育機構(gòu)就讀或選修某門課程來獲取證書，而是在實際工作中，通過光盤或通過自學(xué)來掌握專門技能或者概念。它使得教育工作者根據(jù)學(xué)生已掌握的和應(yīng)掌握的知識和能力之間的差距，以表明其在某一領(lǐng)域的能力水平，并據(jù)此來組織課程與教學(xué)。

三、怎樣選擇評估模式

很多以保證教育與職業(yè)發(fā)展活動的質(zhì)量和效率為業(yè)的組織可以被稱為中介組織。中介組織既不是教育與職業(yè)發(fā)展的提供者，也不是此類提供者服務(wù)的直接顧客，它是一個促進(jìn)兩者之間交流的實體。本報告中描述的模式1、模式2和模式4，由于允許中介組織發(fā)揮作用，因而和此類實體的關(guān)系最密切。然而，中介組織也可能希望了解模式3情形下所使用的最佳方法，以便作為對教育提供者有用的信息交換場所，并及時了解提供者所開發(fā)的新的評估技術(shù)。

本研究確定了在選擇評估提供者的質(zhì)量和效率的方法時需要考慮的六種最重要因素:1)評估的目的(說明對改進(jìn));2)權(quán)力的級別;3)資源水平;4)運行的集中化;5)系統(tǒng)的異質(zhì)性;6)系統(tǒng)的復(fù)雜性。

模式1的主要優(yōu)勢之一在于通過關(guān)注教育提供者的評估過程而使評估方法具有很大的靈活性。因為在允許教育提供者進(jìn)行自我評估的情況下，它們就可以建立最能反映自身機構(gòu)實際狀況的目標(biāo)和評估方法。然后，評估的重點為教育提供者所確定的目標(biāo)是否合理，以及評估目標(biāo)成就的指標(biāo)的信度和效度如何。它非常適于由多種不同要素組成的復(fù)雜系統(tǒng)。另外，它的效率也較高。其主要缺陷是中介機構(gòu)沒有對教育提供者的教育或培訓(xùn)的實際效果進(jìn)行評估，因此不適于問責(zé)。而且，由于中介機構(gòu)對于教育提供者的權(quán)力級別可能較低，也可能因資源受限而使其實施效果受到一定影響。

模式2有如下優(yōu)點:首先，大部分中介機構(gòu)完全獨立于教育提供者之外，作為獨立的檢查者來審核質(zhì)量，因此可保證質(zhì)量評估的客觀性。其次，中介機構(gòu)實施評估為考察質(zhì)量與效率提供了一個獨立的視角，因此它非常適于問責(zé)。再次，它能夠關(guān)注系統(tǒng)一級的目標(biāo)。另外，一些教育機構(gòu)喜歡外部評估者對其提出要求以激發(fā)員工創(chuàng)新。其主要缺點是它未能充分考慮到評估任務(wù)的重要特征以及教育提供者的重點。而且它要求教育提供者承擔(dān)繁重的數(shù)據(jù)收集任務(wù)，而這并不總是用于自我改進(jìn)。另外，中介機構(gòu)可能會選擇一些不恰當(dāng)?shù)哪繕?biāo)，從而提供有誤導(dǎo)性的或者跟顧客和提供者不相關(guān)的信息。

模式3的主要優(yōu)勢是它的靈活性:讓教育提供者在沒有中介機構(gòu)介入的情況下自主確定目標(biāo)，基于這些目標(biāo)評估本機構(gòu)的績效，并通過評估學(xué)會如何改進(jìn)。因而，它既適用于贏利性高校，也適用于非贏利性高校等各種教育提供者，并且對于那些已接受區(qū)域認(rèn)證機構(gòu)認(rèn)證的組織可能尤其適合。但由于沒有第三方組織來審核教育提供者自評的準(zhǔn)確性或可靠性，從而缺乏對教育提供者評估的外部監(jiān)督或檢驗，因此它不太適用于問責(zé)。

模式4的優(yōu)勢在于它關(guān)注對學(xué)生學(xué)習(xí)的測量，緊緊圍繞實際工作需要，將學(xué)生學(xué)習(xí)與工作所需的實際操作技能聯(lián)系起來，使評估者比以往任何時候更接近評估其想要評估的對象［4］。它運用一種統(tǒng)整的方法，考慮到知識、技能和態(tài)度對工作績效的綜合影響。評估者不僅直接測量績效，而且將單一的知識和技能要素結(jié)合起來加以考察。它在很大程度上是測量教學(xué)需要的一種工具，也是確定什么時間沒必要開展教育或培訓(xùn)的一種方式。它可以滿足不同學(xué)生群體的廣泛需要。然而，要界定相關(guān)的能力，開發(fā)測評能力的方法以及對這些定義和方法進(jìn)行更新，則既耗時又耗資。而且有些能力難以界定。因此，許多學(xué)者認(rèn)為，這種方法是否能為學(xué)術(shù)界所接受仍有待進(jìn)一步觀察［5］。

上述每一種評估模式都有其優(yōu)缺點，它們都適用于某類情況而不適用于其他情況，沒有最佳的模式，因此評估者沒必要選擇一種適于所有目的或者所有提供者的單一模式。

四、什么是三階段評估方法

研究發(fā)現(xiàn)，無論選擇哪種模式，在評估教育和職業(yè)發(fā)展的提供者的質(zhì)量與效率時都應(yīng)該包括三個基本步驟:第一步:確定目標(biāo)。即確定教育和職業(yè)發(fā)展的目標(biāo)，依據(jù)這些目標(biāo)來評估提供者的績效或在模式4情況下對學(xué)生進(jìn)行評估。這些目標(biāo)應(yīng)該反映任務(wù)、理念、評估者的價值觀，并應(yīng)該針對與教育和職業(yè)發(fā)展使命有關(guān)的問題。第二步:選擇指標(biāo)。即開發(fā)績效指標(biāo)。這種指標(biāo)無疑應(yīng)該與第一步確立的目標(biāo)相聯(lián)系。將目標(biāo)和指標(biāo)聯(lián)系起來保證了所有的目標(biāo)將得到處理，而且確保不會開發(fā)無關(guān)的指標(biāo)。指標(biāo)能夠關(guān)注投入、過程或者產(chǎn)出。第三步:使用量表評估績效。最后還需要整合這三個評估步驟。將指標(biāo)和評估與目標(biāo)聯(lián)系起來顯然是許多背景下各種提供者所采用的一種最佳方法。平衡記分卡為將這三個步驟聯(lián)系起來提供了一個有用的框架。本研究認(rèn)為堅持以下觀點很重要:即限制那些推遲評估活動的目標(biāo)數(shù);除了投入指標(biāo)外選擇過程和產(chǎn)出指標(biāo);超越易于獲得的現(xiàn)成指標(biāo)的限制;為每項目標(biāo)選擇多種指標(biāo)以確保每個目標(biāo)均包含有信度和效度都很高的指標(biāo)。在對指標(biāo)進(jìn)行評估時，有四種比較績效指標(biāo)的方法可供評估者選擇:1)與外部同行的績效指標(biāo)進(jìn)行比較;2)與預(yù)先設(shè)定的標(biāo)準(zhǔn)進(jìn)行比較;3)與內(nèi)部同行的績效指標(biāo)進(jìn)行比較;4)與教育提供者或?qū)W生過去的績效進(jìn)行比較。研究發(fā)現(xiàn)，每種評估方法都有其優(yōu)缺點，這取決于評估的具體環(huán)境、可獲得的數(shù)據(jù)以及內(nèi)部或外部同行的存在狀況。這些方法并非相互排斥，為了對結(jié)果進(jìn)行更加全面的解釋，評估每一個指標(biāo)時應(yīng)該綜合考慮所有這些方法，鼓勵使用兩種或多種方法。多樣化的評估方法也有助于確保測量的信度和效度。一般來說，組織都使用多種評估方法，并且可同時使用四種基本方法。另外，組織應(yīng)持續(xù)并定期地重新考慮評估過程所包含的三個步驟中的每一步。在確定目標(biāo)時，建立一個定期的可循環(huán)的程序有助于確保目標(biāo)反映當(dāng)前的需要。這一過程可以是正式的或非正式的。

研究揭示了關(guān)于這幾個步驟的幾點基本經(jīng)驗:首先，每一步應(yīng)與其他步驟相聯(lián)系，并且作為一個整體，這種方法應(yīng)該是目標(biāo)驅(qū)動的。避免在確定目標(biāo)之前或者沒有確定目標(biāo)的情況下選擇指標(biāo)尤為重要。在高等教育、企業(yè)和政府背景下的實踐者強調(diào)一個趨勢，即人們重視所測量的，并唯一關(guān)注那些信息而不是將所測量的與活動的目標(biāo)聯(lián)系起來。其次，開發(fā)與目標(biāo)相關(guān)的指標(biāo)盡管很困難，但卻是關(guān)鍵一步。要發(fā)現(xiàn)適合特定目標(biāo)的績效指標(biāo)通常是很難的，然而往往使用一個針對特定目標(biāo)的不完美的指標(biāo)體系比使用用于不同事物的完善的指標(biāo)體系要好。在此過程中使各種不同的利益相關(guān)者參與有助于使之集中完成既定目標(biāo)。此類利益相關(guān)者的參與和不斷的反饋既是波多里奇國家質(zhì)量獎計劃，也是平衡記分卡明確的要素。再次，評估的趨勢是較少關(guān)注投入指標(biāo)，更多關(guān)注過程與結(jié)果指標(biāo)。僅僅測量結(jié)果不會導(dǎo)致改進(jìn)，但對利用資源來產(chǎn)生結(jié)果的干預(yù)過程的考慮就為計劃改進(jìn)提供了更有用的信息。最后，除證書或者認(rèn)證計劃外，職業(yè)發(fā)展課程的提供者不大可能依賴現(xiàn)在的具有效度和信度特征的評估工具。相反，他們很可能需要自主開發(fā)學(xué)習(xí)結(jié)果量表。

五、結(jié) 語

近期公布的《國家中長期教育改革和發(fā)展規(guī)劃綱要》把提高質(zhì)量作為我國高等教育發(fā)展的核心任務(wù)，把促進(jìn)人的全面發(fā)展、適應(yīng)社會需要作為衡量教育質(zhì)量的根本標(biāo)準(zhǔn)［6］。然而，科學(xué)、規(guī)范的高等教育評估制度在我國尚未建立。而在歐美各國，隨著質(zhì)量保障運動的深入，都出現(xiàn)了建設(shè)高等教育質(zhì)量保障體系的新發(fā)展，而把評估僅僅看作是高等教育質(zhì)量保障體系中的一個環(huán)節(jié)［7］。從上文的分析可以看出，不存在一種最佳的高等教育評估模式。評估模式的選擇在很大程度上取決于教育提供者所在的系統(tǒng)以及負(fù)責(zé)評估活動的組織所處的具體背景。選擇評估模式時首先應(yīng)考慮評估的目的;另外，必須與教育提供者的活動以及提供者與評估者之間關(guān)系的特征相一致;再者，評估也并非解決一切問題的靈丹妙藥。因此，如何在借鑒國外成功經(jīng)驗的基礎(chǔ)上，建立和完善有中國特色的高等教育評估制度和質(zhì)量保障體系是我國高等教育當(dāng)前和今后所要應(yīng)對的一個主要問題。

注 釋:

①這里所說的高等教育既包括普通高等教育，也包括高等職業(yè)教育、企業(yè)培訓(xùn)及相關(guān)繼續(xù)教育等;相應(yīng)的，教育提供者也不僅指高校，也包括相關(guān)的教育和培訓(xùn)機構(gòu)。

［1］ 謝安邦.比較高等教育［M］.桂林:廣西師范大學(xué)出版社，2002:375-390.

［2］ Gates S M，Catherine H，Benjamin A R，et al.Ensuring Quality and Productivity in Higher Education:An Analysis of Assessment Practices［M］.San Francisco:JOSSEY-BASS.A Wiley Company，2002:87-153.

［3］ 崔瑞鋒，田東平.高等教育評估:美國的基本模式［J］.開放教育研究，2007(4):38-45.

［4］ Gonczi.Competency-based assessment in the professions in Australia［J］.Assessment in Education，1994，1(1):27-44.

［5］ Carnevale.Two models for collaboration in distance learning［EB/OL］.Chronicle of Higher Education，2000，May19.http://www.chronicle.com，2000-05-19.

［6］ 國務(wù)院.國家中長期教育改革和發(fā)展規(guī)劃綱要(2010—2020年)［EB/OL］.http://news.xinhuanet.com//c 12 389 320.htm，2010-07-29.

［7］ 趙炬明.超越評估:上:中國高等教育質(zhì)量保障體系建設(shè)之設(shè)想［J］.高等工程教育研究，2008(6):39-49.