李 軍

(中國石油大學(xué)勝利學(xué)院 高等教育研究與評價中心,山東 東營 257000)

伴隨著我國高等教育的應(yīng)用轉(zhuǎn)型和分類發(fā)展,實踐教學(xué)作為培養(yǎng)高素質(zhì)應(yīng)用技術(shù)人才的重要環(huán)節(jié)和提升學(xué)校辦學(xué)水平的主要路徑已經(jīng)成為諸多應(yīng)用型高校實現(xiàn)可持續(xù)發(fā)展的共識。隨之而來的問題是如何評價實踐教學(xué)的運(yùn)行質(zhì)量和實施成效,以及如何通過評價實現(xiàn)有效反饋并促進(jìn)實踐教學(xué)質(zhì)量提升。反觀既有的實踐教學(xué)質(zhì)量評價,多數(shù)被視為一種鑒定的工具,以結(jié)果為導(dǎo)向并將評價結(jié)果作為高校評估排名的基本依據(jù)。同時,相關(guān)理論研究缺乏、評價體系結(jié)構(gòu)復(fù)雜且忽視對實踐教學(xué)實施過程的評價,從而淡化了教學(xué)評價對于改進(jìn)和提高教學(xué)工作質(zhì)量的價值及意義。實踐教學(xué)質(zhì)量評價的重新審視和體系構(gòu)建成為必然。

一、CIPP的教育評價模式

CIPP評價是美國學(xué)者斯塔弗爾比姆于20世紀(jì)60年代在批判泰勒評價模式的基礎(chǔ)上提出的一種基于“過程”和“決策改進(jìn)”的評價模式。20世紀(jì)40年代,泰勒經(jīng)過“八年研究”正式提出教育評價的概念,指出“評價過程實質(zhì)上是一個確定課程與教學(xué)計劃實際上達(dá)到教學(xué)目標(biāo)的程度的過程”[1]7,提出所謂目標(biāo)評價模式。泰勒評價模式以目標(biāo)為導(dǎo)向,以對測量結(jié)果的描述為特征,重在對教育活動進(jìn)行總結(jié)性評價,即主要考察教育活動的結(jié)果是否達(dá)到預(yù)先設(shè)定的教育目標(biāo)。這種評價有利于對教育活動的成效進(jìn)行歸納總結(jié),但不利于考察教育活動的整體效能,從而無法根據(jù)評價結(jié)果,為決策者提出教育活動改進(jìn)和完善的建議。為此,斯塔弗爾比姆指出,評價最重要的意圖不是為了證明,而是在于改進(jìn)[1]86;評價是一種核定、獲取和提供敘述性和判斷性信息的過程,這些信息涉及研究對象的目標(biāo)、設(shè)計、實施和影響的價值及優(yōu)缺點(diǎn),以便指導(dǎo)如何決策,滿足教學(xué)效能核定需要,并增加對研究對象的了解[2]。

學(xué)生的發(fā)展是教育活動諸要素之間相互聯(lián)系、相互影響的結(jié)果,更是一個不斷變化和生成的過程。基于教育活動決策改進(jìn)的考量,斯塔弗爾比姆提出涵蓋背景評價(Context)、輸入評價(Input)、過程評價(Process)和成果評價(Product)的新的評價模式,簡稱CIPP教育評價。背景評價即目標(biāo)評價,是通過分析教育活動實施方案的背景,判斷活動目標(biāo)設(shè)定的合理性;輸入評價是考察實現(xiàn)活動目標(biāo)所需要的條件和資源,意在評判活動方案的可行性和效用性;過程評價是對活動實施過程開展的評價,即審視活動過程的運(yùn)行情況和運(yùn)行質(zhì)量;效果評價則是要判斷教育活動的實施效果。后期研究中,斯塔弗爾比姆又將成果評價分解為影響、成效、可持續(xù)性和推廣性4個階段,進(jìn)一步拓展評價結(jié)果對于反饋和改進(jìn)教育活動的作用。顯然,CIPP評價將教育活動全過程納入評價范圍,系統(tǒng)考察教育活動的目標(biāo)、設(shè)計、過程和效果,評價每一個環(huán)節(jié)是否滿足需要,從而實現(xiàn)了對教育活動全過程實施情況的監(jiān)控、診斷和反饋,使之具備了動態(tài)評價的基本特征,能夠更好地為決策提供信息,便于被管理者采用,以提出下一步的改進(jìn)策略。在這個意義上,CIPP評價有利于應(yīng)用型高校整體推動實踐教學(xué)改革,亦成為應(yīng)用型高校構(gòu)建實踐教學(xué)質(zhì)量評價體系的理論依據(jù)和實證基礎(chǔ)。

二、以CIPP評價理論重構(gòu)實踐教學(xué)質(zhì)量評價體系

根據(jù)CIPP評價理論,按照教育活動的整體性和系統(tǒng)性原則,構(gòu)建涵蓋目標(biāo)評價、方案評價、過程評價和效果評價4項指標(biāo)的應(yīng)用型高校實踐教學(xué)質(zhì)量評價體系,分層次設(shè)置各級評價指標(biāo)的內(nèi)容和權(quán)重。

(一)實踐教學(xué)質(zhì)量評價體系的基本內(nèi)涵

實踐教學(xué)的目標(biāo)評價,是對實踐教學(xué)目標(biāo)的合理性進(jìn)行的診斷性評價,目的是明確實踐教學(xué)需要做什么。實踐教學(xué)目標(biāo)是實踐教學(xué)活動的出發(fā)點(diǎn)和歸宿,旨在確定教學(xué)目標(biāo)和教育對象的需求。對應(yīng)應(yīng)用型高校的辦學(xué)特點(diǎn),觀測點(diǎn)主要包括:實踐教學(xué)目標(biāo)與理論教學(xué)目標(biāo)的對應(yīng)程度,體現(xiàn)學(xué)科專業(yè)特點(diǎn)的程度,與行業(yè)企業(yè)需求的契合程度,學(xué)生對實踐教學(xué)目標(biāo)的理解、認(rèn)同程度及參與實踐教學(xué)的準(zhǔn)備程度等。

實踐教學(xué)的方案評價,是在目標(biāo)評價基礎(chǔ)上,對達(dá)到目標(biāo)所需要的且能夠保證的實踐條件、資源以及實踐教學(xué)方案的相對優(yōu)點(diǎn)所作的評價,其實質(zhì)是對方案的可行性和效用性進(jìn)行判斷[3],屬于診斷性評價。實踐資源與條件是實踐教學(xué)方案制定和實施的基礎(chǔ)與關(guān)鍵要素。其主要觀測點(diǎn)包括:收集實踐教學(xué)的經(jīng)費(fèi)、場所、設(shè)備、課程、項目、教材等資源及條件的信息,評估既有的實踐資源和實踐條件能否達(dá)成實踐教學(xué)目標(biāo),確定方案實施所需的外部資源。

實踐教學(xué)的過程評價,是對方案實施情況的監(jiān)督檢查,目的在于調(diào)整和改進(jìn)實施過程,也即方案實施過程中的形成性評價[4]。顯然,過程評價是要了解執(zhí)行過程中存在的問題和困難,為反饋和實施新的教育決策服務(wù)。過程評價的主要觀測點(diǎn)有:實踐課程的時間安排、運(yùn)行程序、組織形式、實踐場所和儀器設(shè)備利用率以及教師的實踐指導(dǎo)情況等。

實踐教學(xué)的效果評價,是對實踐教學(xué)方案的執(zhí)行結(jié)果與學(xué)生的實踐成效進(jìn)行的測量與評價。目的是全面整體地檢測實踐教學(xué)質(zhì)量,考核判斷實踐教學(xué)實施的最終成果,從而提供反饋改進(jìn)意見,為實踐教學(xué)新方案設(shè)計提供決策依據(jù)。效果評價屬于終結(jié)性評價,關(guān)注的主要問題是實踐教學(xué)目標(biāo)的達(dá)成程度,要能判斷出哪些實踐目標(biāo)已經(jīng)達(dá)成,哪些實踐目標(biāo)尚未達(dá)成。如果實踐目標(biāo)未達(dá)成,甚至出現(xiàn)了“負(fù)效應(yīng)”(即非預(yù)期效果),要能診斷出是實踐教學(xué)目標(biāo)本身的問題,還是方案設(shè)計或者實施過程中的問題。其主要觀測點(diǎn)包括:實踐教學(xué)目標(biāo)的達(dá)成程度、實踐單位的考核評價以及學(xué)生自身的實踐成果等。

如此,實踐教學(xué)質(zhì)量評價涵蓋了實踐教學(xué)的目標(biāo)、方案、過程及效果,從而搭建起實踐教學(xué)質(zhì)量評價的閉合循環(huán)。在實踐活動動態(tài)運(yùn)行的環(huán)境中,進(jìn)行即時性的組織、控制、評價和反饋,確保實踐教學(xué)過程、實際績效與實踐教學(xué)目標(biāo)相一致,并達(dá)到改進(jìn)完善以最大可能地提升學(xué)生應(yīng)用實踐能力的目的。

(二)實踐教學(xué)質(zhì)量評價指標(biāo)體系的構(gòu)建

以四項評價構(gòu)建實踐教學(xué)質(zhì)量評價體系,最終要落實到評價指標(biāo)和權(quán)重的篩選及確認(rèn)。按照CIPP理論,以四項評價作為一級指標(biāo),通過文獻(xiàn)研究法對實踐教學(xué)全過程質(zhì)量評價的相關(guān)問題進(jìn)行梳理,以定性的方式初步遴選20個二級指標(biāo)。

區(qū)分學(xué)生、教師、專家三類群體,以其不同的視角設(shè)計三種不同的方式對所涉指標(biāo)進(jìn)行調(diào)研。一是將初步確定的實踐教學(xué)質(zhì)量評價指標(biāo)內(nèi)容編制在線問卷,面向在校學(xué)生征詢意見,以關(guān)鍵特征調(diào)查法將學(xué)生重點(diǎn)關(guān)注的問題補(bǔ)充歸類;二是依據(jù)學(xué)生調(diào)研后優(yōu)化調(diào)整的指標(biāo)內(nèi)容,選取不同學(xué)科專業(yè)背景的理論教師、實踐指導(dǎo)教師和教育管理人員進(jìn)行座談,進(jìn)一步總結(jié)凝練出25個二級指標(biāo);三是邀請學(xué)科專家和行業(yè)專家,使用專家咨詢法(特爾菲法)對前兩次調(diào)研的結(jié)果及其指標(biāo)進(jìn)行多次論證和評價,以指數(shù)法區(qū)分各級指標(biāo)的重要程度,綜合厘定各級指標(biāo)的相對權(quán)重。最終建構(gòu)實踐教學(xué)質(zhì)量評價指標(biāo)體系,包括4個一級指標(biāo)、24個二級指標(biāo)(見表1)。

教學(xué)以學(xué)生發(fā)展為中心,學(xué)生是實踐教學(xué)的主體,學(xué)生對專業(yè)實踐教學(xué)目標(biāo)的認(rèn)知程度、對專業(yè)實踐教學(xué)開展情況的滿意度以及通過實踐教學(xué)取得的學(xué)習(xí)成效是高校評價實踐教學(xué)質(zhì)量所應(yīng)關(guān)注的核心問題。以CIPP理念構(gòu)建的應(yīng)用型高校實踐教學(xué)質(zhì)量評價體系將以學(xué)生作為評價主體,即從學(xué)生視角全方位審視、研判、評價應(yīng)用型高校實踐教學(xué)全過程運(yùn)行情況,使決策者或管理者能夠清晰地認(rèn)識到所實施的實踐教學(xué)在培養(yǎng)學(xué)生方面的優(yōu)勢和不足,并有針對性地不斷改進(jìn)實踐教學(xué)的方案設(shè)計和運(yùn)行程序,以提升實踐教學(xué)質(zhì)量。

表1 基于CIPP模式的應(yīng)用型高校實踐教學(xué)質(zhì)量評價指標(biāo)體系

三、實踐教學(xué)質(zhì)量評價體系的實證分析

根據(jù)實踐教學(xué)質(zhì)量評價指標(biāo)體系編制無記名開放式在線問卷,共設(shè)計24道題目,面向應(yīng)用型高校在校本科生施測,以期通過分析問卷的可信性、可靠性和鑒別能力,判斷該指標(biāo)體系能否達(dá)成評價實踐教學(xué)質(zhì)量的目的。

(一)研究方法

1.被試

被試為某應(yīng)用型高校在校本科生,年齡為18～25歲,年級為大一到大四,分布于工學(xué)、理學(xué)、醫(yī)學(xué)、法學(xué)、教育學(xué)、管理學(xué)、文學(xué)、藝術(shù)學(xué)等8個學(xué)科門類的28個本科專業(yè)。測試共發(fā)放1 402份問卷,回收有效問卷1 271份。

2.數(shù)據(jù)處理

使用數(shù)據(jù)統(tǒng)計分析SaaS軟件(SPSSAU)對收集到的數(shù)據(jù)進(jìn)行統(tǒng)計分析。

(二)數(shù)據(jù)分析

1.問卷的信度分析

檢驗樣本回答結(jié)果是否可靠,即數(shù)據(jù)是否真實,樣本是否認(rèn)真回答,回答是否可信等。信度表現(xiàn)的是測驗結(jié)果的一貫性、一致性和穩(wěn)定性。對于一份問卷而言,如果兩個題項都測的是被測者的同一個特征,那么被試在這兩個題項上的得分應(yīng)當(dāng)有一致性,即一個得分高,另一個得分也應(yīng)該高;兩個題項的信度系數(shù)越高,表明得分越一致,就越肯定兩個題項確實測的是同一個特征。對該問卷進(jìn)行信度分析,得出的數(shù)據(jù)結(jié)果見表2、表3。

表2 信度分析數(shù)據(jù)

表3 折半信度分析

2.問卷的效度分析

檢驗該問卷題項設(shè)計是否合理,分析問卷的各個題項準(zhǔn)確評價實踐教學(xué)質(zhì)量的程度。效度越高,說明問卷的測量結(jié)果與要評價的內(nèi)容越吻合,反之,效度越低,則說明問卷無法準(zhǔn)確評價實踐教學(xué)的質(zhì)量。對該問卷進(jìn)行效度分析,得到的分析結(jié)果見表4。

表4 效度分析數(shù)據(jù)

3.區(qū)分度分析

測量問卷項目的有效和合適性。就是要測量所有題項對于受測者評價能力、教育成就的區(qū)分程度和鑒別能力;區(qū)分度高的題項,能將不同水平的受測者區(qū)分開來,區(qū)分度低的項目,就沒有很好的鑒別能力。因此,區(qū)分度也被稱為題項的效度,是評價題項質(zhì)量、篩選題項的重要依據(jù)。對該問卷進(jìn)行區(qū)分度分析,得到的數(shù)據(jù)結(jié)果見表5。

4.驗證性因子分析

用于測量因子與測量項(量表題項)之間的對應(yīng)關(guān)系是否與研究者預(yù)測保持一致的一種研究方法。本研究主要使用驗證性因子分析判斷問卷的聚合效度和目標(biāo)評價、方案評價、過程評價及結(jié)果評價4個因子間的相關(guān)程度,數(shù)據(jù)結(jié)果見表6～8。

(三)數(shù)據(jù)分析的結(jié)果

信度分析結(jié)果。信度分析用于研究定量數(shù)據(jù)回答的可靠性和準(zhǔn)確性。從表2可知:信度系數(shù)值為0.971,大于0.9,說明研究數(shù)據(jù)的信度質(zhì)量很高。針對“項已刪除的α系數(shù)”,分析項被刪除后的信度系數(shù)值沒有明顯提升,說明24個題項均應(yīng)保留,進(jìn)一步說明研究數(shù)據(jù)的信度水平高。分析項對應(yīng)的“CITC值”全部高于0.5,說明分析項之間具有良好的相關(guān)關(guān)系。表3中的折半信度系數(shù)值為0.927,大于0.9,也說明研究數(shù)據(jù)的信度質(zhì)量很高,可用于進(jìn)一步分析。

效度分析結(jié)果。通過KMO值、共同度、方差解釋率等指標(biāo)進(jìn)行綜合分析,以驗證數(shù)據(jù)的效度水平情況。KMO值用于判斷是否有效度,共同度值用于排除不合理研究題項,方差解釋率值用于說明信息提取水平等。從表4可知,所有研究題項對應(yīng)的共同度值均>0.4,說明研究項信息可以被有效提取。KMO值為0.973>0.6,意味著研究數(shù)據(jù)具有很高的效度。4個因子的方差解釋率分別是22.805%,20.656%,16.493%,14.589%,旋轉(zhuǎn)后累積方差解釋率為74.542%>50%,說明研究題項的信息量可以有效提取出來。

表5 區(qū)分度分析數(shù)據(jù)

**p<0.01

表6 模型AVE和CR指標(biāo)結(jié)果

區(qū)分度分析結(jié)果。區(qū)分度分析目的在于確定問卷研究項目是否有效和合適。其原理是先對分析項求和,進(jìn)而將其分成高分和低分組(以27%和73%分位數(shù)為界),然后使用T檢驗去對比高分和低分組別的差異情況,如有差異則說明量表項設(shè)計合適,反之則說明量表項無法區(qū)分出信息,設(shè)計不合理應(yīng)作刪除處理。從表5可知,24個題項全部呈現(xiàn)出顯著性差異(p<0.01),意味著總共24個題項均具有良好的區(qū)分性,不需要刪除任何題項。

驗證性因子分析。從表6可知,問卷的4個因子分別對應(yīng)的AVE值均>0.5,組合信度CR值均明顯>0.7;同時表7中的因子載荷系數(shù)顯示,4個因子共對應(yīng)著24個題項,每個題項均呈現(xiàn)出0.001水平的顯著性(p< 0.001),僅一個題項(A1)的標(biāo)準(zhǔn)化載荷系數(shù)略小于0.7,結(jié)合實踐教學(xué)認(rèn)知目標(biāo)的必要性,該題項保留;其余題項的載荷系數(shù)值均接近或者高于0.8,綜合說明問卷數(shù)據(jù)具有優(yōu)秀的聚合效度。

綜上所述,該評價問卷具有良好的信度、效度和區(qū)分度,評價指標(biāo)體系的4個因子之間具有極高的相關(guān)程度,可以使用該問卷評價應(yīng)用型高校實踐教學(xué)質(zhì)量。

表7 因子載荷系數(shù)表

表8 因子協(xié)方差表

四、應(yīng)用型高校實踐教學(xué)質(zhì)量評價體系的實踐應(yīng)用

使用樣本數(shù)據(jù),綜合評價應(yīng)用型高校實踐教學(xué)質(zhì)量和成效。數(shù)據(jù)分析方法采用模糊綜合評價法,根據(jù)模糊數(shù)學(xué)的最大隸屬原則把學(xué)生的定性評價轉(zhuǎn)化為定量評價,以其清晰的結(jié)果解決主觀評價模糊、難以量化的問題,為多因素、多層次影響的應(yīng)用型高校實踐教學(xué)質(zhì)量做出一個總體評價。

(一)評價指標(biāo)的評價因素集、評語集和權(quán)重集

根據(jù)表1,評價因素集為:A={A1,A2,A3,A4,A5,A6},B={B1,B2,B3,B4,B5,B6,B7,B8},C={C1,C2,C3,C4,C5,C6},D={D1,D2,D3,D4}。

評語集設(shè)計為四個等級V={V1,V2,V3,V4}={優(yōu),良,中,差}。

各級指標(biāo)權(quán)重向量為:

W=(0.150 0, 0.250 0, 0.300 0, 0.300 0)T;

W1=(0.133 3, 0.133 3, 0.200 0, 0.133 3, 0.200 0, 0.200 0)T;

W2=(0.120 0, 0.120 0, 0.120 0, 0.080 0, 0.160 0, 0.160 0, 0.120 0, 0.120 0)T;

W3=(0.166 7, 0.133 3, 0.133 3, 0.166 7, 0.200 0, 0.200 0)T;

W4=(0.266 7, 0.266 7, 0.233 3, 0.233 3)T。

(二)構(gòu)造隸屬度矩陣

隸屬度矩陣為Ri={ri1,ri2,…,rim},指的是所評價的因素的第i個指標(biāo)所對應(yīng)的評語集中的每個V1,V2,…,Vm的隸屬度。rij=Nij/N,其中N為參與應(yīng)用型高校實踐教學(xué)質(zhì)量評價的總?cè)藬?shù),Nij為參與評價的總?cè)藬?shù)當(dāng)中,對其中的第i個指標(biāo)進(jìn)行評價時,選擇評語為Vj(j=1,2,…,m)的人數(shù)。學(xué)生評價結(jié)果見表9。

表9 1 271名學(xué)生對應(yīng)用型高校實踐教學(xué)質(zhì)量評價的結(jié)果

由此可以構(gòu)建:

(1)實踐教學(xué)目標(biāo)評價的隸屬度矩陣

(2)實踐教學(xué)方案評價的隸屬度矩陣

(3)實踐教學(xué)過程評價的隸屬度矩陣

(4)實踐教學(xué)效果評價的隸屬度矩陣

(三)單因素一級模糊評價

根據(jù)公式Ki=Wi*Ri=(wi1,wi1,…,wi1)(ri1,ri2,…,rim)T,運(yùn)用隸屬度矩陣Ri與前面求得的權(quán)重集Wi進(jìn)行模糊矩陣的復(fù)合運(yùn)算,可得到用隸屬度表示的單因素一級模糊評判結(jié)果,進(jìn)而得到應(yīng)用型高校實踐教學(xué)質(zhì)量評價的一級模糊評價矩陣為:

(四)綜合評估(二級模糊綜合評判)

運(yùn)用K與前面求得的權(quán)重集W進(jìn)行模糊矩陣的復(fù)合運(yùn)算,可以得到用隸屬度表示的應(yīng)用型高校實踐教學(xué)質(zhì)量評價的最后評價(二級模糊綜合評判)結(jié)果為P=W*K=[0.314 9 0.451 0 0.202 6 0.031 4]。

結(jié)果顯示,有31.49%的可能屬于“優(yōu)”,有45.10%的可能屬于“良”,有20.26%的可能屬于“中”,有3.14%的可能屬于“差”。根據(jù)最大隸屬原則,該高校實踐教學(xué)質(zhì)量評價的綜合評判結(jié)果為“良”。

實踐證明,以CIPP的評價理論構(gòu)建應(yīng)用型高校實踐教學(xué)質(zhì)量評價體系,能切實尊重學(xué)生的主體地位,有效落實以學(xué)生發(fā)展為中心的教學(xué)理念,使實踐教學(xué)質(zhì)量評價能更接近學(xué)生的學(xué)習(xí)感知和實踐體悟,能更真實地反映實踐教學(xué)的實際運(yùn)行情況。這種評價體系既可以評價高校實踐教學(xué)整體運(yùn)行質(zhì)量,亦可以科學(xué)診斷不同專業(yè)類型的實踐教學(xué)存在的問題,從而更好地監(jiān)控和保障實踐教學(xué)效果,為改進(jìn)實踐教學(xué)、提升人才培養(yǎng)質(zhì)量提供依據(jù)。