摘 要:現(xiàn)階段,檢察教育網(wǎng)絡(luò)培訓(xùn)質(zhì)量評(píng)價(jià)還不夠科學(xué)規(guī)范,存在評(píng)價(jià)目標(biāo)不明確、評(píng)價(jià)主體較單一、指標(biāo)設(shè)置缺少差異化考慮、評(píng)價(jià)結(jié)果簡(jiǎn)單、智能程度不高等問(wèn)題。以中國(guó)檢察教育培訓(xùn)網(wǎng)絡(luò)學(xué)院為例,完善檢察教育網(wǎng)絡(luò)培訓(xùn)質(zhì)量評(píng)價(jià)機(jī)制,應(yīng)把握評(píng)價(jià)原則,明晰發(fā)展目標(biāo)方向;借鑒評(píng)價(jià)模型,科學(xué)設(shè)定序列指標(biāo);形成反饋閉環(huán),動(dòng)態(tài)調(diào)整完善評(píng)估機(jī)制。
關(guān)鍵詞:檢察教育培訓(xùn) 網(wǎng)絡(luò)培訓(xùn)質(zhì)量評(píng)價(jià)
檢察教育網(wǎng)絡(luò)培訓(xùn)質(zhì)量評(píng)價(jià)主要包括:第一,對(duì)檢察教育網(wǎng)絡(luò)培訓(xùn)機(jī)構(gòu)或主辦單位、承辦單位以及相關(guān)工作的評(píng)價(jià);第二,對(duì)網(wǎng)絡(luò)培訓(xùn)班次的評(píng)價(jià);第三,對(duì)各類網(wǎng)絡(luò)課程的評(píng)價(jià),及對(duì)相關(guān)師資的關(guān)聯(lián)評(píng)價(jià);第四,對(duì)網(wǎng)絡(luò)培訓(xùn)平臺(tái)建設(shè)運(yùn)營(yíng)和管理的評(píng)價(jià);等等。多個(gè)評(píng)價(jià)體系的結(jié)果交叉考量,也即對(duì)當(dāng)下的檢察教育網(wǎng)絡(luò)培訓(xùn)進(jìn)行系統(tǒng)評(píng)價(jià)。但基于發(fā)展階段、人員配置、資金制約等因素,檢察教育網(wǎng)絡(luò)培訓(xùn)質(zhì)量評(píng)價(jià)的實(shí)際情況和研究狀況都尚有較大差距,之于改進(jìn)培訓(xùn)的作用發(fā)揮不充分,亟待加強(qiáng)研究。
一、檢察教育網(wǎng)絡(luò)培訓(xùn)質(zhì)量評(píng)價(jià)現(xiàn)狀
當(dāng)下,檢察教育網(wǎng)絡(luò)培訓(xùn)評(píng)價(jià)模式與其辦訓(xùn)形式密切相關(guān),可大致分為不做評(píng)價(jià)、借鑒實(shí)體培訓(xùn)評(píng)價(jià)、網(wǎng)絡(luò)培訓(xùn)專門(mén)評(píng)價(jià)和混合評(píng)價(jià)模式等。通過(guò)內(nèi)部電視電話會(huì)議系統(tǒng)組織培訓(xùn),一般不做評(píng)價(jià)。通過(guò)即時(shí)通訊工具或互聯(lián)網(wǎng)會(huì)議系統(tǒng)組織培訓(xùn),常借鑒實(shí)體培訓(xùn)質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)采用問(wèn)卷調(diào)查方式,征求學(xué)員對(duì)課程安排、師資選配的意見(jiàn)。通過(guò)專門(mén)化網(wǎng)絡(luò)培訓(xùn)平臺(tái)(自建或定制)組織培訓(xùn),可結(jié)合平臺(tái)設(shè)置的班級(jí)評(píng)價(jià)、課程評(píng)價(jià)模塊進(jìn)行質(zhì)量評(píng)價(jià)。采混合評(píng)價(jià)模式的典型代表如中國(guó)檢察教育培訓(xùn)網(wǎng)絡(luò)學(xué)院(以下簡(jiǎn)稱“中檢網(wǎng)院”),其作為最高檢主管、國(guó)家檢察官學(xué)院主辦的全國(guó)性檢察教育網(wǎng)絡(luò)培訓(xùn)平臺(tái),培訓(xùn)模式多樣化,錄播與直播相結(jié)合、組織調(diào)訓(xùn)與自主選課相補(bǔ)充、線上線下培訓(xùn)相融合,綜合采用了平臺(tái)模塊打分、學(xué)員問(wèn)卷調(diào)查、管理員意見(jiàn)反饋等評(píng)價(jià)方式。
二、檢察教育網(wǎng)絡(luò)培訓(xùn)質(zhì)量評(píng)價(jià)存在的問(wèn)題與分析
上述評(píng)價(jià)模式建立運(yùn)行更多基于經(jīng)驗(yàn),但質(zhì)量評(píng)價(jià)工作的科學(xué)性規(guī)范性還有所不足,作為評(píng)價(jià)的核心內(nèi)容和主要依據(jù)的指標(biāo)體系尚未有效建構(gòu),缺乏可操作的評(píng)價(jià)標(biāo)準(zhǔn)與流程。主要問(wèn)題在于:
(一)評(píng)價(jià)目標(biāo)不明確,質(zhì)量評(píng)價(jià)意識(shí)有所欠缺
中檢網(wǎng)院已實(shí)現(xiàn)檢察教育培訓(xùn)全員覆蓋,但培訓(xùn)班次、人次仍是普遍關(guān)注重點(diǎn);課程開(kāi)發(fā)量、學(xué)員學(xué)時(shí)數(shù)仍是考評(píng)關(guān)鍵數(shù)據(jù)。統(tǒng)計(jì)中存在“重?cái)?shù)據(jù)、輕質(zhì)量”的現(xiàn)象,一方面,仍把網(wǎng)絡(luò)培訓(xùn)的量當(dāng)做重要指標(biāo),另一方面,對(duì)質(zhì)的評(píng)價(jià)尚無(wú)充分研究,囿于相關(guān)考慮欠缺,質(zhì)量評(píng)價(jià)目標(biāo)設(shè)置模糊不清。
(二)評(píng)價(jià)主體較單一,質(zhì)量評(píng)價(jià)結(jié)果不夠科學(xué)
現(xiàn)有評(píng)價(jià)機(jī)制中,質(zhì)量評(píng)價(jià)主體主要是學(xué)員,但學(xué)員評(píng)價(jià)整體存在優(yōu)秀打分傾向,使得個(gè)別化的意見(jiàn)突顯,出現(xiàn)評(píng)價(jià)結(jié)果信息偏差,同時(shí),這種單一的評(píng)價(jià)主體模式?jīng)]有兼顧主管部門(mén)、教師、專家、同行等相關(guān)者的評(píng)估,影響了評(píng)價(jià)的廣度和深度,使得評(píng)價(jià)結(jié)果難以全面反映培訓(xùn)的真實(shí)效果和存在問(wèn)題。
(三)評(píng)價(jià)標(biāo)準(zhǔn)未細(xì)化,質(zhì)量評(píng)價(jià)指標(biāo)差異化不足
網(wǎng)絡(luò)培訓(xùn)最富特色的是其教學(xué)方式,且應(yīng)服務(wù)于教學(xué)培訓(xùn)需要,但諸如視頻直播(互動(dòng))、系列微課等課程形式卻沒(méi)有對(duì)應(yīng)的質(zhì)量評(píng)價(jià)內(nèi)容,僅沿用常規(guī)課程評(píng)價(jià)標(biāo)準(zhǔn),細(xì)化程度遠(yuǎn)遠(yuǎn)不夠。如中檢網(wǎng)院課程評(píng)價(jià)不區(qū)分教學(xué)形式和課程類型,均設(shè)置“立場(chǎng)觀點(diǎn)正確、注重問(wèn)題導(dǎo)向、內(nèi)容豐富全面、課程生動(dòng)形象、教學(xué)切實(shí)有效”等評(píng)價(jià)打分選項(xiàng),設(shè)定的評(píng)價(jià)指標(biāo)要素權(quán)重一致,缺乏差異化評(píng)估,導(dǎo)致無(wú)法精準(zhǔn)反映不同課程的真實(shí)質(zhì)量。
(四)評(píng)價(jià)結(jié)果簡(jiǎn)單化,質(zhì)量評(píng)價(jià)智能程度不高
評(píng)價(jià)結(jié)果多以滿意度百分比形式呈現(xiàn),學(xué)員信息、課程數(shù)據(jù)、管理統(tǒng)計(jì)數(shù)據(jù)和評(píng)價(jià)數(shù)據(jù)各自獨(dú)立,無(wú)法交叉關(guān)聯(lián)比對(duì),學(xué)員學(xué)習(xí)時(shí)長(zhǎng)、進(jìn)度、互動(dòng)等學(xué)習(xí)行為數(shù)據(jù)無(wú)法通過(guò)智能化網(wǎng)絡(luò)培訓(xùn)系統(tǒng)自動(dòng)捕捉,難以深入剖析這些數(shù)據(jù)背后的學(xué)習(xí)模式與效果差異。
三、檢察教育網(wǎng)絡(luò)培訓(xùn)質(zhì)量評(píng)價(jià)機(jī)制的完善
(一)把握評(píng)價(jià)原則,明晰發(fā)展目標(biāo)方向
一是以高質(zhì)效作為評(píng)價(jià)目標(biāo)。檢察教育網(wǎng)絡(luò)培訓(xùn)已實(shí)現(xiàn)規(guī)模效應(yīng),正開(kāi)啟高質(zhì)量發(fā)展新征程,而質(zhì)量評(píng)價(jià)應(yīng)在其中發(fā)揮關(guān)鍵作用。網(wǎng)絡(luò)培訓(xùn)要實(shí)現(xiàn)更高水平的飛躍,要從高質(zhì)效辦好培訓(xùn)班、做好視頻課、請(qǐng)好主講人等方面開(kāi)展有效評(píng)價(jià),滿足各方期待,讓廣大學(xué)員感受到網(wǎng)絡(luò)培訓(xùn)不亞于實(shí)體培訓(xùn)的效果和水準(zhǔn);同時(shí),要突出網(wǎng)絡(luò)培訓(xùn)的優(yōu)勢(shì)特色,有效發(fā)揮“互聯(lián)網(wǎng)+教育培訓(xùn)”的作用。
二是評(píng)價(jià)主體多元化結(jié)構(gòu)化。建立“1+N”的多元主體評(píng)價(jià)模式?!?”是學(xué)員評(píng)價(jià),體現(xiàn)學(xué)員中心的培訓(xùn)理念并反饋其對(duì)班次和課程的滿意度,再引入其他“N”個(gè)相關(guān)主體進(jìn)行多角度評(píng)價(jià),如教師(自評(píng))、同行(評(píng)價(jià))、平臺(tái)(數(shù)據(jù))和專家(評(píng)價(jià))等[1]。在中檢網(wǎng)院培訓(xùn)情境下,還可以將主辦單位、承辦單位、組織管理機(jī)構(gòu)或中檢網(wǎng)院管理員等作為評(píng)價(jià)主體。待多元評(píng)價(jià)主體確定后,還應(yīng)將評(píng)價(jià)模式固定化結(jié)構(gòu)化,以確保后續(xù)指標(biāo)設(shè)定的科學(xué)性、評(píng)價(jià)標(biāo)準(zhǔn)的統(tǒng)一性、結(jié)論數(shù)據(jù)的可比性。
三是評(píng)價(jià)指標(biāo)精細(xì)化標(biāo)準(zhǔn)化。根據(jù)《全國(guó)干部教育培訓(xùn)規(guī)劃(2023-2027年)》,對(duì)干部教育培訓(xùn)機(jī)構(gòu)、班次、課程的質(zhì)量評(píng)估,要堅(jiān)持定量與定性相結(jié)合。定量數(shù)據(jù)采集在量表基礎(chǔ)上開(kāi)展,應(yīng)總結(jié)梳理有關(guān)經(jīng)驗(yàn)并深入研究培訓(xùn)規(guī)律,對(duì)積累的數(shù)據(jù)開(kāi)展對(duì)照分析,并初步設(shè)定一級(jí)指標(biāo)、二級(jí)指標(biāo),數(shù)據(jù)采集測(cè)試后予以驗(yàn)證調(diào)整,逐步完善細(xì)化各項(xiàng)指標(biāo);同時(shí),定性數(shù)據(jù)采集也應(yīng)有規(guī)范的操作流程,從底層設(shè)計(jì)上架構(gòu)起具有評(píng)估標(biāo)準(zhǔn)的交流框架和問(wèn)答提綱,以便提取有效信息。其中,冗余指標(biāo)項(xiàng)可予剔除,保留核心指標(biāo),并可視情探索指標(biāo)的加權(quán)平衡,以及定量定性評(píng)價(jià)結(jié)論的混合輸出。
四是評(píng)價(jià)手段智能化應(yīng)用化。定量定性數(shù)據(jù)的采集與分析,涉及到大量的數(shù)字和文字,以傳統(tǒng)人工方式處理難以滿足效率和質(zhì)量的要求,必須借力智能化手段??梢浴盁o(wú)感知”采集形式獲取學(xué)員基本信息、操作痕跡和學(xué)習(xí)數(shù)據(jù)等,并對(duì)定量數(shù)據(jù)做描述性統(tǒng)計(jì)(計(jì)量、等級(jí)、計(jì)數(shù)/比率)和差異性分析,有條件的情況下可進(jìn)一步做相關(guān)與偏相關(guān)分析[2];對(duì)學(xué)員的留言、課程評(píng)論等文本做過(guò)濾處理,并進(jìn)行詞頻分析和傾向性分析[3]??紤]到實(shí)踐的需要,數(shù)據(jù)采集規(guī)劃要有取樣導(dǎo)向,以確保所采數(shù)據(jù)能夠被分析,結(jié)論具有應(yīng)用價(jià)值。
(二)借鑒評(píng)價(jià)模型,科學(xué)設(shè)定序列指標(biāo)
一方面,學(xué)習(xí)借鑒常見(jiàn)評(píng)價(jià)模型。教育培訓(xùn)領(lǐng)域較為常用的評(píng)價(jià)模型有CIPP評(píng)價(jià)模型和柯氏四層次評(píng)價(jià)模型。CIPP評(píng)價(jià)模型認(rèn)為,為了改進(jìn)培訓(xùn)(而非證明),培訓(xùn)前、中、后期應(yīng)設(shè)置分段評(píng)價(jià)指標(biāo),細(xì)化為背景(Context)、輸入(Input)、過(guò)程(Process)和成果(Product)四個(gè)評(píng)價(jià)環(huán)節(jié)[4]??率纤膶哟卧u(píng)價(jià)模型著眼點(diǎn)在于,結(jié)合主觀反應(yīng)評(píng)價(jià)層級(jí)和實(shí)踐效果客觀評(píng)價(jià)層級(jí),并融入知行合一的考慮,包括反應(yīng)層/感知層、學(xué)習(xí)層/成果層、行為層/反饋層、結(jié)果層/效果層[5]的遞進(jìn)測(cè)量。
以上述兩個(gè)評(píng)價(jià)模型為借鑒,檢察教育網(wǎng)絡(luò)培訓(xùn)的評(píng)價(jià)機(jī)制應(yīng)注意更新評(píng)價(jià)設(shè)置思路,延伸評(píng)價(jià)時(shí)間跨度,從培訓(xùn)全流程擴(kuò)展到隊(duì)伍建設(shè)整體考慮評(píng)價(jià)設(shè)置的必要性和可行性,從“訓(xùn)前基礎(chǔ)能力—訓(xùn)中學(xué)習(xí)表現(xiàn)情況—訓(xùn)后水平提升”或“問(wèn)題需求調(diào)研—訓(xùn)前內(nèi)容匹配—訓(xùn)中學(xué)思調(diào)整—訓(xùn)后踐悟行動(dòng)”等方面進(jìn)行評(píng)估測(cè)量,掌握培訓(xùn)在不同時(shí)段不同層級(jí)產(chǎn)生的積極影響以及不足之處,并借助智能化手段比較其程度變化。
另一方面,根據(jù)檢察教育網(wǎng)絡(luò)培訓(xùn)特點(diǎn)和實(shí)際科學(xué)設(shè)定評(píng)價(jià)對(duì)象指標(biāo)。首先是網(wǎng)絡(luò)課程評(píng)價(jià)。根據(jù)評(píng)價(jià)主體包括課程定制方、課程設(shè)計(jì)人、主講人、聽(tīng)課人以及領(lǐng)域?qū)<?、同行、教育培?xùn)組織者等的專業(yè)方向和職責(zé)權(quán)威擬定評(píng)價(jià)方案,選擇采用定性或定量方法、分散或集中模式、打分或評(píng)星形式等。針對(duì)不同的課程類型如專題講授、案例教學(xué)、情景模擬、訪談研討、庭審觀摩、翻轉(zhuǎn)課堂[6]等的特點(diǎn)和要求,科學(xué)化指標(biāo)設(shè)置,同時(shí),課程評(píng)價(jià)與師資評(píng)價(jià)要進(jìn)行關(guān)聯(lián),以主講人的每一門(mén)課程評(píng)價(jià)為基礎(chǔ),匯總加權(quán)得出師資水平評(píng)價(jià)。具體指標(biāo)設(shè)置應(yīng)參照國(guó)家標(biāo)準(zhǔn)《干部網(wǎng)絡(luò)培訓(xùn)課程評(píng)價(jià)指標(biāo)》(GB/T38859-2020),在課程內(nèi)容、學(xué)習(xí)活動(dòng)、課程形式、在線學(xué)習(xí)支持等各方面做量化設(shè)計(jì),并可以豆瓣式留言補(bǔ)充主觀評(píng)價(jià)。評(píng)估結(jié)果總體呈現(xiàn)為百分制或十分制得分,可以多邊形雷達(dá)圖長(zhǎng)短邊形式展示不同維度優(yōu)缺點(diǎn)和均衡度,以評(píng)價(jià)關(guān)鍵詞字體顏色大小形式展示評(píng)估結(jié)果重點(diǎn)和課程特色亮點(diǎn)。
其次是培訓(xùn)班次評(píng)價(jià)。評(píng)價(jià)主體應(yīng)進(jìn)一步多元化,以助于立體化呈現(xiàn)班次在設(shè)計(jì)、組織實(shí)施、保障等各方面的水平效果,如綜合考慮主辦方、承辦方、組織管理方、學(xué)員、學(xué)員所在單位部門(mén)、授課人、領(lǐng)域?qū)<一蛲械鹊脑u(píng)估意見(jiàn)。在設(shè)置指標(biāo)時(shí),既要統(tǒng)一通用指標(biāo),如主題設(shè)置科學(xué)性、課程選配合理性、授課內(nèi)容指導(dǎo)性、師資多元水準(zhǔn)權(quán)威、班次組織功能發(fā)揮、交流互動(dòng)便捷高效等,可適用于所有班次,以實(shí)現(xiàn)總體評(píng)估可比性;也要留出指標(biāo)空間,根據(jù)班次類型如業(yè)務(wù)班次或是綜合班次,班次規(guī)模如全員班次或是條線班次,開(kāi)展培訓(xùn)的方式如線上班次或是線上線下融合班次等,設(shè)置符合班次培訓(xùn)規(guī)律、具有數(shù)據(jù)采集意義的特殊指標(biāo)。
最后是組織管理和技術(shù)保障評(píng)價(jià)。作為評(píng)價(jià)對(duì)象,組織管理既可以納入班次評(píng)價(jià),也可以單獨(dú)設(shè)置評(píng)價(jià)指標(biāo)。在開(kāi)展班次培訓(xùn)的場(chǎng)景下,指標(biāo)設(shè)置首先對(duì)齊具體班次的組織,同時(shí),因網(wǎng)絡(luò)培訓(xùn)涉及到平臺(tái)、工具的選擇、使用和幫助,評(píng)估項(xiàng)也可擴(kuò)大到學(xué)習(xí)輔助、檔案管理、用戶體驗(yàn)、技術(shù)咨詢等方面。在與課程整合方面,信息技術(shù)融合教學(xué)法并賦能教學(xué)內(nèi)容、創(chuàng)設(shè)學(xué)習(xí)環(huán)境是否充分有效,也可以作為單獨(dú)指標(biāo)或合并在課程評(píng)價(jià)指標(biāo)中,這也是網(wǎng)絡(luò)培訓(xùn)質(zhì)量評(píng)價(jià)區(qū)別于實(shí)體培訓(xùn)評(píng)價(jià)的重要特征。
(三)形成反饋閉環(huán),調(diào)整完善評(píng)估機(jī)制
在質(zhì)量評(píng)價(jià)機(jī)制標(biāo)準(zhǔn)化運(yùn)行后,隨著數(shù)據(jù)不斷積累,評(píng)估設(shè)置在某些方面的科學(xué)性不足將有所顯現(xiàn),管理部門(mén)應(yīng)注意評(píng)估結(jié)果趨同的低效信息和顯著離散值中的特殊信息等,通過(guò)跟蹤調(diào)研、會(huì)商總結(jié)等方式收集反饋意見(jiàn),進(jìn)一步在優(yōu)化指標(biāo)量化和分值賦權(quán)上下功夫[7],調(diào)整評(píng)估項(xiàng)目。同時(shí),考慮更為廣泛的評(píng)估意見(jiàn),明確應(yīng)予補(bǔ)充的評(píng)估環(huán)節(jié),從而完善評(píng)估機(jī)制。