古 平，張 程，孫天昊，李 佳，楊瑞龍

（重慶大學 計算機學院，重慶 400044）

0 引言

形成性評價也稱過程性評價，是指在教學過程中對學生的學習過程進行評價的方式。形成性評價采取目標與過程并重的價值取向，著重關(guān)注學生的學習效果、過程、參與程度和學習態(tài)度等。教師通過形成性評價可以獲得更加全面的反饋信息，使學生的學習策略與教師的教學方法同時得到改進和優(yōu)化，促進教與學的協(xié)調(diào)發(fā)展。

形成性評價可以解決傳統(tǒng)總結(jié)性評價的很多問題，因此國內(nèi)研究者逐漸將其引入相關(guān)教學活動，如與網(wǎng)絡(luò)教學手段相結(jié)合，實現(xiàn)全過程的信息采集與評價[1-2]；通過學生自評與互評，實現(xiàn)建構(gòu)主義學習理論[3-4]；通過構(gòu)建發(fā)展性評價系統(tǒng)[5]，實現(xiàn)多元化評價及結(jié)果可視化[6]等。但這些研究均與計算機專業(yè)實踐特征和能力要求不符，因此教學、應(yīng)用過程中面臨以下幾個問題：①以實驗為核心的形成性評價體系研究不足，計算機作為一門實踐性較強的學科，其形成性評價內(nèi)容、指標和方法均與理論教學不同，需要針對性的研究與設(shè)計；②完整、及時的過程數(shù)據(jù)采集對實驗形成性評價的準確性尤為重要，但現(xiàn)有研究過度依賴人工觀察和采集，無法支撐大數(shù)據(jù)環(huán)境下的形成性評價體系。

1 程序設(shè)計實踐中的形成性評價體系

1.1 形成性評價思路

應(yīng)將程序設(shè)計實驗的各個環(huán)節(jié)與形成性評價相結(jié)合，通過自動或半自動方式采集實驗過程相關(guān)數(shù)據(jù)，利用大數(shù)據(jù)分析與處理方法，形成反映學生實踐能力的多維評價體系，進而準確地對學生在知識、技能、能力、態(tài)度等方面進行評價。

1.2 形成性評價主體

傳統(tǒng)評價體系中多采取教師評價與學生自評、互評的方式，因此評價主體主要為教師、學生。但無論是教師還是學生，其評價過程的主觀性都較強，有時還存在一定的隨意性和片面性。因此，本研究將計算機應(yīng)用也作為形成性評價的主體之一，既可以獨立參與對學生特定實踐能力的評價，也可以為教師評價提供輔助決策。

1.3 形成性評價內(nèi)容

程序設(shè)計類實驗一般由算法設(shè)計、編碼、測試、調(diào)試、發(fā)布、報告編寫等過程組成，涉及的形成性評價內(nèi)容主要包括實驗方案設(shè)計、實驗操作過程、實驗數(shù)據(jù)記錄、計算機程序源碼、實驗報告、實驗態(tài)度等。評價內(nèi)容不同，數(shù)據(jù)獲取方式也不同，如實驗方案設(shè)計、實驗報告、計算機程序等電子文檔，由于實時性要求較低，可以通過系統(tǒng)上傳獲??；實驗態(tài)度可部分通過人臉識別系統(tǒng)自動記錄、匯總學生出勤情況獲得。

實驗過程數(shù)據(jù)采集最為復雜，一方面其實時性要求很高，另一方面隨著實驗進程，數(shù)據(jù)量將呈爆發(fā)式增長，傳統(tǒng)的事后采集或人工采集方式顯然無法滿足這一特殊需求。因此，本研究將大數(shù)據(jù)技術(shù)引入形成性評價系統(tǒng)，利用學生客戶端駐留程序，實時、自動地采集學生在程序開發(fā)過程中產(chǎn)生的關(guān)鍵數(shù)據(jù)，通過數(shù)據(jù)清洗和預處理，轉(zhuǎn)化為結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，再通過關(guān)系數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫（如NoSQL）進行混合存儲。

1.4 形成性評價指標

評價指標無疑是形成性評價體系的核心，本研究主要結(jié)合程序設(shè)計的能力要求和形成過程，設(shè)計了以下形成性評價指標，見表1。

表1 面向程序設(shè)計類實驗的形成性評價指標

2 面向程序設(shè)計實驗的形成性評價支持系統(tǒng)設(shè)計

2.1 軟件架構(gòu)設(shè)計

整個評價支持系統(tǒng)由4部分組成：客戶端采集子系統(tǒng)、數(shù)據(jù)存儲與加工子系統(tǒng)、形成性評價分析子系統(tǒng)、評價子系統(tǒng)，其總體架構(gòu)見圖1。

客戶端采集子系統(tǒng)提供多種途徑實現(xiàn)基礎(chǔ)數(shù)據(jù)采集功能，主要由學生客戶端駐留模塊和面部識別考勤模塊組成；數(shù)據(jù)存儲與加工子系統(tǒng)負責接收實時或非實時實驗數(shù)據(jù)，清洗和預處理后，通過MySQL和NoSQL混合存儲；形成性評價分析子系統(tǒng)作為本系統(tǒng)的核心，主要通過多種數(shù)據(jù)分析、處理技術(shù)，對學生實踐能力提供多維可視化和評價量化分析；評價子系統(tǒng)一方面提供教師實驗報告檢查、批閱、綜合評價功能，同時利用反饋機制實現(xiàn)由“實踐”到“理論”教學的反向閉環(huán)。

圖1 形成性評價支持系統(tǒng)總體架構(gòu)圖

2.2 主要模塊設(shè)計

2.2.1 代碼靜態(tài)評測

代碼靜態(tài)評測是指不需要運行源程序，通過程序理解、語義分析等方法對源程序進行質(zhì)量評價，其在形成性評價中的應(yīng)用模式主要有3種：用于教師評價學生語法熟悉情況；用于教師評價學生算法設(shè)計能力；解決學生程序無法執(zhí)行時的質(zhì)量評價問題。

2.2.2 代碼自動評測

好的軟件應(yīng)該在功能、性能、界面、安全性等多個方面滿足產(chǎn)品質(zhì)量標準。除界面、安全性等指標外，軟件功能、性能均可以通過代碼自動評測實現(xiàn)。功能評測主要建立在程序編譯、執(zhí)行結(jié)果和預期結(jié)果對比的基礎(chǔ)上。對部分編譯無法通過的程序，系統(tǒng)提供簡單糾錯功能，如果仍然無法運行，則轉(zhuǎn)而執(zhí)行靜態(tài)評測。性能測試主要通過分析程序執(zhí)行CPU時間、內(nèi)存使用量、數(shù)據(jù)訪問量等實現(xiàn)。

2.2.3 代碼與報告查重

代碼和報告對程序設(shè)計實驗而言非常重要，但又極易通過抄襲完成，因此，引入抄襲檢測，一方面可以反映學生的實驗態(tài)度，也可以作為督促學生獨立、自主實踐的一種手段。

針對某些學生為了逃避抄襲檢測，可能采取改變變量名、顛倒語句順序、增加無關(guān)代碼等方式掩蓋抄襲行為的問題，本系統(tǒng)在傳統(tǒng)串處理方法基礎(chǔ)上，利用位置無關(guān)的“指紋”信息進行代碼比較，提高了查重的效率。圖2為班級內(nèi)代碼查重的情況。如果對上述數(shù)據(jù)進行聚類分析，可以進一步發(fā)現(xiàn)多個學生之間直接或間接抄襲的情況，見圖3。

報告查重的原理、方法與代碼查重基本相似，但其內(nèi)容更復雜，如含有圖、表抄襲檢測。本系統(tǒng)采取PHash算法與OCR字識別相結(jié)合的思路，在降低抄襲圖表誤檢、漏檢率的同時，保證了系統(tǒng)的運行效率。

2.2.4 程序開發(fā)過程分析

通過對程序開發(fā)過程的跟蹤、分析，有助于準確掌握學生的語法熟悉情況、程序調(diào)試能力以及實驗態(tài)度等，其數(shù)據(jù)主要源自駐留在學生客戶端的數(shù)據(jù)采集子系統(tǒng)，主要包括剪貼板數(shù)據(jù)、編譯錯誤數(shù)據(jù)、調(diào)試結(jié)果對比數(shù)據(jù)、編譯錯誤修復時間、邏輯錯誤修復時間、輸入代碼量、程序執(zhí)行結(jié)果等。

2.2.5 報告輔助批閱

在格式審查的基礎(chǔ)上，自動從實驗報告文檔中抽取規(guī)格化信息，并根據(jù)報告模板生成待批閱電子報告，教師直接通過系統(tǒng)對實驗報告進行在線評閱，所有批閱信息最后再反向?qū)懭朐瓐蟾嫖臋n中，見圖4。

3 應(yīng)用效果分析

為了驗證支持系統(tǒng)對形成性評價的有效性，實驗選取學院計科、網(wǎng)絡(luò)專業(yè)的程序設(shè)計課程Java程序設(shè)計進行初步應(yīng)用，每次實驗課16學時，共分4次進行。

首先，通過隨機抽取的超過200份樣本，對評價支持系統(tǒng)的準確性和效率進行分析。結(jié)果顯示，系統(tǒng)對報告查重的誤報率和漏檢率為14%和10%，對源碼查重的誤報率和漏檢率為18%和6%。其次，從運行效率上看，人工評閱報告的時間約為2分鐘/每份，人工評閱程序的時間約為5分鐘/每份，而評價支持系統(tǒng)則在1～2秒/每份。更為關(guān)鍵的是，評價支持系統(tǒng)應(yīng)用以后，學生的抄襲情況明顯好轉(zhuǎn)，實驗態(tài)度得到極大改善。

圖2 某班級內(nèi)實驗源碼查重情況圖示

圖3 某班級內(nèi)代碼抄襲團結(jié)構(gòu)圖示

圖4 實驗報告輔助批閱功能圖示

其次，在保持理論教學、實踐內(nèi)容相同的情況下，在一個專業(yè)中應(yīng)用評價支持系統(tǒng)，而作為對照在另一專業(yè)中仍然使用傳統(tǒng)評價方式。通過期末組織的上機獨立水平測試，可以發(fā)現(xiàn)兩組學生在實驗完成率、正確率、優(yōu)秀率等指標上表現(xiàn)出一定的差異，見表2。實驗結(jié)果表明，使用形成性評價支持系統(tǒng)對提升學生的程序設(shè)計能力效果明顯，表明形成性評價確實起到了引導、反饋和改善的效果。

此外，在兩種評價方式下，分別從原實驗考核成績?yōu)椤皟?yōu)”“良”“中”的學生中各抽取12、30、16名學生作為觀察樣本，在完成上述獨立水平測試后，對比其水平測試成績與原實驗考核成績，見表3，可以發(fā)現(xiàn)使用形成評價支持系統(tǒng)對學生的能力評價更為準確、客觀。

表2 形成性評價支持系統(tǒng)對學生實踐能力影響 %

4 結(jié)語

形成性評價是現(xiàn)階段教學評價的熱點，但在計算機專業(yè)實驗教學中應(yīng)用很少，其主要原因在于復雜的實驗環(huán)節(jié)需要教師投入過多的精力設(shè)計評價活動，采集、分析數(shù)據(jù)。本文以大數(shù)據(jù)分析技術(shù)為基礎(chǔ)，設(shè)計了一套面向程序設(shè)計類實驗的形成性評價方法、體系，并開發(fā)了一套集多種功能于一體的輔助支持系統(tǒng)。通過在實際教學中的應(yīng)用，證明了該系統(tǒng)對提高學生實踐能力的有效性，但由于系統(tǒng)仍處于試運行階段，所選實驗樣本有限，還需要進一步驗證和優(yōu)化，并逐漸提升系統(tǒng)的準確性與應(yīng)用范圍。

表3 兩種評價方式下的準確性對比