摘要:程序設(shè)計(jì)類課程的實(shí)踐性很強(qiáng)，該類課程的考核評(píng)價(jià)應(yīng)特別注重考查學(xué)生的實(shí)際編程能力。而傳統(tǒng)的機(jī)試需要人工評(píng)判，不僅無法保證成績?cè)u(píng)定的公平性，而且對(duì)于抄襲的判別非常困難。本文提出用在線評(píng)測和抄襲檢測相結(jié)合的方法作為程序設(shè)計(jì)類課程的考核評(píng)價(jià)方法，并以“程序設(shè)計(jì)基礎(chǔ)”為例，詳細(xì)介紹考核評(píng)價(jià)的具體實(shí)施過程。實(shí)踐表明，該方法不僅考查了學(xué)生的實(shí)際編程水平，而且對(duì)考試抄襲的學(xué)生起到了震懾的作用，從而有效地督促學(xué)生學(xué)習(xí)。

關(guān)鍵詞:程序設(shè)計(jì);考核評(píng)價(jià);在線評(píng)測;抄襲檢測

1問題的提出

程序設(shè)計(jì)類課程與基礎(chǔ)理論類課程不同，其實(shí)踐性很強(qiáng)，注重學(xué)生實(shí)際編程能力的培養(yǎng)。因此，將筆試作為該類課程的考核評(píng)價(jià)方法，顯然是不可取的。目前，許多院校將機(jī)試納入程序設(shè)計(jì)類課程的考試當(dāng)中，比如學(xué)生在指定的時(shí)間內(nèi)現(xiàn)場提交程序，任課教師事后檢查。這種做法不但十分耗費(fèi)人力，而且由于人為因素較多，也無法保證成績?cè)u(píng)定的公平性。因而這種人工評(píng)判的上機(jī)考試較難推行。

此外，在程序設(shè)計(jì)類課程的教學(xué)中還存在一個(gè)不能回避的事實(shí)，互相抄襲程序代碼的現(xiàn)象也較為普遍。國外很多教育機(jī)構(gòu)針對(duì)程序設(shè)計(jì)課程的源代碼抄襲現(xiàn)象進(jìn)行的調(diào)查顯示:高達(dá)85.4%的學(xué)生承認(rèn)抄襲過別人的編程作業(yè)[1]。此類抄襲行為在國內(nèi)也十分普遍，近年來這一現(xiàn)象愈演愈烈，嚴(yán)重影響了學(xué)生個(gè)人素質(zhì)的提高，破壞了正常的教學(xué)秩序，同時(shí)使得眾多老師不得不在常規(guī)教學(xué)和考試中對(duì)雷同程序反復(fù)審核，既極大地消耗了任課教師的時(shí)間和精力，無形中增加了更為繁重的工作量，也無法確?？己说臏?zhǔn)確性與客觀性。

鑒于上述情況，在程序設(shè)計(jì)類課程中，采用何種考核評(píng)價(jià)方法才能較為準(zhǔn)確地考查學(xué)生的真實(shí)學(xué)習(xí)

水平是一個(gè)值得研究的問題。

2程序設(shè)計(jì)類課程考核評(píng)價(jià)方法的改革思路

筆者多年來一直從事程序設(shè)計(jì)類課程的教學(xué)工作，并與教學(xué)團(tuán)隊(duì)成員一起對(duì)該類課程進(jìn)行了深入地研究和實(shí)踐[2-5]，總結(jié)出一套行之有效的考核評(píng)價(jià)方法，我們將在線評(píng)測與抄襲檢測相結(jié)合，不僅考查了學(xué)生的實(shí)際編程水平，而且對(duì)考試抄襲的學(xué)生起到了震懾的作用，從而有效地督促學(xué)生學(xué)習(xí)。下面以“程序設(shè)計(jì)基礎(chǔ)”為例，與大家共同探討其考核評(píng)價(jià)方法。

2.1在線評(píng)測

在線評(píng)測(Online Judge，簡稱OJ)是個(gè)基于WWW的服務(wù)器端軟件系統(tǒng)，其主要功能包括:用戶注冊(cè)和管理、題庫管理、在線提交和實(shí)時(shí)評(píng)測、網(wǎng)上考試、討論、郵件服務(wù)等。該服務(wù)器上有一個(gè)豐富的題庫，題目包括ACM國際大學(xué)生程序設(shè)計(jì)競賽所公布的試題和我院師生自創(chuàng)的與教學(xué)內(nèi)容緊密結(jié)合的問題，每道題目包含文字描述、輸入數(shù)據(jù)文件和作為標(biāo)準(zhǔn)答案的輸出數(shù)據(jù)文件三個(gè)部分，只有文字描述部分對(duì)做題者是可見的。正確的程序應(yīng)該根據(jù)輸入數(shù)據(jù)，在限定時(shí)間范圍內(nèi)計(jì)算出標(biāo)準(zhǔn)輸出數(shù)據(jù)。做題者

基金項(xiàng)目:內(nèi)蒙古自治區(qū)高等教育教學(xué)成果重點(diǎn)資助項(xiàng)目“以系統(tǒng)平臺(tái)為主線構(gòu)建計(jì)算機(jī)專業(yè)課程體系的研究”(內(nèi)教高函[2006]27號(hào));內(nèi)蒙古自治區(qū)高等學(xué)校科學(xué)研究項(xiàng)目“程序代碼相似度度量研究”(NJ06109)。

作者簡介:張麗萍(1974-)，女，內(nèi)蒙古呼和浩特市人，副教授，碩士，研究方向?yàn)橛?jì)算機(jī)應(yīng)用。

根據(jù)題目文字描述編寫程序，編程語言可以選用C/C++、Java、Pascal等，編寫完成后在網(wǎng)頁中將源程序提交到服務(wù)器，服務(wù)器啟動(dòng)編譯器編譯該源程序并生成可執(zhí)行程序，然后再以輸入數(shù)據(jù)文件作為輸入啟動(dòng)該可執(zhí)行程序，并將程序的輸出結(jié)果和標(biāo)準(zhǔn)輸出數(shù)據(jù)文件(就是答案)進(jìn)行對(duì)比，完全一致則判為正確，否則判為錯(cuò)誤。在OJ上做題，能夠立即看到結(jié)果，對(duì)錯(cuò)分明，錯(cuò)了還可以修改后再次提交。用OJ進(jìn)行現(xiàn)場集中上機(jī)考試，十分方便，能夠比較準(zhǔn)確地反映學(xué)生的水平[6]。

實(shí)際上，在平時(shí)的上機(jī)實(shí)驗(yàn)環(huán)節(jié)中，我們就要求學(xué)生完成OJ提供的相關(guān)練習(xí)，由于學(xué)生人數(shù)比較多，采用了Online Judge在線評(píng)測系統(tǒng)對(duì)學(xué)生提交的作業(yè)進(jìn)行評(píng)判。一方面可以減輕教師的工作量，另一方面又可以減少因教師的主觀因素使評(píng)測尺度不統(tǒng)一。而學(xué)生在做題過程中，看到評(píng)測通過非常激動(dòng)，能讓學(xué)生有成功的喜悅和成就感，但又會(huì)刺激他們主動(dòng)去做更多的題，也給了他們新的挑戰(zhàn)。

2.2抄襲檢測

抄襲通常采用將一個(gè)程序進(jìn)行少量常規(guī)修改的手段。常規(guī)的修改主要包括下以幾個(gè)方面:逐字逐句的拷貝，更改注釋;增加空行或者改變書寫格式;標(biāo)識(shí)符重命名;代碼段重新排序;改變表達(dá)式中的操作數(shù)或者操作符的順序;改變數(shù)據(jù)類型;增加無關(guān)語句或者變量;用等價(jià)的結(jié)構(gòu)進(jìn)行替代。

檢測抄襲就是檢測一個(gè)程序是否通過對(duì)另一個(gè)程序的上述修改而來的。程序代碼相似性檢測技術(shù)能對(duì)程序集合中的每兩個(gè)程序進(jìn)行比對(duì)，找出一個(gè)程序?qū)α硪粋€(gè)程序經(jīng)過上述修改而來的相似代碼部分，得到描述程序相似程度的量化值，即相似度(similarity)，并且能夠?qū)蓚€(gè)程序的相似代碼部分進(jìn)行標(biāo)注，幫助用戶找出并判定抄襲的作業(yè)對(duì)象[7]。

目前已開發(fā)了多種用于抄襲檢測的系統(tǒng)，如Jplag、MOSS、YAP系列以及SIM等，檢測結(jié)果的錯(cuò)誤率比較低，速度比較快，能夠滿足程序抄襲檢測的需要。

判定一個(gè)學(xué)生抄襲了他人的作業(yè)是件比較嚴(yán)肅的事情，不能簡單的通過檢測系統(tǒng)得出的相似度大小就判定抄襲與否，還要經(jīng)過一系列的驗(yàn)證以確保判定結(jié)果正確。這個(gè)判定過程經(jīng)過下面四個(gè)階段 :收集(collection)、分析(analysis)、確認(rèn)(confirmation)、調(diào)查(investigation)。

(1) 收集階段。即收集要進(jìn)行抄襲檢測的作業(yè)，一般為同一題目的學(xué)生作業(yè)?？蓪W(xué)生提交的作業(yè)放在一個(gè)文件夾中等待檢測系統(tǒng)的檢測。

(2) 分析階段。用一種代碼相似性檢測系統(tǒng)(以下稱為檢測系統(tǒng))實(shí)現(xiàn)自動(dòng)檢測，此時(shí)教師將收集好的學(xué)生作業(yè)提交給檢測系統(tǒng)，經(jīng)過檢測系統(tǒng)的檢測可以得出每對(duì)程序的相似度，并對(duì)每對(duì)程序的相似區(qū)域進(jìn)行標(biāo)注，以幫助教師做進(jìn)一步的判斷。

(3) 確認(rèn)階段。對(duì)檢測系統(tǒng)得到的結(jié)果進(jìn)行核查，看是否某對(duì)程序中所有的相似代碼都被檢測出來，以及被檢測出相似的代碼段是否屬實(shí)。

(4) 調(diào)查階段。在確定抄襲之前教師還要對(duì)初步判定抄襲的學(xué)生作業(yè)對(duì)象進(jìn)行調(diào)查。調(diào)查可以分別向被懷疑同學(xué)詢問關(guān)于程序設(shè)計(jì)作業(yè)的解題思路及過程，也可以詢問其他同學(xué)或輔導(dǎo)老師關(guān)于被懷疑同學(xué)平時(shí)練習(xí)情況，盡量做到判定結(jié)果真實(shí)。

3程序設(shè)計(jì)類課程考核評(píng)價(jià)方法的實(shí)施過程

3.1在線評(píng)測

OJ系統(tǒng)是一個(gè)在線的判題系統(tǒng)，用戶可以在線提交程序多種程序源代碼，系統(tǒng)對(duì)源代碼進(jìn)行編譯和執(zhí)行，并通過預(yù)先設(shè)計(jì)的測試數(shù)據(jù)來檢驗(yàn)程序源代碼的正確性。一個(gè)用戶提交的程序在OJ系統(tǒng)下執(zhí)行時(shí)將受到比較嚴(yán)格的限制，包括運(yùn)行時(shí)間限制，內(nèi)存使用限制和安全限制等。用戶程序執(zhí)行的結(jié)果將被OJ捕捉并保存，然后再轉(zhuǎn)交給一個(gè)裁判程序。該裁判程序比較用戶程序的輸出數(shù)據(jù)和標(biāo)準(zhǔn)輸出樣例的是否存在差別，最后系統(tǒng)返回給用戶一個(gè)狀態(tài):通過(Accepted)、答案錯(cuò)誤(Wrong Answer)、超時(shí)(Time Limit Exceed)、超內(nèi)存(Memory Limit Exceed)、運(yùn)行時(shí)錯(cuò)誤(Runtime Error)或是無法編譯(Compile Error)，并返回程序使用的內(nèi)存、運(yùn)行時(shí)間等信息。

在研究中，我們選取了2007級(jí)選修“程序設(shè)計(jì)基礎(chǔ)”課的學(xué)生作為樣本，共346人同時(shí)使用在線評(píng)測系統(tǒng)參加期末考試，要求5小時(shí)內(nèi)完成10個(gè)編程題。從收集的數(shù)據(jù)來看，這種考試具有極高的區(qū)分度。有的同學(xué)3小時(shí)內(nèi)可以完成10個(gè)題，有的同學(xué)1道題也不能通過，有的同學(xué)完成某個(gè)簡單題只要5分鐘，有的同學(xué)則要5小時(shí)。

我們提供的在線評(píng)測系統(tǒng)的網(wǎng)址為http://acm.cs. imnu.edu.cn，現(xiàn)有340多道訓(xùn)練、競賽題，所有評(píng)測工作全部由系統(tǒng)來完成，現(xiàn)有注冊(cè)用戶2276人，供廣大學(xué)生學(xué)習(xí)程序設(shè)計(jì)類課程和參加競賽訓(xùn)練使用。在線評(píng)測系統(tǒng)所使用的技術(shù)先進(jìn)，可靠性好，健壯性強(qiáng)。經(jīng)過3年使用，完全適應(yīng)無紙化考試的要求，從收集的數(shù)據(jù)來看，這種考試具有極高的信度和區(qū)分度，能考查出學(xué)生真實(shí)的編程水平，并在全校的程序設(shè)計(jì)語言公共課中推廣使用。

3.2抄襲檢測

相似度是反映兩對(duì)程序相似情況的量化值，這個(gè)值越大說明越相似。對(duì)于程序代碼比較短的情況，得到的相似度普遍要大一些。這是因?yàn)閷?duì)于比較簡單的作業(yè)，解決問題的方法大多比較集中，所以不考慮互相抄襲的情況，兩個(gè)程序也由于解決問題的方法相似造成有較大的相似度結(jié)果值。但對(duì)于相似度是100%的程序?qū)?，判定為抄襲的可能性還是很大的，因?yàn)榫退闶窃俸唵蔚某绦?，也不可能兩個(gè)人編寫的完全一致。對(duì)于作業(yè)代碼長一些的程序，解決問題的方法相應(yīng)會(huì)更多一些，不存在抄襲而達(dá)到較高的相似度的情況可能性會(huì)更小一些。所以對(duì)于相似度是100%的程序?qū)?，判定為抄襲的可能性就更大了。具體實(shí)施過程如下。

3.2.1收集

對(duì)于通過在線測試的學(xué)生程序，將它們放在一個(gè)

文件夾中，完成程序收集階段的工作，等待檢測系統(tǒng)的檢測，以找出存在抄襲嫌疑的作業(yè)對(duì)象。

3.2.2分析

將收集好的學(xué)生作業(yè)提交給檢測系統(tǒng)，檢測系統(tǒng)對(duì)指定文件夾的程序進(jìn)行自動(dòng)檢測，得出檢測結(jié)果。檢測結(jié)果一般以網(wǎng)頁的形式反饋給用戶，其中包含相似度在某一閾值以上的每對(duì)程序的相似度信息。不同的檢測系統(tǒng)根據(jù)實(shí)際情況設(shè)定了不同的閾值，這是因?yàn)閷?duì)于相似度小的程序?qū)χ挥胁糠执a相似，判定為兩者之間是互相抄襲的可能性比較小，因此系統(tǒng)不提供小于這個(gè)閾值的程序?qū)Φ木唧w相似信息，以提高速度與效率。

我們從期末考試題目中選擇了“求圓面積”問題作為抄襲檢測的對(duì)象。題目要求如下:

有一個(gè)形狀類CShapes，從此類派生出圓形類(包括圓心坐標(biāo)及圓的半徑)，在派生類中計(jì)算圓的面積，并用基類成員函數(shù)displayarea()輸出圓形面積area。

如圖1為使用德國卡爾斯魯厄(Karlsuhe)大學(xué)的Jplag檢測系統(tǒng)對(duì)上述題目考試結(jié)果檢測后得到的檢測結(jié)果的首頁信息。在圖中可以查看相似度為100%的每對(duì)程序相似度的情況。使用該檢測系統(tǒng)可以訪問網(wǎng)站http://www.ipd.uni-karlsruhe.de/jplag。

教師可將相似度大的作業(yè)對(duì)作為重點(diǎn)抄襲嫌疑對(duì)象，對(duì)它們進(jìn)行人工核查。經(jīng)過分析階段的工作可以縮小核查范圍，提高檢測效率。

圖1Jplag檢測系統(tǒng)的檢測結(jié)果

3.2.3確認(rèn)

由于被檢測的每個(gè)作業(yè)的代碼長度在50行左右，對(duì)于學(xué)生作業(yè)來說代碼較短，所以本次人工檢測

的相似度閾值可以設(shè)定為100%。點(diǎn)擊圖1中的相似度值部分就可查看兩個(gè)程序的相似代碼區(qū)域，每部分相似的代碼區(qū)域都會(huì)用同一種顏色進(jìn)行標(biāo)注，幫助教師進(jìn)一步核查抄襲與否?？蓞⒁妶D2。

圖2程序的相似代碼區(qū)域

3.2.4調(diào)查

調(diào)查階段對(duì)經(jīng)過分析與確認(rèn)初步判定抄襲的作業(yè)對(duì)象進(jìn)行調(diào)查。可將被懷疑同學(xué)單獨(dú)叫過來詢問關(guān)于解題過程與思路等具體細(xì)節(jié)，以確定被懷疑同學(xué)的作業(yè)是否經(jīng)過抄襲而來。經(jīng)過上面的檢測過程基本上能夠找出存在抄襲行為的學(xué)生，然后采取一定的措施對(duì)其進(jìn)行處罰，最終實(shí)現(xiàn)減少抄襲再次發(fā)生的目的。

4結(jié)語

隨著計(jì)算機(jī)科學(xué)在人工智能、程序理解等領(lǐng)域的發(fā)展，使用計(jì)算機(jī)進(jìn)行考核評(píng)價(jià)已成為傳統(tǒng)的筆試考核方式的有益補(bǔ)充。在程序設(shè)計(jì)類課程的考核中存在

程序代碼自動(dòng)評(píng)測和抄襲檢測的難題，而自動(dòng)評(píng)測與抄襲檢測同時(shí)也是計(jì)算機(jī)應(yīng)用技術(shù)中的兩個(gè)重要的科學(xué)問題。如何將教學(xué)研究與科學(xué)研究相結(jié)合，運(yùn)用技術(shù)手段解決教學(xué)實(shí)際當(dāng)中的問題已刻不容緩。本文提出利用在線評(píng)測和抄襲檢測相結(jié)合的方法，對(duì)程序設(shè)計(jì)類課程進(jìn)行考核評(píng)價(jià)，這樣做既能考查出學(xué)生真實(shí)的編程水平，又能從一定程度上減少抄襲現(xiàn)象的發(fā)生，從而促進(jìn)學(xué)生學(xué)習(xí)，同時(shí)大大減輕了教師進(jìn)行人工評(píng)測機(jī)試程序和人工判別抄襲學(xué)生的工作負(fù)擔(dān)。事實(shí)上，最好的辦法還是應(yīng)該讓學(xué)生樹立正確的道德觀念，培養(yǎng)學(xué)生對(duì)程序設(shè)計(jì)類課程的興趣，使他們自覺自愿地學(xué)習(xí)，并從中獲得成就感，這樣才能從根本上解決問題。

參考文獻(xiàn):

[1]Georgina C， Mike J. Source2code plagiarism: A UK academic perspective[R]. Research Report RR-422， Department of Computer Science， University of Warwick， 2006.

[2] 張麗萍，劉東升. 程序設(shè)計(jì)精品課程建設(shè)的研究與實(shí)踐[J]. 內(nèi)蒙古師范大學(xué)學(xué)報(bào):教育科學(xué)版，2007(1):109-111.

[3] 張麗萍，劉東升. 關(guān)于精品課程“程序設(shè)計(jì)”的建設(shè)方案[C]. //大學(xué)計(jì)算機(jī)基礎(chǔ)課程報(bào)告論壇論文集(2006). 北京:高等教育出版社，2006.

[4] 劉東升，孟繁軍，張麗萍，等. 程序設(shè)計(jì)基礎(chǔ)創(chuàng)新型教學(xué)模式的構(gòu)建與實(shí)踐[J]. 計(jì)算機(jī)科學(xué)，2007(8):400-402.

[5] 劉東升，孟繁軍，張麗萍，等. 程序設(shè)計(jì)類課程實(shí)驗(yàn)環(huán)境的研究[C]. //大學(xué)計(jì)算機(jī)基礎(chǔ)課程報(bào)告論壇論文集(2005). 北京:高等教育出版社，2006.

[6] 郭瑋，李文新. 程序設(shè)計(jì)類實(shí)習(xí)課程如何準(zhǔn)確考查學(xué)生學(xué)習(xí)情況[J]. 吉林大學(xué)學(xué)報(bào)，2005(8):99-103.

[7] 王春暉，程金宏，孟繁軍，等. 程序代碼相似性檢測技術(shù)在教學(xué)中的應(yīng)用[J]. 計(jì)算機(jī)教育，2007(12):137-139.

Reform and Practice of Evaluation Method for Programming Courses

ZHANG Li-ping， LIU Dong-sheng， WANG Chun-hui

(Computer Information Engineering College， Inner Mongolia Normal University， Inner Mongolia Huhhot 010022， China)

Abstract: Programming courses is a practical subject， this course evaluation should be paid special attention to the actual programming examines student ability. But the traditional machine try to judge， not only it can not guarantee fairness grades， but also the discrimination of plagiarism is very difficult. In this paper， using online judge and plagiarism detection method of combining the programming courses as evaluation method， and with \"Programming fundamentals\" as an example， the detailed introduction of evaluation specific implementation process. A practice show that this method is not only examines the student's actual programming， but also played a deterrent effect， thus effectively supervise students learning.

Key words: programming; evaluation; online judge; plagiarism detection

(編輯:彭遠(yuǎn)紅)