王 晶 余和芬 程 杉

（首都醫(yī)科大學(xué)基礎(chǔ)醫(yī)學(xué)院，北京 100069）

綜合性考試是當(dāng)前高等教育教學(xué)評價中的最重要環(huán)節(jié)之一，這種考試方法不僅用于學(xué)生課程結(jié)業(yè)考試，更在教學(xué)過程中的形成性考核中廣泛使用[1]。主觀題目以往主要是通過人工評判，耗時時間相對較長，工作強(qiáng)度大，存在主觀錯誤或偏差風(fēng)險。因此，主觀題評閱的自動化或半自動化處理是考試系統(tǒng)及其應(yīng)用雖然困難較大且較少嘗試的一個領(lǐng)域，一直以來是很多教育工作者的期待或夢想。近年來，隨著計算機(jī)技術(shù)及互聯(lián)網(wǎng)技術(shù)的發(fā)展和優(yōu)化[2]，當(dāng)前的技術(shù)已經(jīng)開始為這一問題的解決提供了現(xiàn)實的可行性[3]。一旦通過不斷地試驗和改進(jìn)能夠?qū)崿F(xiàn)主觀題的機(jī)器評分達(dá)到與人工閱卷的穩(wěn)定性和誤差相近的效果和水平，也就表明相應(yīng)的算法和系統(tǒng)可以進(jìn)入實用階段，這無疑也將會是自動化無紙化考試系統(tǒng)研發(fā)的一個突破性的里程碑。

在生物醫(yī)藥類全國性大型考試如國家執(zhí)業(yè)醫(yī)師資格考試，全國中學(xué)生生物學(xué)競賽考試及研究生入學(xué)西醫(yī)綜合和科目考試等等，應(yīng)用計算機(jī)輔助評估（computer-aided evaluation，CAE）系統(tǒng)自動化閱卷已成為常態(tài)。但傳統(tǒng)的CAE 系統(tǒng)均僅支持在多個選項框架下的標(biāo)準(zhǔn)化試題，而并未支持主觀題答題的讀判[4]。

自2015年以來，本?；A(chǔ)醫(yī)學(xué)院多個學(xué)系逐步推廣使用基于網(wǎng)絡(luò)B/S（browser/server）構(gòu)架的TCExam 開源在線考試系統(tǒng)結(jié)合自定制題庫接口程序模塊的“便攜式自啟動在線考試系統(tǒng)”[5]，并已經(jīng)服務(wù)多個學(xué)院學(xué)科的多類型考試。經(jīng)過數(shù)年來的探索、改進(jìn)和積累，我們在對選擇題型評判評分實現(xiàn)全面支持的基礎(chǔ)上，通過借鑒語言學(xué)和人工智能的實用原理及常用算法，建立了主觀題自動閱卷的參考評分策略，并且完成了對已有系統(tǒng)的修改和升級以及實用場景測試。

1 便攜式自啟動在線考試系統(tǒng)的推廣應(yīng)用案例和總結(jié)

該系統(tǒng)已經(jīng)成熟的應(yīng)用在多個考試場景中，基本上滿足了大多數(shù)科目學(xué)業(yè)考試和形成性評價的主要需求，充分體現(xiàn)了該系統(tǒng)的靈活性及出色的性價比。在系統(tǒng)推廣和擴(kuò)大應(yīng)用的過程中，我們還系統(tǒng)解決了電子試卷和原始答題文件的存儲歸檔及考分記錄的查詢檢索問題。傳統(tǒng)考試管理中，試卷的保密、保存和痕跡管理一個重要環(huán)節(jié)，在學(xué)生畢業(yè)之前的全部考卷需要妥善保存和歸檔，空間和配套資源要求很高，還要考慮到隨時的復(fù)核、抽檢和查詢。由于醫(yī)學(xué)生的學(xué)制較長，考試科目較多，需要嚴(yán)格的保密，相應(yīng)的成本更大。試卷查詢及回溯抽檢等工作的人力消耗也是不容忽視的問題。在電子化無紙考試系統(tǒng)內(nèi)解決傳統(tǒng)考試中試卷管理等同的規(guī)范化歸檔和查詢難題是發(fā)揮其優(yōu)勢的必需環(huán)節(jié)。由于原系統(tǒng)基于移動U 盤，對于存儲的保密性、權(quán)威性和可靠性有所疑慮。為此我們采取了一些針對性的解決措施。對于每次考試的記錄采取了三重保密及備份，一是對整個磁盤的全盤“凍存式”備份與考試監(jiān)考記錄等文件并入傳統(tǒng)紙媒方式保存；二是在TCExam 管理后臺對MySQL 數(shù)據(jù)庫資料導(dǎo)出備份；三是可加載的鏡像文件方式制作每次考試的工作狀態(tài)文件并且以日期碼標(biāo)注，此類文件由在U 盤考試系統(tǒng)中獨立加載，以只讀方式高效便捷地進(jìn)行各種考試相關(guān)數(shù)據(jù)的查詢，以及歸類統(tǒng)計。

2 移動在線考試服務(wù)系統(tǒng)的搭建及其在不同課堂規(guī)模下的應(yīng)用

隨著智能手機(jī)終端的普及及無線互聯(lián)網(wǎng)網(wǎng)速的飛速提升，由智能手機(jī)終端聯(lián)合無線互聯(lián)網(wǎng)衍生出的一系列“互聯(lián)網(wǎng)+智能手機(jī)”解決方案，已經(jīng)滲入到日常生活工作及學(xué)習(xí)的各個場景。充分利用了智能手機(jī)性能的提升結(jié)合校園無線互聯(lián)網(wǎng)的發(fā)展和升級，我們將先期研發(fā)的“便攜式自啟動在線考試系統(tǒng)”進(jìn)一步升級為不需要任何服務(wù)器和計算機(jī)房及終端的移動平臺，除了在個別區(qū)域的無線路由器需求以外，建成了“零成本”的“智能移動在線考試系統(tǒng)”（圖1）。

圖1 在線考試系統(tǒng)構(gòu)建與信息處理策略

關(guān)于考試軟件和服務(wù)器的架設(shè)，包括全網(wǎng)服務(wù)和課堂服務(wù)兩種規(guī)模配置。前者可以使用基于Linux 系統(tǒng)下B/S 構(gòu)架的TCExam 接入方法[6]；而后者的移動解決方案中，我們嘗試了將全功能的考試服務(wù)器集成在普通的智能手機(jī)中。系統(tǒng)的搭建選擇了Palapa Web Server (PWS)軟件的使用，將其安裝到獲得“Root 訪問”權(quán)限的Android 操作系統(tǒng)手機(jī)。PWS 集成了PHP和MySQL包，支持?jǐn)?shù)據(jù)庫的Access和管理操作，整合Lighttpd 網(wǎng)站服務(wù)器后可以使普通的手機(jī)移動設(shè)備轉(zhuǎn)變成為一個移動的網(wǎng)站和數(shù)據(jù)服務(wù)器。即使在校園網(wǎng)無線網(wǎng)絡(luò)不能覆蓋的環(huán)境中，該系統(tǒng)可通過一個預(yù)設(shè)節(jié)點的無線網(wǎng)絡(luò)路由器隨時建立動態(tài)的考試服務(wù)網(wǎng)站。

經(jīng)過改進(jìn)的考試系統(tǒng)在應(yīng)用中表現(xiàn)出明顯優(yōu)勢：①依托校園網(wǎng)絡(luò)的考試服務(wù)可以使考試的組織不必僅僅局限在特定局域網(wǎng)中的考場電子教室；②隨著智能手機(jī)網(wǎng)頁瀏覽器作為用戶輸入接口的實現(xiàn)，可以使考試場景徹底擺脫對個人電腦等設(shè)備需求；③智能手機(jī)作為網(wǎng)絡(luò)服務(wù)器節(jié)點及考試軟件的成功安裝，配合無線路由器的使用，使所提供的考試服務(wù)徹底實現(xiàn)了移動化，并且可以完全實現(xiàn)不同規(guī)模下的應(yīng)用?？荚囅到y(tǒng)操作的靈活性和應(yīng)用規(guī)模的可延展性，對包括課堂練習(xí)或隨堂測驗等考試場景、以及人員簽到等應(yīng)用的支持非常豐富，廣受師生歡迎。此外，本次改進(jìn)升級不僅為電子化無紙考試的進(jìn)一步推廣掃除了成本門檻，而且隨著其在不同課堂規(guī)模下的應(yīng)用，使教師在考試組織、題目質(zhì)量和電子閱卷等方面得到了培訓(xùn)及從事相關(guān)研究的支持平臺。

3 主觀題目智能輔助自動閱卷方案的建立和嘗試

隨著計算機(jī)技術(shù)的發(fā)展，人工智能研究和應(yīng)用開始進(jìn)入到自然語言處理（Natural Language Processing，NLP）領(lǐng)域，成為語言學(xué)研究中的熱點之一。完成對語義的理解，這在本質(zhì)上屬于一種在認(rèn)知層面上的“降維”過程。NLP 對長文本字符相似度的判別，一般可根據(jù)語句的長短，復(fù)雜程度運(yùn)用不同的處理方法，分為字面編輯距離計算和語義相似性計算。字面編輯距離僅考慮不同文本之間的字面距離，如文本A 至文本B 的插入、刪除、替換次數(shù)，次數(shù)越多，距離越遠(yuǎn)；語義相似性判定則需要做到從語義的層次進(jìn)行度量，忽略其字面編輯距離的差別。

專業(yè)課程的主觀題目的答題文本具有關(guān)鍵詞詞庫規(guī)范性好、數(shù)量有限、且集中出現(xiàn)頻度高等多種特點，相對于日常的自然語言處理在算法上較為容易。在醫(yī)學(xué)專業(yè)課程的教學(xué)過程中，統(tǒng)編規(guī)劃教材的使用強(qiáng)調(diào)術(shù)語的規(guī)范化”，為降低文字評判系統(tǒng)時語義相似性差異帶來的評判誤差奠定了很好的基礎(chǔ)。具體針對不同的主觀考試題型，我們分別建立了相應(yīng)的評分策略。填空題可轉(zhuǎn)化為多選標(biāo)準(zhǔn)化考試題的一種變體形式，即窮舉全部可能的正確回答，編列為參考答案選項，互為“或”的關(guān)系。名詞解釋及簡答題的評分首先需要對答案進(jìn)行“降維”處理，考慮關(guān)鍵詞以及關(guān)鍵詞出現(xiàn)的順序，本質(zhì)上是將名詞解釋轉(zhuǎn)化為系列的“填空題”；將簡答題分段為邏輯序串的詞匯解釋。對目標(biāo)文本中關(guān)鍵詞的出現(xiàn)及其順序、頻次或、同義詞轉(zhuǎn)化等預(yù)處理，可以有效避免學(xué)生回答問題時文本長度差異和無效無義文字造成的判讀干擾。經(jīng)預(yù)處理的目標(biāo)文本語句與標(biāo)準(zhǔn)答案語句的字面編輯距離基本可以用作評分的主要參考。

字面編輯距離的計算方法很多，如Levenshtein 距 離（Levenshtein Distance，LD）[7]和Jaro-Winkler 距 離（Jaro-Winkler Distance，JWD）[8]。Levenshtein 距離是根據(jù)字符串A 變化到字符串B 所需要替換、插入及刪除的次數(shù)，對比字符串的長度，計算得出兩個字符串之間的距離，廣泛應(yīng)用在DNA 序列的比對以及文本的拼寫檢查等工作中，以及通過比對學(xué)生答案間的相似度發(fā)現(xiàn)作弊行為。LD 算法在短字符串間的嚴(yán)苛比對中對差異的體現(xiàn)較好，而對需要考慮詞序并兼顧文義的較長句段我們選用Jaro-Winkler 距離（Jaro-Winkler Distance，JWD）作為參數(shù)，其算法對起始部分相同的字符串給予更高的分值權(quán)重。JWD 值的分布密度較高，更適用于對整句或段落的得分評判。LD 算法與JWD 算法可以聯(lián)合使用，再按照不同的權(quán)重給出綜合評分（表1）。

表1 生物學(xué)考試題型參考答案設(shè)置及得分判定

根據(jù)不同題型的評分策略在Excel 的VBA腳本中實現(xiàn)并經(jīng)優(yōu)化和測試后，改由php 程序語言編寫成為可接入TCExam 考試系統(tǒng)的獨立運(yùn)行腳本，其中的批處理SQL 操作指令可以使考試系統(tǒng)管理員通過web 后臺方式對TCExam數(shù)據(jù)庫的人工評判得分字段內(nèi)容進(jìn)行修改。由算法得到的智能評分可以在TCExam 的高等級用戶登錄中通過教師評分界面進(jìn)行顯示，供人工閱卷作為參考；教師可就發(fā)現(xiàn)的問題進(jìn)行修改和備注，為后續(xù)進(jìn)一步的算法優(yōu)化提供思路和依據(jù)。

4 關(guān)于后續(xù)升級和改進(jìn)的思路

本系統(tǒng)將隨著應(yīng)用的拓展和數(shù)據(jù)的累積得到不斷改進(jìn)，最終目標(biāo)不僅是作為單一的考試服務(wù)，而是最大可能地發(fā)揮其學(xué)習(xí)平臺的功能，幫助學(xué)生在專業(yè)認(rèn)知水平的快速提升。對專業(yè)課程考試的主觀題自動評判系統(tǒng)建立在比較目標(biāo)文本與參考文本之間的相似度來進(jìn)行評判，編制高質(zhì)量的參考文本關(guān)鍵詞詞表是技術(shù)性較強(qiáng)的關(guān)鍵環(huán)節(jié)，否則會在不同程度上減低了主觀試題智能評分的合理性與準(zhǔn)確度。一方面我們建議關(guān)鍵詞應(yīng)由教材和教學(xué)大綱中出現(xiàn)的專業(yè)名詞組成并符合“全國科學(xué)技術(shù)名詞審定委員會”建立的“術(shù)語在線”（http://www.termonline.cn/index.htm）醫(yī)學(xué)類詞庫、專業(yè)詞匯對應(yīng)的標(biāo)準(zhǔn)英文寫法；另一方面，我們還擬將積累大量學(xué)生用戶的作答答案作為輸入數(shù)據(jù)集，建立基于受限玻爾茲曼機(jī)（restricted Boltzmann machine，RBM）的隨機(jī)生成神經(jīng)網(wǎng)絡(luò)[9]，對數(shù)據(jù)集中使用的詞匯出現(xiàn)頻率進(jìn)行排序，進(jìn)行全監(jiān)督機(jī)器學(xué)習(xí)，根據(jù)學(xué)習(xí)結(jié)果豐富標(biāo)準(zhǔn)答案庫，做到對主觀題目更加客觀可靠高效的評判。

5 總 結(jié)

經(jīng)過對“便攜式自啟動在線考試系統(tǒng)”的成熟應(yīng)用和總結(jié)，本“主觀試題移動在線考試服務(wù)及人工智能評閱系統(tǒng)”對前作進(jìn)行了延續(xù)、改進(jìn)和升級。系統(tǒng)在不同場景的良好的應(yīng)用，使任課教師對各種無紙化考試系統(tǒng)的操作得到了充分的訓(xùn)練，同時，學(xué)生對電子考試平臺也獲得了充分的適應(yīng)機(jī)會?；谶@些工作基礎(chǔ)及獲得的師生正面反饋，加速了整個學(xué)校范圍內(nèi)建立無紙化考試系統(tǒng)計劃的實施，在線考試系統(tǒng)將作為我校專業(yè)基礎(chǔ)課及專業(yè)課總結(jié)性測驗的主要方式之一進(jìn)行全面的推廣。

盡管存在技術(shù)上的可能性，我們沒有對自由作答的問答題型嘗試自由評閱的可能，不僅是由于在實現(xiàn)中的難度較大，而主要是出于對教育教學(xué)理念的考慮。我們認(rèn)為智能閱卷的目的并不是以單純的減輕教師負(fù)擔(dān)和考試成本為目的，而是為了能夠使教師能夠?qū)⒏嗟木τ捎诟倪M(jìn)教學(xué)活動和教學(xué)方法，包括提高題目質(zhì)量和關(guān)注學(xué)生的學(xué)習(xí)過程，而開放性的問答題實質(zhì)上是一種頗為有效的師生互動形式，需要加以很好的設(shè)計和利用。我們并不希望這一傳統(tǒng)且由多年教學(xué)實踐所證明有效的考試形式受到現(xiàn)代技術(shù)的影響而失去原有的效力。

我們的升級版移動考試系統(tǒng)恰好能與學(xué)校的在線考試系統(tǒng)作良好的補(bǔ)充和相互支持。第一，我們已經(jīng)有完備的包含各種題型的專業(yè)課試題庫，整個系統(tǒng)的進(jìn)一步升級改造就可不依賴于全校各個專業(yè)題庫的整體建立或升級；第二，通過將網(wǎng)絡(luò)服務(wù)器移至智能手機(jī)終端而大范圍的提升其移動性，使得其可以廣泛靈活的應(yīng)用于隨堂測驗等形成性評價中；第三，我們建立了完整和相對可靠的主觀題評判系統(tǒng)，通過接下來與人工智能機(jī)器學(xué)習(xí)銜接，可進(jìn)一步提升了教師的工作效率及評判的準(zhǔn)確性。今后，我們還將繼續(xù)通過大量的使用實踐數(shù)據(jù)，進(jìn)一步完善語義詞庫及優(yōu)化評閱規(guī)則，最終建立全題型全場景覆蓋的在線考試系統(tǒng)。

致謝

本研究在丁衛(wèi)教授的設(shè)計指導(dǎo)下完成，并提供了主要實現(xiàn)方案和程序代碼，特此感謝。