薛婷玉+呂政權(quán)+張潔萍+許燕

摘 ?要： 隨著各應(yīng)用系統(tǒng)的復(fù)雜化，企業(yè)需要針對使用系統(tǒng)的員工進(jìn)行培訓(xùn)考核。為降低培訓(xùn)考核的成本，提高各業(yè)務(wù)培訓(xùn)的效率，提出了一種面向流程型業(yè)務(wù)知識即流程知識的實(shí)訓(xùn)仿真系統(tǒng)以及流程知識實(shí)訓(xùn)考核的自動測評框架與流程，在系統(tǒng)操作日志的基礎(chǔ)上將員工的操作結(jié)果和操作序列綜合考慮作為評分依據(jù)并給出客觀的評價(jià)。實(shí)現(xiàn)了評分結(jié)果的相對客觀、公正，大大提高了企業(yè)員工在實(shí)際操作中培訓(xùn)考核的工作效率。

關(guān)鍵詞： 業(yè)務(wù)流程; 仿真培訓(xùn); 流程知識; 自動測評

中圖分類號： TN919?34; TP391.9 ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2014）24?0018?04

Scheme for simulation evaluation of process knowledge based on operation log

XUE Ting?yu1， L? Zheng?quan2， ZHANG Jie?ping1， XU Yan2

（1. Glorious Sun School of Business and Management， Donghua University， Shanghai 200051， China;

2. Shanghai Municipal Electric Power Company， Shanghai 200438， China）

Abstract： As the complexity of the application systems， companies need to train and assess their staff who use the systems. To reduce the cost of training and examination， and improve the efficiency of business training， a process?oriented professional knowledge training simulation system and automatic exam evaluation frameworks and processes for business training is put forward. With the help of the system operation log and the operation sequence， an objective training evaluation to the staff is made. The simulation evaluation scheme achieved relative objectivity and impartiality， significantly improved the efficiency of practical training and examination of process?oriented knowledge.

Keywords： business process; simulation training; process knowledge; automatic evaluation

0 ?引 ?言

傳統(tǒng)針對應(yīng)用系統(tǒng)培訓(xùn)考核存在諸多的弊端：

（1） 考生進(jìn)行流程業(yè)務(wù)過程的考試結(jié)果無存儲記錄，不能審核;

（2） 流程業(yè)務(wù)操作的題型不記錄考生的操作步驟和時(shí)間，無法考察考生在完成過程性知識點(diǎn)過程中的正確與否;

（3） 考核結(jié)果的批閱方式仍然采取人工進(jìn)行批閱，費(fèi)時(shí)費(fèi)力且容易出錯。

針對以上情況，為不斷提高工作效率，提升服務(wù)水平，規(guī)范化、標(biāo)準(zhǔn)化培訓(xùn)考核，本文提出一個仿真培訓(xùn)考核方案，其特點(diǎn)是針對流程業(yè)務(wù)題型能夠?qū)崿F(xiàn)：

（1） 流程業(yè)務(wù)題型題庫的管理;

（2） 題型數(shù)據(jù)的初始化;

（3） 記錄考生在進(jìn)行系統(tǒng)操作過程中的流程日志;

（4） 記錄考生考試答題的操作時(shí)間;

（5） 支持仿真培訓(xùn)功能;

（6） 根據(jù)評分規(guī)則實(shí)現(xiàn)考生答案的自動評分，提高批閱效率，尤其是面對大量試卷時(shí)做到統(tǒng)一標(biāo)準(zhǔn)，短時(shí)間內(nèi)完成批閱。

1 ?國內(nèi)外仿真考評系統(tǒng)研究現(xiàn)狀

國內(nèi)外雖然擁有各種仿真考評系統(tǒng)，但基于流程知識的仿真培訓(xùn)考核操作過程中的自動評分卻很少涉及。計(jì)算機(jī)自動評分（Computer Automated Scoring，CAS）是指使用計(jì)算機(jī)程序來模擬人工評分的標(biāo)準(zhǔn)及內(nèi)部過程，對開放式題目和表現(xiàn)性活動進(jìn)行評分及反饋。最早的CAS系統(tǒng)產(chǎn)生于教育領(lǐng)域，如對學(xué)校或者培訓(xùn)機(jī)構(gòu)的認(rèn)證考試，文獻(xiàn)[1?3]就是針對教學(xué)考卷考試知識點(diǎn)的自動評分。隨著理論和技術(shù)的發(fā)展，CAS發(fā)展到多個領(lǐng)域，運(yùn)用于航海、建筑、技能考核等，但是這些領(lǐng)域往往針對需要員工進(jìn)行現(xiàn)場實(shí)地操作的業(yè)務(wù)，如文獻(xiàn)[4?7]。自動考評在電力行業(yè)的應(yīng)用也較為廣泛，但大部分考評系統(tǒng)只對實(shí)務(wù)型業(yè)務(wù)開展。目前，各領(lǐng)域操作的流程越來越重要，對業(yè)務(wù)操作的序列性也越發(fā)的重視。雖然目前有針對流程性業(yè)務(wù)的培訓(xùn)系統(tǒng)，但是流程性業(yè)務(wù)知識培訓(xùn)后的考評卻較少涉及，雖然文獻(xiàn)[8]提到了仿真系統(tǒng)的自動測評技術(shù)，但是卻沒有利用操作過程中系統(tǒng)活動日志為依據(jù)來進(jìn)行判斷。本文利用系統(tǒng)的操作痕跡即操作日志，根據(jù)仿真系統(tǒng)中存儲的答案為每一類型流程題型設(shè)計(jì)一個自動評分規(guī)則，完成業(yè)務(wù)流程操作的仿真培訓(xùn)自動評分。

2 ?系統(tǒng)流程與結(jié)構(gòu)模型設(shè)計(jì)

2.1 ?系統(tǒng)流程設(shè)計(jì)

針對本文提出的研究方案，以構(gòu)建新型流程知識仿真考核系統(tǒng)，提高現(xiàn)代應(yīng)用程序培訓(xùn)考核質(zhì)量為宗旨，服務(wù)于引進(jìn)了新型復(fù)雜應(yīng)用需要進(jìn)行人員培訓(xùn)的電力公司。

根據(jù)圖1的流程圖，本文設(shè)計(jì)的流程知識仿真培訓(xùn)考核系統(tǒng)相對于傳統(tǒng)計(jì)算機(jī)應(yīng)用考試系統(tǒng)，其仿真試題題庫存儲、考試環(huán)境準(zhǔn)備、評判試卷、成績匯總等工作都由系統(tǒng)支持，提高了培訓(xùn)考評的公平公正。

流程題型業(yè)務(wù)仿真界面即流程題型考核界面與實(shí)際操作系統(tǒng)界面具有完全相同的操作環(huán)境;邏輯包含流程業(yè)務(wù)邏輯和評分規(guī)則，流程知識業(yè)務(wù)邏輯是與考核知識點(diǎn)相對應(yīng)的業(yè)務(wù)流程邏輯，評分規(guī)則是題目評分的算法細(xì)則;數(shù)據(jù)域包括初始化數(shù)據(jù)，考試輸入數(shù)據(jù)，期望輸出結(jié)果即題目所對應(yīng)的答案結(jié)果數(shù)據(jù)，考生輸出結(jié)果即考生輸入數(shù)據(jù)依流程邏輯所產(chǎn)生的結(jié)果;結(jié)果包括獲取考試環(huán)境數(shù)據(jù)即獲取考試場次編號、考生編號等環(huán)境數(shù)據(jù)，記錄考試操作痕跡即記錄考題所要求的操作過程痕跡，輸出答題結(jié)果即輸出考試結(jié)果和答題、操作記錄。

3 基于操作日志的流程知識培訓(xùn)考核關(guān)鍵問題

3.1 ?基于操作日志的流程知識測評自動化模型

業(yè)務(wù)流程是由若干相互關(guān)聯(lián)的、按照一定時(shí)間和邏輯順序組成的活動集合，而活動是由相應(yīng)的角色通過利用各種資源來執(zhí)行有相應(yīng)的輸入、處理規(guī)則和輸出組成。流程業(yè)務(wù)題型就是在業(yè)務(wù)流程的基礎(chǔ)上，根據(jù)業(yè)務(wù)之間的關(guān)聯(lián)以及時(shí)間或邏輯順序在系統(tǒng)中進(jìn)行操作的一種題型，操作中涉及到的各種知識即流程知識。

本仿真系統(tǒng)的考核主要針對考生的流程題型的操作進(jìn)行評判，考生的操作導(dǎo)致系統(tǒng)狀態(tài)的變化。因此，對考生考試過程中的操作序列的提取主要通過存儲考生在進(jìn)行流程考試操作過程中的操作日志到數(shù)據(jù)庫中來實(shí)現(xiàn)。同時(shí)，將考生的操作直接定義為事件來表示考生的操作序列，用四元組表示事件E（M，D，S，P）。其中M為操作模塊，D為操作日志，通過操作日志可以反映考生的操作順序和操作時(shí)間，S為進(jìn)行操作后后續(xù)模塊狀態(tài)，P表示進(jìn)行該操作需要的參數(shù)即初始化數(shù)據(jù)。當(dāng)對所有的操作都定義成事件的標(biāo)準(zhǔn)形式后，把每道題的最簡正確操作序列存入數(shù)據(jù)庫的評分規(guī)則庫中，這樣就完成了正確答案的操作序列表示。

在事件E中，日志D的結(jié)構(gòu)是由考生的操作順序以及操作過程中的時(shí)間組成，即D可以表示為D（H，T）。H表示在日志中存儲的考試的操作步驟，即各操作之間的順序，H的存儲方式是一個三維數(shù)組，為H（Iv，V，Ov），V表示業(yè)務(wù)流程活動，Iv表示活動V的輸入數(shù)據(jù)，Ov表示活動V的輸出數(shù)據(jù);T表示考生操作完流程耗費(fèi)的時(shí)間。如D中存儲的信息可以是（（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Ic，e，Oc）），10 min），表示考生完成流程走的步驟是s→a→c→e，完成流程花費(fèi)的時(shí)間為10 min，最終結(jié)果是Oc。其中，s代表start，e代表end。

本文自動測評結(jié)合操作序列和操作結(jié)果一同進(jìn)行測評。因此本文提出的實(shí)操題型的自動測評模型如圖3所示。

圖3中的推理機(jī)利用事先設(shè)定好的每個操作步驟的評分標(biāo)準(zhǔn)實(shí)現(xiàn)對考生的合理評分。動態(tài)數(shù)據(jù)庫主要存儲考生操作過程中的相關(guān)信息，如初始狀態(tài)、推理規(guī)則等，可以在系統(tǒng)推理或成績計(jì)算過程中動態(tài)生成或刪除。

3.2 ?基于操作日志的流程知識考評方案

在進(jìn)行自動評分過程中，首先抽取待評試卷，從規(guī)則庫中找出每道題對應(yīng)的規(guī)則組成待用規(guī)則集存入動態(tài)數(shù)據(jù)庫。待用規(guī)則即正確答案，對于基于結(jié)果或序列的操作所表示的分別是正確答案或最簡操作步驟。

在確定了操作測評的自動化模型以及評分流程后，評分的算法主要是：判斷正確答案的操作序列是否出現(xiàn)在考生的操作步驟中，根據(jù)考生操作日志判斷考生的操作順序是否正確。由于正確答案的操作序列存在多個可能，需逐個比對，只有均不符合才能判定考生的操作不全對。若答題有時(shí)間限制，查看答題時(shí)間是否有超出規(guī)定答題時(shí)間，若超出則根據(jù)評分條件進(jìn)行相應(yīng)的減分。具體流程如圖4所示。

圖4 實(shí)操考核自動評分流程

3.3 ?基于操作日志的流程知識自動評分規(guī)則

自動評分的規(guī)則主要通過考生的操作日志，比較實(shí)際操作過程與標(biāo)準(zhǔn)過程的差異來進(jìn)行。評分規(guī)則的設(shè)置原理為操作到某一步多少分，得出正確結(jié)果多少分，然后計(jì)算總得分。每一個類型的題都有自己的評分規(guī)則，即每一類型的業(yè)務(wù)操作流程都有一個評分規(guī)則，每道題的評分規(guī)則是事先定義好存放在規(guī)則庫中。圖5是本系統(tǒng)中提出的評分規(guī)則的評分過程圖，根據(jù)每個題型的得分標(biāo)準(zhǔn)進(jìn)行相應(yīng)的評分，最終得出流程的總分。

圖5 操作步驟評分過程

4 ?實(shí)例研究

某電力公司在系統(tǒng)中進(jìn)行業(yè)務(wù)流程考核，用流程日志記錄每個考生的操作痕跡，包括考試答題操作時(shí)間，操作先后順序等信息。當(dāng)考生完成上一步操作后，操作序列存取考生操作的事件信息，將這一步的結(jié)果傳遞到下一步的初始數(shù)據(jù)中進(jìn)行數(shù)據(jù)裝載。每一步的操作都有一個操作序列存取考生的操作題目、操作日志、操作結(jié)果和初始數(shù)據(jù)信息。之后根據(jù)自動評分流程將考生的操作序列和題目的標(biāo)準(zhǔn)操作序列進(jìn)行比對，將期望輸出結(jié)果跟考生實(shí)際結(jié)果比較得出考生實(shí)操的最終分?jǐn)?shù)。

在實(shí)際操作過程中，假設(shè)考生在考試過程中的操作步驟為sacmge，那么對該考生該業(yè)務(wù)中考試的操作日志D中存儲的操作路徑H為（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Im，m，Om），（Ig，g，Og），（Ig，e，Og）），上一活動的輸出是下一活動的輸入，即Os與Ia相同，而考生操作這一流程的時(shí)間為10 min，因此，D的存儲信息為（H，10 min）。而規(guī)則庫中存儲的這一業(yè)務(wù)的正確操作路徑為sacfge，即正確操作路徑為H1（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（If，f，Of），（Ig，g，Og），（Ig，e，Og）），同時(shí)業(yè)務(wù)規(guī)定在進(jìn)行操作花費(fèi)的時(shí)間不得多于15 min。因此，該流程存于規(guī)則庫中的正確答案應(yīng)為（H1，15 min）。評分規(guī)則此時(shí)比較實(shí)際操作過程與標(biāo)準(zhǔn)過程的差異。根據(jù)評分規(guī)則，該考生的前兩步正確，但是c之后的活動應(yīng)為f，而考生的操作是c?>m，遍歷考生接下來的所有操作均無f，系統(tǒng)扣除該步驟分。再對比標(biāo)準(zhǔn)答案中，f的下一活動為g，同時(shí)遍歷考生日志得到g，遍歷到e結(jié)束。而考生的操作時(shí)間為10 min<15 min，沒有超出該題的時(shí)間限制，不需扣除超時(shí)分?jǐn)?shù)。

因此，雖然考生最終結(jié)果跟標(biāo)準(zhǔn)答案一樣，但操作過程中卻有錯誤，沒有完全掌握業(yè)務(wù)流程知識。而基于操作日志的仿真考評方案就能根據(jù)考生的操作序列進(jìn)行比對，真正起到考察考生流程知識點(diǎn)掌握情況以及熟練程度，幫助考生針對性的進(jìn)行再培訓(xùn)。

5 ?結(jié) ?語

本文給出了操作序列表示方法和測評的自動化模型，在此基礎(chǔ)上建立考核自動評分流程。同時(shí)結(jié)合實(shí)例構(gòu)建出有效的自動評分方案。該系統(tǒng)在實(shí)際中的應(yīng)用，克服了傳統(tǒng)流程性考試人工評分的不足，實(shí)現(xiàn)相對、客觀，提高了流程業(yè)務(wù)知識點(diǎn)考核的工作效率，同時(shí)也降低了業(yè)務(wù)培訓(xùn)考核的成本。隨著現(xiàn)代計(jì)算機(jī)技術(shù)的不斷進(jìn)步，面向流程性業(yè)務(wù)題型的自動閱卷技術(shù)也將不斷成熟，必將在今后的仿真培訓(xùn)考核系統(tǒng)中發(fā)揮越來越重要的作用。

參考文獻(xiàn)

[1] 嚴(yán)可，胡國平，魏思，等.面向大規(guī)模英語口語機(jī)考的復(fù)述題自動評分技術(shù)[J].清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2009（z1）：1356?1362.

[2] 李學(xué)俊.基于人工智能的主觀題自動評分算法實(shí)現(xiàn)[J].江南大學(xué)學(xué)報(bào)：自然科學(xué)版，2009（3）：292?295.

[3] 李莉，張?zhí)t. LSA在中文短文自動判分系統(tǒng)中的應(yīng)用研究[J].計(jì)算機(jī)工程與應(yīng)用，2007（20）：177?180.

[4] 項(xiàng)曙光，岳金彩，李玉剛.過程仿真培訓(xùn)成績的自動評定及其實(shí)現(xiàn)（Ⅱ）：培訓(xùn)成績自動評分的實(shí)現(xiàn)[J].計(jì)算機(jī)仿真，1999（5）：6?10.

[5] 傅焜，李志忠，楊宇航.基于流程圖和仿真的維修培訓(xùn)系統(tǒng)[J].計(jì)算機(jī)仿真，2006（6）：282?285.

[6] 王興武，常喜茂，董青，等.基于Web的火電仿真培訓(xùn)系統(tǒng)研究及實(shí)現(xiàn)[J].系統(tǒng)仿真學(xué)報(bào)，2006（11）：3091?3094.

[7] 沐潤志，李恒.一種新型實(shí)驗(yàn)現(xiàn)場評分系統(tǒng)[J].價(jià)值工程，2013（12）：201?202.

[8] 陳萱華，楊玲.面向仿真系統(tǒng)的自動測評關(guān)鍵技術(shù)研究[J].計(jì)算機(jī)與現(xiàn)代化，2012（11）：59?61.

2 ?系統(tǒng)流程與結(jié)構(gòu)模型設(shè)計(jì)

2.1 ?系統(tǒng)流程設(shè)計(jì)

針對本文提出的研究方案，以構(gòu)建新型流程知識仿真考核系統(tǒng)，提高現(xiàn)代應(yīng)用程序培訓(xùn)考核質(zhì)量為宗旨，服務(wù)于引進(jìn)了新型復(fù)雜應(yīng)用需要進(jìn)行人員培訓(xùn)的電力公司。

根據(jù)圖1的流程圖，本文設(shè)計(jì)的流程知識仿真培訓(xùn)考核系統(tǒng)相對于傳統(tǒng)計(jì)算機(jī)應(yīng)用考試系統(tǒng)，其仿真試題題庫存儲、考試環(huán)境準(zhǔn)備、評判試卷、成績匯總等工作都由系統(tǒng)支持，提高了培訓(xùn)考評的公平公正。

流程題型業(yè)務(wù)仿真界面即流程題型考核界面與實(shí)際操作系統(tǒng)界面具有完全相同的操作環(huán)境;邏輯包含流程業(yè)務(wù)邏輯和評分規(guī)則，流程知識業(yè)務(wù)邏輯是與考核知識點(diǎn)相對應(yīng)的業(yè)務(wù)流程邏輯，評分規(guī)則是題目評分的算法細(xì)則;數(shù)據(jù)域包括初始化數(shù)據(jù)，考試輸入數(shù)據(jù)，期望輸出結(jié)果即題目所對應(yīng)的答案結(jié)果數(shù)據(jù)，考生輸出結(jié)果即考生輸入數(shù)據(jù)依流程邏輯所產(chǎn)生的結(jié)果;結(jié)果包括獲取考試環(huán)境數(shù)據(jù)即獲取考試場次編號、考生編號等環(huán)境數(shù)據(jù)，記錄考試操作痕跡即記錄考題所要求的操作過程痕跡，輸出答題結(jié)果即輸出考試結(jié)果和答題、操作記錄。

3 基于操作日志的流程知識培訓(xùn)考核關(guān)鍵問題

3.1 ?基于操作日志的流程知識測評自動化模型

業(yè)務(wù)流程是由若干相互關(guān)聯(lián)的、按照一定時(shí)間和邏輯順序組成的活動集合，而活動是由相應(yīng)的角色通過利用各種資源來執(zhí)行有相應(yīng)的輸入、處理規(guī)則和輸出組成。流程業(yè)務(wù)題型就是在業(yè)務(wù)流程的基礎(chǔ)上，根據(jù)業(yè)務(wù)之間的關(guān)聯(lián)以及時(shí)間或邏輯順序在系統(tǒng)中進(jìn)行操作的一種題型，操作中涉及到的各種知識即流程知識。

本仿真系統(tǒng)的考核主要針對考生的流程題型的操作進(jìn)行評判，考生的操作導(dǎo)致系統(tǒng)狀態(tài)的變化。因此，對考生考試過程中的操作序列的提取主要通過存儲考生在進(jìn)行流程考試操作過程中的操作日志到數(shù)據(jù)庫中來實(shí)現(xiàn)。同時(shí)，將考生的操作直接定義為事件來表示考生的操作序列，用四元組表示事件E（M，D，S，P）。其中M為操作模塊，D為操作日志，通過操作日志可以反映考生的操作順序和操作時(shí)間，S為進(jìn)行操作后后續(xù)模塊狀態(tài)，P表示進(jìn)行該操作需要的參數(shù)即初始化數(shù)據(jù)。當(dāng)對所有的操作都定義成事件的標(biāo)準(zhǔn)形式后，把每道題的最簡正確操作序列存入數(shù)據(jù)庫的評分規(guī)則庫中，這樣就完成了正確答案的操作序列表示。

在事件E中，日志D的結(jié)構(gòu)是由考生的操作順序以及操作過程中的時(shí)間組成，即D可以表示為D（H，T）。H表示在日志中存儲的考試的操作步驟，即各操作之間的順序，H的存儲方式是一個三維數(shù)組，為H（Iv，V，Ov），V表示業(yè)務(wù)流程活動，Iv表示活動V的輸入數(shù)據(jù)，Ov表示活動V的輸出數(shù)據(jù);T表示考生操作完流程耗費(fèi)的時(shí)間。如D中存儲的信息可以是（（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Ic，e，Oc）），10 min），表示考生完成流程走的步驟是s→a→c→e，完成流程花費(fèi)的時(shí)間為10 min，最終結(jié)果是Oc。其中，s代表start，e代表end。

本文自動測評結(jié)合操作序列和操作結(jié)果一同進(jìn)行測評。因此本文提出的實(shí)操題型的自動測評模型如圖3所示。

圖3中的推理機(jī)利用事先設(shè)定好的每個操作步驟的評分標(biāo)準(zhǔn)實(shí)現(xiàn)對考生的合理評分。動態(tài)數(shù)據(jù)庫主要存儲考生操作過程中的相關(guān)信息，如初始狀態(tài)、推理規(guī)則等，可以在系統(tǒng)推理或成績計(jì)算過程中動態(tài)生成或刪除。

3.2 ?基于操作日志的流程知識考評方案

在進(jìn)行自動評分過程中，首先抽取待評試卷，從規(guī)則庫中找出每道題對應(yīng)的規(guī)則組成待用規(guī)則集存入動態(tài)數(shù)據(jù)庫。待用規(guī)則即正確答案，對于基于結(jié)果或序列的操作所表示的分別是正確答案或最簡操作步驟。

在確定了操作測評的自動化模型以及評分流程后，評分的算法主要是：判斷正確答案的操作序列是否出現(xiàn)在考生的操作步驟中，根據(jù)考生操作日志判斷考生的操作順序是否正確。由于正確答案的操作序列存在多個可能，需逐個比對，只有均不符合才能判定考生的操作不全對。若答題有時(shí)間限制，查看答題時(shí)間是否有超出規(guī)定答題時(shí)間，若超出則根據(jù)評分條件進(jìn)行相應(yīng)的減分。具體流程如圖4所示。

圖4 實(shí)操考核自動評分流程

3.3 ?基于操作日志的流程知識自動評分規(guī)則

自動評分的規(guī)則主要通過考生的操作日志，比較實(shí)際操作過程與標(biāo)準(zhǔn)過程的差異來進(jìn)行。評分規(guī)則的設(shè)置原理為操作到某一步多少分，得出正確結(jié)果多少分，然后計(jì)算總得分。每一個類型的題都有自己的評分規(guī)則，即每一類型的業(yè)務(wù)操作流程都有一個評分規(guī)則，每道題的評分規(guī)則是事先定義好存放在規(guī)則庫中。圖5是本系統(tǒng)中提出的評分規(guī)則的評分過程圖，根據(jù)每個題型的得分標(biāo)準(zhǔn)進(jìn)行相應(yīng)的評分，最終得出流程的總分。

圖5 操作步驟評分過程

4 ?實(shí)例研究

某電力公司在系統(tǒng)中進(jìn)行業(yè)務(wù)流程考核，用流程日志記錄每個考生的操作痕跡，包括考試答題操作時(shí)間，操作先后順序等信息。當(dāng)考生完成上一步操作后，操作序列存取考生操作的事件信息，將這一步的結(jié)果傳遞到下一步的初始數(shù)據(jù)中進(jìn)行數(shù)據(jù)裝載。每一步的操作都有一個操作序列存取考生的操作題目、操作日志、操作結(jié)果和初始數(shù)據(jù)信息。之后根據(jù)自動評分流程將考生的操作序列和題目的標(biāo)準(zhǔn)操作序列進(jìn)行比對，將期望輸出結(jié)果跟考生實(shí)際結(jié)果比較得出考生實(shí)操的最終分?jǐn)?shù)。

在實(shí)際操作過程中，假設(shè)考生在考試過程中的操作步驟為sacmge，那么對該考生該業(yè)務(wù)中考試的操作日志D中存儲的操作路徑H為（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Im，m，Om），（Ig，g，Og），（Ig，e，Og）），上一活動的輸出是下一活動的輸入，即Os與Ia相同，而考生操作這一流程的時(shí)間為10 min，因此，D的存儲信息為（H，10 min）。而規(guī)則庫中存儲的這一業(yè)務(wù)的正確操作路徑為sacfge，即正確操作路徑為H1（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（If，f，Of），（Ig，g，Og），（Ig，e，Og）），同時(shí)業(yè)務(wù)規(guī)定在進(jìn)行操作花費(fèi)的時(shí)間不得多于15 min。因此，該流程存于規(guī)則庫中的正確答案應(yīng)為（H1，15 min）。評分規(guī)則此時(shí)比較實(shí)際操作過程與標(biāo)準(zhǔn)過程的差異。根據(jù)評分規(guī)則，該考生的前兩步正確，但是c之后的活動應(yīng)為f，而考生的操作是c?>m，遍歷考生接下來的所有操作均無f，系統(tǒng)扣除該步驟分。再對比標(biāo)準(zhǔn)答案中，f的下一活動為g，同時(shí)遍歷考生日志得到g，遍歷到e結(jié)束。而考生的操作時(shí)間為10 min<15 min，沒有超出該題的時(shí)間限制，不需扣除超時(shí)分?jǐn)?shù)。

因此，雖然考生最終結(jié)果跟標(biāo)準(zhǔn)答案一樣，但操作過程中卻有錯誤，沒有完全掌握業(yè)務(wù)流程知識。而基于操作日志的仿真考評方案就能根據(jù)考生的操作序列進(jìn)行比對，真正起到考察考生流程知識點(diǎn)掌握情況以及熟練程度，幫助考生針對性的進(jìn)行再培訓(xùn)。

5 ?結(jié) ?語

本文給出了操作序列表示方法和測評的自動化模型，在此基礎(chǔ)上建立考核自動評分流程。同時(shí)結(jié)合實(shí)例構(gòu)建出有效的自動評分方案。該系統(tǒng)在實(shí)際中的應(yīng)用，克服了傳統(tǒng)流程性考試人工評分的不足，實(shí)現(xiàn)相對、客觀，提高了流程業(yè)務(wù)知識點(diǎn)考核的工作效率，同時(shí)也降低了業(yè)務(wù)培訓(xùn)考核的成本。隨著現(xiàn)代計(jì)算機(jī)技術(shù)的不斷進(jìn)步，面向流程性業(yè)務(wù)題型的自動閱卷技術(shù)也將不斷成熟，必將在今后的仿真培訓(xùn)考核系統(tǒng)中發(fā)揮越來越重要的作用。

參考文獻(xiàn)

[1] 嚴(yán)可，胡國平，魏思，等.面向大規(guī)模英語口語機(jī)考的復(fù)述題自動評分技術(shù)[J].清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2009（z1）：1356?1362.

[2] 李學(xué)俊.基于人工智能的主觀題自動評分算法實(shí)現(xiàn)[J].江南大學(xué)學(xué)報(bào)：自然科學(xué)版，2009（3）：292?295.

[3] 李莉，張?zhí)t. LSA在中文短文自動判分系統(tǒng)中的應(yīng)用研究[J].計(jì)算機(jī)工程與應(yīng)用，2007（20）：177?180.

[4] 項(xiàng)曙光，岳金彩，李玉剛.過程仿真培訓(xùn)成績的自動評定及其實(shí)現(xiàn)（Ⅱ）：培訓(xùn)成績自動評分的實(shí)現(xiàn)[J].計(jì)算機(jī)仿真，1999（5）：6?10.

[5] 傅焜，李志忠，楊宇航.基于流程圖和仿真的維修培訓(xùn)系統(tǒng)[J].計(jì)算機(jī)仿真，2006（6）：282?285.

[6] 王興武，常喜茂，董青，等.基于Web的火電仿真培訓(xùn)系統(tǒng)研究及實(shí)現(xiàn)[J].系統(tǒng)仿真學(xué)報(bào)，2006（11）：3091?3094.

[7] 沐潤志，李恒.一種新型實(shí)驗(yàn)現(xiàn)場評分系統(tǒng)[J].價(jià)值工程，2013（12）：201?202.

[8] 陳萱華，楊玲.面向仿真系統(tǒng)的自動測評關(guān)鍵技術(shù)研究[J].計(jì)算機(jī)與現(xiàn)代化，2012（11）：59?61.

2 ?系統(tǒng)流程與結(jié)構(gòu)模型設(shè)計(jì)

2.1 ?系統(tǒng)流程設(shè)計(jì)

針對本文提出的研究方案，以構(gòu)建新型流程知識仿真考核系統(tǒng)，提高現(xiàn)代應(yīng)用程序培訓(xùn)考核質(zhì)量為宗旨，服務(wù)于引進(jìn)了新型復(fù)雜應(yīng)用需要進(jìn)行人員培訓(xùn)的電力公司。

根據(jù)圖1的流程圖，本文設(shè)計(jì)的流程知識仿真培訓(xùn)考核系統(tǒng)相對于傳統(tǒng)計(jì)算機(jī)應(yīng)用考試系統(tǒng)，其仿真試題題庫存儲、考試環(huán)境準(zhǔn)備、評判試卷、成績匯總等工作都由系統(tǒng)支持，提高了培訓(xùn)考評的公平公正。

流程題型業(yè)務(wù)仿真界面即流程題型考核界面與實(shí)際操作系統(tǒng)界面具有完全相同的操作環(huán)境;邏輯包含流程業(yè)務(wù)邏輯和評分規(guī)則，流程知識業(yè)務(wù)邏輯是與考核知識點(diǎn)相對應(yīng)的業(yè)務(wù)流程邏輯，評分規(guī)則是題目評分的算法細(xì)則;數(shù)據(jù)域包括初始化數(shù)據(jù)，考試輸入數(shù)據(jù)，期望輸出結(jié)果即題目所對應(yīng)的答案結(jié)果數(shù)據(jù)，考生輸出結(jié)果即考生輸入數(shù)據(jù)依流程邏輯所產(chǎn)生的結(jié)果;結(jié)果包括獲取考試環(huán)境數(shù)據(jù)即獲取考試場次編號、考生編號等環(huán)境數(shù)據(jù)，記錄考試操作痕跡即記錄考題所要求的操作過程痕跡，輸出答題結(jié)果即輸出考試結(jié)果和答題、操作記錄。

3 基于操作日志的流程知識培訓(xùn)考核關(guān)鍵問題

3.1 ?基于操作日志的流程知識測評自動化模型

業(yè)務(wù)流程是由若干相互關(guān)聯(lián)的、按照一定時(shí)間和邏輯順序組成的活動集合，而活動是由相應(yīng)的角色通過利用各種資源來執(zhí)行有相應(yīng)的輸入、處理規(guī)則和輸出組成。流程業(yè)務(wù)題型就是在業(yè)務(wù)流程的基礎(chǔ)上，根據(jù)業(yè)務(wù)之間的關(guān)聯(lián)以及時(shí)間或邏輯順序在系統(tǒng)中進(jìn)行操作的一種題型，操作中涉及到的各種知識即流程知識。

本仿真系統(tǒng)的考核主要針對考生的流程題型的操作進(jìn)行評判，考生的操作導(dǎo)致系統(tǒng)狀態(tài)的變化。因此，對考生考試過程中的操作序列的提取主要通過存儲考生在進(jìn)行流程考試操作過程中的操作日志到數(shù)據(jù)庫中來實(shí)現(xiàn)。同時(shí)，將考生的操作直接定義為事件來表示考生的操作序列，用四元組表示事件E（M，D，S，P）。其中M為操作模塊，D為操作日志，通過操作日志可以反映考生的操作順序和操作時(shí)間，S為進(jìn)行操作后后續(xù)模塊狀態(tài)，P表示進(jìn)行該操作需要的參數(shù)即初始化數(shù)據(jù)。當(dāng)對所有的操作都定義成事件的標(biāo)準(zhǔn)形式后，把每道題的最簡正確操作序列存入數(shù)據(jù)庫的評分規(guī)則庫中，這樣就完成了正確答案的操作序列表示。

在事件E中，日志D的結(jié)構(gòu)是由考生的操作順序以及操作過程中的時(shí)間組成，即D可以表示為D（H，T）。H表示在日志中存儲的考試的操作步驟，即各操作之間的順序，H的存儲方式是一個三維數(shù)組，為H（Iv，V，Ov），V表示業(yè)務(wù)流程活動，Iv表示活動V的輸入數(shù)據(jù)，Ov表示活動V的輸出數(shù)據(jù);T表示考生操作完流程耗費(fèi)的時(shí)間。如D中存儲的信息可以是（（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Ic，e，Oc）），10 min），表示考生完成流程走的步驟是s→a→c→e，完成流程花費(fèi)的時(shí)間為10 min，最終結(jié)果是Oc。其中，s代表start，e代表end。

本文自動測評結(jié)合操作序列和操作結(jié)果一同進(jìn)行測評。因此本文提出的實(shí)操題型的自動測評模型如圖3所示。

圖3中的推理機(jī)利用事先設(shè)定好的每個操作步驟的評分標(biāo)準(zhǔn)實(shí)現(xiàn)對考生的合理評分。動態(tài)數(shù)據(jù)庫主要存儲考生操作過程中的相關(guān)信息，如初始狀態(tài)、推理規(guī)則等，可以在系統(tǒng)推理或成績計(jì)算過程中動態(tài)生成或刪除。

3.2 ?基于操作日志的流程知識考評方案

在進(jìn)行自動評分過程中，首先抽取待評試卷，從規(guī)則庫中找出每道題對應(yīng)的規(guī)則組成待用規(guī)則集存入動態(tài)數(shù)據(jù)庫。待用規(guī)則即正確答案，對于基于結(jié)果或序列的操作所表示的分別是正確答案或最簡操作步驟。

在確定了操作測評的自動化模型以及評分流程后，評分的算法主要是：判斷正確答案的操作序列是否出現(xiàn)在考生的操作步驟中，根據(jù)考生操作日志判斷考生的操作順序是否正確。由于正確答案的操作序列存在多個可能，需逐個比對，只有均不符合才能判定考生的操作不全對。若答題有時(shí)間限制，查看答題時(shí)間是否有超出規(guī)定答題時(shí)間，若超出則根據(jù)評分條件進(jìn)行相應(yīng)的減分。具體流程如圖4所示。

圖4 實(shí)操考核自動評分流程

3.3 ?基于操作日志的流程知識自動評分規(guī)則

自動評分的規(guī)則主要通過考生的操作日志，比較實(shí)際操作過程與標(biāo)準(zhǔn)過程的差異來進(jìn)行。評分規(guī)則的設(shè)置原理為操作到某一步多少分，得出正確結(jié)果多少分，然后計(jì)算總得分。每一個類型的題都有自己的評分規(guī)則，即每一類型的業(yè)務(wù)操作流程都有一個評分規(guī)則，每道題的評分規(guī)則是事先定義好存放在規(guī)則庫中。圖5是本系統(tǒng)中提出的評分規(guī)則的評分過程圖，根據(jù)每個題型的得分標(biāo)準(zhǔn)進(jìn)行相應(yīng)的評分，最終得出流程的總分。

圖5 操作步驟評分過程

4 ?實(shí)例研究

某電力公司在系統(tǒng)中進(jìn)行業(yè)務(wù)流程考核，用流程日志記錄每個考生的操作痕跡，包括考試答題操作時(shí)間，操作先后順序等信息。當(dāng)考生完成上一步操作后，操作序列存取考生操作的事件信息，將這一步的結(jié)果傳遞到下一步的初始數(shù)據(jù)中進(jìn)行數(shù)據(jù)裝載。每一步的操作都有一個操作序列存取考生的操作題目、操作日志、操作結(jié)果和初始數(shù)據(jù)信息。之后根據(jù)自動評分流程將考生的操作序列和題目的標(biāo)準(zhǔn)操作序列進(jìn)行比對，將期望輸出結(jié)果跟考生實(shí)際結(jié)果比較得出考生實(shí)操的最終分?jǐn)?shù)。

在實(shí)際操作過程中，假設(shè)考生在考試過程中的操作步驟為sacmge，那么對該考生該業(yè)務(wù)中考試的操作日志D中存儲的操作路徑H為（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Im，m，Om），（Ig，g，Og），（Ig，e，Og）），上一活動的輸出是下一活動的輸入，即Os與Ia相同，而考生操作這一流程的時(shí)間為10 min，因此，D的存儲信息為（H，10 min）。而規(guī)則庫中存儲的這一業(yè)務(wù)的正確操作路徑為sacfge，即正確操作路徑為H1（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（If，f，Of），（Ig，g，Og），（Ig，e，Og）），同時(shí)業(yè)務(wù)規(guī)定在進(jìn)行操作花費(fèi)的時(shí)間不得多于15 min。因此，該流程存于規(guī)則庫中的正確答案應(yīng)為（H1，15 min）。評分規(guī)則此時(shí)比較實(shí)際操作過程與標(biāo)準(zhǔn)過程的差異。根據(jù)評分規(guī)則，該考生的前兩步正確，但是c之后的活動應(yīng)為f，而考生的操作是c?>m，遍歷考生接下來的所有操作均無f，系統(tǒng)扣除該步驟分。再對比標(biāo)準(zhǔn)答案中，f的下一活動為g，同時(shí)遍歷考生日志得到g，遍歷到e結(jié)束。而考生的操作時(shí)間為10 min<15 min，沒有超出該題的時(shí)間限制，不需扣除超時(shí)分?jǐn)?shù)。

因此，雖然考生最終結(jié)果跟標(biāo)準(zhǔn)答案一樣，但操作過程中卻有錯誤，沒有完全掌握業(yè)務(wù)流程知識。而基于操作日志的仿真考評方案就能根據(jù)考生的操作序列進(jìn)行比對，真正起到考察考生流程知識點(diǎn)掌握情況以及熟練程度，幫助考生針對性的進(jìn)行再培訓(xùn)。

5 ?結(jié) ?語

本文給出了操作序列表示方法和測評的自動化模型，在此基礎(chǔ)上建立考核自動評分流程。同時(shí)結(jié)合實(shí)例構(gòu)建出有效的自動評分方案。該系統(tǒng)在實(shí)際中的應(yīng)用，克服了傳統(tǒng)流程性考試人工評分的不足，實(shí)現(xiàn)相對、客觀，提高了流程業(yè)務(wù)知識點(diǎn)考核的工作效率，同時(shí)也降低了業(yè)務(wù)培訓(xùn)考核的成本。隨著現(xiàn)代計(jì)算機(jī)技術(shù)的不斷進(jìn)步，面向流程性業(yè)務(wù)題型的自動閱卷技術(shù)也將不斷成熟，必將在今后的仿真培訓(xùn)考核系統(tǒng)中發(fā)揮越來越重要的作用。

參考文獻(xiàn)

[1] 嚴(yán)可，胡國平，魏思，等.面向大規(guī)模英語口語機(jī)考的復(fù)述題自動評分技術(shù)[J].清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2009（z1）：1356?1362.

[2] 李學(xué)俊.基于人工智能的主觀題自動評分算法實(shí)現(xiàn)[J].江南大學(xué)學(xué)報(bào)：自然科學(xué)版，2009（3）：292?295.

[3] 李莉，張?zhí)t. LSA在中文短文自動判分系統(tǒng)中的應(yīng)用研究[J].計(jì)算機(jī)工程與應(yīng)用，2007（20）：177?180.

[4] 項(xiàng)曙光，岳金彩，李玉剛.過程仿真培訓(xùn)成績的自動評定及其實(shí)現(xiàn)（Ⅱ）：培訓(xùn)成績自動評分的實(shí)現(xiàn)[J].計(jì)算機(jī)仿真，1999（5）：6?10.

[5] 傅焜，李志忠，楊宇航.基于流程圖和仿真的維修培訓(xùn)系統(tǒng)[J].計(jì)算機(jī)仿真，2006（6）：282?285.

[6] 王興武，常喜茂，董青，等.基于Web的火電仿真培訓(xùn)系統(tǒng)研究及實(shí)現(xiàn)[J].系統(tǒng)仿真學(xué)報(bào)，2006（11）：3091?3094.

[7] 沐潤志，李恒.一種新型實(shí)驗(yàn)現(xiàn)場評分系統(tǒng)[J].價(jià)值工程，2013（12）：201?202.

[8] 陳萱華，楊玲.面向仿真系統(tǒng)的自動測評關(guān)鍵技術(shù)研究[J].計(jì)算機(jī)與現(xiàn)代化，2012（11）：59?61.