薛婷玉+呂政權(quán)+張潔萍+許燕

摘 ?要： 隨著各應(yīng)用系統(tǒng)的復(fù)雜化，企業(yè)需要針對(duì)使用系統(tǒng)的員工進(jìn)行培訓(xùn)考核。為降低培訓(xùn)考核的成本，提高各業(yè)務(wù)培訓(xùn)的效率，提出了一種面向流程型業(yè)務(wù)知識(shí)即流程知識(shí)的實(shí)訓(xùn)仿真系統(tǒng)以及流程知識(shí)實(shí)訓(xùn)考核的自動(dòng)測(cè)評(píng)框架與流程，在系統(tǒng)操作日志的基礎(chǔ)上將員工的操作結(jié)果和操作序列綜合考慮作為評(píng)分依據(jù)并給出客觀的評(píng)價(jià)。實(shí)現(xiàn)了評(píng)分結(jié)果的相對(duì)客觀、公正，大大提高了企業(yè)員工在實(shí)際操作中培訓(xùn)考核的工作效率。

關(guān)鍵詞： 業(yè)務(wù)流程; 仿真培訓(xùn); 流程知識(shí); 自動(dòng)測(cè)評(píng)

中圖分類號(hào)： TN919?34; TP391.9 ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2014）24?0018?04

Scheme for simulation evaluation of process knowledge based on operation log

XUE Ting?yu1， L? Zheng?quan2， ZHANG Jie?ping1， XU Yan2

（1. Glorious Sun School of Business and Management， Donghua University， Shanghai 200051， China;

2. Shanghai Municipal Electric Power Company， Shanghai 200438， China）

Abstract： As the complexity of the application systems， companies need to train and assess their staff who use the systems. To reduce the cost of training and examination， and improve the efficiency of business training， a process?oriented professional knowledge training simulation system and automatic exam evaluation frameworks and processes for business training is put forward. With the help of the system operation log and the operation sequence， an objective training evaluation to the staff is made. The simulation evaluation scheme achieved relative objectivity and impartiality， significantly improved the efficiency of practical training and examination of process?oriented knowledge.

Keywords： business process; simulation training; process knowledge; automatic evaluation

0 ?引 ?言

傳統(tǒng)針對(duì)應(yīng)用系統(tǒng)培訓(xùn)考核存在諸多的弊端：

（1） 考生進(jìn)行流程業(yè)務(wù)過(guò)程的考試結(jié)果無(wú)存儲(chǔ)記錄，不能審核;

（2） 流程業(yè)務(wù)操作的題型不記錄考生的操作步驟和時(shí)間，無(wú)法考察考生在完成過(guò)程性知識(shí)點(diǎn)過(guò)程中的正確與否;

（3） 考核結(jié)果的批閱方式仍然采取人工進(jìn)行批閱，費(fèi)時(shí)費(fèi)力且容易出錯(cuò)。

針對(duì)以上情況，為不斷提高工作效率，提升服務(wù)水平，規(guī)范化、標(biāo)準(zhǔn)化培訓(xùn)考核，本文提出一個(gè)仿真培訓(xùn)考核方案，其特點(diǎn)是針對(duì)流程業(yè)務(wù)題型能夠?qū)崿F(xiàn)：

（1） 流程業(yè)務(wù)題型題庫(kù)的管理;

（2） 題型數(shù)據(jù)的初始化;

（3） 記錄考生在進(jìn)行系統(tǒng)操作過(guò)程中的流程日志;

（4） 記錄考生考試答題的操作時(shí)間;

（5） 支持仿真培訓(xùn)功能;

（6） 根據(jù)評(píng)分規(guī)則實(shí)現(xiàn)考生答案的自動(dòng)評(píng)分，提高批閱效率，尤其是面對(duì)大量試卷時(shí)做到統(tǒng)一標(biāo)準(zhǔn)，短時(shí)間內(nèi)完成批閱。

1 ?國(guó)內(nèi)外仿真考評(píng)系統(tǒng)研究現(xiàn)狀

國(guó)內(nèi)外雖然擁有各種仿真考評(píng)系統(tǒng)，但基于流程知識(shí)的仿真培訓(xùn)考核操作過(guò)程中的自動(dòng)評(píng)分卻很少涉及。計(jì)算機(jī)自動(dòng)評(píng)分（Computer Automated Scoring，CAS）是指使用計(jì)算機(jī)程序來(lái)模擬人工評(píng)分的標(biāo)準(zhǔn)及內(nèi)部過(guò)程，對(duì)開(kāi)放式題目和表現(xiàn)性活動(dòng)進(jìn)行評(píng)分及反饋。最早的CAS系統(tǒng)產(chǎn)生于教育領(lǐng)域，如對(duì)學(xué)?；蛘吲嘤?xùn)機(jī)構(gòu)的認(rèn)證考試，文獻(xiàn)[1?3]就是針對(duì)教學(xué)考卷考試知識(shí)點(diǎn)的自動(dòng)評(píng)分。隨著理論和技術(shù)的發(fā)展，CAS發(fā)展到多個(gè)領(lǐng)域，運(yùn)用于航海、建筑、技能考核等，但是這些領(lǐng)域往往針對(duì)需要員工進(jìn)行現(xiàn)場(chǎng)實(shí)地操作的業(yè)務(wù)，如文獻(xiàn)[4?7]。自動(dòng)考評(píng)在電力行業(yè)的應(yīng)用也較為廣泛，但大部分考評(píng)系統(tǒng)只對(duì)實(shí)務(wù)型業(yè)務(wù)開(kāi)展。目前，各領(lǐng)域操作的流程越來(lái)越重要，對(duì)業(yè)務(wù)操作的序列性也越發(fā)的重視。雖然目前有針對(duì)流程性業(yè)務(wù)的培訓(xùn)系統(tǒng)，但是流程性業(yè)務(wù)知識(shí)培訓(xùn)后的考評(píng)卻較少涉及，雖然文獻(xiàn)[8]提到了仿真系統(tǒng)的自動(dòng)測(cè)評(píng)技術(shù)，但是卻沒(méi)有利用操作過(guò)程中系統(tǒng)活動(dòng)日志為依據(jù)來(lái)進(jìn)行判斷。本文利用系統(tǒng)的操作痕跡即操作日志，根據(jù)仿真系統(tǒng)中存儲(chǔ)的答案為每一類型流程題型設(shè)計(jì)一個(gè)自動(dòng)評(píng)分規(guī)則，完成業(yè)務(wù)流程操作的仿真培訓(xùn)自動(dòng)評(píng)分。

2 ?系統(tǒng)流程與結(jié)構(gòu)模型設(shè)計(jì)

2.1 ?系統(tǒng)流程設(shè)計(jì)

針對(duì)本文提出的研究方案，以構(gòu)建新型流程知識(shí)仿真考核系統(tǒng)，提高現(xiàn)代應(yīng)用程序培訓(xùn)考核質(zhì)量為宗旨，服務(wù)于引進(jìn)了新型復(fù)雜應(yīng)用需要進(jìn)行人員培訓(xùn)的電力公司。

根據(jù)圖1的流程圖，本文設(shè)計(jì)的流程知識(shí)仿真培訓(xùn)考核系統(tǒng)相對(duì)于傳統(tǒng)計(jì)算機(jī)應(yīng)用考試系統(tǒng)，其仿真試題題庫(kù)存儲(chǔ)、考試環(huán)境準(zhǔn)備、評(píng)判試卷、成績(jī)匯總等工作都由系統(tǒng)支持，提高了培訓(xùn)考評(píng)的公平公正。

流程題型業(yè)務(wù)仿真界面即流程題型考核界面與實(shí)際操作系統(tǒng)界面具有完全相同的操作環(huán)境;邏輯包含流程業(yè)務(wù)邏輯和評(píng)分規(guī)則，流程知識(shí)業(yè)務(wù)邏輯是與考核知識(shí)點(diǎn)相對(duì)應(yīng)的業(yè)務(wù)流程邏輯，評(píng)分規(guī)則是題目評(píng)分的算法細(xì)則;數(shù)據(jù)域包括初始化數(shù)據(jù)，考試輸入數(shù)據(jù)，期望輸出結(jié)果即題目所對(duì)應(yīng)的答案結(jié)果數(shù)據(jù)，考生輸出結(jié)果即考生輸入數(shù)據(jù)依流程邏輯所產(chǎn)生的結(jié)果;結(jié)果包括獲取考試環(huán)境數(shù)據(jù)即獲取考試場(chǎng)次編號(hào)、考生編號(hào)等環(huán)境數(shù)據(jù)，記錄考試操作痕跡即記錄考題所要求的操作過(guò)程痕跡，輸出答題結(jié)果即輸出考試結(jié)果和答題、操作記錄。

3 基于操作日志的流程知識(shí)培訓(xùn)考核關(guān)鍵問(wèn)題

3.1 ?基于操作日志的流程知識(shí)測(cè)評(píng)自動(dòng)化模型

業(yè)務(wù)流程是由若干相互關(guān)聯(lián)的、按照一定時(shí)間和邏輯順序組成的活動(dòng)集合，而活動(dòng)是由相應(yīng)的角色通過(guò)利用各種資源來(lái)執(zhí)行有相應(yīng)的輸入、處理規(guī)則和輸出組成。流程業(yè)務(wù)題型就是在業(yè)務(wù)流程的基礎(chǔ)上，根據(jù)業(yè)務(wù)之間的關(guān)聯(lián)以及時(shí)間或邏輯順序在系統(tǒng)中進(jìn)行操作的一種題型，操作中涉及到的各種知識(shí)即流程知識(shí)。

本仿真系統(tǒng)的考核主要針對(duì)考生的流程題型的操作進(jìn)行評(píng)判，考生的操作導(dǎo)致系統(tǒng)狀態(tài)的變化。因此，對(duì)考生考試過(guò)程中的操作序列的提取主要通過(guò)存儲(chǔ)考生在進(jìn)行流程考試操作過(guò)程中的操作日志到數(shù)據(jù)庫(kù)中來(lái)實(shí)現(xiàn)。同時(shí)，將考生的操作直接定義為事件來(lái)表示考生的操作序列，用四元組表示事件E（M，D，S，P）。其中M為操作模塊，D為操作日志，通過(guò)操作日志可以反映考生的操作順序和操作時(shí)間，S為進(jìn)行操作后后續(xù)模塊狀態(tài)，P表示進(jìn)行該操作需要的參數(shù)即初始化數(shù)據(jù)。當(dāng)對(duì)所有的操作都定義成事件的標(biāo)準(zhǔn)形式后，把每道題的最簡(jiǎn)正確操作序列存入數(shù)據(jù)庫(kù)的評(píng)分規(guī)則庫(kù)中，這樣就完成了正確答案的操作序列表示。

在事件E中，日志D的結(jié)構(gòu)是由考生的操作順序以及操作過(guò)程中的時(shí)間組成，即D可以表示為D（H，T）。H表示在日志中存儲(chǔ)的考試的操作步驟，即各操作之間的順序，H的存儲(chǔ)方式是一個(gè)三維數(shù)組，為H（Iv，V，Ov），V表示業(yè)務(wù)流程活動(dòng)，Iv表示活動(dòng)V的輸入數(shù)據(jù)，Ov表示活動(dòng)V的輸出數(shù)據(jù);T表示考生操作完流程耗費(fèi)的時(shí)間。如D中存儲(chǔ)的信息可以是（（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Ic，e，Oc）），10 min），表示考生完成流程走的步驟是s→a→c→e，完成流程花費(fèi)的時(shí)間為10 min，最終結(jié)果是Oc。其中，s代表start，e代表end。

本文自動(dòng)測(cè)評(píng)結(jié)合操作序列和操作結(jié)果一同進(jìn)行測(cè)評(píng)。因此本文提出的實(shí)操題型的自動(dòng)測(cè)評(píng)模型如圖3所示。

圖3中的推理機(jī)利用事先設(shè)定好的每個(gè)操作步驟的評(píng)分標(biāo)準(zhǔn)實(shí)現(xiàn)對(duì)考生的合理評(píng)分。動(dòng)態(tài)數(shù)據(jù)庫(kù)主要存儲(chǔ)考生操作過(guò)程中的相關(guān)信息，如初始狀態(tài)、推理規(guī)則等，可以在系統(tǒng)推理或成績(jī)計(jì)算過(guò)程中動(dòng)態(tài)生成或刪除。

3.2 ?基于操作日志的流程知識(shí)考評(píng)方案

在進(jìn)行自動(dòng)評(píng)分過(guò)程中，首先抽取待評(píng)試卷，從規(guī)則庫(kù)中找出每道題對(duì)應(yīng)的規(guī)則組成待用規(guī)則集存入動(dòng)態(tài)數(shù)據(jù)庫(kù)。待用規(guī)則即正確答案，對(duì)于基于結(jié)果或序列的操作所表示的分別是正確答案或最簡(jiǎn)操作步驟。

在確定了操作測(cè)評(píng)的自動(dòng)化模型以及評(píng)分流程后，評(píng)分的算法主要是：判斷正確答案的操作序列是否出現(xiàn)在考生的操作步驟中，根據(jù)考生操作日志判斷考生的操作順序是否正確。由于正確答案的操作序列存在多個(gè)可能，需逐個(gè)比對(duì)，只有均不符合才能判定考生的操作不全對(duì)。若答題有時(shí)間限制，查看答題時(shí)間是否有超出規(guī)定答題時(shí)間，若超出則根據(jù)評(píng)分條件進(jìn)行相應(yīng)的減分。具體流程如圖4所示。

圖4 實(shí)操考核自動(dòng)評(píng)分流程

3.3 ?基于操作日志的流程知識(shí)自動(dòng)評(píng)分規(guī)則

自動(dòng)評(píng)分的規(guī)則主要通過(guò)考生的操作日志，比較實(shí)際操作過(guò)程與標(biāo)準(zhǔn)過(guò)程的差異來(lái)進(jìn)行。評(píng)分規(guī)則的設(shè)置原理為操作到某一步多少分，得出正確結(jié)果多少分，然后計(jì)算總得分。每一個(gè)類型的題都有自己的評(píng)分規(guī)則，即每一類型的業(yè)務(wù)操作流程都有一個(gè)評(píng)分規(guī)則，每道題的評(píng)分規(guī)則是事先定義好存放在規(guī)則庫(kù)中。圖5是本系統(tǒng)中提出的評(píng)分規(guī)則的評(píng)分過(guò)程圖，根據(jù)每個(gè)題型的得分標(biāo)準(zhǔn)進(jìn)行相應(yīng)的評(píng)分，最終得出流程的總分。

圖5 操作步驟評(píng)分過(guò)程

4 ?實(shí)例研究

某電力公司在系統(tǒng)中進(jìn)行業(yè)務(wù)流程考核，用流程日志記錄每個(gè)考生的操作痕跡，包括考試答題操作時(shí)間，操作先后順序等信息。當(dāng)考生完成上一步操作后，操作序列存取考生操作的事件信息，將這一步的結(jié)果傳遞到下一步的初始數(shù)據(jù)中進(jìn)行數(shù)據(jù)裝載。每一步的操作都有一個(gè)操作序列存取考生的操作題目、操作日志、操作結(jié)果和初始數(shù)據(jù)信息。之后根據(jù)自動(dòng)評(píng)分流程將考生的操作序列和題目的標(biāo)準(zhǔn)操作序列進(jìn)行比對(duì)，將期望輸出結(jié)果跟考生實(shí)際結(jié)果比較得出考生實(shí)操的最終分?jǐn)?shù)。

在實(shí)際操作過(guò)程中，假設(shè)考生在考試過(guò)程中的操作步驟為sacmge，那么對(duì)該考生該業(yè)務(wù)中考試的操作日志D中存儲(chǔ)的操作路徑H為（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Im，m，Om），（Ig，g，Og），（Ig，e，Og）），上一活動(dòng)的輸出是下一活動(dòng)的輸入，即Os與Ia相同，而考生操作這一流程的時(shí)間為10 min，因此，D的存儲(chǔ)信息為（H，10 min）。而規(guī)則庫(kù)中存儲(chǔ)的這一業(yè)務(wù)的正確操作路徑為sacfge，即正確操作路徑為H1（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（If，f，Of），（Ig，g，Og），（Ig，e，Og）），同時(shí)業(yè)務(wù)規(guī)定在進(jìn)行操作花費(fèi)的時(shí)間不得多于15 min。因此，該流程存于規(guī)則庫(kù)中的正確答案應(yīng)為（H1，15 min）。評(píng)分規(guī)則此時(shí)比較實(shí)際操作過(guò)程與標(biāo)準(zhǔn)過(guò)程的差異。根據(jù)評(píng)分規(guī)則，該考生的前兩步正確，但是c之后的活動(dòng)應(yīng)為f，而考生的操作是c?>m，遍歷考生接下來(lái)的所有操作均無(wú)f，系統(tǒng)扣除該步驟分。再對(duì)比標(biāo)準(zhǔn)答案中，f的下一活動(dòng)為g，同時(shí)遍歷考生日志得到g，遍歷到e結(jié)束。而考生的操作時(shí)間為10 min<15 min，沒(méi)有超出該題的時(shí)間限制，不需扣除超時(shí)分?jǐn)?shù)。

因此，雖然考生最終結(jié)果跟標(biāo)準(zhǔn)答案一樣，但操作過(guò)程中卻有錯(cuò)誤，沒(méi)有完全掌握業(yè)務(wù)流程知識(shí)。而基于操作日志的仿真考評(píng)方案就能根據(jù)考生的操作序列進(jìn)行比對(duì)，真正起到考察考生流程知識(shí)點(diǎn)掌握情況以及熟練程度，幫助考生針對(duì)性的進(jìn)行再培訓(xùn)。

5 ?結(jié) ?語(yǔ)

本文給出了操作序列表示方法和測(cè)評(píng)的自動(dòng)化模型，在此基礎(chǔ)上建立考核自動(dòng)評(píng)分流程。同時(shí)結(jié)合實(shí)例構(gòu)建出有效的自動(dòng)評(píng)分方案。該系統(tǒng)在實(shí)際中的應(yīng)用，克服了傳統(tǒng)流程性考試人工評(píng)分的不足，實(shí)現(xiàn)相對(duì)、客觀，提高了流程業(yè)務(wù)知識(shí)點(diǎn)考核的工作效率，同時(shí)也降低了業(yè)務(wù)培訓(xùn)考核的成本。隨著現(xiàn)代計(jì)算機(jī)技術(shù)的不斷進(jìn)步，面向流程性業(yè)務(wù)題型的自動(dòng)閱卷技術(shù)也將不斷成熟，必將在今后的仿真培訓(xùn)考核系統(tǒng)中發(fā)揮越來(lái)越重要的作用。

參考文獻(xiàn)

[1] 嚴(yán)可，胡國(guó)平，魏思，等.面向大規(guī)模英語(yǔ)口語(yǔ)機(jī)考的復(fù)述題自動(dòng)評(píng)分技術(shù)[J].清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2009（z1）：1356?1362.

[2] 李學(xué)俊.基于人工智能的主觀題自動(dòng)評(píng)分算法實(shí)現(xiàn)[J].江南大學(xué)學(xué)報(bào)：自然科學(xué)版，2009（3）：292?295.

[3] 李莉，張?zhí)t. LSA在中文短文自動(dòng)判分系統(tǒng)中的應(yīng)用研究[J].計(jì)算機(jī)工程與應(yīng)用，2007（20）：177?180.

[4] 項(xiàng)曙光，岳金彩，李玉剛.過(guò)程仿真培訓(xùn)成績(jī)的自動(dòng)評(píng)定及其實(shí)現(xiàn)（Ⅱ）：培訓(xùn)成績(jī)自動(dòng)評(píng)分的實(shí)現(xiàn)[J].計(jì)算機(jī)仿真，1999（5）：6?10.

[5] 傅焜，李志忠，楊宇航.基于流程圖和仿真的維修培訓(xùn)系統(tǒng)[J].計(jì)算機(jī)仿真，2006（6）：282?285.

[6] 王興武，常喜茂，董青，等.基于Web的火電仿真培訓(xùn)系統(tǒng)研究及實(shí)現(xiàn)[J].系統(tǒng)仿真學(xué)報(bào)，2006（11）：3091?3094.

[7] 沐潤(rùn)志，李恒.一種新型實(shí)驗(yàn)現(xiàn)場(chǎng)評(píng)分系統(tǒng)[J].價(jià)值工程，2013（12）：201?202.

[8] 陳萱華，楊玲.面向仿真系統(tǒng)的自動(dòng)測(cè)評(píng)關(guān)鍵技術(shù)研究[J].計(jì)算機(jī)與現(xiàn)代化，2012（11）：59?61.

2 ?系統(tǒng)流程與結(jié)構(gòu)模型設(shè)計(jì)

2.1 ?系統(tǒng)流程設(shè)計(jì)

針對(duì)本文提出的研究方案，以構(gòu)建新型流程知識(shí)仿真考核系統(tǒng)，提高現(xiàn)代應(yīng)用程序培訓(xùn)考核質(zhì)量為宗旨，服務(wù)于引進(jìn)了新型復(fù)雜應(yīng)用需要進(jìn)行人員培訓(xùn)的電力公司。

根據(jù)圖1的流程圖，本文設(shè)計(jì)的流程知識(shí)仿真培訓(xùn)考核系統(tǒng)相對(duì)于傳統(tǒng)計(jì)算機(jī)應(yīng)用考試系統(tǒng)，其仿真試題題庫(kù)存儲(chǔ)、考試環(huán)境準(zhǔn)備、評(píng)判試卷、成績(jī)匯總等工作都由系統(tǒng)支持，提高了培訓(xùn)考評(píng)的公平公正。

流程題型業(yè)務(wù)仿真界面即流程題型考核界面與實(shí)際操作系統(tǒng)界面具有完全相同的操作環(huán)境;邏輯包含流程業(yè)務(wù)邏輯和評(píng)分規(guī)則，流程知識(shí)業(yè)務(wù)邏輯是與考核知識(shí)點(diǎn)相對(duì)應(yīng)的業(yè)務(wù)流程邏輯，評(píng)分規(guī)則是題目評(píng)分的算法細(xì)則;數(shù)據(jù)域包括初始化數(shù)據(jù)，考試輸入數(shù)據(jù)，期望輸出結(jié)果即題目所對(duì)應(yīng)的答案結(jié)果數(shù)據(jù)，考生輸出結(jié)果即考生輸入數(shù)據(jù)依流程邏輯所產(chǎn)生的結(jié)果;結(jié)果包括獲取考試環(huán)境數(shù)據(jù)即獲取考試場(chǎng)次編號(hào)、考生編號(hào)等環(huán)境數(shù)據(jù)，記錄考試操作痕跡即記錄考題所要求的操作過(guò)程痕跡，輸出答題結(jié)果即輸出考試結(jié)果和答題、操作記錄。

3 基于操作日志的流程知識(shí)培訓(xùn)考核關(guān)鍵問(wèn)題

3.1 ?基于操作日志的流程知識(shí)測(cè)評(píng)自動(dòng)化模型

業(yè)務(wù)流程是由若干相互關(guān)聯(lián)的、按照一定時(shí)間和邏輯順序組成的活動(dòng)集合，而活動(dòng)是由相應(yīng)的角色通過(guò)利用各種資源來(lái)執(zhí)行有相應(yīng)的輸入、處理規(guī)則和輸出組成。流程業(yè)務(wù)題型就是在業(yè)務(wù)流程的基礎(chǔ)上，根據(jù)業(yè)務(wù)之間的關(guān)聯(lián)以及時(shí)間或邏輯順序在系統(tǒng)中進(jìn)行操作的一種題型，操作中涉及到的各種知識(shí)即流程知識(shí)。

本仿真系統(tǒng)的考核主要針對(duì)考生的流程題型的操作進(jìn)行評(píng)判，考生的操作導(dǎo)致系統(tǒng)狀態(tài)的變化。因此，對(duì)考生考試過(guò)程中的操作序列的提取主要通過(guò)存儲(chǔ)考生在進(jìn)行流程考試操作過(guò)程中的操作日志到數(shù)據(jù)庫(kù)中來(lái)實(shí)現(xiàn)。同時(shí)，將考生的操作直接定義為事件來(lái)表示考生的操作序列，用四元組表示事件E（M，D，S，P）。其中M為操作模塊，D為操作日志，通過(guò)操作日志可以反映考生的操作順序和操作時(shí)間，S為進(jìn)行操作后后續(xù)模塊狀態(tài)，P表示進(jìn)行該操作需要的參數(shù)即初始化數(shù)據(jù)。當(dāng)對(duì)所有的操作都定義成事件的標(biāo)準(zhǔn)形式后，把每道題的最簡(jiǎn)正確操作序列存入數(shù)據(jù)庫(kù)的評(píng)分規(guī)則庫(kù)中，這樣就完成了正確答案的操作序列表示。

在事件E中，日志D的結(jié)構(gòu)是由考生的操作順序以及操作過(guò)程中的時(shí)間組成，即D可以表示為D（H，T）。H表示在日志中存儲(chǔ)的考試的操作步驟，即各操作之間的順序，H的存儲(chǔ)方式是一個(gè)三維數(shù)組，為H（Iv，V，Ov），V表示業(yè)務(wù)流程活動(dòng)，Iv表示活動(dòng)V的輸入數(shù)據(jù)，Ov表示活動(dòng)V的輸出數(shù)據(jù);T表示考生操作完流程耗費(fèi)的時(shí)間。如D中存儲(chǔ)的信息可以是（（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Ic，e，Oc）），10 min），表示考生完成流程走的步驟是s→a→c→e，完成流程花費(fèi)的時(shí)間為10 min，最終結(jié)果是Oc。其中，s代表start，e代表end。

本文自動(dòng)測(cè)評(píng)結(jié)合操作序列和操作結(jié)果一同進(jìn)行測(cè)評(píng)。因此本文提出的實(shí)操題型的自動(dòng)測(cè)評(píng)模型如圖3所示。

圖3中的推理機(jī)利用事先設(shè)定好的每個(gè)操作步驟的評(píng)分標(biāo)準(zhǔn)實(shí)現(xiàn)對(duì)考生的合理評(píng)分。動(dòng)態(tài)數(shù)據(jù)庫(kù)主要存儲(chǔ)考生操作過(guò)程中的相關(guān)信息，如初始狀態(tài)、推理規(guī)則等，可以在系統(tǒng)推理或成績(jī)計(jì)算過(guò)程中動(dòng)態(tài)生成或刪除。

3.2 ?基于操作日志的流程知識(shí)考評(píng)方案

在進(jìn)行自動(dòng)評(píng)分過(guò)程中，首先抽取待評(píng)試卷，從規(guī)則庫(kù)中找出每道題對(duì)應(yīng)的規(guī)則組成待用規(guī)則集存入動(dòng)態(tài)數(shù)據(jù)庫(kù)。待用規(guī)則即正確答案，對(duì)于基于結(jié)果或序列的操作所表示的分別是正確答案或最簡(jiǎn)操作步驟。

在確定了操作測(cè)評(píng)的自動(dòng)化模型以及評(píng)分流程后，評(píng)分的算法主要是：判斷正確答案的操作序列是否出現(xiàn)在考生的操作步驟中，根據(jù)考生操作日志判斷考生的操作順序是否正確。由于正確答案的操作序列存在多個(gè)可能，需逐個(gè)比對(duì)，只有均不符合才能判定考生的操作不全對(duì)。若答題有時(shí)間限制，查看答題時(shí)間是否有超出規(guī)定答題時(shí)間，若超出則根據(jù)評(píng)分條件進(jìn)行相應(yīng)的減分。具體流程如圖4所示。

圖4 實(shí)操考核自動(dòng)評(píng)分流程

3.3 ?基于操作日志的流程知識(shí)自動(dòng)評(píng)分規(guī)則

自動(dòng)評(píng)分的規(guī)則主要通過(guò)考生的操作日志，比較實(shí)際操作過(guò)程與標(biāo)準(zhǔn)過(guò)程的差異來(lái)進(jìn)行。評(píng)分規(guī)則的設(shè)置原理為操作到某一步多少分，得出正確結(jié)果多少分，然后計(jì)算總得分。每一個(gè)類型的題都有自己的評(píng)分規(guī)則，即每一類型的業(yè)務(wù)操作流程都有一個(gè)評(píng)分規(guī)則，每道題的評(píng)分規(guī)則是事先定義好存放在規(guī)則庫(kù)中。圖5是本系統(tǒng)中提出的評(píng)分規(guī)則的評(píng)分過(guò)程圖，根據(jù)每個(gè)題型的得分標(biāo)準(zhǔn)進(jìn)行相應(yīng)的評(píng)分，最終得出流程的總分。

圖5 操作步驟評(píng)分過(guò)程

4 ?實(shí)例研究

某電力公司在系統(tǒng)中進(jìn)行業(yè)務(wù)流程考核，用流程日志記錄每個(gè)考生的操作痕跡，包括考試答題操作時(shí)間，操作先后順序等信息。當(dāng)考生完成上一步操作后，操作序列存取考生操作的事件信息，將這一步的結(jié)果傳遞到下一步的初始數(shù)據(jù)中進(jìn)行數(shù)據(jù)裝載。每一步的操作都有一個(gè)操作序列存取考生的操作題目、操作日志、操作結(jié)果和初始數(shù)據(jù)信息。之后根據(jù)自動(dòng)評(píng)分流程將考生的操作序列和題目的標(biāo)準(zhǔn)操作序列進(jìn)行比對(duì)，將期望輸出結(jié)果跟考生實(shí)際結(jié)果比較得出考生實(shí)操的最終分?jǐn)?shù)。

在實(shí)際操作過(guò)程中，假設(shè)考生在考試過(guò)程中的操作步驟為sacmge，那么對(duì)該考生該業(yè)務(wù)中考試的操作日志D中存儲(chǔ)的操作路徑H為（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Im，m，Om），（Ig，g，Og），（Ig，e，Og）），上一活動(dòng)的輸出是下一活動(dòng)的輸入，即Os與Ia相同，而考生操作這一流程的時(shí)間為10 min，因此，D的存儲(chǔ)信息為（H，10 min）。而規(guī)則庫(kù)中存儲(chǔ)的這一業(yè)務(wù)的正確操作路徑為sacfge，即正確操作路徑為H1（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（If，f，Of），（Ig，g，Og），（Ig，e，Og）），同時(shí)業(yè)務(wù)規(guī)定在進(jìn)行操作花費(fèi)的時(shí)間不得多于15 min。因此，該流程存于規(guī)則庫(kù)中的正確答案應(yīng)為（H1，15 min）。評(píng)分規(guī)則此時(shí)比較實(shí)際操作過(guò)程與標(biāo)準(zhǔn)過(guò)程的差異。根據(jù)評(píng)分規(guī)則，該考生的前兩步正確，但是c之后的活動(dòng)應(yīng)為f，而考生的操作是c?>m，遍歷考生接下來(lái)的所有操作均無(wú)f，系統(tǒng)扣除該步驟分。再對(duì)比標(biāo)準(zhǔn)答案中，f的下一活動(dòng)為g，同時(shí)遍歷考生日志得到g，遍歷到e結(jié)束。而考生的操作時(shí)間為10 min<15 min，沒(méi)有超出該題的時(shí)間限制，不需扣除超時(shí)分?jǐn)?shù)。

因此，雖然考生最終結(jié)果跟標(biāo)準(zhǔn)答案一樣，但操作過(guò)程中卻有錯(cuò)誤，沒(méi)有完全掌握業(yè)務(wù)流程知識(shí)。而基于操作日志的仿真考評(píng)方案就能根據(jù)考生的操作序列進(jìn)行比對(duì)，真正起到考察考生流程知識(shí)點(diǎn)掌握情況以及熟練程度，幫助考生針對(duì)性的進(jìn)行再培訓(xùn)。

5 ?結(jié) ?語(yǔ)

本文給出了操作序列表示方法和測(cè)評(píng)的自動(dòng)化模型，在此基礎(chǔ)上建立考核自動(dòng)評(píng)分流程。同時(shí)結(jié)合實(shí)例構(gòu)建出有效的自動(dòng)評(píng)分方案。該系統(tǒng)在實(shí)際中的應(yīng)用，克服了傳統(tǒng)流程性考試人工評(píng)分的不足，實(shí)現(xiàn)相對(duì)、客觀，提高了流程業(yè)務(wù)知識(shí)點(diǎn)考核的工作效率，同時(shí)也降低了業(yè)務(wù)培訓(xùn)考核的成本。隨著現(xiàn)代計(jì)算機(jī)技術(shù)的不斷進(jìn)步，面向流程性業(yè)務(wù)題型的自動(dòng)閱卷技術(shù)也將不斷成熟，必將在今后的仿真培訓(xùn)考核系統(tǒng)中發(fā)揮越來(lái)越重要的作用。

參考文獻(xiàn)

[1] 嚴(yán)可，胡國(guó)平，魏思，等.面向大規(guī)模英語(yǔ)口語(yǔ)機(jī)考的復(fù)述題自動(dòng)評(píng)分技術(shù)[J].清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2009（z1）：1356?1362.

[2] 李學(xué)俊.基于人工智能的主觀題自動(dòng)評(píng)分算法實(shí)現(xiàn)[J].江南大學(xué)學(xué)報(bào)：自然科學(xué)版，2009（3）：292?295.

[3] 李莉，張?zhí)t. LSA在中文短文自動(dòng)判分系統(tǒng)中的應(yīng)用研究[J].計(jì)算機(jī)工程與應(yīng)用，2007（20）：177?180.

[4] 項(xiàng)曙光，岳金彩，李玉剛.過(guò)程仿真培訓(xùn)成績(jī)的自動(dòng)評(píng)定及其實(shí)現(xiàn)（Ⅱ）：培訓(xùn)成績(jī)自動(dòng)評(píng)分的實(shí)現(xiàn)[J].計(jì)算機(jī)仿真，1999（5）：6?10.

[5] 傅焜，李志忠，楊宇航.基于流程圖和仿真的維修培訓(xùn)系統(tǒng)[J].計(jì)算機(jī)仿真，2006（6）：282?285.

[6] 王興武，常喜茂，董青，等.基于Web的火電仿真培訓(xùn)系統(tǒng)研究及實(shí)現(xiàn)[J].系統(tǒng)仿真學(xué)報(bào)，2006（11）：3091?3094.

[7] 沐潤(rùn)志，李恒.一種新型實(shí)驗(yàn)現(xiàn)場(chǎng)評(píng)分系統(tǒng)[J].價(jià)值工程，2013（12）：201?202.

[8] 陳萱華，楊玲.面向仿真系統(tǒng)的自動(dòng)測(cè)評(píng)關(guān)鍵技術(shù)研究[J].計(jì)算機(jī)與現(xiàn)代化，2012（11）：59?61.

2 ?系統(tǒng)流程與結(jié)構(gòu)模型設(shè)計(jì)

2.1 ?系統(tǒng)流程設(shè)計(jì)

針對(duì)本文提出的研究方案，以構(gòu)建新型流程知識(shí)仿真考核系統(tǒng)，提高現(xiàn)代應(yīng)用程序培訓(xùn)考核質(zhì)量為宗旨，服務(wù)于引進(jìn)了新型復(fù)雜應(yīng)用需要進(jìn)行人員培訓(xùn)的電力公司。

根據(jù)圖1的流程圖，本文設(shè)計(jì)的流程知識(shí)仿真培訓(xùn)考核系統(tǒng)相對(duì)于傳統(tǒng)計(jì)算機(jī)應(yīng)用考試系統(tǒng)，其仿真試題題庫(kù)存儲(chǔ)、考試環(huán)境準(zhǔn)備、評(píng)判試卷、成績(jī)匯總等工作都由系統(tǒng)支持，提高了培訓(xùn)考評(píng)的公平公正。

流程題型業(yè)務(wù)仿真界面即流程題型考核界面與實(shí)際操作系統(tǒng)界面具有完全相同的操作環(huán)境;邏輯包含流程業(yè)務(wù)邏輯和評(píng)分規(guī)則，流程知識(shí)業(yè)務(wù)邏輯是與考核知識(shí)點(diǎn)相對(duì)應(yīng)的業(yè)務(wù)流程邏輯，評(píng)分規(guī)則是題目評(píng)分的算法細(xì)則;數(shù)據(jù)域包括初始化數(shù)據(jù)，考試輸入數(shù)據(jù)，期望輸出結(jié)果即題目所對(duì)應(yīng)的答案結(jié)果數(shù)據(jù)，考生輸出結(jié)果即考生輸入數(shù)據(jù)依流程邏輯所產(chǎn)生的結(jié)果;結(jié)果包括獲取考試環(huán)境數(shù)據(jù)即獲取考試場(chǎng)次編號(hào)、考生編號(hào)等環(huán)境數(shù)據(jù)，記錄考試操作痕跡即記錄考題所要求的操作過(guò)程痕跡，輸出答題結(jié)果即輸出考試結(jié)果和答題、操作記錄。

3 基于操作日志的流程知識(shí)培訓(xùn)考核關(guān)鍵問(wèn)題

3.1 ?基于操作日志的流程知識(shí)測(cè)評(píng)自動(dòng)化模型

業(yè)務(wù)流程是由若干相互關(guān)聯(lián)的、按照一定時(shí)間和邏輯順序組成的活動(dòng)集合，而活動(dòng)是由相應(yīng)的角色通過(guò)利用各種資源來(lái)執(zhí)行有相應(yīng)的輸入、處理規(guī)則和輸出組成。流程業(yè)務(wù)題型就是在業(yè)務(wù)流程的基礎(chǔ)上，根據(jù)業(yè)務(wù)之間的關(guān)聯(lián)以及時(shí)間或邏輯順序在系統(tǒng)中進(jìn)行操作的一種題型，操作中涉及到的各種知識(shí)即流程知識(shí)。

本仿真系統(tǒng)的考核主要針對(duì)考生的流程題型的操作進(jìn)行評(píng)判，考生的操作導(dǎo)致系統(tǒng)狀態(tài)的變化。因此，對(duì)考生考試過(guò)程中的操作序列的提取主要通過(guò)存儲(chǔ)考生在進(jìn)行流程考試操作過(guò)程中的操作日志到數(shù)據(jù)庫(kù)中來(lái)實(shí)現(xiàn)。同時(shí)，將考生的操作直接定義為事件來(lái)表示考生的操作序列，用四元組表示事件E（M，D，S，P）。其中M為操作模塊，D為操作日志，通過(guò)操作日志可以反映考生的操作順序和操作時(shí)間，S為進(jìn)行操作后后續(xù)模塊狀態(tài)，P表示進(jìn)行該操作需要的參數(shù)即初始化數(shù)據(jù)。當(dāng)對(duì)所有的操作都定義成事件的標(biāo)準(zhǔn)形式后，把每道題的最簡(jiǎn)正確操作序列存入數(shù)據(jù)庫(kù)的評(píng)分規(guī)則庫(kù)中，這樣就完成了正確答案的操作序列表示。

在事件E中，日志D的結(jié)構(gòu)是由考生的操作順序以及操作過(guò)程中的時(shí)間組成，即D可以表示為D（H，T）。H表示在日志中存儲(chǔ)的考試的操作步驟，即各操作之間的順序，H的存儲(chǔ)方式是一個(gè)三維數(shù)組，為H（Iv，V，Ov），V表示業(yè)務(wù)流程活動(dòng)，Iv表示活動(dòng)V的輸入數(shù)據(jù)，Ov表示活動(dòng)V的輸出數(shù)據(jù);T表示考生操作完流程耗費(fèi)的時(shí)間。如D中存儲(chǔ)的信息可以是（（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Ic，e，Oc）），10 min），表示考生完成流程走的步驟是s→a→c→e，完成流程花費(fèi)的時(shí)間為10 min，最終結(jié)果是Oc。其中，s代表start，e代表end。

本文自動(dòng)測(cè)評(píng)結(jié)合操作序列和操作結(jié)果一同進(jìn)行測(cè)評(píng)。因此本文提出的實(shí)操題型的自動(dòng)測(cè)評(píng)模型如圖3所示。

圖3中的推理機(jī)利用事先設(shè)定好的每個(gè)操作步驟的評(píng)分標(biāo)準(zhǔn)實(shí)現(xiàn)對(duì)考生的合理評(píng)分。動(dòng)態(tài)數(shù)據(jù)庫(kù)主要存儲(chǔ)考生操作過(guò)程中的相關(guān)信息，如初始狀態(tài)、推理規(guī)則等，可以在系統(tǒng)推理或成績(jī)計(jì)算過(guò)程中動(dòng)態(tài)生成或刪除。

3.2 ?基于操作日志的流程知識(shí)考評(píng)方案

在進(jìn)行自動(dòng)評(píng)分過(guò)程中，首先抽取待評(píng)試卷，從規(guī)則庫(kù)中找出每道題對(duì)應(yīng)的規(guī)則組成待用規(guī)則集存入動(dòng)態(tài)數(shù)據(jù)庫(kù)。待用規(guī)則即正確答案，對(duì)于基于結(jié)果或序列的操作所表示的分別是正確答案或最簡(jiǎn)操作步驟。

在確定了操作測(cè)評(píng)的自動(dòng)化模型以及評(píng)分流程后，評(píng)分的算法主要是：判斷正確答案的操作序列是否出現(xiàn)在考生的操作步驟中，根據(jù)考生操作日志判斷考生的操作順序是否正確。由于正確答案的操作序列存在多個(gè)可能，需逐個(gè)比對(duì)，只有均不符合才能判定考生的操作不全對(duì)。若答題有時(shí)間限制，查看答題時(shí)間是否有超出規(guī)定答題時(shí)間，若超出則根據(jù)評(píng)分條件進(jìn)行相應(yīng)的減分。具體流程如圖4所示。

圖4 實(shí)操考核自動(dòng)評(píng)分流程

3.3 ?基于操作日志的流程知識(shí)自動(dòng)評(píng)分規(guī)則

自動(dòng)評(píng)分的規(guī)則主要通過(guò)考生的操作日志，比較實(shí)際操作過(guò)程與標(biāo)準(zhǔn)過(guò)程的差異來(lái)進(jìn)行。評(píng)分規(guī)則的設(shè)置原理為操作到某一步多少分，得出正確結(jié)果多少分，然后計(jì)算總得分。每一個(gè)類型的題都有自己的評(píng)分規(guī)則，即每一類型的業(yè)務(wù)操作流程都有一個(gè)評(píng)分規(guī)則，每道題的評(píng)分規(guī)則是事先定義好存放在規(guī)則庫(kù)中。圖5是本系統(tǒng)中提出的評(píng)分規(guī)則的評(píng)分過(guò)程圖，根據(jù)每個(gè)題型的得分標(biāo)準(zhǔn)進(jìn)行相應(yīng)的評(píng)分，最終得出流程的總分。

圖5 操作步驟評(píng)分過(guò)程

4 ?實(shí)例研究

某電力公司在系統(tǒng)中進(jìn)行業(yè)務(wù)流程考核，用流程日志記錄每個(gè)考生的操作痕跡，包括考試答題操作時(shí)間，操作先后順序等信息。當(dāng)考生完成上一步操作后，操作序列存取考生操作的事件信息，將這一步的結(jié)果傳遞到下一步的初始數(shù)據(jù)中進(jìn)行數(shù)據(jù)裝載。每一步的操作都有一個(gè)操作序列存取考生的操作題目、操作日志、操作結(jié)果和初始數(shù)據(jù)信息。之后根據(jù)自動(dòng)評(píng)分流程將考生的操作序列和題目的標(biāo)準(zhǔn)操作序列進(jìn)行比對(duì)，將期望輸出結(jié)果跟考生實(shí)際結(jié)果比較得出考生實(shí)操的最終分?jǐn)?shù)。

在實(shí)際操作過(guò)程中，假設(shè)考生在考試過(guò)程中的操作步驟為sacmge，那么對(duì)該考生該業(yè)務(wù)中考試的操作日志D中存儲(chǔ)的操作路徑H為（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（Im，m，Om），（Ig，g，Og），（Ig，e，Og）），上一活動(dòng)的輸出是下一活動(dòng)的輸入，即Os與Ia相同，而考生操作這一流程的時(shí)間為10 min，因此，D的存儲(chǔ)信息為（H，10 min）。而規(guī)則庫(kù)中存儲(chǔ)的這一業(yè)務(wù)的正確操作路徑為sacfge，即正確操作路徑為H1（（0，s，Os），（Ia，a，Oa），（Ic，c，Oc），（If，f，Of），（Ig，g，Og），（Ig，e，Og）），同時(shí)業(yè)務(wù)規(guī)定在進(jìn)行操作花費(fèi)的時(shí)間不得多于15 min。因此，該流程存于規(guī)則庫(kù)中的正確答案應(yīng)為（H1，15 min）。評(píng)分規(guī)則此時(shí)比較實(shí)際操作過(guò)程與標(biāo)準(zhǔn)過(guò)程的差異。根據(jù)評(píng)分規(guī)則，該考生的前兩步正確，但是c之后的活動(dòng)應(yīng)為f，而考生的操作是c?>m，遍歷考生接下來(lái)的所有操作均無(wú)f，系統(tǒng)扣除該步驟分。再對(duì)比標(biāo)準(zhǔn)答案中，f的下一活動(dòng)為g，同時(shí)遍歷考生日志得到g，遍歷到e結(jié)束。而考生的操作時(shí)間為10 min<15 min，沒(méi)有超出該題的時(shí)間限制，不需扣除超時(shí)分?jǐn)?shù)。

因此，雖然考生最終結(jié)果跟標(biāo)準(zhǔn)答案一樣，但操作過(guò)程中卻有錯(cuò)誤，沒(méi)有完全掌握業(yè)務(wù)流程知識(shí)。而基于操作日志的仿真考評(píng)方案就能根據(jù)考生的操作序列進(jìn)行比對(duì)，真正起到考察考生流程知識(shí)點(diǎn)掌握情況以及熟練程度，幫助考生針對(duì)性的進(jìn)行再培訓(xùn)。

5 ?結(jié) ?語(yǔ)

本文給出了操作序列表示方法和測(cè)評(píng)的自動(dòng)化模型，在此基礎(chǔ)上建立考核自動(dòng)評(píng)分流程。同時(shí)結(jié)合實(shí)例構(gòu)建出有效的自動(dòng)評(píng)分方案。該系統(tǒng)在實(shí)際中的應(yīng)用，克服了傳統(tǒng)流程性考試人工評(píng)分的不足，實(shí)現(xiàn)相對(duì)、客觀，提高了流程業(yè)務(wù)知識(shí)點(diǎn)考核的工作效率，同時(shí)也降低了業(yè)務(wù)培訓(xùn)考核的成本。隨著現(xiàn)代計(jì)算機(jī)技術(shù)的不斷進(jìn)步，面向流程性業(yè)務(wù)題型的自動(dòng)閱卷技術(shù)也將不斷成熟，必將在今后的仿真培訓(xùn)考核系統(tǒng)中發(fā)揮越來(lái)越重要的作用。

參考文獻(xiàn)

[1] 嚴(yán)可，胡國(guó)平，魏思，等.面向大規(guī)模英語(yǔ)口語(yǔ)機(jī)考的復(fù)述題自動(dòng)評(píng)分技術(shù)[J].清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2009（z1）：1356?1362.

[2] 李學(xué)俊.基于人工智能的主觀題自動(dòng)評(píng)分算法實(shí)現(xiàn)[J].江南大學(xué)學(xué)報(bào)：自然科學(xué)版，2009（3）：292?295.

[3] 李莉，張?zhí)t. LSA在中文短文自動(dòng)判分系統(tǒng)中的應(yīng)用研究[J].計(jì)算機(jī)工程與應(yīng)用，2007（20）：177?180.

[4] 項(xiàng)曙光，岳金彩，李玉剛.過(guò)程仿真培訓(xùn)成績(jī)的自動(dòng)評(píng)定及其實(shí)現(xiàn)（Ⅱ）：培訓(xùn)成績(jī)自動(dòng)評(píng)分的實(shí)現(xiàn)[J].計(jì)算機(jī)仿真，1999（5）：6?10.

[5] 傅焜，李志忠，楊宇航.基于流程圖和仿真的維修培訓(xùn)系統(tǒng)[J].計(jì)算機(jī)仿真，2006（6）：282?285.

[6] 王興武，常喜茂，董青，等.基于Web的火電仿真培訓(xùn)系統(tǒng)研究及實(shí)現(xiàn)[J].系統(tǒng)仿真學(xué)報(bào)，2006（11）：3091?3094.

[7] 沐潤(rùn)志，李恒.一種新型實(shí)驗(yàn)現(xiàn)場(chǎng)評(píng)分系統(tǒng)[J].價(jià)值工程，2013（12）：201?202.

[8] 陳萱華，楊玲.面向仿真系統(tǒng)的自動(dòng)測(cè)評(píng)關(guān)鍵技術(shù)研究[J].計(jì)算機(jī)與現(xiàn)代化，2012（11）：59?61.