楊 康

(鎮(zhèn)江高等專科學(xué)校 教務(wù)處， 江蘇 鎮(zhèn)江 212003)

ISO9001標(biāo)準(zhǔn)下的國家普通話水平智能測試系統(tǒng)(2.8版)改進建議

楊 康

(鎮(zhèn)江高等?？茖W(xué)校 教務(wù)處， 江蘇 鎮(zhèn)江212003)

通過對普通話水平智能測試系統(tǒng)(2.8版)的分析，從ISO9001標(biāo)準(zhǔn)角度闡述了智能測試系統(tǒng)還存在如可靠性方面不夠成熟、交互信息不易被理解、防范作弊的能力不足、評測質(zhì)量預(yù)防機制欠缺等問題，從構(gòu)建基礎(chǔ)性的信息交流平臺、借鑒優(yōu)秀方案完善監(jiān)考功能、建立網(wǎng)絡(luò)年度培訓(xùn)考核系統(tǒng)方面提出了改進建議。

普通話測試；智能系統(tǒng)；ISO9001

ISO9001是國際標(biāo)準(zhǔn)化組織頒布的在世界范圍內(nèi)通用的關(guān)于質(zhì)量管理和質(zhì)量保證方面的標(biāo)準(zhǔn)，用于證實組織具有提供滿足顧客要求和適用法規(guī)要求的產(chǎn)品的能力，目的在于通過持續(xù)改進以增進顧客滿意度[1]。由安徽科大訊飛公司研發(fā)的國家普通話水平智能測試系統(tǒng)(以下簡稱測試系統(tǒng))包含省級測試中心信息管理系統(tǒng)和測試站計算機智能測試系統(tǒng)兩個部分，從ISO9001角度看，該系統(tǒng)是教育部語言文字應(yīng)用管理同提供的普通話口語考試服務(wù)的外包產(chǎn)品。2012年7月，在對系統(tǒng)使用中的問題進行分析研究后，教育部語用司發(fā)布了改進后的2.8版測試系統(tǒng)。

1 存在問題

根據(jù)ISO9001標(biāo)準(zhǔn)，組織應(yīng)確定：顧客規(guī)定的要求；顧客雖然沒有明示，但規(guī)定用途或已知的預(yù)期用途所必需的要求。組織還應(yīng)對產(chǎn)品信息、顧客反饋等確定并實施與顧客溝通的有效安排[1]。測試系統(tǒng)提供了網(wǎng)絡(luò)版、單機版兩種應(yīng)用方案。2.8版系統(tǒng)發(fā)布后，使用兩種應(yīng)用方案進行多批次測試任務(wù)發(fā)現(xiàn),測試系統(tǒng)未能滿足省級測試中心、測試站工作人員、考生的需求或期望，還存在問題。

1.1可靠性方面不夠成熟

可靠性(Reliability)，即軟件是否能夠一直在一個穩(wěn)定的狀態(tài)上滿足可用性[2]，是國際標(biāo)準(zhǔn)化組織制定的軟件評價技術(shù)中的質(zhì)量特性之一，是顧客對軟件產(chǎn)品正常的質(zhì)量訴求。在多年的使用過程中發(fā)現(xiàn)，測試系統(tǒng)會在兩種應(yīng)用方案下隨機偶發(fā)某些故障，例如在網(wǎng)絡(luò)版應(yīng)用方案下有時出現(xiàn)考生點擊“提交試卷”按鈕后監(jiān)考機一直停留在“正在評測”提示狀態(tài)，無法點擊“結(jié)束考試”按鈕結(jié)束本場考試，考試機也不反饋“考試結(jié)束”提示框；在單機版應(yīng)用方案下出現(xiàn)過以下問題：考試機試音成功后第一題測試時麥克風(fēng)無法拾音，顯示“失敗原因：無輸入信號”提示框；考生參加測試但從考試機導(dǎo)出的考試數(shù)據(jù)trd壓縮包中不包括以該考生準(zhǔn)考證號命名的oef文件，以致省測試中心信息管理系統(tǒng)中沒有該考生的語音數(shù)據(jù)文件。雖然上述故障都可通過各種方法予以解決，但對測試站工作人員系統(tǒng)故障排除能力是個考驗，同時也無法消除對考生負(fù)面的心理影響。

1.2交互信息不易被理解

測試系統(tǒng)在運行過程中會對諸如試音失敗、評測失敗、操作失敗等顯示相關(guān)信息，用來提示發(fā)生錯誤原因，其中出現(xiàn)次數(shù)較多的提示信息之一是“失敗原因：截幅”。截幅的含義是什么？什么導(dǎo)致截幅？如何克服截幅？提示界面并沒有提供易被理解的信息，軟件公司的技術(shù)資料也沒有提供說明，非專業(yè)的測試站工作人員無法獲得有用信息，更談不上通俗易懂地去指導(dǎo)考生。為使測試站工作人員和考生能準(zhǔn)確地理解提示信息，測試系統(tǒng)的交互信息設(shè)計需要更加人性化。

1.3防范作弊的能力不足

普通話水平測試是一項國家級口語測試，考試信度的高低直接關(guān)系著廣大考生的切身利益。各測試站雖然采取各種措施加強考場監(jiān)督，但還不能徹底杜絕測試中的作弊行為，測試系統(tǒng)能否有效打造一道防范作弊的防火墻越來越引起關(guān)注。經(jīng)測試方案驗證，測試系統(tǒng)對重復(fù)考試、交叉替考作弊方式的防范能力還需提高。

1.3.1 防范重復(fù)考試的能力

測試系統(tǒng)在監(jiān)考機端采用的是SQLServer2000數(shù)據(jù)庫，考試機端采用的是Access2000數(shù)據(jù)庫，Access2000數(shù)據(jù)庫的安全性要遠(yuǎn)低于SQLServer2000數(shù)據(jù)庫。由于未進行網(wǎng)絡(luò)版應(yīng)用方案預(yù)防重復(fù)考試能力的測試，以下僅就單機版應(yīng)用方案防范重復(fù)考試的能力進行闡述。

任選1臺計算機作考試機安裝客戶端軟件導(dǎo)入測試任務(wù)，以某準(zhǔn)考證號登錄測試系統(tǒng)并成功測試，再次以原準(zhǔn)考證號登錄，屏幕顯示“該考生已考試成功”，而后采用如下表所示的方案1,2加以驗證，結(jié)果表明，對于內(nèi)外勾結(jié)重復(fù)考試的作弊行為，測試系統(tǒng)還不能防范。

表1 驗證方案

1.3.2 防范交叉替考的能力

國家普通話水平測試時，考生經(jīng)檢查準(zhǔn)考證和身份證原件進入測試室，輸入準(zhǔn)考證號核對姓名無誤后進入測試系統(tǒng)。由于每臺考試機中的測試任務(wù)中包含同一批次所有考生的信息，如果考生輸入另一考生的準(zhǔn)考證號進行交叉替考，測試系統(tǒng)往往難以發(fā)現(xiàn)。雖然實踐中可以通過增加測試人員逐一核對考生信息的方式來防范替考行為，但測試系統(tǒng)網(wǎng)絡(luò)版應(yīng)用方案中，1臺監(jiān)考機可以聯(lián)接20臺考試機，單機版應(yīng)用方案則對考試機臺數(shù)沒有限制，要實現(xiàn)短時間逐一核對考生輸入信息的真實性，所需增加人員的數(shù)量是較大的，這不符合測試系統(tǒng)降低測試成本的設(shè)計初衷?？梢?，對于同一批次考生交叉替考的作弊行為，測試系統(tǒng)還不能防范。

1.4評測質(zhì)量預(yù)防機制欠缺

現(xiàn)行有關(guān)規(guī)定沒有對普通話測試員資格的時效性做出明確要求，只是規(guī)定“測試工作人員違反測試規(guī)定的，視情節(jié)予以批評教育、暫停測試工作、解除聘任或宣布測試員證書作廢等處理”[3]，只要測試員不違反這一條，其資格就終身有效。測試系統(tǒng)評測質(zhì)量關(guān)鍵在于普通話測試員的評測質(zhì)量[4]，雖然一些省份采取了質(zhì)量監(jiān)控措施，對評測質(zhì)量不高的測試員暫停評分工作，但這些措施是抽檢后發(fā)現(xiàn)已經(jīng)對考生測試成績造成影響的后續(xù)措施，并不能預(yù)先發(fā)現(xiàn)測試員評測質(zhì)量的不合格，并不能規(guī)避評測質(zhì)量不合格的測試員參與評測工作。測試系統(tǒng)目前僅將考生的語音數(shù)據(jù)文件、評測成績集中存儲在省級測試中心，并沒有利用這些信息形成評測后的質(zhì)量反饋，更沒有利用這些信息建立測試員評測質(zhì)量預(yù)防機制。

2 改進建議

ISO9001標(biāo)準(zhǔn)條款要求應(yīng)對顧客反饋包括顧客抱怨，確定并實施與顧客溝通的有效安排，要求采取措施消除發(fā)現(xiàn)的不合格以及產(chǎn)生不合格的原因，同時還要求采取措施以消除潛在不合格的原因，以預(yù)防不合格的發(fā)生(條款中的不合格是指未滿足明示的、通常隱含的或必須履行的需求或期望)[1]，上述條款內(nèi)容是對測試系統(tǒng)持續(xù)改進的依據(jù)要求。

2.1構(gòu)建基礎(chǔ)性的信息交流平臺

測試系統(tǒng)的持續(xù)改進包括對運行過程中遇到BUG(系統(tǒng)錯誤)、使用問題等非功能需求及時有效的持續(xù)跟蹤和維護，還包括對功能需求的確認(rèn)和完善，這就需要測試系統(tǒng)的顧客特別是既熟悉測試工作又熟悉系統(tǒng)操作和考務(wù)管理的人員廣泛而密切的配合，目前，科大訊飛公司僅提供技術(shù)部門的電話答復(fù)各測試站工作人員、測試員的技術(shù)咨詢和問題反饋，這種點對點的聯(lián)系方式不利于咨詢結(jié)果和存在問題的輻射分享。2012年3月召開的專題研討會也只邀請了部分高?；虻厥袦y試站(點)熟悉測試工作管理和系統(tǒng)操作的同志參加，收集的信息不夠全面，因此，建立教育部語用司、科大訊飛公司、省級測試中心和各測試站工作人員、測試員都能廣泛參與的諸如QQ群、微信群等信息交流平臺。只有建立廣泛參與的信息溝通平臺，才能及時收集測試系統(tǒng)在可靠性、易用性、維護性、可移植性等方面的顧客反饋，才能確認(rèn)用戶功能性、非功能性需求并及時加以維護和完善，不斷增進顧客的滿意程度。

2.2借鑒優(yōu)秀方案完善監(jiān)考功能

考試系統(tǒng)設(shè)計的初衷是營造公正、公平的考試環(huán)境同時兼顧效率和成本。要有效地監(jiān)控和防止考生的作弊行為，保證評測的可信度，必須采用低成本、高效率的解決方案。目前，國內(nèi)的機動車駕駛證考試、大學(xué)英語四六級考試、大學(xué)英語應(yīng)用能力考試等已經(jīng)在實踐中采用了各種防作弊措施，取得了較好的效果。諸如將準(zhǔn)考證信息隨機或人為指定分配到各考試機上進行考前防控，采用指紋、面部識別系統(tǒng)將正在測試考生的生物特征與報名采集的信息比對后的結(jié)果反饋到監(jiān)考機屏幕上供工作人員進行考中防控，留存考生圖像簽字單進行考后防控，等等，都是值得借鑒的多重防控設(shè)計。建議教育部語用詞、科大訊飛公司在改進普通話測試系統(tǒng)時予以考慮。

2.3建立網(wǎng)絡(luò)年度培訓(xùn)考核系統(tǒng)

普通話測試員評測是一項專業(yè)性較強的工作，它需要測試員在短時間內(nèi)對考生的語音狀況迅速作出判斷，很容易受到測試員自身的語言修養(yǎng)、聽辨音能力、掌握評分標(biāo)準(zhǔn)的熟練程度、實踐經(jīng)驗、心理素質(zhì)、身體素質(zhì)、敬業(yè)精神等的影響[5]。為保證評測質(zhì)量，測試員應(yīng)不斷地參加理論學(xué)習(xí)和評測實踐。同時，為了規(guī)避評測質(zhì)量不合格的測試員參與評測工作，需要對測試員的評測質(zhì)量有所了解，因此建立測試員網(wǎng)絡(luò)年度培訓(xùn)考核系統(tǒng)是可行的質(zhì)量預(yù)防機制。測試系統(tǒng)的服務(wù)器中儲存了測試員的信息和已測考生大量的語音數(shù)據(jù)文件，可以利用這些語音數(shù)據(jù)文件建立評測標(biāo)準(zhǔn)庫供測試員進行模擬評分，結(jié)合理論學(xué)習(xí)視頻對測試員進行網(wǎng)絡(luò)年度培訓(xùn)考核，通過考核的測試員才具備接受正式評測任務(wù)的資格，以消除測試員評測質(zhì)量潛在的不合格對考生測試成績的影響。

3 結(jié)束語

普通話水平測試是一項國家級口語測試服務(wù)，不僅涉及以測試系統(tǒng)為載體的外包產(chǎn)品，也涉及以各種文件為載體的程序文件、作業(yè)指導(dǎo)書。持續(xù)改進沒有終點，需要教育部語用司按照ISO9001標(biāo)準(zhǔn)要求，堅持以顧客為關(guān)注焦點，持續(xù)改進不斷增進顧客滿意度。

[1] 國家標(biāo)準(zhǔn)化管理委員會.GB/T 19001-2008 質(zhì)量管理體系 要求[S].北京：中國標(biāo)準(zhǔn)出版社，2008.

[2] 國際標(biāo)準(zhǔn)化組織.ISO/IEC 25010-2011系統(tǒng)和軟件工程.系統(tǒng)和軟件質(zhì)量要求和評估(SQuaRE).系統(tǒng)和軟件質(zhì)量模型[EB/OL].[2015-03-01].http://www.iso.org/iso/iso.catalogue/catalogue_tc/catalogue_detail.htm?csnumber:35733.

[3] 國家教育部.普通話水平測試管理規(guī)定[EB/OL].[2015-02-01].http://www.cltt.org/GuiZhangZhiDu/2010/116.html.

[4] 楊康.計算機輔助普通話水平測試評測質(zhì)量影響因素分析[J].考試研究,2013(5):72-77.

[5] 閻浩然，曹昭.試論方言語境對普通話水平測試員測試評分的影響[C]//第二屆全國普通話水平測試學(xué)術(shù)研討會論文集.北京：商務(wù)印書館，2004.

〔責(zé)任編輯： 胡 菲〕

SuggestionsforimprovementinNationalMandarinProficiencyIntelligentTestSystemVersion2.8underISO9001standard

YANG Kang

(Teaching Affairs Department, Zhenjiang College, Zhenjiang 212003, China)

Through the analysis of the National Mandarin Proficiency Intelligent Test System Version 2.8 issued in July, 2012, this thesis, from the angle of ISO9001 standard, states that there still exist defects in the intelligent test system: reliability is not mature enough; mutual information is not easy to understand; the ability of preventing cheating is insufficient; prevention mechanism of the evaluating quality needs to be invented. Construction of the basic platform for the exchange of information, borrowing superior solutions to improve the invigilator functions and establishment of the network annual training appraisal system are recommended for improvement.

Mandarin test; intelligent system; ISO9001

2015-03-02

楊 康(1973—)，男，江蘇鎮(zhèn)江人，助理研究員，主要從事教育管理研究。

H102

：C

：1008-8148(2015)04-0039-03