周曉蘭

(湖南科技大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，湖南 湘潭 411201)

?

計(jì)算機(jī)輔助普通話水平測試系統(tǒng)的優(yōu)化

周曉蘭

(湖南科技大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，湖南 湘潭 411201)

計(jì)算機(jī)輔助普通話水平測試是一種新型的普通話水平測試手段，目前湖南省的普通話水平測試采用科大訊飛的計(jì)算機(jī)輔助普通話水平測試系統(tǒng)，該系統(tǒng)基本上能適應(yīng)普通話水平測試，但還存在某些不足之處。為更好地推動此項(xiàng)技術(shù)的發(fā)展，應(yīng)優(yōu)化語音評判系統(tǒng)，加強(qiáng)建設(shè)和搜集高分段錄音樣本，優(yōu)化評分系統(tǒng)的評價(jià)模型，改進(jìn)抽題策略，設(shè)計(jì)更加人性化的測試系統(tǒng)的交互信息，同時(shí)，設(shè)置一套有效防范作弊的措施，改進(jìn)命題說話題的人工打分方式，設(shè)計(jì)智能的評判模式。

計(jì)算機(jī)輔助；普通話水平測試；系統(tǒng)優(yōu)化

計(jì)算機(jī)輔助普通話水平測試系統(tǒng)(Computer Assisted Mandarin Evaluation System)是針對全國普通話水平測試(PSC)，以計(jì)算機(jī)作為輔助手段，進(jìn)行無紙化、電子化的高效率測評的系統(tǒng)，由考務(wù)信息管理、仿真考試和錄音以及機(jī)器輔助評分構(gòu)成，具有考生信息數(shù)據(jù)庫管理、考生語音數(shù)據(jù)采集、考試流程控制、計(jì)算機(jī)自動評測打分等功能，實(shí)現(xiàn)了考試過程、數(shù)據(jù)收集的自動化等功能。計(jì)算機(jī)輔助普通話水平測試作為一種利用現(xiàn)代信息技術(shù)新型普通話水平測試手段，在全國多個省市推廣，給普通話教學(xué)與測試帶來了巨大的變化。測前的準(zhǔn)備工作相對減少，大大提高了靈活程度和工作效率，并降低了組織的難度和測試成本。但計(jì)算機(jī)輔助普通話水平測試中語音評判的準(zhǔn)確度問題還存在一定的局限性。雷峻認(rèn)為應(yīng)進(jìn)一步擴(kuò)充豐富全國各地的錄音樣本，尤其是對高分段(一甲樣本)的搜集，從而對高分段的測試更加準(zhǔn)確。韋素玲以廣西師范大學(xué)為例探討了高校“機(jī)輔測試”普通話規(guī)范化管理的相關(guān)問題，提出應(yīng)做好考前、考中、考后的規(guī)范化管理，重點(diǎn)提出實(shí)現(xiàn)“機(jī)輔測試”走向制度化、規(guī)范化和科學(xué)化。王苓、傅江宏提出一種新的測試模式，幫助測試管理機(jī)構(gòu)有效監(jiān)控測試員測評的整個過程，以便得到更加準(zhǔn)確的測試成績。何勇等利用遺傳算子和遺傳算法，依據(jù)遺傳算法的編碼、選擇、交叉和變異等步驟，提出自動組卷算法。曾玲基于三明學(xué)院普通話測試改革，分析了計(jì)算機(jī)輔助普通話測試在高校實(shí)際運(yùn)行過程中信息管理系統(tǒng)不夠完善、硬件的兼容性較差等問題，提出優(yōu)化軟件平臺，提高系統(tǒng)管理人性化自動化水平，充實(shí)提高機(jī)測題庫容量與質(zhì)量，實(shí)現(xiàn)計(jì)算機(jī)輔助普通話測試的規(guī)范化、科學(xué)化管理。為使系統(tǒng)能更加準(zhǔn)確地評測前三題，給出更加客觀的分?jǐn)?shù)，對該測試系統(tǒng)進(jìn)行優(yōu)化，使之能對所有被測人員做出準(zhǔn)確的評價(jià)，是研究普通話水平測試系統(tǒng)的重要任務(wù)。

1　目前計(jì)算機(jī)輔助普通話水平測試存在的不足之處

計(jì)算機(jī)輔助普通話測試的語音評判具有可行性、信度及經(jīng)濟(jì)效率，能有效解決人工測試的弊端，并提高測試的公信度、公正性和精確度。

科大訊飛股份有限公司開發(fā)出來的計(jì)算機(jī)輔助普通話水平測試系統(tǒng)是國家語委鑒定為當(dāng)前唯一的，并在普通話水平正式測試中應(yīng)用的測試系統(tǒng)，基本能夠滿足當(dāng)前高校計(jì)算機(jī)輔助普通話水平測試的要求?？拼笥嶏w測試系統(tǒng)基于教育部和國家語言文字工作委員會頒布的《普通話水平測試大綱》，以先進(jìn)的語音合成技術(shù)和中文語音評測技術(shù)為核心技術(shù)，通過對語料庫補(bǔ)充完善、合成器的研發(fā)和語音參數(shù)的優(yōu)化，以及對區(qū)域性語言的分析和研究，可準(zhǔn)確地對朗讀單音節(jié)詞、朗讀多音節(jié)詞和朗讀短文等三種測試題型實(shí)現(xiàn)自動評測。

科大訊飛系統(tǒng)為了滿足不同的用戶需求，開發(fā)了單機(jī)版和網(wǎng)絡(luò)版兩種版本?？梢愿屿`活地應(yīng)用于計(jì)算機(jī)輔助普通話水平測試系統(tǒng)[1]。網(wǎng)絡(luò)版架構(gòu)設(shè)計(jì)是監(jiān)考機(jī)對考生測試過程進(jìn)行管理監(jiān)控。目前在大批量的測試中，普遍采用設(shè)置每批次20臺測試機(jī)，輔助學(xué)生完成考試。每一批次進(jìn)行考試時(shí)都由監(jiān)考老師從監(jiān)考機(jī)上發(fā)出考試指令(監(jiān)考機(jī)能夠隨時(shí)監(jiān)控考試機(jī))，考生根據(jù)監(jiān)考老師在監(jiān)考機(jī)發(fā)出的指令(指令有時(shí)是語音提示，有時(shí)是顯示在考試機(jī)的屏幕上的文字信息)進(jìn)行不同的操作?？忌植揭来蔚牟僮魇牵簻?zhǔn)考證號輸入，身份信息核對，試音以及單音節(jié)詞、多音節(jié)詞、朗讀短文、說話等題型的考試。由測試系統(tǒng)自動完成考生的朗讀單音節(jié)詞、朗讀多音節(jié)詞和朗讀短文的評測，最后一題說話題由測試站將測試數(shù)據(jù)上傳至省中心服務(wù)器上并分配測試員后，由測試員根據(jù)錄音進(jìn)行網(wǎng)上評分。

科大訊飛的計(jì)算機(jī)輔助普通話測試系統(tǒng)在成績評定上，對二級甲等到三級甲等成績的判定基本上與人工測試的結(jié)果比對一致，大部分考生的成績集中在二級甲等到三級甲等這個范圍內(nèi)，從而系統(tǒng)能滿足高校普通話水平測試的要求。系統(tǒng)對高分段(比如一級甲等)和低分段(比如三級乙等及以下等級)的成績判定與人工測試的誤差大，特別是測試系統(tǒng)對一級甲等的成績認(rèn)定一般不能做出很好的評價(jià)。據(jù)國家語委測試數(shù)據(jù)顯示，在實(shí)際測試以及測試環(huán)境完全一致的情況下，讓性別不同、年齡不同以及獲得證書時(shí)間不同的已獲得國家語委普通話培訓(xùn)測試中心認(rèn)定的一級甲等成績的人員進(jìn)行試驗(yàn)測試，最終成績都達(dá)不到一級甲等。目前各地區(qū)在送審一甲樣本時(shí)，仍舊采用人工測試。系統(tǒng)中最重要也是最關(guān)鍵的環(huán)節(jié)——語音評判、語音分析處理技術(shù)還是一個比較難解決的問題，對于全部自動化閱卷和對所有分?jǐn)?shù)段的考生做出準(zhǔn)確的評判還有待進(jìn)一步改進(jìn)。到目前為止還沒有系統(tǒng)提出改進(jìn)措施，特別是考生語音數(shù)據(jù)采集和計(jì)算機(jī)自動評測打分功能優(yōu)化問題沒有系統(tǒng)研究，另外尚未建立對考生在沒有文字憑借情況下的命題說話題進(jìn)行語音評判的模式。

測試系統(tǒng)的可靠性有待進(jìn)一步加強(qiáng)[2]。軟件可靠性(software reliability)是軟件產(chǎn)品能否在規(guī)定的時(shí)間和條件下滿足規(guī)定的功能的能力，是國際標(biāo)準(zhǔn)化組織頒布的ISO9001制定的軟件評價(jià)技術(shù)中的質(zhì)量標(biāo)準(zhǔn)之一，是用戶對軟件產(chǎn)品的正常質(zhì)量訴求。在使用過程中，科大訊飛測試系統(tǒng)隨機(jī)偶發(fā)一些故障。比如：有時(shí)考生明明點(diǎn)擊了“下一題”按鈕，但就是無法結(jié)束本題考試；有時(shí)考試機(jī)試音成功后，第一題測試時(shí)麥克風(fēng)無法拾音，提示框顯示的提示信息為“失敗原因: 無輸入信號”；有時(shí)考生參加了測試但從考試機(jī)導(dǎo)出的考試數(shù)據(jù)trd 壓縮包中沒有以該考生準(zhǔn)考證號命名的oef文件，從而信息管理系統(tǒng)中沒有該考生的數(shù)據(jù)[3]。

測試系統(tǒng)出現(xiàn)的有些交互信息不易被理解。測試系統(tǒng)在運(yùn)行過程中經(jīng)常出現(xiàn)用來提示發(fā)生錯誤原因的“試音失敗、評測失敗、操作失敗”等信息，特別對于出現(xiàn)較多的“失敗原因: 截幅”，截幅是什么、導(dǎo)致截幅原因是什么以及如何克服截幅，系統(tǒng)沒有提供任何的解決方法。軟件說明書中也查找不到截幅相關(guān)的說明。非專業(yè)的測試站工作人員無法理解這些信息，更談不上去指導(dǎo)考生了。

測試系統(tǒng)對于考生本身作弊行為或者內(nèi)外勾結(jié)重復(fù)考試的作弊行為基本上不能防范。普通話水平測試是國家級的口語測試，各測試站采取了各種各樣的措施加強(qiáng)考場監(jiān)督，但不能徹底杜絕測試中的作弊行為，特別是對于交叉替考作弊方式?jīng)]有任何的防范措施。

2　對存在問題的對策及今后規(guī)范管理的思考

基于計(jì)算機(jī)輔助普通話水平測試現(xiàn)狀，進(jìn)一步研究計(jì)算機(jī)輔助普通話水平測試系統(tǒng)的優(yōu)化，實(shí)現(xiàn)優(yōu)化測試手段、規(guī)范測試程序、統(tǒng)一測試標(biāo)準(zhǔn)、降低測試成本、提高測試效率等，真正達(dá)到計(jì)算機(jī)智能普通話水平測試。結(jié)合計(jì)算機(jī)輔助普通話水平測試實(shí)際應(yīng)用現(xiàn)狀提出計(jì)算機(jī)輔助普通話水平測試中對現(xiàn)有普通話中語音評判進(jìn)行優(yōu)化的方案，并建立對于考生在沒有文字憑借情況下的命題說話題進(jìn)行語音初步評判的模式。以系統(tǒng)思考的方法和開拓創(chuàng)新的精神，積極探索改進(jìn)計(jì)算機(jī)輔助普通話水平測試系統(tǒng)的不足之處。

第一，優(yōu)化計(jì)算機(jī)輔助普通話測試的語音評判系統(tǒng)。針對系統(tǒng)對高分段(比如一級甲等)和低分段(比如三級乙及以下等級)的成績判定與人工測試誤差大的情況，可以對計(jì)算機(jī)輔助普通話水平測試的評價(jià)模式進(jìn)行修改。系統(tǒng)可以對被測樣本進(jìn)行分析和成績評判，如果被測樣本出屬于普通段，則按照原有模式進(jìn)行評判；如果被測樣本屬于高分段(或低分段)馬上轉(zhuǎn)入高分段(或低分段)處理模塊進(jìn)行處理(專門為高分段或低分段的樣本設(shè)計(jì)一個處理模塊)。另外，優(yōu)化系統(tǒng)應(yīng)考慮硬件的兼容性和大批量考生的管理需求，提高系統(tǒng)管理人性化自動化水平，確保省中心和測試站兩級管理模式的有序協(xié)調(diào)。

第二，加強(qiáng)高分段錄音樣本的建設(shè)和搜集。目前測試系統(tǒng)利用了一種智能語音處理技術(shù)，即計(jì)算機(jī)輔助語言學(xué)習(xí)技術(shù)(Computer Assisted Language Learning，通過機(jī)器自動對發(fā)音進(jìn)行評分、檢錯并給出矯正指導(dǎo)的技術(shù))進(jìn)行評分。測評系統(tǒng)利用大量的錄音樣本進(jìn)行分析處理，并產(chǎn)生標(biāo)準(zhǔn)模型，再把被測者的測試樣本與標(biāo)準(zhǔn)模型進(jìn)行比對評判[4]。盡管系統(tǒng)從全國各地搜集整理了許許多多的樣本，但目前對高分段(一級甲等)的錄音樣本采集還很不足。為了豐富高分段的樣本，可以將國家級的廣播電視媒體和社會上影響力大的播音員、主持人的錄音樣本采集到系統(tǒng)語音庫中，也可以將影視話劇等單位公認(rèn)的普通話水平很標(biāo)準(zhǔn)的演員的錄音樣本大量地采集到系統(tǒng)語音庫中。樣本比較豐富了，評價(jià)系統(tǒng)在對比考生的語音面貌時(shí)，將更加客觀。

第三，探索優(yōu)化評分系統(tǒng)的評價(jià)模型的新算法。蟻群算法可以準(zhǔn)確地估計(jì)評價(jià)模型向量并且不會產(chǎn)生局部相位的波形惡化，使得各處向量的功率譜有明顯的增益[5]。改進(jìn)后的評價(jià)模型能對語音信號進(jìn)行良好的識別，具有良好的通用性和全局性。使用蟻群算法對評分系統(tǒng)里評價(jià)模型進(jìn)行優(yōu)化的方法。利用計(jì)算機(jī)技術(shù)蟻群算法對評分系統(tǒng)中的評價(jià)模型進(jìn)行優(yōu)化，并建立對于考生在沒有文字憑借情況下的命題說話題進(jìn)行語音評判的模式。

第四，改進(jìn)當(dāng)前的抽題策略，并進(jìn)一步建設(shè)測試試卷的題庫。目前湖南省測試中心使用50套試題,每個考場從50套中抽取20套，每臺考試機(jī)上固定一套試題。按照這種抽題策略，雖然是每個考生一套，但是坐在同一個位置上的考生總是做同一套試題，這樣就可能出現(xiàn)考生作弊的行為。為了防止同一位置做相同的試題，可以每個座位上抽取不同的試題，另外每一套試題的組織應(yīng)該由題庫中不同類型的題目隨機(jī)搭配組成。在被測室選取的試卷號，這個試卷號可以由監(jiān)考老師輸入測試系統(tǒng)。另外這50套測試卷的所有內(nèi)容已成為公開的秘密,特別是命題說話題,已經(jīng)被人做出不同的標(biāo)準(zhǔn)答案，上傳到網(wǎng)絡(luò)之上或者輯印成冊。測試員在評分中經(jīng)常反復(fù)聽到同一個話題的同一內(nèi)容的標(biāo)準(zhǔn)答案，就是因?yàn)榭忌呈炝饲宦傻男∥恼耓1]。為了減少此類現(xiàn)象的發(fā)生,普通話水平測試題庫必須進(jìn)行修改和更新。題庫的題目不應(yīng)局限于已經(jīng)存在的幾十套單音節(jié)字詞、雙音節(jié)字詞、短文及說話題目，應(yīng)增加與考生生活、學(xué)習(xí)等方面相關(guān)的更加豐富的內(nèi)容。在每次組織考試前,應(yīng)由省測試中心或測試站負(fù)責(zé)組卷,這樣考生就不會在考試前準(zhǔn)備好標(biāo)準(zhǔn)答案。

第五，廣泛協(xié)調(diào)，多方組織合作，大力開展技術(shù)改進(jìn)，進(jìn)行科研攻關(guān)。計(jì)算機(jī)輔助測試系統(tǒng)技術(shù)難度高，一般計(jì)算機(jī)輔助測試系統(tǒng)的研發(fā)人員是一些懂計(jì)算機(jī)技術(shù)的科研人員，這些人員一般不是普通話水平測試的一線測試員，更加不是語言教學(xué)、普通話理論研究專家。計(jì)算機(jī)技術(shù)人員不能準(zhǔn)確把握普通話水平測試的用戶的各種需求，所開發(fā)的軟件自然就會出現(xiàn)這樣那樣的不合理之處?；诖?，可以由教育部和國家語言文字工作委員會牽頭，在全國范圍內(nèi)不定時(shí)地組織一些學(xué)術(shù)研討會或者成立一些專門的研究機(jī)構(gòu)，把語音處理技術(shù)上頂尖的專家、既懂計(jì)算機(jī)技術(shù)又十分熟悉普通話理論以及測試的復(fù)合型人才以及長期從事普通話教學(xué)和測試的骨干組織起來，大家聯(lián)合攻關(guān)[6]。使普通話測試工作從管理、測試、培訓(xùn)到研究真正成為與國際上著名的語言考試比肩的國家品牌。

第六，設(shè)計(jì)更加人性化的測試系統(tǒng)的交互信息。為了測試站工作人員、監(jiān)考人員和考生都能準(zhǔn)確理解提示信息，測試系統(tǒng)的提示信息一般應(yīng)該做到考生和監(jiān)考老師都能理解出現(xiàn)信息的含義，不能出現(xiàn)監(jiān)考老師和考生都不理解的信息。

第七，測試系統(tǒng)中可以設(shè)置一套有效防范作弊的措施。對于考生本身作弊行為中的請人代考的防止措施，可以在系統(tǒng)中增加現(xiàn)在市面上已經(jīng)應(yīng)用廣泛的指紋識別系統(tǒng)或者面部識別系統(tǒng)。在考生報(bào)名時(shí)采集其指紋信息或者面部圖像，考試時(shí)指紋、面部識別系統(tǒng)將正在測試的考生的生物特征與報(bào)名采集的信息比對，并將結(jié)果反饋到監(jiān)考機(jī)屏幕上，監(jiān)考老師根據(jù)結(jié)果確定考生是否舞弊[3]。筆者認(rèn)為用聲紋識別技術(shù)更方便，考試系統(tǒng)不要配置額外的硬件，只要在考生報(bào)名時(shí)采集一段考生的聲音，考試時(shí)候直接把報(bào)名時(shí)采集的聲紋與考生當(dāng)場考試的聲紋進(jìn)行比對即可分清是否替考。對于內(nèi)外勾結(jié)重復(fù)考試的作弊行為，應(yīng)由測試工作站的工作人員監(jiān)視整個考場，防止發(fā)生這種情況。

第八，改進(jìn)命題說話題的人工打分方式，設(shè)計(jì)智能的評判模式。測試系統(tǒng)對于考生在沒有文字憑借情況下的命題說話題的處理還處在人工方式階段。系統(tǒng)只能把考生的測試數(shù)據(jù)保存下來，而后上傳至省中心服務(wù)器上，由測試系統(tǒng)把測試數(shù)據(jù)分發(fā)給普通話測試員，測試員根據(jù)錄音進(jìn)行人工打分、網(wǎng)上評分?；诂F(xiàn)在語音評測技術(shù)的限制，不能完全由測試系統(tǒng)對命題說話題進(jìn)行精確的判分，但可對當(dāng)前的命題說話題進(jìn)行簡單的預(yù)評判，把一些沒有說話的、亂說話的、完全不符合題意的剔除掉，減輕測試員的工作。

3　結(jié)語

在計(jì)算機(jī)輔助普通話水平測試應(yīng)用過程中，雖然各個測試中心遇到了這樣或者那樣的問題，但是在教育部和國家語言文字工作委員會的指導(dǎo)下測試系統(tǒng)會不斷完善。將來計(jì)算機(jī)輔助普通話水平測試系統(tǒng)肯定會向著智能化的方向發(fā)展，會有更加廣闊的應(yīng)用前景。

[1] 黃謙，張小俊，趙秀宏.計(jì)算機(jī)輔助普通話水平測試存在的問題及對策[J].廊坊師范學(xué)院學(xué)報(bào)(自然科學(xué)版)，2011(8)：122-124.

[2] 楊康.國家普通話水平智能測試系統(tǒng)的改進(jìn)分析[J].考試研究,2015(4)：98-101.

[3] 楊康.ISO9001標(biāo)準(zhǔn)下的國家普通話水平智能測試系統(tǒng)(2．8版)改進(jìn)建議[J].鎮(zhèn)江高專學(xué)報(bào)，2015，10(4):39-40.

[4] 雷峻.計(jì)算機(jī)輔助普通話測試的問題思考及技術(shù)對策[J].武漢理工大學(xué)學(xué)報(bào),2010(7):160-162.

[5] 李超，劉濤.基于蟻群算法的普通話測試系統(tǒng)評分機(jī)制改進(jìn)[J].玉溪師范學(xué)院學(xué)報(bào)，2011(8):59-62.

[6]楊月君，王東波.計(jì)算機(jī)輔助普通話水平測試運(yùn)行實(shí)踐研究[J].教育教學(xué)論壇，2014(6):267-268.

(責(zé)任編校莫秀珍)

10.13582/j.cnki.1674-5884.2016.09.037

20160516

湖南省教育廳重點(diǎn)課題(2014ZD-003)

周曉蘭(1974-)，女，湖南洞口人，高級實(shí)驗(yàn)師，碩士，主要從事計(jì)算機(jī)科學(xué)技術(shù)及計(jì)算機(jī)實(shí)驗(yàn)教學(xué)研究。

H102

A

1674-5884(2016)09-0116-04