通拉嘎

（泉州師范學(xué)院圖書(shū)館，福建 泉州 362000）

1 引言

語(yǔ)料庫(kù)是大量自然語(yǔ)言素材的有序集合，這些語(yǔ)言素材是書(shū)面文本、言語(yǔ)錄音或其轉(zhuǎn)寫(xiě)[1]，語(yǔ)料庫(kù)標(biāo)注是為語(yǔ)料庫(kù)增加一些語(yǔ)言學(xué)信息[2]。語(yǔ)料庫(kù)不僅為語(yǔ)言研究提供新的研究手段，也為信息檢索、文本分類(lèi)、機(jī)器翻譯等自然語(yǔ)言信息處理的研究提供重要支持。由于國(guó)內(nèi)外語(yǔ)料庫(kù)建設(shè)尚缺乏通用的規(guī)范或標(biāo)準(zhǔn)可以遵循，如何衡量語(yǔ)料庫(kù)標(biāo)注的質(zhì)量、語(yǔ)料庫(kù)標(biāo)注出現(xiàn)了哪些問(wèn)題，都值得我們深入探究。筆者以智能信息處理發(fā)展相對(duì)薄弱的少數(shù)民族信息處理典型代表蒙古文信息處理的子問(wèn)題——《漢語(yǔ)人名拉丁轉(zhuǎn)寫(xiě)方案》的設(shè)計(jì)為例，探討影響語(yǔ)料庫(kù)標(biāo)注質(zhì)量的各類(lèi)因素。

蒙古文語(yǔ)料庫(kù)的建設(shè)從20世紀(jì)80年代開(kāi)始興起，由于傳統(tǒng)蒙古文書(shū)寫(xiě)形式從上至下，蒙古文部分元音、輔音顯示形式相同，新以蒙古文語(yǔ)料庫(kù)建設(shè)之初即以拉丁形式轉(zhuǎn)寫(xiě)各式語(yǔ)料，避免了排版、顯示、系統(tǒng)兼容及部分歧義問(wèn)題，把面向信息處理的蒙古文本形式簡(jiǎn)化為蒙古文（或漢字）包括標(biāo)點(diǎn)符號(hào)等組成的一個(gè)字符串問(wèn)題[3]。不過(guò)與中、英文大規(guī)模語(yǔ)料庫(kù)的發(fā)展相比，蒙、藏、維為代表的少數(shù)民族語(yǔ)言信息處理的研究與發(fā)展相對(duì)滯后，語(yǔ)料庫(kù)經(jīng)過(guò)機(jī)器標(biāo)注之后，還需大量的人工校對(duì)過(guò)程，這不僅耗時(shí)耗力，還因標(biāo)注者的不同理解，語(yǔ)料有不同層次的標(biāo)注問(wèn)題。蒙古文信息處理作為少數(shù)民族語(yǔ)言信息處理發(fā)展的卓越代表，發(fā)展中出現(xiàn)的問(wèn)題極富典型性意義。對(duì)不同的自然語(yǔ)言理解來(lái)說(shuō)，未登錄詞及歧義問(wèn)題始終是重點(diǎn)及難點(diǎn)問(wèn)題，而未登錄詞問(wèn)題比歧義問(wèn)題更為棘手。在Bake-off-2003的4個(gè)語(yǔ)料庫(kù)中因未登錄詞造成的分詞精度失落比歧義切分造成的精度失落至少大10倍左右，未登錄詞主要包括各類(lèi)命名實(shí)體，人名、地名、機(jī)構(gòu)名等專(zhuān)有名詞和新詞語(yǔ)，未登錄詞中人名的分布將近30%[2]40-41；而內(nèi)蒙古大學(xué)26萬(wàn)詞規(guī)模語(yǔ)料庫(kù)中，人名有3522個(gè)，漢語(yǔ)人名即有1243個(gè)，占據(jù)了35.29%的較高比例，漢語(yǔ)人名的拉丁轉(zhuǎn)寫(xiě)問(wèn)題成為了蒙古文語(yǔ)料庫(kù)標(biāo)注無(wú)法忽視的問(wèn)題。我們?cè)O(shè)計(jì)的《漢語(yǔ)人名拉丁轉(zhuǎn)寫(xiě)方案》（以下簡(jiǎn)稱(chēng)《轉(zhuǎn)寫(xiě)方案》）是在詳細(xì)分析蒙古文語(yǔ)料庫(kù)標(biāo)注問(wèn)題的基礎(chǔ)上提出的解決方案，在分析語(yǔ)料庫(kù)標(biāo)注質(zhì)量影響因子時(shí)有其獨(dú)特的視角及代表意義。

2 語(yǔ)料庫(kù)標(biāo)注質(zhì)量影響因子分析

語(yǔ)料庫(kù)開(kāi)發(fā)通常包括規(guī)劃、設(shè)計(jì)、選材、建庫(kù)和標(biāo)注等5個(gè)階段[4]。語(yǔ)言學(xué)知識(shí)的賦予是語(yǔ)料庫(kù)具備可用性的基本前提。目前，語(yǔ)料庫(kù)的標(biāo)注還未達(dá)到完全的自動(dòng)化標(biāo)注，后續(xù)還需要人工干預(yù)，語(yǔ)料庫(kù)的設(shè)計(jì)與加工差異較大，標(biāo)注質(zhì)量也千差萬(wàn)別。影響語(yǔ)料庫(kù)標(biāo)注質(zhì)量的因子有標(biāo)注的規(guī)范化發(fā)展、標(biāo)注的準(zhǔn)確性、一致性、中立性、通用性等5方面。

2.1 標(biāo)注的規(guī)范化發(fā)展

標(biāo)注的規(guī)范化發(fā)展是指語(yǔ)料庫(kù)建立之初，即以通用科學(xué)的規(guī)范來(lái)指導(dǎo)語(yǔ)料庫(kù)具體的標(biāo)注工作。語(yǔ)言文字是信息的主要載體，沒(méi)有高水平的語(yǔ)言文字的規(guī)范化、標(biāo)準(zhǔn)化，就不可能有真正意義上的高水平的信息化。人們?cè)谏罟ぷ髦杏幼⒅貢r(shí)效，更加注意信息現(xiàn)代化，標(biāo)準(zhǔn)化規(guī)范化比以往任何時(shí)候都顯得重要和迫切。

語(yǔ)料庫(kù)的標(biāo)注必須以完整、通用的規(guī)范作為指導(dǎo)，語(yǔ)料庫(kù)的標(biāo)注規(guī)范是為語(yǔ)料庫(kù)提供科學(xué)、實(shí)用的系統(tǒng)化規(guī)則，是語(yǔ)料庫(kù)標(biāo)注的導(dǎo)引性文件，對(duì)智能信息處理的規(guī)范化發(fā)展、對(duì)各類(lèi)系統(tǒng)的兼容，對(duì)語(yǔ)言資源的數(shù)據(jù)共享都有積極影響。

有鑒于此，我們?cè)谠O(shè)計(jì)《轉(zhuǎn)寫(xiě)方案》之初，參考各類(lèi)的中文分詞規(guī)范，以適應(yīng)語(yǔ)料庫(kù)現(xiàn)狀的4條規(guī)則作為《轉(zhuǎn)寫(xiě)方案》的設(shè)計(jì)原則?！掇D(zhuǎn)寫(xiě)方案》具體以蒙古語(yǔ)外來(lái)詞標(biāo)注習(xí)慣為基礎(chǔ)，適當(dāng)參考現(xiàn)代蒙古文拉丁及漢語(yǔ)拼音的標(biāo)注習(xí)慣，條例以排列順序享受優(yōu)先：

條例1漢語(yǔ)語(yǔ)音需一一對(duì)應(yīng)成蒙古文拉丁字母。

條例2以蒙古文書(shū)面語(yǔ)的外來(lái)詞拼寫(xiě)習(xí)慣為基礎(chǔ)。

條例3以蒙古文語(yǔ)料庫(kù)的標(biāo)注現(xiàn)行規(guī)則為參考。

條例4以《現(xiàn)代蒙古語(yǔ)語(yǔ)料庫(kù)標(biāo)注規(guī)范》為參考[5]。

2.2 標(biāo)注的準(zhǔn)確性

標(biāo)注的準(zhǔn)確性，顧名思義，指語(yǔ)料庫(kù)標(biāo)注要求準(zhǔn)確，才能實(shí)現(xiàn)通用及實(shí)用，以CLAWS為例，采用統(tǒng)計(jì)方法標(biāo)注，正確率達(dá)到96%～97%[6]，這已經(jīng)是標(biāo)注效果非常好的語(yǔ)料庫(kù)了。語(yǔ)料庫(kù)標(biāo)注按加工層次可以分為詞法標(biāo)注、句法標(biāo)注、語(yǔ)義標(biāo)注、篇章標(biāo)注等，無(wú)論對(duì)哪種深度的標(biāo)注來(lái)說(shuō)，準(zhǔn)確性是影響語(yǔ)料庫(kù)實(shí)用的基本前提。

以蒙古文語(yǔ)料庫(kù)的漢語(yǔ)人名的拉丁轉(zhuǎn)寫(xiě)來(lái)說(shuō)，雖然經(jīng)過(guò)自動(dòng)標(biāo)注和人工校對(duì)，語(yǔ)料庫(kù)的標(biāo)注還是出現(xiàn)大小寫(xiě)字母混用，相同的聲母、韻母被標(biāo)注成了不同的形式等問(wèn)題，如“zhzhi”“ch-chi”“sh-shi”被標(biāo)注成了不同聲母，“j、q、x、z、c、s、zh、ch”等漢語(yǔ)多個(gè)聲母與蒙古語(yǔ)少數(shù)輔音相對(duì)應(yīng)，漢語(yǔ)韻母被賦予了蒙古語(yǔ)元音的陰、陽(yáng)性特征。

目前，蒙古文語(yǔ)料庫(kù)的漢語(yǔ)人名的標(biāo)注有些參考了漢語(yǔ)拼音，有些參考了蒙古語(yǔ)人名的標(biāo)注慣例，因而漢語(yǔ)人名標(biāo)注不一，甚至相同人名的標(biāo)注也未能統(tǒng)一，如：LIU=LAN=T00|LIU=LAN=T0V（劉蘭濤），LIYAN=POWe|LIYAN=PUWE（廉頗）。

蒙古文語(yǔ)料庫(kù)中漢語(yǔ)人名標(biāo)注的錯(cuò)誤直接影響到了未登錄詞的處理，并進(jìn)而影響了蒙古文信息處理的發(fā)展，使系統(tǒng)的實(shí)用性大打折扣，由此可見(jiàn)標(biāo)注的準(zhǔn)確性對(duì)語(yǔ)料庫(kù)質(zhì)量產(chǎn)生的影響。

2.3 標(biāo)注的一致性

標(biāo)注的一致性指按固定的規(guī)范或原則指導(dǎo)語(yǔ)料庫(kù)的標(biāo)注，對(duì)相同語(yǔ)言成分的標(biāo)注要前后一致，貫徹?cái)?shù)據(jù)庫(kù)始終。

以蒙古文語(yǔ)料庫(kù)漢語(yǔ)人名的拉丁轉(zhuǎn)寫(xiě)為例，由于存在較多的人工標(biāo)注與校對(duì)的成分，人名在拉丁轉(zhuǎn)寫(xiě)方面并非前后一致，相同的聲母、韻母轉(zhuǎn)寫(xiě)為不同的元音、輔音形式，不同的聲母、韻母轉(zhuǎn)寫(xiě)為相同的蒙古文大小寫(xiě)形式，這給語(yǔ)料庫(kù)的使用帶來(lái)很大困難。

2.3.1 聲母轉(zhuǎn)寫(xiě)出現(xiàn)的問(wèn)題

c標(biāo)注為C|c（c0V=CONG曹聰）；c、q、ch都標(biāo)注為C（cAI=LUN蔡倫|JIYANG=CING江青|CeN=D0V=$eNG陳道生）；d標(biāo)注為D|d（LIU=YAN=DONG劉延?xùn)||deNG=SIY0V=PING鄧小平）；g標(biāo)注為G|g（BUWe=GU 博古|JU=geN=JU朱根柱）；h標(biāo)注為H|h（HU=CI=LI胡啟立|cAI=he=SeN蔡和森）；r標(biāo)注為R|r（BAI=RU=BING白如冰|CeN=JING=rUN 陳景潤(rùn)）；x、s都標(biāo)注為S（SIVWAN=WANG宣王|（LI=LI=SAN李立三）；j、zh都標(biāo)注為J（JIYANG=JIYe=$I蔣介石|deNG=JUNG=SIYA鄧中夏；z標(biāo)注為Z|z（LIU=ZONG=YVWAN柳宗元|LIN=ze=SIUI林則徐）；zh標(biāo)注為J|Z（ZeU=IVI周瑜|JeU=eN=LAI周恩來(lái)）；zhi標(biāo)注為zhI|zHI（FANG=zhI=MIN方志敏|$eN=I=zHI沈一智）。

2.3.2 韻母轉(zhuǎn)寫(xiě)出現(xiàn)的問(wèn)題

ao標(biāo)注為0V|00|AV（LI=J0V=SING李肇星|J00=ZI=YANG趙紫陽(yáng)|MAV=Ze=dONG毛澤東）；i標(biāo)注為 e|I（LI=Se=GVWANG李四光|HU=CI=LI胡啟立）；ian標(biāo)注為IYEN|IYAN（Ye=JIYEN=ING葉劍英|CIYAN=CI=CeN錢(qián)其?。?；o標(biāo)注為00|Owe（LIYANG=$eNG=B00梁勝波|BOWe=I=BOWe薄一波）；ou標(biāo)注為eU|EU（JeU=BA=PI周扒皮|PeNG=YONG=EU）；ong標(biāo)注為ONG|UNG|VNG（c0V=CONG曹聰|dUNG=cUN=rUI董存瑞|J0V=zhI=HVNG趙志紅）；uo標(biāo)注為OWe|UWe（JANG=ZOWe=LIN張作霖|YANG=$UWe楊朔）；ü標(biāo)注為IVI|IUI（SIVI=SIYANG=CIYAN徐向前|dA大=IUI禹）。

2.4 標(biāo)注的中立性

標(biāo)注的中立性指語(yǔ)料庫(kù)標(biāo)注中要采取被標(biāo)注者、使用者及系統(tǒng)本身可以普遍接受的中立模式，很多分詞單位的界限有時(shí)較為模糊，我們?cè)谡Z(yǔ)料庫(kù)標(biāo)注中要注重以中立的態(tài)度標(biāo)注語(yǔ)料，以適應(yīng)不同深度、不同層次、不同受眾的需求，提高語(yǔ)料庫(kù)的使用價(jià)值。以《轉(zhuǎn)寫(xiě)方案》的設(shè)計(jì)原則為例，“漢語(yǔ)語(yǔ)音需一一對(duì)應(yīng)成蒙古文拉丁字母”指漢語(yǔ)聲母需與蒙古語(yǔ)輔音達(dá)到一一對(duì)應(yīng)，以避免混淆。漢語(yǔ)無(wú)法對(duì)應(yīng)到蒙古語(yǔ)的聲、韻母可以參考《漢語(yǔ)拼音方案》進(jìn)行標(biāo)注。

“以蒙古文書(shū)面語(yǔ)外來(lái)詞拼寫(xiě)習(xí)慣為基礎(chǔ)”指應(yīng)充分尊重蒙古文歷來(lái)的外來(lái)詞拼寫(xiě)習(xí)慣。蒙古語(yǔ)經(jīng)過(guò)多年的演變與發(fā)展，已有相當(dāng)固定的外來(lái)詞拼寫(xiě)規(guī)則，如：“紅”在蒙古語(yǔ)中拼寫(xiě)為“HVNG”或“hUNG”，“河”拼寫(xiě)為“he”，我們對(duì)現(xiàn)已成形的蒙古文外來(lái)詞拼寫(xiě)習(xí)慣應(yīng)予以充分重視。

“以蒙古文語(yǔ)料庫(kù)標(biāo)注現(xiàn)行規(guī)則為參考”指需遵守現(xiàn)代蒙古文語(yǔ)料庫(kù)的現(xiàn)有標(biāo)注習(xí)慣?，F(xiàn)行的語(yǔ)料庫(kù)標(biāo)注規(guī)則是基于蒙古文傳統(tǒng)的詞語(yǔ)標(biāo)注習(xí)慣，以大、小寫(xiě)字母區(qū)分漢語(yǔ)聲、韻母，我們應(yīng)予以保留。

“以《現(xiàn)代蒙古語(yǔ)語(yǔ)料庫(kù)標(biāo)注規(guī)范》為參考”指《轉(zhuǎn)寫(xiě)方案》的制訂應(yīng)遵循《現(xiàn)代蒙古語(yǔ)語(yǔ)料庫(kù)標(biāo)注規(guī)范》確立的專(zhuān)有名詞標(biāo)注的4條規(guī)則：“zhi、chi、shi標(biāo)注為zhI、chI1；人姓和名之間的圓點(diǎn)以等號(hào)表示；蒙古語(yǔ)的dong標(biāo)注為dUNG；專(zhuān)名必須以等號(hào)連接，如，MAV=Ze=dONG?！?/p>

設(shè)計(jì)原則充分中和了蒙古文語(yǔ)料庫(kù)標(biāo)注固有知識(shí)、蒙古語(yǔ)書(shū)面語(yǔ)外來(lái)詞拼寫(xiě)慣例及《漢語(yǔ)拼音方案》，既照顧了蒙古文語(yǔ)料庫(kù)已有的語(yǔ)料庫(kù)標(biāo)注習(xí)慣，也考慮了蒙古文非語(yǔ)料庫(kù)使用的外來(lái)詞拼寫(xiě)習(xí)慣，又綜合參照了中文信息處理用途，有很強(qiáng)的中立性，適應(yīng)了語(yǔ)料庫(kù)標(biāo)注需要及語(yǔ)言研究需要。

2.5 標(biāo)注的通用性

標(biāo)注的通用性指不僅符合智能信息處理的各項(xiàng)標(biāo)注需求，也適應(yīng)不同文本之間的文本轉(zhuǎn)換、數(shù)據(jù)共享的需求。我們以設(shè)計(jì)原則為指導(dǎo)，對(duì)漢語(yǔ)的蒙古文拉丁轉(zhuǎn)寫(xiě)制訂了具體的轉(zhuǎn)寫(xiě)方案。

表1 漢語(yǔ)聲母的蒙古語(yǔ)拉丁轉(zhuǎn)寫(xiě)方案

表2 漢語(yǔ)韻母的蒙古語(yǔ)拉丁轉(zhuǎn)寫(xiě)方案

《轉(zhuǎn)寫(xiě)方案》不僅適應(yīng)蒙古文語(yǔ)料庫(kù)各類(lèi)文本的標(biāo)注，適應(yīng)詞法分析、句法分析、信息檢索、信息抽取直至機(jī)器翻譯的需求，也適應(yīng)蒙古文本與其他文種間的雙語(yǔ)、多語(yǔ)語(yǔ)料庫(kù)的建設(shè)需要，具有非常強(qiáng)的通用性。

3 結(jié)語(yǔ)

語(yǔ)料庫(kù)對(duì)智能語(yǔ)言信息處理及語(yǔ)言學(xué)研究都具有重要意義，筆者著重探討了影響語(yǔ)料庫(kù)標(biāo)注質(zhì)量的因素，認(rèn)為語(yǔ)料庫(kù)的規(guī)范化發(fā)展，標(biāo)注的準(zhǔn)確性、一致性、中立性、通用性等是影響語(yǔ)料庫(kù)標(biāo)注質(zhì)量的關(guān)鍵因素，并以蒙古文語(yǔ)料庫(kù)標(biāo)注中的重要及典型問(wèn)題——漢語(yǔ)人名的拉丁轉(zhuǎn)寫(xiě)為例，分析了影響因素對(duì)語(yǔ)料庫(kù)建設(shè)產(chǎn)生的作用。蒙古文語(yǔ)料庫(kù)中的漢語(yǔ)人名的拉丁轉(zhuǎn)寫(xiě)問(wèn)題是語(yǔ)言文字的標(biāo)準(zhǔn)化問(wèn)題，以蒙古語(yǔ)語(yǔ)料庫(kù)標(biāo)注現(xiàn)狀及蒙古文標(biāo)注外來(lái)詞的固定習(xí)慣為基礎(chǔ)，以《現(xiàn)代蒙古語(yǔ)語(yǔ)料庫(kù)標(biāo)注規(guī)范》為參考，適當(dāng)借鑒漢語(yǔ)的標(biāo)注規(guī)則，提出了較為詳盡和通用的《轉(zhuǎn)寫(xiě)方案》，希望語(yǔ)料庫(kù)標(biāo)注質(zhì)量影響因子的探討能對(duì)語(yǔ)料庫(kù)的科學(xué)化發(fā)展、語(yǔ)言的本質(zhì)屬性和規(guī)律的探討及信息資源的共享與交換產(chǎn)生積極影響。

注釋?zhuān)?/p>

文中的符號(hào)說(shuō)明：

等號(hào)（=）為連接符號(hào)，表示被連接的是一個(gè)標(biāo)記單位，如“SIVI=SIYANG=CIYAN徐向前”。

豎線(xiàn)（|）表示語(yǔ)言單位之間的切分或隔斷，如“C|c”。

[1] 趙鐵軍.機(jī)器翻譯原理[M].哈爾濱：哈爾濱工業(yè)大學(xué)出版社，2000.

[2] 達(dá)胡白乙拉.蒙古語(yǔ)基本動(dòng)詞短語(yǔ)自動(dòng)識(shí)別研究[D].呼和浩特：內(nèi)蒙古大學(xué)，2005.

[3] 劉連元.現(xiàn)代漢語(yǔ)語(yǔ)料庫(kù)選材設(shè)計(jì)[A].羅振聲，袁毓林.計(jì)算機(jī)時(shí)代的漢語(yǔ)和漢字研究[C].北京：清華大學(xué)出版社，1996.

[4] 嘎日迪.蒙古文信息處理技術(shù)及自然語(yǔ)言理解[M].呼和浩特：內(nèi)蒙古大學(xué)出版社，2006.

[5] 鄭家恒.智能信息處理——漢語(yǔ)語(yǔ)料庫(kù)加工技術(shù)及應(yīng)用[M].北京：科學(xué)出版社，2010.

[6] 國(guó)家語(yǔ)言資源監(jiān)測(cè)與研究中心.中國(guó)語(yǔ)言生活狀況報(bào)告[M].北京：商務(wù)印書(shū)館，2007.