周 潭， 莫禮平， 曾 虎， 雷 智， 李文宇， 吳 瑩

(吉首大學 信息科學與工程學院， 湖南 吉首 416000)

0 引 言

詞性標注是自然語言信息處理的基本內(nèi)容，也是文本索引、文本分類、語言合成、語料加工、機器翻譯、信息檢索等應(yīng)用領(lǐng)域不可缺少的一個環(huán)節(jié)。從概念上來講，詞性標注就是根據(jù)上下文語法關(guān)系，判定句子中每個詞語的語法范疇，以確定其詞性并加以標注的過程[1]。詞性標注對于消除詞語歧義、減少查詢模糊性、降低索引量、提高檢索效果及效率有著重要作用。Wilks Y[2]在利用英文詞性標注幫助實現(xiàn)語義消歧的研究中指出“詞性標注是實現(xiàn)語義消歧的第一步”；利用詞性標注減少查詢模糊性的研究也表明，在搜索引擎的信息查詢系統(tǒng)中加入詞性標注功能，有助于系統(tǒng)更準確理解用戶的查詢意圖，能夠返回更符合用戶要求的結(jié)果[3]。詞性標注集是用來表示詞類的工具，是詞性標注系統(tǒng)必不可少的組成部分。任何語言的詞性標注都必須以詞性標注集為基礎(chǔ)。詞性標注集的建立及詞性標注技術(shù)的發(fā)展與語料庫建設(shè)緊密相聯(lián)。20世紀60年代初，以N.Francis為首的一批學者在美國的布朗大學建成了當今最早的機讀語料庫—Brown語料庫。在Brown語料庫的建設(shè)過程中，人們開始研究英文詞性標注問題。20 世紀 80-90 年代，進入第二代、第三代電子語料庫時代，百萬、千萬、上億詞級的深度標注語料庫出現(xiàn)。此期間，英語詞性標注集的建立及詞性標注技術(shù)得到了長足的發(fā)展[4]。歷經(jīng)近50多年的發(fā)展，英語詞性標注集的建立及詞性標注技術(shù)已趨于成熟，面向德文[5]、法文[6]、意大利文[7]、阿拉伯文[8-9]、印度文[10]的各種類型文本詞性標注集的建立及詞性標注技術(shù)也發(fā)展迅速。近年來，面向稀缺語言[11]的詞性標注研究工作逐漸見諸報道。

本文根據(jù)方塊苗文這一稀缺語言文字的造字原理及方塊苗文詞語的使用特點，結(jié)合對方塊苗文原始語料中詞語統(tǒng)計的結(jié)果，討論方塊苗文詞語的種類、詞性的確定和劃分方法，并嘗試參考漢語詞性標注規(guī)范及標注集的設(shè)計方法，制訂方塊苗文的詞性標注符號和詞性標記集。

1 方塊苗文的造字原理及使用特點

湘西方塊苗文是清朝末年以來武陵山地區(qū)湘西苗族人民根據(jù)“取個人認為最易認、易記的漢字作為代表符號”的原則自創(chuàng)的一種文字[12-13]，是中國民間苗族文化的主要載體之一。湘西方塊苗文分為3種，按照其產(chǎn)生和使用地區(qū)，分別稱之為板塘苗文、老寨苗文、古丈苗文。這3種苗文都是清末以來苗族文人為記錄、整理、創(chuàng)作苗歌而創(chuàng)造的漢字式的苗文。當?shù)孛缱迦罕姺Q之為“土字”、“鄉(xiāng)字”。其中，板塘苗文至今仍在附近數(shù)百里苗鄉(xiāng)流傳使用，對苗族文化的發(fā)展和傳播起到了良好的推進作用。

湘西方塊苗文是武陵山地區(qū)湘西苗族人民因民族文化生活的需要而產(chǎn)生的一種借源文字。3種苗文均脫胎于漢字這一母體，記錄同一種語言。因此，3種方塊苗文在結(jié)構(gòu)和造字法方面都不謀而合，均采用方塊結(jié)構(gòu)，且基本上都是一字一音節(jié)地標記一個語素或詞；并借鑒了漢字的造字方法，創(chuàng)造性地運用形聲、會意、假借、雙聲、象形等手段，借用包括義符、聲符、形符(特指象形偏旁)在內(nèi)的漢字或漢字構(gòu)件造字，酷似漢字而實非漢字。方法苗文中，源自形聲構(gòu)字的湘西方塊苗文約占總字數(shù)的四分之三左右[12-13]。不同結(jié)構(gòu)的方塊苗文及其漢義如圖1所示。

圖1 不同結(jié)構(gòu)的方塊苗文及其漢義

Fig.1ExamplesofsquareHmongcharactersindifferentstructureandthecorrespondingChinesemeanings

實際應(yīng)用中，方塊苗文通常是在苗族人民創(chuàng)作的歌本、劇本中與漢字混合出現(xiàn)。方塊苗文的詞語以單字詞為主，有少量雙字詞，鮮有3字及以上的詞語出現(xiàn)。

2 詞性標注相關(guān)概念及經(jīng)典詞性標注集

2.1 相關(guān)概念

詞性(part-of-speech)又稱為詞類，是以語法特征(包括句法功能和形態(tài)變化)為主要依據(jù)、兼顧詞匯意義的基礎(chǔ)上，對詞進行劃分的結(jié)果。從組合和聚合關(guān)系來說，一個詞類就是指眾多具有相同句法功能，并可以在同樣的組合位置中出現(xiàn)的詞聚合在一起所形成的語言范疇。詞類劃分具有層次性。例如，漢語中的詞可以分成實詞和虛詞，實詞中又包括體詞、謂詞等，體詞中又可以分出名詞和代詞等。

詞性標注(part-of-speech tagging)，又稱為詞類標注，是指為分詞結(jié)果中的每個單詞標注一個正確的詞性的過程，也即確定每個詞是名詞、動詞、形容詞或者其它詞性的過程。

詞性標注集系指對詞的類別進行劃分的集合，是用來表示詞類的工具，是詞性標注系統(tǒng)必不可少的組成部分。某一種語言的一套詞性標注集應(yīng)該將詞性具體劃分為多少個類別，沒有統(tǒng)一的規(guī)定。因此，同一種語言可能建立多種詞性標注集。在語言的實際應(yīng)用中，使用什么樣的詞性標注集取決于應(yīng)用的目的及應(yīng)用所需要的信息量。在計算語言學不同的領(lǐng)域中，人們對詞性依賴的程度不同，處理的精度不同，所以對詞性分類的粒度的定義也不同。

2.2 經(jīng)典詞性標注集及詞性編碼

詞性標注有小標注集和大標注集。例如，小標注集將所有代詞都歸為一類，而大標注集則將代詞進一步細分為指示代詞、人稱代詞和疑問代詞3類。采用小標注集比較容易實現(xiàn)，但是太小的標注集可能會導致類型區(qū)分度不夠。劃分越細致的詞性標注集越有利于信息區(qū)分，但詞性標注的難度也就越大。

每種語言都有自己的詞性標注集。最早出現(xiàn)的詞性標注集是英文詞性標注集，著名的Brown語料庫所使用的標注集(Brown標注集)是歷史上最有影響的英語標注集，包含87個標記。多數(shù)的英語標注集都是從該標注集發(fā)展而來。賓州樹庫(Penn Treebank)使用的標注集是經(jīng)過對Brown標注集的簡化而得到，包括45個標記，現(xiàn)在已經(jīng)成為計算語言學領(lǐng)域使用最為廣泛的英語標注集。同英語詞性標注集一樣，漢語詞性標注集目前也沒有統(tǒng)一的標準。因此，根據(jù)對詞性分類體系的不同理解和不同應(yīng)用領(lǐng)域的要求，出現(xiàn)了多種漢語詞性標注集。中科院計算所劉群等制訂的“ICTPOS3.0漢語詞性標記集”是當前最有影響的詞性標注集之一。

為了方便指明詞的詞性，詞性標注集需要給每個詞性編碼。例如，見表1的《PFR人民日報標注語料庫》的詞性編碼表就是根據(jù)詞性的英文單詞的首字母進行詞性編碼。把“名詞”編碼成“n”、“形容詞”編碼成“a”、“動詞”編碼成“v”等。

表1《PFR人民日報標注語料庫》的詞性編碼表截表

Tab.1ScreenshotofthePOScodelistof"PFRPeople'sDailyLabelingCorpus"

詞性編碼詞性名稱注解Ag形語素形容詞性語素a形容詞取英語形容詞adjective的第1個字母ad副形詞直接作狀語的形容詞an名形詞具有名詞功能的形容詞b區(qū)別詞取漢子“別”的聲母c練詞取英語連詞conjunction的第一個字母d副詞取adverb的第二個字母dg副語素副詞性語素e嘆詞取英語嘆詞exclamation的第一個字母f方位詞取漢字“方”g語素絕大多數(shù)語素都能作為合成詞的“詞根”h前接部分取英語head的一個字母i成語取英語成語idiom的第一個字母j簡稱略語取漢字“筒”的聲母…un未知詞不可識別詞及用戶自定義詞組

3 方塊苗文詞性分類及詞性標注集的設(shè)計方案

3.1 方塊苗文的詞類、詞性

仿漢字結(jié)構(gòu)的方塊苗文基本上是一字標記一個語素或詞。因此，實際應(yīng)用文檔中出現(xiàn)的方塊苗文詞語主要是單字詞和少量雙字詞，極少有3字及以上的詞語。這些詞語的詞性及使用方法類似于漢語詞語。而且，相對于漢語，方塊苗文的詞語的數(shù)量較少，詞性也相對較少，語法較為簡單，出現(xiàn)兼詞的詞語數(shù)量也很少。

在對已整理出的苗文初級生語料進行統(tǒng)計分析的基礎(chǔ)上，根據(jù)方塊苗文詞語的漢義，將方塊苗文詞語分為實詞和虛詞2個大類。實詞分為7個小類：名詞、動詞、形容詞、數(shù)詞、量詞、代詞、副詞。虛詞分為介詞、助詞2個小類。此外，針對個別不可識別的詞語以及當前漢義不明確的詞語，增加一個類別，即未知詞。

3.2 方塊苗文詞性標注集的設(shè)計方案

由于方塊苗文詞語是根據(jù)其漢義確定所屬詞性分類，故可以直接借鑒漢語詞性標注集的詞性編碼方法進行方塊苗文詞性標注集中詞性標注的符號、形式和風格的設(shè)計。依據(jù)北京大學計算語言學研究俞士汶主編的《現(xiàn)代漢語語料庫加工―詞語切分與詞性標注規(guī)范與手冊》，研究制訂了方塊苗文詞性標注集，該詞性標注集的部分內(nèi)容見表2。

表2方塊苗文詞性標注集中的詞性編碼表截表

Tab.2ScreenshotofthePOScodelistinthePOStagsetforthesquareHmongcharacters

4 方塊苗文詞性標注示例

依據(jù)上述的方塊苗文詞性標注集，筆者嘗試使用詞性標注算法對整理出的苗文手稿資料文檔中的部分方塊苗文進行詞性標注。標注效果如圖2所示。

5 結(jié)束語

方塊苗文是武陵山地區(qū)民間苗族文化的主要載體之一，其信息化對于弘揚苗族文化，推進民族文化旅游產(chǎn)業(yè)發(fā)展和苗族文化非物質(zhì)遺產(chǎn)數(shù)字化保護進程有著重要意義。然而，方塊苗文信息處理研究起步較晚，僅有莫禮平等人[14-18]2013年以來，在方塊苗文的字信息處理層面取得的少量研究成果見于報道。實現(xiàn)字信息處理層面基本技術(shù)之后，語信息層面的詞性標注技術(shù)研究和詞性標注語料庫建設(shè)成為方塊苗文信息化研究需要解決的問題。而設(shè)計詞性標注規(guī)范，并據(jù)此制訂完整的詞性標記集，正是實現(xiàn)方塊苗文詞性標注技術(shù)和建設(shè)方塊苗文語料庫的重要環(huán)節(jié)。本文結(jié)合方塊苗文的造字原理及詞語的使用特點，參考漢語詞性標注規(guī)范及標注集的設(shè)計方法，初步制訂的方塊苗文詞性標記集，將成為方塊苗文詞性標注過程中進行詞類表示的參考工具，為最終完整的信息處理用方塊苗文詞性標記集的建立打下良好基礎(chǔ)。

圖2 詞性標注效果截圖