木合亞提·尼亞孜別克，古力沙吾利·塔里甫

(1. 新疆大學(xué) 信息科學(xué)與工程學(xué)院,新疆多語種信息技術(shù)實(shí)驗(yàn)室，新疆 烏魯木齊 830046；2. 新疆醫(yī)科大學(xué) 中醫(yī)學(xué)院，新疆 烏魯木齊 830011)

哈薩克語IT領(lǐng)域術(shù)語識(shí)別研究與實(shí)現(xiàn)

木合亞提·尼亞孜別克1，古力沙吾利·塔里甫2

(1. 新疆大學(xué) 信息科學(xué)與工程學(xué)院,新疆多語種信息技術(shù)實(shí)驗(yàn)室，新疆 烏魯木齊 830046；2. 新疆醫(yī)科大學(xué) 中醫(yī)學(xué)院，新疆 烏魯木齊 830011)

該文闡述了基于統(tǒng)計(jì)方法進(jìn)行哈薩克語IT領(lǐng)域術(shù)語識(shí)別的研究,并在已有的訓(xùn)練語料基礎(chǔ)之上,采用最大熵模型進(jìn)行標(biāo)注識(shí)別和結(jié)合人工方式對(duì)錯(cuò)誤識(shí)別結(jié)果進(jìn)行后處理的分析實(shí)驗(yàn)，闡述了該平臺(tái)的研究和設(shè)計(jì)思路，系統(tǒng)的總體框架、基本結(jié)構(gòu)、功能模塊以及實(shí)現(xiàn)方法等相關(guān)的問題。實(shí)驗(yàn)結(jié)果顯示該方法識(shí)別哈薩克語IT領(lǐng)域術(shù)語是有效的,封閉測(cè)試結(jié)果達(dá)到了82.6%。

哈薩克語；IT術(shù)語；術(shù)語管理平臺(tái)；最大熵模型

Research on Automatic Identification of IT Terms in Kazakh

引言

哈薩克語的術(shù)語像其他語言中的術(shù)語一樣是一種結(jié)構(gòu)緊密的固定或半固定的詞語或詞組，也是一種具有很強(qiáng)領(lǐng)域特征的詞語。隨著科技的發(fā)展和社會(huì)的進(jìn)步，在科技、日常事物、社會(huì)現(xiàn)象、 生活概念等領(lǐng)域都出現(xiàn)了新的術(shù)語，擴(kuò)大了語言資源。中文各語言信息處理應(yīng)用領(lǐng)域的不斷擴(kuò)展，對(duì)于不同語言不同領(lǐng)域?qū)I(yè)術(shù)語的檢索需求也越來越迫切。研究以計(jì)算機(jī)作為工具的哈薩克語信息技術(shù)領(lǐng)域術(shù)語資源管理系統(tǒng)的構(gòu)建，一方面是哈薩克語自然語言信息處理、哈薩克語語言學(xué)的研究、機(jī)器翻譯、語料庫建設(shè)等民族語言信息化建設(shè)研究的基礎(chǔ)性前提[1]。另一方面對(duì)民族語言文字的發(fā)展、民族文化的傳承和發(fā)揚(yáng)，對(duì)民族教育、科技、經(jīng)濟(jì)和社會(huì)的繁榮發(fā)展也具有重要的意義。對(duì)哈薩克語術(shù)語資源的研究可促進(jìn)哈薩克語自然語言的不斷發(fā)展，也可以為其他少數(shù)民族語言處理的研究提供些良好的參考價(jià)值。概括起來，對(duì)哈薩克術(shù)語研究的意義表現(xiàn)在以下幾個(gè)方面。

(1) 對(duì)后繼進(jìn)一步做哈薩克語的詞法分析和分詞研究提供資源基礎(chǔ)；

(2) 對(duì)實(shí)現(xiàn)哈薩克語的機(jī)器翻譯，搜索引擎等應(yīng)用研究提供中介作用；

(3) 對(duì)將來可能實(shí)現(xiàn)的大型哈薩克語的樹庫建設(shè)及盡早實(shí)現(xiàn)中國語言文字信息處理都具有重要意義。

1 相關(guān)研究分析

1.1 研究現(xiàn)狀

目前，術(shù)語的抽取和檢索的研究領(lǐng)域中使用的方法主要有基于規(guī)則、基于統(tǒng)計(jì)、基于規(guī)則和基于統(tǒng)計(jì)相結(jié)合的混合策略技術(shù)?；谝?guī)則的方法是根據(jù)語言自身的特點(diǎn)，如詞綴、單詞、詞性等信息抽取術(shù)語?；诮y(tǒng)計(jì)的方法是利用統(tǒng)計(jì)方法,根據(jù)單詞之間的搭配關(guān)系的頻率來預(yù)測(cè)構(gòu)成術(shù)語的單詞信息。常用的統(tǒng)計(jì)方法有多種，例如，最大熵方法、條件隨機(jī)場方法、互信息方法和隱馬爾科夫方法等。

在國外研究領(lǐng)域中，文獻(xiàn)[2]研究應(yīng)用深層的上下文信息，在醫(yī)學(xué)領(lǐng)域進(jìn)行術(shù)語抽取，該系統(tǒng)計(jì)算了術(shù)語上下文的不同部分的相對(duì)重要程度和術(shù)語與上下文的相似性。文獻(xiàn)[3]中Justeson 和 Katz使用基于規(guī)則的方法識(shí)別術(shù)語，這種方法在封閉測(cè)試情況下可得較高的準(zhǔn)確率，但是規(guī)則集構(gòu)建的不完整導(dǎo)致低識(shí)別準(zhǔn)確率，并且使用范圍有限。文獻(xiàn)[4]Patrick 和 Dekang同時(shí)利用互信息來識(shí)別術(shù)語。

在國內(nèi)研究領(lǐng)域里，劉豹，張桂平，蔡?hào)|風(fēng)等應(yīng)用基于統(tǒng)計(jì)和規(guī)則相結(jié)合的方法進(jìn)行科技術(shù)語自動(dòng)抽取研究，在實(shí)驗(yàn)中分別比較規(guī)則、最大熵模型和條件隨機(jī)場模型的實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果得出基于統(tǒng)計(jì)的方法優(yōu)于基于規(guī)則的方法?；诮y(tǒng)計(jì)和規(guī)則相結(jié)合的科技術(shù)語自動(dòng)抽取研究是中文信息處理領(lǐng)域的一個(gè)重要研究課題,在信息檢索、機(jī)器翻譯等領(lǐng)域,特別是在專利翻譯中有著廣泛應(yīng)用[5]。岑詠華，韓哲，季培培[6]等使用隱馬爾科夫模型研究中文術(shù)語識(shí)別，他們通過對(duì)中文文本信息語法構(gòu)成尤其是詞性搭配的概率特征的分析，提出一種基于雙層隱馬爾科夫模型的中文泛術(shù)語識(shí)別和提取的思路和系統(tǒng)框架，并實(shí)現(xiàn)相關(guān)系統(tǒng)，基于訓(xùn)練語料對(duì)多個(gè)領(lǐng)域的文本信息進(jìn)行術(shù)語提取測(cè)試。文獻(xiàn)[7-8]使用最大熵模型的方法實(shí)現(xiàn)中文術(shù)語抽取，實(shí)驗(yàn)結(jié)果令人滿意。文獻(xiàn)[9]在使用最大熵模型的方法識(shí)別哈薩克語動(dòng)詞詞組抽取中獲得了較高的準(zhǔn)確率。本文在文獻(xiàn)[9]的實(shí)驗(yàn)中受到啟發(fā)，根據(jù)哈薩克語IT領(lǐng)域術(shù)語自身特點(diǎn)，認(rèn)真閱讀和學(xué)習(xí)國內(nèi)外先進(jìn)的術(shù)語識(shí)別技術(shù)，通過在少數(shù)的訓(xùn)練語料基礎(chǔ)上，利用人工和統(tǒng)計(jì)相結(jié)合的方法，研究與實(shí)現(xiàn)了哈薩克語IT領(lǐng)域術(shù)語的自動(dòng)識(shí)別。

1.2 研究難點(diǎn)

對(duì)哈薩克術(shù)語的定界存在很大難度，不能由純規(guī)則的方法來進(jìn)行術(shù)語識(shí)別，否則很易生成哈薩克語術(shù)語的歧義。哈薩克語語言有多種歧義，需通過詞法分析、詞性標(biāo)注、文字校對(duì)、短語識(shí)別和句法分析等消除。術(shù)語抽取中消除歧義是必要任務(wù)，同時(shí)也是句法分析中分析正確的難點(diǎn)[10]。

2 基于最大熵模型的IT領(lǐng)域術(shù)語識(shí)別系統(tǒng)的設(shè)計(jì)與分析

2.1 實(shí)驗(yàn)語料

基于規(guī)則的方法來確定哈薩克語IT領(lǐng)域術(shù)語定界比較難，并且準(zhǔn)確率不高。因此，使用統(tǒng)計(jì)的方法來識(shí)別哈薩克語術(shù)語是必要的，為了達(dá)到更好的準(zhǔn)確率需要數(shù)量較大的訓(xùn)練語料庫，由于目前沒有標(biāo)注好的哈薩克語信息技術(shù)領(lǐng)域標(biāo)準(zhǔn)語料，需要人工標(biāo)注。目前的實(shí)驗(yàn)室環(huán)境缺少一個(gè)關(guān)于哈薩克語信息技術(shù)領(lǐng)域術(shù)語的統(tǒng)一標(biāo)準(zhǔn)，因此本文對(duì)從2010年新疆科技出版社出版發(fā)行的《漢哈英俄信息與計(jì)算技術(shù)名詞術(shù)語詞典》[11]中抽取和篩選出的2 646個(gè)哈薩克語信息技術(shù)術(shù)語進(jìn)行了學(xué)習(xí)和分析，統(tǒng)計(jì)結(jié)果發(fā)現(xiàn)單詞型術(shù)語占18.37%，由兩個(gè)單詞組成的復(fù)雜術(shù)語占68.03%，三詞術(shù)語占10.88%，四、五、六詞術(shù)語分別占1.36%、0.52%、0.34%，七詞及以上的復(fù)雜術(shù)語占0.5%。

本文使用的語料來自“天山網(wǎng)”、“廣播網(wǎng)站”、“哈薩克軟件網(wǎng)”等網(wǎng)站的哈薩克文新聞和中小學(xué)“信息技術(shù)”教材的文本信息，用于本系統(tǒng)的訓(xùn)練和測(cè)試語料。

2.2 最大熵模型中的任務(wù)描述

基于最大熵的哈薩克語IT領(lǐng)域術(shù)語抽取系統(tǒng)設(shè)計(jì)的目標(biāo)就是建立一個(gè)完善的軟件系統(tǒng)，該系統(tǒng)能迅速準(zhǔn)確地抽取中文文本中的術(shù)語及其準(zhǔn)確定義，提高人們學(xué)習(xí)工作的效率。隨著人們的不斷使用、不斷反饋以及網(wǎng)絡(luò)的持續(xù)發(fā)展，該系統(tǒng)存儲(chǔ)的各領(lǐng)域信息越來越多，從文本中抽取的中文術(shù)語越來越接近該文本中術(shù)語的總數(shù)，返回術(shù)語定義也越來越迅速。系統(tǒng)還能基于用戶的反饋實(shí)現(xiàn)自學(xué)習(xí)，不斷進(jìn)行自身的升級(jí)完善。

在本研究中，a表示上下文信息，如詞性、單詞、詞綴、TE標(biāo)注等。b表示所有的術(shù)語標(biāo)記集合的結(jié)果?？赡軜?gòu)成術(shù)語的集合為B,且b∈B；上下文信息集合是a,且a∈A[9]。

(1)

任務(wù)是在上下文a的條件下，構(gòu)造出一個(gè)模型，通過a和b的統(tǒng)計(jì)特征，當(dāng)給定的上下文信息a時(shí)，能夠準(zhǔn)確地估計(jì)出輸出b的條件概率p(b/a)。N個(gè)樣本信息集合S={(a1,b1),(a2,b2),…,(an,bn)}是觀察到的一個(gè)事件，事件空間A×B。特征是一個(gè)二值函數(shù)。即:f:A×B→{0,1}。

模型P的熵是:

(2)

最大熵模型:

(3)

式(3)中的C是滿足限制條件的概率分布集合。要求限制條件下H(P)的最大值，為每一個(gè)特征函數(shù)引入一個(gè)參數(shù)拉格朗日乘子λi，計(jì)算如式(4)、式(5)所示。

(4)

(5)

式(5)中Zλ(a)是歸一化因子，λi是特征參數(shù)，代表每個(gè)特征的重要性。參數(shù)值λi的估計(jì)方法是Darroch和Ratcliff的通用迭代算法(GIS)來實(shí)現(xiàn)[9,12-14]。最后計(jì)算出了每個(gè)特征對(duì)應(yīng)的參數(shù)值來得到模型。

2.3 特征模板

哈薩克語與漢語、英語不同，哈語是以詞為單位，這方面像英語，但是哈薩克語具有粘著性和豐富的上下文信息，哈語詞的詞形變化要比英語豐富的多。根據(jù)哈薩克IT領(lǐng)域術(shù)語自身的特點(diǎn)，本文特征空間定義如表1。

表1 術(shù)語識(shí)別特征空間

為了選出最好的特征模板，本研究組在表1的基礎(chǔ)上構(gòu)造出了六個(gè)復(fù)合特征模板。每個(gè)信息函數(shù)在當(dāng)前詞上下文取值，把各個(gè)函數(shù)值組合成特征前提，通過該詞的標(biāo)記得到特征的動(dòng)作，這樣就可以提取特征:

模板A: [RRPos，RRTE，RWord，RAffix，RPos，RTE，CPos，CTE，CWord，CAffix，LWord，LAffix，LPos，LTE] 觀察候選詞的左邊一個(gè)詞和右兩個(gè)詞對(duì)實(shí)驗(yàn)結(jié)果的影響。

模板B: [RRPos，RRTE，RWord，RAffix，RPos，RTE，CPos，CTE，CWord,CAffix] 觀察候選詞的右邊兩個(gè)詞對(duì)實(shí)驗(yàn)結(jié)果的影響。

模板C: [RWord，RAffix，RPos，RTE，CPos，CTE，CWord,CAffix， LWord，LAffix，LPos，LTE] 觀察候選詞的左邊和右邊各一個(gè)詞對(duì)實(shí)驗(yàn)結(jié)果的影響。

模板D: [RRPos，RRTE，RWord，RAffix，RPos，RTE，CPos，CTE，CWord，CAffix,LLPos，LLTE，LWord，LAffix，LPos，LTE]觀察特征空間的所有單詞對(duì)實(shí)驗(yàn)結(jié)果的影響。

模板F: [RWord，RAffix，RPos，RTE，CPos，CTE，CWord，CAffix,LLPos，LLTE，LWord，LAffix，LPos，LTE] 觀察候選詞的左邊兩個(gè)詞和右一個(gè)詞對(duì)實(shí)驗(yàn)結(jié)果的影響。

模板E: [CPos，CTE，CWord,CAffix,LLPos，LLTE，LWord，LAffix，LPos，LTE]觀察候選詞的左邊兩個(gè)詞對(duì)實(shí)驗(yàn)結(jié)果的影響。

語料中選擇語料對(duì)上述六種特征進(jìn)行實(shí)驗(yàn)，選擇不同特征對(duì)實(shí)驗(yàn)結(jié)果的影響如圖1所示。

圖1 選取不同特征所得到的結(jié)果

從實(shí)驗(yàn)結(jié)果可以得出:實(shí)驗(yàn)結(jié)果選為D模板時(shí)最高，即觀察窗口中的所有單詞對(duì)實(shí)驗(yàn)結(jié)果的影響最佳。術(shù)語識(shí)別的截圖如圖2所示。

圖2 術(shù)語識(shí)別系統(tǒng)的截圖

2.4 特征閾值選擇

在最大熵模型中，特征選擇是一個(gè)至關(guān)重要的問題。常見的特征選擇方法有兩種： 頻度的選擇法和增量選擇法，具體思想就是如果該特征加入后能提高系統(tǒng)的效果，就保留，否則刪除該特征。本文使用基于頻數(shù)閾值的方法選擇特征，此方法的特征中閾值k的選定與任務(wù)和數(shù)據(jù)相關(guān)，可以由實(shí)驗(yàn)來確定，其方法的訓(xùn)練時(shí)間短。一般k值在2到3之間都可以找到較好的閾值[9-12]。本文中我們采用的方法是第一個(gè)基于頻數(shù)閾值的特征選擇: 僅保留那些出現(xiàn)頻數(shù)大于等于某一個(gè)閾值k的特征(本文中k>=2)。雖然該方法不能保證得到最小特征集，但它能獲得盡可能多的特征，實(shí)驗(yàn)表明它具有良好的性能。

2.5 系統(tǒng)總體設(shè)計(jì)

哈薩克語術(shù)語識(shí)別系統(tǒng)由兩大模塊組成，分別為模型訓(xùn)練和識(shí)別模塊，系統(tǒng)總體流程圖如圖3所示。

(1) 模型訓(xùn)練

本文中使用的訓(xùn)練語料是已經(jīng)標(biāo)注好單詞的詞干、附加成分(詞綴)、詞性標(biāo)注以及術(shù)語標(biāo)注等信息的XML文本。在模型訓(xùn)練模塊中，系統(tǒng)在訓(xùn)練語料上進(jìn)行特征提取，再通過基于頻數(shù)閾值的特征選擇，只保留那些出現(xiàn)頻數(shù)比較大的特征，頻數(shù)大于等于2的特征，建立特征集。將特征結(jié)果組織好后送到最大熵工具包進(jìn)行訓(xùn)練，計(jì)算權(quán)值，結(jié)果作為權(quán)值字典。

(2) 識(shí)別模塊

術(shù)語識(shí)別模塊中: 首先進(jìn)行識(shí)別之前的預(yù)處理工作，讀入XML格式的哈薩克語待標(biāo)文件，將語料組織成符合識(shí)別模塊接口標(biāo)準(zhǔn)的形式。然后通過訓(xùn)練語料庫中提取的特征，用最大熵工具包計(jì)算出每一個(gè)特征對(duì)應(yīng)的權(quán)值，生成特征權(quán)值字典，參數(shù)估計(jì)，對(duì)輸入的待標(biāo)文件進(jìn)行術(shù)語識(shí)別，將識(shí)別結(jié)果保存在外部文件。

圖3 系統(tǒng)總體流程圖

3 實(shí)驗(yàn)數(shù)據(jù)

本文采用以下幾個(gè)判定指標(biāo): 術(shù)語識(shí)別準(zhǔn)確率、召回率、錯(cuò)誤率和漏召率。定義如下:

×100%；

(6)

(7)

漏召率(L)=1-召回率

(8)

錯(cuò)誤率(E)=1-準(zhǔn)確率

(9)

(10)

本系統(tǒng)用已經(jīng)標(biāo)注好的不同規(guī)模的訓(xùn)練語料，分別進(jìn)行開放測(cè)試和封閉測(cè)試，測(cè)試結(jié)果如表2所示。

表2 術(shù)語識(shí)別測(cè)試結(jié)果

4 結(jié)語

本實(shí)驗(yàn)使用最大熵模型的方法實(shí)現(xiàn)哈薩克語IT領(lǐng)域術(shù)語識(shí)別，在實(shí)驗(yàn)中確定最大熵模型的特征模板和特征值，由此建立哈薩克語IT領(lǐng)域術(shù)語的最大熵模型。實(shí)驗(yàn)結(jié)果顯示: 最大熵模型在哈薩克語IT領(lǐng)域術(shù)語識(shí)別研究方面獲得較好的成績。當(dāng)然，一個(gè)研究工作總是解決某一個(gè)特定的問題，探索真理的路永遠(yuǎn)是沒有盡頭，因此本研究也需要探索和開展以下幾個(gè)方面工作: 術(shù)語邊界識(shí)別方面進(jìn)一步細(xì)化精化，使用不同的統(tǒng)計(jì)方法來識(shí)別術(shù)語，更深入的比較實(shí)驗(yàn)結(jié)果，不斷的擴(kuò)大訓(xùn)練語料的規(guī)模，盡可能地減少數(shù)據(jù)稀疏問題，以獲得更好的成績。

[1] 木合亞提·尼亞孜別克，古利沙吾·塔里甫.信息技術(shù)術(shù)語哈譯問題探討[J]. 術(shù)語標(biāo)準(zhǔn)化與信息技術(shù)，2010 (4): 17-18.

[2] Diana Maynard,Sophia Ananiadou. Identifying Contextual Information for Multi-Word Term Extraction[C]//Proceedings of Terminology and Knowledge Engineering Conference. 2003.

[3] Justeson J S,Katz S M.Technical terminology: some linguistic properties and an algorithm for identification in text [J].Natural Language Engineering,1996,3(2): 259-289.

[4] Pantel P,Lin De-kang.A statistical corpus-based term extractor[C]//Proceedings of the Canadian Conference on AI 2001,2001: 36-46.

[5] 劉豹，張桂平，蔡?hào)|風(fēng)．基于統(tǒng)計(jì)和規(guī)則相結(jié)合的科技術(shù)語自動(dòng)抽取研究[J].計(jì)算機(jī)工程與應(yīng)用，2008,44(23): 147-150.

[6] 岑詠華，韓哲，季培培．基于隱馬爾科夫模型的中文術(shù)語識(shí)別研究[J]．情報(bào)分析與研究，2008,12(1): 53-56．

[7] 張宜浩. 基于最大墑模型的中文實(shí)體關(guān)系自動(dòng)抽取研究[D].昆明理工大學(xué)碩士學(xué)位論文,2010.

[8] 趙欣. 基于最大熵的中文術(shù)語抽取系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].西安電子科技大學(xué)碩士學(xué)位論文,2012.

[9] 古麗扎達(dá)·海沙. 哈薩克語基本動(dòng)詞短語自動(dòng)識(shí)別研究[D].新疆大學(xué)碩士學(xué)位論文,2012.

[10] 木合亞提·尼亞孜別克，古利沙吾·塔里甫.論在哈薩克語中規(guī)范使用信息學(xué)科詞匯[J]. 新疆大學(xué)學(xué)報(bào)，2012，37(2): 59-61.

[11] 哈那提·葉列杰夫,賽力克·孫哈泰.漢哈英俄信息與計(jì)算技術(shù)名詞術(shù)語詞典[Z].烏魯木齊: 新疆科技技術(shù)出版社,2010.

[12] Rob Koeling. Chunking with Maximum Entropy Models[C].Proceedings of the CoNLL-2000 and LLL-2000，Lisbon，Portugal.2000,109(15): 139-141.

[13] Adam L. Berger,Stephen A,Della Pietra，and Vincent J. A Maximum Entropy Approach to Natural Language Processing[J].Computational Linguistic.2002,22(1): 39-71．

[14] Darroch J N,Ratcliff D. Gneralized iterative scaling for log2 linear models[J].Annalysis of Mathematical Statistics.1999,43(5): 1471-1479．

Muheyat·Niyazbek1,Kunsaule·Talp2

(1. Department of Information Science and Engineering College,Xinjiang University,Xinjiang Laboratoryof Multi-language Information Technology,Urumqi,Xinjiang 830046,China;

2. College of Chinese Medicine of Xinjiang Medical University,Urumqi,Xinjiang 830011,China)

This paper reports a statistical method of identification of IT terms in Kazakh. It builds a maximum entropy model,and followed by a rule based post-processing. The experimental results reveals an accuracy of 82.6% in the close test.

Kazakh;IT terminology;terminology management platform;maximum entropy

木合亞提·尼亞孜別克(1967—)，學(xué)士，副教授，主要研究領(lǐng)域?yàn)樽匀徽Z言與信息處理、計(jì)算機(jī)體系結(jié)構(gòu)、網(wǎng)絡(luò)技術(shù)。E?mail：muheyatn@126．com古力沙吾利·塔里甫(1969—)，碩士，副教授，主要研究領(lǐng)域?yàn)榕R床醫(yī)學(xué)和傳統(tǒng)醫(yī)學(xué)。E?mail：18690174895@163．com

2014-05-30 定稿日期: 2014-10-12

新疆多語種信息技術(shù)實(shí)驗(yàn)室開放課題資助(XJDX0905-2013-03)

1003-0077(2016)03-0068-06

TP391

A