阿西穆·托合提　早克熱·卡德爾　吐爾根·依布拉音　艾山·吾買爾

摘要：在語言研究和機(jī)器翻譯中，創(chuàng)建對(duì)齊的語料庫是極其重要的基礎(chǔ)工作之一。由于烏茲別克語和維吾爾語之間存在著一定的相似性，待翻譯的烏茲別克語句子和轉(zhuǎn)換得到的維吾爾語句子的語法結(jié)構(gòu)和詞序是相似的。該文利用兩種語言之間的這種相似關(guān)系設(shè)計(jì)并實(shí)現(xiàn)了烏茲別克語一維吾爾語雙語語料庫構(gòu)建平臺(tái)，用該平臺(tái)可以簡(jiǎn)單的轉(zhuǎn)換字母生成譯文，并對(duì)原文和譯文分詞，不僅實(shí)現(xiàn)句子級(jí)別的對(duì)齊任務(wù)，還能實(shí)現(xiàn)詞語級(jí)別的對(duì)齊任務(wù)。用該平臺(tái)已經(jīng)構(gòu)建了包含8124條句對(duì)的雙語對(duì)齊語料庫。

關(guān)鍵詞：鳥茲別克語；維吾爾語；雙語語料庫；轉(zhuǎn)換規(guī)則

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）07-0001-02

1背景

隨著一帶一路戰(zhàn)略的提出，中亞地區(qū)各國家之間的政治、經(jīng)濟(jì)、文化交流越來越深入，在這種廣泛交流中，語言成為最大的障礙。為解決語言溝通問題，需要研究并實(shí)現(xiàn)中亞主要語言之間的機(jī)器翻譯系統(tǒng)。維吾爾語和烏茲別克語都屬于阿爾泰語系突厥語族，這兩種語言的構(gòu)詞法和語法很相似，因此實(shí)現(xiàn)這兩種語言之間的機(jī)器翻譯系統(tǒng)，比其他語言之間的機(jī)器翻譯系統(tǒng)更加簡(jiǎn)單。烏茲別克語一維吾爾語機(jī)器翻譯系統(tǒng)不僅能解決這兩個(gè)民族之間的交流問題，還能為實(shí)現(xiàn)漢語和烏茲別克語機(jī)器翻譯提供基礎(chǔ)。機(jī)器翻譯系統(tǒng)中最關(guān)鍵的部分是雙語語料庫，雙語語料庫的質(zhì)量和規(guī)模直接影響最終的結(jié)果。雙語語料庫的構(gòu)建過程比較繁瑣，需要借助一定的工具才能實(shí)現(xiàn)高質(zhì)量的雙語語料庫。因此本文利用C#語言設(shè)計(jì)并實(shí)現(xiàn)了烏茲別克語一維吾爾語雙語語料庫構(gòu)建平臺(tái)。該平臺(tái)不僅可以存儲(chǔ)語料數(shù)據(jù)，還能對(duì)雙語語料進(jìn)行一定的加工處理，為機(jī)器翻譯做好基礎(chǔ)工作。

2工具設(shè)計(jì)與實(shí)現(xiàn)

2.1開發(fā)思路

烏茲別克語一維吾爾語雙語語料庫平臺(tái)的最終目標(biāo)是為了更簡(jiǎn)單的構(gòu)建對(duì)齊語料庫。為了能夠快速的構(gòu)建語料庫，首先要分析烏茲別克語和維吾爾語詞語、句子結(jié)構(gòu)和詞法形式并對(duì)比烏茲別克語和維吾爾語句子構(gòu)詞循序和和位置。平臺(tái)中烏茲別克語到維吾爾語系統(tǒng)翻譯和人工翻譯互相結(jié)合，然后再進(jìn)行人工糾正，最后保存烏茲別克語一維吾爾語句對(duì)，完成句對(duì)庫的建設(shè)。同時(shí)，因兩種語言的句子結(jié)構(gòu)相同，詞數(shù)相同的句子按空格分詞，生成對(duì)齊的烏茲別克語一維吾爾語單詞對(duì)齊表并保存數(shù)據(jù)庫，建庫的同時(shí)不斷地?cái)U(kuò)展詞典，引用結(jié)合詞典和規(guī)則的方法更簡(jiǎn)單更快的構(gòu)建雙語對(duì)齊的語料庫。

構(gòu)建語料庫步驟如下：

1）先將烏茲別克語文本輸入到工具的文本框；

2）然后對(duì)烏茲別克語按轉(zhuǎn)換規(guī)則進(jìn)行轉(zhuǎn)換生成譯文并人工糾正句子；

3）再次把翻譯好的烏茲別克語和維吾爾語言平行句對(duì)進(jìn)行分詞并保存數(shù)據(jù)庫。

2.1.1烏-維字母對(duì)應(yīng)關(guān)系

烏茲別克語有29個(gè)字母，包括6個(gè)元音，23個(gè)輔音；維吾爾語有32個(gè)字母，8個(gè)元音，24個(gè)輔音。通過研究發(fā)現(xiàn)烏茲別克語和維吾爾語之間可以使用字母轉(zhuǎn)換能得到翻譯結(jié)果，雖然準(zhǔn)確率沒有達(dá)到可以直接使用的程度，但有助于進(jìn)行后續(xù)的機(jī)器翻譯。下面是烏茲別克語—維吾爾語語言字母對(duì)照表如下表1所示；

表1可以看出烏茲別克語跟維吾爾語的字母數(shù)量不同，字母之間存在一對(duì)一和一對(duì)多對(duì)應(yīng)關(guān)系，本文考慮一對(duì)一的情況來翻譯烏茲別克語文本。

2.1.2平臺(tái)工作流程

首先輸入烏茲別克語文本，用規(guī)則或人工翻譯成維吾爾語文本，準(zhǔn)備好句對(duì)后保存到數(shù)據(jù)庫。然后用簡(jiǎn)單的分詞辦法把句對(duì)分詞，查看分詞結(jié)果是否正確，對(duì)齊的單詞是否合理，如果正確則保存數(shù)據(jù)庫。

2.2數(shù)據(jù)庫設(shè)計(jì)

用本文設(shè)計(jì)的平臺(tái)將待譯文本翻譯完成后，把所有預(yù)備的語料存到該數(shù)據(jù)庫中，然后進(jìn)行句對(duì)的分詞和對(duì)齊后，可以從該表中瀏覽所有的句對(duì)并對(duì)它們進(jìn)行相應(yīng)的操作，比如刪除、修改、查詢等。數(shù)據(jù)庫是用mysql5.5完成的，下面是單詞和句子數(shù)據(jù)表的詳細(xì)設(shè)計(jì)：按照上述設(shè)計(jì)建立表后，把句子和分好的單詞保存在相應(yīng)的數(shù)據(jù)表，以便后期操作。

2.3程序設(shè)計(jì)

程序的功能有查詢數(shù)據(jù)庫內(nèi)容、分頁、讀文件、保存文本、轉(zhuǎn)換文本得到譯文、分詞、分好的單詞保存數(shù)據(jù)庫和文件、清除信息、新詞添加和查看添加的新詞等。程序是用C#在visuat-studi02016環(huán)境下下開發(fā)的，C#開發(fā)語言是面向?qū)ο蟾呒?jí)開發(fā)語言，對(duì)于開發(fā)桌面應(yīng)用上是最好的選擇，隨著信息技術(shù)的發(fā)展，廣泛引用在信息處理上。程序截面圖如下圖2所示：

下面是轉(zhuǎn)換功能偽代碼：

以上代碼中uzWord是句子里面的一個(gè)詞，UzUyDict是烏茲別克語一維吾爾語詞典，如果能找到匹配的單詞了，就不需要使用規(guī)則。UzUyRuleTable是轉(zhuǎn)換規(guī)則庫，在詞典里找不到匹配的單詞，則用規(guī)則來轉(zhuǎn)換字母生成翻譯。

分詞是譯文生成后按照烏茲別克語句子和維吾爾語句子按照空格來分詞，如果詞數(shù)相同表示每個(gè)維吾爾語單詞對(duì)應(yīng)著同位置的烏茲別克語單詞，則可以直接分詞保存到數(shù)據(jù)庫，如果詞數(shù)不同，對(duì)分詞的結(jié)果做適當(dāng)?shù)母恼４鏀?shù)據(jù)庫或可以用“其他新詞”窗口添加詞組。如果一個(gè)烏茲別克語單詞表示的意思是一個(gè)詞組，那應(yīng)該做適當(dāng)?shù)恼{(diào)整來保存到數(shù)據(jù)庫。

3結(jié)束語

烏茲別克語一維吾爾語雙語語料庫構(gòu)建平臺(tái)能夠幫助用戶簡(jiǎn)單快速地建立雙語語料庫。通過該平臺(tái)把烏茲別克語句子翻譯成維吾爾語句子并保存數(shù)據(jù)，同時(shí)也可以將句對(duì)分詞，快速地建立詞對(duì)并保存到詞典里。此系統(tǒng)不僅能引用于烏茲別克語一維吾爾語之間的雙語語料庫建立，還能使用在哈薩克語一維吾爾語，烏茲別克語一哈薩克語等突厥族的語言中，只需要建立一個(gè)字母對(duì)齊規(guī)則庫。