麥合甫熱提，麥熱哈巴·艾力，阿孜古麗·廈力甫

(1.新疆大學(xué) 教務(wù)處，新疆 烏魯木齊 830046；2.新疆大學(xué) 信息科學(xué)與工程學(xué)院，新疆 烏魯木齊 830046;3.新疆大學(xué) 人文學(xué)院，新疆烏魯木齊830046)

0 引言

詞對(duì)齊是指從對(duì)應(yīng)的一對(duì)互譯句子中找到互為譯文的詞對(duì).為了得到大量正確的詞對(duì)，可以使用詞典，但詞典往往有覆蓋面不廣、靈活性不強(qiáng)等缺點(diǎn).對(duì)一些詞語(yǔ)的靈活使用，特別是在不同上下文具有不同意思的情況下，詞典很難提供幫助.

GIZA++是目前最常用的詞對(duì)齊工具，因與語(yǔ)言無(wú)關(guān)并開(kāi)源，深受使用者的青睞.但是GIZA++存在以下問(wèn)題：對(duì)語(yǔ)料規(guī)模有一定的要求，當(dāng)語(yǔ)料規(guī)模不足時(shí)其對(duì)齊結(jié)果會(huì)降低；對(duì)于句子結(jié)構(gòu)不對(duì)稱(chēng)的語(yǔ)言對(duì)齊效果并不理想；在形態(tài)變化復(fù)雜的語(yǔ)言上得到的對(duì)齊結(jié)果遠(yuǎn)遠(yuǎn)不如其它語(yǔ)言[1?2].

對(duì)維漢詞對(duì)齊而言，GIZA++除了受到以上所列的幾點(diǎn)約束以外，維吾爾語(yǔ)詞尾對(duì)詞對(duì)齊的影響也是需要考慮的問(wèn)題.因?yàn)樵~尾不僅構(gòu)造維吾爾語(yǔ)詞的不同形態(tài)而導(dǎo)致數(shù)據(jù)的稀疏，同時(shí)也攜帶一定的語(yǔ)義信息，傳遞某種意思.

本文分析了維漢詞對(duì)齊中存在的問(wèn)題，圍繞著維吾爾語(yǔ)中某些詞尾傳遞一定的意思，能夠?qū)R到漢語(yǔ)句子中某些詞的特點(diǎn)，提出（1）對(duì)維吾爾語(yǔ)句子進(jìn)行詞法分析使得詞干和詞尾分離；（2）選擇性地保留詞尾的方法即“分離—丟棄”方案，來(lái)提高維漢詞對(duì)齊的正確率.本文將此方法應(yīng)用到維吾爾語(yǔ)詞性中詞尾數(shù)量較多.但較固定的名詞上，實(shí)驗(yàn)結(jié)果表明此方法對(duì)提高詞對(duì)齊正確率以及機(jī)器翻譯結(jié)果確實(shí)起到了積極的作用，可以將此方法擴(kuò)展到維吾爾語(yǔ)中其它詞性.

1 維吾爾語(yǔ)形態(tài)對(duì)維漢詞對(duì)齊的影響

維吾爾語(yǔ)屬于阿爾泰語(yǔ)系突厥語(yǔ)族，是典型的粘著性語(yǔ)言，這意味著維吾爾語(yǔ)一個(gè)詞可以連接多個(gè)詞尾而且可以多層綴接，表示同一個(gè)詞干的不同語(yǔ)法功能.所以，經(jīng)常出現(xiàn)一個(gè)維吾爾語(yǔ)詞對(duì)應(yīng)到一個(gè)漢語(yǔ)短語(yǔ)的情況，有時(shí)這個(gè)漢語(yǔ)短語(yǔ)甚至是不連續(xù)的.如圖1和圖2是一對(duì)維漢句子在形態(tài)分析前后進(jìn)行詞對(duì)齊的結(jié)果.

圖1 維漢詞對(duì)齊一例（詞級(jí)別）

圖2 維漢詞對(duì)齊一例（經(jīng)過(guò)形態(tài)分析）

圖1中可以看出，yezidin對(duì)齊到“從···村莊”，而balilar對(duì)齊到“孩子們”.很顯然，這將導(dǎo)致很多漢語(yǔ)詞找不到對(duì)應(yīng)的維語(yǔ)譯文，特別是當(dāng)語(yǔ)料規(guī)模不是很大的時(shí)候此問(wèn)題尤為突出.對(duì)于同一個(gè)例子，如果對(duì)維吾爾語(yǔ)句子進(jìn)行形態(tài)分拆即詞干與各詞尾分離，則得圖2所示的對(duì)齊結(jié)果，其中虛線表示通過(guò)形態(tài)分析后分離出來(lái)的詞尾以及與其對(duì)齊的漢語(yǔ)詞.顯然，進(jìn)行形態(tài)分析后，原來(lái)沒(méi)能準(zhǔn)確對(duì)齊的漢語(yǔ)詞差不多都對(duì)應(yīng)到了維語(yǔ)部分.

此外，維吾爾語(yǔ)中詞尾數(shù)量很多，對(duì)名詞而言達(dá)到將近50個(gè)，某個(gè)類(lèi)型的詞尾往往有不同的變體，如第一人稱(chēng)單數(shù)就有四種變體-m,-im,um,m，它們形式不同但表達(dá)的意思相同.不同形態(tài)對(duì)計(jì)算機(jī)而言就是不同的詞.同一個(gè)詞尾的不同形式對(duì)詞對(duì)齊起一定的不利影響.我們隨機(jī)抽出了3萬(wàn)個(gè)維漢句對(duì)，對(duì)xizmet(工作)一詞常用的不同形態(tài)出現(xiàn)的頻率做了統(tǒng)計(jì)（用斜體表示了其詞尾），其統(tǒng)計(jì)結(jié)果為表1所示.

從表中數(shù)字可看出：同一個(gè)詞干派生出來(lái)的不同形態(tài)對(duì)應(yīng)到了漢語(yǔ)中以”工作”為中心的詞或短語(yǔ).第3行和第10行的詞尾”-te”和”-de”是一個(gè)詞尾的不同變體，表示“在”；第4行和第11行的詞尾”-tin”和”-din”也是一個(gè)詞尾的不同變體，表示”從”.它們雖然表達(dá)相同的意思，但因形式不同，被計(jì)算機(jī)認(rèn)為是不同的詞，沒(méi)能統(tǒng)計(jì)到一起.顯然，維吾爾語(yǔ)的這種派生能力很容易導(dǎo)致數(shù)據(jù)稀疏問(wèn)題，毫無(wú)疑問(wèn)也影響Giza++的對(duì)齊結(jié)果.

為解決以上問(wèn)題，可采?。海?）對(duì)維吾爾語(yǔ)句子進(jìn)行詞法分析，使得詞干和各詞尾分離，來(lái)對(duì)齊更多的詞；（2）對(duì)屬于同一個(gè)詞尾的變體采取統(tǒng)一化形式，從而降低因形態(tài)不同產(chǎn)生的數(shù)據(jù)稀疏問(wèn)題.因此，文獻(xiàn)[3]中提出對(duì)維吾爾語(yǔ)詞進(jìn)行詞干、詞尾分離，保留詞干的同時(shí)保留詞尾且對(duì)同一范疇的詞尾采用統(tǒng)一表示的方法，不僅一定程度上克服了數(shù)據(jù)稀疏問(wèn)題，同時(shí)利用了詞尾攜帶的語(yǔ)義，對(duì)齊了更多的漢語(yǔ)詞.文獻(xiàn)[3]提出的方法中因?yàn)樵~尾被看成是一個(gè)獨(dú)立的token，雖然可以提高對(duì)齊準(zhǔn)確率及召回率，但導(dǎo)致句子長(zhǎng)度變得過(guò)長(zhǎng).有些本身詞數(shù)較多的句子，因token數(shù)量變得過(guò)多，Giza++進(jìn)行對(duì)齊之前被過(guò)濾掉.同時(shí)，我們注意到雖然維吾爾語(yǔ)的詞尾帶著一定的語(yǔ)義信息，但是由于維吾爾語(yǔ)和漢語(yǔ)言的不同特性，維吾爾語(yǔ)詞尾對(duì)應(yīng)的譯文并不是每次都是明文顯示，有時(shí)候需要通過(guò)上下文或者通過(guò)標(biāo)點(diǎn)符號(hào)（表示語(yǔ)調(diào)）的形式表現(xiàn)出來(lái).為了既保證降低數(shù)據(jù)稀疏以及讓更多的詞得到對(duì)齊，又克服句子長(zhǎng)度變得過(guò)長(zhǎng)的問(wèn)題，本文采取了選擇性的保留詞尾的方法.

表1 xizmet(工作)一詞的不同形態(tài)以及出現(xiàn)頻率

2 統(tǒng)計(jì)分析維吾爾語(yǔ)詞尾

上一節(jié)分析結(jié)果讓我們進(jìn)一步研究到底詞尾粒度怎樣制定對(duì)詞對(duì)齊有更大的貢獻(xiàn)？是不是所有的詞尾都需要分離？或者應(yīng)該選擇性的分離？甚至是否丟棄？

為了得到詞尾在維漢詞對(duì)齊中起到的作用，我們對(duì)語(yǔ)料做了一系列統(tǒng)計(jì)及分析.語(yǔ)料為新疆電視臺(tái)提供的每日新聞聯(lián)播為主的新聞?wù)Z料，維吾爾語(yǔ)小說(shuō)《故鄉(xiāng)》（總3冊(cè)）以及維吾爾語(yǔ)小說(shuō)《蘇醒的大地》（共2冊(cè)）等.新聞聯(lián)播可體現(xiàn)與當(dāng)今國(guó)內(nèi)、國(guó)外以及百姓生活的方方面面且具有一定的實(shí)時(shí)性；文學(xué)領(lǐng)域一般都被認(rèn)為能夠體現(xiàn)某種語(yǔ)言的表達(dá)能力及特色，對(duì)于各種詞的不同形態(tài)以及詞尾的出現(xiàn)具有一定的概括能力，這是我們?yōu)槭裁催x擇這些語(yǔ)料作為統(tǒng)計(jì)對(duì)象的原因.語(yǔ)料規(guī)模及相關(guān)數(shù)據(jù)可參見(jiàn)表2.

表2 不同語(yǔ)料統(tǒng)計(jì)信息

我們對(duì)以上語(yǔ)料做了詞法分析，即詞干和各詞尾分離，后統(tǒng)計(jì)了每一種詞尾的出現(xiàn)頻率，表3為出現(xiàn)頻率最高的10個(gè)詞尾的信息，從表中數(shù)據(jù)可看出，雖然語(yǔ)料不同，但出現(xiàn)頻率最高的詞尾幾乎相同.下一步，我們對(duì)已做詞法分析后的句子用Giza++做了詞對(duì)齊，并統(tǒng)計(jì)了每一種詞尾在漢語(yǔ)詞對(duì)齊后的結(jié)果，見(jiàn)表4.表分為兩欄，左欄顯示的是正確對(duì)齊次數(shù)高于錯(cuò)誤對(duì)齊次數(shù)的詞尾，其中正確對(duì)齊次數(shù)用下劃線表示；右欄顯示的是正確對(duì)齊次數(shù)少于錯(cuò)誤對(duì)齊次數(shù)的詞尾.統(tǒng)計(jì)結(jié)果顯示，有些詞尾正確對(duì)齊到相應(yīng)漢語(yǔ)的頻率遠(yuǎn)高于錯(cuò)誤對(duì)齊的情況（大部分體現(xiàn)為介詞、連詞等）.還有些詞尾從漢語(yǔ)句子中根本找不到對(duì)應(yīng)的譯文，結(jié)果導(dǎo)致錯(cuò)誤的對(duì)齊結(jié)果，比如：所有的語(yǔ)料中出現(xiàn)頻率最高的詞尾+i表示第三人稱(chēng)單數(shù)的詞尾，但在漢語(yǔ)句子中往往沒(méi)有一個(gè)詞于其對(duì)齊.經(jīng)分析后發(fā)現(xiàn)，這些詞尾雖然在維吾爾語(yǔ)句子中有一定的語(yǔ)義信息，但漢語(yǔ)句子中往往通過(guò)上下文或者標(biāo)點(diǎn)符號(hào)等不同方式表達(dá)出來(lái)或忽略.

產(chǎn)生這種結(jié)果的原因在于維漢兩種語(yǔ)言屬不同語(yǔ)法范疇.其不同之處主要體現(xiàn)在以下兩種情況：

（1）一個(gè)語(yǔ)言所擁有的語(yǔ)法范疇在另一種語(yǔ)言中可能不存在.如：維吾爾語(yǔ)名詞有數(shù)、領(lǐng)屬及格范疇，但漢語(yǔ)沒(méi)有；而漢語(yǔ)有補(bǔ)足語(yǔ)范疇，但維吾爾語(yǔ)則沒(méi)有.俄語(yǔ)有性別范疇，但維吾爾語(yǔ)、漢語(yǔ)都沒(méi)有；

（2）有些范疇雖然不同語(yǔ)言都擁有，但其表達(dá)的意思則不同.如：維吾爾語(yǔ)、俄語(yǔ)等都有動(dòng)詞的語(yǔ)態(tài)，但俄語(yǔ)中沒(méi)有被動(dòng)語(yǔ)態(tài)、相互共同態(tài)等.

總之，每種語(yǔ)言都有自己的語(yǔ)法范疇，不能將某個(gè)語(yǔ)言的語(yǔ)法范疇強(qiáng)行對(duì)應(yīng)到另一種語(yǔ)言的語(yǔ)法范疇.語(yǔ)法范疇的不同，導(dǎo)致兩種語(yǔ)言對(duì)同一內(nèi)容的不同表示方法，進(jìn)而導(dǎo)致某些語(yǔ)法范疇漏翻、增翻等現(xiàn)象.

從以上分析不難看出，對(duì)維吾爾語(yǔ)詞尾采取選擇性的保留，即：保留被明文翻譯可能性大的詞尾，舍去明文翻譯概率低的詞尾，這樣既能保證對(duì)齊數(shù)量的增長(zhǎng)，又能克制由于詞法分析導(dǎo)致的句子長(zhǎng)度過(guò)長(zhǎng)的問(wèn)題.

表3 不同詞尾的統(tǒng)計(jì)結(jié)果

表4 詞對(duì)齊后各詞尾的對(duì)齊情況統(tǒng)計(jì)

3 構(gòu)造不同詞尾粒度的模板

為了驗(yàn)證我們的結(jié)論，我們嘗試了對(duì)維吾爾語(yǔ)詞尾的選擇性保留方案，本文將其稱(chēng)為“分離—丟棄”方案.其中，分離是指對(duì)漢語(yǔ)中有譯文的可能性高的詞尾進(jìn)行詞尾與詞干分離；丟棄是指對(duì)漢語(yǔ)中譯文出現(xiàn)的可能性低的詞尾進(jìn)行丟棄.不管是分離，還是丟棄，都是在統(tǒng)計(jì)分析及語(yǔ)言特征基礎(chǔ)之上進(jìn)行，沒(méi)有絕對(duì)的對(duì)或錯(cuò)之別，其目的是盡可能地發(fā)揮詞尾對(duì)詞對(duì)齊的正面影響.同時(shí)，通過(guò)丟掉翻譯概率較低的詞尾來(lái)克服句子長(zhǎng)度問(wèn)題.

不失一般性，我們將此方案應(yīng)用到維吾爾語(yǔ)名詞詞尾.因?yàn)?，維吾爾語(yǔ)詞性大致可分為靜詞和動(dòng)詞，維吾爾語(yǔ)中動(dòng)詞詞尾最多，形態(tài)變化既豐富又復(fù)雜；靜詞包括名詞、形容詞、副詞等詞性.其中名詞的詞尾數(shù)量位居動(dòng)詞之后，但數(shù)量穩(wěn)定、形態(tài)變化不像動(dòng)詞復(fù)雜，易分析，具有一定的代表性.

維吾爾語(yǔ)名詞的形態(tài)構(gòu)形形式：詞干+[數(shù)]+[人稱(chēng)]+[格]，（方括號(hào)表明可選）.如：

名詞不同范疇有不同的詞尾，總數(shù)達(dá)到50個(gè).根據(jù)不同范疇分析，名詞的分離—丟棄方案實(shí)施為如下:

數(shù)范疇（Number）

數(shù)范疇表示名詞的單數(shù)和復(fù)數(shù).單數(shù)沒(méi)有詞尾，復(fù)數(shù)詞尾為-lar，-ler，但漢語(yǔ)中復(fù)數(shù)除了人名后加“們”外，常常通過(guò)上下文來(lái)區(qū)分，這一點(diǎn)與維吾爾語(yǔ)不同.所以對(duì)數(shù)范疇采取了丟棄方案.如：

Nurghun（很多）kitab（書(shū)）+lar很多書(shū)；Jiq（許多）Alma（蘋(píng)果）+lar許多蘋(píng)果.

人稱(chēng)范疇（Person）

維吾爾語(yǔ)屬于主語(yǔ)可省略（pro-drop）型語(yǔ)言，被省略的主語(yǔ)可以從人稱(chēng)詞尾知道.屬于維吾爾語(yǔ)名詞人稱(chēng)范疇的詞尾個(gè)數(shù)達(dá)到20個(gè)，其中第三人稱(chēng)單、復(fù)數(shù)詞尾-i，-si出現(xiàn)在N+N結(jié)構(gòu)中的次數(shù)最多，因?yàn)榫S吾爾語(yǔ)中名詞修飾名詞時(shí)，被修飾名詞以第三人稱(chēng)單、復(fù)數(shù)形式出現(xiàn).如：

這種情況下，第三人稱(chēng)單（復(fù)）數(shù)在目標(biāo)（漢語(yǔ)）語(yǔ)往往沒(méi)有對(duì)應(yīng)的譯文.因此，對(duì)其采用丟棄方案.而第一、第二人稱(chēng)單、復(fù)數(shù)詞尾分別對(duì)應(yīng)到漢語(yǔ)的“我、我們、你、你們、您、您們”，采用分離方案；

根據(jù)以上分離—丟棄方案，我們構(gòu)造了不同詞尾粒度的模板.為了找到最有效的詞尾粒度方案，我們對(duì)不同模板賦予了序號(hào)，序號(hào)大者包括序號(hào)小的模板方案，如：模板MN2包含了模板MN1采用的方案以外，又增加了新的方案.以下為不同模板的標(biāo)示符及采用的規(guī)則：

MN1:采用了名詞格范疇的方案；MN2:在MN1的基礎(chǔ)上增加了名詞人稱(chēng)范疇的方案；MN3:在MN2的基礎(chǔ)上增加了名詞數(shù)范疇的方案.

4 實(shí)驗(yàn)分析及結(jié)論

為了驗(yàn)證維吾爾語(yǔ)名詞的分離—丟棄方案對(duì)維漢詞對(duì)齊的影響，我們?cè)O(shè)置了兩種實(shí)驗(yàn)：實(shí)驗(yàn)一著重分析此方案對(duì)AER（對(duì)齊錯(cuò)誤率）的影響，實(shí)驗(yàn)二分析了此方案對(duì)機(jī)器翻譯的影響.

實(shí)驗(yàn)一：分離—丟棄方案對(duì)AER的影響

實(shí)驗(yàn)中使用了CWMT2013提供的維漢新聞?lì)I(lǐng)域平行語(yǔ)料，包含11萬(wàn)條句對(duì)，并使用GIZA++做詞對(duì)齊.為了評(píng)價(jià)詞對(duì)齊的結(jié)果，仍然采用了AER（對(duì)齊錯(cuò)誤率）[4]評(píng)價(jià)標(biāo)準(zhǔn).

為了發(fā)現(xiàn)不同詞尾粒度對(duì)維漢詞對(duì)齊的影響并找到最理想的詞尾粒度，我們將以上模板依次應(yīng)用到維吾爾語(yǔ)句子上，并與漢語(yǔ)語(yǔ)料構(gòu)成平行語(yǔ)料，總共構(gòu)成了3對(duì)訓(xùn)練語(yǔ)料.為得到AER的結(jié)果，還從每種訓(xùn)練語(yǔ)料中隨機(jī)挑出100條句子做手工對(duì)齊做為標(biāo)準(zhǔn)答案.同時(shí)，對(duì)維吾爾語(yǔ)句子做詞法分析后詞干詞尾分離并保留所有詞尾的情況做為基線，依次計(jì)算每一個(gè)模板的AER值并與其做比較.實(shí)驗(yàn)結(jié)果見(jiàn)表5.

分析實(shí)驗(yàn)數(shù)據(jù)，首先注意到語(yǔ)料中標(biāo)記數(shù)（token）的變化.每采用一種模板，token數(shù)都有所下降，說(shuō)明通過(guò)模板的使用丟棄了一些無(wú)用的詞尾，降低了句子長(zhǎng)度.AER的值都是下降的趨勢(shì)，說(shuō)明丟棄分離方案對(duì)詞語(yǔ)對(duì)齊起的作用是積極的.

表5 不同模板AER值比較

實(shí)驗(yàn)二、分離—丟棄方案對(duì)機(jī)器翻譯的影響

實(shí)驗(yàn)?zāi)康氖强疾榇朔桨笇?duì)機(jī)器翻譯的影響，語(yǔ)料仍然是CWMT2013提供的面向新聞?lì)I(lǐng)域的維漢訓(xùn)練語(yǔ)料，規(guī)模與實(shí)驗(yàn)一相等，開(kāi)發(fā)集為700條句子，測(cè)試語(yǔ)料為1000條句子構(gòu)成.實(shí)驗(yàn)中，我們?nèi)允褂昧碎_(kāi)源工具M(jìn)oses（摩西）作為解碼器.為了分析不同模板對(duì)機(jī)器翻譯的影響，我們按每一種方案重新構(gòu)造訓(xùn)練語(yǔ)料、開(kāi)發(fā)集及測(cè)試集并分別進(jìn)行了翻譯.實(shí)驗(yàn)中，把新疆多語(yǔ)種信息技術(shù)重點(diǎn)實(shí)驗(yàn)室參加CWMT2013新聞?lì)I(lǐng)域維漢機(jī)器翻譯評(píng)測(cè)結(jié)果作為基線實(shí)驗(yàn)，基線實(shí)驗(yàn)使用的語(yǔ)料與我們使用的語(yǔ)料相同，但語(yǔ)料中做詞法分析后只保留詞干并把所有的詞尾丟棄.對(duì)翻譯結(jié)果評(píng)價(jià)標(biāo)準(zhǔn)使用基于詞的BLEU[5]值.系統(tǒng)中，語(yǔ)言模型是利用工具SRILM[6]訓(xùn)練的三元模型，而訓(xùn)練數(shù)據(jù)是相應(yīng)訓(xùn)練集的中文部分，其他參數(shù)都沒(méi)改變，采用默認(rèn)值.實(shí)驗(yàn)結(jié)果為表6所示.

表6 不同模板對(duì)機(jī)器翻譯的影響

表中可以看出，不同模板對(duì)機(jī)器翻譯的影響不同，但都是向BLEU值提高的趨勢(shì)發(fā)展，特別是MN3的影響最明顯，提高幅度達(dá)到了1.12%.

綜上所述，分離—丟棄方案，對(duì)于形態(tài)復(fù)雜、詞尾攜帶一定語(yǔ)義信息的維吾爾語(yǔ)而言是可行的，通過(guò)分離方案盡可能地保留有意義的詞尾，同時(shí)通過(guò)丟棄方案將在漢語(yǔ)中不被翻譯的或不被表示的詞尾丟棄，從而降低句子長(zhǎng)度，最終提高機(jī)器翻譯的質(zhì)量.目前的方案對(duì)BLEU值的影響雖然是正面的，但幅度不高，這說(shuō)明此模板的選擇有待進(jìn)一步改善，進(jìn)一步統(tǒng)計(jì)分析后提出更合理的模板也是我們進(jìn)一步研究的目標(biāo).同時(shí)，目前我們只考慮了名詞，下一步將其擴(kuò)展到維吾爾語(yǔ)中詞尾數(shù)量最多、形態(tài)結(jié)構(gòu)最復(fù)雜的動(dòng)詞以及副詞和形容詞.