陳 馳

（北京七彩拇指科技有限公司，北京 100079）

1 無(wú)監(jiān)督學(xué)習(xí)的多語(yǔ)言神經(jīng)機(jī)器翻譯模型研究現(xiàn)狀

Transformer全新模型結(jié)構(gòu)于2017年提出，其不再依賴循環(huán)和卷積兩種神經(jīng)網(wǎng)絡(luò)，而是應(yīng)用自注意力機(jī)制，提升了機(jī)器翻譯的性能。為解決神經(jīng)機(jī)器翻譯存在的缺點(diǎn)，提供了研究單語(yǔ)數(shù)據(jù)訓(xùn)練機(jī)器翻譯模型的新思路。2017年，行業(yè)專家通過(guò)無(wú)監(jiān)督方法的應(yīng)用完成了跨語(yǔ)言嵌入，訓(xùn)練后獲得了詞對(duì)詞模型，在此基礎(chǔ)上，通過(guò)降噪處理和反向翻譯方式，實(shí)現(xiàn)了偽平行語(yǔ)料的生成，并通過(guò)訓(xùn)練得到結(jié)果。隨后在2018年，相關(guān)專家學(xué)者依據(jù)前期工作，將無(wú)監(jiān)督神經(jīng)機(jī)器翻譯過(guò)程總結(jié)為三個(gè)步驟（也稱三項(xiàng)原則）：①詞對(duì)詞模型初始化；②基于單語(yǔ)語(yǔ)料，訓(xùn)練源語(yǔ)言模型、目標(biāo)語(yǔ)言模型，在訓(xùn)練中采用降噪自編碼器方式；③轉(zhuǎn)換無(wú)監(jiān)督，使之成為有監(jiān)督形式，在轉(zhuǎn)換過(guò)程中采用反向翻譯方法。由于不同語(yǔ)言的詞匯不同，語(yǔ)言結(jié)構(gòu)和語(yǔ)法卻類似，所以應(yīng)用多任務(wù)學(xué)習(xí)策略，對(duì)無(wú)監(jiān)督的多語(yǔ)言神經(jīng)機(jī)器翻譯進(jìn)行訓(xùn)練，其目的在于學(xué)習(xí)不同目標(biāo)語(yǔ)言中有價(jià)值的語(yǔ)義信息、結(jié)構(gòu)信息[1]。

2 基于無(wú)監(jiān)督學(xué)習(xí)的多語(yǔ)言神經(jīng)機(jī)器翻譯模型的研究

2.1 模型構(gòu)建

下面以Transformer模型結(jié)構(gòu)為基礎(chǔ)展開(kāi)研究，通過(guò)這一模型，為各類語(yǔ)言建立編碼器和解碼器，實(shí)現(xiàn)部分參數(shù)共享，并結(jié)合上述三項(xiàng)原則，在三種語(yǔ)言之間構(gòu)建訓(xùn)練任務(wù)，即英語(yǔ)、德語(yǔ)、法語(yǔ)，進(jìn)而得到訓(xùn)練模型。

2.1.1 Transformer架構(gòu)

Transformer并不依賴循環(huán)和卷積兩種神經(jīng)網(wǎng)絡(luò)，而是通過(guò)自注意力機(jī)制，實(shí)現(xiàn)端到端的神經(jīng)機(jī)器翻譯，這是Transformer的關(guān)鍵特點(diǎn)。所謂自注意力機(jī)制，指的是對(duì)句子中的每個(gè)詞及其他所有詞進(jìn)行注意力計(jì)算，作用在于對(duì)句子中的依賴關(guān)系加以學(xué)習(xí)，以此獲取句子內(nèi)部結(jié)構(gòu)。在Transformer架構(gòu)中，無(wú)論是編碼器，還是解碼器，都是多層網(wǎng)絡(luò)結(jié)構(gòu)且包含諸多相同層。各子層都應(yīng)用殘差方式進(jìn)行連接。

2.1.2 雙語(yǔ)單任務(wù)無(wú)監(jiān)督神經(jīng)機(jī)器翻譯模型

在這一模型訓(xùn)練過(guò)程中，僅應(yīng)用Transformer結(jié)合三項(xiàng)原則對(duì)單個(gè)訓(xùn)練任務(wù)進(jìn)行訓(xùn)練，這種單個(gè)任務(wù)為英語(yǔ)→法語(yǔ)、英語(yǔ)→德語(yǔ)以及德語(yǔ)→法語(yǔ)中的其中一種。在研究中，源語(yǔ)言用S表示，目標(biāo)語(yǔ)言用T表示，源語(yǔ)言單語(yǔ)訓(xùn)練出的語(yǔ)言模型用Ps表示，目標(biāo)語(yǔ)言單語(yǔ)訓(xùn)練出的語(yǔ)言模型用Pt表示，源語(yǔ)言到目標(biāo)語(yǔ)言翻譯模型的預(yù)測(cè)概率用Ps→t表示，目標(biāo)語(yǔ)言到源語(yǔ)言翻譯模型的預(yù)測(cè)概率用Pt→s表示。無(wú)監(jiān)督神經(jīng)機(jī)器翻譯過(guò)程主要包括以下三個(gè)環(huán)節(jié)。

（1）初始化。模型的初始化方式有兩種：①基于Word2vec對(duì)兩種語(yǔ)言的詞向量進(jìn)行單獨(dú)訓(xùn)練，進(jìn)而通過(guò)變換矩陣學(xué)習(xí)，在相同潛在空間中映射兩種語(yǔ)言的詞向量，以此得到具備較高精確度的雙語(yǔ)詞表；②使用字單元，即單詞的字節(jié)對(duì)編碼，這種方式不僅能減小詞表大小，還能清除翻譯中存在的未知問(wèn)題[2]。

（2）語(yǔ)言模型。在雙語(yǔ)單任務(wù)無(wú)監(jiān)督神經(jīng)翻譯模型中，需要對(duì)語(yǔ)言模型降噪自編碼器最小損失函數(shù)予以明確，即：

從本質(zhì)上講，語(yǔ)言模型訓(xùn)練過(guò)程是將噪聲加入處理后的句子C(x)作為源端輸入句子，而目標(biāo)端輸入句子則為原始句子x，進(jìn)而以[C(x),x]為平行句子對(duì)進(jìn)行訓(xùn)練。

（3）反向翻譯。在這一過(guò)程中以偽平行句對(duì)為平行句對(duì)進(jìn)行訓(xùn)練，損失函數(shù)公式為：

在反向翻譯過(guò)程中，主要以[u*(y),y]和[u*(x),x]為平行句對(duì)進(jìn)行訓(xùn)練，轉(zhuǎn)換無(wú)監(jiān)督問(wèn)題，使之成為有監(jiān)督問(wèn)題。而語(yǔ)言模型和反向翻譯環(huán)節(jié)反復(fù)迭代的過(guò)程，為雙語(yǔ)單任務(wù)無(wú)監(jiān)督神經(jīng)機(jī)器翻譯模型訓(xùn)練的過(guò)程。

2.1.3 多語(yǔ)言多任務(wù)無(wú)監(jiān)督神經(jīng)機(jī)器翻譯模型

這一模型是基于Transformer架構(gòu)，并結(jié)合前文所講三項(xiàng)原則，對(duì)多任務(wù)訓(xùn)練后得到的模型[3]。多語(yǔ)言多任務(wù)無(wú)監(jiān)督神經(jīng)機(jī)器翻譯模型主要由編碼器、解碼器、生成對(duì)抗網(wǎng)絡(luò)以及潛在空間四部分組成。其中，編碼器和解碼器內(nèi)部都包括四個(gè)子層，并分別共享編碼器、解碼器的后三層參數(shù)和前三層參數(shù)。為使共享潛在空間的作用得到強(qiáng)化，通過(guò)生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練，針對(duì)不同語(yǔ)言所對(duì)應(yīng)的編碼器建立不同任務(wù)，其目的是對(duì)編碼語(yǔ)言的所屬類別進(jìn)行預(yù)測(cè)，進(jìn)而基于最小化交叉熵?fù)p失函數(shù)實(shí)現(xiàn)優(yōu)化，即：

式中，EX(S’)指的是通過(guò)語(yǔ)言X編碼器對(duì)當(dāng)前編碼句子S’進(jìn)行預(yù)測(cè)后得到的結(jié)果，而當(dāng)前編碼的句子可能源于源語(yǔ)言，也可能源于目標(biāo)語(yǔ)言；θD表示生成對(duì)抗網(wǎng)絡(luò)的參數(shù)。為對(duì)這一生成對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，還要優(yōu)化訓(xùn)練編碼器。

2.2 實(shí)驗(yàn)設(shè)置

本文針對(duì)英語(yǔ)、法語(yǔ)、德語(yǔ)三種語(yǔ)言之間的無(wú)監(jiān)督神經(jīng)機(jī)器翻譯進(jìn)行實(shí)驗(yàn)，并利用評(píng)測(cè)標(biāo)準(zhǔn)雙語(yǔ)互譯評(píng)估值對(duì)實(shí)驗(yàn)的翻譯性能予以評(píng)估。

（1）在實(shí)驗(yàn)訓(xùn)練集的選擇上，抽取WMT2007～2010語(yǔ)料庫(kù)中三種語(yǔ)言的單語(yǔ)句子各1 000萬(wàn)行；在開(kāi)發(fā)集的選擇上，采用數(shù)據(jù)集newstest 2012中的德語(yǔ)?英語(yǔ)、英語(yǔ)?法語(yǔ)以及德語(yǔ)?法語(yǔ)任務(wù)；在測(cè)試集的選擇上，采用數(shù)據(jù)集newstest2013中的德語(yǔ)?英語(yǔ)、英語(yǔ)?法語(yǔ)以及德語(yǔ)?法語(yǔ)任務(wù)。

（2）實(shí)驗(yàn)優(yōu)化器選用Adam，設(shè)置失活率為0.1，設(shè)置單詞維度、最大句子長(zhǎng)度分別為512、175。在句子超過(guò)175個(gè)單詞時(shí)，會(huì)截取超出部分，設(shè)置訓(xùn)練步長(zhǎng)為35 000，其他參數(shù)依據(jù)Transformer模型默認(rèn)參數(shù)進(jìn)行設(shè)置。

（3）在三種語(yǔ)言翻譯模型中進(jìn)行三種語(yǔ)言的詞表共享，并將BPE操作數(shù)設(shè)置為85 000，基于fastText工具的應(yīng)用，基于子詞化的訓(xùn)練集進(jìn)行跨語(yǔ)言詞向量學(xué)習(xí)訓(xùn)練。

（4）設(shè)置對(duì)比實(shí)驗(yàn)，在以往雙語(yǔ)單任務(wù)無(wú)監(jiān)督神經(jīng)機(jī)器翻譯模型中，對(duì)兩種語(yǔ)言詞表進(jìn)行共享，并將BPE操作數(shù)設(shè)置為60 000，其他參數(shù)依據(jù)多任務(wù)無(wú)監(jiān)督神經(jīng)機(jī)器翻譯模型進(jìn)行設(shè)置。

2.3 實(shí)驗(yàn)結(jié)果

單任務(wù)、多任務(wù)無(wú)監(jiān)督神經(jīng)機(jī)器翻譯模型在測(cè)試集上的翻譯性能如表1所示。從表1中數(shù)據(jù)可知，雖然多任務(wù)無(wú)監(jiān)督神經(jīng)機(jī)器翻譯模型在四項(xiàng)翻譯任務(wù)上得到顯著提升，但提升效果存在差異性。在英語(yǔ)→德語(yǔ)和德語(yǔ)→英語(yǔ)這兩項(xiàng)翻譯任務(wù)上，測(cè)試結(jié)果BLFU提升程度較??；但在德語(yǔ)→法語(yǔ)和法語(yǔ)→德語(yǔ)這兩項(xiàng)翻譯任務(wù)上，測(cè)試結(jié)果BLFU提升程度較大；而在英語(yǔ)→法語(yǔ)和法語(yǔ)→英語(yǔ)這兩項(xiàng)翻譯任務(wù)上，多任務(wù)無(wú)監(jiān)督神經(jīng)機(jī)器翻譯模型的翻譯性能相較于單任務(wù)模型有所下降。因此，在p為0.01顯著性測(cè)試中，本研究模型在四項(xiàng)翻譯任務(wù)上翻譯性能良好，即英語(yǔ)→德語(yǔ)、德語(yǔ)→英語(yǔ)、德語(yǔ)→法語(yǔ)、法語(yǔ)→德語(yǔ)[4]。

表1 兩種模型翻譯性能比較

2.4 實(shí)驗(yàn)分析

在該多任務(wù)無(wú)監(jiān)督神經(jīng)機(jī)器翻譯模型中，需要共享多種語(yǔ)言的詞表，所以關(guān)鍵在于合理選擇詞表大小，基于此，文章多次開(kāi)展實(shí)驗(yàn)進(jìn)行比對(duì)，實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同詞表大小實(shí)驗(yàn)結(jié)果對(duì)比

從表2中數(shù)據(jù)可知，在85 000和90 000的BPE操作數(shù)設(shè)置下，所獲得的實(shí)驗(yàn)結(jié)果較好，但兩組實(shí)驗(yàn)結(jié)果BLEU值相差較小。而且在部分語(yǔ)言對(duì)中，BPE操作數(shù)設(shè)置為90 000時(shí)的BLEU值比設(shè)置成85 000時(shí)的BLEU更低。因此，加大詞表大小不能顯著提升試驗(yàn)結(jié)果，在該模型中，最終設(shè)置BPE操作數(shù)為85 000。

為直觀地對(duì)比翻譯性能和訓(xùn)練速度，文章以統(tǒng)計(jì)方式匯總了實(shí)驗(yàn)中需要訓(xùn)練的各項(xiàng)參數(shù)。通過(guò)統(tǒng)計(jì)結(jié)果可知，多語(yǔ)言多任務(wù)翻譯任務(wù)參數(shù)數(shù)量是雙語(yǔ)單任務(wù)翻譯任務(wù)參數(shù)數(shù)量的1.3倍左右，兩者總參數(shù)分別為1.3×108和1.7×108，數(shù)值遠(yuǎn)遠(yuǎn)小于六個(gè)翻譯任務(wù)單獨(dú)訓(xùn)練的參數(shù)總和。與單任務(wù)無(wú)監(jiān)督神經(jīng)機(jī)器翻譯相比，多任務(wù)無(wú)監(jiān)督神經(jīng)機(jī)器翻譯訓(xùn)練時(shí)長(zhǎng)縮短了一半左右。為直觀對(duì)比翻譯性能和訓(xùn)練速度，針對(duì)兩種模型在翻譯效果變化最為顯著的德語(yǔ)→法語(yǔ)和法語(yǔ)→德語(yǔ)任務(wù)，利用折線圖呈現(xiàn)兩種模型效果，如圖1所示。

從實(shí)驗(yàn)結(jié)果可知：①多任務(wù)無(wú)監(jiān)督神經(jīng)機(jī)器翻譯確實(shí)能改善翻譯性能，但針對(duì)不同種類語(yǔ)言的翻譯任務(wù)，翻譯效果存在差異性。②針對(duì)本身具備較好翻譯效果的語(yǔ)言種類，如果利用多語(yǔ)言多任務(wù)無(wú)監(jiān)督神經(jīng)機(jī)器翻譯模型進(jìn)行翻譯，提升翻譯效果并不樂(lè)觀，甚至?xí)a(chǎn)生反向作用；而針對(duì)本身具備較差翻譯效果的語(yǔ)言種類，如果利用多語(yǔ)言多任務(wù)無(wú)監(jiān)督神經(jīng)機(jī)器翻譯模型進(jìn)行翻譯，可能會(huì)獲得顯著效果，出現(xiàn)這一結(jié)果的原因是訓(xùn)練數(shù)據(jù)采樣對(duì)低資源語(yǔ)言對(duì)更有利所致。③多語(yǔ)言無(wú)監(jiān)督神經(jīng)機(jī)器翻譯可同時(shí)建立多種語(yǔ)言的翻譯任務(wù)，從而顯著減少訓(xùn)練所需要的總時(shí)長(zhǎng)[5]。

3 結(jié)束語(yǔ)

為解決神經(jīng)機(jī)器翻譯存在的缺點(diǎn)，文章主要探究基于無(wú)監(jiān)督學(xué)習(xí)的多語(yǔ)言神經(jīng)機(jī)器翻譯模型。通過(guò)分析多任務(wù)學(xué)習(xí)在無(wú)監(jiān)督神經(jīng)機(jī)器翻譯中的應(yīng)用，并針對(duì)部分語(yǔ)言提出了能提升翻譯性能的訓(xùn)練模型，在聯(lián)合訓(xùn)練多個(gè)訓(xùn)練任務(wù)的基礎(chǔ)上，讓源語(yǔ)言在向目標(biāo)語(yǔ)言的翻譯過(guò)程中學(xué)習(xí)第三種語(yǔ)言單語(yǔ)語(yǔ)料中有價(jià)值的語(yǔ)義信息和結(jié)構(gòu)信息。本文研究的基于無(wú)監(jiān)督學(xué)習(xí)的多語(yǔ)言神經(jīng)機(jī)器翻譯模型，不僅能顯著提升翻譯性能，還能在多種語(yǔ)言對(duì)的翻譯中有效縮短訓(xùn)練時(shí)長(zhǎng)?！?/p>