李京諭，馮 洋

(1. 中國科學院 計算技術(shù)研究所 智能信息處理重點實驗室，北京 100190；2. 中國科學院大學，北京 100049)

0 引言

神經(jīng)機器翻譯(neural machine translation, NMT)是目前主流的一種機器翻譯建模方法[1-3]，利用神經(jīng)網(wǎng)絡(luò)搭建翻譯模型，并采用端到端(end-to-End)的方式進行優(yōu)化。神經(jīng)機器翻譯提出至今，主要的關(guān)注點都在于句子級的翻譯，即給定一個段落，翻譯模型逐句進行翻譯，句子與句子之間是相互獨立的，這忽略了篇章上下文信息在翻譯過程中的影響。一方面，在翻譯一個完整的段落時，句子與句子之間需要保持一致和連貫，如果忽略篇章上下文的信息，則可能造成語義不連貫、語句不通順的現(xiàn)象。另一方面，篇章上下文信息可以提供給句子一些輔助信息，在翻譯的過程中減少句子存在的歧義問題。

神經(jīng)機器翻譯中根據(jù)注意力機制對源語言句子中的所有詞語生成對齊概率，這種對所有詞語進行計算的方式被稱為“軟關(guān)注”(soft attention)。在篇章級別的機器翻譯中，篇章中的上下文信息有篇幅長、信息量多的特點，但在實際情況下，對翻譯句子有幫助的篇章信息往往十分有限。在篇章信息存在大量冗余的情況下，采用傳統(tǒng)的注意力機制在篇章機器翻譯中很難從中提取對翻譯有實際幫助的信息，這在篇章機器翻譯中是一個不可忽視的問題。針對篇章信息冗余的現(xiàn)象，本文提出一種“硬關(guān)注”(hard attention)的方式計算注意力，并應(yīng)用在篇章機器翻譯的任務(wù)上?！败涥P(guān)注”的方式計算注意力時，每個輸入對應(yīng)的隱狀態(tài)都參與了權(quán)重計算，這種方法便于訓練中梯度的反向傳播。對應(yīng)地，我們提出在對篇章信息進行注意力計算時，只賦予0 和1 這兩種權(quán)重，這也使得模型難以進行梯度更新。因此，我們在篇章翻譯中通過強化學習[4]對硬關(guān)注模型梯度更新。在這里，引入強化學習有兩個目的。其一是由于硬關(guān)注機制在離散的信號中梯度無法回傳。通過強化學習的方法，我們可以獲得注意力機制的獎勵信號，從而對模型進行梯度更新。其二是由于求解注意力本身是一個無監(jiān)督、無標簽的問題，所以無法采用有監(jiān)督的任務(wù)中神經(jīng)網(wǎng)絡(luò)的損失函數(shù)對注意力進行建模，而強化學習的方法可以解決這個問題。

本文提出了一種聯(lián)合注意力機制，將硬關(guān)注和軟關(guān)注兩種注意力機制相結(jié)合，共同在篇章級機器翻譯模型中對篇章上下文建模。聯(lián)合注意力機制的關(guān)鍵思想是通過“hard”的方法篩選出對翻譯當前句子有幫助的部分篇章上下文的相關(guān)狀態(tài)，在翻譯的每一步對候選狀態(tài)用“soft”的方式進一步提取篇章信息，通過兩種注意力模型結(jié)合的方式得到每一步的篇章上下文的向量表示。利用在原始的神經(jīng)機器翻譯模型中融入篇章信息，構(gòu)成一個針對篇章數(shù)據(jù)的神經(jīng)機器翻譯模型。在兩個不同領(lǐng)域數(shù)據(jù)集上的實驗表明，通過聯(lián)合注意力機制引入篇章信息的方法對機器翻譯模型的性能有明顯的提升。

1 相關(guān)研究

注意力機制被提出以來，已廣泛應(yīng)用到了包括自然語言處理在內(nèi)的許多研究領(lǐng)域。雖然注意力機制最初是被用在機器翻譯領(lǐng)域，但隨后在各種任務(wù)上都占有一席之地，針對注意力的改進也一直是研究的熱點。在機器翻譯中，許多研究針對注意力機制提出優(yōu)化和改進。針對上下文信息較長的情況下注意力機制對齊困難的現(xiàn)象，Luong等[5]提出了局部注意力(local attention)機制，在計算注意力尋找源端對齊信息的時候，局部注意力僅對一個窗口范圍內(nèi)的詞進行分布式表示，而不是對整個句子的所有源端表示做加權(quán)求和，通過一個位置對齊參數(shù)計算當前時刻對應(yīng)注意力的位置，然后對一個固定大小的窗口范圍內(nèi)所有的隱狀態(tài)進行權(quán)重計算。Vaswani等[3]提出的自注意力(self-attention)和多頭注意力(multi-head attention)也是對注意力機制的改進形式。

近年來，篇章級機器翻譯逐漸成為機器翻譯領(lǐng)域里的一個研究熱點。Wang等[6]首先嘗試在神經(jīng)機器翻譯模型中引入篇章信息，在RNNSearch 模型的基礎(chǔ)上利用層次化的循環(huán)神經(jīng)網(wǎng)絡(luò)建模篇章信息，采用兩個級別的RNN 分別對詞向量和句子向量進行編碼，得到代表整個篇章信息的向量表征。Jean等[7]在RNNSearch模型中加入一套額外的編碼器和注意力機制，將篇章的前一個句子的信息引入神經(jīng)機器翻譯模型中。Tu等[8]為篇章信息設(shè)計了一個類似高速緩存(cache)的結(jié)構(gòu)，Maruf等[9]采用額外的記憶單元(memory networks)存儲篇章信息，以擴大對篇章信息的利用范圍。在基于自注意力機制的Transformer 模型的基礎(chǔ)上，Miculicich等[10]實現(xiàn)了基于多頭注意力機制的層次化網(wǎng)絡(luò)，分別對篇章進行詞級別和句子級別的表示。Zhang等[11]在Transformer 模型中加入一個額外的篇章信息編碼器，對篇章中源端的歷史句子進行編碼。Xiong等[12]提出了一種多輪解碼方案，將篇章一致性作為強化學習的一個獎勵函數(shù)來優(yōu)化模型。

2 基線系統(tǒng)

其中，y

2.1 編碼器

給定一個源端序列x=(x1,x2,…,xI)，I表示源端句子的長度。由于注意力機制在建模中丟失了時序信息，在Transformer中采用了一個Positional Encoding層擬合了位置編碼函數(shù)來模擬詞語序列的時序信息，如式(2)～式(3)所示。

通過詞向量和Positional Encoding層相加的方式，可以得到源端語言句子x的向量表示Ex=[E(x1);…;E(xl)]∈Rdmodel×l,dmodel表示模型的隱層單元個數(shù)大小。

Transformer編碼器由Nc層相同的網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)成，每一層都由一個多頭注意力子層和一個前向神經(jīng)網(wǎng)絡(luò)子層組成。多頭注意力模塊對源語言輸入序列之間的依賴關(guān)系建模，捕獲源語言句子中的內(nèi)部結(jié)構(gòu)，編碼器中第n層計算如式(4)所示。

其中，A(n)∈Rdmodel×l表示第n層多頭注意力模塊的隱狀態(tài)，H(n-1)表示第n-1層編碼器的隱狀態(tài)。當n=1時，第一層編碼器的輸入為H(0)=Ex。MultiHead(Q,K,V)表示多頭注意力函數(shù)，將輸入映射到h個不同的子空間進行注意力的計算，這里Q=K=V用作計算自注意力。由于Transformer模型使用深層次的網(wǎng)絡(luò)結(jié)構(gòu)，在每兩個子層之間都采用殘差結(jié)構(gòu)(Add)[13]和對層的規(guī)范化(LayerNorm)[14]來提升模型的能力，為簡便起見，后文在書寫中省略這一過程，如式(5)所示。

第二個子層是前饋網(wǎng)絡(luò)層FFN(·)，加強編碼器每個位置的表示能力。形式如式(6)所示。

其中，W1∈Rdmodel×dff、W2∈Rdff×dmodel分別表示可訓練的參數(shù)矩陣。

2.2 解碼器

對目標端序列y=(y1,y2,…,yJ)，J表示目標端句子的長度，通過目標端的詞向量和Positional Encoding層，得到的向量表示Ey=[E(y1),…,E(yJ)]∈Rdmodel×J。

解碼器由Nc層相同的網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)成，每一層都由兩個多頭注意力子層和一個前饋網(wǎng)絡(luò)子層組成，如式(8)～式(9)所示。

第一個多頭注意力子層計算自注意力，對目標端序列之間的依賴關(guān)系建模。解碼器的第一層輸入為S(0)=Ey。第二個多頭注意力子層用于建模目標語言與源端語言之間的依賴關(guān)系，多頭注意力的輸入為編碼器最頂層的隱狀態(tài)(K=V)。最后通過前饋網(wǎng)絡(luò)子層，加強解碼器的表示能力，如式(10)所示。

其中，S(n)∈Rdmodel×J為第n層解碼器的隱狀態(tài)(n=1,…,Nc)。

將解碼器頂層的隱狀態(tài)S(Nc)=(s1,…,sJ)映射到目標端詞表的空間，經(jīng)過softmax函數(shù)計算得到對目標端的概率分布，對第j個位置，如式(11)所示。

其中，WO∈R|Vy|×dmodel是一個參數(shù)矩陣，Vy表示目標端詞表，sj∈Rdmodel×1表示解碼器頂層SNc第j個位置的隱狀態(tài)。

3 基于聯(lián)合注意力的篇章機器翻譯

3.1 問題定義

(12)

其中，X

前人的研究工作中[6-7,11]，由于目標端依次解碼帶來的誤差累積問題，目標端的篇章信息Y

(13)

我們提出的模型如圖1所示，這里只示意了模型的編碼器結(jié)構(gòu)，模型的解碼器與原始Transformer模型中相同，在圖中沒有給出具體的細節(jié)描述。聯(lián)合注意力機制分為硬關(guān)注和軟關(guān)注兩個部分。其中，硬關(guān)注是對篇章上下文和源端句子之間的關(guān)系建模，相當于從上下文中選擇一個子集，能夠為翻譯當前句子篩選出所有需要的篇章上下文的部分。軟關(guān)注在源端句子的每一個位置對硬關(guān)注選擇的集合進行更進一步的計算，從而動態(tài)地獲得翻譯不同位置時篇章信息的向量表示。

圖1 基于聯(lián)合注意力機制的編碼器結(jié)構(gòu)

其中，H(doc)∈Rdmodel×L為篇章上下文的向量表示，L表示篇章信息的長度。

聯(lián)合注意力模型中，根據(jù)源語言句子和篇章上下文的向量表示計算注意力，硬關(guān)注將注意力作為采樣的概率來選擇上下文的部分區(qū)域，可以用Attentionhard函數(shù)表示，如式(16)所示。

其中，D為聯(lián)合注意力模型得到的篇章上下文的隱狀態(tài)表示。最后將篇章信息和源語言編碼融合起來作為編碼器的最終表示，如式(18)所示。

3.2 基于強化學習的硬關(guān)注模塊

圖2 聯(lián)合注意力中的硬關(guān)注模塊

如圖2所示，采用兩個前向網(wǎng)絡(luò)分別將Hcur和Hdoc映射到不同的空間內(nèi)，如式(20)～式(21)所示。

其中，Wp∈R2×dmodel為參數(shù)矩陣，Pz(zl)表示對zl的概率分布。由此，可以求解整個標簽序列z=z1,…,zL的概率，如式(24)所示。

(24)

3.3 基于多頭注意力的軟關(guān)注模塊

圖3 聯(lián)合注意力中的軟關(guān)注模塊和上下文門控單元

硬關(guān)注模塊篩選出與翻譯當前句子相關(guān)的向量集合，然而，不同的篇章上下文向量在翻譯的每一個時間步的作用都占有不同的權(quán)重。因此，我們設(shè)計了軟關(guān)注模塊，如圖3所示，計算上下文表示C和Hcur之間的依賴關(guān)系，從而得到翻譯的每一個時間步中相關(guān)的篇章信息向量。

(25)

di=FFN(MultiHead(qi,C,C))

(26)

其中，fq(·)是一個線性變換函數(shù)，qi是用于計算多頭注意力的Q。MultiHead(·)表示多頭注意力函數(shù)，F(xiàn)FN(·)表示一個前饋網(wǎng)絡(luò)。

3.4 上下文門控單元

在翻譯當前句的每個位置時，對篇章信息的依賴程度都不相同。因此，獲得篇章上下文的向量表示后，通過一個門控單元(gate)[16]學習句子與和篇章信息之間的關(guān)聯(lián)，動態(tài)地控制句子信息和篇章信息對翻譯的影響，如圖3所示。

其中，Wh、Wd分別表示參數(shù)矩陣。λi在經(jīng)過sigmoid函數(shù)計算后輸出在0到1之間，定義了篇章信息通過的程度。

3.5 模型的訓練

在本文提出的篇章翻譯模型中，參數(shù)可以分為兩個部分： 硬關(guān)注模塊的θr和其余所有部分的θs。

由于硬關(guān)注模塊中存在離散的過程，其目標函數(shù)是不可微分的，對參數(shù)θr的優(yōu)化采用策略梯度算法?？梢哉J為硬關(guān)注模型為強化學習中的智能體，實際上是一個策略網(wǎng)絡(luò)，其動作空間的大小為2，每一步可以執(zhí)行選中或者未選中兩種動作。智能體根據(jù)全局信號做出決策，在智能體執(zhí)行一系列動作之后，收到一個環(huán)境中得到的反饋信號。這里，我們將翻譯模型生成目標譯文的翻譯概率作為獎勵，對待翻譯的數(shù)據(jù)對(x,y)和對應(yīng)的篇章上文X

參數(shù)θr的優(yōu)化學習被建模為通過策略梯度方法(即REINFORCE算法)解決的強化學習問題。訓練硬關(guān)注的總體目標是選擇部分上下文的同時保留與翻譯相關(guān)的信息，其目標函數(shù)是得到獎勵函數(shù)的最大期望，通過翻譯概率得到，如式(30)所示。

對其余參數(shù)θs，采用原始的端到端的方式直接通過反向傳播來進行優(yōu)化。使用交叉熵作為損失函數(shù)，其優(yōu)化目標如式(31)所示。

硬關(guān)注模塊的訓練過程中將翻譯模型輸出的概率作為其獎勵函數(shù)，而在翻譯模型的其余參數(shù)θs的訓練中，同樣依賴于硬關(guān)注模塊的輸出。因此，參數(shù)θr和θs兩個部分的優(yōu)化是彼此依賴的，如何進行有效的訓練是本文中的一大難點。

在實際的訓練過程中，為了降低訓練難度，采用預訓練(pre-train)和交替訓練(cross-train)的方式。首先基于最大似然估計的標準訓練Transformer模型直至收斂，如式(32)所示。

這樣，模型能具有相對完整的表示能力。在此基礎(chǔ)上，對我們提出的模型采用交替訓練的方式，對兩個部分的參數(shù)分別進行訓練，訓練中需要把另一部分參數(shù)固定。對于θs的優(yōu)化，硬關(guān)注模型生成完整的序列之后，才能得到在翻譯中使用的篇章信息，從而通過翻譯概率計算其獎勵，因此在采用式更新中，通過蒙特卡洛搜索(Monte-Carlo search)的方式得到選擇動作序列。對參數(shù)θs進行優(yōu)化時，也需要通過硬關(guān)注生成完整的選擇序列，采用柱搜索(beam search)的方法得到完整序列，與機器翻譯中柱搜索方式略微不同之處在于，這里生成一個定長的決策序列z=(z1,…,zL)，其長度與篇章上下文相同。由于硬關(guān)注模型的動作空間非常小(選擇/不選擇)，這里柱搜索的窗口設(shè)置為2。

4 實驗與分析

4．1 實驗數(shù)據(jù)和指標

我們在中英機器翻譯任務(wù)上驗證提出的模型，分別使用了兩個不同領(lǐng)域的篇章機器翻譯語料訓練模型，統(tǒng)計信息如表1所示。其中，TED演講數(shù)據(jù)集(TED Talks)，來自于IWSLT(international workshop on spoken language translation)國際口語機器翻譯評測大賽2014年的評測活動(1)https://wit3.fbk.eu，數(shù)據(jù)集收錄了TED大會中的演講稿。我們使用dev2010作為開發(fā)集驗證模型，tst2010—2013作為測試集檢驗模型最終的效果。第二個數(shù)據(jù)集是中英字幕數(shù)據(jù)集(TVSUB)[17]，適用于研究多輪對話、篇章翻譯等具有篇章上下文的任務(wù)，由影視劇的字幕匯編而成(2)數(shù)據(jù)來源于以下兩個字幕網(wǎng)站： http://www.zimuzu.tv, http://assrt.net。。在測試集中，每一句原文都有三句對應(yīng)的參考譯文。

對于譯文的質(zhì)量評估，使用大小寫不敏感的BLEU-4[18]作為評價指標，本文采用multi-bleu腳本進行計算。

表1 數(shù)據(jù)集統(tǒng)計信息

4.2 實驗細節(jié)

對訓練數(shù)據(jù)，在漢語端使用ICTCLAS(3)http://ictclas.nlpir.org進行了分詞預處理，英語端進行了詞法預處理和小寫化。針對神經(jīng)翻譯面對的詞匯數(shù)據(jù)稀疏問題，在實驗中分別采用詞和字節(jié)對編碼[19](byte pair encoding，BPE)作為基本的翻譯單元。以詞為翻譯單元的實驗，漢語端和英文端都采用30K的詞表大小，在TED演講數(shù)據(jù)集上分別覆蓋98.6%和99.3%的源端和目標端文本，在TVSUB字幕數(shù)據(jù)集上分別覆蓋98.2%和99.4%的源端和目標端文本。以字節(jié)對編碼為翻譯單元的實驗，BPE單元的詞匯表設(shè)置為16K，在兩個數(shù)據(jù)集上的訓練數(shù)據(jù)中文本覆蓋率均為100%。

我們采用了Transformer Base模型的配置，詞向量維度和注意力計算的隱層單元個數(shù)都是512，前饋網(wǎng)絡(luò)的中間層單元為2 048，多頭注意力的層數(shù)為8。為了避免過擬合，我們在模型中使用了Dropout方法，分別在編碼器和解碼器每一層的前饋網(wǎng)絡(luò)上加入，Dropout的比率設(shè)置為0.1。參數(shù)的優(yōu)化使用了批量的隨機梯度下降方法，根據(jù)數(shù)據(jù)的長度對數(shù)據(jù)進行批處理，批處理的大小限制為1 024個token以內(nèi)，學習率采用自適應(yīng)的Adam算法[20]進行調(diào)整學習(σ=10-9,β1=0.9,β2=0.98)。 我們使用與基線系統(tǒng)相同的預熱(warm up)和衰減(decay)策略，設(shè)置warm-up的步長為4 000。

在模型測試的過程中，柱搜索的窗口大小設(shè)置為10，為了減小候選譯文的長度對序列得分的影響，設(shè)置長度懲罰(length penalty)的系數(shù)α=0.6對候選譯文進行重排序，選擇得分最大的作為最終輸出的譯文。

4.3 主要實驗結(jié)果

實驗結(jié)果參照表2，展示了TED Talks和TVSUB兩個中英文數(shù)據(jù)集上的BLEU-4指標結(jié)果。

表2 不同數(shù)據(jù)集上的BLEU-4指標

對比基于聯(lián)合注意力機制的篇章機器翻譯模型和基線系統(tǒng)Transformer模型，可以看出該文提出的模型在TED Talks數(shù)據(jù)集上BLEU值提升了+0.80，在TVSUB數(shù)據(jù)集上提升了+0.49個BLEU。對數(shù)據(jù)分別采用字節(jié)對編碼進行處理后，我們的模型在TED Talks數(shù)據(jù)集和TVSUB數(shù)據(jù)集上比Transformer系統(tǒng)分別提升了+0.47和+0.36個BLEU，表明基于聯(lián)合注意力機制的篇章機器翻譯模型在針對不同粒度的語言表示方法上都能夠提升機器翻譯模型的效果。

本文提出的模型和Transformer模型中采用字節(jié)對編碼(BPE)的方式對語料進行處理，翻譯模型的性能均有提升，這說明字節(jié)對編碼可以增加詞匯表覆蓋率，改善神經(jīng)機器翻譯中數(shù)據(jù)稀疏的問題。在模型中采用字節(jié)對編碼處理后，本文提出模型的提升沒有對原始Transformer模型的提升明顯，表明模型融合篇章信息后提升了原始Transformer模型的表達能力，與字節(jié)對編碼緩解詞匯數(shù)據(jù)稀疏問題有所重合。

4.4 與現(xiàn)有工作的對比

表3列出的實驗結(jié)果為TED數(shù)據(jù)集上各系統(tǒng)的BLEU-4指標。從中可以看出，基于RNNSearch的三個篇章級機器翻譯系統(tǒng)[6-8]BLEU值明顯低于基于Transformer模型改進的篇章級翻譯系統(tǒng)[10]。

表3 與前人工作的實驗結(jié)果對比

我們的模型在TED數(shù)據(jù)集上輸出的譯文BLEU值最高，在引入篇章信息的機器翻譯模型中超過了所有現(xiàn)有系統(tǒng)的表現(xiàn)，達到了最優(yōu)效果。在這里，通過與這些篇章級機器翻譯系統(tǒng)的性能對比，進一步證明了本文提出的基于聯(lián)合注意力機制的篇章機器翻譯模型的有效性。

4.5 篇章長度的影響

在實驗所用的TED和TVSUB數(shù)據(jù)集中，一個完整的篇章通常由上百個句子構(gòu)成，將所有的句子都作為篇章信息在建模的過程中對計算能力的要求非常高，而且在翻譯的過程中考慮所有的篇章信息也并不符合直覺。因此，我們需要探究篇章信息的長度對實驗結(jié)果的影響。為了探索篇章信息的長度對所提出模型的影響，我們對不同長度的篇章信息做對比實驗。這里，篇章信息的長度指篇章翻譯模型中建模篇章上下文句子的數(shù)量。

表4列出結(jié)果為TED數(shù)據(jù)集上不同篇章信息長度下翻譯模型的BLEU-4指標?？梢钥闯觯赥ransformer模型中引入篇章信息后，翻譯模型的性能均有提升。當加入篇章句子數(shù)量為1時，模型的性能明顯低于篇章長度大的系統(tǒng)。隨著篇章長度的增加，翻譯的性能基本穩(wěn)定，加入句子數(shù)量為3和5的兩個系統(tǒng)基本沒有差異。當句子數(shù)量為7時，系統(tǒng)的性能相比句子數(shù)量為3和5的系統(tǒng)略微有下降。總體上，我們的模型可以在篇章信息較長的情況下依然維持比較好的性能，證明了我們的方法處理大量冗余信息的有效性。

表4 不同篇章長度下的實驗結(jié)果

5 總結(jié)與展望

針對篇章級機器翻譯中篇幅長、信息冗余的問題，本文提出了一種將硬關(guān)注和軟關(guān)注兩種注意力相結(jié)合的聯(lián)合注意力機制對篇章信息建模，并將其應(yīng)用在篇章級別的神經(jīng)機器翻譯模型中。在兩個不同領(lǐng)域的公開數(shù)據(jù)集上的實驗結(jié)果表明，基于聯(lián)合注意力機制引入篇章信息的方法對機器翻譯模型的翻譯效果均有明顯的提升。不同篇章長度下的實驗結(jié)果表明，本文提出的模型在處理長篇章時依然能維持其翻譯的性能，證明本文提出的聯(lián)合注意力機制可以有效地處理冗余的篇章信息。

在篇章結(jié)構(gòu)的數(shù)據(jù)中，遠距離的語義依賴關(guān)系是廣泛存在的。如何挖掘篇章中更多潛在語義信息以及語句之間的遞進關(guān)系，為篇章翻譯提供更加準確的語境信息，是一個值得我們在未來的工作中進一步探索的問題。