李夢潔，董 巒

(新疆農(nóng)業(yè)大學(xué) 計算機與信息工程學(xué)院，新疆 烏魯木齊 830000)

0 引 言

在機器翻譯中，如何選擇更有效率更適合翻譯的模型一直都是深度學(xué)習(xí)中研究的熱點之一。近年來，很多深度學(xué)習(xí)、人工智能領(lǐng)域的研究者不斷探索改進實現(xiàn)機器翻譯的相關(guān)模型，反復(fù)進行了大量的實驗。隨著人工智能的發(fā)展，機器翻譯相關(guān)技術(shù)得到了不斷的改進創(chuàng)新，使得機器翻譯走向了更前沿的水平。

Treisman和Gelade提出了注意力機制方法[1]，它是可以模擬人腦注意力的模型，并可通過計算注意力的概率分布來突顯輸入中某一個輸入對于輸出的影響作用。簡單來說，就是當(dāng)人們觀察一幅圖片時，首先注意到的是圖片中的某一部分，而不是瀏覽全部內(nèi)容，之后在觀察的過程中依次調(diào)整注意的聚焦點。這種注意力機制的方法對于傳統(tǒng)模型具有良好的優(yōu)化作用。因此，文中在序列對序列網(wǎng)絡(luò)模型上運用注意力機制，以提高序列對序列的自然方式下的系統(tǒng)表現(xiàn)。

1 研究現(xiàn)狀及意義

1.1 機器翻譯

機器翻譯(machine translation)即自動翻譯，是在自然語言方面實現(xiàn)兩種語言之間相互轉(zhuǎn)換功能的過程[2]。即研究怎樣通過計算機來實現(xiàn)多個自然語言之間的轉(zhuǎn)換，是人工智能的終極目標(biāo)之一，也是自然語言處理領(lǐng)域尤為重要的研究方向之一[3]。機器翻譯技術(shù)的持續(xù)發(fā)展，特別是近年來涌現(xiàn)的神經(jīng)機器翻譯，使機器譯文質(zhì)量明顯提高，也迎來了機器翻譯應(yīng)用的發(fā)展高潮?；ヂ?lián)網(wǎng)社交、跨境電商和旅游以及更多細分垂直領(lǐng)域中，機器翻譯正在幫助人們跨越語言障礙，應(yīng)對大數(shù)據(jù)翻譯需求。現(xiàn)如今，機器翻譯技術(shù)在不斷完善，并在政治、經(jīng)濟、文化方面的交流中起到了至關(guān)重要的作用。

1.2 深度學(xué)習(xí)框架

深度學(xué)習(xí)是機器學(xué)習(xí)的一部分，是機器學(xué)習(xí)中一種基于對數(shù)據(jù)進行表征學(xué)習(xí)的方法。它可以模仿人的大腦結(jié)構(gòu)，高效處理特別復(fù)雜的輸入數(shù)據(jù)，提取數(shù)據(jù)中的抽象特征，達到智能學(xué)習(xí)的效果[4]。深度學(xué)習(xí)的好處是用非監(jiān)督式或半監(jiān)督式的特征學(xué)習(xí)和分層特征提取高效算法來替代手工獲取特征。

目前研究人員正在使用的深度學(xué)習(xí)框架有TensorFlow、PyTorch、Caffe、Theano、Deeplearning4j、ConvNetJS、MXNet、Chainer等，深度學(xué)習(xí)框架在很多領(lǐng)域應(yīng)用廣泛，如語音識別、自然語言處理等，并獲取了極好的效果。

文中實驗使用的深度學(xué)習(xí)框架是PyTorch。PyTorch是Facebook推出的人工智能學(xué)習(xí)系統(tǒng)，雖然底層優(yōu)化是在C的基礎(chǔ)上實現(xiàn)，但基本所有框架都是用Python編寫，因此源碼看起來較簡潔明了。相對于其他框架，它有可以支持GPU、創(chuàng)建動態(tài)神經(jīng)網(wǎng)絡(luò)、Python優(yōu)先等特點。相對于Tensorflow，PyTorch更加簡潔直觀，因此在訓(xùn)練機器翻譯模型的實驗上選用該框架。

2 相關(guān)技術(shù)研究

2.1 基于短語的統(tǒng)計機器翻譯

統(tǒng)計機器翻譯(statistical machine translation，SMT)的核心思想如下：在建立一定數(shù)據(jù)的平行語料庫后，對其進行統(tǒng)計分析，從而構(gòu)建相關(guān)模型來進行機器翻譯。統(tǒng)計機器翻譯步驟如下：首先為語言的產(chǎn)生構(gòu)造合理的統(tǒng)計模型，其次定義要估計的模型參數(shù)，最后設(shè)計參數(shù)估計算法。

假設(shè)用字母y代表源語句，那么機器翻譯的模型會在目標(biāo)語句中找尋一個概率相對最大的句子m，m表示為：

m=argmaxep(m|y)

(1)

2.2 基于神經(jīng)網(wǎng)絡(luò)的機器翻譯

神經(jīng)機器翻譯(neural machine translation)是一種新興的機器翻譯方法[5-7]。與傳統(tǒng)的包含許多單獨調(diào)整的小組件的基于短語的翻譯系統(tǒng)[8]不同的是，神經(jīng)機器翻譯試圖建立和訓(xùn)練一個單獨的大的神經(jīng)網(wǎng)絡(luò)，這樣就可以讀取一個句子并且能輸出一個正確的翻譯[9]。

目前最受研究者歡迎的是基于人工神經(jīng)網(wǎng)絡(luò)的機器翻譯：一個通過訓(xùn)練可以從語料庫中學(xué)習(xí)并由很多神經(jīng)元組成的深度神經(jīng)網(wǎng)絡(luò)。實現(xiàn)兩個語言之間的翻譯即為先輸入源語言，在神經(jīng)網(wǎng)絡(luò)中訓(xùn)練后得出目標(biāo)語言的過程。通過模擬人腦能達到先理解后翻譯的功能。這種翻譯方法最大的優(yōu)勢是翻譯出來的語句較為通順，比較符合語法規(guī)范，便于大眾理解。相比其他的翻譯技術(shù)來說質(zhì)量上有了顯著提高。

最常用的神經(jīng)網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)。該網(wǎng)絡(luò)通過學(xué)習(xí)能夠?qū)?dāng)前詞的歷史信息存儲起來，以詞的整個上下文作為依據(jù)，來預(yù)測下一個詞出現(xiàn)的概率，克服n-gram語言模型無法利用語句中長距離上下文信息的缺點[10]。循環(huán)神經(jīng)網(wǎng)絡(luò)由Socher在句法解析時采用[11]，Irsoy和Cardie將循環(huán)神經(jīng)網(wǎng)絡(luò)進行深層組合，成為一個典型的三層結(jié)構(gòu)的深度學(xué)習(xí)模型[12]。循環(huán)神經(jīng)網(wǎng)絡(luò)被證明在解決序列化的問題上效果突出，能夠用到上下文的信息，在機器翻譯等領(lǐng)域取得了不錯的效果。但是循環(huán)神經(jīng)網(wǎng)絡(luò)在求解過程中存在梯度爆炸和消失問題[13]，并且對長文本的效果不佳。后期提出的長短時記憶神經(jīng)網(wǎng)絡(luò)(long short-term memory，LSTM)有效地解決了長序列問題。

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是由輸入層、隱藏層和輸出層組成的。層與層之間有密切的聯(lián)系，但每層之間的節(jié)點沒有連接。RNN即一個序列當(dāng)前的輸出與前面的輸出有關(guān)，具體的表現(xiàn)形式如圖1所示。

圖1 RNN語言模型結(jié)構(gòu)

2.3 注意力機制

注意力(attention)是指人的心理活動指向和集中于某種事物的能力。注意力機制(attention mechanism)是基于人類的視覺注意力機制。簡單來說，視覺注意力機制就是：當(dāng)人們觀察一幅圖片時，首先注意到的是圖片中的某一部分，而不是瀏覽全部內(nèi)容，之后在觀察的過程中調(diào)整注意的聚焦點。因此，神經(jīng)網(wǎng)絡(luò)領(lǐng)域中的注意力機制就是通過這個原理得來的。

在普通的編碼解碼(encoder-decoder)網(wǎng)絡(luò)結(jié)構(gòu)中把輸入序列的所有重點信息壓縮到一個固定長度的向量，但操作過程中有信息損失，在處理較長句子特別是超過固定長度的句子時效果會越來越差，模型能力會逐漸降低。隨著句子長度的増加，encoder-decoder神經(jīng)網(wǎng)絡(luò)的性能也跟著不斷變差[7]。為了解決這個問題，Yoshua Bengio等在神經(jīng)網(wǎng)絡(luò)中通過模擬注意力機制實現(xiàn)英語到法語的翻譯，輸出序列中每輸出一個元素，都通過權(quán)重參考輸入序列信息，這樣就可實現(xiàn)輸入序列與輸出序列之間的對齊。注意力機制的核心思想是：將輸入的源語句傳入編碼器后由編碼器生成一個輸出，此時給輸出加入權(quán)重向量后作為解碼器的輸入。注意力機制分為隨機注意(stochastic attention)機制和軟注意(soft attention)機制[14]。深度學(xué)習(xí)中的注意力機制更像是存儲器訪問，在決定權(quán)重大小前，需要訪問輸入序列隱藏狀態(tài)的所有細節(jié)。

該實驗使用的是由兩層循環(huán)神經(jīng)網(wǎng)絡(luò)組成的序列對序列網(wǎng)絡(luò)(sequence to sequence network)模型，同時在模型中加入了注意力機制(attention mechanism)。

3 實驗設(shè)計

3.1 數(shù)據(jù)來源和處理

實驗使用英法數(shù)據(jù)集進行模型的訓(xùn)練和測試，數(shù)據(jù)形式為英法的對照語句對。將處理好的數(shù)據(jù)導(dǎo)入到語言模型包中后開始訓(xùn)練該模型。

該實驗的技術(shù)路線圖如圖2所示。

圖2 技術(shù)路線圖

3.2 算法實現(xiàn)

實驗將輸入的數(shù)據(jù)序列定義為X，其中每一個單詞為x。那么一個輸入序列語句就表示為(x1,x2,…,xT)。通過RNN模型翻譯后得出的輸出語句序列定義為Y，那么一個輸出序列語句就表示為(y1,y2,…,yT)。該實驗使用的序列對序列網(wǎng)絡(luò)是由2個隱藏層、256個隱藏節(jié)點、2個RNNs組成的神經(jīng)網(wǎng)絡(luò)模型，用來訓(xùn)練處理好的數(shù)據(jù)文本，以達到英語和法語相互翻譯的效果。

從處理數(shù)據(jù)開始，實驗的步驟依次為：

第一步：將輸入語句和目標(biāo)語句在網(wǎng)絡(luò)層中加入索引，并將生僻字單獨存儲在一個字典里；

第二步：將以Unicode字符形式存儲的數(shù)據(jù)文件轉(zhuǎn)換成以ASCII形式存儲的文件，并且使所有內(nèi)容小寫，同時修剪大部分標(biāo)點符號；

第三步：將存儲數(shù)據(jù)的文件分成行，然后拆分成對，分別為英語對照法語的形式，并根據(jù)數(shù)據(jù)的長度和內(nèi)容標(biāo)準(zhǔn)化文本；

第四步：將數(shù)據(jù)導(dǎo)入模型中進行訓(xùn)練。

此次實驗使用序列到序列模型(The seq2seq model)。該模型是由兩個RNN網(wǎng)絡(luò)即encoder和decoder組成，編碼器讀取輸入序列X并且輸出單個向量，解碼器讀取該向量以產(chǎn)生輸出序列Y。其中，將編碼器encoder作為一個網(wǎng)絡(luò)，將解碼器decoder作為另一個網(wǎng)絡(luò)，并將注意力機制加入decoder中。其模型結(jié)構(gòu)如圖3所示。

圖3 序列到序列模型結(jié)構(gòu)

在訓(xùn)練數(shù)據(jù)時，首先通過編碼器輸入源語句序列(x1,x2,…,xT)，然后解碼器會給第一個輸入語句一個開始符號，并將encoder的最后一個隱藏層作為它的第一個隱藏層。其中隱藏層ht在時間t上的表現(xiàn)為：

ht=sigm(Whxxt+Whhht-1)

(2)

經(jīng)過RNN模型產(chǎn)生的輸出序列為(y1,y2,…,yT)。其過程通過迭代式2和式3完成：

yt=Wytht

(3)

4 實驗結(jié)果與分析

4.1 實驗結(jié)果

通過訓(xùn)練模型得到了訓(xùn)練結(jié)果和翻譯結(jié)果。數(shù)據(jù)經(jīng)過處理后，最終篩選出75 000個詞進行實驗，通過對比輸出的目標(biāo)語句和準(zhǔn)確語句可以看出，翻譯效果還是不錯的。

訓(xùn)練語句的進度和平均損失如圖4所示。

以圖5到圖6兩個簡單的句子為例，x和y軸分別表示源語句和目標(biāo)語句的單詞，其中每一個像素代表的是源語句對于目標(biāo)語句的權(quán)重，即為注意力機制的表現(xiàn)。右側(cè)條狀圖從0.0到1.0為權(quán)重大小(0.0表現(xiàn)為黑色，1.0表現(xiàn)為白色)。

圖4 訓(xùn)練狀態(tài)表

圖5 訓(xùn)練語句(a)

圖6 訓(xùn)練語句(b)

4.2 評價指標(biāo)及方法

機器翻譯的評價標(biāo)準(zhǔn)有BLEU[15]、NIST[16]、METEOR[17]和TER[18]，以上用來評價機器翻譯的標(biāo)準(zhǔn)都是用對比機器翻譯譯文和人工譯文的方法來衡量機器翻譯的質(zhì)量，定量模型的質(zhì)量和翻譯結(jié)果。實驗使用BLEU作為評價標(biāo)準(zhǔn)，以衡量翻譯的準(zhǔn)確率和詞錯率。

BLEU的取值范圍是0到1，數(shù)值越接近1說明機器翻譯的效果越好、詞錯率越低。實驗使用的是英法數(shù)據(jù)集，將預(yù)測翻譯出的數(shù)據(jù)與參考譯文數(shù)據(jù)分別存儲在不同的文檔里，通過計算Bleu1、Bleu2、Bleu3、Bleu4的值來分析翻譯質(zhì)量。取其中300個語句進行計算，得出的結(jié)果如表1所示。

表中g(shù)ram代表詞的個數(shù)，當(dāng)gram為4時BLEU值相對較低，但詞數(shù)多的情況下準(zhǔn)確率高，因此選擇BLEU4作為最終評價值。由BLEU4的值可以看出，評價值相對較低，說明預(yù)測翻譯效果不理想。通過分析實驗結(jié)果，主要存在的問題有:

表1 300個語句得出的BLEU值

(1)模型架構(gòu)相對較簡單，RNN中隱藏層數(shù)較少，訓(xùn)練不到位。

(2)數(shù)據(jù)集數(shù)量較少，方向單一，使模型不能很好地學(xué)習(xí)，導(dǎo)致翻譯效果不佳。

5 結(jié)束語

在英法兩種語言之間的翻譯上使用了基于神經(jīng)網(wǎng)絡(luò)的RNN模型，用到的數(shù)據(jù)相對較少，因此模型的層數(shù)和規(guī)模也相對較少。通過對數(shù)據(jù)的訓(xùn)練和測試達到測試RNN模型的效果。同時，通過訓(xùn)練RNN模型并觀察它的準(zhǔn)確率，來不斷改進模型，從而達到更好的預(yù)期效果。此次實驗用到的數(shù)據(jù)具有一定的局限性，因此在準(zhǔn)確率方面還有一定的欠缺。但是對于模型的研究和探討有一定的作用。