劉曉峰，宋文愛，余本國(guó)，郇晉俠，陳小東，李志媛

(中北大學(xué) 軟件學(xué)院，山西 太原 030051)

0 引 言

中國(guó)幅員遼闊，有著傳承千年的文化，豐富而多元，方言種類更是多種多樣. 在眾多的地方方言中，山西方言的種類尤其多，是名副其實(shí)的十里方言不一樣. 大同市地處山西省最北部，且其地方方言屬于晉語(yǔ)的“大包片”，與普通話有較大的區(qū)別. 大同方言包含21個(gè)聲母，36個(gè)韻母，5個(gè)聲調(diào)，聲調(diào)分為陰平、 陽(yáng)平、 上聲、 去聲、 入聲[1]，相比于普通話多出了“入聲”聲調(diào)，入聲是古漢語(yǔ)的四聲之一，其讀音短促，一發(fā)即收，在現(xiàn)代普通話中已經(jīng)消失，而在大同方言中，入聲卻是常見的發(fā)音現(xiàn)象[2]. 除此之外，大同方言還包括一些其他的發(fā)音特點(diǎn)，比如： 平舌音與翹舌音不加區(qū)分，韻母變化，后鼻音代替前鼻音等. 當(dāng)?shù)啬切┠昙o(jì)較大的人們?cè)谀贻p的時(shí)候并沒有系統(tǒng)地學(xué)習(xí)過普通話的發(fā)音，也不了解普通話與大同方言之間的一些語(yǔ)法差別，所以與外地人交流時(shí)存在較大的困難[3]. 因此，大同方言語(yǔ)音轉(zhuǎn)為普通話的任務(wù)亟待完成.

一般來(lái)說(shuō)，大同方言語(yǔ)音轉(zhuǎn)普通話的任務(wù)可歸類為語(yǔ)音翻譯(Speech Translation)任務(wù)，傳統(tǒng)的語(yǔ)音翻譯任務(wù)是通過將源語(yǔ)言上訓(xùn)練的語(yǔ)音識(shí)別系統(tǒng)和在目標(biāo)語(yǔ)言上訓(xùn)練翻譯文本的機(jī)器翻譯系統(tǒng)之間建立聯(lián)系來(lái)完成的，這種級(jí)聯(lián)的模型會(huì)相互影響，降低翻譯正確率. 2016年，Bérard等人嘗試構(gòu)建了一個(gè)端到端語(yǔ)音到文本的翻譯系統(tǒng)，實(shí)驗(yàn)證明該方法可以很好地推廣到一個(gè)新的語(yǔ)言的語(yǔ)音翻譯系統(tǒng)的構(gòu)建中[4]. 2017年，Weiss、 Chorowski等人構(gòu)建的端到端的語(yǔ)音翻譯模型在訓(xùn)練時(shí)直接運(yùn)用輸入語(yǔ)音對(duì)應(yīng)的目標(biāo)語(yǔ)言文本對(duì)輸出序列進(jìn)行監(jiān)督，免去了對(duì)源語(yǔ)言的語(yǔ)言標(biāo)準(zhǔn)的依賴，其模型結(jié)構(gòu)與端到端的語(yǔ)音識(shí)別模型大致相同，非常適合兩種語(yǔ)言之間語(yǔ)音到文本的轉(zhuǎn)換[5].

訓(xùn)練大同方言語(yǔ)音識(shí)別系統(tǒng)的必備條件是利用一套完整的、 系統(tǒng)的大同方言語(yǔ)言標(biāo)準(zhǔn)訓(xùn)練得到一個(gè)較為完備的大同方言語(yǔ)言模型來(lái)指導(dǎo)系統(tǒng)輸出正確結(jié)果，但由于方言的低資源性，制定語(yǔ)言標(biāo)準(zhǔn)非常困難. 針對(duì)此問題，本文提出了一種結(jié)合注意力機(jī)制(Attention)的端到端大同方言語(yǔ)音翻譯模型，在該模型的內(nèi)部，語(yǔ)音信號(hào)特征將被映射成為一個(gè)較高維度的向量，直接與中文普通話文本建立聯(lián)系，基于此模型結(jié)構(gòu)，大同方言語(yǔ)音轉(zhuǎn)為普通話文本的任務(wù)便能夠擺脫制定大同方言語(yǔ)言標(biāo)準(zhǔn)的麻煩，相對(duì)而言，端到端的語(yǔ)音翻譯模型也比傳統(tǒng)語(yǔ)音翻譯模型的復(fù)雜性更低，翻譯準(zhǔn)確度更高. 與此同時(shí)，對(duì)大同方言的語(yǔ)音翻譯的研究也旨在克服大同人與外地人的交流障礙，促進(jìn)交流與發(fā)展.

1 “編碼器-解碼器”模型與注意力機(jī)制(Attention)

2014年，Cho等人[6]提出了編碼器-解碼器模型，這種模型也被稱為“seq2seq (序列到序列) ”模型，他們把用此模型計(jì)算出的短語(yǔ)對(duì)的條件概率作為已有對(duì)數(shù)線性模型的一個(gè)附加特征，對(duì)機(jī)器翻譯系統(tǒng)的性能進(jìn)行了改進(jìn)，并通過實(shí)驗(yàn)證明了該模型在完成機(jī)器翻譯這種輸入輸出都是不定長(zhǎng)序列的任務(wù)中有著良好的效果[6].

“編碼器-解碼器”模型由編碼器和解碼器兩部組成，編碼器的作用是將輸入序列x=(xi|i=1,2,…,I)映射成為該序列對(duì)應(yīng)的隱含特征狀態(tài)h=(hi|i=1,2,…,I)，并將整個(gè)輸入序列的隱藏狀態(tài)通過q函數(shù)匯總到上下文背景向量c，大部分編碼器是由一個(gè)多層感知器實(shí)現(xiàn)的，由于序列到序列模型需要考慮相鄰時(shí)刻的狀態(tài)對(duì)當(dāng)前時(shí)刻狀態(tài)的影響，所以編碼器大都由循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)來(lái)實(shí)現(xiàn)，但是傳統(tǒng)的RNN存在梯度爆炸和梯度消失等問題，所以在編碼器中通常采用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Long Short-Term Memory, LSTM)代替了RNN.

c=q(h1,h2,…,hi).

(1)

解碼器通常也是使用RNN來(lái)實(shí)現(xiàn)的，它要求每一時(shí)刻的輸出y=(yo|o=1,2,…,O)同時(shí)由前一時(shí)刻的輸出yo-1和上下文背景向量c決定，即

(2)

其中

P(yo|y1,y2,…,yo-1,c)=g(yo-1,so,c),

(3)

so=f(so-1,yo-1,c),

(4)

式中：so為對(duì)應(yīng)于輸出序列yo的隱含狀態(tài).f為一個(gè)使用重置門作為激活函數(shù)的全連接層計(jì)算，g可理解為一個(gè)由Maxout層和Softmax層組成的多層感知器. 最后通過最小化P(y|x)的負(fù)對(duì)數(shù)似然來(lái)得到最佳結(jié)果

(5)

式中：L為用于組合對(duì)應(yīng)于x中每個(gè)元素標(biāo)簽的所有字符集合. 以上是“編碼器-解碼器”模型的實(shí)現(xiàn)原理，Attention模型在“編碼器-解碼器”模型的基礎(chǔ)上對(duì)c做了一些修改，在Attention模型中，c不再是一個(gè)固定的向量，而是對(duì)應(yīng)于不同時(shí)刻輸入序列的上下文背景向量集c=(co|o=1,2,…,O),co在此表示為

(6)

由co的定義可知，αo,i表示輸入序列i時(shí)刻隱含狀態(tài)的權(quán)重，即i時(shí)刻輸入對(duì)輸出的影響程度，模型在此便體現(xiàn)了“Attention”思想.αo,i利用Softmax函數(shù)輸出得到：

(7)

其中

eo.i=a(so-1,hi).

(8)

式中：eo,i為輸出序列(so-1)前一時(shí)刻的隱含狀態(tài)與當(dāng)前時(shí)刻輸入序列的隱含狀態(tài)(hi)建立聯(lián)系后的結(jié)果，通過一個(gè)多層感知器a計(jì)算得到.

這樣，Attention模型的結(jié)果可表示為

最后可通過最小化P(y│x)的負(fù)對(duì)數(shù)似然來(lái)得到最佳結(jié)果

(10)

“編碼器-解碼器”模型與注意力機(jī)制尤其擅長(zhǎng)完成機(jī)器翻譯和語(yǔ)音識(shí)別這種“序列到序列”模型的任務(wù)，2014年，Bahdana和Cho等人首先將注意力機(jī)制加入到機(jī)器翻譯的研究中，使機(jī)器翻譯的準(zhǔn)確率有了大幅提升[7]； 同年，Chorowski等人將Attention模型應(yīng)用于語(yǔ)音識(shí)別，并在TIMIT數(shù)據(jù)集上做了實(shí)驗(yàn)，證明該模型較其他早期的語(yǔ)音識(shí)別模型有相對(duì)較高的識(shí)別率[8].

2 端到端的大同方言語(yǔ)音翻譯模型

基于Attention的端到端模型分別在機(jī)器翻譯和語(yǔ)音識(shí)別研究領(lǐng)域有著良好的表現(xiàn)，而語(yǔ)音翻譯模型類似于基于Attention的語(yǔ)音識(shí)別模型，區(qū)別是在編碼器中輸入的是源語(yǔ)言的音頻數(shù)據(jù)，解碼器的輸出域是目標(biāo)語(yǔ)言的字符集.

方言與普通話在語(yǔ)調(diào)、 語(yǔ)序等方面有較大的差異，且兩種語(yǔ)言一般情況下難以正常交流，所以方言與普通話在某種程度上可歸類于兩種不同的語(yǔ)言. 因此，將方言語(yǔ)音轉(zhuǎn)換為普通話文本的任務(wù)便可以使用語(yǔ)音翻譯技術(shù)來(lái)完成.

按照傳統(tǒng)的方法，語(yǔ)音翻譯這個(gè)任務(wù)是通過流水線操作完成的，即在一個(gè)使用源語(yǔ)言語(yǔ)料數(shù)據(jù)訓(xùn)練好的語(yǔ)音識(shí)別系統(tǒng)后連接一個(gè)機(jī)器翻譯系統(tǒng)，語(yǔ)音識(shí)別系統(tǒng)負(fù)責(zé)將源語(yǔ)言音頻轉(zhuǎn)化為源語(yǔ)言文本，機(jī)器翻譯系統(tǒng)負(fù)責(zé)將語(yǔ)音識(shí)別系統(tǒng)輸出的源語(yǔ)言文本翻譯成目標(biāo)語(yǔ)言文本. 單獨(dú)訓(xùn)練的語(yǔ)音識(shí)別和機(jī)器翻譯模型可能在單獨(dú)工作時(shí)表現(xiàn)良好，而在兩者協(xié)同工作時(shí)效果卻不好，因?yàn)檎Z(yǔ)音識(shí)別系統(tǒng)并不能保證百分之百的輸出正確率，輸出序列可能會(huì)伴有“插入” “刪除” “替換”等錯(cuò)誤，在其后連接的機(jī)器翻譯系統(tǒng)很有可能接收到伴有這些錯(cuò)誤的語(yǔ)音識(shí)別結(jié)果，從而影響翻譯結(jié)果. 不僅如此，在源語(yǔ)言沒有系統(tǒng)標(biāo)注規(guī)則或官方語(yǔ)言標(biāo)準(zhǔn)等極端的情況下，要想訓(xùn)練單獨(dú)的語(yǔ)音識(shí)別系統(tǒng)就必須要先制訂一套完整的、 系統(tǒng)的語(yǔ)言標(biāo)準(zhǔn)，僅僅這項(xiàng)工作就將會(huì)耗費(fèi)大量的資源[2].

seq2seq這種端到端模型能夠精確地模擬非常復(fù)雜的概率分布，它足以強(qiáng)大到將一種語(yǔ)言的音頻直接翻譯成另一種語(yǔ)言的文本，即在訓(xùn)練時(shí)，音頻使用一種語(yǔ)言，而文本標(biāo)注使用另一種語(yǔ)言，因?yàn)橐纛l與文本符號(hào)之間并沒有固有的聯(lián)系，所以將音頻抽象為高維特征向量后，可以通過神經(jīng)網(wǎng)絡(luò)映射到任意一種文本符號(hào)，且在實(shí)際應(yīng)用期間，端到端模型相比于兩個(gè)獨(dú)立系統(tǒng)的級(jí)聯(lián)模型延遲更低.

2.1 特征提取

語(yǔ)音處理的一個(gè)重要步驟是用各種特征來(lái)表征音頻信號(hào)，其中梅爾頻率倒譜系數(shù)(Mel-Frequency Cepstral Coefficients, MFCC)特征系數(shù)的提取過程更符合人耳的聽覺特性，因此在語(yǔ)音處理領(lǐng)域被廣泛使用. 圖1 描述了音頻特征提取過程.

圖1 音頻特征提取過程Fig.1 The process of audio feature extraction

2.2 編碼過程

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)在語(yǔ)音識(shí)別領(lǐng)域有著廣泛應(yīng)用，在處理音頻頻譜時(shí)可有效對(duì)聲學(xué)模型進(jìn)行建模，同時(shí)也可以減少后續(xù)層的計(jì)算量，從而減少建模時(shí)間成本[9]，所以在建模時(shí)首先為編碼器設(shè)置了兩層卷積層來(lái)提取數(shù)據(jù)特征，并用ReLU函數(shù)激活，每層卷積層后加了池化層[10]，隨后將卷積層的輸出向量層層傳遞至后續(xù)四層雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Bi-directional Long Short-Term Memory, BLSTM)，最終編碼器輸出上下文背景向量co，co中包含編碼器生成的Attention概率αo,i，起到對(duì)齊音頻與字符的作用，如圖2 所示，縱坐標(biāo)為目標(biāo)字符，橫坐標(biāo)為輸入的音頻特征，對(duì)于一段音頻，其每一幀都有一定概率對(duì)應(yīng)某些字符，顏色越深，概率越大. 雖然方言與普通話的聲調(diào)、 發(fā)音以及同一事物的表達(dá)方式都不盡相同，但是因?yàn)榉窖耘c普通話的語(yǔ)序大致相同，所以在方言語(yǔ)音翻譯模型的Attention概率圖中，音頻特征與目標(biāo)字符基本呈順序?qū)?yīng)的狀態(tài).

圖2 語(yǔ)音翻譯模型的Attention概率圖Fig.2 Attention probability map of speech translation model

2.3 解碼過程

將預(yù)先初始化后的yo-1和so-1與co連接，一起輸入至解碼器網(wǎng)絡(luò)來(lái)預(yù)測(cè)當(dāng)前時(shí)刻的輸出字符，解碼器由兩層LSTM組成，最后接一層Softmax層來(lái)預(yù)測(cè)輸出字符集中每個(gè)符號(hào)的概率，之后可利用波束搜索算法進(jìn)行解碼，得到輸出序列，整個(gè)模型的訓(xùn)練過程如圖3 所示.

圖3 基于Attention的語(yǔ)音翻譯模型訓(xùn)練過程Fig.3 Attention-based speech translation model training process

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)時(shí)使用先期收集到的大同方言語(yǔ)音語(yǔ)料數(shù)據(jù)，其中包含朗讀語(yǔ)音和自然語(yǔ)音，在參考了一些中文語(yǔ)音語(yǔ)料庫(kù)的建庫(kù)方法之后，對(duì)這些語(yǔ)音數(shù)據(jù)做了數(shù)據(jù)清洗、 標(biāo)注、 加工等工作，標(biāo)注時(shí)分別為大同方言音頻數(shù)據(jù)標(biāo)注了普通話的拼音和大同方言的拼音，將其建立成為大同方言語(yǔ)音語(yǔ)料庫(kù)[11-13]，語(yǔ)音時(shí)長(zhǎng)總計(jì)12 h 21 min 13 s，共8 894條，在訓(xùn)練基于Attention的語(yǔ)音翻譯模型時(shí)可直接使用語(yǔ)料庫(kù)里的數(shù)據(jù).

表1 大同方言語(yǔ)音數(shù)據(jù)集

3.2 編碼器解碼器層數(shù)實(shí)驗(yàn)

雙語(yǔ)評(píng)估替換(Bilingual Evaluation Understudy, BLEU), 是2002年P(guān)apineni等人提出的比較候選文本翻譯與其他一個(gè)或多個(gè)參考翻譯的評(píng)價(jià)分?jǐn)?shù)，可用于翻譯文本質(zhì)量評(píng)估[14].

在機(jī)器翻譯模型中，編碼器通常是由比較深層的RNN構(gòu)成，因?yàn)槟Ｐ偷妮斎胄蛄泻洼敵鲂蛄惺莾煞N不同的語(yǔ)言，所以編碼器要將輸入序列映射成為一個(gè)使解碼器更加容易“理解”的特征向量. 由于端到端語(yǔ)音翻譯模型直接使用帶有普通話標(biāo)注的大同方言語(yǔ)音數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，而大同方言與普通話在某種程度上屬于兩種不同的語(yǔ)言，語(yǔ)序和語(yǔ)法有一些差異，所以編碼器應(yīng)該采用較深層次的RNN. 如圖4 所示，在實(shí)驗(yàn)時(shí)發(fā)現(xiàn)，保持解碼器網(wǎng)絡(luò)層數(shù)不變，編碼器中BLSTM層數(shù)在增加到四層以后，模型性能不再有大幅度提升，綜合考慮訓(xùn)練的時(shí)間成本，將編碼器中BLSTM的層數(shù)固定為4層較為合理.

圖4 編碼器中BLSTM層數(shù)對(duì)BLEU分?jǐn)?shù)的影響Fig.4 The effect of the number of BLSTM layers on the BLEU score in the encoder

應(yīng)用于語(yǔ)音識(shí)別中的Attention模型通常使用層數(shù)比較少的解碼器，因?yàn)樵谝话闱闆r下，語(yǔ)音識(shí)別任務(wù)中的音頻和標(biāo)注文本的語(yǔ)序是基本一致的，而在翻譯任務(wù)中，輸入序列和輸出序列的語(yǔ)序卻是不同的，同時(shí)解碼器是為了解決更為復(fù)雜的詞匯關(guān)聯(lián)問題，所以需要更深層次的解碼器網(wǎng)絡(luò)，但是大同方言與普通話同屬中文語(yǔ)系，二者的語(yǔ)序在大部分情況下是一致的，所以理論上不需要設(shè)置更加深層次的解碼器網(wǎng)絡(luò)，實(shí)驗(yàn)結(jié)果也證明了這一觀點(diǎn)，如圖5 所示.

圖5 解碼器中LSTM層數(shù)對(duì)BLEU分?jǐn)?shù)的影響Fig.5 Effect of the number of LSTM layers on the BLEU score in the decoder

3.3 語(yǔ)音翻譯模型BLEU分?jǐn)?shù)對(duì)比實(shí)驗(yàn)

傳統(tǒng)的語(yǔ)音翻譯方法是由語(yǔ)音識(shí)別(Automatic Speech Recognition, ASR)與機(jī)器翻譯(Machine Translation, MT)級(jí)聯(lián)模型來(lái)實(shí)現(xiàn)的. 級(jí)聯(lián)模型中的語(yǔ)音識(shí)別模塊分別可使用以下三個(gè)模型： 深度神經(jīng)網(wǎng)絡(luò)-隱馬爾可夫模型[15](Deep Neural Networks-Hidden Markov Model, DNN-HMM)、 雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)-連接時(shí)序分類模型[16-17](Bi-directional Long Short-Term Memory - Connectionist Temporal Classification, BLSTM-CTC)和基于Attention的語(yǔ)音識(shí)別模型[8]. 實(shí)驗(yàn)利用大同方言語(yǔ)音數(shù)據(jù)集對(duì)各模型進(jìn)行評(píng)估，結(jié)果表明，基于Attention的語(yǔ)音識(shí)別模型在驗(yàn)證集和測(cè)試集的表現(xiàn)更好，詞錯(cuò)誤率(Word Error Rate, WER)更低，結(jié)果如表2 所示.

表2 級(jí)聯(lián)模型中語(yǔ)音識(shí)別模塊WER對(duì)比實(shí)驗(yàn)

完成語(yǔ)音識(shí)別模塊的選取之后，利用大同方言語(yǔ)音數(shù)據(jù)集中包含的方言文本和與之對(duì)應(yīng)普通話文本，訓(xùn)練并測(cè)試了基于Attention的機(jī)器翻譯模塊，并將其應(yīng)用于級(jí)聯(lián)模型中作為基線模型，與端到端的語(yǔ)音翻譯模型的性能進(jìn)行對(duì)比.

在實(shí)驗(yàn)中發(fā)現(xiàn)，級(jí)聯(lián)系統(tǒng)中通常會(huì)因?yàn)檎Z(yǔ)音識(shí)別結(jié)果的不準(zhǔn)確而增加了機(jī)器翻譯結(jié)果的錯(cuò)誤率，這是級(jí)聯(lián)系統(tǒng)的一個(gè)致命缺陷，反觀端到端的語(yǔ)音翻譯方法，編碼器首先將語(yǔ)音信號(hào)映射為高維的潛在向量，解碼器再擬合這些向量，輸出每段語(yǔ)音對(duì)應(yīng)的文本符號(hào)的概率，最后通過波束搜索算法得到最終輸出文本序列，期間并沒有利用到源語(yǔ)言的轉(zhuǎn)錄文本，也排除了多個(gè)系統(tǒng)不能很好地協(xié)同工作的問題.

這些模型都用大同方言語(yǔ)音數(shù)據(jù)集進(jìn)行訓(xùn)練，實(shí)驗(yàn)對(duì)比了級(jí)聯(lián)模型與端到端模型在驗(yàn)證集與測(cè)試集上的BLEU分?jǐn)?shù)表現(xiàn)，結(jié)果如表3 所示.

表3 語(yǔ)音翻譯模型的BLEU分?jǐn)?shù)對(duì)比

4 結(jié)論與展望

基于Attention的端到端語(yǔ)音翻譯模型與基于Attention的語(yǔ)音識(shí)別系統(tǒng)具有相似的模型，可以將一種語(yǔ)言的語(yǔ)音直接翻譯成另一種語(yǔ)言的文本，這種端到端的語(yǔ)音翻譯模型首先將語(yǔ)音信號(hào)通過編碼器映射成一個(gè)高維的向量表示，解碼時(shí)使用目標(biāo)語(yǔ)言標(biāo)簽對(duì)整個(gè)模型進(jìn)行有監(jiān)督訓(xùn)練，輸出每個(gè)字符的標(biāo)簽概率，最后通過波束搜索算法得到最終輸出序列. 總而言之，編碼器和解碼器這兩個(gè)子網(wǎng)絡(luò)交換的信息是抽象的高維實(shí)值向量.

此外，端到端的語(yǔ)音翻譯模型較ASR和MT級(jí)聯(lián)模型有著更低的延遲，有效節(jié)約了時(shí)間成本，在大同方言語(yǔ)音數(shù)據(jù)集上的BLEU分?jǐn)?shù)表現(xiàn)也有了部分提升，說(shuō)明端到端的語(yǔ)音翻譯技術(shù)更加適合完成方言語(yǔ)音轉(zhuǎn)普通話文本的任務(wù).

我國(guó)方言種類繁多，且編制一份系統(tǒng)的方言語(yǔ)言標(biāo)準(zhǔn)便是一項(xiàng)重大的工程，而語(yǔ)音翻譯技術(shù)在整個(gè)翻譯過程中沒有使用源語(yǔ)言的轉(zhuǎn)錄文本對(duì)訓(xùn)練進(jìn)行監(jiān)督，對(duì)于沒有標(biāo)準(zhǔn)化語(yǔ)言體系的語(yǔ)言具有良好的適應(yīng)性,使研究人員的工作量大大減少，所以語(yǔ)音翻譯技術(shù)有著極大的研究意義，在今后的工作中，應(yīng)繼續(xù)加強(qiáng)模型的研究，在不斷的實(shí)踐中提升模型性能.