楊 丹,擁 措*,仁青卓瑪,唐超超

(1.西藏大學(xué) 信息科學(xué)技術(shù)學(xué)院,西藏 拉薩 850000;2.西藏自治區(qū)藏文信息技術(shù)人工智能重點(diǎn)實(shí)驗(yàn)室,西藏 拉薩 850000;3.藏文信息技術(shù)教育部工程研究中心,西藏 拉薩 850000)

0 引 言

隨著網(wǎng)絡(luò)的快速發(fā)展,全球各國之間聯(lián)系日益緊密、各民族交流日趨頻繁。語言作為交流的基礎(chǔ),對實(shí)現(xiàn)不同種語言之間的翻譯顯得尤為重要。由于人工翻譯代價很高,為了滿足人們的翻譯需求,機(jī)器翻譯憑借翻譯速度快,低成本等優(yōu)點(diǎn)受到了人們的青睞[1]。在自然語言處理(Natural Language Processing,NLP)任務(wù)中,機(jī)器翻譯作為其重要分支和人們的日常生活息息相關(guān)。機(jī)器翻譯實(shí)現(xiàn)了計(jì)算機(jī)在不同種語言之間的自動轉(zhuǎn)換,縱觀機(jī)器翻譯的發(fā)展史,它經(jīng)歷了基于規(guī)則的機(jī)器翻譯(Rule-Based Machine Translation,RBMT)、統(tǒng)計(jì)機(jī)器翻譯[2](Statistical Machine Translation,SMT)以及神經(jīng)機(jī)器翻譯[3](Neural Machine Translation,NMT)三個主要階段。

對于樓頂空間的利用情況，大部分高層樓頂處于閑置狀態(tài)，即使被利用，也只是安裝了太陽能熱水器，基本沒有光伏發(fā)電裝置。

近年來,跨語言預(yù)訓(xùn)練語言模型在NLP任務(wù)上受到普遍關(guān)注,比如mBERT[4],MASS[5],XLM[6],XLM-R[7],mBART[8]等。它們在大量語料上進(jìn)行預(yù)訓(xùn)練,然后在下游任務(wù)中按照其特點(diǎn)對模型微調(diào)。這種預(yù)訓(xùn)練加微調(diào)的方式在一系列NLP任務(wù)中取得了很好的效果。2020年陸金梁、張家俊提出了一種基于Multi-BERT跨語言聯(lián)合編碼預(yù)訓(xùn)練的語言模型的譯文質(zhì)量估計(jì)(Quality Estimation,QE)方法,使用不同神經(jīng)網(wǎng)絡(luò)對預(yù)訓(xùn)練語言模型進(jìn)行微調(diào)[9]。2021年滿志博等人針對漢語、英語以及緬甸語三種語言結(jié)構(gòu)差異較大而導(dǎo)致的共享詞表大小受限的問題,提出進(jìn)行聯(lián)合語義表征來提升緬漢英機(jī)器翻譯模型的性能[10]。翁榮祥等人提出APT框架,從預(yù)訓(xùn)練模型中獲取知識到神經(jīng)機(jī)器翻譯,在跨語言機(jī)器翻譯任務(wù)上的試驗(yàn)結(jié)果表明,該模型優(yōu)于強(qiáng)基線和微調(diào)模型[11]。黃昊陽等人介紹了Unicoder。給定一個任意的NLP任務(wù),可以在Unicoder基礎(chǔ)上使用一種語言的訓(xùn)練數(shù)據(jù)對模型進(jìn)行訓(xùn)練,并直接應(yīng)用于其他語言相同任務(wù)的輸入。同時對多種語言微調(diào)可以進(jìn)一步提升效果[12]。

2018—2020年期間，廣西計(jì)劃棚戶區(qū)改造開工37.57萬套，將重點(diǎn)改造房屋功能不全，安全隱患突出，被鑒定為C、D級以上、老城區(qū)內(nèi)臟亂差的危舊住房，以及林區(qū)、墾區(qū)、工礦棚戶區(qū)未完成改造的危舊住房項(xiàng)目。

在多語言機(jī)器翻譯中,林澤輝等人提出mRASP模型[13](multilingual Random Aligned Substitution Pre-training,mRASP),其關(guān)鍵思想是隨機(jī)對齊替換技術(shù)(Random Aligned Substitution,RAS)?？梢栽陬A(yù)訓(xùn)練后,在下游語言對對模型微調(diào)。首次驗(yàn)證使用多個語言對的少量語料數(shù)據(jù)可以提高資源豐富的機(jī)器翻譯,并且可以提高預(yù)訓(xùn)練語料庫中未曾出現(xiàn)過的其他語言的翻譯質(zhì)量,可以在不同語言中構(gòu)建語義空間的橋梁,從而有效提高翻譯性能。

隨著藏漢機(jī)器翻譯的興起,很多高校和機(jī)構(gòu)開始研究藏漢統(tǒng)計(jì)機(jī)器翻譯。比如:1998年,陳玉忠等人順利研發(fā)出班智達(dá)漢藏科技機(jī)器翻譯系統(tǒng)。2003年在此基礎(chǔ)上研發(fā)了基于規(guī)則的實(shí)用化漢藏機(jī)器翻譯系統(tǒng)[14],為基于規(guī)則的漢藏機(jī)器翻譯奠定了堅(jiān)實(shí)的理論基礎(chǔ)。2013年,周毛先提出了基于混合策略的漢藏機(jī)器翻譯系統(tǒng)[15]。隨后,中科院計(jì)算所、中科院軟件所、廈門大學(xué)、西藏大學(xué)、青海師范大學(xué)等單位開展了藏漢統(tǒng)計(jì)機(jī)器翻譯的研究工作。2014年,華卻才讓提出基于樹到串的藏語機(jī)器翻譯[16],這是中國第一個基于藏文句法信息的統(tǒng)計(jì)機(jī)器翻譯系統(tǒng);2015年,位素東提出基于短語的藏漢統(tǒng)計(jì)翻譯[17];2016年,西藏大學(xué)尼瑪扎西教授的團(tuán)隊(duì)研發(fā)完成“陽光藏漢雙向機(jī)器翻譯系統(tǒng)”,并面向社會提供翻譯服務(wù),系統(tǒng)在漢藏現(xiàn)代公文領(lǐng)域的翻譯平均準(zhǔn)確率達(dá)到70%,速度也較高[18]。近幾年,研究人員開始研究藏漢神經(jīng)機(jī)器翻譯。比如,2017年,李亞超等人通過遷移學(xué)習(xí)方法進(jìn)行了藏漢神經(jīng)機(jī)器翻譯的實(shí)驗(yàn)[19];2018年,蔡子龍等人利用數(shù)據(jù)增強(qiáng)技術(shù)對語料擴(kuò)充,增強(qiáng)了藏漢機(jī)器翻譯的泛化能力[20];2019年,慈禎嘉措等人將藏語單語模型融合到神經(jīng)機(jī)器翻譯中[21];2021年,頭旦才讓等人改進(jìn)了字節(jié)對編碼算法,優(yōu)化了漢藏神經(jīng)機(jī)器翻譯[22];同年,該學(xué)者融入了藏文命名實(shí)體識別技術(shù),提出了藏文長句分割方法[23];2022年,周毛先為了提高翻譯的質(zhì)量,提出一種融合先驗(yàn)知識的方法[24];同年,孫義棟等學(xué)者對機(jī)器翻譯的詞表進(jìn)行了優(yōu)化,顯著提升了翻譯性能[25];楊丹等學(xué)者經(jīng)過對數(shù)據(jù)增強(qiáng)策略的深入研究,有效緩解了因平行語料匱乏而導(dǎo)致的翻譯性能較差的問題[26]。

以上學(xué)者提出的方法有效改善了藏漢雙向機(jī)器翻譯的性能,但是由于藏漢平行語料匱乏、語料的質(zhì)量以及現(xiàn)有語料的領(lǐng)域限制,藏漢機(jī)器翻譯的性能相較于其他大語種的翻譯性能來說效果較差。而mRASP是針對機(jī)器翻譯任務(wù)而提出的多語言預(yù)訓(xùn)練模型,其翻譯效果已經(jīng)超過mBART。因此,該文使用一種融合跨語言預(yù)訓(xùn)練模型(mRASP)與改進(jìn)后的聯(lián)合詞表的藏漢雙向機(jī)器翻譯,從而進(jìn)一步提高藏漢雙向機(jī)器翻譯的質(zhì)量。相比基線系統(tǒng)來說,在藏漢/漢藏翻譯上提高了3.43/1.27個BLEU值。

1 mRASP多語言神經(jīng)機(jī)器翻譯

mRASP的關(guān)鍵思想是隨機(jī)對齊替換技術(shù)(RAS),該技術(shù)使多種語言中具有相似含義的單詞和短語在表示空間中更接近。它利用多個語言對的少量平行語料訓(xùn)練模型,然后在下游語言對微調(diào)。

多語言神經(jīng)機(jī)器翻譯模型是通過學(xué)習(xí)一個多對多的映射函數(shù)(f),即從一種語言翻譯到另一種語言。更正式的定義是L={L1,L2,…,LM},其中L是預(yù)訓(xùn)練所涉及到的語言集合。Di,j表示(Li,Lj)的并行數(shù)據(jù)集,ε表示并行數(shù)據(jù)集{D}i=Ni=1,其中N為雙語對的個數(shù)。訓(xùn)練損失定義為:

(1)

(1)BPE切分分別產(chǎn)生的藏語、漢語詞表;

摘 要：當(dāng)前，隨著我國信息技術(shù)和互聯(lián)網(wǎng)經(jīng)濟(jì)的發(fā)展，我們已經(jīng)進(jìn)入了“互聯(lián)網(wǎng)+”的時代。隨著我國醫(yī)療衛(wèi)生水平的提升，護(hù)理人員數(shù)量逐年增加。為了更好地提高我國護(hù)理行業(yè)從業(yè)人員的素質(zhì)和能力，積極推進(jìn)教育信息化在護(hù)理專業(yè)的發(fā)展，對于護(hù)理專業(yè)自身內(nèi)涵式發(fā)展具有重要的現(xiàn)實(shí)意義。

2 基于mRASP的藏漢神經(jīng)機(jī)器翻譯

mRASP獲取的聯(lián)合詞表采用了字節(jié)對編碼(BPE)的方式?？傮w思路是合并成對的頻繁字符序列以創(chuàng)建子詞單元。子詞詞匯可以看作是字符級詞匯和詞級詞匯之間的權(quán)衡。與詞級詞匯相比,它可以減少標(biāo)記的稀疏性,增加相似詞之間的共享特征。但它只考慮頻率,而忽略了詞匯量的影響。VOLT[27]是一種通過最優(yōu)傳輸?shù)脑~匯學(xué)習(xí)方法,通過考慮語料庫熵和詞匯量,可以在多項(xiàng)式時間內(nèi)給出合適的詞匯。所以,該文使用一種融合跨語言預(yù)訓(xùn)練模型(mRASP)與改進(jìn)后的聯(lián)合詞表的藏漢神經(jīng)機(jī)器翻譯?？傮w思路如圖1所示。

1.4統(tǒng)計(jì)學(xué)分析:對所有的數(shù)據(jù)都使用SPSS13.0軟件進(jìn)行統(tǒng)計(jì)和分析。組間資料使用t進(jìn)行檢驗(yàn),計(jì)數(shù)資料則采用X2進(jìn)行檢驗(yàn)。差異有統(tǒng)計(jì)學(xué)意義(P<0.05)。

（1）小蘇打：由于百香果的pH值過低，與鮮奶混合會出現(xiàn)絮狀物，因此需把百香果汁和胡蘿卜汁的混合液調(diào)節(jié)pH值為6.5。水與小蘇打的配比為1∶15，溶解后備用。

圖1 實(shí)驗(yàn)流程

(1)數(shù)據(jù)增強(qiáng):采用同義詞替換和回譯的數(shù)據(jù)增強(qiáng)方式對語料進(jìn)行擴(kuò)充。

(2)VOLT切分構(gòu)建詞表:對藏漢平行語料直接進(jìn)行BPE切分后,使用VOLT優(yōu)化詞表。

(3)訓(xùn)練模型:使用transformer-big神經(jīng)機(jī)器翻譯模型進(jìn)行訓(xùn)練,并在mRASP提供的包含32個語言對的多語言預(yù)訓(xùn)練翻譯模型上,使用藏漢平行語料進(jìn)行訓(xùn)練。

主人公Pi與動物們在跟隨父母一起移民加拿大的途中遭遇不測，只剩下他和一只黑猩猩、一匹受傷的斑馬、一條鬣狗和一頭饑餓的孟加拉虎開始了在海上漂流的冒險經(jīng)歷。隨著殘酷的弱肉強(qiáng)食生死戰(zhàn)爭，最后只剩下Pi和孟加拉虎理查德·帕克，通過奈斯式的直覺方法與深層追問式的推理，Pi得出了七個方案。

為了使藏語語料很好地與模型兼容、并且擴(kuò)大漢語的詞表占比,通過過采樣的方法(Over-sampling)去平衡詞匯量,保持詞匯表中藏語詞匯和漢語詞匯的最低頻度為20。

(4)翻譯模型評估:在解碼時采用不同的長度懲罰因子對翻譯模型進(jìn)行評估,根據(jù)驗(yàn)證集上的表現(xiàn)選擇最優(yōu)模型。

圖2 基于mRASP的藏漢神經(jīng)機(jī)器翻譯方法

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)來源

本次實(shí)驗(yàn)的語料來自第十八屆全國機(jī)器翻譯大會(CCMT 2022)所提供的1 157 959句對平行語料。

3.2 數(shù)據(jù)預(yù)處理

3.2.1 數(shù)據(jù)預(yù)處理

首先對所有藏漢平行語料進(jìn)行了預(yù)處理,處理過程包括:符號標(biāo)準(zhǔn)化(具體包括全角半角的轉(zhuǎn)換,刪除非法字符,大小寫轉(zhuǎn)換以及中文化繁為簡等)、分詞處理、長度比過濾。同時為了提高模型泛化能力,把訓(xùn)練集中與驗(yàn)證集和測試集重復(fù)的句對刪除。

數(shù)據(jù)增強(qiáng)是提升機(jī)器翻譯的有效途徑。因此為了提高藏漢機(jī)器翻譯模型的性能,采用數(shù)據(jù)增強(qiáng)方式擴(kuò)充語料。

1.3.1 心肌病理組織學(xué)檢測 將部分心肌組織石蠟包埋后制備切片，置于4%多聚甲醛溶液中固定24 h，蘇木精-伊紅(hematoxylin-eosin,HE)染色，光鏡下觀察心肌形態(tài)學(xué)變化，將非糖尿病ZT23亞組與糖尿病ZT23亞組、非糖尿病ZT11亞組與糖尿病ZT11亞組進(jìn)行比較。

3.2.2 數(shù)據(jù)增強(qiáng)

(1)同義詞替換。在訓(xùn)練集中隨機(jī)抽取15萬條數(shù)據(jù)采用同義詞替換的方式擴(kuò)充語料。在進(jìn)行藏語的同義詞替換時,使用50萬條藏語單語語料訓(xùn)練word2vec模型,從句子中根據(jù)替換率分別為0.08,0.15的頻率隨機(jī)選擇非停用詞進(jìn)行替換。漢語語料借助中文近義詞工具包Synonyms,從句子中根據(jù)替換率分別為0.08,0.15的頻率隨機(jī)選擇非停用詞進(jìn)行替換。

該文采用基于自注意力機(jī)制的谷歌Transformer[28]神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯架構(gòu),使用的系統(tǒng)為fairseq開源工具。主要實(shí)驗(yàn)參數(shù)設(shè)置如下:編碼器和解碼器的層數(shù)為6層,每一層有16個注意力頭,詞向量維度為1 024,全連接隱藏層維度為4 096。使用Adam梯度優(yōu)化算法更新模型參數(shù),其中β1=0.90,β2=0.98。學(xué)習(xí)率設(shè)置為0.000 3,warmup updates設(shè)置為4 000。為了防止過擬合,將dropout參數(shù)設(shè)置為0.1,clip norm參數(shù)設(shè)置為10。

最終的語料規(guī)模如表1所示。

表1 語料規(guī)模

3.3 模型參數(shù)

2017年，國家食品藥品監(jiān)督管理總局藥品審評中心副主任尹紅章因受賄罪被判處有期徒刑10年，同時獲刑的還有其妻子、兒子。法院查明，2002年至2014年間，尹一家三口共收取多家生物制藥企業(yè)給予的財(cái)物共356萬余元。

3.4 評價指標(biāo)

交通要道栽苗木。在交通要道兩側(cè)采用林苗模式，亦林亦苗，聯(lián)合運(yùn)作，把“造林、造景、造錢”結(jié)合起來，培育“好看、好管、好賣”綠化景觀苗木，既把交通要道打造成農(nóng)場的形象窗口，又實(shí)現(xiàn)道路兩側(cè)的經(jīng)濟(jì)效益。

(2)

其中,c表示模型生成的句子長度,r表示參考譯文的長度。最終BLEU的公式為:

我國保險業(yè)起步較晚、基礎(chǔ)較弱，盡管近些年發(fā)展取得一定成就，但與經(jīng)濟(jì)發(fā)展要求相比仍存在很大差距，依然處于發(fā)展的初級階段。黨中央、國務(wù)院對保險業(yè)的發(fā)展高度重視，支持保險業(yè)發(fā)展的力度不斷加大，通過政策、立法，對保險行業(yè)規(guī)范發(fā)展加以引導(dǎo)，為其營造了良好的市場環(huán)境。尤其自16年以來，一再強(qiáng)調(diào)保險作為社會保障體系重要支柱的功能，以及在脫貧攻堅(jiān)戰(zhàn)、“一帶一路”中所發(fā)揮的重要作用。

最初的幾年，山東男籃的主管單位是省體育局。1998年，第一個正式贊助商山東永安介入，與體育局一起共建山東男籃。這家地產(chǎn)開發(fā)公司，在球隊(duì)管理上并無太多的話語權(quán)，但也借助“永安火牛”的聲名，被廣為人知。

(3)

(2)回譯。 分別從漢語和藏語的語料庫中隨機(jī)抽取10萬條句子,然后使用藏漢雙語數(shù)據(jù)在transformer-big上訓(xùn)練一個正向翻譯模型和反向翻譯模型,即藏漢翻譯模型和漢藏翻譯模型。隨后利用這兩個模型對抽取出的句子進(jìn)行翻譯,再使用詞對齊工具過濾掉對齊分?jǐn)?shù)較低的句對。經(jīng)過篩選得到最終的偽雙語數(shù)據(jù)。

3.5 實(shí)驗(yàn)結(jié)果及分析

3.5.1 基線實(shí)驗(yàn)

為了驗(yàn)證數(shù)據(jù)增強(qiáng)方式以及VOLT詞表的有效性,在transformer-big上訓(xùn)練至收斂。表2對比了不同訓(xùn)練方式的實(shí)驗(yàn)結(jié)果。

表2 訓(xùn)練策略結(jié)果

從表2可以得知,語料規(guī)模對翻譯性能的重要影響以及數(shù)據(jù)增強(qiáng)方式的有效性。同時使用VOLT詞表可以壓縮數(shù)據(jù)、壓縮熵,可以讓語料更容易訓(xùn)練和預(yù)測,也加快了訓(xùn)練模型的速度。VOLT也提升了藏漢雙向翻譯的性能,分別在藏漢/漢藏翻譯驗(yàn)證集上提高了2.37/0.47個BLEU值。所以,該文采用VOLT+transformer作為基線實(shí)驗(yàn)。

3.5.2 長度懲罰因子

為了適應(yīng)驗(yàn)證集短句較多的情況,分別在藏漢和漢藏翻譯上分析了長度懲罰因子(α)對BLEU值的影響。使用VOLT構(gòu)建詞表,在transformer-big上訓(xùn)練至收斂。實(shí)驗(yàn)結(jié)果如表3、表4所示。

表3 長度懲罰因子對藏漢翻譯BLEU值的影響

表4 長度懲罰因子對漢藏翻譯BLEU值的影響

由表3、表4可知,藏漢翻譯適合的α為0.3,漢藏翻譯合適的α為1.2。合適的長度懲罰因子(α)會對BLEU值產(chǎn)生正面影響,過大或者過小的α都會影響翻譯性能。

3.5.3 mRASP跨語言預(yù)訓(xùn)練模型

工程地質(zhì)勘察是工程設(shè)計(jì)的基礎(chǔ)。地質(zhì)調(diào)查的質(zhì)量對工程的建設(shè)與設(shè)計(jì)有著重要的影響。必須加強(qiáng)工程地質(zhì)勘察的質(zhì)量管理。在目前的工程地質(zhì)勘察質(zhì)量管理中，仍然存在一些影響地質(zhì)勘察質(zhì)量管理的問題。

mRASP聯(lián)合詞表的規(guī)模為64 808。為了使藏語語料很好地與模型兼容、并且擴(kuò)大漢語的詞表占比,該文采取4種方法合成詞表到原有的聯(lián)合詞表中。

該文選用機(jī)器翻譯常用的BLEU-4[29]值作為評價指標(biāo)。BLEU(Bilingual Evaluation Understudy)是通過采用n-gram匹配的方式評估模型生成的句子和參考譯文之間差異的指標(biāo),生成的句子越接近參考譯文就認(rèn)定它的質(zhì)量越高。但該方法傾向于對短句子打出很高的分?jǐn)?shù),所以BLEU引入短句懲罰因子(Brevity Penalty,BP),對短句進(jìn)行懲罰:

其中,xi代表語言(Li)中的一個句子,θ是mRASP的參數(shù),C(xj)是對齊函數(shù)。在模型訓(xùn)練時,會將所有翻譯對聯(lián)合訓(xùn)練。

(2)BPE切分得到的藏語、漢語聯(lián)合詞表;

(3)VOLT切分分別產(chǎn)生的藏語、漢語詞表;

還有一個旅客在服務(wù)大廳買票，排隊(duì)的人比較多，想走捷徑，找到大廳里一位服務(wù)員，希望其代他插隊(duì)買票，服務(wù)員不同意，他轉(zhuǎn)身就投訴了這位服務(wù)員，說她不為旅客著想。

(4)VOLT切分得到的藏語、漢語聯(lián)合詞表。

mRASP提供了兩個32個語言對的模型,其中w/o model不包括對齊信息,w/ model包括RAS對齊信息。由于ALBERT[30]通過權(quán)值共享和矩陣分解減少參數(shù),且使用遮蔽語言模型(MLM)和Transformer的編碼器來生成深度的雙向語言特征向量,所以此處將其作為對比實(shí)驗(yàn)。該文在訓(xùn)練好ALBERT模型后,先根據(jù)下游任務(wù)調(diào)整模型參數(shù),然后將微調(diào)好的模型參數(shù)遷移到Transformer的編碼器端。實(shí)驗(yàn)對比如表5、表6所示。

表5 mRASP藏漢翻譯實(shí)驗(yàn)結(jié)果對比

表6 mRASP漢藏翻譯實(shí)驗(yàn)結(jié)果對比

由表5、表6可知,mRASP+基線模型的翻譯性能是最好的,且w/ model都優(yōu)于w/o model,這恰恰證明了RAS對齊信息的有效性;相比基線來說,在藏漢/漢藏翻譯的驗(yàn)證集上提高了3.43/1.27個BLEU值。

ALBERT+基線模型也提高了翻譯效果,與基線相比,分別在藏漢/漢藏翻譯的驗(yàn)證集上提高了0.52/0.38個BLEU值。在mRASP上融合BPE聯(lián)合詞表相較于mRASP+BPE來說,在一定程度上縮小了詞表規(guī)模,分別在藏漢/漢藏翻譯的驗(yàn)證集上提高了0.42/0.02個BLEU值;但mRASP上融合VOLT聯(lián)合詞表相較于mRASP+基線模型來說,反而降低了翻譯性能。這可能是由于VOLT優(yōu)化詞表所依靠的是信息熵,而藏語和漢語的信息熵差別較大而導(dǎo)致的。

3.6 實(shí)驗(yàn)結(jié)果對比

為了直觀地對比基線、使用ALBERT預(yù)訓(xùn)練模型以及mRASP跨語言預(yù)訓(xùn)練模型后,藏漢/漢藏機(jī)器翻譯的改進(jìn)效果,從1 000條驗(yàn)證集中分別隨機(jī)抽取1條語句繪制成表。藏漢/漢藏翻譯效果對比如表7、表8所示。

表7 藏漢翻譯結(jié)果對比

表8 漢藏翻譯結(jié)果對比

上述譯文的對比證實(shí)了融合mRASP模型的有效性,它提高了藏漢/漢藏的翻譯效果。

4 結(jié)束語

針對CCMT 2022提供的藏漢綜合領(lǐng)域的平行語料,在transformer-big框架下,通過VOLT改進(jìn)詞表、探索聯(lián)合詞表對翻譯性能的影響,并在mRASP跨語言預(yù)訓(xùn)練模型上進(jìn)行融合。通過實(shí)驗(yàn)表明,利用VOLT改進(jìn)詞表可以對藏漢機(jī)器翻譯的性能有一定提升;雖然在預(yù)訓(xùn)練時沒有加入藏語語種進(jìn)行訓(xùn)練,但是mRASP跨語言預(yù)訓(xùn)練模型仍然可以有效提高藏漢雙向機(jī)器翻譯的性能。

在下一步研究中,將計(jì)劃收集更高質(zhì)量、領(lǐng)域覆蓋面更廣的藏漢平行語料,也將探索更好的跨語言預(yù)訓(xùn)練模型來進(jìn)一步提高藏漢雙向機(jī)器翻譯的性能。