亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于英語樞軸的漢-越雙語詞典構(gòu)建方法

        2020-12-10 10:05:32陳亞豪張亞飛余正濤文永華朱俊國
        小型微型計算機系統(tǒng) 2020年11期
        關(guān)鍵詞:樞軸源語言目標語言

        陳亞豪,張亞飛,2,余正濤,2,文永華,朱俊國,2

        1(昆明理工大學(xué) 信息工程與自動化學(xué)院,昆明 650500) 2(昆明理工大學(xué) 云南省人工智能重點實驗室,昆明 650500)

        1 引 言

        隨著經(jīng)濟全球化的深入及我國“一帶一路”合作倡議的提出,中國與越南之間的交流日益頻繁,對兩國的語言處理產(chǎn)生了迫切的實際需求.漢-越雙語詞典是實現(xiàn)漢語和越南語之間信息檢索、機器翻譯等自然語言處理(Natural Language Processing,NLP)任務(wù)的重要雙語資源,雙語詞典的質(zhì)量對漢語與越南語的語言處理任務(wù)具有重要的影響[1].因此,對漢-越雙語詞典進行研究具有較大的價值.然而,針對漢-越雙語詞典構(gòu)建的研究較少,且現(xiàn)有方法的詞典構(gòu)建效果有待提高.

        近年來,國內(nèi)外學(xué)者對雙語詞典的構(gòu)建方法進行了大量研究.按照語料庫資源的不同主要分為四類:基于平行語料庫的方法、基于可比語料的方法、基于種子詞典的方法、基于對抗網(wǎng)絡(luò)的方法.

        第一類為基于平行語料庫的方法.該類方法以平行語料作為語料資源,利用語料中的文檔對齊信息來進行雙語詞典提取.莫媛媛等人[1]、Gouws等人[2]及Luong等人[3]提出使用大型平行語料進行雙語詞典的抽取.由于平行語料中包含有高質(zhì)量的對齊信息,因此基于平行語料構(gòu)建雙語詞典的效果較好.但是,基于平行語料的方法通常只適用于大語種的部分領(lǐng)域,而小語種的平行語料非常稀缺甚至不存在,采用這類方法難以構(gòu)建小語種雙語詞典[4].因此基于平行語料庫的雙語詞典構(gòu)建方法在實際應(yīng)用中具有較大的局限性.

        第二類為基于可比語料的方法.李艦等人[5]和Mogadala等人[6]提出基于可比語料來構(gòu)建雙語詞典的方法.可比語料中含有大量交叉并非嚴格的互譯信息,這些互譯詞語基本出現(xiàn)在語義相近但語言不同的上下文環(huán)境中,可在一定程度上緩解對平行語料的依賴,但針對低資源語言可比語料同樣非常稀缺.

        第三類為基于種子詞典的方法.該方法通過大量單語語料來學(xué)習(xí)語言結(jié)構(gòu),并且使用少量的種子詞典來學(xué)習(xí)映射關(guān)系,基于映射關(guān)系抽取雙語詞典[7-10].Mikolov等人[7]、Wick等人[8]通過大量單語語料來學(xué)習(xí)語言結(jié)構(gòu),并使用少量的種子詞典來學(xué)習(xí)映射關(guān)系,提出了基于映射關(guān)系抽取雙語詞典的方法.Artetxe等人[9]提出了迭代自學(xué)習(xí)的方法從對齊數(shù)字的并行詞匯表開始,逐級對齊嵌入空間.Cao等人[10]提出了一種分布模型,其利用單語數(shù)據(jù)學(xué)習(xí)雙語詞嵌入,將學(xué)習(xí)得到的雙語詞嵌入在共享向量空間中對齊,將每個單詞與其對應(yīng)翻譯進行組合,以此實現(xiàn)雙語詞典的構(gòu)建.基于種子詞典的方法需要較為成熟的雙語詞典作為種子詞典,但是由于受到小語種雙語詞典規(guī)模和質(zhì)量的限制,性能還有很大的提升空間.

        第四類為基于對抗網(wǎng)絡(luò)的方法.Zhang等人[11]提出通過對抗網(wǎng)絡(luò)對齊跨語言的詞向量空間,同時提出了一種基于EMD(Earth Mover’s Distance)抽取雙語詞典的方法.而Alexis等人[12]在Zhang等人的基礎(chǔ)上改進了對抗網(wǎng)絡(luò),并解決了hubness問題.由于兩種語言的單語詞向量空間表現(xiàn)出近似的同態(tài)性,存在線性映射能夠近似地連接這兩個空間,通過對抗網(wǎng)絡(luò)來學(xué)習(xí)該映射關(guān)系,然后基于該映射關(guān)系抽取詞典.同時提出了一個與詞翻譯準確性高度相關(guān)的無監(jiān)督模型選擇標準.該方法在有同源詞的語言中表現(xiàn)良好,但是,由于漢語和越南語之間的語言差異性較大,直接通過對抗網(wǎng)絡(luò)構(gòu)建漢-越雙語詞典效果有待提高.

        另外,相關(guān)學(xué)者提出基于樞軸語言進行雙語詞典構(gòu)建的方法.吳華和王海峰提出了基于樞軸語言的詞翻譯模型[13],在源語言和目標語言雙語資源有限的情況下,該模型通過源語言-樞軸語言和樞軸語言-目標語言來對齊雙語語料,最終構(gòu)建出源語言到目標語言的詞對齊模型.該模型仍需要源語言-目標語言的雙語詞典作為監(jiān)督信號,且該監(jiān)督信號決定了誘導(dǎo)模型的好壞,即決定了最終的詞典抽取質(zhì)量.之后他們利用基于規(guī)則的機器翻譯方法對基于樞軸的短語翻譯模型進行了優(yōu)化[14],提出了三種基于樞軸的詞翻譯模型.第一種為三角剖分法,它在源-樞軸和樞軸-目標翻譯模型中乘相應(yīng)的翻譯概率和詞法權(quán)重,以得出新的源-目標短語表.第二種為轉(zhuǎn)移法,利用翻譯模型將源語言翻譯成樞軸語言最后再翻譯成目標語言來獲得源語言到目標語言的句子,并且利用規(guī)則機器翻譯的方法填補源語言到樞軸語言的數(shù)據(jù)空白.第三種為合成法,使用現(xiàn)有模型合成源語言到目標語言的可比語料.這三種方法都需要大量的監(jiān)督信號及翻譯性能較好的模型,且在翻譯傳遞過程中易產(chǎn)生錯誤累積,導(dǎo)致最終的詞典抽取結(jié)果不準確.

        綜上所述,針對漢-越雙語詞典的構(gòu)建任務(wù)而言,漢-越平行語料稀缺且獲取成本高昂,使得采用基于平行語料的方法難以得到較高的詞典準確率.同時,基于種子詞典的方法受限于低資源語言漢-越種子詞典的規(guī)模及質(zhì)量,其模型容易陷入局部最優(yōu),使得構(gòu)建效果不太理想.基于對抗網(wǎng)路的方法在兩種語言的差異性較小時,由其構(gòu)建的雙語詞典準確率較高,但在語言差異性較大時詞典準確率不高.基于樞軸的方法通常用于加強源語言到目標語言的對齊關(guān)系,再結(jié)合其他模型構(gòu)建源語言和目標語言的詞典.相關(guān)學(xué)者的研究表明了基于樞軸語言的可行性.

        受到對抗網(wǎng)絡(luò)和樞軸思想[11,14]的啟發(fā),同時考慮到漢語、英語、越南語單語語料比較豐富且具有漢-英、越-英雙語詞典,本文提出了一種基于英語樞軸的漢-越雙語詞典構(gòu)建方法.該方法首先以英語作為樞軸語言,引入漢-英詞典和越-英詞典作為樞軸模型的弱監(jiān)督信號,將漢語和越南語詞向量均映射到英語詞向量共享空間以減小漢語和越南語的語言差異性.然后將漢-英詞向量和越-英詞向量的映射建模為一個對抗游戲,通過平衡對抗網(wǎng)絡(luò)學(xué)習(xí)漢-越的映射矩陣.最后通過相關(guān)抽取策略構(gòu)建漢-越雙語詞典.本文將漢-英、越-英詞典作為弱監(jiān)督信號,避免了方法對平行語料的依賴.而且方法采用對抗網(wǎng)絡(luò)模型,不需要任何漢-越監(jiān)督信號.實驗結(jié)果表明與現(xiàn)有方法相比本文方法明顯地提升了漢-越雙語詞典的準確率.

        2 基于英語樞軸的漢-越雙語詞典構(gòu)建方法

        目前自動構(gòu)建漢-越詞典的研究相對較少,大多方法需要平行語料或可比語料等監(jiān)督信息的參與,費時且成本較高,且現(xiàn)有無監(jiān)督模型對語言差異性較大的語言構(gòu)建效果不佳[1,11].同時考慮到互聯(lián)網(wǎng)中存在豐富的漢語、英語、越南語的單語語料以及漢-英、英-越雙語詞典.因此,本文提出了一種基于英語樞軸的漢-越雙語詞典的構(gòu)建方法.首先通過基于種子詞典的方法分別學(xué)習(xí)漢-英、越-英的映射矩陣Wxz和Wyz,然后在英語詞向量共享空間中通過對抗網(wǎng)絡(luò)進一步學(xué)習(xí)漢-越之間的映射矩陣Wxy,最后通過NN/CSLS方法[15]抽取漢-越詞典.

        基于英語樞軸的漢-越雙語詞典構(gòu)建方法的基本思路可分為以下四個步驟:首先,分別對源語言、目標語言及中間語言的語料進行預(yù)處理;然后將這些已經(jīng)處理好的語料分別表示為詞向量;其次,以種子詞典作為弱監(jiān)督信號,并利用基于種子詞典的方法分別學(xué)習(xí)漢-英及越-英的關(guān)系矩陣;最后,利用對抗網(wǎng)絡(luò)進一步學(xué)習(xí)漢-越的映射矩陣,并通過不同抽取詞典策略抽取詞典.該構(gòu)建方法的具體流程圖如圖1所示.

        圖1 基于英語樞軸的漢-越雙語詞典構(gòu)建方法Fig.1 Construction method of Chinese-Vietnamese dictionary based on English pivot language

        在圖1中,在本文方法中源語言為漢語,目標語言為越南語,中間語言為英語.方法的具體步驟及分析如下:

        1)對源語言、目標語言及中間語言的語料進行預(yù)處理.首先分別去掉漢語、越南語及英語的語料中無用的標點符號,然后分別下載這三種語言的停用詞表以去掉停用詞,最后對漢、越、英語料進行分詞操作,將中文句子通過結(jié)巴分詞工具做分詞處理,將越南語句子和英語句子通過空格切分.最終得到預(yù)處理之后的漢語、越南語和英語的句子,并且統(tǒng)計詞頻與單詞數(shù).其中,n為源語言的單詞數(shù),m為目標語言的單詞數(shù),u為中間語言的單詞數(shù).{xi|i=1,2,…,n}為源語言單詞集合,{yj|j=1,2,…,m}為目標語言單詞集合,{zk|k=1,2,…,u}為中間語言單詞集合.

        2)通過Fasttext模型[16]分別學(xué)習(xí)漢語、英語、越南語的詞向量空間,并將漢語、英語、越南語的單詞表示為詞向量v.詞向量維度表示為d,源語言單詞對應(yīng)的詞向量表示為{vx1,vx2,vx3,…,vxi},其中vxi∈Rd,i∈{1,2,…,n}.中間語言單詞對應(yīng)的詞向量表示為{vz1,vz2,vz3,…,vzk},其中,vzk∈Rd,k∈{1,2,…,u}.同樣,目標語言單詞對應(yīng)的詞向量可以表示為{vy1,vy2,vy3,…,vyj},其中,vyj∈Rd,j∈{1,2,…,m}.

        3)采用基于種子詞典的方法分別學(xué)習(xí)漢-英的映射矩陣Wxz及越-英的映射矩陣Wyz.基于種子詞典的雙語詞典構(gòu)建方法的前提需要源語-目標語言的雙語詞典,然而對于漢語和越南語來說很難獲取現(xiàn)成的漢-越雙語詞典,但漢-英及越-英雙語詞典很豐富且易獲取.因此,我們借鑒樞軸的思想基于種子詞典的方法來分別學(xué)習(xí)漢-英的映射矩陣Wxz及越-英的映射矩陣Wyz,將其映射到英語詞向量的共享空間中.

        獲取5000個漢-英的單詞對{xi,zi}i∈[1,5000]及5000個越-英的單詞對{yi,zi}i∈[1,5000],作為弱監(jiān)督信號,學(xué)習(xí)漢-英的線性映射關(guān)系矩陣Wxz及越-英的映射關(guān)系矩陣Wyz.映射關(guān)系矩陣Wxz和Wyz可由同一個模型通過設(shè)置不同的參數(shù)獲得.該映射關(guān)系計算如公式(1)所示.

        (1)

        其中,d表示詞向量的維度,X和Y是兩個大小為d×n的平行詞典對齊矩陣,包含了平行詞典中單詞的詞向量,W為訓(xùn)練過程中源語言到目標語言的映射矩陣,大小為d×d,Md(R)表示d×d的實數(shù)矩陣.W*表示最小化源語言到目標語言距離的映射矩陣,這里分別對應(yīng)漢-英的線性映射關(guān)系矩陣Wxz及越-英的映射關(guān)系矩陣Wyz.

        在獲取映射矩陣W后,對于任意一個未翻譯的單詞s,可以通過NN最近鄰搜索方法到源語言對應(yīng)目標語言的詞翻譯.根據(jù)映射后的空間余弦相似度來進行詞對齊.任意源詞s對應(yīng)的翻譯t定義如公式(2)所示.

        t=arg maxtcos(Wxs,yt)

        (2)

        在此基礎(chǔ)上,通過在映射矩陣W上增加正交約束條件實現(xiàn)了更好的效果.將問題轉(zhuǎn)化為Procrustes問題,并將YXT進行奇異值分解(SVD)得到一個近似解,具體公式如公式(3)所示.

        (3)

        通過公式(3)可以得到源語言與目標語言距離最小化的漢-英的映射矩陣Wxz以及越-英的映射矩陣Wyz.

        4)利用對抗網(wǎng)絡(luò)進一步學(xué)習(xí)漢-越的映射矩陣Wxy.通過上述步驟將漢語及越南語的詞向量均映射到英語詞向量共享空間中,并把漢-英詞向量和越-英詞向量的映射建模為一個對抗游戲,通過平衡對抗網(wǎng)絡(luò)最終學(xué)習(xí)到漢-越的映射矩陣Wxy.

        在對抗網(wǎng)絡(luò)中假設(shè)含有兩個集合,一個集合為χ={Wxzvxi|i=1,2,…,n},表示漢語詞向量映射到英語詞向量空間的n個詞向量的集合,可簡化為χ={xi|i=1,2,…,n}.另一個集合為Ψ={Wyzvyj|j=1,2,…,m},表示目標語言越南語映射到英語詞向量空間的m個目標語言的詞向量的集合,可簡化為Ψ={yj|j=1,2,…,m}.

        對抗網(wǎng)絡(luò)的模型分為兩個部分,一個是生成器G,另一個是判別器D.判別器負責(zé)判別詞向量來自源語言還是目標語言,它的目標是盡可能準確的判別詞向量.生成器負責(zé)學(xué)習(xí)聯(lián)系兩個空間的線性映射,它的目標是讓判別器無法判別詞向量是來自源語言還是目標語言.生成器與判別器形成相互對抗的關(guān)系,從而提升生成器和判別器的性能.本文的對抗網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.

        圖2 對抗網(wǎng)絡(luò)的基本結(jié)構(gòu)Fig.2 Basic structure of the adversarial network

        在圖2中,將漢-英的詞向量表示為源語言詞向量,將越-英的詞向量表示為目標語言的詞向量.方塊的分布代表源語言的詞分布,圓圈的分布代表目標語言的詞分布.生成器G與判別器D形成相互對抗的關(guān)系,訓(xùn)練判別器來區(qū)分隨機采樣的元素是來自集合χ還是集合ψ,最終通過對抗網(wǎng)絡(luò)學(xué)習(xí)得到源語言到目標語言的映射矩陣Wxy.綜上,對抗網(wǎng)絡(luò)的目標函數(shù)表示為minGmaxDV(D,G)的形式,其中函數(shù)V(D,G)表示為公式(4).

        V(D,G)=Ey~py[logD(y)]+Ex~px[log(1-D(G(x)))]

        (4)

        在公式(1)中x是源語言詞向量,px表示源語言詞向量服從的分布,y是目標語言的詞向量,Py表示目標語言詞向量服從的分布.對抗網(wǎng)絡(luò)中的判別器目標函數(shù)和生成器目標函數(shù)分別如公式(5)和公式(6)所示.

        logPθD(s=0|yi)

        (5)

        logPθD(s=1|yi)

        (6)

        在訓(xùn)練對抗網(wǎng)絡(luò)模型時,對于每一個輸入樣本需最小化判別器和生成器的目標函數(shù),利用梯度下降方法更新各自的網(wǎng)絡(luò)參數(shù)及映射矩陣W.然而,由于對抗網(wǎng)絡(luò)的思想為對齊所有的詞,并沒考慮詞頻的高低,而詞頻低的詞可能出現(xiàn)在不同語料庫的上下文中.在這種情況下,通過對抗網(wǎng)絡(luò)學(xué)習(xí)到的W的性能低于有監(jiān)督學(xué)習(xí)性能.為了得到性能更好的映射矩陣W,本文通過由對抗訓(xùn)練學(xué)習(xí)到的W來構(gòu)建合成并行詞匯表,即考慮常用詞的相互最近鄰來確保獲取一個具有較高質(zhì)量的字典[17].最后通過對映射矩陣W添加正交約束限制進一步提升映射矩陣的質(zhì)量及訓(xùn)練的穩(wěn)定性.本文使用了更新規(guī)則來確保訓(xùn)練過程中映射矩陣W近似正交矩陣,如公式(7)所示.

        W←(1+β)W-β(WWT)

        (7)

        Alexis等人的實驗表明參數(shù)β為0.01時具有更好的效果,該更新方法使得每次更新后的矩陣都近似為正交矩陣.通過上述步驟可以獲得一個源語言到目標語言的映射矩陣Wxy.

        5)在英語詞向量空間中抽取漢-越雙語詞典.將介紹兩種抽取詞典的方法:NN方法和CSLS方法.NN方法通過計算源語言詞向量乘映射矩陣與目標語言的余弦距離,其計算如公式(2)所示.CSLS方法用于衡量兩個單詞之間(不同語言)的相似度.對每一個單詞,通過CSLS方法可在另一語言中找到其K近鄰,分別將源語言和目標語言用NT(s)和NS(t)表示,并定義源語言詞向量為xs,目標語言詞向量為yt,源語言到目標語言的距離為rT,目標語言到源語言的距離為rS.源語言到目標語言的距離通過公式(8)進行計算.

        (8)

        同上,用類似的方法計算rS,距離r可衡量每個單詞的hubness.如果只考慮Wxs與yt的余弦關(guān)系,會產(chǎn)生hubness問題.為解決該問題,重新定義了CSLS距離如公式(9)所示.

        CSLS(s,t)=2cos(Wxs,yt)-rT(Wxs)-rS(yt)

        (9)

        最后根據(jù)上述不同的抽取方法抽取相應(yīng)的詞向量構(gòu)成漢-越詞典.

        3 實驗結(jié)果與分析

        3.1 實驗數(shù)據(jù)

        本文實驗語料的獲取主要利用網(wǎng)絡(luò)爬蟲技術(shù)從相關(guān)新聞網(wǎng)站中分別獲取漢語、英語和越南語的單語語料數(shù)據(jù),源語言為漢語,樞軸語言為英語,目標語言為越南語.實驗語料的具體規(guī)模如表1所示.

        表1 實驗語料規(guī)模Table 1 Size of corpus for experiment

        為驗證方法的有效性,本文將Alexis等人構(gòu)建的漢-英詞典和英-越詞典作為驗證詞典.考慮到無法獲取到可用的漢-越驗證詞典,重新構(gòu)建了漢-越驗證詞典[11].具體步驟如下:第1步構(gòu)建詞表;第2步,通過一銘翻譯平臺(1)http://dmfy.emindsoft.com.cn/翻譯該詞表,將源語言單詞進行翻譯得到目標單詞的多個候選翻譯;第3步,將所有候選詞逐個翻譯為源語言單詞,若候選詞與源語言單詞相同,則構(gòu)建的詞典為真實詞典,若不同則舍棄該詞對,進行下一個候選詞的翻譯,重復(fù)此步驟直到完成所有候選詞的翻譯;第4步,翻譯完成所有的候選詞后進行下一個源單詞的翻譯,重復(fù)第2步與第3步,直到翻譯完所有的詞表.通過上述方法構(gòu)造的驗證詞典規(guī)模如表2所示.

        表2 驗證詞典規(guī)模Table 2 Size of verification dictionary

        本文將準確率P@N(前N個候選翻譯的準確率)作為衡量雙語詞典好壞的評價指標.其中通過隨機抽取驗證詞典的1.5K個源語言單詞和對應(yīng)的目標詞,RT為抽取結(jié)果中單詞的數(shù)量,T(wi)為抽取方法在單詞wi上的抽取結(jié)果,d(wi)表示單詞wi在詞典中的翻譯集合,具體計算公式(10)所示.

        (10)

        3.2 實驗結(jié)果與分析

        在實驗中,利用Fasttext模型將漢語、越南語、英語單詞轉(zhuǎn)換為300維的詞向量,漢-英、越-英的的映射矩陣分別為Wxz和Wyz,矩陣大小均為300×300,漢-英和越-英的種子詞典分別為5000對.本文使用具有4096個隱藏層的多層感知機作為判別器,其激活函數(shù)為Leaky-ReLU.其中,Leaky-ReLU激活函數(shù)定義為:當(dāng)輸入值大于等于0時,輸出值與輸入值一致,當(dāng)輸入值小于0時,輸出值為輸入值與超參數(shù)leak的乘積.在本文中設(shè)置超參數(shù)leak=0.1,并在判別器預(yù)測中加入平滑系數(shù)s=0.3.使用隨機梯度下降法對對抗網(wǎng)絡(luò)的參數(shù)進行更新,批值大小為32,判別器和生成器的學(xué)習(xí)率均為0.1,衰減率均為0.8,對抗網(wǎng)絡(luò)迭代次數(shù)100000次,迭代輪數(shù)10輪.每次實驗的無監(jiān)督驗證標準降低時,學(xué)習(xí)率減半.本文將基于英語樞軸的漢-越雙語詞典構(gòu)建方法記為EPAN.

        為了驗證樞軸語言的規(guī)模對本文方法準確率的影響,設(shè)置了該方法在不同英語語料規(guī)模下的實驗,實驗結(jié)果如圖3所示.

        圖3 本文方法在不同樞軸語料規(guī)模下的準確率Fig.3 Accuracy of the method in this paper at different pivotal corpus sizes

        由圖3可知,當(dāng)將英語作為樞軸語言時,隨著英語語料規(guī)模的增加,漢-越雙語詞典在P@1的準確率先上升后趨于平緩.當(dāng)其規(guī)模為5000MB時本文方法的準確率曲線逐漸平滑,因此,后續(xù)實驗將樞軸語料規(guī)模均設(shè)為5000MB.

        接下來實驗將本文方法與基于種子詞典方法及基于對抗網(wǎng)絡(luò)的方法進行對比,進一步驗證本文方法的有效性.分別記錄每組實驗在P@1(即抽取1個候選詞)時的準確率,實驗結(jié)果如表3所示.

        表3 本文方法與傳統(tǒng)方法構(gòu)建雙語詞典的準確率Table 3 Accuracy of our method and traditional methods in constructing bilingual dictionaries

        分析表3的實驗數(shù)據(jù)可知,基于對抗網(wǎng)絡(luò)的方法效果接近甚至優(yōu)于基于種子詞典的方法的效果,驗證了本文無監(jiān)督模型選擇標準的有效性.另外,直接采用基于種子詞典的方法和基于對抗網(wǎng)絡(luò)的方法構(gòu)建漢-越雙語詞典的準確率較低,而本文方法下的兩種抽取方法得到的漢-越詞典準確率明顯提高.該結(jié)果表明本文結(jié)合樞軸語言和對抗網(wǎng)絡(luò)的方法有效提高了漢-越雙語詞典的準確率.

        為驗證方法的準確率與抽取的候選詞個數(shù)之間的關(guān)系,得到漢-越詞向量在英語樞軸共享空間中的具體映射情況,實驗還比較了P@1、P@5和P@10的準確率.具體實驗結(jié)果如表4所示.

        表4 本文方法在不同P@N值下的準確率Table 4 Accuracy of the method in different P@N values

        分析表4可知,本文方法的準確率均隨候選詞的增多而逐漸提高,候選詞數(shù)量僅為1時便可獲得較高的準確率,當(dāng)候選詞達到10個時,最高準確率可以達到80%以上.這進一步說明了不同語言在詞向量空間中的同構(gòu)性.

        最后我們將本文方法與目前較為常用的自動構(gòu)建雙語詞典的方法進行對比.本文利用Artetxe等人基于種子詞典的迭代自學(xué)方法和Alexis等人基于對抗網(wǎng)絡(luò)的方法以及莫媛媛等人基于平行語料的方法進行漢-越雙語詞典的構(gòu)建實驗,并與本文方法進行準確率的對比.實驗選擇在P@1的情況下進行準確率評價,具體實驗結(jié)果如表5所示.

        表5 不同方法下的漢-越詞典準確率Table 5 Chinese-vietnamese dictio-nary accuracy for different methods

        分析表5可知,由本文方法構(gòu)建的漢-越雙語詞典的準確率明顯優(yōu)于其它三種方法.本文方法利用少量的漢-英,以及越-英監(jiān)督信號,便可很好地將漢語、越南語詞向量對齊到英語詞向量空間,在缺少高質(zhì)量大規(guī)模漢-越監(jiān)督信號時,通過無監(jiān)督模型選擇標準能夠很好的抽取漢-越詞典.

        4 結(jié) 論

        為了提升自動構(gòu)建漢-越詞典的準確率,本文提出了一種基于英語樞軸的漢-越詞典構(gòu)建方法.在使用更少的監(jiān)督信號以及不使用漢-越雙語詞典的情況下,本文方法能夠有效的提高漢-越詞典的準確率.同時也證明了在構(gòu)建低資源語言詞典這個任務(wù)中借鑒樞軸與對抗網(wǎng)絡(luò)的思想可以使?jié)h-越雙語詞典的構(gòu)建方法具有更好的性能.下一步將繼續(xù)研究詞典在無監(jiān)督神經(jīng)機器翻譯中的應(yīng)用.

        猜你喜歡
        樞軸源語言目標語言
        WK-35 電鏟中央樞軸液氮冷裝工藝研究
        面向神經(jīng)機器翻譯的樞軸方法研究綜述
        探討參數(shù)區(qū)間估計中樞軸量的選取——以單個正態(tài)總體均值為例
        林巍《知識與智慧》英譯分析
        淺析日語口譯譯員素質(zhì)
        教材插圖在英語課堂閱讀教學(xué)中的運用及實例探討
        跨文化視角下對具有修辭手法諺語英譯漢的研究
        速讀·下旬(2016年7期)2016-07-20 08:50:28
        抽水蓄能電站球閥樞軸軸套故障分析及改造
        以口譯實例談雙語知識的必要性
        考試周刊(2015年36期)2015-09-10 15:03:38
        二語習(xí)得過程中的石化現(xiàn)象分析
        国内精品久久久久国产盗摄| 性色av手机在线观看| 亚洲av成人永久网站一区| 欧美日韩午夜群交多人轮换| 99精品国产99久久久久久97| 国产农村三片免费网站| 北岛玲亚洲一区二区三区| 亚洲乱码中文在线观看| 人人妻人人澡人人爽人人精品97| 国产色噜噜| 丰满人妻被猛烈进入中文字幕护士| 在线观看亚洲第一黄片| 激情航班h版在线观看| 亚洲最大成人网站| 手机福利视频| 豆国产95在线 | 亚洲| 日本精品极品视频在线| 亚洲国产精品国自产拍性色| 国产精品久久久久乳精品爆| 欧美日韩中文制服有码| 在线一区二区三区免费视频观看 | 麻豆密入视频在线观看| 男男做h嗯啊高潮涩涩| 粗大的内捧猛烈进出少妇| 最新亚洲av日韩av二区| 秋霞国产av一区二区三区| 亚洲va视频一区二区三区| 亚洲精品成人网线在线播放va| 国产成人精品午夜福利免费APP| 日本黄色特级一区二区三区 | 在线涩涩免费观看国产精品| 国产成人精品三级91在线影院 | 免费无码中文字幕A级毛片| 日韩精品极品免费在线视频| 国产精品久久国产精麻豆99网站| 人妻妺妺窝人体色www聚色窝| 国产不卡视频一区二区在线观看| 东京热加勒比久久精品| 区二区三区玖玖玖| 久久亚洲伊人| 男女啪啪在线视频网站|