韓越，艾山·吾買爾

（1.新疆大學(xué)信息科學(xué)與工程學(xué)院，烏魯木齊830046；2.新疆大學(xué)新疆多語種信息技術(shù)實驗室，烏魯木齊830046）

0 引言

跨語言詞嵌入旨在學(xué)習(xí)一個共享的語義空間，在機器翻譯[1]、文本分類[2]、信息檢索[3]中都有重要意義。當(dāng)前流行的跨語言詞嵌入方法是基于單語詞嵌入的線性映射[4]。該方法基于大規(guī)模單語語料訓(xùn)練單語詞嵌入。認(rèn)為不同語言上訓(xùn)練的單語詞嵌入具有相似性，從而可以學(xué)習(xí)源語言嵌入到目標(biāo)語言嵌入的映射關(guān)系，將兩種或多種語言的嵌入映射到同一語義空間。這一思想被后續(xù)的很多研究繼承和發(fā)展。但語言的固有屬性致使不同語言家族的語言具有同構(gòu)性這一假設(shè)面臨著巨大挑戰(zhàn)[5]。同時，低資源場景下訓(xùn)練的單語詞嵌入因語料少難以訓(xùn)練充分或語料差異較大[6]，難以得到符合同構(gòu)性假設(shè)的單語詞嵌入。

在以往基于映射方法的跨語言詞嵌入研究中，對于單語詞嵌入的訓(xùn)練沒有一個統(tǒng)一的約束。但是對于基于映射的方法來說，單語詞嵌入是跨語言詞嵌入成功的基礎(chǔ)。因此，訓(xùn)練高質(zhì)量的單語詞嵌入進行跨語言詞嵌入的學(xué)習(xí)至關(guān)重要。

基于以上問題提出：將不同單語詞嵌入訓(xùn)練方法得到的詞嵌入進行融合得到元嵌入從而提高跨語言詞嵌入的質(zhì)量。該方法背后的假設(shè)為：不同的單語詞嵌入方法捕獲了語言中單詞的不同特征，將不同單語詞嵌入訓(xùn)練方法訓(xùn)練的嵌入進行融合，可以從更多維度對單詞進行描述，從而得到更高質(zhì)量的詞嵌入。該方法操作簡單，有效性強并且具有可擴展性，可以隨著單語詞嵌入模型和跨語言詞嵌入模型質(zhì)量的提高而提高。

1 相關(guān)工作

雙語詞嵌入近些年來被廣泛研究。研究方法之間最大的不同在于監(jiān)督信號的強度。最開始研究者在平行語料[7-9]以及可比語料[10-11]上訓(xùn)練跨語言詞嵌入。進一步的，專家們使用了詞典資源，利用WordNet[12]、ConceptNet[13]等詞典資源。然而在很多語言上平行語料、可比語料難以獲得，甚至高質(zhì)量的詞典也無法直接獲得，因此研究者們致力于盡可能地減少監(jiān)督信號。

2013年Mikolov提出基于線性映射的跨語言詞嵌入[4]。該方法首先基于單語語料庫訓(xùn)練單語詞嵌入得到不同語言的詞表示，再通過5000個詞典對作為監(jiān)督信號，將不同語言的詞嵌入映射到同一語義空間。從而，給定一種語言的單語語料庫中的某個單詞，可以在映射到的語義空間中得到與該單詞意義相同的另一語言的單詞。后來的方法大多基于此研究和發(fā)展。Xing通過歸一化詞嵌入以及正交約束來優(yōu)化這一方法[14]。前面的方法是將一種語言的嵌入空間映射到另一種語言。Faruqui和Dyer通過典型相關(guān)分析將兩種語言的單語詞嵌入空間映射到一個新的空間，從而提高跨語言詞嵌入的性能[15]。Artetxe在Mikolov的基礎(chǔ)上添加了白化技術(shù)，使得性能進一步提升，除此之外，還對先前方法底層的關(guān)聯(lián)做了重新解釋[16]。這一系列方法相比使用平行語料、可比語料等資源進行跨語言詞嵌入的訓(xùn)練，不僅簡單，而且使用較少的監(jiān)督信號，這在低資源場景下大有裨益。

盡管先前的方法已經(jīng)有了不錯的表現(xiàn)，但是學(xué)者們致力于進一步減少監(jiān)督信號，希望在少量種子詞典甚至在沒有任何監(jiān)督信號的情況下訓(xùn)練跨語言詞嵌入。Artetxe僅使用25個種子詞典對學(xué)習(xí)映射，使用學(xué)習(xí)的映射以自學(xué)習(xí)的方式從單語詞嵌入中歸納新的詞典，使用新的詞典學(xué)習(xí)新的映射[17]。Conneau僅使用單語詞嵌入而無需任何監(jiān)督信號來學(xué)習(xí)跨語言詞嵌入。通過對抗訓(xùn)練來學(xué)習(xí)原語言空間到目標(biāo)語言空間的線性映射，達到了與監(jiān)督方法相匹敵的效果[18]。

本文提出的方法將目標(biāo)轉(zhuǎn)移到提高單語詞嵌入的質(zhì)量，通過在不同維度上對不同單語詞嵌入模型訓(xùn)練的單語詞嵌入進行融合，對單詞進行更好的語義表示，從而更好的訓(xùn)練跨語言詞嵌入。該方法能夠和任何現(xiàn)有的單語詞嵌入訓(xùn)練模型和跨語言詞嵌入訓(xùn)練模型相結(jié)合，并隨著它們質(zhì)量的提高而提高。

2 模型選擇與集成

2.1 單語詞嵌入模型

當(dāng)前最流行的兩種訓(xùn)練單語詞嵌入的模型為Word2Vec[19]和FastText[20]。因此實驗中主要采取這兩類模型訓(xùn)練單語詞嵌入。

Word2Vec是2013年Mikolov年最開始提出來的將單詞用分布式向量表示的方法。Word2Vec中包含兩種訓(xùn)練模式分別為：CBOW以及Skip-Gram。它們的不同之處在于，CBOW通過上下文單詞的詞嵌入預(yù)測當(dāng)前詞的詞嵌入，而Skip-Gram使用當(dāng)前詞的詞嵌入預(yù)測上下文的詞嵌入。使用Word2Vec訓(xùn)練的詞嵌入是詞級別的。在詞典內(nèi)的單詞會被分配一個詞嵌入，而詞典外的單詞的詞向量由所有詞典內(nèi)單詞向量的平均值表示。

FastText是基于Mikolov提出的詞嵌入方法的擴展，通過學(xué)習(xí)子詞信息的向量，將子詞的向量表示之和作為單詞的詞向量。同樣的FastText也有CBOW和Skip-Gram兩種訓(xùn)練模式。由于FastText訓(xùn)練的詞嵌入是通過單詞的子詞信息而來，因此，即使一個單詞未在訓(xùn)練集中出現(xiàn)，但其詞向量可以通過訓(xùn)練集中的子詞信息而來。相比Word2Vec，它對未見詞能有更好的表示。

由于以往的實驗中對單語詞嵌入的訓(xùn)練模型并沒有同一的規(guī)定，不同方法間無法直接比較。因此實驗中采用了兩種詞嵌入模型的兩種訓(xùn)練模式，除了探討不同的單語詞嵌入方法對跨語言詞嵌入的影響，還探討將同一模型不同模式下訓(xùn)練的詞嵌入加以集成以及將不同模型的相同模式加以集成對跨語言詞嵌入的影響。

2.2 跨語言詞嵌入模型

令X和Z表示給定雙語詞典的兩種語言的詞嵌入矩陣，該詞嵌入矩陣的第i行Xi*和Zi*是字典中第i個條目的詞嵌入。要找到一個線性映射矩陣W，使得XW接近Z，需要將歐幾里得距離的平方最小化。即：

這等效于最小化殘差矩陣的Frobenius范數(shù)：

因此，W將是線性矩陣方程XW=Z的所謂最小二乘解。這在線性代數(shù)中是一個著名的問題，可以通過取摩爾彭羅斯偽逆X+=（XTX）-1XT為W=X+Z，而這可以使用SVD進行計算。

實驗中所采用的跨語言詞嵌入模型為公開軟件VecMap[16]。VecMap實現(xiàn)了以上算法，并添加了一些額外的技術(shù)，例如正交約束、詞嵌入歸一化、均值居中、白化等技術(shù)，形成一個統(tǒng)一的框架，能夠訓(xùn)練魯棒的跨語言詞嵌入。

2.3 多策略元嵌入集成方法

元嵌入是集成了給定語言的多個預(yù)訓(xùn)練詞嵌入的向量空間表示，這些預(yù)訓(xùn)練詞嵌入可能使用不同的語料，或者對相同的語料使用不同的模型進行訓(xùn)練[19]。實驗中主要對Word2Vec和FastText訓(xùn)練的詞嵌入進行集成，集成辦法如下：

（1）將Word2Vec的CBOW模式訓(xùn)練的詞嵌入以及Word2Vec的Skip-Gram訓(xùn)練的詞嵌入加以集成。

（2）將FastText的CBOW模式訓(xùn)練的詞嵌入以及FastText的Skip-Gram訓(xùn)練的詞嵌入加以集成。

（3）將Word2Vec的CBOW模式訓(xùn)練的詞嵌入以及FastText的CBOW模式訓(xùn)練的詞嵌入加以集成。

（4）將Word2Vec的Skip-Gram模式訓(xùn)練的詞嵌入以及FastText的Skip-Gram模式訓(xùn)練的詞嵌入加以集成。

（5）將不同窗口上兩個模型上兩種模式的詞嵌入加以集成。

后續(xù)實驗中我們將Word2Vec的CBOW訓(xùn)練的單語詞嵌入用WC表示，Word2Vec的Skip-Gram訓(xùn)練的單語詞嵌入用WS表示。將FastText的CBOW訓(xùn)練的單語詞嵌入FC表示，F(xiàn)astText的Skip-Gram訓(xùn)練的單語詞嵌入FS表示。

最常見的元嵌入方法是平均Meta-average和拼接Meta-con方法。文中首先探討了這兩種簡單的集成方法，其次采用兩種額外的對齊策略：先對不同模型訓(xùn)練的同一語言的單語詞嵌入利用跨語言的詞嵌入方法進行對齊，再將對齊后的詞嵌入進行平均和拼接。具體如下：

（1）平均（Meta-average）方法。將不同模型訓(xùn)練的相同單詞的詞向量對應(yīng)維度進行相加操作再除以2。

（2）拼接（Meta-con）方法。將不同模型訓(xùn)練的相同單詞的詞向量進行拼接，此時詞嵌入的維度是之前的2倍。

（3）對齊平均（Aligned_average）。將不同模型訓(xùn)練的同一語料庫的詞嵌入先利用跨語言詞嵌入的方法進行對齊，將對齊后的詞嵌入進行平均。

（4）對齊拼接（Aligned_con）。將不同模型訓(xùn)練的同一語料庫的詞嵌入先利用跨語言詞嵌入的方法進行對齊，將對齊后的詞嵌入進行拼接。

由于不同模型對相同語料訓(xùn)練的詞嵌入具有不同的嵌入空間。每個嵌入空間既有區(qū)別又有聯(lián)系，因此利用訓(xùn)練出的詞向量單詞構(gòu)建詞典，來將使用同一語料訓(xùn)練的不同嵌入空間映射到同一個空間，期望映射后的詞嵌入集成可以得到更好的單詞表示。

3 實驗設(shè)計與分析

3.1 實驗設(shè)置

本實驗的實驗環(huán)境為Python 3.7、PyTorch 1.4。使用的CPU為Intel Xeon CPU E5-2640 v4@2.40GHz。

實驗中采用的數(shù)據(jù)是由新疆大學(xué)多語種實驗室小組建立的數(shù)據(jù)集，包括100萬句英語數(shù)據(jù)以及100萬句漢語句子。為驗證提出的方法在不同數(shù)據(jù)集大小上的有效性，實驗中在20萬和100萬數(shù)據(jù)集上分別做了實驗。其中，小數(shù)據(jù)集是大數(shù)據(jù)的子集。對英語句子使用Moses中的tokenize進行分詞，對漢語句子使用結(jié)巴分詞。利用分好詞的文本進行單于詞嵌入的訓(xùn)練，采用的模型分別是Word2Vec[19]和FastText[20]。分別使用兩種模型的Skip-Gram模式和CBOW模式。詞嵌入的大小為300維，窗口的大小為10，訓(xùn)練的迭代次數(shù)為15。除非特別指定，后面的實驗均采用此默認(rèn)設(shè)置。

3.2 評價指標(biāo)

實驗中使用公開的MUSE[18]詞典訓(xùn)練并評估跨語言詞嵌入，通過提供的詞典對進行跨語言詞嵌入的訓(xùn)練。訓(xùn)練好跨語言詞嵌入之后，給定MUSE詞典的測試集，進行準(zhǔn)確性評估。具體實現(xiàn)方式為：給定測試集中的源語言單詞，通過訓(xùn)練好的跨語言詞嵌入，使用最近鄰算法找出距離最近的目標(biāo)語言單詞。查看該單詞是否與測試集中的單詞一致。

作為跨語言詞嵌入的內(nèi)部評估標(biāo)準(zhǔn)，它的準(zhǔn)確率的提升一般主要來源于提高的跨語言詞嵌入算法，以及相關(guān)檢索方法的優(yōu)化。

3.3 多策略元嵌入集成實驗

3.3.1 同一單語詞嵌入模型的不同訓(xùn)練模式相集成

為了驗證不同語料規(guī)模下，相同模型不同訓(xùn)練模式訓(xùn)練的單語詞嵌入集成是否會對跨語言詞嵌入產(chǎn)生影響。將WS與WC相集成。FS與FC相集成。實驗結(jié)果如表1所示。

表1 不同訓(xùn)練模式相集成

其中，CORPUS_SIZE表示語料規(guī)模，Method表示訓(xùn)練單語詞嵌入的方法。Baseline表示不使用任何集成方法時的結(jié)果。例如：表中的23.34表示當(dāng)訓(xùn)練單語詞嵌入的方法為基于Word2Vec的Skip-Gram模型時，訓(xùn)練的跨語言詞嵌入在詞典上的準(zhǔn)確率為23.34。Meta-average表示將單語詞嵌入進行平均。例如表中的22.42表示將WS和WC訓(xùn)練的單語詞嵌入相集成后訓(xùn)練跨語言詞嵌入進行評估得到的準(zhǔn)確率大小。同樣的，Meta-con表示將單語詞嵌入進行拼接。前文已加以描述，在此不加以贅述。Aligned-average則表示將訓(xùn)練的單語詞嵌入先進行對齊，再進行平均。Aligned-con同理。

對實驗結(jié)果從不同維度分析可以得到多個結(jié)論。首先從baseline上可以看到無論是在20萬語料還是100萬語料上，總是FS訓(xùn)練的單語詞嵌入性能更好，在20萬語料上，F(xiàn)S相對于最差的結(jié)果高達6.8%。在100萬語料上，也能高達6%。這說明，單語詞嵌入的質(zhì)量對跨語言模型的訓(xùn)練至關(guān)重要。

其次，采用此種集成方法，簡單的進行單語言詞嵌入平均會降低跨語言詞嵌入的性能。簡單的拼接單語詞嵌入在FastText模型上能夠觀察到明顯的提升，準(zhǔn)確率提高了2.47-5.7。隨著語料規(guī)模增大，集成方法帶來的收益減少。而在Word2Vec上提升不明顯，甚至在20萬語料上，準(zhǔn)確率降低。同時，提出的先對齊再平均、拼接的方法帶來了明顯的準(zhǔn)確率的提升。它的結(jié)果始終高于基線，這表明了我們提出的方法的有效性。

3.3.2 不同單語詞嵌入模型的相同訓(xùn)練模式相集成

為了研究不同語料規(guī)模下，不同模型下相同訓(xùn)練模式訓(xùn)練的單語詞嵌入集成會對跨語言詞嵌入產(chǎn)生怎樣的影響。將WS與FS相集成。WC與FC相集成。實驗結(jié)果如表2所示。

表2 不同模型相集成

通過表2實驗結(jié)果可以發(fā)現(xiàn)：將不同模型下的相同訓(xùn)練模式訓(xùn)練的單語詞嵌入進行集成時，簡單的平均只在語料大小為20萬時，將兩個模型的CBOW進行集成時，準(zhǔn)確率提高了1.1。其他情況下并沒有理想的結(jié)果。同時先對齊再進行平均的方法雖然相比簡單的平均準(zhǔn)確率有所提高，但是相比于沒有集成的最好結(jié)果并沒有很大的競爭性。而先對齊再拼接的集成方法在語料規(guī)模較大的100萬上觀察到了提升，在20萬上有所下降。這說明語料規(guī)模對這種集成方法較為敏感。令人驚訝的是，直接將不同模型的單語詞嵌入進行拼接，反而會有明顯的準(zhǔn)確率的提高，準(zhǔn)確率在20萬語料上提高3.87%～4.54%，在100w語料上提高3.49%～12.53%。這一點與先對齊再拼接的集成策略表現(xiàn)一致。因此，可以得出結(jié)論，當(dāng)語料規(guī)模增大時，將不同模型上相同訓(xùn)練模式訓(xùn)練的詞嵌入進行拼接會有很大收益。

3.3.3 不同窗口上兩個模型兩種模式相集成

單語詞嵌入的空間結(jié)構(gòu)很大程度上依賴單詞的共現(xiàn)統(tǒng)計，這是由上下文窗口大小所決定的。不同的上下文窗口大小決定了當(dāng)前單詞捕獲的不同特征。當(dāng)上下文窗口較大時，生成的單詞嵌入捕獲主題相似性，當(dāng)上下文窗口較小時，生成的單詞捕獲共能相似性。因此是否將不同窗口上訓(xùn)練的詞嵌入進行集成可以得到更好的單詞表示，從而更好地為跨語言詞嵌入訓(xùn)練提供幫助是這一集成策略背后的動機。實驗結(jié)果如表3所示。

表3 不同窗口下的詞嵌入集成

其中，W表示上下文窗口的大小。例如：表中的3.86表示當(dāng)訓(xùn)練單語詞嵌入的模型是Word2Vec的Skip-Gram時，設(shè)置上下文窗口大小為1。此時訓(xùn)練的單語詞嵌入用于訓(xùn)練跨語言詞嵌入，在測試詞典上得到的準(zhǔn)確率是3.86。表中的6.09則表示將窗口大小為1和窗口大小為10時訓(xùn)練的單語詞嵌入進行平均后訓(xùn)練跨語言詞嵌入進行評估得到的結(jié)果。

同樣的，該實驗在不同語料大小上進行的實驗表現(xiàn)出相同的實驗結(jié)果。即無論是語料大小為20萬還是100萬，簡單的拼接方法總是能帶來最大的提升。在20萬語料上準(zhǔn)確率的提升在1.16-9.57之間，100萬語料上準(zhǔn)確率的提升在2.73-3.41之間。這與3.3.2中提到的集成策略表現(xiàn)一致。其他的集成方法在大多數(shù)情況下能帶來競爭性的結(jié)果，但這一結(jié)果相比簡單的拼接稍顯遜色。同實驗一的相似之處在于，F(xiàn)astText模型相比于Word2Vec模型在跨語言詞嵌入任務(wù)的學(xué)習(xí)上顯示出了絕對的優(yōu)勢。

3.4 跨語言詞嵌入的反向訓(xùn)練

在之前的實驗中，跨語言詞嵌入的訓(xùn)練及其評估主要包含以下4步：①分別用多個模型訓(xùn)練兩種語言的單語詞嵌入。②將不同模型下訓(xùn)練的單語詞嵌入進行集成。③利用現(xiàn)有跨語言詞嵌入工具將集成后的單語詞嵌入作為輸入，學(xué)習(xí)源語言到目標(biāo)語言的映射關(guān)系，最終得到同一語義空間中的不同語言的詞嵌入表示。④給定源語言單詞，根據(jù)相關(guān)的檢索算法，如：最近鄰算法、CSLS算法等找到與該單詞相同意義的目標(biāo)單詞。然而在實驗中發(fā)現(xiàn)，在訓(xùn)練時，學(xué)習(xí)目標(biāo)語言到源語言的映射關(guān)系，但是在歸納雙語詞典時，給定原語言單詞，檢索與該單詞對應(yīng)的目標(biāo)單詞會極大程度地提高測試詞典的準(zhǔn)確率。實驗結(jié)果如表4所示。

表4 反向訓(xùn)練實驗結(jié)果

該實驗可以直接與3.3.2的實驗結(jié)果做對比，都是基于不同模型的相同模式進行集成的。首先從不加任何集成方法的baseline就可以看出，在20萬語料上，測試詞典上的準(zhǔn)確率是之前的2倍多。在100萬語料上準(zhǔn)確率提升了7.67%～15.5%。除此之外，提出的集成策略在此基礎(chǔ)上帶來了更大的提升。和之前的實驗表現(xiàn)基本一致，平均的集成策略似乎并不利于跨語言詞嵌入的學(xué)習(xí)。而拼接方法能夠帶來更大的收益。這樣一來，先將單語詞嵌入進行集成，再反向訓(xùn)練跨語言詞嵌入，可以在雙語詞典歸納中得到更好的表現(xiàn)。在該實驗中的100萬語料上，最高的準(zhǔn)確率是基線的2倍，從一開始的27.77到集成、反向訓(xùn)練后的50.51。而在20萬的低資源上最高準(zhǔn)確率幾乎是基線的4倍，從一開始的7.25到現(xiàn)在的27.73。

4 結(jié)語

在主流的跨語言詞嵌入研究中，單語詞嵌入是該類方法的基礎(chǔ)，因此，訓(xùn)練高質(zhì)量的單語詞嵌入至關(guān)重要。在英漢上的實驗首先探討了不同單語詞嵌入模型訓(xùn)練的詞嵌入對跨語言詞嵌入影響，發(fā)現(xiàn)融合了子詞信息的FastText模型下的Skip-Gram訓(xùn)練的單語詞嵌入更加有益于跨語言詞嵌入訓(xùn)練。其次，在不同數(shù)據(jù)規(guī)模上，實驗了多種對不同單語詞嵌入進行集成得到元嵌入從而進行跨語言詞嵌入研究的策略。實驗結(jié)果表明，無論數(shù)據(jù)規(guī)模有多大，集成辦法總是有效的，并且簡單的詞嵌入拼接方法似乎更加有利于跨語言詞嵌入的訓(xùn)練。最后，經(jīng)驗表明，當(dāng)反向訓(xùn)練的時候，準(zhǔn)確率會有極大的提升，這為之后的研究提供了新的思路。該方法極具擴展性，包括：在實踐中，可以將更大語料上的詞嵌入進行集成，可以將更多樣的單語詞嵌入模型進行集成。同時，該方法與跨語言詞嵌入模型的訓(xùn)練無關(guān)，因此，它可以與任何跨語言詞嵌入模型相結(jié)合。并隨著跨語言詞嵌入模型算法的改進進一步提高雙語詞典歸納的準(zhǔn)確率。