李 浩，寧浩宇，康 雁，梁文韜，霍 雯

云南大學 軟件學院，昆明650500

風格轉移是許多人工智能領域的重要問題，例如自然語言處理（NLP）和計算機視覺[1-4]。特別地，自然語言文本的樣式轉換是自然語言生成的重要組成部分。它方便了許多NLP應用程序，例如將紙質標題自動轉換為新聞標題，從而減少了學術新聞報道中的人工工作。對于諸如詩歌生成之類的任務[5-7]，可以將樣式轉換應用于生成詩歌的冷漠風格。但是，語言樣式轉換的進展落后于其他領域，例如計算機視覺，這主要是因為缺乏并行語料庫和可靠的評估指標。

大多數(shù)現(xiàn)有的文本處理方法遵循兩個步驟：首先將內容與原始樣式分離，然后將內容與所需樣式融合。例如文獻[8-10]通過對抗訓練學習與風格無關的內容表示向量，然后將其傳遞給依賴于風格的解碼器進行重新編排。另一項研究2018年Xu和Lietal直接刪除輸入中的特定樣式屬性詞，然后將僅包含內容詞的中和序列提供給依賴于樣式的生成模型。但是，每一行都有其自身的缺點。

為了能提升生成句子的準確性和生成質量，本文提出基于情感記憶模塊和強化學習，利用對抗生成神經網絡的文本情感轉換方法的自注意力情感記憶模塊生成對抗神經網絡SMRFGAN（Self-attention Memory Reinforcement learning Generative Adversarial Network）。模型一方面通過文本的Fast text[11]處理，有效地提高文本分類的準確性，再通過對長短期記憶（Long Short Term Memory，LSTM）[12]網絡解決了RNN[13]的“梯度消失”的不足，同時能夠有選擇地記憶序列中的重要信息，其中利用自注意力機制對情感詞的特征進行識別，有針對性地將情感詞放入記憶模塊來提升算法對情感詞把握的準確性；另一方面通過強化學習算法解決生成對抗神經網絡[14]在離散數(shù)據(jù)中無法運算的問題。

1 相關工作

對文本風格遷移的研究在近年有了較多的進展，例如Luo 等[15]在2019 年提出的基于強化學習框架的文本風格遷移。作者提出了雙重強化學習的框架，通過映射模型直接傳遞文本風格，而不分離內容和風格。在2017年Hu 等[16]用一組結構化變量來增加非結構化變量，每個結構化變量都針對句子的顯著且獨立的語義特征，以控制句子情緒。然而，所有這些工作和Luo等的研究相比，都試圖隱含地將非情感內容與情感信息與時間表示分開。

隨著2006年GAN模型的提出，GAN在計算機視覺相關領域獲得很好的效果。相關研究者將GAN的研究領域深入到了NLP中，并取得了一些進展。

Kusner 等[17]2016 年在論文中提出為了解決離散數(shù)據(jù)在分布采樣不可導的問題，采用Gumbel-Softmax[18]函數(shù)對多項式分布連續(xù)逼近，Gumbel 分布是一種極值型分布。Zhang 等[19]在2017 年提出了Text GAN 模型，作者利用LSTM 模型作為GAN 的生成器，用CNN 作為GAN 的判別器，并且用光滑近似的思想來逼近生成器LSTM的輸出，從而解決離散數(shù)據(jù)導致的梯度不可導問題。在判別器的預訓練方面，利用原始的句子和該句子中交換兩個詞的位置后得到的新句子進行判別訓練。LSTM雖然解決了RNN梯度消失的問題，但是輸入序列和輸出序列要求等長，seq2seq 突破了這一限制，使得RNN 的應用更加廣泛，在文本生成中也能生成不定長的文本序列。

本文在不使用平行語料庫的基礎上，通過對情感詞的提取利用強化學習算法對生成的反向情感詞文本進行改進，提升準確性和BLEU的評分。

2 SMRFGAN模型

在SMRFGAN 模型中，使用Fast Text 分類模型對文本進行分類后，為了定位情感詞，將分類后的文本以句向量的方式作為LSTM的輸入向量，并用self-attention[20-21]來預測文本情感詞極性，從而區(qū)分感情詞和非感情詞，將情感詞向量輸入到情感記憶模塊經過Generalization后放入存儲模塊當中，以此對情感記憶模塊進行更新，最后解碼器通過情感記憶模塊中存儲的情感詞和句子表示提取情感詞匯進行解碼重新組成文字序列，將重新生成的文本作為真實文本對生成器進行預訓練，Next action定義下一個被選擇的詞向量。同時判別器通過蒙特卡洛搜索樹和policy gradient算法對生成器進行更新。

以正向情感文本為例，即使用self-attention 將正向情感詞匯存儲在情感記憶網絡中，并依據(jù)原文本進行解碼，作為真實文本利用強化學習和生成對抗神經網絡生成負向情感的文本。SMRFGAN模型框架如圖1所示。

2.1 Data-LSTM

在Data-LSTM 模型中，本文首先使用Fast Text 對源文本針對情感詞的不同分為積極和消極兩類，再使用self-attention機制找出情感詞極性較大的情感詞存儲到情感詞記憶模塊當中，并結合源文本的句向量生成語義反轉后的文本作為接下來RFGAN（reinforcement learning）模型的“真實”數(shù)據(jù)對GAN進行訓練。

圖1 SMRFGAN模型圖

2.1.1 Fast Text

大多數(shù)情感分類方法使用的是樸素貝葉斯分類算法、支持向量機、卷積神經網絡和遞歸神經網絡來解決分類問題，而這些方法在語料類別較多的情況下會使得計算量增大。本文為了能有效將情感詞存入記憶網絡并且能減輕計算量，使用Fast Text快速對源文本進行情感詞分類。分類結果處理成句向量作為LSTM的輸入，以此為下一步情感詞定位及存儲做準備。

本文對源文本進行數(shù)據(jù)預處理，對每一行的數(shù)據(jù)進行打標，將正向的情感詞標記為正類，將負面情感詞標記為負類。在Fast Text分類時，為了能對文本準確分類以及能更好地區(qū)別句子，例如區(qū)分“I don"t like this type of movies，but I like this one”和“I like this type of movie，but I don"t like this one”，本文在一個句子的詞向量中加入了3-gram特征。將n-gram特征以及原文的單詞作為詞向量作為Softmax輸入以達到分類目的。

2.1.2 Multi-head attention

本文使用多頭注意力機制（Multi-head attention）賦予情感詞極性權重從而提取文本中情感詞極性較大的詞向量并存儲到接下來的情感記憶模塊中。

本文將分類后的文本處理為句向量，作為注意力機制中Query、Key、Value 的輸入。經過線性變換后，將經過放縮點積注意力的結果進行拼接來作為多頭注意力機制的結果。注意力機制模型圖如圖2 所示。用以下公式表示：

圖2 多頭注意力機制圖

2.1.3 記憶網絡

傳統(tǒng)的RNN/LSTM等模型的隱藏狀態(tài)或者Attention機制的記憶存儲能力太弱，無法存儲太多的信息，很容易丟失一部分語義信息，使用記憶網絡（memory networks）[22-23]通過引入外部存儲來記憶信息，提高在文本生成后能有較高的文本保存率。Memory network 框架圖如圖3所示。

圖3 記憶網絡框架圖

使用正向記憶模塊和負面記憶模塊對相應的情感記憶模塊進行更新，最后解碼器通過模塊中存儲的情感詞中提取最符合句子表達的情感詞匯進行解碼，將重新生成的文本作為真實文本利用強化學習和生成對抗神經網絡生成另一種極性的文本。具體在2.3節(jié)中進行介紹。

2.2 定位情感詞模型

在一句文本中，情感詞有很多，但每個情感詞表示的情感程度不同，首先找到對情感極性擁有最大判別力的情感詞。這一工作是通過情感文本分類器和自注意力（self-attention）來完成的。

為了能連接上下文，并體現(xiàn)情感詞極性在文本中的重要性，將at和LSTM中的隱藏層做積乘得到句向量，并將句向量c 作為全連接神經網絡層的輸入從而得出源文本中的情感詞極性的預測，其中at表示了第t 個單詞的注意力（attention）權重。用以下公式表示：

將句向量交給文本分類器以便于區(qū)分正面情感文本和負面情感文本。分類器使用Fast Text來處理。在訓練中，情感詞相較于非情感詞會被賦予更高的權重，這樣at可用來區(qū)分情感詞和非情感詞。傳統(tǒng)的self-attention機制在有多個情感詞時，這些情感詞的權重由1分配得到，但是，為了能識別最具極性的情感詞，需要每個情感詞的權重都由1 來分配，為了實現(xiàn)這一目的，將傳統(tǒng)的self-attention中分配權重的函數(shù)Softmax改為了sigmoid函數(shù)（attention 公式）。雖然sigmoid 函數(shù)將每個情感詞的權重分配到了0 和1 之間，但是并不能通過這些分配的權重在文本中利用情感詞的極性區(qū)分情感詞和非情感詞，所以采用了平均值的方法進行情感詞的劃分，即將大于平均值的權重分配給1，將小于平均值的權重分配給0。在分配權重后，把定義權重的at重新定義為用? 表示識別的情感詞，表示識別的非情感詞。

2.3 情感記憶模塊

在對文本分出情感詞和非情感詞之后，情感記憶模塊將用來保存情感詞性較大的情感詞。Encoder 和decoder都使用LSTM網絡。

為了把非情感詞文本序列輸入LSTM的encoder中：如果xi作為文本單詞，當接近0 的時候趨近于xi，那么序列就可以當作是非情感詞向量的encoder 序列，這樣就能滿足LSTM 的編碼器進行編碼。將這一情感詞向量作為ht的文本向量輸入到LSTM最后一個模塊( ht,ct)，即作為輸入的內容的表示。

為了能使生成的文本情感符合上下文，來自源文本的情感詞向量能夠使情感詞記憶模塊進行更新。因為提取出了兩個情感詞性即正向的情感詞性和負向的情感詞性，所以用pos ∈Re×?來表示正向情感詞的記憶模塊，用neg ∈Re×?來表示負向情感詞的記憶模塊，其中e代表的是詞向量的大小，?代表記憶模塊的大小參數(shù)。

本文以正向情感詞為例，用Npos來表示存儲正向情感詞信息的句向量。將和xi帶入公式（3），得到Npos，公式表示為：

隨后通過自注意力機制尋找在正向詞情感記憶模塊矩陣中與相關情感詞最貼近的列向量。注意力機制的權重向量用Npos轉置矩陣與pos 相乘，并且利用Softmax 函數(shù)使乘積散布在0 和1 之間，用w 表示。為了使得正向情感記憶模塊pos 進行更新，將存儲正向情感詞信息的句向量Npos和注意力機制的權重向量w 進行外積得到一個新矩陣，然后和現(xiàn)有的正向情感記憶模塊pos 相加，隨后得到新的即更新的正向情感記憶模塊。公式表示為：

在情感記憶模塊的更新中由于關系到和注意力機制的權重向量w 的外積，所以存儲正向情感詞信息的句向量Npos的更新也顯得尤為重要。

氣體水合物生成實驗體系包括供氣系統(tǒng)、溫壓調節(jié)系統(tǒng)、恒溫水浴系統(tǒng)和數(shù)據(jù)采集系統(tǒng)4大部分。圖1為水合物生成的實驗裝置示意圖。

2.4 RFGAN模型

為了能有效判斷生成數(shù)據(jù)與真實數(shù)據(jù)間的損失值，本文使用policy gradient強化學習算法對梯度算法進行優(yōu)化并用蒙特卡洛搜索樹指導GAN生成器每次訓練的更新，使GAN 能處理離散型數(shù)據(jù)以及優(yōu)化生成器和辨別器。

本文給定一個假定的“真實”數(shù)據(jù)集，訓練一個參數(shù)是α 的LSTM 作為生成器模型。用{ x1,…,xt-1,xt} 表示為每一個LSTM長期記憶單元輸入的詞向量，將這些詞向量作為序列輸入到LSTM的隱藏層當中，用一個更新函數(shù)g 進行遞歸，并且使用Softmax函數(shù)來對隱藏層的輸出數(shù)據(jù)進行概率分配。用以下公式表示：

從而生成序列y1:T=( y1,y2,…,yt,…,yT)，并且yt∈Y ，其中Y 表示為存儲單詞的詞典，其中policy模型參數(shù)為Gα( yt|Yt-1)。同時也訓練一個辨別器（discriminator）用于對生成器進行指導改進。生成器模型通過Policy Gradient和經過辨別器得到的期望值進行更新。

根據(jù)Policy Gradient算法，本文生成器的優(yōu)化目標公式為：

其中，RT表示完整序列的期望值，s0表示初始狀態(tài)，表示動態(tài)取值函數(shù)，其函數(shù)的定義為：

即對完整序列(Y1:t)進行評估從而得到期望值，Dβ(Y1:t)表示生成的向量序列是“真實”數(shù)據(jù)的概率并作為期望值。但為了能對任意一個狀態(tài)的值都有定義，本文使用了蒙特卡洛樹搜索辦法[24]進行改進，如此便得到了每個階段的期望值，通過Policy Gradient算法對生成器進行訓練。改進后的動態(tài)取值函數(shù)為：

判別器模型使用的是卷積神經網絡（CNN）模型。首先對{x1,…,xt-1,xt}文本的詞向量構建矩陣，作為卷積神經網絡的最初的輸入數(shù)據(jù)，用公式（12）來表示：

⊕表示對輸入的詞向量進行矩陣運算，然后通過卷積核對以一個單詞為單位的卷積核窗口大小進行特征的提取，公式表示如下所示：

本文使用Dβ判別器作為期望函數(shù)的好處在于能動態(tài)改進生成模型，一旦生成器生成的序列經判別器判別為接近真實數(shù)據(jù)的序列，那么判別器的更新公式如下：

即使用對數(shù)損失函數(shù)進行判別器的訓練。

2.5 算法流程

本文算法步驟如下：

步驟1 文本分類

對源文本進行停用詞和詞性標注，并根據(jù)停用詞表去除無關詞匯。將進行過數(shù)據(jù)處理后的文本作為CNN的輸入層，通過卷積和池化提取文本特征向量，最后通過Softmax函數(shù)輸出positive和negative兩種類別的文本。

步驟2 定位情感詞

分別將positive 文本和negative 文本作為LSTM 的輸入，在LSTM 的隱藏層中經過公式（1）、（2）輸出情感詞極性較大的情感詞的權重。

步驟3 情感詞記憶

通過公式（3）～（6）得到情感詞極性權重在平均值以上的句向量并對情感記憶模塊進行更新。最后在LSTM的輸出層根據(jù)上下文解碼出極性相反的文本。

步驟4 RFGAN生成文本

將步驟3 生成的文本作為生成器的原始文本并且對生成器和辨別器進行預訓練，通過公式（9）對生成器進行優(yōu)化生成文本。訓練時通過公式（10）、（11）對生成的句向量進行評分并通過公式（14）對判別器進行更新。

3 實驗

本文使用yelp 評論數(shù)據(jù)集來進行訓練。首先對yelp 數(shù)據(jù)集用FastText 進行情感詞的分類，不同詞性的文章用不同的標簽來表示。用分類處理后的數(shù)據(jù)集進行預訓練、訓練和測試。在用CNN進行情感分類時，準確率達到了93%。

首先定義了預訓練過程中生成器的優(yōu)化器，即通過Adam Optimizer[25]來最小化交叉熵損失，隨后通過Data-LSTM網絡來產生生成器的訓練數(shù)據(jù)，利用數(shù)據(jù)讀取類來讀取每一個batch的數(shù)據(jù)。同時，每隔一定的步數(shù)，會計算生成器與Data-LSTM 的相似性。對于判別器的預訓練則是通過生成器預訓練完成后得到的負樣本和Data-LSTM模型生成的正樣本進行結合，來對辨別器進行預訓練。

在本文中，將生成器生成的樣本即負樣本標為0，將通過Data-LSTM模型得到的樣本標為1。

3.1 實驗設置

為了能使實驗收斂，在預訓練時迭代次數(shù)為120次，在第65 次實驗準確度趨于平穩(wěn)，正式訓練迭代150次，在第110 次時實驗趨于平穩(wěn)。在模型Data-LSTM中，bach 的大小為64，學習率設置為0.001，記憶模塊的參數(shù)?=60。詞向量的維度設置為128。對于不同任務，用不同的卷積層來處理數(shù)據(jù)，卷積核的大小在1到t之間，每個卷積核的數(shù)量在100 到200 之間。本文使用DropOut 和L2 正則化來防止過擬合的發(fā)生。在測試階段，用Gα生成了100 000 個測試數(shù)據(jù)和預訓練時Gα生成的樣本進行計算，并取得平均值。

3.2 目標評價函數(shù)

用ACC 來表示文本語義轉換的準確率，用CON 來表示文本情感轉換后文本的保存率，用BLEU[26]來計算輸出文本和源文本間的文本保存程度，BLEU 越高，代表模型轉換后的文本質量越高，越接近人工翻譯水平。目標公式表示如下：

其中，BP 表示懲罰因子，用來解決評分偏向性。BLEU采用加權平均對句子的生成質量進行評估。

其中，TP 表示實際為正，預測為正的樣本數(shù)；FN 表示實際為正，預測為負的樣本數(shù)；TN 表示實際為負，預測為負的樣本數(shù)；FP 表示實際為負，預測為正的樣本數(shù)。

doc1和doc2分別表示為源文本和生成文本的共有字符數(shù)量，length(doc)表示文本的最長字符數(shù)。

3.3 實驗結果及分析

本實驗與2019年國際人工智能聯(lián)合會議以及2018年在AAAI 國際人工智能聯(lián)合會議上發(fā)表的文本風格遷移的實驗結果進行了對比分析，結果中采用了論文中各個模型的結果與本文結果進行對比。在實驗中，SMGAN平均在第15輪的時候準確率開始收斂，而CAE和MAE模型在第25輪左右開始收斂，Retri、BackTrans、Del模型均在15到25輪之間開始收斂，并且SMGAN和其他5個模型對源文本的文本保存率對比也有1%左右的提升。對比結果如表1～3、圖4所示。

表1 模型準確率和BLEU對比

表2 對Data-LSTM模型測試

本文對各個模型在三維空間中散點分布進行了對比，從圖4可以清晰地看出本文模型在擁有較高的準確率上還保持了高BLEU評分以及高文本保存率。

本文在使用SMGAN 生成文本之前需要利用Data-LSTM模型生成“真實數(shù)據(jù)”，所以為了測試Data-LSTM模型的有效性對比了加入情感記憶模塊和未加入情感記憶模塊兩種情況下文本生成的精度和BLEU 的性能。如表2所示。

表3 對比模型生成句子示例

圖4 各模型散點對比

表3 中顯示了由不同模型生成的幾個隨機選擇的示例句子，這些示例能清楚地表明本文提出的模型可以生成與基線相比在輸入文本上更具語義相關性的句子。

由表1 和表2 可知兩種對比模型的準確率都比較高，但是BLEU 值卻比較低，很大的可能是因為在不使用平行語料庫的情況下，試圖將情感詞向量與句向量中的情感詞信息進行分離，導致了只是輸出具有目標情緒的句子。而Data-LSTM 模型因為使用了self-attention機制，明確地刪除了情感詞，從而對源文本的內容的保護有了較大的改進。而從加入情感記憶模塊和未加入情感記憶模塊的對比中可以看出在加入了情感記憶模塊后，準確率有62.39個百分點的改進，這體現(xiàn)出了情感記憶模塊是保證文本情感轉換的重要部分。

對比表3 得到的句子生成示例，相比之下，本文模型使得輸入的文本具有更高的語義相關性。CAE 模型通過學習與風格無關的內容來表示成向量，MAE 模型通過刪除特定樣式屬性詞進而很好地保留內容。但是當輸入的句向量中含有隱式表達樣式時，這兩個系統(tǒng)可能會不能很好地訓練出成功的示例。而本文的模型在保持內容和保持準確率以及提升BLEU 評分的工作上實現(xiàn)了較好的平衡。

4 結束語

本文針對語義反轉中不使用平行語料庫以及針對生成對抗神經網絡生成文本加入了情感記憶模塊進行改進。本文先使用FastText 文本分類方法對源文本進行情感分類，然后通過self-attention 方法對分類后的正向情感文本和負向情感文本分別通過權重的大小提取具有最大情感極性的情感詞，接著將這些情感詞分別放入positive記憶模塊和negative記憶模塊，再通過解碼的方式輸出文本作為生成對抗神經網絡預處理的數(shù)據(jù)。生成器通過強化學習中的policy gradient算法反饋一個權重值，通過這個權重來更新生成器的參數(shù)，辨別器則通過MC search reward 算法立即評估當前得到的詞向量的好壞，從而對判別器進行更新優(yōu)化。通過對比實驗可以看出本文的方法對數(shù)據(jù)集情感轉換的BLEU 和Accuracy 明顯的提高，但本文方法還有很大的提升空間，如何使文本內容和風格一起進行轉換，從而達到更好的不同模型間的優(yōu)勢互補是下一步工作的重點。