黃若孜,張 謐

1(復(fù)旦大學(xué) 軟件學(xué)院,上海 201203)

2(復(fù)旦大學(xué) 上海市智能信息處理重點(diǎn)實(shí)驗(yàn)室,上海 201203)

近年來,文本風(fēng)格遷移是自然語(yǔ)言處理中的一個(gè)熱點(diǎn),該領(lǐng)域深刻影響著很多NLP 應(yīng)用的發(fā)展,比如在生成詩(shī)歌的任務(wù)中,利用風(fēng)格遷移的方法來生成不同風(fēng)格的詩(shī)歌[1].文本風(fēng)格遷移的目標(biāo)是將原文本重寫成其他的風(fēng)格的新文本,新文本應(yīng)該流暢逼真,同時(shí)保留原文本中與風(fēng)格無關(guān)的其他的信息.舉例來說,從Yelp 數(shù)據(jù)集中可以拿到用戶對(duì)餐廳的評(píng)論,我們希望將這些評(píng)論從正面改為負(fù)面,此時(shí)文本的風(fēng)格即為評(píng)論中包含的態(tài)度.對(duì)于這個(gè)任務(wù),如果有評(píng)論的內(nèi)容一一對(duì)應(yīng)而態(tài)度相反的兩組文本集,我們可以很容易的設(shè)計(jì)一個(gè)Seq2Seq 的模型、有監(jiān)督的進(jìn)行訓(xùn)練.然而,在大部分風(fēng)格遷移的場(chǎng)景中,這樣的數(shù)據(jù)集是缺失的,于是很多研究者選擇利用沒有成對(duì)句子的數(shù)據(jù)集學(xué)習(xí)文本風(fēng)格遷移的模型.

在已有的文本風(fēng)格遷移的研究中,絕大部分工作都認(rèn)為一個(gè)文本集的風(fēng)格是一個(gè)認(rèn)為給定的標(biāo)簽,而不是從文本集中自動(dòng)提取的表示.比如對(duì)于Yelp 數(shù)據(jù)集,評(píng)分大于(小于)3 的評(píng)論被認(rèn)定為正面(負(fù)面)態(tài)度.從這個(gè)觀點(diǎn)出發(fā),一種常見的思路是學(xué)習(xí)句子與風(fēng)格無關(guān)的語(yǔ)義表示,然后利用這個(gè)表示和另一種風(fēng)格的標(biāo)簽恢復(fù)出句子[2-4],這實(shí)際上是假設(shè)句子包含的語(yǔ)義信息和風(fēng)格信息是相互獨(dú)立的.具體來說,這些工作利用自編碼器將不同的風(fēng)格的句子壓縮到一個(gè)共享的語(yǔ)義空間,并將來自不同風(fēng)格文本集的語(yǔ)義表示的分布進(jìn)行對(duì)齊,這可以通過附加一個(gè)分類器實(shí)現(xiàn),分類器試圖區(qū)分出句子的域,而自編碼器試圖騙過這個(gè)分類器,經(jīng)過對(duì)抗的訓(xùn)練,最終使學(xué)到的語(yǔ)義表示不包含風(fēng)格標(biāo)簽的信息.

雖然上述基于對(duì)抗訓(xùn)練的模型可以取得一定的效果,但是正如文獻(xiàn)[5,6]所指出,這些工作難以同時(shí)改變風(fēng)格并且保留其他的語(yǔ)義信息.這些觀察表明,由于句子中風(fēng)格和語(yǔ)義信息是以復(fù)雜的方式混雜在一起的,獨(dú)立性假設(shè)可能是不合理的.此外,基于對(duì)抗訓(xùn)練的方法往往收斂緩慢,非常耗時(shí).

在本文中,對(duì)于文本的風(fēng)格,我們提出了新的觀點(diǎn):如果可以將句子的全部語(yǔ)義信息壓縮到一個(gè)連續(xù)空間中,則得到的向量包含了該句子全部的語(yǔ)義信息.那么一組句子的風(fēng)格,可以被其對(duì)應(yīng)語(yǔ)義向量的高階統(tǒng)計(jì)量所捕捉.在具體的實(shí)驗(yàn)設(shè)置中,我們選擇了協(xié)方差矩陣來捕捉文本的風(fēng)格.圖1中,我們將Yelp 中的評(píng)論按照對(duì)應(yīng)的評(píng)分劃分成小的文本集,并且分別計(jì)算其對(duì)應(yīng)的協(xié)方差矩陣,然后我們對(duì)得到的四個(gè)矩陣進(jìn)行特征值分解,保留了各自前50 維特征向量繪制成熱力圖.可以看到,隨著評(píng)論態(tài)度的變化,得到的特征向量的顏色呈規(guī)律性漸變.這說明了協(xié)方差矩陣確實(shí)能夠捕捉文本風(fēng)格,甚至可以區(qū)分出風(fēng)格的強(qiáng)度.

圖1 Yelp 對(duì)應(yīng)不同評(píng)分的文本子集的協(xié)方差矩陣

基于這一觀點(diǎn),我們提出了一種半監(jiān)督學(xué)習(xí)的方法將句子映射到一個(gè)連續(xù)空間,使得來自不同文本集句子的連續(xù)表示是可分的.之后我們提出了一對(duì)矩陣變換的算子,將語(yǔ)義向量先后經(jīng)過白化和風(fēng)格化變換以實(shí)現(xiàn)風(fēng)格遷移.

后文組織如下:第1 節(jié)介紹如何獲得文本集中風(fēng)格的表示;第2 節(jié)介紹白化-風(fēng)格化遷移算法;第3 節(jié)介紹實(shí)驗(yàn)設(shè)置以及實(shí)驗(yàn)結(jié)果;第4 節(jié)進(jìn)行總結(jié)各前50 維特征向量的熱力圖.其中R5 對(duì)應(yīng)最正面的評(píng)價(jià)的文本集,R1 對(duì)應(yīng)最負(fù)面的評(píng)價(jià)的文本集.

1 獲取文本中的風(fēng)格信息

1.1 句子的語(yǔ)義向量

對(duì)于句子x={x1,x2,···,xn},其中xi是詞表中的單詞,我們首先需要將句子嵌入到連續(xù)空間.雖然目前已有很多成熟的句嵌入算法[7,8],但是為了便于進(jìn)行后續(xù)的風(fēng)格遷移工作,我們需要該空間滿足以下兩個(gè)條件:

(1)句嵌入應(yīng)該是無損的、可以被重建的.

(2)不同文本集得到向量應(yīng)該是可分的.

其中第一點(diǎn)意味著該向量需要包含句子的全部信息,以便于我們從向量中恢復(fù)出原始的句子;第二點(diǎn)意味著,來自不同文本集的句子在該空間構(gòu)成的分布應(yīng)該盡可能不重疊.

我們首先利用映射函數(shù)E:x→z∈Rd,將句子從原始離散空間映射d維連續(xù)空間.為了滿足條件(1),我們需要一個(gè)逆向的映射函數(shù)D:z→y,重建文本y={y1,y2,···,yn}滿足y=x,這兩組映射構(gòu)成一個(gè)自編碼器.由于原始文本和重建文本都是離散的序列,我們選擇用常見的Seq2Seq模型[9]來實(shí)現(xiàn)這個(gè)自編碼器.Seq2Seq 模型是一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN),對(duì)于成對(duì)的序列通過最小化重建誤差進(jìn)行端到端訓(xùn)練的模型,比如機(jī)器翻譯任務(wù)中,有英文和法文一一對(duì)應(yīng)的訓(xùn)練集,就可以使用Seq2Seq模型進(jìn)行訓(xùn)練.使用Seq2Seq 模型可以選擇不同的循環(huán)單元,在本文的實(shí)驗(yàn)部分,我們驗(yàn)證了使用長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM),門控循環(huán)單元網(wǎng)絡(luò)(GRU),以及雙向的GRU 等都可以很好的獲取文本的風(fēng)格.下面我們以LSTM 為例,對(duì)自編碼器的訓(xùn)練目標(biāo)進(jìn)行說明.

用作編碼器的循環(huán)單元記為L(zhǎng)STME,第i次迭代得到的隱變量記做hi,經(jīng)過下式所示編碼過程,原始句子被映射為語(yǔ)義向量z:

用作解碼的循環(huán)單元記做LSTMD,得到的隱變量記做si:

為了從隱變量預(yù)測(cè)出具體的詞,可以經(jīng)過一個(gè)全連接層之后再做Softmax 變換,這樣就得到了詞表V中各個(gè)詞在當(dāng)前位置i出現(xiàn)的概率,從這個(gè)概率中采樣單詞來生成句子:

其中,W1∈R|V|×d.

自編碼器的目標(biāo)是重建出輸入的文本,可以通過最小化下式交叉熵?fù)p失函數(shù)來實(shí)現(xiàn):

我們?cè)賮砜紤]第二個(gè)句嵌入的條件,為了使得來自不同文本集的向量的分布盡可能不重疊,可以加入一個(gè)分類器來半監(jiān)督的訓(xùn)練.假設(shè)有兩個(gè)文本集X1和X1,我們利用同一個(gè)自編碼器來將兩組文本映射到同一個(gè)d維空間,在這個(gè)空間中我們定義了如下分類器:

其中,f代表flatten 函數(shù),作用是將矩陣展平成一個(gè)向量;W2∈Rd2是一個(gè)線性變換,可以產(chǎn)生一個(gè)標(biāo)量,這個(gè)標(biāo)量經(jīng)過Sigmoid 函數(shù)得到一個(gè)概率值,表示該句子來自第一個(gè)文本集的可能性.我們?yōu)閮蓚€(gè)文本集的文本標(biāo)定標(biāo)簽t為0 或1,然后利用如下目標(biāo)函數(shù)進(jìn)行訓(xùn)練:

最終的訓(xùn)練目標(biāo)為:

其中,α是調(diào)節(jié)兩部分相對(duì)權(quán)重的超參數(shù).

1.2 文本集的風(fēng)格

在日常的生活中,人們總是可以直觀感受到不同文本的風(fēng)格差異.在很多語(yǔ)言學(xué)的文獻(xiàn)中[10],也已經(jīng)有了一些成熟的理論來描述生活中的風(fēng)格現(xiàn)象.為了得到機(jī)器可以理解的文本風(fēng)格的表示,我們先給出該表示需要滿足的性質(zhì),這些性質(zhì)與我們的經(jīng)驗(yàn)是一致的.

首先,文本的風(fēng)格是一種統(tǒng)計(jì)現(xiàn)象.單一句子無法形成一種“風(fēng)格”,而包含多個(gè)句子的文本集中蘊(yùn)含著人類可以辨別的風(fēng)格.因此我們要學(xué)到的表示是對(duì)文本集整體而言的.第二,文本的風(fēng)格蘊(yùn)含在文本的語(yǔ)義中.舉例來說,對(duì)于評(píng)論“The food is awful and I will not come again.”來說,如果認(rèn)為情緒是一種風(fēng)格,我們很難區(qū)分“not come”是句子的語(yǔ)義部分還是風(fēng)格部分,這兩部分信息往往不是相互獨(dú)立的.最后,文本的風(fēng)格是有不同強(qiáng)度的,如果將上面的句子改為“The food is so awful and I will never come again.”,盡管都是負(fù)面的評(píng)價(jià),蘊(yùn)含的情緒會(huì)比原句更強(qiáng)烈一點(diǎn).

為了滿足這些性質(zhì),我們提出了用文本集語(yǔ)義向量的協(xié)方差矩陣來捕捉文本的風(fēng)格.對(duì)于有N個(gè)句子的文本集,假設(shè)所有語(yǔ)義向量構(gòu)成的集合為Z=[z1,z2,···,zN]∈Rd×N,則協(xié)方差矩陣為:

為了驗(yàn)證該矩陣是否能夠捕捉文本的風(fēng)格,我們用Yelp 數(shù)據(jù)集中評(píng)分為1、2、4、5 的評(píng)論各自構(gòu)成文本集,取這4 個(gè)文本集的協(xié)方差矩陣的前50 維特征向量,進(jìn)行了可視化.圖1表明,我們提出的表示確實(shí)可以捕捉文本集的風(fēng)格,甚至可以區(qū)分風(fēng)格的強(qiáng)度.

2 一種無學(xué)習(xí)的風(fēng)格遷移方法

為了利用我們提取的風(fēng)格表示控制文本集的風(fēng)格,我們提出了一種基于矩陣變換的文本風(fēng)格遷移方法:如果語(yǔ)義向量的協(xié)方差矩陣可以代表文本集的風(fēng)格,我們可以直接將另一個(gè)文本集的協(xié)方差調(diào)整至和該文本集相同,從而實(shí)現(xiàn)風(fēng)格的“對(duì)齊”.

由于協(xié)方差矩陣是半正定的,可以進(jìn)行特征值分解:

其中,Λ是由S特征值構(gòu)成的對(duì)角矩陣,P是由對(duì)應(yīng)的特征向量構(gòu)成的正交矩陣

如果有兩個(gè)文本集X1和X2,根據(jù)第1 節(jié)的方法,我們可以得到各自的風(fēng)格表示S1和S2.現(xiàn)在想要將第二個(gè)文本集的風(fēng)格遷移成和第一個(gè)文本集相同,為此我們對(duì)第二個(gè)文本集的語(yǔ)義向量組Z先后進(jìn)行如下矩陣變換:

ZCA 白化:白化變換會(huì)拆除向量各維度之間的相關(guān)性,經(jīng)過白化之后的向量協(xié)方差矩陣為單位矩陣:

風(fēng)格化:風(fēng)格化是白化的逆變換,可以按照第一個(gè)文本集的風(fēng)格重新建立各維度直接的相關(guān)性.

上式展示了如何將文本集X2遷移為X1的風(fēng)格,反之亦然.整個(gè)遷移的過程不需要訓(xùn)練一個(gè)端到端的網(wǎng)絡(luò)結(jié)構(gòu),只需要進(jìn)行矩陣變換.將變換后的向量用1.1 節(jié)定義的解碼器進(jìn)行解碼,即得到了遷移之后的句子.

整個(gè)模型結(jié)構(gòu)見圖2,兩側(cè)方框表示文本集,梯形框表示需要訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu),中心方框表示實(shí)現(xiàn)風(fēng)格遷移的白化-風(fēng)格化變換算子.整個(gè)算法步驟如下:

圖2 無學(xué)習(xí)的風(fēng)格遷移方法

算法1.白化-風(fēng)格化算法(1)預(yù)訓(xùn)練:對(duì)于左側(cè)情緒分別為正負(fù)的兩個(gè)文本集,利用自編碼器進(jìn)行重建,同時(shí)在隱層語(yǔ)義空間中利用一個(gè)分類器半監(jiān)督的訓(xùn)練,從而調(diào)整該空間的分布.(2)獲取風(fēng)格表示:預(yù)訓(xùn)練收斂以后,用得到的語(yǔ)義向量,得到兩個(gè)文本集的語(yǔ)義協(xié)方差矩陣.(3)風(fēng)格遷移:利用白化-風(fēng)格化變換算子將兩個(gè)文本集的語(yǔ)義向量進(jìn)行風(fēng)格遷移,遷移后的向量利用已經(jīng)訓(xùn)練好的解碼器進(jìn)行解碼.

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

我們使用了Yelp 數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn),該數(shù)據(jù)集收集了Yelp 網(wǎng)站上用戶對(duì)餐廳的評(píng)價(jià).其中每一句評(píng)價(jià)都與一個(gè)從1 到5 的分值相關(guān)聯(lián),分值越高意味著該評(píng)價(jià)越正面.我們將該分值超過3 的作為情緒正面的文本,低于3 的作為情緒負(fù)面的文本,從而得到一組風(fēng)格對(duì)立的文本集,在這一對(duì)文本集上,我們利用提出的白化-風(fēng)格化算法進(jìn)行風(fēng)格遷移.經(jīng)過上述處理的Yelp文本集的詞表大小為9603,訓(xùn)練集中包含173000 個(gè)情緒正面的句子和26300 個(gè)情緒負(fù)面的句子,驗(yàn)證集中分別包括37 614 和24 849 個(gè)句子,測(cè)試集分別包括76392和50278 個(gè)句子.

我們使用了以下兩個(gè)基于對(duì)抗訓(xùn)練的基線模型:

CrossAligned[3]:該模型假設(shè)不同風(fēng)格的文本集存在一個(gè)共享的、與風(fēng)格無關(guān)的語(yǔ)義空間,該模型通過對(duì)抗的訓(xùn)練來對(duì)齊不同文本集在這個(gè)空間的分布,以達(dá)到去除風(fēng)格信息的目的.

StyleEmbedding[2]:該模型顯式地學(xué)習(xí)了不同風(fēng)格的嵌入,將風(fēng)格嵌入和語(yǔ)義向量一起作為解碼器的輸入,從而對(duì)于多種風(fēng)格,只需要一個(gè)自編碼器.

本文使用了以下兩個(gè)指標(biāo)來評(píng)估模型在不成對(duì)文本風(fēng)格遷移上的表現(xiàn):

Accuracy:為了評(píng)估生成的文本是否符合預(yù)期的風(fēng)格,我們首先在訓(xùn)練集上預(yù)訓(xùn)練了一個(gè)文本風(fēng)格的分類器,該分類器使用TextCNN 模型[11],在測(cè)試集上的分類準(zhǔn)確率可達(dá)到97.23%.我們用該分類器對(duì)遷移之后的文本的分類準(zhǔn)確率作為評(píng)估指標(biāo),也就是說,遷移之后的文本越多可以“騙過”風(fēng)格分類器,在這一指標(biāo)的表現(xiàn)越好.

BLEU:為了評(píng)估生成的文本在改變了風(fēng)格的同時(shí)是否保留了源文本的內(nèi)容信息,我們以源文本為參考文本計(jì)算了累積4-gramBLEU 值.BLEU 越高,意味著和源文本更加相似.

正如文獻(xiàn)[5,6]提出的,這兩個(gè)指標(biāo)之間往往呈負(fù)相關(guān).直觀來看,成功的改變句子的風(fēng)格會(huì)不可避免的降低BLEU 值.所以我們需要一個(gè)綜合指標(biāo)來判斷模型的效果,由于兩個(gè)指標(biāo)的區(qū)間相同,我們簡(jiǎn)單的取均值來評(píng)估,其他的綜合評(píng)估的方法留待之后的工作探索.

我們還考察了不同模型的效率,用不同模型的訓(xùn)練時(shí)間來評(píng)判.所有實(shí)驗(yàn)都在同一個(gè)Linux 服務(wù)器上運(yùn)行,該服務(wù)器搭載Ubuntu 16.04 系統(tǒng),使用Intel theanoXeon E5-2620 v4 的32 核處理器和兩塊NVIDIA GeForce GTX 1080 顯卡.

3.2 實(shí)驗(yàn)結(jié)果

我們先使用CBOW 算法[12]將詞表嵌入到一個(gè)300維的連續(xù)空間中,然后固定學(xué)到的詞嵌入,利用我們提出的白化-風(fēng)格化遷移算法在多種循環(huán)單元上進(jìn)行了實(shí)驗(yàn).用到的網(wǎng)絡(luò)結(jié)構(gòu)包括300 維的LSTM(WSLSTM),300 維的GRU(WS-GRU),以及兩個(gè)方向各150 維的雙向GRU(WS-BiGRU),我們也實(shí)驗(yàn)了引入了注意力機(jī)制的效果(WS-attention).對(duì)所有的結(jié)構(gòu),在預(yù)訓(xùn)練階段超參數(shù) α都設(shè)置為1,訓(xùn)練50 個(gè)epochs,此外我們還設(shè)置了一個(gè)沒有監(jiān)督信息的對(duì)照組(WSunsupervised),超參 α設(shè)置為0;在之后的階段,除了LSTM 拼接了隱層狀態(tài)和單元狀態(tài)得到了600 維的語(yǔ)義向量,其他結(jié)構(gòu)都使用300 維的隱層狀態(tài)作為句子的語(yǔ)義向量.

將基線模型和基于不同結(jié)構(gòu)的白化-風(fēng)格化算法的表現(xiàn)展示為圖3.可以看到本文設(shè)置的對(duì)照組WS-unsupervised 在保留語(yǔ)義內(nèi)容上效果特別好,但是風(fēng)格遷移的能力較差,這是因?yàn)樵陬A(yù)訓(xùn)練階段沒有引入風(fēng)格類別的監(jiān)督信號(hào),這樣學(xué)到的語(yǔ)義空間不滿足我們提出的第二個(gè)條件,不同文本集得到語(yǔ)義向量不可分.在引入了監(jiān)督信號(hào)后,Accuracy 得到的巨大的提高,同時(shí)BLEU 值有所下降,綜合表現(xiàn)優(yōu)于WS-unsupervised.注意到,此時(shí)各種網(wǎng)絡(luò)結(jié)構(gòu)下我們的模型都是優(yōu)于兩個(gè)基線模型的,除了WS-attention,這是因?yàn)橐胱⒁饬C(jī)制后,得到的語(yǔ)義空間不滿足我們提出的第一個(gè)條件,語(yǔ)義信息不是無損的嵌入到這個(gè)空間里,很多信息是由編碼器直接提供給了解碼器.

圖3 實(shí)驗(yàn)結(jié)果

表1展示了不同模型訓(xùn)練到收斂的時(shí)間,可以看到,我們的模型只在預(yù)訓(xùn)練階段需要端到端的學(xué)習(xí)一個(gè)自編碼器,風(fēng)格遷移的階段是不需要學(xué)習(xí)的,整體效率遠(yuǎn)遠(yuǎn)高于基于對(duì)抗訓(xùn)練的基線模型.

表1 不同模型的訓(xùn)練時(shí)間(單位:s)

4 結(jié)語(yǔ)

本文提出了一種從文本集中提取風(fēng)格信息的方法,即將句子嵌入到連續(xù)的語(yǔ)義空間,利用這些語(yǔ)義向量的協(xié)方差矩陣來捕捉風(fēng)格.利用提取到的風(fēng)格表示,我們進(jìn)一步提出了一種基于矩陣變換的風(fēng)格遷移方法,即白化-風(fēng)格化算法.實(shí)驗(yàn)表明,該算法的效率遠(yuǎn)遠(yuǎn)高于基線模型,同時(shí)遷移的效果也更好.