管夢(mèng)雨，王中卿，李壽山,周國棟

(蘇州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 蘇州 215006)

0 引言

人機(jī)對(duì)話系統(tǒng)目前受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。構(gòu)建一個(gè)較完備的人機(jī)對(duì)話系統(tǒng)涉及NLP技術(shù)的很多方面，如句法分析[1]、命名實(shí)體識(shí)別[2]等。文本研究的是多輪對(duì)話生成任務(wù)，具體來說就是根據(jù)說話者之間已經(jīng)發(fā)生的對(duì)話信息，自動(dòng)生成自然合理的回復(fù)，在信息交互的過程中協(xié)助用戶完成特定的任務(wù)。隨著端到端框架在機(jī)器翻譯[3]領(lǐng)域取得了較好的效果，學(xué)者們將其應(yīng)用到對(duì)話生成任務(wù)中，即將歷史對(duì)話信息作為編碼器的輸入，經(jīng)過編碼器與解碼器的映射得到回復(fù)。

在對(duì)話中，主題簡要地表明了整段對(duì)話的內(nèi)容，用于理解對(duì)話的含義；情感表明了話語的極性，用于識(shí)別說話者的觀點(diǎn)；意圖作為話語的語義標(biāo)簽，用于描述說話者的動(dòng)作意圖。原則上，對(duì)主題、情感和意圖的識(shí)別有助于對(duì)話語內(nèi)容的理解。表1給出了一組對(duì)話示例，整段對(duì)話是關(guān)于“日常生活”的討論且對(duì)話中的每句話都有明確的情感和意圖傾向。我們發(fā)現(xiàn)，同一說話者的情感往往是保持不變的；說話者B作為對(duì)話中被動(dòng)的一方，意圖往往受到對(duì)話發(fā)起者A的意圖的影響。因此本文通過識(shí)別對(duì)話的主題及每個(gè)話語的情感和意圖，對(duì)生成的回復(fù)進(jìn)行約束。若我們要生成的是第二輪回話中說話者B的回復(fù)，本文方法將生成與對(duì)話主題相關(guān)、情感傾向于“中性”、意圖傾向于“承諾”的回復(fù)，而不是我們通常得到的例如“好的”“我不知道”等安全回復(fù)[4]。

表1 對(duì)話示例

以往的對(duì)話生成模型中往往忽視了主題、情感和意圖傾向的重要性，因此本文提出了基于對(duì)話約束的回復(fù)生成模型。具體來說，在訓(xùn)練階段，一方面，編碼器中我們采用單詞級(jí)別的LSTM網(wǎng)絡(luò)對(duì)對(duì)話歷史信息中的每個(gè)子句進(jìn)行特征抽取，得到每個(gè)上下文特征向量。我們將所有的上下文特征向量整合為一個(gè)固定維度的向量作為整組對(duì)話的中間語義向量。解碼器中我們同樣采用單詞級(jí)別的LSTM網(wǎng)絡(luò)，同時(shí)考慮中間語義向量和目標(biāo)回復(fù)向量生成回復(fù)。另一方面，我們用上下文的特征向量和生成回復(fù)的特征向量來預(yù)測(cè)整段對(duì)話的主題和每個(gè)子句的情感和意圖。本文方法中，主題預(yù)測(cè)模型、情感預(yù)測(cè)模型、意圖預(yù)測(cè)模型和對(duì)話生成模型共享了編碼和解碼階段的參數(shù)。在編碼階段，通過對(duì)主題、情感、意圖的識(shí)別，我們可以更好地理解對(duì)話中各子句的語義，生成更高質(zhì)量的中間向量；在解碼階段，在更高質(zhì)量的中間語義向量的基礎(chǔ)上，對(duì)生成回復(fù)的情感和意圖進(jìn)行識(shí)別，使得我們生成的回復(fù)與對(duì)話信息相關(guān)且具有合理的情感和意圖傾向。在生成階段，我們僅需將歷史對(duì)話信息作為模型輸入，即可生成更高質(zhì)量的回復(fù)。在DailyDialog數(shù)據(jù)集上的相關(guān)實(shí)驗(yàn)結(jié)果表示，我們提出的模型明顯優(yōu)于基線系統(tǒng)。

本文的組織結(jié)構(gòu)如下: 第1節(jié)主要介紹對(duì)話生成的相關(guān)工作；第2節(jié)主要描述基于對(duì)話約束的回復(fù)生成模型；第3節(jié)是實(shí)驗(yàn)設(shè)置的介紹和實(shí)驗(yàn)結(jié)果分析；最后，在第4節(jié)中對(duì)研究工作進(jìn)行總結(jié)，同時(shí)提出了下一步的研究方向。

1 相關(guān)工作

隨著社交網(wǎng)絡(luò)中聊天語料的積累和硬件計(jì)算性能的優(yōu)化，模型得以利用深度學(xué)習(xí)[5]方法捕獲歷史對(duì)話中的特征信息，自動(dòng)生成回復(fù)。Google的Vinyals等人[6]首先將機(jī)器翻譯中的“序列-序列”模型應(yīng)用于對(duì)話生成任務(wù)中，其將回復(fù)生成問題視作翻譯問題，編碼器與解碼器均采用RNN提取特征，包括門控循環(huán)神經(jīng)單元(Gated Recurrent Unit, GRU)[7]、長短時(shí)記憶網(wǎng)絡(luò)[8](Long Short-Term Memory Network, LSTM)等，均取得了可觀的效果。對(duì)話通常是一個(gè)持續(xù)、動(dòng)態(tài)的過程，生成回復(fù)時(shí)需要考慮當(dāng)前的對(duì)話語境，即歷史信息。如何從歷史信息中捕獲到更多的信息成為提高生成回復(fù)質(zhì)量的一個(gè)方向。多輪對(duì)話的歷史信息由多個(gè)子句組成，而回復(fù)往往只與某些相關(guān)子句和相關(guān)單詞有關(guān)，無差別地對(duì)所有上下文進(jìn)行編碼顯然是不合理的。Tian等人[9]提出了Wseq模型，利用余弦相似度來衡量上下文子句的重要性。Xing等人[10]提出了HRAN模型，引入傳統(tǒng)的注意力機(jī)制，分別從句子級(jí)別和單詞級(jí)別捕獲歷史信息中的相關(guān)子句和相關(guān)單詞。Chen等人[11]提出了HVMN模型，使用了內(nèi)存網(wǎng)絡(luò)，使得模型可以在解碼中檢索到相關(guān)上下文。Zhang等人[12]提出了ReCoSa模型，其應(yīng)用自注意力機(jī)制來解決長距離依賴問題來捕獲相關(guān)歷史信息。是否擁有外部信息(包括常識(shí)信息、說話者的以往經(jīng)驗(yàn)等)是人與模型的最大的不同。基于此，Kumar等人[13]提出了DMN模型，結(jié)合常識(shí)信息使得模型生成更加人性化的回復(fù)。對(duì)主題的約束能保證生成回復(fù)與對(duì)話語義的一致性。Mou等人[14]提出了seq2BF模型，其利用逐點(diǎn)互信息預(yù)測(cè)一個(gè)名詞作為主題詞，進(jìn)而生成包含主題詞的回復(fù)。主題詞不一定出現(xiàn)在生成的回復(fù)中，可用作回復(fù)隱式約束。Yao等人[15]在Seq2Seq的基礎(chǔ)上引入了控制主題的網(wǎng)絡(luò)單元，主題則體現(xiàn)在每個(gè)時(shí)刻的狀態(tài)更新中。Xing等人[16]提出了TA-Seq2Seq模型，引入了LDA主題模型，在解碼時(shí)利用注意力機(jī)制增加主題詞出現(xiàn)的概率。Dziri等人[17]提出了THRED模型，聯(lián)合層次化的注意力機(jī)制，結(jié)合歷史信息與主題信息，使得回復(fù)更加多樣化。人與人的交流中總是蘊(yùn)含著豐富的情感，因此增加模型的情感控制能力也至關(guān)重要。Ghosh等人[18]提出了Affect-LM模型，在解碼時(shí)融入情感類別和情感強(qiáng)度來生成具有一定情感的回復(fù)。Zhou等人[19]提出了ECM模型，在情感編碼的基礎(chǔ)上引入了外部記憶和內(nèi)部記憶，用來控制明確的外部情感和變換的內(nèi)部情感。Song等人[20]提出了EmoDS模型，同時(shí)考慮顯示和隱式的情感表征。Asghar等人[21]融合情感詞向量、情感目標(biāo)函數(shù)、情感搜索算法三個(gè)方面來生成具有強(qiáng)烈感情的回復(fù)。在對(duì)話過程中，意圖起著關(guān)鍵作用，只有學(xué)習(xí)到說話者的動(dòng)機(jī)，才能生成更合理的回復(fù)。Jo等人[22]提出了基于對(duì)話行為序列的無監(jiān)督模型。Zhang等人[23]提出了HRG模型，利用分層響應(yīng)機(jī)制來捕獲對(duì)話中的意圖。

受上述工作的啟發(fā)，考慮對(duì)話中的主題、情感、意圖能很好地緩解通用回復(fù)的問題，但以往的研究沒有同時(shí)考慮這三個(gè)屬性。因此，本文提出了基于對(duì)話約束的回復(fù)生成模型。通過對(duì)對(duì)話的主題、情感和意圖的約束來生成更高質(zhì)量的回復(fù)。

2 基于對(duì)話約束的回復(fù)生成模型

我們的任務(wù)旨在自動(dòng)生成合理自然的對(duì)話回復(fù)。一組對(duì)話由兩個(gè)對(duì)話者之間發(fā)起的m/2輪對(duì)話組成，可表示為對(duì)話序列D={U1,U2,…,Um}，其中Ux(x=1,2,…)稱為對(duì)話的子句。對(duì)話生成模型目的是在第m/2輪時(shí)，根據(jù)前面的m-1個(gè)子句{U1,U2,…,Um-1}計(jì)算在此情況下生成句子Um的概率，即P(Um|U1,U2,…,Um-1)。每個(gè)句子Um是可變長的單詞序列，可表示為Um={wm,1,wm,2,…,wm,Nm}。wm,n表示第m個(gè)句子中的第n個(gè)單詞，Nm表示Um中的單詞個(gè)數(shù)。通過前m-1個(gè)子句和當(dāng)前已經(jīng)生成的單詞來逐字預(yù)測(cè)下一個(gè)詞，直到達(dá)到特定的句子長度或者生成結(jié)束符，預(yù)測(cè)結(jié)束，得到回復(fù)Um。P(Um|U1,U2,…,Um-1)可表示為如下公式:

(1)

2.1 模型

本文采用的是基于LSTM網(wǎng)絡(luò)的Seq2Seq模型。該模型包括編碼器(Encoder)、解碼器(Decoder)、主題預(yù)測(cè)模型、情感預(yù)測(cè)模型和意圖預(yù)測(cè)模型五個(gè)模塊。編碼器網(wǎng)絡(luò)和解碼器網(wǎng)絡(luò)分別對(duì)應(yīng)輸入序列和輸出序列的兩個(gè)神經(jīng)網(wǎng)絡(luò)，本實(shí)驗(yàn)中編碼器和解碼器均采用LSTM網(wǎng)絡(luò)分別對(duì)歷史信息和生成回復(fù)進(jìn)行編碼。具體流程為歷史上下文信息通過編碼器編碼，得到整個(gè)上下文的表征向量，即中間語義向量C，接著將該向量傳遞至解碼器中，解碼器則根據(jù)中間語義向量C和遞歸隱藏狀態(tài)，計(jì)算詞匯表中每個(gè)詞的概率分布，生成下一個(gè)詞，并將其作為下一個(gè)時(shí)刻的輸入，直至遇到結(jié)束符標(biāo)志或達(dá)到指定的長度時(shí)結(jié)束解碼。另外，我們的模型(Joint Topic Emotion and Act,JTEA)在模型訓(xùn)練階段，從編碼器和解碼器的LSTM網(wǎng)絡(luò)中學(xué)習(xí)對(duì)話歷史信息中每個(gè)子句和生成回復(fù)的特征表示。這些特征向量用于預(yù)測(cè)每個(gè)話語的情感和意圖，以及整段對(duì)話的主題。主題預(yù)測(cè)、情感預(yù)測(cè)和意圖預(yù)測(cè)作為對(duì)話回復(fù)生成的輔助任務(wù)，只在模型訓(xùn)練階段進(jìn)行，幫助學(xué)習(xí)編碼器和解碼器中的共享參數(shù)，對(duì)生成回復(fù)的主題、情感和意圖進(jìn)行約束。模型網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

2.1.1 編碼器

編碼器是將輸入序列編碼成一個(gè)中間語義向量C。本實(shí)驗(yàn)中使每個(gè)子句分別經(jīng)過LSTM神經(jīng)網(wǎng)絡(luò)，得到每個(gè)子句的特征向量，然后取這些特征向量的平均值，作為中間語義向量C。我們可以在兩個(gè)層次上討論話語序列: 每組對(duì)話由子句序列組成，而每個(gè)子句由單詞序列組成?；诖?，對(duì)于給定子句Ux={wx,1,wx,2,…,wx,Nx}，經(jīng)過LSTM網(wǎng)絡(luò)，將最后一層的隱藏層的輸出hNx作為該子句的語義向量。本文為歷史信息中的每個(gè)子句分別構(gòu)建一個(gè)LSTM模型，則歷史信息中的子句經(jīng)過編碼后的表示為Hc={h1,h2,…,hm-1}。取所有LSTM模型輸出的平均值作為整組對(duì)話的中間語義向量C。

2.1.2 解碼器

解碼器是將編碼器中生成的中間語義向量C再轉(zhuǎn)化成輸出序列。解碼器中我們同樣采用LSTM神經(jīng)網(wǎng)絡(luò)對(duì)已經(jīng)生成的回復(fù)進(jìn)行編碼，得到隱藏向量表示hr。在解碼階段，我們會(huì)用輸出序列{y1,y2,…,yt-1}以及固定的中間語義向量C來預(yù)測(cè)下一個(gè)輸出的單詞yt,即

(2)

通常情況下，會(huì)為解碼器指定生成文本最大長度和結(jié)束字符。在解碼過程中，只要符合上述兩個(gè)條件之一，解碼過程就會(huì)結(jié)束。解碼器的輸出并不是文本，而是一個(gè)向量，這個(gè)向量代表著當(dāng)前這個(gè)神經(jīng)單元輸出對(duì)應(yīng)詞表的概率分布，通常選擇概率最高的作為輸出，但概率最高的往往是“好的”“是的”等安全回復(fù)。因此，我們引入了主題、情感、意圖識(shí)別幫助模型更好地理解對(duì)話內(nèi)容，生成與對(duì)話語義一致且具有合理情感和意圖傾向的回復(fù)。

圖1 模型網(wǎng)絡(luò)結(jié)構(gòu)圖

2.1.3 主題預(yù)測(cè)模型

2.1.4 情感預(yù)測(cè)模型

(6)

2.1.5 意圖預(yù)測(cè)模型

(7)

2.2 訓(xùn)練

我們聯(lián)合損失函數(shù)來同時(shí)優(yōu)化主要任務(wù)和輔助任務(wù)。

主要任務(wù)多輪對(duì)話生成的目標(biāo)是在給定輸入歷史信息序列H={U1,U2,…,Um-1}的情況下，最大化輸出Um的概率。因此，主任務(wù)的損失main如式(8)、式(9)所示。

這里θ為模型需訓(xùn)練的參數(shù)，(H,Um)是訓(xùn)練集中的歷史信息和回復(fù)序列對(duì)。

最后，聯(lián)合損失為如式(13)所示。

=main+topic+senti+act

(13)

3 實(shí)驗(yàn)設(shè)置與結(jié)果分析

3.1 數(shù)據(jù)集

本實(shí)驗(yàn)選擇DailyDialog作為語料[24]，該語料收集于英語學(xué)習(xí)網(wǎng)站的對(duì)話練習(xí)。該語料的基本統(tǒng)計(jì)信息如表2所示，共包含13 118個(gè)多回合對(duì)話，平均每組對(duì)話輪數(shù)為7.9，平均每句對(duì)話的單詞數(shù)為14.6，平均每組對(duì)話的單詞數(shù)為114.7。該數(shù)據(jù)集中的對(duì)話反映了我們的日常交流方式，涵蓋了我們?nèi)粘Ｉ畹母鞣N話題，每句話都標(biāo)注了情感和意圖類別。其中主題分為10類: 校園生活(School Life)、工作(Work)、健康(Health)、日常生活(Ordinary Life)、人際關(guān)系(Relationship)、文化與教育(Culture & Education)、政治(Politics)、態(tài)度與情感(Attitude & Emotion)、旅游(Tourism)、金融(Finance)；情感分為7類，在本實(shí)驗(yàn)中我們?yōu)榱烁玫刈R(shí)別情感，將情感重新分為中性(Neutral)、積極(Positive)、消極(Negative)三類；意圖分為4類: 陳述(Inform)、詢問(Question)、指示(Directive)、許諾(Commissive)。

表2 DailyDialog基本信息統(tǒng)計(jì)

本實(shí)驗(yàn)中，我們研究四輪對(duì)話，因此過濾了少于八句的對(duì)話，并截取大于或等于八句對(duì)話中的前八句。在以上條件下，挑選5 835組對(duì)話作為訓(xùn)練集，200組作為測(cè)試集。圖2、圖3、圖4分別給出了過濾后的數(shù)據(jù)集中主題、情感、意圖的類別概率分布。從圖中發(fā)現(xiàn)，對(duì)話中情感為中性的話語占大多數(shù)，意圖為陳述和詢問的話語占比高于其他兩種意圖。

圖2 話題類別分布

圖3 情感類別分布

圖4 意圖類別分布

圖5展示了同一輪對(duì)話中前一句的意圖確定時(shí)，后一句話的意圖類別的概率分布。從圖中我們發(fā)現(xiàn)對(duì)話中不同角色的意圖是有一定關(guān)聯(lián)的。對(duì)話由前后兩個(gè)說話者交替完成，前者往往占主導(dǎo)地位，后者的意圖隨著前者的意圖的改變而變化。例如，詢問和陳述往往是同時(shí)發(fā)生的，因?yàn)楫?dāng)有人向我們提問時(shí)，我們通常不會(huì)轉(zhuǎn)移話題，而是禮貌地回復(fù)別人的問題。

圖5 同一輪對(duì)話中意圖的影響

圖6展示了同一說話者前一句的情感確定的條件下，后一句的情感類別的概率分布，這里我們只考慮了話語的情感為積極或者消極的情況。從圖中我們看出，同一情感同時(shí)出現(xiàn)的概率遠(yuǎn)遠(yuǎn)高于其他情感，這說明同一說話者的情感基調(diào)通常是保持不變的?；谏鲜龇治?，我們發(fā)現(xiàn)對(duì)對(duì)話的情感和意圖進(jìn)行識(shí)別在回復(fù)生成中是非常重要的。

圖6 同一說話者情感的影響

3.2 評(píng)價(jià)指標(biāo)

3.2.1 自動(dòng)評(píng)估

本文使用BLEU(Bilingual Evaluation Under-study)[25]來衡量所產(chǎn)生的響應(yīng)與真實(shí)響應(yīng)之間的相關(guān)性。本文主要使用BLEU-1、BLEU-2和BLEU-3來評(píng)測(cè)實(shí)驗(yàn)效果。本文還使用詞嵌入之間的余弦相似度來度量詞之間的相似性，可分為三類: Average[26]、Greedy[27]和Extrema[28]。

3.2.2 人工評(píng)估

本文加入了人工評(píng)價(jià)指標(biāo)[29]，由三個(gè)具有相關(guān)知識(shí)背景的工作者進(jìn)行打分。打分規(guī)則為： 0: 完全不合理或惡意回復(fù)；1: 不相關(guān)的通用回復(fù)；2: 稍微相關(guān)的回復(fù)；3: 回復(fù)相關(guān)且合理。Score: 所有分?jǐn)?shù)的加權(quán)求和。

3.3 實(shí)驗(yàn)參數(shù)設(shè)置

為了得到最優(yōu)模型，經(jīng)過調(diào)整本實(shí)驗(yàn)設(shè)置的相關(guān)參數(shù)如表3所示。

表3 模型參數(shù)設(shè)置

3.4 與基準(zhǔn)模型比較

在前人關(guān)于對(duì)話回復(fù)生成的研究的基礎(chǔ)上，本文選取了Seq2Seq、Multi、Dir-VHRED、ReCoSa、HRG五個(gè)模型進(jìn)行對(duì)比實(shí)驗(yàn)。接下來，我們將分別介紹這五個(gè)模型。

(1)Seq2Seq模型[30]: 將前七句歷史對(duì)話信息拼接成一個(gè)向量作為輸入，為其構(gòu)建一個(gè)LSTM模型，以此LSTM模型的輸出作為中間語義向量，然后解碼生成對(duì)話回復(fù)。此模型為一個(gè)單輸入模型。

(2)Multi模型: 將前七句話分別作為輸入，為每個(gè)子句構(gòu)建LSTM模型，將所有LSTM的輸出的平均值作為中間語義向量，然后解碼生成對(duì)話回復(fù)。此模型為一個(gè)多輸入模型。

(3)Dir-VHRED模型[31]: 使用Dirichlet分布來描述VHRED中的潛在變量。

(4)ReCoSa模型[32]: 使用自注意力機(jī)制來更新上下文和被屏蔽的響應(yīng)表示，并在解碼過程中使用上下文和響應(yīng)表示之間的注意力權(quán)重。

(5)HRG模型[33]: 采用分層響應(yīng)生成框架以自然和連貫的方式捕獲對(duì)話意圖。

表4、表5展示了我們的模型和基線模型的比較結(jié)果。從表中可以得出以下結(jié)論:

(1) 我們的模型相較于Multi模型，在BLEU-1、BLEU-2、BLEU-3值分別提升了3.77、4.76、3.68個(gè)百分點(diǎn)，Average、Greedy、Extrema分別提升了2.42、3.8、4.26個(gè)百分點(diǎn)。在人工評(píng)價(jià)指標(biāo)上，我們的模型生成通用回復(fù)的比例有了明顯的下降，生成相關(guān)回復(fù)的比例相應(yīng)有所上升，這證明了我們的模型一定程度上解決了通用回復(fù)的問題。

(2) 我們模型不管是在自動(dòng)評(píng)價(jià)指標(biāo)還是人工評(píng)估指標(biāo)上都超過了所有的基準(zhǔn)模型，充分說明了對(duì)生成的回復(fù)進(jìn)行條件約束能有效地提高生成的對(duì)話回復(fù)的質(zhì)量。

表4 在自動(dòng)評(píng)估指標(biāo)上與基線模型比較

表5 在人工評(píng)估指標(biāo)上與基線模型比較

3.5 不同因素的影響

為了驗(yàn)證本文模型的有效性，將我們的模型與分別單獨(dú)考慮主題、情感、意圖預(yù)測(cè)模型進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表6所示。我們共涉及了5組對(duì)比實(shí)驗(yàn)。Multi模型在上一節(jié)中已經(jīng)介紹，不再贅述；Joint Topic模型是在Multi模型的基礎(chǔ)上加入對(duì)話意圖的識(shí)別；Joint Senti模型是在Multi模型的基礎(chǔ)上加入話語情感的識(shí)別；Joint Act模型是在Multi模型的基礎(chǔ)上加入話語意圖的識(shí)別。

表6 不同的預(yù)測(cè)模型比較

從表中可以發(fā)現(xiàn)，所有具有約束條件的模型(Joint Topic, Joint Senti, Joint Act, JTEA)都優(yōu)于基準(zhǔn)Multi模型，這表明所有的約束條件對(duì)于回復(fù)生成都是有效的。另外，本文模型優(yōu)于單獨(dú)考慮每個(gè)約束條件的模型，這表明應(yīng)該集成所有約束條件來生成更高質(zhì)量的回復(fù)。我們還發(fā)現(xiàn)，情感的約束相對(duì)于主題和意圖的約束效果要稍差一點(diǎn)，是因?yàn)樵谖覀兊恼Z料中絕大部分話語的情感都是中立的，情感對(duì)回復(fù)的影響相對(duì)較小。

3.6 案例分析

我們對(duì)基線Multi模型和本文模型生成的對(duì)話回復(fù)進(jìn)行對(duì)比分析，表7給出了三組對(duì)話示例，截取了對(duì)話的主要內(nèi)容，且對(duì)話內(nèi)容都已翻譯為中文展示。

從第1組示例中可以看出，此輪對(duì)話的主題是校園生活。對(duì)于最后說話者A的詢問，Multi模型沒能充分地理解該組對(duì)話的語義信息，所以生成了“你可以確定”這樣與對(duì)話內(nèi)容毫無聯(lián)系回復(fù)。而我們的模型因?yàn)榧尤肓藢?duì)主題的識(shí)別，所以生成了與對(duì)話主題高度相關(guān)且自然合理的回復(fù)。在第2組示例中，我們發(fā)現(xiàn)最后說話者A的意圖是“指示”。在同一輪對(duì)話中，當(dāng)前一句的意圖為“指示”時(shí)，后一句的意圖最大概率為“承諾”。本文模型因?yàn)榧尤肓藢?duì)意圖的識(shí)別，生成了意圖為“承諾”的回答，而Multi模型則生成了意圖為“陳述”的回答，顯然我們模型生成的回復(fù)更加的合理。在第3組示例中，本文模型生成的回復(fù)在意圖上顯然更加合理。同一說話者的情感基調(diào)往往是不變的。本文模型因?yàn)榧尤肓藢?duì)情感的識(shí)別，生成了帶有積極情感傾向的回復(fù)。

表7 生成回復(fù)示例對(duì)比

4 總結(jié)

在大數(shù)據(jù)不斷發(fā)展的今天，人機(jī)對(duì)話系統(tǒng)是人機(jī)交互領(lǐng)域一個(gè)非常重要的研究方向，開放域聊天機(jī)器人的研究受到了廣泛關(guān)注。因此，提高對(duì)話生活的質(zhì)量顯得尤為重要。

日常對(duì)話中，人們往往是圍繞特定的主題展開，且對(duì)話中的話語都蘊(yùn)含明顯情感和意圖傾向。因此，本文提出了一種基于對(duì)話約束的回復(fù)生成模型。之前的模型往往傾向于生成類似“好的”“我不知道”等安全回復(fù)，雖然這樣的回復(fù)看起來合理，但其實(shí)這樣的模糊回復(fù)意義并不大，信息量很低。為了解決這個(gè)問題，我們?cè)诨贚STM網(wǎng)絡(luò)的Seq2Seq模型的基礎(chǔ)上引入了對(duì)對(duì)話的主題、情感和意圖的識(shí)別，使得生成具有合理的情感和意圖傾向且與對(duì)話主題相關(guān)的回復(fù)。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的Seq2Seq方法相比，本文方法取得了較好的效果。

本文研究的語料主要是一些日常交流文本，語境相對(duì)較為簡單。因此，接下來將研究更加復(fù)雜情景多變的語料。另外，研究歷史信息中各個(gè)子句之間的相互影響，對(duì)對(duì)話中的句子結(jié)構(gòu)進(jìn)行建模，進(jìn)一步提升情感、意圖識(shí)別的效果。