賀峰

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

隨著人工智能浪潮的興起，因?yàn)橛兄卮蟮难芯績(jī)r(jià)值和應(yīng)用前景，對(duì)話系統(tǒng)逐漸成了研究的熱門領(lǐng)域。學(xué)者們迫切的希望，機(jī)器可以理解人類語言，可以和人類對(duì)話，并成為人類的幫手。

近些年來，深度學(xué)習(xí)在很多領(lǐng)域中取得了越來越多的進(jìn)步，例如圖像識(shí)別[1]、自然語言處理[2]等。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一個(gè)分支，它通過構(gòu)造一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，加上大量的數(shù)據(jù)來訓(xùn)練、學(xué)習(xí)這個(gè)結(jié)構(gòu)。

在大數(shù)據(jù)的時(shí)代，數(shù)據(jù)量和算力的增加使得基于深度學(xué)習(xí)的方法逐漸成為了對(duì)話系統(tǒng)研究的主流方法。雖然學(xué)者們?cè)趯?duì)話系統(tǒng)領(lǐng)域中取得了越來越多的進(jìn)步和成就，但是對(duì)話系統(tǒng)也有不少的缺點(diǎn)和不足。例如，數(shù)據(jù)驅(qū)動(dòng)的算法表現(xiàn)受數(shù)據(jù)自身影響較大，并且，機(jī)器無法像人類一樣，能夠通過對(duì)話策略主動(dòng)進(jìn)行對(duì)話。

最近，Wu 等人[3]提出了一種新型的主動(dòng)對(duì)話系統(tǒng)，發(fā)布了基線模型，并且給出了全新的主動(dòng)對(duì)話數(shù)據(jù)集。文中通過引入顯式的對(duì)話目標(biāo)和對(duì)話背景知識(shí)圖譜，賦予了對(duì)話系統(tǒng)主動(dòng)對(duì)話的能力，讓機(jī)器可以學(xué)習(xí)到人類主動(dòng)對(duì)話的策略。

本文針對(duì)主動(dòng)對(duì)話這一全新的任務(wù)，對(duì)算法進(jìn)行了以下幾個(gè)創(chuàng)新：

（1）針對(duì)對(duì)話上下文和知識(shí)表示的編碼，使用全局門控進(jìn)行了增強(qiáng)。本文在使用GRU[4]編碼上下文和背景知識(shí)的同時(shí)，使用了一種全局的門控機(jī)制對(duì)編碼后的信息進(jìn)行過濾，進(jìn)一步增強(qiáng)了編碼的效果。

（2）針對(duì)對(duì)話上下文和知識(shí)表示編碼后的融合，引入了雙向注意力機(jī)制。對(duì)于主動(dòng)對(duì)話這個(gè)任務(wù)來講，如何對(duì)兩種信息進(jìn)行融合之后再解碼是一個(gè)比較關(guān)鍵的問題。本文使用了一種雙向的注意力機(jī)制對(duì)兩種信息進(jìn)行高效的融合，增強(qiáng)了信息融合的能力。

最后，我們通過實(shí)驗(yàn)來驗(yàn)證這兩種方法的有效性。

1 主動(dòng)對(duì)話研究現(xiàn)狀

隨著技術(shù)的進(jìn)步和發(fā)展，構(gòu)建一個(gè)更加智能的對(duì)話系統(tǒng)成為了自然語言處理領(lǐng)域里一個(gè)越來越受關(guān)注的話題，越來越多的新方法被學(xué)者們提出。但是現(xiàn)有的方法有一個(gè)缺點(diǎn)是只能被動(dòng)的和人類進(jìn)行對(duì)話，機(jī)器沒辦法去主動(dòng)的進(jìn)行對(duì)話，更無法去引導(dǎo)整個(gè)對(duì)話的進(jìn)行。

為了解決這個(gè)問題，Wu 等人創(chuàng)建了一個(gè)全新的數(shù)據(jù)集，將一些額外的信息引入整個(gè)對(duì)話體系。更具體來講，有兩個(gè)額外的信息被引入到對(duì)話的過程之中：

（1）對(duì)話的背景知識(shí)。對(duì)話的背景知識(shí)是由一個(gè)知識(shí)圖譜表示的，它由知識(shí)三元組構(gòu)成，例如[‘范冰冰’,‘年齡’,‘38’]或者[‘范冰冰’,‘代表作’,‘還珠格格’]。對(duì)話的背景知識(shí)是對(duì)話進(jìn)行的基礎(chǔ)，在構(gòu)建數(shù)據(jù)集時(shí)，標(biāo)注者需要利用知識(shí)圖譜的內(nèi)容去完成一組對(duì)話。

（2）顯式的對(duì)話目標(biāo)。對(duì)話的目標(biāo)是由對(duì)話背景知識(shí)圖譜里的兩個(gè)實(shí)體節(jié)點(diǎn)來表示的，例如“[開始]->[范冰冰]->[還珠格格]”，表示對(duì)話是從范冰冰這個(gè)主題開始到還珠格格這個(gè)主題結(jié)束。在構(gòu)建數(shù)據(jù)集時(shí)，標(biāo)注者需要通過對(duì)話目標(biāo)來規(guī)劃自己的對(duì)話策略，然后通過背景知識(shí)來構(gòu)建回復(fù)。

以上兩個(gè)方面構(gòu)成了一組對(duì)話開始的前提，在標(biāo)注數(shù)據(jù)的時(shí)候，需要依照上面兩個(gè)部分的信息來生成對(duì)話。在構(gòu)建數(shù)據(jù)集時(shí)，會(huì)有兩位標(biāo)注者分別充當(dāng)對(duì)話的領(lǐng)導(dǎo)者和追隨者。其中，領(lǐng)導(dǎo)者的角色就是根據(jù)對(duì)話目標(biāo)和對(duì)話背景知識(shí)來引導(dǎo)整個(gè)對(duì)話，完成最終的對(duì)話目標(biāo)。追隨者只需要根據(jù)上下文對(duì)領(lǐng)導(dǎo)者的話進(jìn)行回復(fù)。和以往的方法不同的是，在訓(xùn)練模型的時(shí)候機(jī)器模擬的不是追隨者，而是模仿的領(lǐng)導(dǎo)者，也就是去主動(dòng)對(duì)話的那個(gè)角色。

我們將在2.1 小節(jié)中具體介紹此方法的基線模型，分析其不足之處，并且在2.2 小節(jié)中提出針對(duì)性的改進(jìn)。

2 模型算法

2.1 基線模型

基線模型由上下文編碼器、知識(shí)編碼器、知識(shí)選擇器和解碼器四個(gè)部分構(gòu)成。他們的作用分別是編碼上下文信息、編碼知識(shí)、選擇知識(shí)和解碼出最后的回答。其結(jié)構(gòu)如圖1[3]所示。

首先上下文編碼器和知識(shí)編碼器分別使用了雙向GRU 對(duì)各自的信息進(jìn)行編碼，得到了編碼后的向量。接著，在解碼的時(shí)候，通過注意力機(jī)制去選擇與對(duì)話相關(guān)的知識(shí)。為了加強(qiáng)模型的知識(shí)選擇能力，文中引入了知識(shí)的先驗(yàn)分布和后驗(yàn)分布。其中，先驗(yàn)分布是模型得出的知識(shí)選擇的概率分布，而后驗(yàn)分布是人類推測(cè)的知識(shí)的真實(shí)選擇，通過引入KLDivLoss 和BOWLoss 來強(qiáng)迫機(jī)器去模擬人類選擇知識(shí)的行為，增強(qiáng)了模型的表現(xiàn)。最后，通過選擇的知識(shí)和對(duì)話上下文信息解碼得到了最終的句子。

可以看到模型中大概可以分為兩個(gè)關(guān)鍵部分：信息編碼與知識(shí)選擇。

編碼就是單獨(dú)對(duì)上下文信息和背景知識(shí)信息進(jìn)行編碼，這是整個(gè)模型的基礎(chǔ)。編碼后的信息將用于之后的知識(shí)選擇和解碼。知識(shí)選擇就是通過上述的信息，選擇相應(yīng)的知識(shí)來作為生成回復(fù)的依據(jù)，知識(shí)選的好壞也將直接決定模型的表現(xiàn)如何。

圖1

所以，我們提出的模型改進(jìn)也將從這兩方面入手。

2.2 模型改進(jìn)

通過對(duì)主動(dòng)對(duì)話模型的分析，本文提出的改進(jìn)主要聚焦于兩個(gè)關(guān)鍵的部分：信息編碼與知識(shí)選擇。

（1）信息編碼方面：

本文使用了全局的門控機(jī)制對(duì)編碼后的信息進(jìn)行過濾。門控機(jī)制被廣泛的應(yīng)用于NLP 的模型中，例如GRU 中的輸入門和輸出門。一般來講門的作用是對(duì)編碼之后的信息進(jìn)行篩選和控制。針對(duì)主動(dòng)對(duì)話的任務(wù)，引入全局的門控制機(jī)制的目的是更好地對(duì)上下文信息和背景知識(shí)進(jìn)行編碼。

門控具體的計(jì)算方式如下：

首先，我們使用GRU 編碼句子，得到了句子的語義表示x。之后我們使用了自注意力機(jī)制[5]計(jì)算得到了句子的壓縮編碼xGlobal，它代表了句子的全局信息，我們希望通過這個(gè)全局信息來對(duì)句子進(jìn)行進(jìn)一步的信息過濾和控制。然后，我們通過全局的句子壓縮編碼和句子表示算出了每個(gè)時(shí)刻的門，而這個(gè)門的作用是對(duì)句子的表示來進(jìn)行信息過濾。最后我們通過門和句子表示的按位乘法，得到了最終的句子表示。

（2）知識(shí)選擇方面：

本文使用了雙向注意力機(jī)制讓對(duì)話上下文和背景知識(shí)的信息充分的進(jìn)行融合。雙向注意力機(jī)制是Seo等人[6]第一次在深度問答領(lǐng)域提出的一個(gè)結(jié)構(gòu)，使用這個(gè)結(jié)構(gòu)最終得到了一個(gè)問題感知的上下文表征。更進(jìn)一步的講，雙向注意力機(jī)制提供了一個(gè)問題和文章交互編碼的途徑，得到了一種我中有你你中有我的交互的信息編碼，一定程度上解決了深度問答中問題和文章的交互問題，這對(duì)于閱讀理解模型的性能很關(guān)鍵。

在主動(dòng)對(duì)話的任務(wù)中，我們使用這個(gè)結(jié)構(gòu)去讓對(duì)話上下文和背景知識(shí)進(jìn)行交互。具體的計(jì)算方式如下：

其中semanticx和knowledgex分別是對(duì)話上下文和背景知識(shí)的信息編碼，BiAtt 代表的雙向注意力機(jī)制。xsk和xks分別代表兩個(gè)方向的注意力，一個(gè)是上下文關(guān)于背景知識(shí)的，另一個(gè)是背景知識(shí)關(guān)于上下文的。最后通過信息的拼接，我們得到了信息融合之后的編碼表示和。 在基線模型中semanticx和knowledgex是用于解碼的語義和知識(shí)信息，在我們提出改進(jìn)后這兩部分被替換為融合之后的信息也就是和。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 評(píng)價(jià)方法

為了和基線模型保持一致，我們?cè)谶@里沿用了BELU 作為評(píng)價(jià)指標(biāo)。BLEU 是采用一種N-Gram 匹配規(guī)則的相似度計(jì)算算法，被用來評(píng)估句子與句子之間的相似度，得分越高我們認(rèn)為兩個(gè)句子之間越相似。具體的，我們使用BLEU-1 和BLEU-2 來評(píng)價(jià)，分別是BLEU 的1-Gram 版本和2-Gram 版本。

3.2 實(shí)驗(yàn)結(jié)果與分析

在不改變基線模型原本參數(shù)的條件下，本文對(duì)提出的兩種方法做了消融實(shí)驗(yàn)，得到的結(jié)果如表1 所示。

表1

實(shí)驗(yàn)結(jié)果驗(yàn)證了我們之前的分析，通過增強(qiáng)全局編碼和信息融合這兩種方法，均可以有效提升主動(dòng)對(duì)話模型的表現(xiàn)。

4 結(jié)語

本文通過分析主動(dòng)對(duì)話模型的特點(diǎn)，從信息編碼和知識(shí)選擇兩個(gè)方面，提升了模型的性能。針對(duì)這兩個(gè)方面，本文提出了兩種結(jié)構(gòu)：①全局信息增強(qiáng)的信息編碼；②基于雙向注意力機(jī)制的知識(shí)選擇。最終，我們?cè)谥鲃?dòng)對(duì)話的數(shù)據(jù)集中驗(yàn)證了我們提出的這兩種結(jié)構(gòu)，證明了它們的有效性。

在下一步的工作中，我們將嘗試引入圖神經(jīng)網(wǎng)絡(luò)去編碼對(duì)話的背景知識(shí)。因?yàn)楸尘爸R(shí)天然的是知識(shí)圖譜的結(jié)構(gòu)，而在文中我們卻使用了GRU 來進(jìn)行編碼。嘗試引入圖神經(jīng)網(wǎng)絡(luò)這一為圖而生的結(jié)構(gòu)，或許可以帶來更大的提升。