周俊佐, 朱宗奎, 何正球, 陳文亮, 張 民

(蘇州大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院 人工智能研究院,江蘇 蘇州 215008)

近年來,隨著數(shù)字虛擬人技術(shù)、移動終端和語音識別處理的快速發(fā)展,人與計算機(jī)直接對話與問答的人機(jī)交互形式變得越來越重要.目前,許多數(shù)字虛擬人能逼真地朗讀出用戶給定的內(nèi)容、理解用戶的查詢意圖、回答用戶信息查詢信息以及購物問題等等[1].國內(nèi)外各個機(jī)構(gòu)和組織紛紛開發(fā)了自己的人機(jī)對話系統(tǒng),例如2011年蘋果公司推出的siri、2013 年科大訊飛的靈犀語音助手、2014 年微軟的cortana、2015 年百度的度秘和微軟的小冰以及最近谷歌提出的google assistant 等.它們有的屬于聊天機(jī)器人,注重于與用戶閑聊;有的屬于語音助手,注重于知識服務(wù)和事物的處理.在實驗室和市場環(huán)境的幫助下,這些系統(tǒng)都取得了巨大的進(jìn)步.這些人機(jī)對話系統(tǒng)都包含意圖分類這一核心模塊.意圖分類是自然語言理解中的基礎(chǔ)任務(wù).在人機(jī)對話領(lǐng)域中,通常的做法是,先將用戶語音通過語音識別技術(shù)轉(zhuǎn)換成文本,然后再通過意圖分類算法將其識別到相應(yīng)類型下的具體意圖.這樣可以識別出用戶輸入到對話系統(tǒng)執(zhí)行某個動作之間的一個映射關(guān)系,達(dá)到識別和理解用戶要表達(dá)的意圖.

盡管目前語音識別技術(shù)在書面語的識別上表現(xiàn)優(yōu)異,但是在口語語音識別上,由于口語自身特性以及用戶口語隨意性的影響,很容易導(dǎo)致語音識別系統(tǒng)輸出錯誤,使得意圖分類系統(tǒng)無法正確理解用戶的意圖.這會導(dǎo)致對話系統(tǒng)無法正確回答用戶的問題,嚴(yán)重情況下,會使得人機(jī)自然對話被迫中斷.這些情況在很大程度上降低了人機(jī)對話的流暢度.伴隨著深入研究發(fā)現(xiàn),人機(jī)交互過程中,對用戶進(jìn)行正確意圖分析能夠有效提高人機(jī)交互的自然度[2,3].意圖分類應(yīng)用范圍廣泛,從智能問答到對話系統(tǒng),近幾年也逐漸成為研究熱點.

在人機(jī)對話過程中,我們通過意圖分類判斷用戶意圖,再觸發(fā)相應(yīng)的業(yè)務(wù)類型.在本文的意圖分類數(shù)據(jù)上,意圖分類任務(wù)中,業(yè)務(wù)類型包括查詢類、辦理類和咨詢類這3 種,每個業(yè)務(wù)類型下還有多種不同的用戶意圖.表1 給出了一個例子,表示客服和用戶的語音對話記錄,其中,1 為客服語音文本,2 為客戶語音文本.

Table 1 An example of intention classification表1 一個意圖分類的例子

和大多的短文本分類任務(wù)不同,在人機(jī)對話意圖分類中,主要存在這樣一些問題.

?其一是受限于語音識別性能和用戶不同的口音、語義表達(dá)喜好和對網(wǎng)絡(luò)流行用語的使用程度導(dǎo)致的文本不規(guī)范問題,容易出現(xiàn)不規(guī)則特征詞和未登錄詞,導(dǎo)致文本表示方法不夠準(zhǔn)確.

?其二是人類對話文本以寒暄和多輪詢問式對話為主,文本通常只包含極少實際有意義的詞語,導(dǎo)致內(nèi)容具有特征稀疏性問題,增加了抽取有效特征的難度.

?其三是不同人的語言表達(dá)喜好和語義精簡能力有較大差異性,會造成文本長度分布不均勻,影響系統(tǒng)性能.

隨著文本表征和深度學(xué)習(xí)技術(shù)的發(fā)展,研究者對文本分類任務(wù)進(jìn)行了大量的研究,提出了許多有效的模型.但是不同的模型各有優(yōu)異,且在不同的語料上表現(xiàn)差異也較大,難以確定哪種模型最好.其中主要的原因在于,在不同語料甚至同一份語料上的文本長度分布和內(nèi)容差異太大,而在模型設(shè)計上過于注重在短文本或者長文本上的單方面優(yōu)化,導(dǎo)致模型的魯棒性不高[4-6].本文首先在本文的意圖分類數(shù)據(jù)上驗證了這些模型的有效性,分析各個模型的特點.為了進(jìn)一步提高意圖分類性能,受啟發(fā)于GoogLeNet 的Inception 結(jié)構(gòu)[7],我們提出一種混合模型網(wǎng)絡(luò)結(jié)構(gòu),綜合利用在長文本或短文本上表現(xiàn)優(yōu)異的多個模型,提升網(wǎng)絡(luò)模型的整體效果,同時增加了魯棒性.在此基礎(chǔ)上,我們驗證了語言模型在意圖分類任務(wù)上的有效性,通過在混合模型網(wǎng)絡(luò)結(jié)構(gòu)上增加了ELMo[8],系統(tǒng)性能得到進(jìn)一步的提升,并在本文數(shù)據(jù)的公開評測上取得了最優(yōu)的性能.

本文的主要貢獻(xiàn)包括:

(1)比較了多種分類模型在人機(jī)對話意圖分類任務(wù)上的性能,并分析了模型在不同條件下的表現(xiàn);

(2)驗證了語言模型詞向量在意圖分類任務(wù)上的有效性;

(3)提出了一種新的混合神經(jīng)網(wǎng)絡(luò)模型,并加入ELMo 進(jìn)一步加強(qiáng)語義表示,取得目前最優(yōu)性能.

本文第1 節(jié)對相關(guān)工作進(jìn)行介紹.第2 節(jié)介紹本文提出的混合模型及其算法.第3 節(jié)通過實驗并進(jìn)行實驗分析證明了該方法的有效性.最后總結(jié)本文工作,并提出了可改進(jìn)的方面.

1 相關(guān)工作

本文的研究工作主要涉及文本表示和意圖分類算法兩個方面.因此,本節(jié)將從這兩個角度來總結(jié)相關(guān)研究工作.

1.1 文本表示

文本表示在早期的流行方法主要是One-Hot 獨熱編碼[9],但是這個方法會隨著語料與詞表的增大,導(dǎo)致特征空間過大,因此它有嚴(yán)重的數(shù)據(jù)稀疏問題.近年來,神經(jīng)網(wǎng)絡(luò)和表征學(xué)習(xí)[10]帶來了解決數(shù)據(jù)稀疏性問題的新思路,主流做法主要將詞作為語義單元再通過詞向量訓(xùn)練方法(如word2vec[11]、GloVe[12])來表示文本.長期以來,詞向量是自然語言處理領(lǐng)域的核心表征技術(shù),但是它也有缺陷:詞向量只包含模型的第1 層先驗知識,網(wǎng)絡(luò)的其余部分依然需要從頭訓(xùn)練,屬于表達(dá)性不足的淺層方法.伴隨著ULMFiT[13]、ELMo 及BERT[14]等語言模型的興起,我們看到了解決詞向量如語義消歧等語義問題的新方法.語言模型主要是將詞向量僅僅初始化模型第1 層的方式改為用分層表示的方式,并對模型進(jìn)行預(yù)處理.它已被證明能夠為下游任務(wù)捕捉很多語言相關(guān)的屬性,例如層級關(guān)系、情感語義和長期依賴性關(guān)系等[8].為了驗證詞向量與語言模型在意圖分類任務(wù)上的差別與優(yōu)劣,我們選擇word2vec 詞向量與ELMo 語言模型進(jìn)行對比分析.

1.2 意圖分類

意圖分類問題屬于一種特殊的文本分類問題.文本分類算法目前大致經(jīng)歷了傳統(tǒng)機(jī)器學(xué)習(xí)結(jié)合人工特征、深度學(xué)習(xí)算法與語言模型詞向量編碼表征這3 個階段.傳統(tǒng)的文本分類工作主要集中在特征工程、特征選擇和使用不同的機(jī)器學(xué)習(xí)算法模型這3 個方面上.比如,傳統(tǒng)的分類通常用稀疏詞法特征,或者其他人工特征表示文本,然后使用線性模型或者核模型分類[15].伴隨著神經(jīng)網(wǎng)絡(luò)的興起,越來越多的研究表明,神經(jīng)網(wǎng)絡(luò)的效果遠(yuǎn)遠(yuǎn)優(yōu)于傳統(tǒng)方法.伴隨著數(shù)據(jù)與算力的增加,人工特征的方法成本過高,現(xiàn)有研究者較少用設(shè)計人工特征和過濾文本信息的方法對分類性能進(jìn)行改善.

神經(jīng)網(wǎng)絡(luò)的一大優(yōu)勢是表述學(xué)習(xí),可以自動從圖像、語音、文字抽取特征.結(jié)合使用循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,簡稱RNN)或卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,簡稱CNN)[16]對文本信息建模分類.針對RNN 和CNN 不斷暴露的缺陷,學(xué)術(shù)界也有非常多的優(yōu)化模型出現(xiàn).

傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中會隨著遞歸深度增加,誤差傳播會不斷增大或者減小,這被稱為梯度彌散[17]問題.Hochreiter 等人提出的長短時記憶(long short-term memory,簡稱LSTM)[18]結(jié)構(gòu)與Cho 等人提出的門循環(huán)單元(gated recurrent unit,簡稱GRU)[19]結(jié)構(gòu)是目前最受研究者青睞并且能夠有效地解決遞歸神經(jīng)網(wǎng)絡(luò)梯度彌散的問題.

CNN 網(wǎng)絡(luò)在圖像識別領(lǐng)域上的成功是帶動神經(jīng)網(wǎng)絡(luò)流行的重要因素之一,它也被大量使用在自然語言處理任務(wù)中.但是研究者發(fā)現(xiàn),CNN 是一種空間不敏感的方法,在一定程度上受限于保存單詞的位置信息、語義信息、語法結(jié)構(gòu)以及豐富的文本結(jié)構(gòu).特別是在意圖分類任務(wù)中,文本口語化且語音識別處理存在一定錯誤率,CNN 難以有效地對文本進(jìn)行編碼.最近,Hinton 等人提出的Capsule 網(wǎng)絡(luò)[20]用神經(jīng)元向量代替?zhèn)鹘y(tǒng)神經(jīng)網(wǎng)絡(luò)的單個神經(jīng)元節(jié)點,以Dynamic Routing 的方式去訓(xùn)練這種全新的神經(jīng)網(wǎng)絡(luò),有效地改善了上述方法的缺點.

注意力機(jī)制是近年十分成功的網(wǎng)絡(luò),其最先應(yīng)用于圖像領(lǐng)域[21],后逐步應(yīng)用到自然語言處理領(lǐng)域,在情感分析[22]、機(jī)器翻譯[23]和問答領(lǐng)域[24]都有成功的應(yīng)用.針對文本中句子的編碼,為了更好地突出長句子中的重點詞信息,我們也在意圖分類模型中混合該結(jié)構(gòu).

基于以上的研究工作,許多研究者在文本分類領(lǐng)域提出了許多優(yōu)異的模型.我們選取了目前在各個語料上都有較好效果的幾個模型,并應(yīng)用在意圖分類任務(wù)上作為對比方案.其中包括:Lai 等人提出的RCNN[5]模型,通過引入一個遞歸的卷積神經(jīng)網(wǎng)絡(luò)來自動抽取特征再進(jìn)行分類;等人提出的DPCNN[25]模型,通過深度CNN 抽取文本深度特征再進(jìn)行分類;李超等人則提出了LSTM-MFCNN[6],通過不同窗口粒度的卷積核提取特征;Yang 等人提出的HAN[4]完全保留了文章的結(jié)構(gòu)信息,首先進(jìn)行句編碼,再進(jìn)行全文編碼,基于Attention 結(jié)構(gòu),也有很強(qiáng)的解釋性.我們將這些優(yōu)異模型作為我們的對比方案,并根據(jù)任務(wù)特點,對這些模型進(jìn)行有針對的優(yōu)化處理.

2 混合模型及算法介紹

本節(jié)主要是在特征編碼和模型組合優(yōu)化方向上對意圖分類進(jìn)行研究,嘗試發(fā)掘適合意圖分類任務(wù)的分類模型.

2.1 混合模型框架

圖1 所示為混合了Capsule、MFCNN 和Attention 這3 種優(yōu)異網(wǎng)絡(luò)層的混合模型框架圖.網(wǎng)絡(luò)主要由詞編碼層、句子編碼層和混合特征抽取層組成.

Fig.1 Architecture of the proposed hybrid network圖1 本文采用的混合模型框架

2.2 詞編碼層(word encoding layer)

詞編碼層適用于任何詞向量訓(xùn)練方法,本文分別討論了word2vec 和ELMo 方法.我們首先對語料分詞,然后分別使用word2vec 和ELMo 預(yù)訓(xùn)練方式生成對應(yīng)的向量詞典與語言模型權(quán)重.word2vec 通過查表方式獲得對應(yīng)語義詞的向量表示作為該層輸出;ELMo 則通過查表的輸出與語言模型輸出相結(jié)合的方式作為該層輸出.

2.3 句子編碼層(sentence encoding layer)

我們把句子中的詞經(jīng)過詞編碼層獲得對應(yīng)語義詞向量;再經(jīng)過一個隨機(jī)Dropout[26]層,防止模型過擬合;最終得到了本層的輸入特征.在LSTM-MFCNN 模型中,句子編碼使用單向LSTM 網(wǎng)絡(luò).在HAN 模型中,句子編碼使用單層雙向GRU 網(wǎng)絡(luò).而根據(jù)經(jīng)驗和研究結(jié)果表明,在大部分任務(wù)上,雙向RNN 模型優(yōu)于單向,兩層類RNN結(jié)構(gòu)效果一般優(yōu)于單層類RNN 結(jié)構(gòu).因此,我們選擇使用雙向LSTM 加上雙向GRU 結(jié)構(gòu)對句子進(jìn)行編碼.圖2所示為我們的句子編碼層結(jié)構(gòu).

Fig.2 Structure of sentence encoding layer圖2 句子編碼層結(jié)構(gòu)

假設(shè)LSTM 層和GRU 層的隱藏層單元分別為h1,h2,它們控制對特征編碼的輸出維度.對網(wǎng)絡(luò)任意t時刻LSTM(?)函數(shù)表示如下:

其中,⊙為按元素乘法操作,σ表示sigmoid 函數(shù),tanh 表示雙曲正切函數(shù),xt為t時刻的輸入,為輸入門,為遺忘門,為輸出門,為隱藏單元狀態(tài),為記憶細(xì)胞單元狀態(tài).經(jīng)過雙向LSTM 編碼,獲得第t個詞的LSTM 編碼全局信息,其中,⊕為拼接操作,為前向LSTM 表示,為后向LSTM表示.LSTM 層后的GRU(?)函數(shù)表示如下:

2.4 混合網(wǎng)絡(luò)層

隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展,研究者提出了許多不同的網(wǎng)絡(luò)層.其中,注意力機(jī)制已經(jīng)被成功運(yùn)用于各種自然語言與圖像任務(wù)中,并取得優(yōu)異的效果[21].針對CNN 固定窗口的缺點,研究人員提出了類似于n-gram 特征提取的多粒度卷積核神經(jīng)網(wǎng)絡(luò)層[6].從另一個角度,Hinton 提出了一種新的向量輸入(vector-in)與向量輸出(vector-out)的傳遞方案Capsule[20].這種方案在分類任務(wù)上具有很好的性能表現(xiàn)與解釋性.

2.4.1 注意力機(jī)制模型注意力機(jī)制受啟發(fā)于人類觀察事物過程中的視覺注意力機(jī)制,人類觀察圖像總是注意在局部上而不是看到圖像上的每個位置.與此類似,在閱讀長文本時,人們通常不會關(guān)注全文,而是結(jié)合自身認(rèn)識捕捉文本中重要的局部信息,以便快速分析內(nèi)容.本文采用標(biāo)準(zhǔn)的注意力機(jī)制,從句子編碼層的輸出中提取對句子作用較大的特征,通過對特征自動加權(quán)的方法,可以有效地從長文本中捕捉到的重要的特征信息.對X∈?L×K,其中,L為最大語義詞數(shù),K為特征維度.計算公式如下:

其中,W∈?K×A,b∈?L×A,V∈?A×1表示網(wǎng)絡(luò)中需要訓(xùn)練的參數(shù),A為超參數(shù).該層最終輸出為Q1.

2.4.2 多粒度卷積核神經(jīng)網(wǎng)絡(luò)(MFCNN)模型在文本分類任務(wù)中,傳統(tǒng)CNN 的隱藏層只使用單一粒度的卷積核.MFCNN 提出了在單粒度上擴(kuò)展成多個粒度卷積核的方法,通過不同的卷積域,抽取句子中不同位置的n-gram 特征.假設(shè)X∈?L×K表示輸入的句子,L為句長,K為特征維度.xi∈?K對應(yīng)于句子中第i個詞的K維特征.卷積操作卷積核為Wh∈?h×K,h為卷積核窗口大小,作用于句子上抽取新的特征.傳統(tǒng)的CNN 使用固定窗口值的多個卷積核,假設(shè)為H,則CNN 單個卷積核生成的特征ci表示為

其中,?為內(nèi)積操作,f為激活函數(shù),i=1,…,L+1-H,b∈?為偏差項.卷積核對句子{X1:H+1,X2:H+1,…,XL-H+1:L}生成特征如下:

再使用max-pooling 提取特征:

為了減輕因為卷積層參數(shù)誤差造成的估計均值偏移,我們在公式(6)的基礎(chǔ)上額外加入mean-pooling,即

其中,⊕為拼接操作.MFCNN 使用多個窗口卷積核,對窗口大小a=1,…,B的卷積核,抽取特征為

最終得到輸出Q3.這是單個卷積核的工作流程,在實驗中,我們使用的卷積核個數(shù)為m1.MFCNN 的主要步驟是卷積與池化.我們通過不同寬度的卷積核在整個句子上滑動,每個卷積核都能得到n個激活值.CNN 更多的是關(guān)注關(guān)鍵詞對應(yīng)的特征,因此容易丟失結(jié)構(gòu)化信息,不注意子結(jié)構(gòu)之間的關(guān)系,難以發(fā)現(xiàn)長文本中的依存轉(zhuǎn)折等復(fù)雜的關(guān)系.其優(yōu)點是可以從不同的n-gram 級別中抽取不同的特征,然后通過池化層提取出激活值中最重要的特征,為后級分類器提供分類依據(jù).在短文本上效果卓越.

2.4.3 Capsule 模型

Capsule 將標(biāo)量輸入與標(biāo)量輸出特征替換成向量輸入與向量輸出特征,并用動態(tài)路由算法代替反向傳播算法.在自然語言處理中,可以用以表征如單詞的長度、本地順序或者語義等特征,改善CNN 在表征上的局限性.我們假設(shè)capsules 數(shù)量為m,d為capsule 維度.我們在capsules 的第1 層中用寬度為c的卷積核Wc∈?c×K對上一層的表示X∈?L×K進(jìn)行卷積操作.其中,L為句長,K為上一層句子表示的向量維度,卷積核個數(shù)為|m×d|,所有卷積核結(jié)果為

其中,f為激活函數(shù),p=1,…,L+1-c,b∈?為偏差項.然后,通過reshape 操作分發(fā)給各個capsule:

其中,i=1,…,m,j=1,…,d.其他層capsules 的所有輸入sj為的加權(quán)和:

我們的向量輸出與hinton 的不同在于,我們只對模長進(jìn)行了歸一化處理:

其中,耦合系數(shù)cij由算法1 給出的動態(tài)路由算法決定.

算法1.動態(tài)路由算法.

最后,我們對Capsule 得到的vj∈?L×m×d做一次壓縮操作,得到Q2∈?L×|m×d|作為capsule 網(wǎng)絡(luò)層的輸出.

Softmax 預(yù)測層通過混合層我們得到文本最終的特征表示,通過映射得到總的類別得分:

其中,L為句長,Kf為最終特征維度,N為類別數(shù).各個類別的概率為

其中,si表示S中第i類得分.我們使用交叉熵?fù)p失函數(shù),訓(xùn)練的目標(biāo)是最小化損失函數(shù):

通過小批量隨機(jī)梯度下降反向傳播算法更新權(quán)重,其中,yi表示正確分類結(jié)果.

3 實 驗

本節(jié)先介紹實驗數(shù)據(jù),然后介紹實驗設(shè)置與評價方法,最后介紹實驗結(jié)果與分析.實驗中比較的模型包括Yang 等人提出的HAN[4]、Lai 等人提出的RCNN[5]、等人提出的DPCNN[25]、李超等人提出的LSTMMFCNN[6]以及本文提出的混合模型.

3.1 數(shù)據(jù)集

本文實驗數(shù)據(jù)來自于CCL 2018-Task1:中國移動客服領(lǐng)域用戶意圖分類評測賽事(http://www.cips-cl.org/static/CCL2018/call-evaluation.html)初復(fù)賽數(shù)據(jù)語料,屬于客服領(lǐng)域?qū)υ捨谋?我們可以將其視為含有若干對話句的段落.該數(shù)據(jù)共有兩個省份的真實數(shù)據(jù)集,由于不同省份的標(biāo)注規(guī)范與質(zhì)量的差別,官方將其分為數(shù)據(jù)集A與數(shù)據(jù)集B.每個數(shù)據(jù)集為2 萬條真實客服對話標(biāo)注數(shù)據(jù),我們將其隨機(jī)打亂,通過8:1:1 比例劃分,分別分為訓(xùn)練、開發(fā)和測試集.除此之外,還有5 萬條真實客服對話未標(biāo)注數(shù)據(jù),我們將其與相應(yīng)訓(xùn)練集合并,用以訓(xùn)練Word2Vec 和ELMo 詞向量.對于類別標(biāo)簽,我們將業(yè)務(wù)類型與用戶意圖合并,合并后數(shù)據(jù)集共有35 種類別.表2給出了業(yè)務(wù)類型與用戶意圖的種類.

Table 2 Type of business and user intent表2 業(yè)務(wù)類型種類與用戶意圖種類

由于文本內(nèi)容長度對分類效果有一定的影響,因此我們對極少數(shù)較長文本進(jìn)行截斷,截斷后文本最大長度為所有文本長度占比為95%的數(shù)值.考慮到RNN 隱藏層初始化為0 的冷啟動問題,我們對于長度不足的文本,在句首補(bǔ)齊占位符.表3 和表4 分別給出了數(shù)據(jù)集A和數(shù)據(jù)集B的相關(guān)統(tǒng)計信息.

Table 3 Statistics of dataset A表3 數(shù)據(jù)集A 統(tǒng)計數(shù)據(jù)

Table 4 Statistics of dataset B表4 數(shù)據(jù)集B 統(tǒng)計數(shù)據(jù)

3.2 實驗設(shè)置

詞編碼層以詞作為語義單元,以各自的訓(xùn)練集和5 萬條未標(biāo)注數(shù)據(jù)作為預(yù)訓(xùn)練語料.設(shè)置最大段長為600,Word2Vec 維度為300,窗口為5,最小詞頻為5.ELMo 采用原論文默認(rèn)參數(shù)[8],數(shù)據(jù)集A上迭代80 100 個batch,混亂度(preplexity)為7.991;數(shù)據(jù)集B上迭代82 000 個batch,混亂度為8.423.句子編碼層LSTM 與GRU 隱藏層h1,h2為128 與100.多粒度卷積核神經(jīng)網(wǎng)絡(luò)層卷積核窗口大小為1、2、3、4,卷積核個數(shù)m1為64.膠囊網(wǎng)絡(luò)層設(shè)置m為10,d為16.注意力層設(shè)置A為300.

3.3 評價方法

官方評價指標(biāo)為

其中,|A|代表預(yù)測集總數(shù);|G1|代表一級類別正確識別總數(shù);|G1∩G2|表示一級類別正確情況下,二級類別正確識別總數(shù).因為在不同任務(wù)中,層級類別權(quán)重的不確定性會導(dǎo)致官方評價指標(biāo)有一定的局限性,因此,我們選擇更有泛化意義的準(zhǔn)確率評價指標(biāo):

其中,|A|代表預(yù)測集總數(shù),|G∩A|代表預(yù)測集與合并標(biāo)簽完全匹配的結(jié)果總數(shù).

3.4 實驗結(jié)果與分析

在本節(jié)中,我們在數(shù)據(jù)集A和B上分別進(jìn)行實驗.我們共有Baseline、Single、Hybrid 和Hybrid ELMo 這4種實驗組,實驗中如沒有特殊說明,則表示采用Word2Vec 詞向量.其中,+Capsule 表示在Baseline 中加入Capsule層,+Attention 在Baseline 中加入Attention 層,+MFCNN 在Baseline 中加入MFCNN 層,+ELMo 替換Word2vec詞向量為ELMo 詞向量.表5 給出了我們的所有模型的實驗結(jié)果.從實驗結(jié)果可以看出:

?通過Single 組看出,在意圖任務(wù)上,MFCNN 遜色于capsule,證明了向量輸出優(yōu)于標(biāo)量輸出方法.

?對比Hybrid 與Single 組實驗結(jié)果,在word2vec 詞向量上,任意混合優(yōu)異網(wǎng)絡(luò)層的網(wǎng)絡(luò),在兩個數(shù)據(jù)集上都能達(dá)到很好的效果,說明了混合模型的有效性.

?對比Hybrid ELMo 與Hybrid 組實驗結(jié)果,我們驗證了語言模型詞向量在意圖任務(wù)上的有效性.在同樣的模型上,語言模型在數(shù)據(jù)集A和數(shù)據(jù)集B上能夠分別取得2.0%和2.2%的性能提升,并能結(jié)合混合模型取得目前最佳的效果.

Table 5 Result of experiment表5 實驗結(jié)果

3.5 長中短文本意圖分類對比分析

為了進(jìn)一步驗證混合模型的魯棒性和有效性,我們將官方數(shù)據(jù)集A和官方數(shù)據(jù)集B的測試集按照長度從短到長排序,按比例為3:4:3 劃分成短、中、長文本.使用不同的模型依次對其進(jìn)行對比實驗,實驗結(jié)果見表6,圖3是對應(yīng)的直方圖.

Table 6 Intention classification score of long,medium and short text表6 長、中、短文本意圖分類得分結(jié)果

Fig.3 Intention classification score of long,medium and short text圖3 長、中、短文本意圖分類得分結(jié)果

從實驗結(jié)果可以看出:

?3 種網(wǎng)絡(luò)的性能都滿足短文本>中文本>長文本;

?在短文本上,性能滿足Capsule>MFCNN>Attention;

?在中文本上,3 種模型效果持平;

?在長文本上,性能滿足Attention>Capsule>MFCNN.

MFCNN 主要是在單窗口大小卷積核CNN 模型的基礎(chǔ)上增加不同卷積核窗口,類似于對不同n-gram 的特征提取.而每個卷積核都是為了抽取出文本中和卷積核窗口大小相等的最重要的特征,因此,MFCNN 幾乎不受非重要詞特征的影響,所以在文本較短的語料上效果優(yōu)異.但是其缺點在于難以考慮到詞之間的關(guān)聯(lián)和不同詞特征的重要程度,從而在文本較長的語料上效果基本不如Attention 網(wǎng)絡(luò).Capsule 在自然語言處理中可以用以表征如單詞長度、本地順序或者語義等特征,改善CNN 在局部表征上的局限性,在中等長度文本上有優(yōu)異表現(xiàn).三者相互合作具有一定的bagging[27]效果.避免混合模型在短文本和長文本的極端情況下可能出現(xiàn)的性能劇烈波動情況,從而增強(qiáng)混合模型的魯棒性和性能.

3.6 與其他工作的對比

我們將本文提出的方法與其他先進(jìn)的方法進(jìn)行了對比,結(jié)果見表7.其中,Hybrid 對應(yīng)表5 中Hybrid 組最佳模型,Hybrid ELMo 對應(yīng)表5 中Hybrid ELMo 組最佳模型.通過對比看出,我們的Hybrid 模型能取得了相對于其他模型更好的效果.相對于最優(yōu)的HAN 模型,在數(shù)據(jù)集A和數(shù)據(jù)集B上分別有0.95%和1.65%的性能提升,證明了混合模型的有效性.同時,結(jié)合語言模型詞向量在兩個數(shù)據(jù)集上相對于HAN 模型取得了2.95%和3.85%的性能提升.我們最終將所有表現(xiàn)優(yōu)異的模型進(jìn)行融合[28],獲得了表8 中官方評分Rank 1 的成績.

Table 7 Comparison with other methods表7 與其他方法的對比

Table 8 Official ranking表8 官方排名

4 結(jié)論與未來的工作

本文提出一種混合神經(jīng)網(wǎng)絡(luò)層的模型,結(jié)合MFCNN 和Capsule 在短文本特征處理和Attention 在長文本特征處理上的優(yōu)勢,混合使用Capsule、Attention 與MFCNN 層.在此基礎(chǔ)上,結(jié)合語言模型詞向量ELMo,將語言模型擁有的語義挖掘能力應(yīng)用到混合網(wǎng)絡(luò)中.實驗結(jié)果表明,本文提出的新模型對客服領(lǐng)域的意圖分類有較好的性能表現(xiàn),并在CCL 2018 中國移動客服領(lǐng)域用戶意圖分類評測任務(wù)中取得第1 名.

本文使用的神經(jīng)網(wǎng)絡(luò)層和特征編碼詞向量還有一定的局限性,我們準(zhǔn)備從下述幾個方面進(jìn)行改進(jìn).

(1)探究更多、更好的短文本和長文本處理優(yōu)異模型的結(jié)合方式.

(2)在特征編碼詞向量上,在語義單元上可以考慮字級別特征以及字級別與詞級別的結(jié)合.

(3)我們也可以使用遷移學(xué)習(xí),比如通過百度百科或者維基百科語料來預(yù)訓(xùn)練語言模型,再通過相應(yīng)的訓(xùn)練語料進(jìn)行微調(diào)(finetune).

(4)最近提出的語言模型BERT[14],其效果在多個任務(wù)上優(yōu)于ELMo,在后續(xù)的研究中,我們也會主要對其進(jìn)行嘗試.