柯子烜，黃沛杰，曾 真

(華南農(nóng)業(yè)大學(xué) 數(shù)學(xué)與信息學(xué)院，廣東 廣州 510642)

0 引言

口語(yǔ)語(yǔ)言理解(spoken language understanding, SLU)是口語(yǔ)對(duì)話系統(tǒng)(spoken dialogue system，SDS)中的重要環(huán)節(jié)，而話語(yǔ)分類(utterance classification)則是SLU的關(guān)鍵任務(wù)之一[1]。話語(yǔ)分類可進(jìn)一步細(xì)分為話語(yǔ)領(lǐng)域分類(utterance domain classification)、話語(yǔ)意圖分類(utterance intent classification)及對(duì)話行為分類(dialogue act classification)[1-3]。其中，領(lǐng)域分類的任務(wù)是把話語(yǔ)劃分到定義好的不同領(lǐng)域標(biāo)簽[3]，進(jìn)而將話語(yǔ)正確地分進(jìn)不同的SLU子系統(tǒng)。如用戶提出“幫我寫(xiě)一封郵件”，系統(tǒng)則應(yīng)該將其劃分到“郵件”領(lǐng)域之中，使得系統(tǒng)能對(duì)該話語(yǔ)進(jìn)行專門(mén)針對(duì)“郵件”領(lǐng)域的語(yǔ)言理解。

目前領(lǐng)域分類的標(biāo)簽多由人工設(shè)計(jì)，盡管通過(guò)精巧的語(yǔ)料庫(kù)設(shè)計(jì)，往往能將領(lǐng)域覆蓋得比較全面。但總有一些覆蓋不到的話語(yǔ)，不得不采用“未定義”的標(biāo)簽。而這些“未定義”標(biāo)簽在不同的語(yǔ)料中可能表現(xiàn)為不同的類別。這些話語(yǔ)在面向任務(wù)語(yǔ)料中往往表現(xiàn)為“閑聊”類、“超出領(lǐng)域”類或“其他”類，與語(yǔ)料涉及的任務(wù)和領(lǐng)域無(wú)關(guān)。如第六屆社會(huì)媒體處理大會(huì)SMP 2017中文人機(jī)對(duì)話技術(shù)評(píng)測(cè)中用戶意圖領(lǐng)域分類語(yǔ)料(SMP 2017 DC Dataset)中的“chat”領(lǐng)域與其他面向任務(wù)的領(lǐng)域如“health”、“cookbook”等明顯不同，故其可為“未定義”類別，而其他涉及任務(wù)的標(biāo)簽均為“已定義” 類別。又如Tur等人[1]使用的語(yǔ)料中的“其他”領(lǐng)域?yàn)椤拔炊x”類別，其余25個(gè)領(lǐng)域則為“已定義” 類別。

事實(shí)上，這樣的話語(yǔ)絕非少數(shù)，在SMP 2017 DC Dataset中，“未定義”類為609條，占比超過(guò)19.84%。研究表明，對(duì)話系統(tǒng)中大約有20%的用戶話語(yǔ)屬于“未定義”類[4-5]，其重要性及誤識(shí)別時(shí)的危害性可以從以下兩個(gè)方面考究。

(1) 錯(cuò)把“已定義”類分到“未定義”類中

在實(shí)際應(yīng)用場(chǎng)景中，用戶使用多或者單任務(wù)對(duì)話系統(tǒng)，往往為了解決實(shí)際問(wèn)題。例如，用戶發(fā)出“發(fā)燒怎么處理？”的話語(yǔ)，對(duì)話系統(tǒng)應(yīng)該準(zhǔn)確將其分到“健康”領(lǐng)域中。一旦錯(cuò)分到“未定義”類，系統(tǒng)只能當(dāng)作任務(wù)領(lǐng)域之外的話語(yǔ)來(lái)處理，這會(huì)導(dǎo)致用戶對(duì)系統(tǒng)的功能有效性產(chǎn)生懷疑。

(2) 錯(cuò)把“未定義”類分到“已定義”類中

有時(shí)候用戶在對(duì)話過(guò)程中與系統(tǒng)閑聊。如用戶發(fā)出“你多大了？”的話語(yǔ)，系統(tǒng)應(yīng)該將其分到“閑聊”話語(yǔ)之中。一旦錯(cuò)分到某個(gè)“已定義”類，即某個(gè)領(lǐng)域內(nèi)的話語(yǔ)，則可能會(huì)做出“給某某打電話”這樣出乎預(yù)料的反應(yīng)，故而大大降低用戶體驗(yàn)。

本文提出一種基于優(yōu)化“未定義”類的領(lǐng)域分類方案。整個(gè)方案可分為兩個(gè)階段： 第一階段，首先區(qū)分“未定義”類與“已定義”類。因“未定義”類語(yǔ)義具有開(kāi)放性以及表達(dá)多樣性的特點(diǎn)。故其與單個(gè)“已定義”類之間的邊界可能較為復(fù)雜，分類器進(jìn)行區(qū)分時(shí)可能難度較大。因此本文首先使用聚類方法，將“已定義”類聚為幾個(gè)大類。其次，利用分類模型對(duì)聚類后的“已定義”類大類以及“未定義”類進(jìn)行區(qū)分。因而，在某種程度上解決了“未定義”類與“已定義”類中某些類別容易混淆，邊界不清的問(wèn)題。隨后，被認(rèn)為是“已定義”類的話語(yǔ)將進(jìn)入第二個(gè)階段，將大類重新拆開(kāi)，分成符合要求的“已定義”類。在分類模型上，本文采用長(zhǎng)短期記憶網(wǎng)絡(luò)(long and short-term memory, LSTM)，并通過(guò)交叉驗(yàn)證的方式進(jìn)行了聚類中心個(gè)數(shù)以及LSTM模型參數(shù)的選擇，相比于已有的研究，本文的主要貢獻(xiàn)包括：

(1) 提出優(yōu)化“未定義”類話語(yǔ)檢測(cè)的兩階段領(lǐng)域分類方案。首先完成“已定義”類與“未定義”類話語(yǔ)的分離，對(duì)“已定義”類進(jìn)行聚類的方法讓鄰近及易于混淆的類別聚集形成大類，簡(jiǎn)化眾多的“已定義”類話語(yǔ)獨(dú)立存在時(shí)與“未定義”類話語(yǔ)之間的邊界。進(jìn)而將第一階段分類為“已定義”類的話語(yǔ)，在去除了絕大部分“未定義”類話語(yǔ)干擾的基礎(chǔ)上進(jìn)行再次分類。

(2) 在領(lǐng)域分類比賽數(shù)據(jù)集SMP 2017 DC Dataset上評(píng)測(cè)了本文提出的方法，取得了優(yōu)于目前研究進(jìn)展方法的效果，結(jié)果驗(yàn)證本文方法在 “未定義”類話語(yǔ)檢測(cè)的F1值以及所有話語(yǔ)的領(lǐng)域分類總正確率上都有明顯提升。

本文后續(xù)部分安排如下： 第一節(jié)介紹相關(guān)工作。第二節(jié)介紹本文提出的方法。第三節(jié)給出測(cè)試結(jié)果及分析。第四節(jié)總結(jié)本文工作并做出簡(jiǎn)要展望。

1 相關(guān)工作

領(lǐng)域分類一直是學(xué)術(shù)界、工業(yè)界的研究熱點(diǎn)。其任務(wù)是給每一段話語(yǔ)打上預(yù)先定義好的領(lǐng)域標(biāo)簽。由于口語(yǔ)對(duì)話具有長(zhǎng)度短小的特點(diǎn)，領(lǐng)域分類通常會(huì)被看作是短文本分類。早期的領(lǐng)域分類多采用較為復(fù)雜的人工特征，如語(yǔ)法信息、韻律信息、詞匯信息等[6-8]。

深度學(xué)習(xí)流行以來(lái)，許多研究者開(kāi)始用深度學(xué)習(xí)方法解決自然語(yǔ)言處理(natural language processing, NLP)任務(wù)，這使得許多任務(wù)得到了長(zhǎng)足的發(fā)展，其中也包括領(lǐng)域分類。一部分學(xué)者利用神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，在ATIS數(shù)據(jù)集上取得了較好的領(lǐng)域分類結(jié)果[9-13]。代表性的有Sarikay[9]等人提出的深度置信網(wǎng)絡(luò)(deep belief network, DBN)。另一部分學(xué)者使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)進(jìn)行領(lǐng)域分類[1-14]，如Tur[1]等人提出利用深度凸網(wǎng)絡(luò)(deep convex network, DCN)進(jìn)行領(lǐng)域分類，并取得優(yōu)于傳統(tǒng)提升方法(boosting)的結(jié)果。Ravuri等人[3]和Shi等人[15]則利用LSTM得到語(yǔ)料中上下文序列信息，并取得優(yōu)于傳統(tǒng)方法的領(lǐng)域分類效果。也有一部分研究人員認(rèn)為，槽標(biāo)簽(slot tags)和領(lǐng)域標(biāo)簽都能代表用戶的語(yǔ)義信息，可以通過(guò)共享一部分信息來(lái)得到更好的結(jié)果，許多網(wǎng)絡(luò)結(jié)構(gòu)因此將此兩者結(jié)合在一起訓(xùn)練[16-17]。

上述研究進(jìn)展的方法都對(duì)領(lǐng)域分類提供了很好的借鑒。然而這些方法并沒(méi)有特別關(guān)注“未定義”類，只是將其作為普通類別處理，更多從特征工程和模型優(yōu)化方面考慮。實(shí)際上，與“已定義”類相比，“未定義”類的分類具有以下挑戰(zhàn)。

(1) 成分復(fù)雜?！拔炊x”類本身還可以分為若干個(gè)類別。如“罵人”、“身份信息”、“致歉”等。這樣的特點(diǎn)決定了其成分復(fù)雜多樣，難以直接與其他已經(jīng)定義好的類進(jìn)行區(qū)分。

(2) 與其他類邊界難以確定。由于成分復(fù)雜，分類器進(jìn)行分類時(shí)，如果不對(duì)“未定義”類進(jìn)行專門(mén)處理，分類邊界確定將變得尤為困難，容易混淆“未定義”類與“已定義”類。

Lane等人[18]提出的利用二層層疊泛化(stacked generalization)進(jìn)行“超出領(lǐng)域”(out-of-domain, OOD)話語(yǔ)檢測(cè)方案，某種意義上也相當(dāng)于進(jìn)行了“未定義”類話語(yǔ)檢測(cè)。然而在他們的研究中，訓(xùn)練集不含OOD，即OOD話語(yǔ)只在測(cè)試集，訓(xùn)練過(guò)程由領(lǐng)域內(nèi)(in-domain, ID)話語(yǔ)輪流作為臨時(shí)OOD，這樣的做法從某種程度上可以使得ID各類別之間的分類邊界更加明確，但并沒(méi)有解決“未定義”類話語(yǔ)與眾多的“已定義”類話語(yǔ)邊界復(fù)雜和模糊的問(wèn)題。

針對(duì)以上研究進(jìn)展，本文提出一種基于優(yōu)化“未定義”類話語(yǔ)檢測(cè)的領(lǐng)域分類方案，經(jīng)過(guò)實(shí)驗(yàn)評(píng)估，能夠較好地解決領(lǐng)域分類中“未定義”類準(zhǔn)確率、召回率以及F1值較低的問(wèn)題，并能夠有效地提高領(lǐng)域分類的總正確率。

2 基于優(yōu)化“未定義”類話語(yǔ)檢測(cè)的領(lǐng)域分類

2.1 總體技術(shù)架構(gòu)

圖1是本文所提出方法的總體技術(shù)架構(gòu)。

圖1 基于優(yōu)化“未定義”類話語(yǔ)檢測(cè)的領(lǐng)域分類總體技術(shù)架構(gòu)

在這個(gè)架構(gòu)中，主要分成兩個(gè)階段：

(1) 第一階段首先進(jìn)行“已定義”類與“未定義”類的區(qū)分： 作為預(yù)處理，訓(xùn)練庫(kù)利用外部微博數(shù)據(jù)以及Word2Vector生成詞向量。同時(shí)，為了使得“已定義”類中相似標(biāo)簽之間更加易于“未定義”類相區(qū)分，我們選擇合適的“已定義”類聚類中心數(shù)K，并由訓(xùn)練集生成聚類中心，為訓(xùn)練集打上聚類標(biāo)簽以及“未定義”類標(biāo)簽。測(cè)試開(kāi)始時(shí)，首先利用LSTM模型將測(cè)試話語(yǔ)分到共K+1(K個(gè)“已定義”類以及“未定義”類)個(gè)標(biāo)簽中。

(2) 隨后進(jìn)入第二階段，即進(jìn)行“已定義”類內(nèi)部的細(xì)分。第一階段被分類為“未定義”類的話語(yǔ)將被保存，不進(jìn)入第二階段的分類。第二階段只針對(duì)第一階段中被分為K個(gè)“已定義”大類中某一個(gè)話語(yǔ)進(jìn)行分類。同樣利用LSTM模型，將這部分話語(yǔ)分為滿足條件的N個(gè)“已定義”類別。

2.2 LSTM分類模型

本文使用的LSTM模型整體結(jié)構(gòu)如圖2所示。

圖2 LSTM模型

在池化層，我們利用所有h生成一個(gè)向量。一般選擇機(jī)制有： 平均池化、最大池化以及最后池化。平均池化選擇所有h向量的平均值，最大池化選擇最大的h向量，最后池化則選擇最后一個(gè)h向量(如：ht)[19]。

如果將每個(gè)時(shí)間序列中的LSTM單元(Cell)展開(kāi)來(lái)看，那么其結(jié)構(gòu)如圖3[17]所示。

圖3 LSTM模型單元結(jié)構(gòu)及其對(duì)應(yīng)的參數(shù)

圖3中：

it=σ(W(i)Xt+U(i)ht-1+b(i))

(1)

ft=σ(W(f)Xt+U(f)ht-1+b(f))

(2)

ot=σ(W(o)Xt+U(o)ht-1+b(o))

(3)

ut=tanh(W(u)Xt+U(u)ht-1+b(u))

(4)

ct=it⊙ut+f(t)⊙ct-1

(5)

ht=ot⊙tanh(ct)

(6)

其中，輸入Xt為d維向量，W、U為權(quán)重矩陣，b為偏置向量，σ為激活函數(shù)sigmoid，tanh為激活函數(shù)，it為輸入門(mén)，ft為遺忘門(mén)，ot為輸出門(mén)，ct為記憶單元，ht為隱藏狀態(tài)，⊙為矩陣點(diǎn)乘。

2.3 聚類

聚類算法能將無(wú)標(biāo)簽的數(shù)據(jù)根據(jù)聚類中心數(shù)K分成K組，將含有某種聯(lián)系的類別分到一個(gè)聚類標(biāo)簽之中。不同的聚類方法有不同的幾何距離計(jì)算方法。本文采用經(jīng)典的K-means算法對(duì)“已定義”類進(jìn)行聚類，該方法已經(jīng)在大量實(shí)際應(yīng)用領(lǐng)域取得了較好的成果。

其效果示意圖如圖4所示。

圖4中，本文實(shí)驗(yàn)將“已定義”類由K-means聚合為K個(gè)不同的類別，據(jù)此為“已定義”類的話語(yǔ)打上新的標(biāo)簽。

其基本原理是不斷更新聚類中心，使得聚類內(nèi)平方誤差最小，如式(7)所示。

μi||2

(7)

其中，x為話語(yǔ)，Ci為類別i，μi為類別i的均值。

大量的理論和實(shí)證研究都證明了K-means聚類方法能較好地將相似的樣本聚集到某一特定聚類中心下。同時(shí)聚類中心個(gè)數(shù)K是影響聚類效果的重要因素[20-21]。

圖4 K-means聚類效果示意圖

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

本文采用SMP 2017 意圖領(lǐng)域分類比賽提供的公開(kāi)數(shù)據(jù)集SMP 2017 DC Dataset。數(shù)據(jù)共計(jì)31個(gè)類別，每個(gè)類別數(shù)據(jù)單獨(dú)成為一個(gè)文件，具體包括聊天類(chat)和垂類(30個(gè)垂直領(lǐng)域)，其數(shù)據(jù)集中類別分布，舉例及統(tǒng)計(jì)，如表1所示。

表1 SMP 2017 DC Dataset語(yǔ)料

值得注意的是，這份數(shù)據(jù)集屬于多任務(wù)語(yǔ)料庫(kù)，除“chat”類外，其余每個(gè)類代表一個(gè)領(lǐng)域。根據(jù)之前的定義可知，這份數(shù)據(jù)中，“chat”類屬于“未定義”類，其余30個(gè)類別均屬于“已定義”類。

由于SMP 2017 DC Dataset的測(cè)試集還沒(méi)有給出，我們利用目前已經(jīng)發(fā)布的驗(yàn)證集作為測(cè)試集，利用訓(xùn)練集進(jìn)行K折交叉驗(yàn)證(本文中K=5)模型參數(shù)選擇。

SMP 2017 DC Dataset的總體情況如表2所示。

表2 訓(xùn)練驗(yàn)證以及測(cè)試語(yǔ)料的情況

具體來(lái)說(shuō)，整個(gè)SMP 2017 DC數(shù)據(jù)集語(yǔ)料中包括訓(xùn)練集2 299句和測(cè)試集770句話語(yǔ)，共有3 069句話語(yǔ)，其中“未定義”類話語(yǔ)有609句，占了19.84%。訓(xùn)練集中含“未定義”類話語(yǔ)455句，占19.79%，測(cè)試集中“未定義”類話語(yǔ)有154句，占20.00%，表明了優(yōu)化“未定義”類話語(yǔ)檢測(cè)的研究和應(yīng)用的價(jià)值。

3.2 實(shí)驗(yàn)設(shè)置

本文采用詞向量的特征表達(dá)，訓(xùn)練詞向量的外部數(shù)據(jù)庫(kù)采用的是中國(guó)中文信息學(xué)會(huì)社會(huì)媒體專委會(huì)提供的SMP 2015微博數(shù)據(jù)集(SMP 2015 Weibo DataSet)。該數(shù)據(jù)集超過(guò)500G，目前我們采用了其中的一個(gè)子集(1 000萬(wàn)條微博，519 734個(gè)詞匯，約1.5G)。詞向量采用Python Gensim主題模型包中的Word2Vec進(jìn)行訓(xùn)練。

實(shí)驗(yàn)方案為：

(1) 聚類中心個(gè)數(shù)選擇： 驗(yàn)證使用不同聚類中心個(gè)數(shù)進(jìn)行聚類時(shí)，驗(yàn)證集上“未定義”類檢測(cè)的F1值的變化，并從中選擇“未定義”類F1值最高的方案。

(2) 研究進(jìn)展方法領(lǐng)域分類性能對(duì)比： 對(duì)比了本文提出的方法與研究進(jìn)展方法的領(lǐng)域分類結(jié)果。

本文的方法，先對(duì)“已定義”類聚類，優(yōu)化“未定義”類話語(yǔ)檢測(cè)，進(jìn)而對(duì)“已定義”類再次分類的二階段領(lǐng)域分類方案，記為2Stage(Clustering+LSTM)，分類模型采用的是LSTM。對(duì)比的研究進(jìn)展的方法如下：

(1) LSTM： 在研究進(jìn)展中，LSTM模型被采用在不同語(yǔ)料庫(kù)上利用上下文特征進(jìn)行領(lǐng)域分類[3,14-15]。本文實(shí)驗(yàn)利用其LSTM模型直接對(duì)語(yǔ)料中的31個(gè)類別進(jìn)行31分類。

(2) OOD Detection： Lane等人[18]提出的利用置信度層疊泛化模型(stacked generalization)進(jìn)行OOD檢測(cè)的方法。第一層輸出ID分類器的置信度，第二層對(duì)第一層的置信度進(jìn)行學(xué)習(xí)，并檢測(cè)出OOD類。

3.3 實(shí)驗(yàn)結(jié)果與分析

3.3.1 聚類中心個(gè)數(shù)選擇

聚類中心個(gè)數(shù)是進(jìn)行聚類時(shí)的重要參數(shù)，本文驗(yàn)證八個(gè)不同的“已定義”類聚類中心個(gè)數(shù)方案，即K=1～8，如圖5所示。K=1即為將所有“已定義”類話語(yǔ)作為一個(gè)大類，“未定義”類話語(yǔ)作為一類。

圖5 “已定義”類聚類中心個(gè)數(shù)驗(yàn)證結(jié)果

在本文的實(shí)驗(yàn)中，當(dāng)K=4時(shí)，相應(yīng)的“未定義”類的F1值最高，據(jù)此，本文選擇K=4作為“已定義”聚類中心數(shù)。

3.3.2 研究進(jìn)展方法領(lǐng)域分類性能對(duì)比

本文的方法與研究進(jìn)展方法的領(lǐng)域分類結(jié)果如表3所示。根據(jù)圖5的對(duì)比，本文方案的“已定義”聚類中心個(gè)數(shù)選擇為4。

表3 本文方法與研究進(jìn)展方法的領(lǐng)域分類對(duì)比

從表3可以看到，本文提出的方法比Lane等人[18]的 OOD Detection方法和LSTM模型方法分別提高了27.6%和6.6%的領(lǐng)域分類總體正確率。在“未定義”類話語(yǔ)檢測(cè)的F1值方面，本文提出的方法也比LSTM模型提高了6.9%。其中，OOD Detection方法的“未定義”類F1值幾乎為零，其原因主要在于按該方法在第一層輸入之前去掉了訓(xùn)練集中所有的“未定義”類，使得信息大大丟失，因此在第二層進(jìn)行OOD檢測(cè)時(shí)失準(zhǔn)。

3.4 案例分析

上述實(shí)驗(yàn)表明，本文提出的基于優(yōu)化“未定義”類話語(yǔ)檢測(cè)的領(lǐng)域分類方案能有效地提高總的分類正確率以及“未定義”類話語(yǔ)檢測(cè)的F1值。

3.4.1 “未定義”類分類結(jié)果

從整體上看，利用T-SNE[22-23]以及KNN[23]模擬出如圖6所示邊界(三角形代表“未定義”類，空心代表正確分類，實(shí)心代表錯(cuò)誤分類。深灰色區(qū)域表示分類器認(rèn)為是“未定義”類的區(qū)域)?？梢钥吹?，相比于本文的2Stage(Clustering+LSTM)方法，單純LSTM分類時(shí)，有較多的“未 定 義”類 錯(cuò) 分 到“已 定義”之中，造成了“未定義”類的召回率較低。相反地，應(yīng)用聚類方法后，灰色區(qū)域能夠包攬更多的“未定義”類話語(yǔ)，使得召回率大大提升。

圖6 “未定義”類分類結(jié)果

值得注意的是，本文使用KNN算法近似算出邊界，實(shí)際邊界必定在近似邊界附近，但不保證一定處在近似邊界位置[24]。同時(shí)，由于T-SNE降維算法對(duì)于展示效果的自適應(yīng)，圖6 中(a)和(b)兩子圖的點(diǎn)投影后位置發(fā)生改變，但仍可以通過(guò)話語(yǔ)序號(hào)追蹤到點(diǎn)的情況。

3.4.2 典型話語(yǔ)追蹤

下面結(jié)合兩個(gè)典型的從錯(cuò)分中糾正過(guò)來(lái)的話語(yǔ)例子探討本文方法的效果，如圖7所示(圓形代表“已定義”類，同樣是空心代表正確分類，實(shí)心代表錯(cuò)誤分類)。

圖7 典型話語(yǔ)的追蹤

(1) 錯(cuò)分為“未定義”類的糾正

在未對(duì)“未定義”類進(jìn)行專門(mén)處理時(shí)，分類器容易誤把“已定義”類認(rèn)為是“未定義”類。如： 話語(yǔ)“老馬的電話是多少”，“多少”這個(gè)詞在“未定義”類中出現(xiàn)過(guò)多次，而在“已定義”類的“contacts”類的訓(xùn)練集中沒(méi)有出現(xiàn)，極容易被誤分到“未定義”類中。使用本文方案后，該句在第一階段被分到了某個(gè)大類，進(jìn)而可以在第二階段排除“未定義”類的干擾進(jìn)行“已定義”類的細(xì)分，大大提高了其正確率。如圖7圓形所示，(a)中直接被分到“未定義”類中，而(b)則分到“已定義”類中，并且正確分到“contacts”類。

(2) 錯(cuò)分為“已定義”類的糾正

同樣，在未對(duì)“未定義”類進(jìn)行專門(mén)處理時(shí)，一些“未定義”類的話語(yǔ)也容易被誤分為“已定義”類。如： 話語(yǔ)“你生日是什么時(shí)候”，出現(xiàn)“什么”的關(guān)鍵詞，“什么”在“epg”類中出現(xiàn)多次，如“今天電影頻道演什么”、“現(xiàn)在熱門(mén)的電視劇是什么”等，含“什么”的話語(yǔ)占比達(dá)4.7%，所以分類器容易將其直接判定為“epg”類。但使用本文方案后，“什么”并不在某一個(gè)大類中占多數(shù)，如果在第一階段先區(qū)分“已定義”與“未定義”，則該句在第一階段能被劃分到“未定義”類。如圖7中三角形所示，(a)中被分到了“epg”之中，(b)中該話語(yǔ)重新被“未定義”類有效召回。

4 結(jié)束語(yǔ)

本文利用聚類算法和LSTM分類模型，提出了基于優(yōu)化“未定義”類話語(yǔ)檢測(cè)的領(lǐng)域分類方案。在SMP 2017意圖領(lǐng)域分類比賽數(shù)據(jù)集上的測(cè)試表明，本文的方法取得了優(yōu)于研究進(jìn)展中的領(lǐng)域分類方法的效果。在有限訓(xùn)練數(shù)據(jù)集的條件下，相比于基于置信度的OOD檢測(cè)和LSTM等模型，在 “未定義”類話語(yǔ)檢測(cè)的F1值以及所有話語(yǔ)的領(lǐng)域分類總正確率上都有明顯的提升。未來(lái)計(jì)劃通過(guò)分析存在的分類錯(cuò)誤樣例，并結(jié)合進(jìn)一步擴(kuò)大的訓(xùn)練庫(kù)，探索領(lǐng)域分類決策邊界優(yōu)化機(jī)制。

[1] Tur G, Deng L, Hakkani-Tür D, et al. Towards deeper understanding: Deep convex networks for semantic utterance classification[C]//Proceedings of the 37th IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2012), 2012:5045-5048.

[2] Stolcke A, Ries K, Coccaro N, et al. Dialogue act modeling for automatic tagging and recognition of conversational speech [J]. Computational Linguistics, 2000, 26(3), 339-373.

[3] Ravuri S, Stolcke A. A comparative study of recurrent neural network models for lexical domain classification C]//Proceedings of the 41st IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2016), 2016: 6075-6079.

[4] Gorin A, Riccardi G, Wright J. How may I help you?[J]. Speech Communication, 1997, 23(1-2): 113-127.

[5] Durston P, Farrell M, Attwater D, et al.. OASIS natural language call steering trial[C]//Proceedings of 7th European Conference on Speech Communication and Technology (Eurospeech 2011), 2001: 1323-1326.

[6] Haffner P, Tur G, Wright J H. Optimizing SVMs for complex call classification[C]//Proceedings of the 28th IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2003), 2003, I: 632-635.

[7] Yang X, Loukina A, Evanini K. Machine learning approaches to improving pronunciation error detection on an imbalanced corpus[C]//Proceedings of the 4th IEEE Workshop on Spoken Language Technology (SLT 2014), 2014:300-305.

[8] Chelba C, Mahajan M, Acero A. Speech utterance classification[C]//Proceedings of the 28th IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2003), 2003, I: 280-283.

[9] Sarikaya R, Hinton G E, Ramabhadran B. Deep belief nets for natural language call-routing[C]//Proceedings of the 36th IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2011), 2011:5680-5683.

[10] Sarikaya R, Hinton G E, Deoras A. Application of Deep Belief Networks for natural language understanding[J].IEEE/ACM Transactions on Audio Speech and Language Processing, 2014, 22(4): 778-784.

[11] Wang Z, Yang Y, Chang S, et al. Learning a deep l∞ encoder for hashing[C]//Proceedings of the 25th International Joint Conference on Artificial Intelligence (IJCAI 2016), 2016: 2174-2180.

[12] Chen Y N, Hakkani-Tur D, Tur G, et al. Knowledge as a teacher: Knowledge-guided structural attention networks[J]. arXiv preprint arXiv: 2016,1609.03286.

[13] Chen Y N, Hakanni-Tür D, Tur G, et al. Syntax or semantics? knowledge-guided joint semantic frame parsing[C]//Proceedings of the Spoken Language Technology Workshop. IEEE, 2017:348-355.

[14] Xu P, Sarikaya R. Contextual domain classification in spoken language understanding systems using recurrent neural network[C]//Proceedings of the 39th IEEE International Conference on Acoustics, Speech, and Signal Processing(ICASSP 2014), 2014: 136-140.

[15] Shi Y, Yao K, Chen H, et al. Contextual spoken language understanding using recurrent neural networks[C]//Proceedings of the 40th IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2015), 2015: 5271-5275.

[16] Bhargava A, Celikyilmaz A, Hakkani-Tür D, et al. Easy contextual intent prediction and slot detection[C]//Proceedings of the 38th IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2013), 2013: 8337-8341.

[17] Xu P, Sarikaya R. Convolutional neural network based triangular CRF for joint intent detection and slot filling[C]//Proceedings of the 2013 IEEE Workshop on Automatic Speech Recognition and Understanding (ASRU 2013), 2013: 78-83.

[18] Lane I R, Kawahara T, Matsui T, et al. Out-of-Domain Utterance Detection based on Confidence Measures from Multiple Topic Classification[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2007, 15(1): 150-161.

[19] Khanpour H, Guntakandla N, Nielsen R. Dialogue Act Classification in Domain-Independent Conversations Using a Deep Recurrent Neural Network[C]//Proceedings of the 26th International Conference on Computational Linguistics (COLING 2016),2016: 2012-2021.

[20] Rodriguez A, Laio A. Machine learning. Clustering by fast search and find of density peaks[J]. Science, 2014 , 344 (6191) :1492.

[21] Collobert R, Weston J, Bottou L, et al. Natural language processing (almost) from scratch[J]. Journal of Machine Learning Research, 2011, 12:2493-2537.

[22] Maaten L. Accelerating t-SNE using tree-based algorithms [J]. Journal of Machine Learning Research, 2014, 15(1): 3221-3245.

[23] Maaten L. Learning a parametric embedding by preserving local structure[J]. Journal of Machine Learning Research, 2009, 5:384-391.

[24] Migut M A, Worring M, Veenman C J. Visualizing multi-dimensional decision boundaries in 2D[J]. Data Mining and Knowledge Discovery, 2015, 29(1): 273-295.

E-mail:zz0807@126.com