畢然，王軼，周喜

（1.中國科學(xué)院新疆理化技術(shù)研究所，烏魯木齊 830011；2.中國科學(xué)院大學(xué)，北京 100049；3.新疆民族語音語言信息處理實(shí)驗室，烏魯木齊 830011）

0 概述

意圖識別［1］是任務(wù)型對話系統(tǒng)［2］自然語言理解（Natural Language Understanding，NLU）模塊［3］中的子任務(wù)，旨在識別用戶隱藏在對話語句中的真實(shí)意圖。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，意圖識別研究不斷深入并取得諸多成果。然而在真實(shí)場景中，用戶意圖隨著時間推移頻繁變化，系統(tǒng)無法針對未在訓(xùn)練過程中出現(xiàn)的新意圖進(jìn)行有效檢測。

目前，針對未知意圖檢測任務(wù)主要包括基于生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）［4-6］、基于置信度分?jǐn)?shù)［7-8］以及基于異常 檢測［9-10］3 類方法?；谏蓪咕W(wǎng)絡(luò)的方法生成大量與已知意圖在空間上接近的未知意圖，再將兩者送入分類器學(xué)習(xí)，然而無法解釋生成樣本的合理性，且GAN 在文本離散數(shù)據(jù)中可能表現(xiàn)不佳?；谥眯哦确?jǐn)?shù)的方法會輸出一個額外的置信度分?jǐn)?shù)衡量測試樣本屬于已知意圖或未知意圖的概率，然而該方法需要足夠且類別分布均勻的樣本訓(xùn)練分類器，在類別分布不平衡時可能失效?；诋惓z測的方法先通過改進(jìn)交叉熵?fù)p失［11-12］訓(xùn)練分類器，使模型的類間方差最大化、類內(nèi)方差最小化，各類別特征的空間分布界限分明，再通過局部異常因子（Local Outlier Factor，LOF）［13］算法將測試樣本中的離群點(diǎn)視為未知意圖，然而經(jīng)過交叉熵?fù)p失訓(xùn)練得到的特征簇分布相對狹長［14］，無法保證特征簇的整體間距、密度和分散情況均勻一致，導(dǎo)致LOF 算法的檢測效率受到影響。

本文提出一種基于重建誤差的未知意圖檢測模型LeCosRE，優(yōu)化特征的空間分布，利用自動編碼器無法重建非正類樣本的特性檢測未知意圖。在訓(xùn)練階段：首先使用融入標(biāo)簽知識的聯(lián)合損失函數(shù)LeCos 訓(xùn)練已知意圖分類器，使各類別特征盡可能向自身的類別中心靠攏；然后利用自動編碼器［15-17］充分學(xué)習(xí)已知意圖的相關(guān)信息，并將其作為未知意圖檢測器。在測試階段，利用自動編碼器重建已知意圖特征，從而將已知意圖與未知意圖進(jìn)行有效區(qū)分。

1 相關(guān)工作

1.1 意圖識別

任務(wù)型對話系統(tǒng)先判斷用戶意圖，再提取語句中的關(guān)鍵槽值［18］，最終將整合的信息傳遞給對話管理模塊，從而完成后續(xù)回復(fù)。目前，考慮到意圖識別和槽值提取任務(wù)間存在較大的相關(guān)性，許多研究人員將兩者作為聯(lián)合任務(wù)進(jìn)行訓(xùn)練。XU等［19］基于CNN 的方法通過聚合相鄰單詞的詞嵌入從而構(gòu)建句子嵌入表示。LIU等［20］基于RNN 的方法將單詞的詞嵌入進(jìn)行順序編碼以此提取句子嵌入表示。CHEN等［21］將BERT 引入自然語言理解任務(wù)，解決了傳統(tǒng)模型泛化能力較差的問題。ZHANG等［22］提出意圖-槽值聯(lián)合訓(xùn)練應(yīng)在語義層面共享參數(shù)的思想，并基于BERT 的方法先檢測用戶的意圖，再通過整體的語義信息和意圖語義信息預(yù)測槽值的位置。

任務(wù)型對話在學(xué)術(shù)界和工業(yè)界得到越來越多關(guān)注，但也面臨一些挑戰(zhàn)，例如如何提高數(shù)據(jù)使用效率以促進(jìn)資源匱乏環(huán)境中的對話建模［23］。當(dāng)對話系統(tǒng)預(yù)設(shè)的意圖類別不能滿足用戶在真實(shí)場景下的全部需求時，系統(tǒng)雖然可以利用已有的標(biāo)注數(shù)據(jù)訓(xùn)練一個具有較強(qiáng)判別能力的分類器，但在出現(xiàn)新意圖時無法進(jìn)行有效回復(fù)。

1.2 未知意圖檢測

傳統(tǒng)意圖識別任務(wù)訓(xùn)練及測試階段數(shù)據(jù)標(biāo)簽類別相同，即在測試階段不會引入一類完全不同于訓(xùn)練階段意圖類別的新意圖。目前，關(guān)于未知意圖檢測問題的研究較少，其研究難點(diǎn)是無法在訓(xùn)練階段獲取未知意圖的任何信息。LIN等［9］使用增強(qiáng)邊緣余弦損失（Large-Margin Cosine Loss，LMCL）訓(xùn)練已知意圖分類器，使模型的類間方差最大化，并在測試時使用LOF 算法檢測離群點(diǎn)作為未知意圖，而其余正常點(diǎn)送入分類器。LOF 算法是一種基于密度的離群點(diǎn)檢測算法，通過對每個特征點(diǎn)分配一個依賴于鄰域密度的離群因子判斷其所屬。YAN等［10］假設(shè)學(xué)習(xí)到的特征服從高斯混合分布，提出增強(qiáng)語義的高斯混合損失（Semantic-Enhanced large-margin Gaussian mixture loss，SEG）以提高特征的類內(nèi)緊湊性，更符合LOF 算法的要求。

圖像領(lǐng)域自動編碼器（autoencoder）和生成對抗網(wǎng)絡(luò)的應(yīng)用為未知意圖檢測提供了思路。自動編碼器是一種無監(jiān)督的神經(jīng)網(wǎng)絡(luò)模型，目的是完成對原始輸入的重建，其數(shù)據(jù)相關(guān)性（data-specific）導(dǎo)致無法拓展一種編碼器在另一類數(shù)據(jù)上應(yīng)用，可以作為檢測離群點(diǎn)的工具。AN等［15］利用變分自動編碼器的重建概率進(jìn)行判別，已知樣本的重建概率較未知樣本更高。SABOKROU等［24］訓(xùn)練一個生成對抗網(wǎng)絡(luò)，將生成器作為數(shù)據(jù)重構(gòu)器，判別器作為未知檢測器，將樣本依次通過數(shù)據(jù)重構(gòu)器、未知檢測器和Sigmoid 函數(shù)獲得概率值進(jìn)行判斷。本文利用自動編碼器重建誤差的思想代替LOF 算法檢測未知意圖，解決因特征分布不均勻?qū)е聶z測效率不高的問題。

2 基于重建誤差的未知意圖檢測

2.1 任務(wù)定義

使用訓(xùn)練集Dtr=(Xtr，Ytr)訓(xùn)練模型，其中，Xtr是訓(xùn)練集語句，Ytr是訓(xùn)練集的意圖標(biāo)簽，標(biāo)簽Ytr∈{y1，y2，…，yk}=Cseen均屬于已知意圖，k表示已知意圖類別數(shù)。在測試階段，測試集Dte=(Xte，Yte)中的意圖標(biāo)簽Yte既包含已知意圖Cseen，又包含未知意圖yk+1=Cunseen。模型針對訓(xùn)練階段并未出現(xiàn)未知意圖這一情況，旨在對測試集中的已知意圖語句進(jìn)行正確分類，并檢測出更多的未知意圖。

2.2 整體模型

本文提出的LeCosRE 模型整體架構(gòu)如圖1 所示。在訓(xùn)練第一階段，每個已知意圖語句x通過基于自注意力機(jī)制的雙向LSTM 網(wǎng)絡(luò)編碼為特征zx。同時，用相同方法編碼每個已知意圖標(biāo)簽Cseen，通過融入標(biāo)簽知識的聯(lián)合損失函數(shù)LeCos 訓(xùn)練已知意圖分類器，不斷優(yōu)化網(wǎng)絡(luò)參數(shù)。在訓(xùn)練第二階段，根據(jù)提取的特征zx訓(xùn)練自動編碼器作為未知意圖檢測器，將訓(xùn)練結(jié)束時已知意圖特征的平均重建損失作為閾值。在測試階段，測試語句x先通過特征提取得到zx，再通過自動編碼器得到重建特征，重建誤差大于閾值則判為未知意圖，標(biāo)簽記為Cunseen，重建誤差小于等于閾值標(biāo)簽記為Cseen并正常分類。

圖1 LeCosRE 模型整體架構(gòu)Fig.1 Overall architecture of LeCosRE model

2.3 特征提取

給定一個具有T個詞語組成的語句x={w1，w2，…，wT}，wt∈Rdw是第t個詞嵌入表示，每個詞語被雙向LSTM 編碼，如式（1）所示：

單詞wt的詞向量由連接前向推算結(jié)果和后向推算結(jié)果表示，即，綜合所有詞向量得到的語句向量表示為H=[h1，h2，…，hT]∈R2dh×T。此外，利用自注意力機(jī)制可以更有效地捕捉關(guān)鍵詞語，提升整體的語義表示，對H進(jìn)行以下操作：

其中：a∈RT是自注意力權(quán)重向量；Ws1∈Rda×2dh和Ws2∈R1×da是可訓(xùn)練的參數(shù)，da表示自注意力權(quán)重向量維度，dh表示隱狀態(tài)向量維度；Ws∈Rdz×2dh也是可訓(xùn)練的前饋權(quán)重參數(shù)，dz表示句向量維度。在訓(xùn)練過程中對H的每個詞表示賦予不同權(quán)重，zx∈Rdz是x的最終表示。

2.4 已知意圖分類器

交叉熵?fù)p失在許多問題上被廣泛使用，然而經(jīng)WEN等［14］驗證，交叉熵?fù)p失訓(xùn)練得到的特征雖在類間可分，但類內(nèi)距離較大，每類特征的空間分布相對狹長。傳統(tǒng)的交叉熵?fù)p失如式（3）所示：

其中：pi是特征向量zx屬于類別i的概率；N為訓(xùn)練樣本個數(shù)；C為分類類別總數(shù)；fj一般是全連接層的激活值，可以通過網(wǎng)絡(luò)的權(quán)重W及偏移量b計算。若將偏移量設(shè)置為0，則fj可以表示為如下形式：

其中：θj是Wj和特征向量zx的角度。

W和zx的范數(shù)及兩者間的夾角影響分類置信度，對權(quán)重歸一化處理，并將最后一個全連接層的輸入zx的范數(shù)固定為s，交叉熵?fù)p失如式（5）所示：

全連接層的權(quán)重和輸出的特征需要進(jìn)行歸一化操作，如式（7）所示：

Llmc無法避免特征分布相對狹長的問題，決策邊界占據(jù)很大空間，擠壓類別特征分布的范圍。因此，本文第一個創(chuàng)新點(diǎn)是引入中心損失［14］約束類內(nèi)距離緊湊，如式（8）所示：

其中：Lcenter要求每個特征與其類別中心距離的平方和盡可能?。籲表示類別標(biāo)簽為yi的特征個數(shù)；zi表示全連接層之前的特征；cyi表示第yi個類別的特征中心。cyi經(jīng)過隨機(jī)初始化后會在訓(xùn)練過程中更新梯度及自身位置，如式（9）所示：

若特征的標(biāo)簽yi和cj的類別相同，則δ(yi=j)=1，cj需要更新；若yi和cj的類別不同，則δ(yi=j)=0，cj不需要更新。此外，將每個類別的標(biāo)簽yi通過2.3 節(jié)特征提取模塊得到的特征表示作為類別中心不停迭代以此替代cyi，每個已知意圖特征zi學(xué)習(xí)標(biāo)簽知識，使得同類特征間相似度更大、不同類特征之間相似度更小，融入標(biāo)簽知識的中心損失Lcenter如式（10）所示：

Llmc和Lcenter均通過梯度下降算法不斷減小，因此利用結(jié)合Llmc和Lcenter的損失函數(shù)LLeCos訓(xùn)練已知意圖分類器，如式（11）所示：

其中：λ表示超參數(shù)。

2.5 未知意圖檢測器

本文第二個創(chuàng)新點(diǎn)是使用自動編碼器檢測未知意圖，解決LOF 算法對于特征的空間分布要求較高的問題。自動編碼器結(jié)構(gòu)如圖2 所示。

圖2 自動編碼器結(jié)構(gòu)Fig.2 Structure of autoencoder

編碼器通過非線性仿射映射將輸入zx映射到隱藏表示h中。

其中：Wzxh是編碼器的權(quán)重；bzxh是編碼器的偏移量；σ是非線性變換函數(shù)。

解碼器通過與編碼器相同的變換將隱藏表示h映射回原始空間輸出。

其中：Whzx′是解碼器的權(quán)重；bhzx′是解碼器的偏移量。

在訓(xùn)練自動編碼器的過程中，本文對特征輸入zx添加一項微小的高斯隨機(jī)白噪聲η模擬訓(xùn)練集和測試集之間的差異性，增加模型的魯棒性［24］。訓(xùn)練過程使用均方損失訓(xùn)練使輸出zx′與輸入zx+η的誤差盡可能小，訓(xùn)練結(jié)束時樣本的平均重建損失作為判斷未知意圖的閾值。

訓(xùn)練自動編碼器全程只有已知意圖特征參與，自動編碼器充分學(xué)習(xí)了已知意圖的信息，而未知意圖的特征只包含極少量已知意圖的信息，已知意圖和未知意圖通過自動編碼器得到的重建誤差不同。已知意圖重建后與原特征點(diǎn)偏移距離較小，而未知意圖則與原特征點(diǎn)的偏移距離較大，如圖3 所示。

圖3 測試樣本的重建差異Fig.3 Reconstruction difference of test samples

在測試階段，將測試樣本的特征表示zx輸入自動編碼器得到重建特征表示。若重建誤差大于閾值，則該樣本屬于未知意圖；若重建誤差小于等于閾值，則該樣本屬于已知意圖并正常分類。

3 實(shí)驗與結(jié)果分析

3.1 數(shù)據(jù)集與基線模型選取

在SNIPS［25］和ATIS［26］兩個真實(shí)的任務(wù)型對話數(shù)據(jù)集上對本文提出模型進(jìn)行評估。SNIPS 數(shù)據(jù)集是一個開源的多領(lǐng)域單輪對話數(shù)據(jù)集，包含7 種類型的用戶意圖，每個意圖的數(shù)據(jù)量較為平均。ATIS 數(shù)據(jù)集是航空旅行領(lǐng)域的對話數(shù)據(jù)集，包含18 種類型的用戶意圖，且每個意圖的數(shù)據(jù)量極為不平衡。兩個數(shù)據(jù)集的詳細(xì)信息如表1 所示。

表1 SNIPS 和ATIS 數(shù)據(jù)集詳細(xì)信息 Table 1 Details of SNIPS and ATIS dataset

基線模型主要包括：MSP［7］和DOC［8］為每個 樣本輸出一個置信度分?jǐn)?shù)，分?jǐn)?shù)越小越有可能屬于未知意圖；LMCL［9］和SEG［10］嘗試優(yōu)化損失函數(shù)并利用LOF 算法判斷未知意圖。LeCos 可以視為損失函數(shù)的有效性驗證。

3.2 實(shí)驗設(shè)置與參數(shù)說明

參照SEG 的實(shí)驗設(shè)置，對數(shù)據(jù)集的所有意圖類別加權(quán)，抽取相應(yīng)比例的已知意圖類別，并把其余意圖類別視為未知。隨機(jī)從每個意圖中選取30%的數(shù)據(jù)作為測試集，剩余70%數(shù)據(jù)中的已知意圖類別數(shù)據(jù)作為訓(xùn)練集。此外，由于ATIS 數(shù)據(jù)集中一個意圖的樣本量占總體的96%，意圖分布極不平衡，使用Macro F1 得分作為評價指標(biāo)。

對于SNIPS 和ATIS 數(shù)據(jù)集中的樣本分別使用300 維的FastText 和Glove 預(yù)訓(xùn)練詞向量進(jìn)行嵌入表示。在特征提取模塊中，設(shè)置雙向LSTM 的層數(shù)為2，輸出維度dz為128，自注意力層中注意力向量的長度T為10。在訓(xùn)練已知意圖分類器模塊中，選取間隔m為0.35，范數(shù)s為30，融入標(biāo)簽知識的中心損失中的超參數(shù)λ為0.5。每個語句經(jīng)過訓(xùn)練由一個256 維的特征向量進(jìn)行表示。在未知意圖檢測器模塊中，將256 維的向量分別通過一個128 維、64 維和32 維的線性層，每次降維后使用Tanh 激活函數(shù)增加非線性因素，并用對稱的結(jié)構(gòu)重建向量至256維。

對于基線模型，按照原文獻(xiàn)的參數(shù)設(shè)置進(jìn)行實(shí)驗。設(shè)置MSP 和DOC 的閾值為0.5，在訓(xùn)練時使用梯度截斷避免梯度爆炸問題。設(shè)置LMCL 的超參數(shù)m=0.35、s=30。設(shè)置SEG 的超參數(shù)m=1、λ=0.5，經(jīng)過特征提取模塊后得到的特征均為12維。由于LMCL 和SEG 均使用LOF 作為未知意圖檢測器，因此對LOF 算法設(shè)置的超參數(shù)進(jìn)行統(tǒng)一。為證明本文提出模型具有適應(yīng)性，將所有模型運(yùn)行超過5 次實(shí)驗的平均結(jié)果作為最終結(jié)果。

3.3 不同模型在SNIPS 數(shù)據(jù)集上的實(shí)驗結(jié)果對比

在已知意圖占比為25%、50%和75%時，各模型整體Macro F1 得分如表2 所示，各個占比的前兩名結(jié)果均用粗體標(biāo)記。LeCos 損失函數(shù)在LMCL 基礎(chǔ)上進(jìn)行改進(jìn)，融入標(biāo)簽知識后整體Macro F1 得分均有所提升，證明了標(biāo)簽知識的有效性。此外，LeCosRE 未知意圖檢測模型在已知意圖占比為25%、50%、75%時均獲得了比基線模型更好的結(jié)果，Macro F1 得分相比于表現(xiàn)最優(yōu)的SEG 基準(zhǔn)模型分別提升了16.93%、1.14%和2.37%，尤其在訓(xùn)練集樣本類別和數(shù)量較小的情況下，整體樣本的Macro F1得分大幅提升。

表2 SNIPS 數(shù)據(jù)集上的Macro F1 得分對比 Table 2 Comparison of Macro F1 score on the SNIPS dataset

3.3.1 損失函數(shù)實(shí)驗結(jié)果與分析

圖4 為分別使用LMCL 和LeCos 對訓(xùn)練集已知意圖樣本進(jìn)行訓(xùn)練及樣本特征經(jīng)t-SNE 降維后的可視化圖像。

圖4 LMCL 和LeCos 訓(xùn)練集樣本特征分布Fig.4 Sample feature distribution with LMCL and LeCos training set

由圖4 可以看出，經(jīng)LeCos 訓(xùn)練的已知意圖特征在空間表現(xiàn)上效果更好，LeCos 不但在類間添加了足夠的間隔距離，也使每個意圖類別的特征向其類別中心靠攏。

測試集樣本特征經(jīng)t-SNE 降維后的可視化圖像如圖5 所示，其中，Seen 代表已知意圖特征，Unseen代表未知意圖特征。

圖5 LMCL 和LeCos 測試集樣本特征分布Fig.5 Sample feature distribution with LMCL and LeCos test set

由圖5 可以看出，訓(xùn)練集和測試集間具有差異性。經(jīng)LMCL 學(xué)習(xí)的特征分布更加狹長，甚至有類別間重合的情況，且有一個已知意圖類別的特征被未知意圖特征基本覆蓋，增加了LOF 算法的檢測難度，而LeCos 較LMCL 的特征分布更加合理。

3.3.2 未知意圖檢測實(shí)驗結(jié)果與分析

使用自動編碼器代替LOF 算法作為未知意圖檢測器，在已知意圖占比為25%時已知、未知意圖樣本的識別準(zhǔn)確率及Macro F1 得分如表3 所示，其中最優(yōu)指標(biāo)值用粗體標(biāo)記。

表3 SNIPS 數(shù)據(jù)集上已知意圖占比為25%時的準(zhǔn)確率及Macro F1 得分 Table 3 Accuracy and Macro F1 score when the proportion of known intents is 25% on the SNIPS dataset

在未知意圖檢測階段，LeCos 表示使用LOF 算法，而LeCosRE 表示使用自動編碼器，本文也驗證加入一個極小的隨機(jī)噪聲即LeCosRE w/o noise 可以模擬訓(xùn)練集及測試集間的差異性。由表3 可以看出，LeCosRE 在已知意圖占比較小時，對于已知意圖和未知意圖的檢測效果明顯提高。

表4 和表5 分別是已知意圖占比為50%和75%時已知意圖與未知意圖的識別準(zhǔn)確率及F1 得分，其中最優(yōu)指標(biāo)值用粗體標(biāo)記。由表4、表5 可以看出，LeCosRE 可以在基本不影響已知意圖分類整體水平的情況下，檢測出更多的未知意圖，尤其是語義與已知意圖較為類似的未知意圖，使系統(tǒng)的整體性能進(jìn)一步提升。

表4 SNIPS 數(shù)據(jù)集上已知意圖占比為50%時的準(zhǔn)確率及Macro F1 得分 Table 4 Accuracy and Macro F1 score when the proportion of known intents is 50% on the SNIPS dataset

表5 SNIPS 數(shù)據(jù)集上已知意圖占比為75%時的準(zhǔn)確率及Macro F1 得分 Table 5 Accuracy and Macro F1 score when the proportion of known intents is 75% on the SNIPS dataset

可見，自動編碼器重建誤差的方法較LOF 算法能檢測出更多未知意圖的原因主要為：1）兩者確定已知意圖邊界的方式不同，LOF 算法更傾向于使每類意圖的樣本盡可能保持同一密度，但特征分布很難保證這一前提，而自動編碼器的優(yōu)勢在于其數(shù)據(jù)相關(guān)的特性，可以得到針對已知意圖更合理的邊界；2）在訓(xùn)練自動編碼器時，加入微小的高斯隨機(jī)白噪聲項用于模擬訓(xùn)練集與測試集之間的差異性，通過實(shí)驗對比可知，隨機(jī)噪聲可提升模型的魯棒性。

3.4 不同模型在ATIS 數(shù)據(jù)集上的實(shí)驗結(jié)果對比

為驗證本文提出模型的通用性，在ATIS 數(shù)據(jù)集上的實(shí)驗結(jié)果如表6 所示，在3 種已知意圖占比下的前兩名結(jié)果均用粗體標(biāo)記。

表6 ATIS 數(shù)據(jù)集上的Macro F1 得分對比 Table 6 Comparison of Macro F1 score on the ATIS dataset

ATIS 數(shù)據(jù)集是一個類別分布極不平衡的數(shù)據(jù)集，其中一個意圖“flight”的樣本量占總體的96%，將該意圖始終劃為已知意圖。在這種條件下，LeCos仍可以獲得不錯的分類效果，而本文提出的模型LeCosRE 在已知意圖占比為25%時較現(xiàn)有模型提升明顯，主要原因總結(jié)為以下2 點(diǎn)：

1）ATIS 數(shù)據(jù)集是航空旅行領(lǐng)域的對話數(shù)據(jù)集，不同意圖語句間的關(guān)聯(lián)性比SNIPS 數(shù)據(jù)集更強(qiáng)，且其中一個意圖“flight”的樣本量占總體的96%，特征提取模塊學(xué)習(xí)到的信息基本只有“flight”本身。在測試時未知意圖特征在空間分布上表現(xiàn)為散落在“flight”內(nèi)部或周圍。對于該意圖內(nèi)部的未知意圖特征點(diǎn)，所有模型基本無法有效檢測，而LeCosRE 較僅使用LOF 算法學(xué)習(xí)到的已知意圖的特征邊界更加合理，因此可以檢測到更多在該意圖周圍的未知意圖。ATIS 數(shù)據(jù)集上已知意圖占比為25%時的未知意圖檢測結(jié)果如表7 所示，可以看出LeCosRE 學(xué)習(xí)的特征分布更加合理，已知意圖的識別效果提升明顯，對于未知意圖檢測效果也更好。

表7 ATIS 數(shù)據(jù)集上已知意圖占比為25%時的準(zhǔn)確率及Macro F1 得分 Table 7 Accuracy and Macro F1 score when the proportion of known intents is 25% on the ATIS dataset

2）“flight”樣本量過大，會導(dǎo)致無法有效學(xué)習(xí)監(jiān)督分類器。ATIS 數(shù)據(jù)集除“flight”意圖外，其余意圖只有幾十個甚至幾個樣本。當(dāng)已知意圖占比更大時，沒有足夠的樣本訓(xùn)練已知意圖分類器，分類結(jié)果不理想。Macro F1 得分的評價指標(biāo)容易受樣本量較少類別意圖的影響，因此各模型整體Macro F1 得分均不高。尤其MSP 和DOC 隨已知意圖占比的增加，整體Macro F1 得分驟降。

4 結(jié)束語

為解決在實(shí)際應(yīng)用場景中用戶語句與對話系統(tǒng)預(yù)設(shè)意圖不相符以至于無法進(jìn)行有效檢測的問題，本文提出基于重建誤差的未知意圖檢測模型LeCosRE。首先使用融入標(biāo)簽知識的聯(lián)合損失函數(shù)LeCos 訓(xùn)練已知意圖分類器，使得已知意圖特征的空間分布類間距離大且類內(nèi)距離小。然后使用已知意圖特征訓(xùn)練自動編碼器作為未知意圖檢測器，由于自動編碼器僅學(xué)習(xí)已知意圖的相關(guān)信息，對未知意圖的重建誤差較大，因此可以檢測出更多的未知意圖樣本。在SNIPS 和ATIS 數(shù)據(jù)集上的實(shí)驗結(jié)果表明，LeCos 損失函數(shù)賦予不同類別樣本更為合理的空間分布，LeCosRE 未知意圖檢測模型可以提升對話系統(tǒng)整體性能，并檢測出更多的未知意圖樣本，尤其在訓(xùn)練樣本數(shù)量、類別較少的情況下檢測效果相比于基線模型提升明顯。后續(xù)將嘗試?yán)媚z囊網(wǎng)絡(luò)、BERT 等網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合聯(lián)合損失函數(shù)對語句特征進(jìn)行學(xué)習(xí)，探索更適合下游任務(wù)的特征空間分布，提升未知意圖檢測效率。