王麗花，楊文忠，姚 苗，王 婷，理姍姍

1.新疆大學(xué) 軟件學(xué)院，烏魯木齊830046

2.新疆大學(xué) 信息科學(xué)與工程學(xué)院，烏魯木齊830046

目前階段的人機(jī)交互方式主要以人機(jī)對(duì)話(huà)為主，如谷歌Home、天貓精靈等?？谡Z(yǔ)理解是人機(jī)對(duì)話(huà)系統(tǒng)中的重要環(huán)節(jié)，旨在形成一個(gè)語(yǔ)義框架來(lái)捕獲用戶(hù)話(huà)語(yǔ)或查詢(xún)的語(yǔ)義[1]。意圖識(shí)別和語(yǔ)義槽填充又是口語(yǔ)理解的兩個(gè)重要子任務(wù)，通過(guò)意圖識(shí)別挖掘用戶(hù)在自然語(yǔ)言中表達(dá)的意圖，再利用語(yǔ)義槽填充提取話(huà)語(yǔ)中的語(yǔ)義概念。

對(duì)于給定的一組用戶(hù)話(huà)語(yǔ)，意圖識(shí)別是在句子層面理解整個(gè)語(yǔ)句的語(yǔ)義，然后識(shí)別出該語(yǔ)句的意圖[2]；語(yǔ)義槽填充任務(wù)在單詞級(jí)別標(biāo)注這句話(huà)，每個(gè)詞對(duì)應(yīng)一個(gè)槽標(biāo)簽，最終輸出與輸入序列長(zhǎng)度相同的槽標(biāo)簽序列。如表1為意圖識(shí)別和語(yǔ)義槽填充任務(wù)的一個(gè)標(biāo)注實(shí)例，取Snips[3]數(shù)據(jù)集中的一條數(shù)據(jù)“play a popular chant by Brian Epstein”作為輸入。在語(yǔ)義槽標(biāo)注時(shí)采用Begin/In/Out（BIO）標(biāo)簽標(biāo)注分詞結(jié)果，槽標(biāo)注結(jié)果如“Slots”一行所示，槽標(biāo)簽“B-artist I-artist”為藝術(shù)家的名字，意圖的識(shí)別結(jié)果如“Intent”一行。輸入的話(huà)語(yǔ)通過(guò)意圖識(shí)別與語(yǔ)義槽填充任務(wù)處理之后，形成一個(gè)簡(jiǎn)單的語(yǔ)義框架，可以很好地捕捉用戶(hù)話(huà)語(yǔ)的語(yǔ)義。

表1 用戶(hù)話(huà)語(yǔ)標(biāo)注示意表

意圖識(shí)別和語(yǔ)義槽填充作為口語(yǔ)理解的兩個(gè)關(guān)鍵子任務(wù)，兩者之間存在緊密的聯(lián)系，考慮到單獨(dú)研究意圖識(shí)別和語(yǔ)義槽填充模型容易出現(xiàn)誤差傳播，使口語(yǔ)理解性能下降，提出意圖識(shí)別語(yǔ)義槽填充的聯(lián)合模型[4]?；诖吮疚奶岢隽嘶陂T(mén)控機(jī)制的雙向關(guān)聯(lián)模型（Bidirectional Association Gate，BiAss-Gate）來(lái)完善現(xiàn)有的聯(lián)合模型，通過(guò)深入挖掘意圖識(shí)別與語(yǔ)義槽填充之間的聯(lián)系，建立雙向關(guān)聯(lián)機(jī)制，彌補(bǔ)了現(xiàn)有聯(lián)合模型中存在的淺層關(guān)聯(lián)、單向關(guān)聯(lián)的不足。

1 相關(guān)工作

在傳統(tǒng)的研究中，意圖識(shí)別和語(yǔ)義槽填充任務(wù)分別單獨(dú)處理。

意圖識(shí)別常被視為多分類(lèi)任務(wù)。對(duì)于給定的一組話(huà)語(yǔ)，預(yù)測(cè)出該話(huà)語(yǔ)所對(duì)應(yīng)的意圖類(lèi)型。常用的意圖分類(lèi)方法有支持向量機(jī)（Support Vector Machine，SVM）[5]、樸素貝葉斯[6]，近年來(lái)，深度神經(jīng)網(wǎng)絡(luò)方法也被用來(lái)進(jìn)行意圖分類(lèi)[7]，并取得了不錯(cuò)的效果。文獻(xiàn)[8]提出了一種基于注意力機(jī)制的CNN（Convolutional Neural Networks）-LSTM（Long Short-Term Memory）模型來(lái)預(yù)測(cè)用戶(hù)意圖，并將無(wú)監(jiān)督聚類(lèi)方法應(yīng)用于用戶(hù)意圖分類(lèi)。文獻(xiàn)[9]提出基于門(mén)控機(jī)制的信息共享網(wǎng)絡(luò)來(lái)檢測(cè)口語(yǔ)意圖。

語(yǔ)義槽填充通常被視為序列標(biāo)注任務(wù)，對(duì)于給定的一組話(huà)語(yǔ)，輸出所對(duì)應(yīng)的最大概率的槽標(biāo)簽序列[10]。條件隨機(jī)場(chǎng)（Conditional Random Fields，CRF）[11]和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM）[12]常常被用來(lái)處理序列標(biāo)注任務(wù)。文獻(xiàn)[13]用遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network，RecNNs）來(lái)處理語(yǔ)義槽填充任務(wù)；文獻(xiàn)[14]用語(yǔ)句級(jí)信息和編碼器LSTM來(lái)填充語(yǔ)義槽。

最近，學(xué)者們提出將意圖識(shí)別和語(yǔ)義槽填充聯(lián)合建模，聯(lián)合模型可以同時(shí)生成每個(gè)話(huà)語(yǔ)的意圖和槽標(biāo)簽序列，利用兩個(gè)任務(wù)之間的關(guān)聯(lián)關(guān)系從而進(jìn)一步提高SLU任務(wù)的性能。采用流水線式的級(jí)聯(lián)方式來(lái)聯(lián)合建模不但容易造成誤差傳播，而且未捕捉到兩任務(wù)之間的關(guān)聯(lián)關(guān)系。文獻(xiàn)[15]將基于三角鏈CRF 的CNN 模型用于意圖識(shí)別與語(yǔ)義槽填充的聯(lián)合學(xué)習(xí)任務(wù)；文獻(xiàn)[16]使用RecNNs 將句法結(jié)構(gòu)和連續(xù)空間的單詞、短語(yǔ)表示合并到組合模型中，建立意圖識(shí)別和語(yǔ)義槽填充的聯(lián)合模型；文獻(xiàn)[17]將基于知識(shí)導(dǎo)向結(jié)構(gòu)的注意力機(jī)制網(wǎng)絡(luò)（K-SAN）應(yīng)用于語(yǔ)言理解任務(wù)；文獻(xiàn)[18]提出將RNN（Recurrent Neural Network）與CNN共同用于意圖識(shí)別和語(yǔ)義槽填充的聯(lián)合任務(wù)中，兩個(gè)任務(wù)共享統(tǒng)一的損失函數(shù)；文獻(xiàn)[19]引入了雙向的RNN-LSTM 模型，實(shí)現(xiàn)語(yǔ)義槽填充、意圖檢測(cè)和領(lǐng)域分類(lèi)的聯(lián)合建模，但未建立語(yǔ)義槽填充和意圖識(shí)別之間的明確關(guān)系；文獻(xiàn)[20]提出基于注意力的RNN 模型，但只應(yīng)用聯(lián)合損失函數(shù)將這兩個(gè)任務(wù)隱式地關(guān)聯(lián)起來(lái)；文獻(xiàn)[21]提出slot-gated 機(jī)制，將意圖上下文信息應(yīng)用于語(yǔ)義槽填充任務(wù)，建立了意圖到語(yǔ)義槽的單向聯(lián)系，語(yǔ)義槽填充的性能得到一定提升，但語(yǔ)義槽上下文信息并未用于意圖識(shí)別任務(wù)，未建立兩任務(wù)之間的雙向關(guān)聯(lián)關(guān)系。

意圖和語(yǔ)義槽是用戶(hù)行為的語(yǔ)義表征，共享用戶(hù)話(huà)語(yǔ)信息，一個(gè)任務(wù)的信息可以被另一個(gè)任務(wù)利用來(lái)互相提高彼此的性能[22]，意圖識(shí)別和語(yǔ)義槽填充的上下文信息可為對(duì)方任務(wù)提供線索，互相促進(jìn)。因此，本文提出了基于門(mén)控機(jī)制的雙向關(guān)聯(lián)模型（BiAss-Gate）用來(lái)處理意圖識(shí)別和語(yǔ)義槽填充的聯(lián)合任務(wù)。BiAss-Gate 模型建立兩個(gè)任務(wù)間的雙向關(guān)聯(lián)，將意圖上下文信息和語(yǔ)義槽上下文信息通過(guò)雙向門(mén)控機(jī)制進(jìn)行融合得到特征權(quán)重r，r作為兩任務(wù)之間的互相關(guān)聯(lián)的紐帶，實(shí)現(xiàn)了意圖識(shí)別與語(yǔ)義槽填充的雙向關(guān)聯(lián)，并使兩任務(wù)性能互相提升。在ATIS[23]、Snips[3]數(shù)據(jù)集上都取得了比其他模型更好的性能，證實(shí)了本文模型的有效性。

2 相關(guān)技術(shù)

2.1 詞嵌入

將文本轉(zhuǎn)換成詞向量是各種NLP（Natural Language Processing）任務(wù)中文本向量化的首選技術(shù)，one-hot 模型來(lái)構(gòu)建的詞向量具有高維稀疏的缺點(diǎn)，它不僅丟失了詞義以及詞之間的聯(lián)系，而且無(wú)法準(zhǔn)確表達(dá)不同詞之間的相似度?；诖吮疚氖褂肕ikolov等人[24]提出的word2vec模型來(lái)構(gòu)建詞向量，將輸入序列的詞編碼成相對(duì)低維稠密的連續(xù)向量。word2vec 模型能夠捕捉詞語(yǔ)的語(yǔ)法和語(yǔ)義，計(jì)算詞語(yǔ)之間的相似度，并且挖掘人們很難察覺(jué)的詞語(yǔ)之間的關(guān)系，在大部分的NLP 任務(wù)上word2vec模型都有很好的表現(xiàn)。

2.2 Bi-LSTM網(wǎng)絡(luò)

長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）[25]是一種改進(jìn)之后的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），LSTM網(wǎng)絡(luò)引入了門(mén)機(jī)制和單元狀態(tài)c，它既很好地解決了RNN 不能捕捉長(zhǎng)期依賴(lài)關(guān)系的問(wèn)題，又避免了RNN所存在的梯度消失和梯度爆炸問(wèn)題。對(duì)于當(dāng)前時(shí)刻的輸入xi，經(jīng)過(guò)LSTM單元會(huì)產(chǎn)生兩個(gè)輸出，當(dāng)前時(shí)刻的隱藏狀態(tài)hi和當(dāng)前時(shí)刻的單元狀態(tài)ci。LSTM的單元狀態(tài)c用來(lái)保存長(zhǎng)期的狀態(tài)，門(mén)控機(jī)制的三個(gè)門(mén)用來(lái)控制單元狀態(tài)c所保存的信息，遺忘門(mén)決定了上一時(shí)刻的單元狀態(tài)c有多少信息需要保留到當(dāng)前時(shí)刻的ci，輸入門(mén)決定了當(dāng)前時(shí)刻的輸入xi有多少信息需要保留到當(dāng)前時(shí)刻ci，輸出門(mén)來(lái)控制當(dāng)前時(shí)刻的單元狀態(tài)ci有多少信息輸出到當(dāng)前時(shí)刻的隱藏狀態(tài)hi。計(jì)算公式如下：

σ是sigmoid函數(shù)，i、f、o、c分別是輸入門(mén)、遺忘門(mén)、輸出門(mén)和單元狀態(tài)，W是權(quán)重矩陣，例如Wi代表輸入門(mén)的權(quán)重矩陣。b為偏置項(xiàng)，例如bi為輸入門(mén)的偏置項(xiàng)。是點(diǎn)積運(yùn)算。

圖1 模型框架圖

雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Bi-directional Long Short-Term Memory，Bi-LSTM）[13，26]方法廣泛應(yīng)用于序列標(biāo)注和分類(lèi)任務(wù)，通過(guò)Bi-LSTM 可以更好地捕捉雙向的語(yǔ)義依賴(lài)，建模上下文信息，解決了網(wǎng)絡(luò)LSTM 無(wú)法編碼從后到前信息的問(wèn)題。Bi-LSTM 由前向LSTM 層和后向LSTM層組成，分別用于編碼從前到后和從后到前的輸入序列信息。將詞嵌入層的輸出作為Bi-LSTM的輸入，前向LSTM層生成隱藏狀態(tài)hfi，后向LSTM層生成隱藏狀態(tài)hbi，第i時(shí)間步的最終隱藏狀態(tài)hi由hfi、hbi拼接形成。Bi-LSTM 層最終可以得到與輸入序列長(zhǎng)度相同的隱藏狀態(tài)序列Bi-LSTM層的輸出被兩個(gè)任務(wù)共享，計(jì)算公式如下：

2.3 條件隨機(jī)場(chǎng)

條件隨機(jī)場(chǎng)（CRF）[9]是目前序列標(biāo)注任務(wù)的主流模型。CRF模型的目標(biāo)函數(shù)不僅考慮輸入的狀態(tài)特征，而且還引入了標(biāo)簽轉(zhuǎn)移特征，這使它會(huì)考慮輸出標(biāo)簽之間的順序，并可以充分利用相鄰標(biāo)簽之間的相互關(guān)系，在給定輸入數(shù)據(jù)的條件下CRF模型可以輸出使目標(biāo)函數(shù)最大化的最優(yōu)標(biāo)簽序列，另外CRF層還可以從訓(xùn)練數(shù)據(jù)中學(xué)到一些約束規(guī)則來(lái)保證預(yù)測(cè)標(biāo)簽序列的合理性[27]。

3 BiAss-Gate模型

3.1 BiAss-Gate模型總體框架

本文提出的基于門(mén)控機(jī)制的雙向關(guān)聯(lián)模型如圖1所示。對(duì)于給定的一組話(huà)語(yǔ)輸入序列X[x1,x2,…,xT]，首先將X輸入到最底層的詞嵌入層，通過(guò)詞嵌入捕捉詞之間的語(yǔ)義和聯(lián)系，并將輸入序列映射成詞向量矩陣作為Bi-LSTM 網(wǎng)絡(luò)的輸入，然后通過(guò)Bi-LSTM 網(wǎng)絡(luò)捕捉輸入序列的上下文依賴(lài)關(guān)系，并將隱藏狀態(tài)序列作為注意力層的輸入，注意力機(jī)制可以捕捉隱藏狀態(tài)hi無(wú)法捕捉到的附加依賴(lài)信息[27]，通過(guò)意圖-語(yǔ)義槽注意力層分別獲得意圖的上下文信息向量cI和語(yǔ)義槽的上下文信息向量。最后將輸入到雙向關(guān)聯(lián)門(mén)控層獲得聯(lián)合權(quán)重特征r，并將r作為加權(quán)特征應(yīng)用于兩任務(wù)，實(shí)現(xiàn)雙向關(guān)聯(lián)。將隱藏狀態(tài)序列、上下文向量以及聯(lián)合權(quán)重特征作為意圖識(shí)別和語(yǔ)義槽填充任務(wù)的輸入，最后語(yǔ)義槽填充任務(wù)采用CRF模型對(duì)全局打分得到最優(yōu)的槽標(biāo)注序列作為最終的輸出。

3.2 意圖-語(yǔ)義槽注意力層

Bi-LSTM的每一時(shí)刻的隱藏狀態(tài)hi都承載著整個(gè)序列的信息，但信息會(huì)在正向和反向傳播過(guò)程中有所丟失，而注意力機(jī)制不但可以捕捉全局聯(lián)系，并且關(guān)注了元素的局部聯(lián)系，對(duì)輸入的每個(gè)元素考慮不同的權(quán)重參數(shù)，更加關(guān)注與輸入的元素相似的部分，而抑制其他無(wú)用的信息。本文通過(guò)注意力機(jī)制[28]選擇性地關(guān)注Bi-LSTM層中相對(duì)重要的一些隱藏狀態(tài)，并加大它們的權(quán)重。通過(guò)意圖-語(yǔ)義槽注意力層獲得意圖的上下文信息向量和語(yǔ)義槽的上下文信息向量，利用、構(gòu)建兩任務(wù)的聯(lián)合特征權(quán)重r。

T是注意力層的維度，σ是激活函數(shù)，ei,k計(jì)算的是hk和當(dāng)前輸入向量hi之間的關(guān)系分別為hk和hi的權(quán)重矩陣。

在意圖識(shí)別任務(wù)中，通過(guò)意圖注意力層得到意圖上下文信息向量cI。計(jì)算方式同語(yǔ)義槽上下文向量。

3.3 雙向關(guān)聯(lián)門(mén)控機(jī)制

基于文獻(xiàn)[21]提出的slot-gated機(jī)制，本文提出基于門(mén)控機(jī)制的雙向關(guān)聯(lián)模型（BiAss-Gate），利用意圖上下文向量和語(yǔ)義槽上下文向量來(lái)建模意圖與語(yǔ)義槽之間的關(guān)聯(lián)關(guān)系。本文將意圖上下文向量cI和語(yǔ)義槽上下文向量作為雙向關(guān)聯(lián)門(mén)控層的輸入，產(chǎn)生一個(gè)雙向增強(qiáng)的聯(lián)合權(quán)重向量r，如圖2 所示。r越大，說(shuō)明意圖-槽注意力層對(duì)序列關(guān)注的重合部分占比越大，進(jìn)一步說(shuō)明意圖與語(yǔ)義槽的相關(guān)度越高，聯(lián)系越緊密。r的計(jì)算公式如下：

v，W分別為可訓(xùn)練的權(quán)重，的聯(lián)合權(quán)重表示，然后再將r作為權(quán)重特征和上下文向量、隱藏狀態(tài)一同用于意圖識(shí)別和語(yǔ)義槽填充任務(wù)。

圖2 BiAss-Gate結(jié)構(gòu)圖

3.4 意圖識(shí)別

3.5 語(yǔ)義槽填充

雖然可以在模型的最后使用softmax函數(shù)得到輸出序列，如公式（14），但輸出序列的每個(gè)槽標(biāo)簽相互獨(dú)立，它只在每一步中挑選出每個(gè)詞所對(duì)應(yīng)最大概率值槽標(biāo)簽作為輸出，沒(méi)有考慮到輸出序列標(biāo)簽之間的影響，而且會(huì)導(dǎo)致輸出不合理的標(biāo)簽序列。

因此本文在處理語(yǔ)義槽填充任務(wù)時(shí)在Bi-LSTM 網(wǎng)絡(luò)后面加一層CRF。狀態(tài)特征P是網(wǎng)絡(luò)模型的輸出的打分矩陣，矩陣的元素是輸入序列X中第i個(gè)單詞對(duì)應(yīng)第j個(gè)槽標(biāo)簽時(shí)的分?jǐn)?shù)，Pi為特征矩陣的第i列，即輸入序列的第i個(gè)詞對(duì)應(yīng)所有可能槽標(biāo)簽的分?jǐn)?shù)向量[29]。槽標(biāo)簽轉(zhuǎn)移特征矩陣用A表示，Ai,j表示從槽標(biāo)簽轉(zhuǎn)移到槽標(biāo)簽的分?jǐn)?shù)。當(dāng)輸入序列X所對(duì)應(yīng)的輸出序列為yslot時(shí)的得分為公式如下：

訓(xùn)練時(shí)，CRF的目標(biāo)是使正確標(biāo)簽序列的概率最大化。預(yù)測(cè)時(shí)，將得分最高的槽標(biāo)簽序列作為最終輸出序列，此時(shí)得到的槽標(biāo)簽序列為最優(yōu)的輸出序列[30]。公式如下：

4 實(shí)驗(yàn)

4.1 數(shù)據(jù)集

為驗(yàn)證本文模型的有效性和泛化性，實(shí)驗(yàn)采用SLU任務(wù)中最常用的兩個(gè)公開(kāi)數(shù)據(jù)集：ATIS（Airline Travel Information Systems）數(shù)據(jù)集、Snips 數(shù)據(jù)集。如表2 所示。ATIS 數(shù)據(jù)集由預(yù)訂航班用戶(hù)的音頻記錄組成，本文使用與文獻(xiàn)[21]相同的數(shù)據(jù)集分割。把ATIS-2 和ATIS-3語(yǔ)料庫(kù)的4 978條記錄劃分為訓(xùn)練集和驗(yàn)證集兩部分，訓(xùn)練集包含4 478 條，驗(yàn)證集包含500 條，另外測(cè)試集的893 條記錄來(lái)自ATIS-3 NOV93 和DEC94 語(yǔ)料庫(kù)，訓(xùn)練集包含120個(gè)語(yǔ)義槽標(biāo)簽和21個(gè)意圖類(lèi)型。

表2 數(shù)據(jù)集

Snips 數(shù)據(jù)集是從Snips 個(gè)人語(yǔ)音助手中收集得到。訓(xùn)練集、驗(yàn)證集分別包含13 084 條、700 個(gè)條記錄，并另將700個(gè)條記錄作為測(cè)試集。Snips訓(xùn)練集包含72個(gè)語(yǔ)義槽標(biāo)簽和7個(gè)意圖類(lèi)型。

在表2 中Vocabulary_size 為詞匯量大小；Average Sentence Length 為句子平均長(zhǎng)度，Intent_num為意圖類(lèi)型數(shù)量；Slot_num 為槽標(biāo)簽數(shù)量；Training_set_size、Development_set_size、Test_set_size分別為訓(xùn)練集、驗(yàn)證集和測(cè)試集的大小。

4.2 評(píng)價(jià)標(biāo)準(zhǔn)

在實(shí)驗(yàn)中，意圖識(shí)別和語(yǔ)義槽填充分別采用準(zhǔn)確率（Accuracy）和F1 值作為其性能的評(píng)價(jià)指標(biāo)，此外，實(shí)驗(yàn)還采用句子級(jí)（Sentence）的準(zhǔn)確率來(lái)評(píng)判話(huà)語(yǔ)級(jí)語(yǔ)義框架的性能，句子級(jí)準(zhǔn)確率就是指在整個(gè)測(cè)試集中，預(yù)測(cè)出的意圖類(lèi)型和語(yǔ)義槽標(biāo)簽序列都正確的句子所占的百分比。

4.3 參數(shù)設(shè)置

實(shí)驗(yàn)采用Adam（Adaptive Moment Estimation）優(yōu)化算法[31]更新神經(jīng)網(wǎng)絡(luò)的參數(shù)，并使用早停策略防止過(guò)擬合。模型參數(shù)如表3所示。

表3 模型參數(shù)表

其中num_units 為Bi-LSTM 網(wǎng)絡(luò)隱藏層單元數(shù)；batch_size為單次迭代訓(xùn)練批處理樣本的個(gè)數(shù)；num_layers為Bi-LSTM 網(wǎng)絡(luò)層數(shù)；max_epochs 為最大訓(xùn)練周期；learning_rate為模型學(xué)習(xí)率。

4.4 實(shí)驗(yàn)結(jié)果

4.4.1 模型實(shí)驗(yàn)

將本文模型BiAss-Gate 與其變體BiAss-Gate（without CRF）、BiAss-Gate（Stack-Bi-LSTM）進(jìn)行對(duì)比。從表4 可以看出BiAss-Gate 模型與BiAss-Gate（without CRF）模型相比，特別在Snips數(shù)據(jù)集上語(yǔ)義槽填充的F1值增長(zhǎng)了3.46個(gè)百分點(diǎn)，句子級(jí)準(zhǔn)確率提升了5.58個(gè)百分點(diǎn)。CRF 不僅可以提高語(yǔ)義槽填充的性能還優(yōu)化了話(huà)語(yǔ)級(jí)語(yǔ)義框架的性能。

本文嘗試用堆疊的Bi-LSTM 網(wǎng)絡(luò)來(lái)捕捉輸入序列的上下文信息。實(shí)驗(yàn)表明，在ATIS和Snips數(shù)據(jù)集上含單層Bi-LSTM網(wǎng)絡(luò)的BiAss-Gated模型比含堆疊Bi-LSTM網(wǎng)絡(luò)的BiAss-Gated（Stack-Bi-LSTM）模型表現(xiàn)更好。因?yàn)槎询B的Bi-LSTM 網(wǎng)絡(luò)加深了網(wǎng)絡(luò)的深度，雖然可以挖掘更深的語(yǔ)義關(guān)系但同時(shí)增加了模型的復(fù)雜度，對(duì)于ATIS、Snips這種句子語(yǔ)義相對(duì)簡(jiǎn)單的數(shù)據(jù)集，性能提高不明顯。

表4 模型實(shí)驗(yàn)對(duì)比 %

表5 其他模型對(duì)比實(shí)驗(yàn) %

4.4.2 對(duì)比其他模型實(shí)驗(yàn)

為驗(yàn)證本文模型的有效性，將本文模型BiAss-Gate分別與文獻(xiàn)[19]中的Joint Seq 模型、文獻(xiàn)[20]中的Attention BiRNN模型以及文獻(xiàn)[21]中的Slot-Gated-Full的模型進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果如表5 所示，基線模型中，Slot-Gated-Full模型與Joint Seq模型、Attention BiRNN模型相比，取得了最好的性能，說(shuō)明slot-gated機(jī)制比使用共享?yè)p失函數(shù)更能捕捉意圖識(shí)別與語(yǔ)義槽填充之間的關(guān)聯(lián)關(guān)系。

與Slot-Gated-Full 模型相比，本文模型BiAss-Gate模型在ATIS數(shù)據(jù)集和Snips數(shù)據(jù)集上，語(yǔ)義槽填充的F1值分別提高了1、4.82個(gè)百分點(diǎn)，意圖識(shí)別的準(zhǔn)確率分別增長(zhǎng)了3.49、1.29 個(gè)百分點(diǎn)，句子級(jí)的準(zhǔn)確率分別實(shí)現(xiàn)了4.36和8.93個(gè)百分點(diǎn)的提升。表明雙向關(guān)聯(lián)的BiAss-Gate模型比單向關(guān)聯(lián)的Slot-Gated-Full模型更能很好地挖掘意圖識(shí)別與語(yǔ)義槽填充任務(wù)之間的關(guān)聯(lián)關(guān)系，并實(shí)現(xiàn)了意圖識(shí)別和語(yǔ)義槽填充任務(wù)性能的互相提升。特別是句子級(jí)的準(zhǔn)確率提升幅度最大，說(shuō)明BiAss-Gate模型可以充分利用兩任務(wù)之間的關(guān)聯(lián)關(guān)系，優(yōu)化聯(lián)合模型的全局性能。

本文的模型在兩個(gè)數(shù)據(jù)集上的性能都取得了明顯的提升，但模型在兩數(shù)據(jù)集上性能提升的幅度卻存在差異。在ATIS 數(shù)據(jù)集上，語(yǔ)義槽填充和話(huà)語(yǔ)級(jí)語(yǔ)義框架的性能比在Snips 數(shù)據(jù)集上的好，這是因?yàn)閿?shù)據(jù)集本身的特點(diǎn)，如表2所示，ATIS數(shù)據(jù)集與Snips數(shù)據(jù)集相比句子的平均長(zhǎng)度較短，ATIS 語(yǔ)料為同一領(lǐng)域，而Snips 的語(yǔ)料跨多領(lǐng)域，比較復(fù)雜。然而Snips 數(shù)據(jù)集上的意圖識(shí)別任務(wù)的性能比ATIS數(shù)據(jù)集上的好，因?yàn)樵赟nips數(shù)據(jù)集語(yǔ)料庫(kù)遠(yuǎn)大于ATIS的數(shù)據(jù)集的情況下，Snips所標(biāo)注的意圖類(lèi)型數(shù)量卻遠(yuǎn)小于ATIS 數(shù)據(jù)集，ATIS 數(shù)據(jù)集的類(lèi)圖類(lèi)型更細(xì)粒度化，意圖識(shí)別的準(zhǔn)確率稍低。

5 結(jié)束語(yǔ)

為了充分利用意圖識(shí)別和語(yǔ)義槽填充之間的關(guān)系，來(lái)提升聯(lián)合模型的性能，本文提出了BiAss-Gate模型來(lái)深度挖掘意圖識(shí)別與語(yǔ)義槽填充任務(wù)之間的關(guān)聯(lián)關(guān)系，利用意圖和語(yǔ)義槽的上下文信息建立兩個(gè)任務(wù)之間的雙向關(guān)聯(lián)，促進(jìn)兩個(gè)任務(wù)性能的互相提升，進(jìn)而優(yōu)化全局性能。BiAss-Gate 模型在ATIS、Snips 數(shù)據(jù)集上與其他模型進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果表明，本文所提的BiAss-Gate模型在兩個(gè)數(shù)據(jù)集上表現(xiàn)出了最佳性能。

本文的模型有一些不足：（1）所選的數(shù)據(jù)集比較簡(jiǎn)單，為進(jìn)一步驗(yàn)證本文模型的有效性，還需在更復(fù)雜的數(shù)據(jù)集上對(duì)本文方法進(jìn)行評(píng)估。（2）本文僅采用詞級(jí)嵌入來(lái)捕獲輸入句子的語(yǔ)義，這使得到的語(yǔ)義關(guān)系比較單薄，下一步的工作中將把字符級(jí)嵌入與詞級(jí)嵌入相結(jié)合，捕捉更豐富的語(yǔ)義信息來(lái)提高SLU的性能。在后續(xù)的研究中，將把多意圖識(shí)別作為研究重點(diǎn)，一個(gè)句子中可能包含多個(gè)意圖，識(shí)別句子中的多個(gè)意圖將會(huì)進(jìn)一步提高SLU的的性能。