侯麗仙，李艷玲，林 民，李成城

內(nèi)蒙古師范大學(xué)計算機科學(xué)技術(shù)學(xué)院，呼和浩特 010022

1 引言

口語理解是對話系統(tǒng)中至關(guān)重要的一部分，其性能直接影響整個對話系統(tǒng)的性能[1-2]，意圖識別和語義槽填充是口語理解的兩個子任務(wù)[3-4]。意圖識別任務(wù)主要分析理解輸入語句中用戶話語行為，語義槽填充任務(wù)主要解決特定領(lǐng)域關(guān)鍵詞以及屬性的標(biāo)注問題，口語理解通過完成兩個任務(wù)并將意圖和關(guān)鍵詞用語義框架表示出來，有助于后續(xù)對話系統(tǒng)的研究。

解決意圖識別任務(wù)的傳統(tǒng)方法包括支持向量機（support vector machine，SVM）[5]、樸素貝葉斯（naive Bayes，NB）[6]、決策樹（decision tree，DT）[7]等。解決語義槽填充任務(wù)的傳統(tǒng)方法包括條件隨機場（conditional random fields，CRF）[8]、隱馬爾可夫（hidden Markov model，HMM）[9]模型、最大熵（maximum entropy，ME）[10]模型等。

對于口語理解任務(wù)，通過上下文獲取用戶表達(dá)中詞匯的語義信息以及全局語法信息至關(guān)重要。近年來，由于深度神經(jīng)網(wǎng)絡(luò)可以自主學(xué)習(xí)輸入文本的特征，以及在訓(xùn)練過程中能捕獲更深層次語義信息等優(yōu)點，因此在口語理解任務(wù)中被廣泛應(yīng)用。由于雙向長短時記憶網(wǎng)絡(luò)（bidirectional long short-term memory，BLSTM）可以捕獲上下文信息，CRF可以根據(jù)標(biāo)簽間的關(guān)系進(jìn)行結(jié)果調(diào)整，使得標(biāo)注結(jié)果更為準(zhǔn)確，因此有學(xué)者將BLSTM神經(jīng)網(wǎng)絡(luò)模型與CRF語言模型相結(jié)合應(yīng)用于不同領(lǐng)域的命名實體識別任務(wù)[11-13]。

意圖識別和語義槽填充兩個任務(wù)相互依賴，例如一個短文本的意圖是“查閱書籍”，那么該短文本很可能包含“作者”及“書名”等相關(guān)語義槽類型；而一個短文本的意圖是“預(yù)定機票”時，那么該短文本可能包含“出發(fā)城市”“到達(dá)城市”以及“出發(fā)日期”等相關(guān)語義槽類型。即不同的意圖，對應(yīng)的語義槽類型也是不同的，說明意圖和語義槽填充具有很強的關(guān)聯(lián)關(guān)系。意圖識別和語義槽填充任務(wù)的執(zhí)行策略有并聯(lián)型和級聯(lián)型[4]。并聯(lián)方式將兩個任務(wù)看作獨立任務(wù)進(jìn)行解決，該方式無法實現(xiàn)輸入的詞與詞之間的特征共享；級聯(lián)方式將兩個任務(wù)順序執(zhí)行，前一個任務(wù)的結(jié)果作為后續(xù)任務(wù)的先驗知識，但是會出現(xiàn)誤差累積的問題，因此聯(lián)合識別成為當(dāng)前口語理解的主流方法[14-16]。

2 相關(guān)工作

由于意圖識別和語義槽填充具有相關(guān)性，而獨立建模和級聯(lián)方式建模等都無法利用兩者的相關(guān)性提升對話系統(tǒng)的性能，因此相關(guān)領(lǐng)域的研究者紛紛采用聯(lián)合建模方法。Jeong等人采用三角鏈條件隨機場（triangular-chain CRF）模型，解決意圖識別和語義槽填充任務(wù)，共同捕獲兩者的內(nèi)在聯(lián)系[17]。該模型雖然在聯(lián)合識別上作出了一定的貢獻(xiàn)，但是仍存在傳統(tǒng)統(tǒng)計機器學(xué)習(xí)的不足，費時費力，而且需要足夠多的訓(xùn)練語料。

2013年微軟的Xu等人使用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）和三角鏈條件隨機場（CNN-TriCRF）用于意圖和語義槽填充的聯(lián)合識別[18]。Xu的貢獻(xiàn)在于使用CNN學(xué)習(xí)文本特征，而不是人工提取特征，對于語義槽填充任務(wù)，采用TriCRF分析數(shù)據(jù)在全局的分布，解決了局部標(biāo)注偏置問題，得到全局最優(yōu)解。但是較傳統(tǒng)方法而言，模型訓(xùn)練的參數(shù)變多，模型更為復(fù)雜。

微軟研究院的Guo等人提出使用遞歸神經(jīng)網(wǎng)絡(luò)（recursive neural network，RecNN）和Viterbi算法聯(lián)合解決意圖識別和語義槽填充任務(wù)[14]。在該方法中，語義槽填充被看作是序列標(biāo)注任務(wù)，即在給定用戶話語x以及所有語義槽類型空間的條件下，取最大概率對應(yīng)的語義槽類型作為當(dāng)前詞的語義標(biāo)注類型，盡管性能有所提升，但是會產(chǎn)生信息損失。

繼RecNN之后，北京大學(xué)計算語言研究所的Zhang等人提出使用門控循環(huán)單元（gated recurrent unit，GRU）和CNN聯(lián)合解決意圖識別和語義槽填充任務(wù)[19]，通過GRU學(xué)習(xí)詞的表示，預(yù)測語義槽的標(biāo)簽。同時，利用最大池化層捕獲句子的全局特征，進(jìn)行意圖分類，模型被兩個任務(wù)共享。模型雖然在性能上有一定的提升，但是仍有需要改進(jìn)的地方。由于該模型采用的數(shù)據(jù)集——中文問答理解數(shù)據(jù)集（Chinese question understanding dataset，CQUD）由網(wǎng)上收集而成，實驗是以字作為分詞的最小單位，數(shù)據(jù)采用手工標(biāo)注，而沒有經(jīng)過相關(guān)領(lǐng)域?qū)＜业亩x，對實驗結(jié)果有一定的影響。同時，對于意圖識別任務(wù)，該模型采用最大池化進(jìn)行意圖分類，會產(chǎn)生一定的信息損失。

隨后，Liu等人采用注意力機制解決意圖識別和語義槽填充任務(wù)[20]，該方法雖然較其他聯(lián)合識別模型在公有數(shù)據(jù)集ATIS（airline travel information systems）[21]上的性能有所提升，但是該模型沒有將意圖識別的結(jié)果作用于語義槽填充任務(wù)，在Liu提出模型的基礎(chǔ)上，Goo等人使用slot-gated機制將意圖識別的結(jié)果作用于語義槽填充任務(wù)[22]，該模型在公有數(shù)據(jù)集ATIS上有所提升，但是對于語義槽填充任務(wù)，由于沒有考慮序列在全局的概率，導(dǎo)致出現(xiàn)了如連續(xù)標(biāo)注B-Person、I-Organization等不合理標(biāo)注結(jié)果。

綜上所述，在聯(lián)合建模研究中，意圖識別和語義槽填充任務(wù)具有較強的相關(guān)性，意圖識別的結(jié)果可以有效地作用于語義槽填充任務(wù)，并且CRF可以對神經(jīng)網(wǎng)絡(luò)得到的序列標(biāo)注進(jìn)行結(jié)果調(diào)整。本文采用BLSTM作為基本單元，對意圖識別和語義槽填充任務(wù)分別加入注意力機制，捕獲全局的語法信息及更優(yōu)的語義信息，解決前人研究中采用最大池化產(chǎn)生局部最優(yōu)解的問題，并通過加入slot-gated機制表明意圖識別和語義槽填充之間的關(guān)系，通過實驗驗證兩個任務(wù)的相關(guān)性，同時由神經(jīng)網(wǎng)絡(luò)和slot-gated得到語義槽填充結(jié)果后，加入CRF模型，其作用是根據(jù)標(biāo)簽間的關(guān)系進(jìn)行結(jié)果后處理，使得標(biāo)注結(jié)果更為準(zhǔn)確，有助于性能的提升。

本文的改進(jìn)如下：第一，對意圖識別和語義槽填充進(jìn)行聯(lián)合建模，達(dá)到優(yōu)化語義框架的目的；在BLSTM得到隱藏層狀態(tài)后，對于意圖識別和語義槽填充任務(wù)加入注意力機制，達(dá)到不同時刻對所有輸入序列的聚焦式學(xué)習(xí)。第二，對于航空信息領(lǐng)域以及SMP語料（SMP中文人機對話技術(shù)評測（Evaluation of Chinese Human-Computer Dialogue Technology，SMP2019-ECDT）任務(wù)1——自然語言理解評測，本評測任務(wù)針對自然語言理解模塊，主要包括領(lǐng)域分類、意圖識別和語義槽填充三個子任務(wù)。本實驗只進(jìn)行意圖和語義槽填充聯(lián)合識別。http://conference.cipsc.org.cn/smp2019/），在模型中加入slot-gated機制，將意圖識別的結(jié)果作用于語義槽填充任務(wù)，可以更好地捕獲兩個任務(wù)之間的關(guān)聯(lián)性，并在語義槽填充任務(wù)中加入CRF模型。

3 相關(guān)模型

這部分首先介紹長短時記憶網(wǎng)絡(luò)（long short-term memory，LSTM）、BLSTM神經(jīng)網(wǎng)絡(luò)模型，其次介紹注意力機制、slot-gated機制以及本研究的實驗?zāi)Ｐ汀?/p>

3.1 LSTM及BLSTM模型

深度神經(jīng)網(wǎng)絡(luò)通過訓(xùn)練，實現(xiàn)對輸入特征的表示學(xué)習(xí)，從而完成特定任務(wù)，如詞性標(biāo)注、語義槽填充等，屬于端到端（end to end）的學(xué)習(xí)方式。神經(jīng)網(wǎng)絡(luò)的輸入是向量表示，該向量由大量的包含語義信息的詞語訓(xùn)練得到。向量表示方法有One-hot、Word2Vec[23]等，One-hot編碼無法表示語義相近的兩個詞[24]，而Word2Vec是通過其上下文捕獲當(dāng)前詞的語義信息，語義相近的詞匯可以通過向量空間中距離相近的向量表示，如v（“國王”）-v（“王后”）約等于v（“男”）-v（“女”）[25]，Word2Vec解決了One-hot維度爆炸以及向量稀疏的問題，得到的是低維度的稠密向量。

隨著社會經(jīng)濟的高速發(fā)展，各個行業(yè)對機械產(chǎn)品的需求也相應(yīng)的大大增加，按照傳統(tǒng)的機械制造工藝進(jìn)行生產(chǎn)已經(jīng)無法滿足市場的需求，而現(xiàn)代機械制造工藝?yán)酶鞣N先進(jìn)高新技術(shù)，使得生產(chǎn)效率大大提升，能夠進(jìn)行大批量的生產(chǎn)，滿足市場的需求，而且現(xiàn)代機械制造工藝生產(chǎn)的產(chǎn)品不僅數(shù)量能夠得以保證，而且產(chǎn)品質(zhì)量更加的穩(wěn)定，體現(xiàn)現(xiàn)代機械制造工藝高強度的穩(wěn)定性。

實驗過程采用Word2Vec進(jìn)行詞向量化。輸入分詞后的數(shù)據(jù)序列為X=(x1,x2,…,xT)，對應(yīng)的詞向量為E=[e1,e2,…,eT]，經(jīng)過神經(jīng)網(wǎng)絡(luò)的變換得到隱藏層狀態(tài)H=[h1,h2,…,hT]，其中T表示輸入數(shù)據(jù)的長度，即詞的個數(shù)。設(shè)ν為詞匯表，d為詞向量維度，有xt∈ν，隱藏層狀態(tài)H∈Rd×T。

雖然RNN（recurrent neural networks）在解決自然語言處理任務(wù)中已經(jīng)表現(xiàn)出良好的性能，但是存在“梯度消失”問題，LSTM通過加入輸入門、輸出門和遺忘門解決了這一問題[26]。遺忘門可以選擇性地記憶重要的歷史信息，丟棄一些語義無關(guān)的信息，使模型很容易學(xué)習(xí)和捕捉到詞與詞之間的長距離依賴關(guān)系，有利于模型對有效信息的長期保存。

式（1）～式（5）為LSTM各個門的計算公式，t時刻，給定輸入xt和前一時刻的隱藏層狀態(tài)ht-1，LSTM通過內(nèi)部循環(huán)和更新，計算當(dāng)前時刻的隱藏層狀態(tài)ht，Wi、Wf、Wo、Wc表示xt和ht-1的權(quán)重矩陣，bi、bf、bo、bc表示偏移向量，σ表示sigmoid激活函數(shù)：

語義語法信息由詞的上下文共同得到，LSTM無法捕獲上下文語義語法信息，BLSTM可以捕獲到詞的上下文語義語法信息[27]，不同時刻的隱藏層狀態(tài)由前向LSTM的隱藏層狀態(tài)以及反向LSTM的隱藏層狀態(tài)共同決定，即，本文采用BLSTM神經(jīng)網(wǎng)絡(luò)。

3.2 注意力機制

現(xiàn)實世界中，人們對文本和圖像理解時，并不是使用相同的注意力關(guān)注文本中的每一個詞或者圖像中的每一部分，而是關(guān)注一些關(guān)鍵部分，對于非關(guān)鍵部分，投入的注意力較少。因此如果通過加入注意力來表達(dá)文本或者圖像各個部分的重要程度，對于理解文本和圖像是非常有幫助的。

2015年，Bahdanau等人提出了注意力機制[28]，對不同輸入xi賦予不同的權(quán)重，然后作用于輸出。注意力機制一般作用于編解碼模型中，用來提升LSTM或GRU的性能。將深度神經(jīng)網(wǎng)絡(luò)（如LSTM或GRU）得到的所有隱藏層狀態(tài)值與輸出Y進(jìn)行概率分布計算，然后將概率分布值與所有的隱藏層狀態(tài)進(jìn)行加權(quán)求和得到當(dāng)前時刻的語義編碼[29]，再將其作為輸出，從而提高模型的性能。

在意圖識別和語義槽填充任務(wù)中，采用注意力機制理解文本序列豐富的語義信息。對于意圖識別任務(wù)，加入注意力機制，可以關(guān)注到所有輸入數(shù)據(jù)序列對于意圖識別的影響；對于語義槽填充任務(wù)，加入注意力機制，可以關(guān)注到不同時刻所有數(shù)據(jù)序列對于語義槽類型的影響。

式中，aij表示第i時刻不同隱藏層狀態(tài)值對應(yīng)的權(quán)重向量，其值由式（7）和式（8）計算得到，上面的計算過程實現(xiàn)了由初始隱藏層向注意力層的變換，權(quán)重系數(shù)aij或ai反映了當(dāng)前時刻不同輸入序列對輸出的影響力大小。圖1為實驗中注意力機制的結(jié)構(gòu)示意圖。

Fig.1 Attention mechanism圖1 注意力機制

3.3 Slot-Gated機制

由于之前的聯(lián)合識別模型都只是共享模型的參數(shù)，隱式地說明意圖和語義槽填充的相關(guān)性，本文采用Goo等人提出的slot-gated機制[22]，關(guān)注兩個任務(wù)之間的關(guān)系。該機制先將含有意圖信息的注意力參數(shù)cI與所有的語義槽填充注意力參數(shù)加權(quán)計算，然后使用一個正相關(guān)的激活函數(shù)得到包含意圖信息的參數(shù)g，再將g作用于各個時刻的語義槽填充，用意圖識別的結(jié)果影響語義槽填充任務(wù)。其中，cI包含整個輸入序列的語義信息，將意圖識別的結(jié)果作用于語義槽填充任務(wù)，證明意圖識別和語義槽填充的相互依賴關(guān)系。slot-gated機制對應(yīng)的計算公式如式（12）～式（16）所示[22]：

3.4 基于slot-gated和CRF的BLSTM模型

本文采用BLSTM神經(jīng)網(wǎng)絡(luò)模型，為提高模型的性能，加入注意力機制，同時使用slot-gated機制將意圖識別的結(jié)果作用于語義槽填充任務(wù)。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程中，輸出層的誤差可以指導(dǎo)輸入層參數(shù)的學(xué)習(xí)，根據(jù)模型的輸出與真實結(jié)果之間的誤差，使用梯度下降法調(diào)整神經(jīng)網(wǎng)絡(luò)的參數(shù)。

對于深度神經(jīng)網(wǎng)絡(luò)模型，輸出已經(jīng)是各個標(biāo)簽取值的概率，但是直接使用神經(jīng)網(wǎng)絡(luò)模型輸出的標(biāo)簽沒有考慮連續(xù)標(biāo)簽之間的依賴關(guān)系，比如連續(xù)標(biāo)注B-Person，I-Organization就是一個不合理的序列標(biāo)注，這樣會影響語義槽填充任務(wù)的性能，CRF可以考慮標(biāo)簽前后的依賴關(guān)系，將人工特征補充到神經(jīng)網(wǎng)絡(luò)模型的輸出，根據(jù)已經(jīng)生成的標(biāo)簽間的關(guān)系進(jìn)行結(jié)果后處理，使得標(biāo)注結(jié)果更為準(zhǔn)確。因此，本研究在slotgated模型后加入CRF，使得序列標(biāo)注更為準(zhǔn)確。

CRF是判別式與生成式的綜合模型，其聯(lián)合條件概率是在給定輸入序列x下，計算標(biāo)注序列y的概率，計算公式如下：

式中，Z(x)是歸一化因子，tk和sk表示兩種特征函數(shù)，λk和μk表示特征函數(shù)對應(yīng)的權(quán)重系數(shù)，tk表示轉(zhuǎn)移函數(shù)，與相鄰的隱藏層節(jié)點yi-1、yi有關(guān)；sk表示特征函數(shù)，當(dāng)滿足特征條件時特征函數(shù)取1，否則取0。

本文的聯(lián)合識別模型如圖2所示。xi表示分詞后的數(shù)據(jù)序列，首先將詞語xi進(jìn)行詞向量化，再將詞向量輸入到神經(jīng)網(wǎng)絡(luò)BLSTM中，通過BLSTM得到隱藏層狀態(tài)值hi，對于意圖識別和語義槽填充兩個任務(wù)，分別加入注意力機制。對于意圖識別任務(wù)，注意力機制得到的上下文向量cI直接作用于意圖結(jié)果。對于語義槽填充任務(wù)，除了注意力機制，同時加入slotgated機制，將意圖識別的結(jié)果作用于語義槽填充任務(wù)，最后在語義槽填充任務(wù)的輸出層加入CRF模型。

Fig.2 Joint recognition model圖2 聯(lián)合識別模型

聯(lián)合識別的性能由兩個任務(wù)的結(jié)果共同決定。意圖識別和語義槽填充的聯(lián)合計算公式如下[22]：

4 實驗

4.1 實驗數(shù)據(jù)集

本實驗采用的數(shù)據(jù)集包括航空信息領(lǐng)域和SMP中文人機對話技術(shù)評測數(shù)據(jù)集。

收集的句子存在指代不明確問題，如“它有去天津的航班嗎”，“它”指代不明確，不確定是從哪個城市出發(fā)去天津，還存在口語化、語序顛倒等問題，如“北京周二去武漢”。因此，首先對收集得到的句子進(jìn)行整理，去口語化，調(diào)整語序；其次利用Jieba進(jìn)行分詞，在分詞的過程中由于機場名稱與城市名稱有重疊詞、時間的不規(guī)范性等問題導(dǎo)致分詞出錯，因此將專有名詞放入用戶詞典，使專有名詞在分詞過程中不被錯誤切分。由于模型是有監(jiān)督的訓(xùn)練，因此需要對分詞后的詞語進(jìn)行標(biāo)注，標(biāo)注過程采用Begin/In/Out（BIO）標(biāo)簽進(jìn)行標(biāo)注。

本實驗收集到關(guān)于航空信息領(lǐng)域的短文本語句5 871條，并將數(shù)據(jù)分為訓(xùn)練集、測試集以及開發(fā)集三部分，其中訓(xùn)練集包含4 478條，測試集包含893條，開發(fā)集包含500條；SMP人機對話比賽數(shù)據(jù)集共包含2 579條短文本語句，并將數(shù)據(jù)按7∶2∶1分為訓(xùn)練集、測試集以及開發(fā)集三部分，其中訓(xùn)練集包含1 805條，測試集包含517條，開發(fā)集包含257條，實驗數(shù)據(jù)集對應(yīng)的意圖類別和語義槽類別如表1所示。

4.2 實驗設(shè)置

實驗中BLSTM用于記憶和存儲過去狀態(tài)的節(jié)點個數(shù)為64，神經(jīng)網(wǎng)絡(luò)中的所有參數(shù)進(jìn)行隨機初始化，在訓(xùn)練過程中進(jìn)行微調(diào)。

dropout用于解決模型訓(xùn)練過程中的過擬合問題，它是按照一定的比例隨機去掉神經(jīng)網(wǎng)絡(luò)中的某些神經(jīng)單元，然后利用模型訓(xùn)練，提高模型的泛化能力，本實驗中dropout為0.05。

4.3 實驗評價指標(biāo)

實驗中意圖識別使用意圖準(zhǔn)確率作為評價指標(biāo)；語義槽填充使用F1值作為評價指標(biāo)，計算公式如下：

4.4 實驗結(jié)果及分析

表2為不同模型在航空信息領(lǐng)域數(shù)據(jù)集下的意圖識別性能結(jié)果和語義槽填充性能結(jié)果。從表2可以看出，BLSTM模型在意圖識別和語義槽填充任務(wù)中性能優(yōu)于LSTM，加入注意力機制模型性能優(yōu)于不加注意力機制的模型，BLSTM可以捕獲序列數(shù)據(jù)長距離依賴關(guān)系，更好地獲取全局語義信息，同時加入slot-gated機制的模型在性能上優(yōu)于不加slot-gated機制模型，slot-gated機制可以更好地說明意圖識別對于語義槽填充任務(wù)的影響。模型對于意圖識別和語義槽填充任務(wù)均采用注意力機制，即slot-gated（full attention），模型的性能優(yōu)于僅在意圖識別中使用注意力機制slotgated（intent_only attention）模型的性能，原因是對于意圖識別任務(wù)，關(guān)注所有輸入序列對于意圖的影響cI，避免局部最優(yōu)化，對于語義槽填充任務(wù)，將包含全局信息的意圖和不同時刻輸入對語義槽任務(wù)的影響共同作用，提高模型的性能。本實驗的BLSTM+attention+slot-gated+CRF模型，是在意圖識別和語義槽填充兩個任務(wù)上都加入注意力機制的情況下進(jìn)行實驗，從結(jié)果可以看出，在加入CRF模型后，實驗結(jié)果最優(yōu)。對于語義槽填充任務(wù)，可以有兩部分的信息來源，其一是可以將意圖識別的信息作為參考，其二是由CRF模型提供的標(biāo)簽前后的依賴關(guān)系作為參考。

Table 1 Experimental data表1 實驗數(shù)據(jù)

Table 2 Performance comparison of joint recognition on different models(flight information field)表2 不同模型聯(lián)合識別的性能對比（航空信息領(lǐng)域）

表3為不同模型在SMP數(shù)據(jù)集下的意圖識別和語義槽填充的性能對比。從表3可以看出，不同模型在SMP數(shù)據(jù)集下BLSTM+attention+slot-gated+CRF模型達(dá)到了最好的性能，原因如下：首先，加入注意力機制，可以更好地理解話語語義；其次，加入slot-gated機制用于語義槽填充任務(wù)，可以更好地捕捉兩個任務(wù)之間的關(guān)聯(lián)性，同時加入CRF模型，可以考慮到標(biāo)簽序列前后的依賴關(guān)系，使得標(biāo)注結(jié)果更為準(zhǔn)確。但是相比詢問航空信息的數(shù)據(jù)集，相同的聯(lián)合識別模型在SMP數(shù)據(jù)集下，語義槽填充的性能明顯低于在航空信息領(lǐng)域數(shù)據(jù)集下的性能，主要是由于SMP數(shù)據(jù)集的語句比較少，模型很難通過少量數(shù)據(jù)捕獲深層次的語義信息，同時該數(shù)據(jù)集的語義槽類型相比航空信息領(lǐng)域數(shù)據(jù)集較多，不同意圖對應(yīng)的句子數(shù)目差距比較大，數(shù)據(jù)分布不均衡。

Table 3 Performance comparison of joint recognition on different models(SMP)表3 不同模型聯(lián)合識別的性能對比（SMP）

表4為影響語義槽填充性能的類型舉例。從表4可以看出，該數(shù)據(jù)集中包含“發(fā)短信”“翻譯”“查詢”這三類意圖，這些意圖對應(yīng)的語義槽類型包含“Bcontent”和“B-name”，語義槽值分別為“發(fā)短信內(nèi)容”“翻譯內(nèi)容”以及“小說內(nèi)容”，語義槽值的內(nèi)容較長。后續(xù)會將該語義槽值在分詞過程正常切分，并將語義槽標(biāo)簽標(biāo)注為B-content、I-content等。除此以外，由于該數(shù)據(jù)集包含不同的領(lǐng)域，不同領(lǐng)域?qū)?yīng)不同的意圖，而本研究不考慮領(lǐng)域，只將文本的意圖和語義槽填充聯(lián)合識別，因此實驗性能有所影響。

5 結(jié)束語

本文針對口語理解中的兩個任務(wù)聯(lián)合建模，在BLSTM隱藏層上對意圖識別和語義槽填充任務(wù)分別加入注意力機制，可以捕獲不同時刻輸入序列對輸出的影響；同時加入slot-gated機制，更有力地說明意圖識別和語義槽填充任務(wù)的相關(guān)性，并在神經(jīng)網(wǎng)絡(luò)的輸出層加入CRF模型，有效地考慮標(biāo)簽前后的依賴關(guān)系，提高語義槽填充的性能。模型在航空信息領(lǐng)域和SMP人機對話比賽數(shù)據(jù)集上進(jìn)行實驗，證明了模型的有效性。實驗結(jié)果表明，加入slot-gated和CRF模型優(yōu)于其他聯(lián)合識別模型。

在自然語言處理領(lǐng)域，高質(zhì)量的語料以及大規(guī)模的預(yù)訓(xùn)練詞向量對于模型的性能有很大的影響，下一步會將語料進(jìn)行擴充，并獲取大規(guī)模的預(yù)訓(xùn)練詞向量訓(xùn)練更優(yōu)的向量表示；本研究只驗證了意圖識別對語義槽填充任務(wù)的影響，后續(xù)會進(jìn)行語義槽填充對意圖識別影響的實驗；由于在現(xiàn)實的人機交互過程中，用戶會涉及多意圖的交互，不同的意圖會對應(yīng)不同的語義槽類型，后續(xù)會進(jìn)一步研究多意圖文本對語義槽填充任務(wù)的影響；由于BERT（bidirectional encoder representations from transformers）模型在訓(xùn)練過程可以隨機屏蔽輸入中的一些字段，使得模型的泛化能力增強[30]，且BERT在多項自然語言處理任務(wù)中表現(xiàn)出良好的性能，而本實驗數(shù)據(jù)集比較小，為增強模型的泛化能力，下一步擬采用BERT模型用于口語理解中意圖和語義槽填充的聯(lián)合識別。

Table 4 Examples of types of SMP dataset semantic slot filling with low F1 score表4 SMP數(shù)據(jù)集語義槽填充F1值偏低的類型舉例