吳思賢，何勇軍，李辰陽(yáng)，鄧培至

（哈爾濱理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，黑龍江 哈爾濱 150080）

0 引 言

當(dāng)前國(guó)內(nèi)的餐廳推薦系統(tǒng)主要以智慧餐飲系統(tǒng)為主，諸如餓了么、美團(tuán)等餐飲推薦軟件通過(guò)遠(yuǎn)程網(wǎng)絡(luò)結(jié)合用戶地理位置等相關(guān)信息，向用戶推薦了大量的美食信息，但存在如下問(wèn)題，如：搜索過(guò)程繁瑣，導(dǎo)致時(shí)間被浪費(fèi)；不夠精確智能的挑選餐廳方式在點(diǎn)餐時(shí)容易出錯(cuò)；預(yù)定的餐廳位置有沖突等意圖識(shí)別錯(cuò)誤。現(xiàn)有餐廳推薦系統(tǒng)存在的此類問(wèn)題很大程度影響了用戶體驗(yàn)，因此當(dāng)前急需一種方案解決餐廳推薦過(guò)程中意圖識(shí)別和實(shí)體提取的問(wèn)題。

基于以上問(wèn)題，國(guó)內(nèi)外多位學(xué)者提出了多種解決方案。2015年Ramanand等人針對(duì)消費(fèi)意圖識(shí)別，提出基于規(guī)則和圖的方法來(lái)獲取意圖模板，在單一領(lǐng)域取得了較好的分類效果[1]。Fuchun等人提出將樸素貝葉斯（Naive Bayes, NB）方法用于意圖識(shí)別[2]。Haffner等人提出的支持向量機(jī)（Support Vector Machine, SVM）模型在分類領(lǐng)域取得了較好的效果，被廣泛應(yīng)用到意圖識(shí)別任務(wù)中[3]。在2005年Tur等人基于AdaBoost算法提出了一種用于自然語(yǔ)言意圖識(shí)別的監(jiān)督方法，實(shí)驗(yàn)發(fā)現(xiàn)更復(fù)雜更自然的表達(dá)方式會(huì)增加識(shí)別錯(cuò)誤率[4]。在此基礎(chǔ)上Tur等人于2011年提出了一種句子簡(jiǎn)化方法，即重新利用較少的詞匯表達(dá)相同的意圖，在相同語(yǔ)料的實(shí)驗(yàn)上錯(cuò)誤率明顯降低[5]。Jeong等人提出了一種三角形條件隨機(jī)場(chǎng)，通過(guò)在標(biāo)準(zhǔn)條件隨機(jī)場(chǎng)上增加一個(gè)額外的隨機(jī)變量來(lái)進(jìn)行意圖識(shí)別[6]。以上方法都采用較為復(fù)雜的人工特征，如語(yǔ)法信息、韻律信息和詞匯信息等，較難捕捉文本的深層語(yǔ)義信息。國(guó)內(nèi)也有很多關(guān)于意圖識(shí)別方面的研究。錢岳提出了基于CNN與LSTM（Long Short-Term Memory）網(wǎng)絡(luò)的出行消費(fèi)意圖識(shí)別模型，該模型彌補(bǔ)了CNN不能提取深層次語(yǔ)義信息的缺點(diǎn)，并且取得了很好的性能[7]。由于短文本數(shù)據(jù)稀疏，余慧等人提出了結(jié)合短文本主題模型（Biterm Topic Model, BTM）和雙向GRU（Bidirectional Gated Recurrent Unit, BGRU）的混合模型，模型在多輪對(duì)話下的用戶就醫(yī)意圖識(shí)別的性能優(yōu)于文獻(xiàn)所提方法[8]。

現(xiàn)有的意圖識(shí)別依舊存在三個(gè)難題。

（1）由于短文本內(nèi)容短、受噪聲干擾較大、一詞多義等客觀問(wèn)題，增加了文本向量化的難度。

（2）由于短文本特征稀疏，同時(shí)還包含較大信息量，使得單輪對(duì)話中常出現(xiàn)多意圖的情況，而且特征提取較為困難。

（3）對(duì)話短文本通常含有大量省略詞或者指代詞，這使得意圖識(shí)別不僅與當(dāng)前對(duì)話信息有關(guān)，還受歷史對(duì)話信息影響，大大增加了意圖識(shí)別的難度。

這些問(wèn)題嚴(yán)重影響了文本表示和特征提取的效果，降低了意圖識(shí)別的準(zhǔn)確率。

現(xiàn)有的意圖識(shí)別方法大多只針對(duì)單一方面，要么不考慮復(fù)雜情況的影響，單純研究單個(gè)意圖識(shí)別的情況，要么只考慮某一方面。所以實(shí)際對(duì)話中的復(fù)雜條件嚴(yán)重影響了算法實(shí)際應(yīng)用的性能。本文結(jié)合了注意力機(jī)制對(duì)BiLSTM（Bidirectional Long Short-Term Memory）模型進(jìn)行改進(jìn)，在BiLSTM模型中添加獨(dú)立存儲(chǔ)單元，使其作為一種能被神經(jīng)網(wǎng)絡(luò)按需讀寫的知識(shí)庫(kù)來(lái)增強(qiáng)模型，改善意圖識(shí)別中無(wú)法充分利用對(duì)話歷史信息的問(wèn)題，提高多輪對(duì)話下意圖識(shí)別的準(zhǔn)確率。

1 方法概述

本文提出的智能語(yǔ)音推薦方法主要分為自然語(yǔ)言理解部分和對(duì)話管理部分。

自然語(yǔ)言理解部分：識(shí)別用戶意圖、細(xì)分該任務(wù)型場(chǎng)景下的子場(chǎng)景等，主要采用LSTM來(lái)實(shí)現(xiàn)；采用BiLSTM實(shí)現(xiàn)實(shí)體識(shí)別與槽位填充，用于對(duì)話管理模塊的輸入。

基于Rasa_Core的對(duì)話管理部分：決策系統(tǒng)主要由長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，其根據(jù)用戶意圖和實(shí)體信息選擇最優(yōu)反饋方案，合理管理系統(tǒng)中人機(jī)對(duì)話的過(guò)程。

餐廳推薦系統(tǒng)框架如圖1所示。

圖1 餐廳推薦系統(tǒng)框架

LSTM可以充分利用對(duì)話過(guò)程的上下文對(duì)當(dāng)前話語(yǔ)進(jìn)行意圖識(shí)別。根據(jù)意圖識(shí)別在對(duì)話系統(tǒng)中的實(shí)際應(yīng)用情況，準(zhǔn)備充分的意圖識(shí)別數(shù)據(jù)，確定意圖識(shí)別的方案，識(shí)別前期的文本特征提取方法，制定合適的意圖識(shí)別模型，調(diào)試并確認(rèn)最優(yōu)的模型參數(shù)。BiLSTM模型中的兩種記憶模塊和門控制模塊既可以做到記憶歷史信息，又可對(duì)歷史信息加以控制，避免無(wú)用的歷史信息對(duì)識(shí)別結(jié)果產(chǎn)生負(fù)面影響。

2 LSTM意圖識(shí)別模型

人機(jī)對(duì)話過(guò)程中，存在用戶在單輪對(duì)話中包含不止一個(gè)意圖的情況，而在人機(jī)對(duì)話中用戶的話語(yǔ)大多有特征稀疏、字?jǐn)?shù)少卻包含信息量多的問(wèn)題，導(dǎo)致多意圖的識(shí)別難于準(zhǔn)確確定用戶的意圖與用戶的意圖類別。如果仍然采用傳統(tǒng)的單意圖識(shí)別方法識(shí)別用戶的多個(gè)意圖，會(huì)影響用戶多意圖識(shí)別的準(zhǔn)確性，進(jìn)而影響對(duì)話系統(tǒng)的整體性能。因此，本文對(duì)多意圖情況進(jìn)行研究，從多意圖確認(rèn)以及多意圖個(gè)數(shù)識(shí)別兩個(gè)方面著手，提出一種結(jié)合句法結(jié)構(gòu)與神經(jīng)網(wǎng)絡(luò)的多意圖識(shí)別模型，改善對(duì)話系統(tǒng)中多意圖識(shí)別特征難以提取的問(wèn)題，有效提高多意圖識(shí)別的準(zhǔn)確率。

2.1 長(zhǎng)短期記憶網(wǎng)絡(luò)結(jié)構(gòu)示意

相較于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)，LSTM引進(jìn)了記憶單元和門機(jī)制，可以選擇性記住或者遺忘記憶單元的信息，可以體現(xiàn)出上下文信息之間的聯(lián)系。長(zhǎng)短期記憶網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 長(zhǎng)短期記憶網(wǎng)絡(luò)結(jié)構(gòu)

輸入門、遺忘門和輸出門的計(jì)算公式如下：

神經(jīng)單元的更新方式如下：

式中：Z為當(dāng)前輸入單元狀態(tài)；WC為當(dāng)前輸入單元權(quán)重矩陣。

最后的輸出表達(dá)式為：

式中，hLt是當(dāng)前時(shí)刻的隱藏層。

經(jīng)過(guò)以上計(jì)算，最終得到特征向量HL={hL1,hL2, ...,hLn}，本結(jié)果充分考慮當(dāng)前詞的前文信息，可以提取出輸入文本的全局特征表示，彌補(bǔ)了CNN網(wǎng)絡(luò)的不足。

2.2 長(zhǎng)短期記憶網(wǎng)絡(luò)意圖識(shí)別

首先對(duì)準(zhǔn)備好的意圖識(shí)別數(shù)據(jù)進(jìn)行預(yù)處理，即利用結(jié)巴分詞算法對(duì)數(shù)據(jù)做分詞處理，并將分詞后的數(shù)據(jù)通過(guò)word2vec模型訓(xùn)練得到詞向量。然后將訓(xùn)練好的詞向量數(shù)據(jù)輸入到LSTM層中，通過(guò)LSTM層提取數(shù)據(jù)的特征向量，再通過(guò)mean pooling層得到一個(gè)統(tǒng)一的向量。神經(jīng)網(wǎng)絡(luò)意圖識(shí)別模型采用LSTM獲取語(yǔ)義特征，輸出不同特征下的概率，再通過(guò)softmax函數(shù)歸一化分類結(jié)果，組合模型具備易修改和智能可訓(xùn)練的特點(diǎn)。最后將得到的向量放入softmax層進(jìn)行意圖識(shí)別，得到識(shí)別結(jié)果。LSTM模型結(jié)構(gòu)如圖3所示。

圖3 LSTM模型結(jié)構(gòu)示意圖

3 雙向長(zhǎng)短期網(wǎng)絡(luò)模型

為了提高計(jì)算機(jī)對(duì)人們意圖識(shí)別的準(zhǔn)確性，我們使用多輪對(duì)話機(jī)制對(duì)人機(jī)對(duì)話內(nèi)容進(jìn)行意圖識(shí)別。多輪對(duì)話系統(tǒng)下的短文本意圖識(shí)別框架分為四個(gè)部分，如圖4所示，分別為編碼模塊、記憶模塊、門控制模塊和分類模塊。在這四個(gè)模塊之前對(duì)輸入的對(duì)話信息進(jìn)行向量化表示，便于下游任務(wù)的處理。

圖4 文本意圖識(shí)別框架

3.1 記憶模塊

記憶模塊是多輪對(duì)話下意圖識(shí)別的關(guān)鍵組成部分，它存儲(chǔ)了從歷史對(duì)話中抽取的語(yǔ)義信息，確保有需要時(shí)可以讀取這些信息，現(xiàn)有的數(shù)據(jù)也可以方便地寫入。結(jié)合實(shí)際情況，本文只抽取當(dāng)前短文本的前五輪歷史信息。記憶的方式有兩種，即內(nèi)部記憶與外部記憶。傳統(tǒng)的深度學(xué)習(xí)模型（RNN、LSTM、BiLSTM等）均采用內(nèi)部記憶方式，他們通過(guò)隱藏狀態(tài)或者注意力機(jī)制來(lái)達(dá)到記憶功能，但依靠?jī)?nèi)部記憶法存在一個(gè)缺點(diǎn)，即生成的記憶太小，無(wú)法全面記錄每輪對(duì)話中表達(dá)的內(nèi)容，導(dǎo)致輸入編碼時(shí)丟失很多歷史信息。而且內(nèi)部記憶不利于其他模塊從記憶中讀取需要的信息，經(jīng)過(guò)編碼處理后，所有信息都被高度抽象，無(wú)法靈活、方便地提取信息。在文本處理的過(guò)程中，在BiLSTM模型內(nèi)部加入記憶模塊，只能做到當(dāng)前對(duì)話的詞級(jí)別的記憶，而無(wú)法做到記憶句子級(jí)別的歷史對(duì)話。為彌補(bǔ)這一不足，本系統(tǒng)加入了外部記憶模塊，可以記憶句子級(jí)別的歷史信息。通過(guò)對(duì)多輪對(duì)話的分析，主要列舉了兩種需要結(jié)合歷史信息來(lái)準(zhǔn)確識(shí)別短文本意圖的情況。

第一種是使用省略句的情況，由于表達(dá)方式等原因，人們通常在交流時(shí)會(huì)省略上下文信息，見(jiàn)表1所列，這對(duì)意圖識(shí)別來(lái)說(shuō)是一大難點(diǎn)。

表1 省略上下文短文本示例

從表1中可以看到，用戶在第二輪對(duì)話時(shí)所說(shuō)的“明天呢？”是省略句，單獨(dú)對(duì)這句話做處理，無(wú)論用多么精妙的模型都很難準(zhǔn)確識(shí)別出該句表達(dá)的意圖。如果我們結(jié)合前一輪的表達(dá)內(nèi)容，就知道表達(dá)者的意思是“明天這個(gè)餐廳會(huì)有位置么？”，繼而得出他的意圖是“詢問(wèn)餐廳是否有空位”，由此可以看出“位置”是關(guān)鍵信息。在本模塊中，為了獲得完整的語(yǔ)義表示，拼接P1、P2的語(yǔ)義向量生成一個(gè)新的向量，該向量中包含信息“位置”。

第二種情況是部分有相同意圖的短文本的語(yǔ)義信息相似，見(jiàn)表2所列。

表2 相同短文本意圖示例

從表2中可以看出，P1、P2的對(duì)話文本語(yǔ)義相似并且表達(dá)的是同一種意圖。因此，在記憶單元中可以保留與當(dāng)前對(duì)話內(nèi)容相似的歷史對(duì)話信息。在本文中，通過(guò)2個(gè)向量之間的內(nèi)積表示當(dāng)前對(duì)話和歷史信息的相似程度，并利用softmax函數(shù)將當(dāng)前對(duì)話與歷史對(duì)話向量的內(nèi)積做歸一化處理，用歸一化后的數(shù)值作為注意力的概率分布，概率值越大，表明歷史信息中的某輪對(duì)話與當(dāng)前對(duì)話內(nèi)容相似度越高。

3.2 門控制模塊

利用記憶模塊引入歷史信息并為其分配權(quán)重，但是歷史信息中有些對(duì)話與當(dāng)前對(duì)話的意圖相關(guān)，也有些對(duì)話與當(dāng)前對(duì)話的意圖無(wú)關(guān)，如果無(wú)差別的引入會(huì)出現(xiàn)很多噪聲，對(duì)當(dāng)前對(duì)話的意圖判別產(chǎn)生負(fù)面影響。因此，需要對(duì)歷史信息有一定的篩選能力。本文利用門函數(shù)計(jì)算狀態(tài)值，實(shí)現(xiàn)控制歷史信息的引入。門函數(shù)計(jì)算公式如下：

式中：向量hi是第i個(gè)記憶單元輸出的歷史信息；g為函數(shù)產(chǎn)生的狀態(tài)值，其取值在0到1之間。當(dāng)g接近0，表示當(dāng)前短文本的意圖識(shí)別無(wú)需參考?xì)v史信息；當(dāng)g接近1，表示當(dāng)前短文本的意圖識(shí)別需要參考?xì)v史信息。由于在記憶單元中考慮了兩種情況，因此我們需要引入2個(gè)門函數(shù)來(lái)控制歷史信息。

4 Rasa_Core

Rasa_Core是Rasa框架提供的對(duì)話管理模塊，它類似于聊天機(jī)器人的大腦，主要任務(wù)是維護(hù)更新對(duì)話狀態(tài)和動(dòng)作選擇，然后對(duì)用戶的輸入做出響應(yīng)。所謂對(duì)話狀態(tài)是一種機(jī)器能夠處理的對(duì)聊天數(shù)據(jù)的表征，對(duì)話狀態(tài)中包含所有可能會(huì)影響下一步?jīng)Q策的信息，如自然語(yǔ)言理解模塊的輸出、用戶特征等；動(dòng)作選擇是指基于當(dāng)前對(duì)話狀態(tài)，選擇接下來(lái)合適的動(dòng)作，例如向用戶追問(wèn)需補(bǔ)充的信息、執(zhí)行用戶要求的動(dòng)作等。此外，Rasa還包括Rasa_NLU模塊，該模塊用來(lái)理解語(yǔ)義，包括意圖識(shí)別、實(shí)體識(shí)別、把用戶的輸入轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)等。

對(duì)于餐廳推薦系統(tǒng)來(lái)說(shuō)，系統(tǒng)不僅能理解用戶話語(yǔ)，還應(yīng)根據(jù)用戶提出的信息做出相應(yīng)反饋，因此建立基于Rasa_Core的對(duì)話管理機(jī)制。其中對(duì)話管理中的決策系統(tǒng)可以根據(jù)用戶意圖和實(shí)體信息選擇最優(yōu)反饋方案，達(dá)到合理管理系統(tǒng)中人機(jī)對(duì)話的目的。對(duì)話流程如圖5所示。

圖5 對(duì)話流程

首先，將提取到的用戶語(yǔ)音輸入轉(zhuǎn)為文本消息傳遞到Interpreter（NLU模塊），該模塊負(fù)責(zé)識(shí)別用戶消息中的“意圖”和提取所有“實(shí)體”數(shù)據(jù)；

其次，Rasa_Core會(huì)將Interpreter提取到的意圖傳給Tracker對(duì)象，該對(duì)象的主要作用是跟蹤會(huì)話狀態(tài)（Conversation state）；

再次，利用Policy記錄Tracker對(duì)象的當(dāng)前狀態(tài)，并選擇執(zhí)行相應(yīng)的動(dòng)作（Action），其中Action被記錄在Tracker對(duì)象中；

最后，將執(zhí)行Action返回的結(jié)果輸出即完成一次人機(jī)交互，實(shí)現(xiàn)餐飲機(jī)器人對(duì)用戶的餐廳推薦。

5 實(shí) 驗(yàn)

5.1 實(shí)驗(yàn)數(shù)據(jù)集

本文中的實(shí)驗(yàn)數(shù)據(jù)選取了劍橋大學(xué)關(guān)于餐館預(yù)定的多輪對(duì)話數(shù)據(jù)集[9]，并對(duì)其進(jìn)行了人工翻譯和標(biāo)注處理。因預(yù)訂餐館的對(duì)話數(shù)據(jù)多為日常用語(yǔ)，本文對(duì)其處理成中文后并未對(duì)分類結(jié)果造成較大影響。數(shù)據(jù)集包含676段對(duì)話，共2 744輪，主題是預(yù)定餐館，對(duì)話可以根據(jù)口味、地點(diǎn)、價(jià)格查詢餐廳，選定餐廳后可根據(jù)需要提供聯(lián)系電話。采集的數(shù)據(jù)主要通過(guò)不同的人與機(jī)器對(duì)話得到，對(duì)話質(zhì)量較高，適合做意圖識(shí)別?？紤]到實(shí)驗(yàn)的具體需求，結(jié)合標(biāo)注好的用戶意圖與機(jī)器回復(fù)對(duì)數(shù)據(jù)集的對(duì)話進(jìn)行多輪處理，構(gòu)成實(shí)驗(yàn)所需的多輪對(duì)話數(shù)據(jù)集。數(shù)據(jù)集中的多輪對(duì)話示例見(jiàn)表3所列。

表3 餐廳多輪對(duì)話示例

實(shí)驗(yàn)標(biāo)注的多輪對(duì)話數(shù)據(jù)集共包含10 432條對(duì)話數(shù)據(jù)，100組對(duì)話，每組對(duì)話的輪次在1輪到8輪不等，共出現(xiàn)有11種意圖標(biāo)簽。數(shù)據(jù)的意圖類別不均衡，尤其是greet、thanks和deny這三種意圖類別的數(shù)據(jù)數(shù)目非常少，對(duì)準(zhǔn)確率的計(jì)算影響大，容易給實(shí)驗(yàn)帶來(lái)較大誤差，因此在后面的實(shí)驗(yàn)中計(jì)算各模型的綜合性能時(shí)并未包含這三個(gè)意圖。實(shí)驗(yàn)時(shí)將數(shù)據(jù)集按6∶2∶2的比例分別分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。為保證實(shí)驗(yàn)的可對(duì)比性，實(shí)驗(yàn)中的數(shù)據(jù)集均采用相同的劃分方式，實(shí)驗(yàn)中的數(shù)據(jù)均采用相同的短文本向量表示方法。

5.2 實(shí)驗(yàn)結(jié)果分析

對(duì)于多輪對(duì)話下的意圖識(shí)別來(lái)說(shuō)，目前很少有公開(kāi)的高質(zhì)量的數(shù)據(jù)集，許多研究者的實(shí)驗(yàn)也是基于自己標(biāo)注的數(shù)據(jù)集，且并未公開(kāi)。為了證明本文模型的有效性，該部分實(shí)驗(yàn)是在前文介紹的經(jīng)過(guò)處理的數(shù)據(jù)集上完成，并在同等數(shù)據(jù)集上分別與傳統(tǒng)的BiLSTM模型、Yun-Nung Chen提出的MemoryNet模型和BiLSTM+Memory模型進(jìn)行三組對(duì)比實(shí)驗(yàn)。BiLSTM模型是單純的傳統(tǒng)雙向記憶網(wǎng)絡(luò)模型，并未額外增加記憶模塊。MemoryNet模型增加了基于注意力的記憶向量。BiLSTM+Memory在BiLSTM的基礎(chǔ)上增加了文中描述的兩種記憶模塊，本文模型在BiLSTM+Memory的基礎(chǔ)上增加了門函數(shù)。為了保證實(shí)驗(yàn)的對(duì)比結(jié)果，所有模型中的BiLSTM參數(shù)設(shè)置相同，且模型的記憶模塊最多記憶5輪對(duì)話信息，如果超過(guò)5輪對(duì)話則保存離當(dāng)前對(duì)話最近的5輪歷史信息。圖6為四種模型在不同意圖標(biāo)簽上的識(shí)別結(jié)果的F1值。

圖6 模型識(shí)別結(jié)果

在各類別的識(shí)別結(jié)果上，模型BiLSTM+Memory與模型BiLSTM的最高差值為0.06，說(shuō)明引入歷史信息對(duì)準(zhǔn)確完成本文意圖識(shí)別任務(wù)有很大幫助。從圖6中還可以看出，在絕大多數(shù)意圖類別的識(shí)別結(jié)果上，本文模型的F1值略高于BiLSTM+Memory模型，說(shuō)明增加門函數(shù)控制對(duì)歷史信息的引入可以在一定程度上改善識(shí)別效果。

由于數(shù)據(jù)不均衡，意圖類別greet、thanks和deny的數(shù)據(jù)量非常少，從圖6中也可以發(fā)現(xiàn)這三類意圖的識(shí)別率整體偏低，為了不影響對(duì)模型整體性能的評(píng)估，這三類意圖的識(shí)別結(jié)果不計(jì)入模型各項(xiàng)指標(biāo)的計(jì)算中。表4為本實(shí)驗(yàn)?zāi)Ｐ秃腿齻€(gè)對(duì)比模型的識(shí)別結(jié)果的平均指標(biāo)值。

表4 餐廳多輪對(duì)話示例對(duì)比結(jié)果

在表4中可以看出，本實(shí)驗(yàn)?zāi)Ｐ驮诩尤腴T函數(shù)后識(shí)別的精確率、召回率和F1值都有提升。在精確率上，MemoryNet模型相較于BiLSTM模型提升了約3個(gè)百分點(diǎn)，BiLSTM+Memory模型相較于MemoryNet模型提升了約0.2個(gè)百分點(diǎn)，說(shuō)明加入記憶模塊的模型識(shí)別效率高于未加記憶模塊的模型。綜上可知，在BiLSTM模型上增加記憶模塊和門函數(shù)對(duì)模型性能提升有明顯效果。

6 結(jié) 語(yǔ)

本文研究基于語(yǔ)音的餐廳推薦系統(tǒng)中的意圖識(shí)別和實(shí)體提取的問(wèn)題，在多輪對(duì)話下的意圖識(shí)別受歷史信息影響，現(xiàn)有識(shí)別模型的內(nèi)部記憶模塊只能解決一部分歷史問(wèn)題，大多數(shù)意圖識(shí)別模型都無(wú)法充分考慮上下文信息。本文根據(jù)餐廳推薦系統(tǒng)實(shí)際應(yīng)用中對(duì)歷史信息的需求情況，在BiLSTM模型的基礎(chǔ)上增加了記憶模塊和門控制模塊，既可以做到記憶歷史信息，又可對(duì)歷史信息加以控制，避免無(wú)用的歷史信息對(duì)識(shí)別結(jié)果產(chǎn)生負(fù)面影響，從而達(dá)到提高餐廳推薦準(zhǔn)確率的效果。