母濱彬 王 平

(1. 廣安職業(yè)技術(shù)學(xué)院，四川 廣安 638000；2. 蘭州理工大學(xué)電氣工程與信息工程學(xué)院，甘肅 蘭州 730050；3. 蘭州理工大學(xué)機器人系統(tǒng)實驗室，甘肅 蘭州 730050)

點餐機器人情感交互(Human machine emotional interaction)的設(shè)計理念自被提出之后，一直是人工智能、多維建模、仿生系統(tǒng)等領(lǐng)域的研發(fā)重點[1-2]，并涉及到上下文語境感知與情感意識等算法。

隨著機器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)等科技[3]在對話生成領(lǐng)域的發(fā)展，國內(nèi)外科研工作者提出了一些新方法。Radulescu等[4]采用規(guī)則提取法獲取相關(guān)語義數(shù)據(jù)，該方法算法簡單且實時性好，但需要人工翻譯大量規(guī)則，領(lǐng)域間的移植性差；Chakraborty等[5]將知識先驗后驗?zāi)Ｐ鸵隨eq2Seq編解碼的架構(gòu)中，該模型也叫做Du-Model，可根據(jù)動態(tài)意圖自動生成回復(fù)，但該方法不能充分理解與應(yīng)用情感交互的前后信息；Paladines等[6]采用Multi-RNN網(wǎng)絡(luò)拼接上下文與用戶輸入生成自動回復(fù)，但該方法不能區(qū)分情感交互背景、線索與主旨等重要信息，情感交互常常言不達(dá)意；張涼等[7]將多視角GAN引入深度學(xué)習(xí)架構(gòu)中，該方法抑制梯度彌散的效果較好，但提取特征能力不強；王孟宇等[8]設(shè)計了RCNN網(wǎng)絡(luò)和HRED模型情感交互生成方法，該方法可及時獲取短句語義，對語義情感分析較為到位，但當(dāng)網(wǎng)絡(luò)層次較深時，常出現(xiàn)梯度彌散的狀況；易煒等[9]在循環(huán)網(wǎng)絡(luò)中引入注意力權(quán)值，可挖掘情感交互中的關(guān)鍵信息，但仍難發(fā)掘語義中的隱含信息和風(fēng)格。

試驗擬研究點餐機器人情感交互的設(shè)計思路與理念，以期設(shè)計出以人為本的智能情感交互方法的機器人，為智能服務(wù)業(yè)提供技術(shù)支持。

1 研究基礎(chǔ)

1.1 Seq2Seq網(wǎng)絡(luò)解析

文中提出的SeqGAN模型基于Seq2Seq模型(Sequence-to-Sequence generative model，Seq2Seq)改進(jìn)而來。Seq2Seq模型是基于深度學(xué)習(xí)方法[10]的交互生成元模型，該模型可將基列信號采用編解碼生成新基列數(shù)據(jù)，并能夠處理自然語言的自適應(yīng)基列映射的問題。Seq2Seq可輸入文本、圖像或語音等基列，并輸出文本。

圖1中設(shè)定英語點餐源語M={m1,m2,…,mn}，其尺度為n，輸出目標(biāo)語句W={w1,w2,…,wK},其尺度為K；{h1,h2,…,hn}與{v1,v2,…,vn}分別為編碼器與解碼器的隱層參量，如式(1)。

圖1 Seq2Seq網(wǎng)絡(luò)解析Figure 1 Seq2Seq network

vi=t(wi-1,vi-1,c)，

(1)

式中：

vi——解碼器第i個輸出詞的隱狀態(tài)；

wi-1——第i-1個輸出詞；

vi-1——第i-1個詞的隱狀態(tài)；

c——語義狀態(tài)參量；

t()——多層卷積構(gòu)成的非線性變換。

Seq2Seq網(wǎng)絡(luò)的目標(biāo)解析式如公式(2)所示。

P(wi|w1,w2,…,wi-1)=d(wi-1,vi)，

(2)

式中：

P(wi|w1,w2,…,wi-1)——目標(biāo)輸出語句的條件概率；

d()——Seq2Seq網(wǎng)絡(luò)的目標(biāo)解析式；

wi——第i個輸出詞；

vi——相應(yīng)的隱狀態(tài)。

1.2 LSTM神經(jīng)網(wǎng)絡(luò)模型解析

隨著待處理的英語點餐交互語言序列增長，RNN模型會產(chǎn)生梯度彌散的問題，長短存儲神經(jīng)網(wǎng)絡(luò)(Long short-term memory，LSTM)[11]是在RNN模型基礎(chǔ)上的改進(jìn)，該模型增加記憶單元，可利用門控模塊讓記憶單元保存全部英語點餐交互語言序列數(shù)據(jù)。如圖2所示，LSTM神經(jīng)網(wǎng)絡(luò)模型包括遺忘、輸入與輸出3組門控元。

圖2 LSTM神經(jīng)網(wǎng)絡(luò)模型解析Figure 2 LSTM neural network model

2 基于BLSTM-SeqGAN網(wǎng)絡(luò)的英語點餐交互系統(tǒng)

2.1 整體架構(gòu)

Seq2Seq網(wǎng)絡(luò)在機器學(xué)習(xí)[12]、智能情感交互等領(lǐng)域運用廣泛，但該模型將單個輸入基列統(tǒng)一為確定尺度，存在語義信息不能涵蓋全部輸入數(shù)據(jù)，數(shù)據(jù)丟失等問題。此外，實際應(yīng)用中，單獨使用該模型生成的英語點餐語言往往乏味、單一和機器化，面對長難句，往往詞不達(dá)意。因此，引入約束型GAN架構(gòu)和主旨型注意力模式，從輸入語言中準(zhǔn)確捕獲語義，并生成確定情感的信息。圖3為基于BLSTM-SeqGAN網(wǎng)絡(luò)的英語點餐交互整體架構(gòu)，包括輸入部分(Input Embeding)、編碼部分(Encoder)、主旨注意力機制(Attention)以及約束型SeqGAN網(wǎng)絡(luò)所構(gòu)成的解碼模型(Decoder)。

圖3 基于BLSTM-SeqGAN網(wǎng)絡(luò)的英語點餐交互整體架構(gòu)

2.2 基于BLSTM的編碼網(wǎng)絡(luò)

2.2.1 BLSTM神經(jīng)網(wǎng)絡(luò) 針對輸入的英語點餐交互語言序列，若利用單向LSTM網(wǎng)絡(luò)處理，則隱層所包括的數(shù)據(jù)為當(dāng)前時刻之前獲取的，為保證情感交互中英語點餐交互語義的充分理解，則需保障編碼過程能獲得前后序列數(shù)據(jù)。選用BLSTM即雙向長短存儲神經(jīng)網(wǎng)絡(luò)構(gòu)建英語點餐交互的編碼模型，與LSTM神經(jīng)網(wǎng)絡(luò)相比，BLSTM神經(jīng)網(wǎng)絡(luò)可獲得正向與反向的隱層輸出，其基本架構(gòu)如圖4所示，這是由于BLSTM神經(jīng)網(wǎng)絡(luò)包括正向與反向的LSTM編碼層，并通過正反向的連接組成。

圖4 BLSTM神經(jīng)網(wǎng)絡(luò)的基本架構(gòu)Figure 4 Basic architecture of BLSTM neural network

2.2.2 基于BLSTM的編碼網(wǎng)絡(luò) BLSTM神經(jīng)網(wǎng)絡(luò)采用正向LSTM和反向LSTM分別完成歷史數(shù)據(jù)與將來數(shù)據(jù)的過濾與保存，通過連接正反向LSTM神經(jīng)網(wǎng)絡(luò)可獲得英語點餐交互語言數(shù)據(jù)的中間參量表示，基于BLSTM的編碼網(wǎng)絡(luò)如圖5所示。在英語點餐交互語句編碼前，分解為英語點餐交互源語序列M={m1,m2,…,mn},g=1,2,…n，正反向LSTM神經(jīng)網(wǎng)絡(luò)編碼的隱層向量分別為yz={yz1,yz2,…,yzn}和yf={yf1,yf2,…,yfn}，如式(3)所示。

圖5 基于BLSTM的編碼網(wǎng)絡(luò)Figure 5 BLSTM based coding network

ysg=[LSTM(yzsg,mg),LSTM(yfsg,mg)]，

(3)

式中：

ysg——s時刻第g個英語點餐交互源語得到的隱層狀態(tài)；

mg——第g個英語點餐交互源語；

yzsg——s時刻第g個英語點餐交互源語的正向LSTM隱層向量；

yfsg——s時刻第g個英語點餐交互源語的反向LSTM隱層向量；

LSTM(yzsg,mg)——s時刻正向LSTM編碼網(wǎng)絡(luò)得到的隱層狀態(tài)；

LSTM(yfsg,mg)——s時刻反向LSTM編碼網(wǎng)絡(luò)得到的隱層狀態(tài)。

2.3 主旨型注意力模式

注意力模式[13]是基于人的觀察特點與邏輯，可有效獲取數(shù)據(jù)的典型特征。在英語點餐交互語言序列的情感交互處理中，并不是全部單詞的重要程度都相應(yīng)，而是根據(jù)英語點餐交互語言特征和情感交互場景區(qū)分單詞的優(yōu)先級和重要性。文中提出的主旨型注意力模式可通過賦權(quán)值的方式提取不同情感主旨的文本數(shù)據(jù)，如積極或消極的情感/情緒。如圖6所示，將編碼裝置中的輸出{ys1,ys2,…,ysn}和語境中的主旨單詞{c1,c2,…,cn}傳輸至注意力模式中。

圖6 主旨型注意力模式Figure 6 Attentional pattern

(4)

式中：

kd——獲取門權(quán)值；

qs-1——獲取門kd讀得上一刻的語境信息。

(5)

式中：

ysg——s時刻的隱層狀態(tài)；

y(s-1)g——s-1時刻編碼的隱層狀態(tài)向量；

fs-1——前一刻獲得的英語點餐交互詞參量；

wg——與語境相關(guān)的向量；

bg——與情感主旨相關(guān)的向量；

LSTM[y(s-1)g，fs-1，wg，bg]——基于[y(s-1)g，fs-1，wg，bg]輸入的LSTM編碼。

2.4 約束型SeqGAN解碼網(wǎng)絡(luò)架構(gòu)

2.4.1 約束型GAN架構(gòu) 英語點餐情感交互的生成回復(fù)，需充分考量當(dāng)前輸入的英語點餐語言信息與上下文約束，因此在傳統(tǒng)GAN網(wǎng)絡(luò)中引入約束o，利用約束o完善生成與判別進(jìn)程的同時，增強調(diào)控度與適應(yīng)性。約束型GAN網(wǎng)絡(luò)架構(gòu)如圖7所示。

圖7 約束型GAN網(wǎng)絡(luò)Figure 7 Constrained GAN network

2.4.2 約束型SeqGAN網(wǎng)絡(luò)架構(gòu) 在約束型SeqGAN網(wǎng)絡(luò)的基礎(chǔ)上生成英語點餐情感交互回復(fù)，以“start”作為起始信號，激勵生成裝置得到回復(fù)。該網(wǎng)絡(luò)中包含了全連接層(Fully connected-net，F(xiàn)C-net)、多尺度卷積和語義向量模擬層(Semantic vector simulation layer，SVSL)。該網(wǎng)絡(luò)可分為3個功能模塊，其中，回復(fù)生成模塊S是基于LSTM的編解碼部分，可將輸入的英語點餐語言數(shù)據(jù)完成實值參量的映射，并基于該數(shù)據(jù)生成回復(fù)；語義向量模擬層則依據(jù)生成裝置產(chǎn)生的英語點餐語言數(shù)據(jù)分布獲得語言向量并傳送至判別裝置，并將獲得的反饋信息傳送至生成裝置；判別裝置則利用深度學(xué)習(xí)方法獲得語句的語義，并通過卷積操作判別是真實或生成回復(fù)，從而調(diào)整生成裝置參量，縮小生成語言與真人英語點餐情感交互回復(fù)間的差距。約束型SeqGAN網(wǎng)絡(luò)架構(gòu)如圖8所示。

圖8 約束型SeqGAN網(wǎng)絡(luò)架構(gòu)Figure 8 Constrained SeqGaN network architecture

在生成裝置部分可依據(jù)輸入中間層英語點餐語言數(shù)據(jù)Em={Em,1,Em,2,…,Em,n}得到相應(yīng)的情感交互數(shù)據(jù)Ew={Ew,1,Ew,2,…,Ew,J}，該模塊的訓(xùn)練目標(biāo)是基于確定的輸入英語點餐語言—情感交互消息對的過程中獲得最佳條件概率P(m|w)。其步驟為：編碼裝置可將輸入英語點餐交互語言數(shù)據(jù)轉(zhuǎn)換為語言向量E(w)，生成裝置則依據(jù)該向量估測情感交互消息中各詞產(chǎn)生的概率，如式(6)所示。

(6)

式中：

P(m|w)——英語點餐語言—情感交互消息對最佳條件概率；

E(w)——語言向量；

Ew,1,Ew,2,…,Ew,J——情感交互數(shù)據(jù)。

生成模塊中的消息情感交互回復(fù)部分如圖9所示。

圖9 生成模塊中的消息情感交互回復(fù)部分Figure 9 Generates the message dialogue responsesection of the module

2.5 模型訓(xùn)練

模型訓(xùn)練的過程就是不斷優(yōu)化英語情感交互生成模型的過程?；贐LSTM-SeqGAN的模型在訓(xùn)練的過程中選用了dropout策略[14]，該方法能夠避免參量過擬合。模型的目標(biāo)函數(shù)選用交叉熵解析模型。在模型訓(xùn)練中，選用困惑指標(biāo)Per分析生成英語點餐交互語言的狀態(tài)，該指標(biāo)越低則模型狀態(tài)越好，如式(7)所示。模型優(yōu)化則選用Adam策略[15]，學(xué)習(xí)率可動態(tài)調(diào)整，若校驗集中的損失超過前五次校驗值，則將學(xué)習(xí)率減小。

(7)

式中：

Per——困惑指標(biāo)；

n——輸出英語點餐交互語言序列的長度；

wg——輸出英語點餐交互語言序列W中第g個單詞。

3 基于深度編碼網(wǎng)絡(luò)的英語點餐情感型交互試驗

BLSTM-SeqGAN下的英語點餐情感型交互生成實驗的硬件配置為ROG STRIX-RTX 2080Ti的計算機，8核CPU，16 G內(nèi)存，硬盤容量為8 T，顯存容量為12g*4；軟件選用matlab與python混合編程?；緟⒘吭O(shè)定：dropout的比值設(shè)0.3，Adam的學(xué)習(xí)速率設(shè)定為0.000 1，英語點餐單詞嵌入層設(shè)置為256維，樣本集中訓(xùn)練次數(shù)epochs設(shè)為10，完成一個epochs的迭代次數(shù)iterations為550。數(shù)據(jù)集選用的WordReference Forum和daily dialog語料庫中共包含11 356組英語點餐交互，daily dialog語料庫具有上萬組多輪情感交互，包含各類點餐交互者，并主要覆蓋七類情緒，能夠表現(xiàn)各類點餐生活場景，主題涉及文化點餐、旅游點餐、健康型點餐、工作點餐、兒童食品點餐等，能夠適應(yīng)各層次學(xué)習(xí)者用英語交互的需求。并依據(jù)0.85∶0.10∶0.05分割成訓(xùn)練、校驗與測試三類語料集，語料集的分割統(tǒng)計如表1所示。對比試驗的基線模型選用Du-Model與HRED-Model。

表1 語料集的分割統(tǒng)計狀態(tài)

3.1 生成情感交互質(zhì)量對比

選用的基線模型為Du-Model[5]與HRED-Model[8]。Du-Model是基于Seq2Seq模型下利用前驗與后驗知識的認(rèn)知型多輪情感交互模型，HRED-Model在深度RNN網(wǎng)絡(luò)編碼架構(gòu)下傳送隱層英語點餐交互語言向量，這兩種基線模型在多輪情感交互任務(wù)中取得的效果遠(yuǎn)優(yōu)于Seq2Seq模型。表2給出試驗設(shè)計方法(BLSTM-SeqGAN)和兩種基線方法的情感交互生成實例。從生成的情感交互可以看出，針對英語長難語句，Du-Model易出現(xiàn)丟失源語句的狀況，使得該模型偏向于產(chǎn)生常規(guī)回復(fù)；針對語境或主題復(fù)雜的英語語句，HRED-Model對前后文的提取能力不強，對英語語義的理解和情感傾向易帶來偏差。如例2所示，當(dāng)顧客提出他的雞蛋是溏心的(沒有太熟)，這個句子帶有消極情感。Du-Model和HRED-Model都未充分理解語句的情感狀態(tài)，誤以為情感是積極狀態(tài)，帶來回復(fù)偏離語境的問題。Du-Model向顧客推薦皮蛋(皮蛋屬溏心類蛋)，HRED-Model則建議顧客再點一份飲料，搭配口感更佳；而BLSTM-SeqGAN法判斷顧客語義消極，因而回復(fù)歉意并讓顧客稍等后再上一份煎蛋，貼切語義。BLSTM-SeqGAN法采用主旨型注意力模式，并利用正向和反向LSTM分別完成歷史與將來數(shù)據(jù)的過濾與保存，生成的情感交互回復(fù)更加自然。

表2 試驗設(shè)計方法和兩種基線方法的情感交互生成實例

3.2 情感交互生成指標(biāo)對比

3.2.1 困惑指標(biāo)對比 采用式(7)給出的困惑指標(biāo)完成BLSTM-SeqGAN與Du-Model法和HRED-Model法在單個epoch下的對比，如圖10所示。與兩種基線方法相比，試驗設(shè)計的方法困惑指標(biāo)更小，并伴隨迭代數(shù)目增加而穩(wěn)定程度更高。

圖10 試驗設(shè)計方法與兩種基線方法的困惑指標(biāo)對比

3.2.2 精準(zhǔn)度指標(biāo)對比 精準(zhǔn)度指標(biāo)模型Precision如式(8)所示。BLSTM-SeqGAN、Du-Model和HRED-Model 3種方法在首個epoch中的精準(zhǔn)度曲線如圖11所示，該epoch中的精準(zhǔn)度變化程度大，三者穩(wěn)定達(dá)到的精準(zhǔn)度分別為74.9，70.1，65.4，其中BLSTM-SeqGAN法可以較快地進(jìn)入最優(yōu)狀態(tài)，且精準(zhǔn)度更高。

圖11 試驗設(shè)計方法和兩種基線方法的精準(zhǔn)度指標(biāo)對比Figure 11 Comparison of precision indexes

Precision=(RP+RN)/(RP+EP+RN+EN)，

(8)

式中：

RP——“Right Positive”，即樣本被準(zhǔn)確預(yù)測為積極情感/情緒的主題；

RN——“Right Negative”，即樣本被準(zhǔn)確預(yù)測為消極情感/情緒的主題；

EP——“Error Positive”，即樣本被錯誤預(yù)測為積極情感/情緒的主題；

EN——“Error Negative”，即樣本被錯誤預(yù)測為消極情感/情緒的主題。

3.3 算法的效能對比

圖12給出試驗設(shè)計方法與兩種基線方法在10個epoch中的精準(zhǔn)度變化狀態(tài)。在前8個epoch的網(wǎng)絡(luò)訓(xùn)練中，隨著epoch個數(shù)增加，3種方法的精準(zhǔn)度不斷增加，BLSTM-SeqGAN法的精準(zhǔn)度明顯高于兩種基線方法。此外，在8個epoch之后，Du-Model法與HRED-Model法由于產(chǎn)生了過擬合狀況，精準(zhǔn)度逐漸降低。試驗設(shè)計了BLSTM-SeqGAN架構(gòu)，并在訓(xùn)練過程中選用dropout策略方法，能夠有效規(guī)避過擬合問題。表3給出3種方法在單個epoch中的平均訓(xùn)練時間和最優(yōu)精準(zhǔn)度。由表3可知，BLSTM-SeqGAN法的效率與準(zhǔn)確率均優(yōu)于兩種基線方法。

表3 試驗設(shè)計方法和兩種基線方法的平均訓(xùn)練時間和 最優(yōu)精準(zhǔn)度Table 3 Average training time and optimal accuracy of the three methods

圖12 試驗設(shè)計方法和兩種基線方法在10個epoch中的精準(zhǔn)度變化狀態(tài)Figure 12 Precision changes of the three methodsin 10 epochs

4 結(jié)論

在Seq2Seq網(wǎng)絡(luò)和LSTM神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，引入約束型GAN架構(gòu)和主旨型注意力模式，實現(xiàn)基于BLSTM-SeqGAN網(wǎng)絡(luò)的英語點餐情感交互生成，可從輸入語言中準(zhǔn)確捕獲語義，并生成確定情感的信息。在訓(xùn)練過程中選用了dropout策略，該方法能夠避免參量過擬合，模型優(yōu)化則選用Adam策略，學(xué)習(xí)率可動態(tài)調(diào)整。而且BLSTM-SeqGAN法生成的情感交互回復(fù)更加自然，困惑指標(biāo)更小，并伴隨迭代數(shù)目增加而穩(wěn)定程度更高，并能夠較快進(jìn)入最優(yōu)狀態(tài)，精準(zhǔn)度更高。此外，在單個epoch中的平均訓(xùn)練時間最短。

目前，研究尚存在參數(shù)訓(xùn)練需要的數(shù)據(jù)量大，網(wǎng)絡(luò)結(jié)構(gòu)仍較為復(fù)雜的問題。在未來的研究工作中，將分析如何利用少量的訓(xùn)練數(shù)據(jù)獲取更通用的情感特征。