母濱彬 王 平

(1. 廣安職業(yè)技術(shù)學(xué)院，四川 廣安 638000；2. 蘭州理工大學(xué)電氣工程與信息工程學(xué)院，甘肅 蘭州 730050；3. 蘭州理工大學(xué)機(jī)器人系統(tǒng)實(shí)驗(yàn)室，甘肅 蘭州 730050)

點(diǎn)餐機(jī)器人情感交互(Human machine emotional interaction)的設(shè)計(jì)理念自被提出之后，一直是人工智能、多維建模、仿生系統(tǒng)等領(lǐng)域的研發(fā)重點(diǎn)[1-2]，并涉及到上下文語(yǔ)境感知與情感意識(shí)等算法。

隨著機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)等科技[3]在對(duì)話生成領(lǐng)域的發(fā)展，國(guó)內(nèi)外科研工作者提出了一些新方法。Radulescu等[4]采用規(guī)則提取法獲取相關(guān)語(yǔ)義數(shù)據(jù)，該方法算法簡(jiǎn)單且實(shí)時(shí)性好，但需要人工翻譯大量規(guī)則，領(lǐng)域間的移植性差；Chakraborty等[5]將知識(shí)先驗(yàn)后驗(yàn)?zāi)Ｐ鸵隨eq2Seq編解碼的架構(gòu)中，該模型也叫做Du-Model，可根據(jù)動(dòng)態(tài)意圖自動(dòng)生成回復(fù)，但該方法不能充分理解與應(yīng)用情感交互的前后信息；Paladines等[6]采用Multi-RNN網(wǎng)絡(luò)拼接上下文與用戶輸入生成自動(dòng)回復(fù)，但該方法不能區(qū)分情感交互背景、線索與主旨等重要信息，情感交互常常言不達(dá)意；張涼等[7]將多視角GAN引入深度學(xué)習(xí)架構(gòu)中，該方法抑制梯度彌散的效果較好，但提取特征能力不強(qiáng)；王孟宇等[8]設(shè)計(jì)了RCNN網(wǎng)絡(luò)和HRED模型情感交互生成方法，該方法可及時(shí)獲取短句語(yǔ)義，對(duì)語(yǔ)義情感分析較為到位，但當(dāng)網(wǎng)絡(luò)層次較深時(shí)，常出現(xiàn)梯度彌散的狀況；易煒等[9]在循環(huán)網(wǎng)絡(luò)中引入注意力權(quán)值，可挖掘情感交互中的關(guān)鍵信息，但仍難發(fā)掘語(yǔ)義中的隱含信息和風(fēng)格。

試驗(yàn)擬研究點(diǎn)餐機(jī)器人情感交互的設(shè)計(jì)思路與理念，以期設(shè)計(jì)出以人為本的智能情感交互方法的機(jī)器人，為智能服務(wù)業(yè)提供技術(shù)支持。

1 研究基礎(chǔ)

1.1 Seq2Seq網(wǎng)絡(luò)解析

文中提出的SeqGAN模型基于Seq2Seq模型(Sequence-to-Sequence generative model，Seq2Seq)改進(jìn)而來。Seq2Seq模型是基于深度學(xué)習(xí)方法[10]的交互生成元模型，該模型可將基列信號(hào)采用編解碼生成新基列數(shù)據(jù)，并能夠處理自然語(yǔ)言的自適應(yīng)基列映射的問題。Seq2Seq可輸入文本、圖像或語(yǔ)音等基列，并輸出文本。

圖1中設(shè)定英語(yǔ)點(diǎn)餐源語(yǔ)M={m1,m2,…,mn}，其尺度為n，輸出目標(biāo)語(yǔ)句W={w1,w2,…,wK},其尺度為K；{h1,h2,…,hn}與{v1,v2,…,vn}分別為編碼器與解碼器的隱層參量，如式(1)。

圖1 Seq2Seq網(wǎng)絡(luò)解析Figure 1 Seq2Seq network

vi=t(wi-1,vi-1,c)，

(1)

式中：

vi——解碼器第i個(gè)輸出詞的隱狀態(tài)；

wi-1——第i-1個(gè)輸出詞；

vi-1——第i-1個(gè)詞的隱狀態(tài)；

c——語(yǔ)義狀態(tài)參量；

t()——多層卷積構(gòu)成的非線性變換。

Seq2Seq網(wǎng)絡(luò)的目標(biāo)解析式如公式(2)所示。

P(wi|w1,w2,…,wi-1)=d(wi-1,vi)，

(2)

式中：

P(wi|w1,w2,…,wi-1)——目標(biāo)輸出語(yǔ)句的條件概率；

d()——Seq2Seq網(wǎng)絡(luò)的目標(biāo)解析式；

wi——第i個(gè)輸出詞；

vi——相應(yīng)的隱狀態(tài)。

1.2 LSTM神經(jīng)網(wǎng)絡(luò)模型解析

隨著待處理的英語(yǔ)點(diǎn)餐交互語(yǔ)言序列增長(zhǎng)，RNN模型會(huì)產(chǎn)生梯度彌散的問題，長(zhǎng)短存儲(chǔ)神經(jīng)網(wǎng)絡(luò)(Long short-term memory，LSTM)[11]是在RNN模型基礎(chǔ)上的改進(jìn)，該模型增加記憶單元，可利用門控模塊讓記憶單元保存全部英語(yǔ)點(diǎn)餐交互語(yǔ)言序列數(shù)據(jù)。如圖2所示，LSTM神經(jīng)網(wǎng)絡(luò)模型包括遺忘、輸入與輸出3組門控元。

圖2 LSTM神經(jīng)網(wǎng)絡(luò)模型解析Figure 2 LSTM neural network model

2 基于BLSTM-SeqGAN網(wǎng)絡(luò)的英語(yǔ)點(diǎn)餐交互系統(tǒng)

2.1 整體架構(gòu)

Seq2Seq網(wǎng)絡(luò)在機(jī)器學(xué)習(xí)[12]、智能情感交互等領(lǐng)域運(yùn)用廣泛，但該模型將單個(gè)輸入基列統(tǒng)一為確定尺度，存在語(yǔ)義信息不能涵蓋全部輸入數(shù)據(jù)，數(shù)據(jù)丟失等問題。此外，實(shí)際應(yīng)用中，單獨(dú)使用該模型生成的英語(yǔ)點(diǎn)餐語(yǔ)言往往乏味、單一和機(jī)器化，面對(duì)長(zhǎng)難句，往往詞不達(dá)意。因此，引入約束型GAN架構(gòu)和主旨型注意力模式，從輸入語(yǔ)言中準(zhǔn)確捕獲語(yǔ)義，并生成確定情感的信息。圖3為基于BLSTM-SeqGAN網(wǎng)絡(luò)的英語(yǔ)點(diǎn)餐交互整體架構(gòu)，包括輸入部分(Input Embeding)、編碼部分(Encoder)、主旨注意力機(jī)制(Attention)以及約束型SeqGAN網(wǎng)絡(luò)所構(gòu)成的解碼模型(Decoder)。

圖3 基于BLSTM-SeqGAN網(wǎng)絡(luò)的英語(yǔ)點(diǎn)餐交互整體架構(gòu)

2.2 基于BLSTM的編碼網(wǎng)絡(luò)

2.2.1 BLSTM神經(jīng)網(wǎng)絡(luò) 針對(duì)輸入的英語(yǔ)點(diǎn)餐交互語(yǔ)言序列，若利用單向LSTM網(wǎng)絡(luò)處理，則隱層所包括的數(shù)據(jù)為當(dāng)前時(shí)刻之前獲取的，為保證情感交互中英語(yǔ)點(diǎn)餐交互語(yǔ)義的充分理解，則需保障編碼過程能獲得前后序列數(shù)據(jù)。選用BLSTM即雙向長(zhǎng)短存儲(chǔ)神經(jīng)網(wǎng)絡(luò)構(gòu)建英語(yǔ)點(diǎn)餐交互的編碼模型，與LSTM神經(jīng)網(wǎng)絡(luò)相比，BLSTM神經(jīng)網(wǎng)絡(luò)可獲得正向與反向的隱層輸出，其基本架構(gòu)如圖4所示，這是由于BLSTM神經(jīng)網(wǎng)絡(luò)包括正向與反向的LSTM編碼層，并通過正反向的連接組成。

圖4 BLSTM神經(jīng)網(wǎng)絡(luò)的基本架構(gòu)Figure 4 Basic architecture of BLSTM neural network

2.2.2 基于BLSTM的編碼網(wǎng)絡(luò) BLSTM神經(jīng)網(wǎng)絡(luò)采用正向LSTM和反向LSTM分別完成歷史數(shù)據(jù)與將來數(shù)據(jù)的過濾與保存，通過連接正反向LSTM神經(jīng)網(wǎng)絡(luò)可獲得英語(yǔ)點(diǎn)餐交互語(yǔ)言數(shù)據(jù)的中間參量表示，基于BLSTM的編碼網(wǎng)絡(luò)如圖5所示。在英語(yǔ)點(diǎn)餐交互語(yǔ)句編碼前，分解為英語(yǔ)點(diǎn)餐交互源語(yǔ)序列M={m1,m2,…,mn},g=1,2,…n，正反向LSTM神經(jīng)網(wǎng)絡(luò)編碼的隱層向量分別為yz={yz1,yz2,…,yzn}和yf={yf1,yf2,…,yfn}，如式(3)所示。

圖5 基于BLSTM的編碼網(wǎng)絡(luò)Figure 5 BLSTM based coding network

ysg=[LSTM(yzsg,mg),LSTM(yfsg,mg)]，

(3)

式中：

ysg——s時(shí)刻第g個(gè)英語(yǔ)點(diǎn)餐交互源語(yǔ)得到的隱層狀態(tài)；

mg——第g個(gè)英語(yǔ)點(diǎn)餐交互源語(yǔ)；

yzsg——s時(shí)刻第g個(gè)英語(yǔ)點(diǎn)餐交互源語(yǔ)的正向LSTM隱層向量；

yfsg——s時(shí)刻第g個(gè)英語(yǔ)點(diǎn)餐交互源語(yǔ)的反向LSTM隱層向量；

LSTM(yzsg,mg)——s時(shí)刻正向LSTM編碼網(wǎng)絡(luò)得到的隱層狀態(tài)；

LSTM(yfsg,mg)——s時(shí)刻反向LSTM編碼網(wǎng)絡(luò)得到的隱層狀態(tài)。

2.3 主旨型注意力模式

注意力模式[13]是基于人的觀察特點(diǎn)與邏輯，可有效獲取數(shù)據(jù)的典型特征。在英語(yǔ)點(diǎn)餐交互語(yǔ)言序列的情感交互處理中，并不是全部單詞的重要程度都相應(yīng)，而是根據(jù)英語(yǔ)點(diǎn)餐交互語(yǔ)言特征和情感交互場(chǎng)景區(qū)分單詞的優(yōu)先級(jí)和重要性。文中提出的主旨型注意力模式可通過賦權(quán)值的方式提取不同情感主旨的文本數(shù)據(jù)，如積極或消極的情感/情緒。如圖6所示，將編碼裝置中的輸出{ys1,ys2,…,ysn}和語(yǔ)境中的主旨單詞{c1,c2,…,cn}傳輸至注意力模式中。

圖6 主旨型注意力模式Figure 6 Attentional pattern

(4)

式中：

kd——獲取門權(quán)值；

qs-1——獲取門kd讀得上一刻的語(yǔ)境信息。

(5)

式中：

ysg——s時(shí)刻的隱層狀態(tài)；

y(s-1)g——s-1時(shí)刻編碼的隱層狀態(tài)向量；

fs-1——前一刻獲得的英語(yǔ)點(diǎn)餐交互詞參量；

wg——與語(yǔ)境相關(guān)的向量；

bg——與情感主旨相關(guān)的向量；

LSTM[y(s-1)g，fs-1，wg，bg]——基于[y(s-1)g，fs-1，wg，bg]輸入的LSTM編碼。

2.4 約束型SeqGAN解碼網(wǎng)絡(luò)架構(gòu)

2.4.1 約束型GAN架構(gòu) 英語(yǔ)點(diǎn)餐情感交互的生成回復(fù)，需充分考量當(dāng)前輸入的英語(yǔ)點(diǎn)餐語(yǔ)言信息與上下文約束，因此在傳統(tǒng)GAN網(wǎng)絡(luò)中引入約束o，利用約束o完善生成與判別進(jìn)程的同時(shí)，增強(qiáng)調(diào)控度與適應(yīng)性。約束型GAN網(wǎng)絡(luò)架構(gòu)如圖7所示。

圖7 約束型GAN網(wǎng)絡(luò)Figure 7 Constrained GAN network

2.4.2 約束型SeqGAN網(wǎng)絡(luò)架構(gòu) 在約束型SeqGAN網(wǎng)絡(luò)的基礎(chǔ)上生成英語(yǔ)點(diǎn)餐情感交互回復(fù)，以“start”作為起始信號(hào)，激勵(lì)生成裝置得到回復(fù)。該網(wǎng)絡(luò)中包含了全連接層(Fully connected-net，F(xiàn)C-net)、多尺度卷積和語(yǔ)義向量模擬層(Semantic vector simulation layer，SVSL)。該網(wǎng)絡(luò)可分為3個(gè)功能模塊，其中，回復(fù)生成模塊S是基于LSTM的編解碼部分，可將輸入的英語(yǔ)點(diǎn)餐語(yǔ)言數(shù)據(jù)完成實(shí)值參量的映射，并基于該數(shù)據(jù)生成回復(fù)；語(yǔ)義向量模擬層則依據(jù)生成裝置產(chǎn)生的英語(yǔ)點(diǎn)餐語(yǔ)言數(shù)據(jù)分布獲得語(yǔ)言向量并傳送至判別裝置，并將獲得的反饋信息傳送至生成裝置；判別裝置則利用深度學(xué)習(xí)方法獲得語(yǔ)句的語(yǔ)義，并通過卷積操作判別是真實(shí)或生成回復(fù)，從而調(diào)整生成裝置參量，縮小生成語(yǔ)言與真人英語(yǔ)點(diǎn)餐情感交互回復(fù)間的差距。約束型SeqGAN網(wǎng)絡(luò)架構(gòu)如圖8所示。

圖8 約束型SeqGAN網(wǎng)絡(luò)架構(gòu)Figure 8 Constrained SeqGaN network architecture

在生成裝置部分可依據(jù)輸入中間層英語(yǔ)點(diǎn)餐語(yǔ)言數(shù)據(jù)Em={Em,1,Em,2,…,Em,n}得到相應(yīng)的情感交互數(shù)據(jù)Ew={Ew,1,Ew,2,…,Ew,J}，該模塊的訓(xùn)練目標(biāo)是基于確定的輸入英語(yǔ)點(diǎn)餐語(yǔ)言—情感交互消息對(duì)的過程中獲得最佳條件概率P(m|w)。其步驟為：編碼裝置可將輸入英語(yǔ)點(diǎn)餐交互語(yǔ)言數(shù)據(jù)轉(zhuǎn)換為語(yǔ)言向量E(w)，生成裝置則依據(jù)該向量估測(cè)情感交互消息中各詞產(chǎn)生的概率，如式(6)所示。

(6)

式中：

P(m|w)——英語(yǔ)點(diǎn)餐語(yǔ)言—情感交互消息對(duì)最佳條件概率；

E(w)——語(yǔ)言向量；

Ew,1,Ew,2,…,Ew,J——情感交互數(shù)據(jù)。

生成模塊中的消息情感交互回復(fù)部分如圖9所示。

圖9 生成模塊中的消息情感交互回復(fù)部分Figure 9 Generates the message dialogue responsesection of the module

2.5 模型訓(xùn)練

模型訓(xùn)練的過程就是不斷優(yōu)化英語(yǔ)情感交互生成模型的過程。基于BLSTM-SeqGAN的模型在訓(xùn)練的過程中選用了dropout策略[14]，該方法能夠避免參量過擬合。模型的目標(biāo)函數(shù)選用交叉熵解析模型。在模型訓(xùn)練中，選用困惑指標(biāo)Per分析生成英語(yǔ)點(diǎn)餐交互語(yǔ)言的狀態(tài)，該指標(biāo)越低則模型狀態(tài)越好，如式(7)所示。模型優(yōu)化則選用Adam策略[15]，學(xué)習(xí)率可動(dòng)態(tài)調(diào)整，若校驗(yàn)集中的損失超過前五次校驗(yàn)值，則將學(xué)習(xí)率減小。

(7)

式中：

Per——困惑指標(biāo)；

n——輸出英語(yǔ)點(diǎn)餐交互語(yǔ)言序列的長(zhǎng)度；

wg——輸出英語(yǔ)點(diǎn)餐交互語(yǔ)言序列W中第g個(gè)單詞。

3 基于深度編碼網(wǎng)絡(luò)的英語(yǔ)點(diǎn)餐情感型交互試驗(yàn)

BLSTM-SeqGAN下的英語(yǔ)點(diǎn)餐情感型交互生成實(shí)驗(yàn)的硬件配置為ROG STRIX-RTX 2080Ti的計(jì)算機(jī)，8核CPU，16 G內(nèi)存，硬盤容量為8 T，顯存容量為12g*4；軟件選用matlab與python混合編程?；緟⒘吭O(shè)定：dropout的比值設(shè)0.3，Adam的學(xué)習(xí)速率設(shè)定為0.000 1，英語(yǔ)點(diǎn)餐單詞嵌入層設(shè)置為256維，樣本集中訓(xùn)練次數(shù)epochs設(shè)為10，完成一個(gè)epochs的迭代次數(shù)iterations為550。數(shù)據(jù)集選用的WordReference Forum和daily dialog語(yǔ)料庫(kù)中共包含11 356組英語(yǔ)點(diǎn)餐交互，daily dialog語(yǔ)料庫(kù)具有上萬組多輪情感交互，包含各類點(diǎn)餐交互者，并主要覆蓋七類情緒，能夠表現(xiàn)各類點(diǎn)餐生活場(chǎng)景，主題涉及文化點(diǎn)餐、旅游點(diǎn)餐、健康型點(diǎn)餐、工作點(diǎn)餐、兒童食品點(diǎn)餐等，能夠適應(yīng)各層次學(xué)習(xí)者用英語(yǔ)交互的需求。并依據(jù)0.85∶0.10∶0.05分割成訓(xùn)練、校驗(yàn)與測(cè)試三類語(yǔ)料集，語(yǔ)料集的分割統(tǒng)計(jì)如表1所示。對(duì)比試驗(yàn)的基線模型選用Du-Model與HRED-Model。

表1 語(yǔ)料集的分割統(tǒng)計(jì)狀態(tài)

3.1 生成情感交互質(zhì)量對(duì)比

選用的基線模型為Du-Model[5]與HRED-Model[8]。Du-Model是基于Seq2Seq模型下利用前驗(yàn)與后驗(yàn)知識(shí)的認(rèn)知型多輪情感交互模型，HRED-Model在深度RNN網(wǎng)絡(luò)編碼架構(gòu)下傳送隱層英語(yǔ)點(diǎn)餐交互語(yǔ)言向量，這兩種基線模型在多輪情感交互任務(wù)中取得的效果遠(yuǎn)優(yōu)于Seq2Seq模型。表2給出試驗(yàn)設(shè)計(jì)方法(BLSTM-SeqGAN)和兩種基線方法的情感交互生成實(shí)例。從生成的情感交互可以看出，針對(duì)英語(yǔ)長(zhǎng)難語(yǔ)句，Du-Model易出現(xiàn)丟失源語(yǔ)句的狀況，使得該模型偏向于產(chǎn)生常規(guī)回復(fù)；針對(duì)語(yǔ)境或主題復(fù)雜的英語(yǔ)語(yǔ)句，HRED-Model對(duì)前后文的提取能力不強(qiáng)，對(duì)英語(yǔ)語(yǔ)義的理解和情感傾向易帶來偏差。如例2所示，當(dāng)顧客提出他的雞蛋是溏心的(沒有太熟)，這個(gè)句子帶有消極情感。Du-Model和HRED-Model都未充分理解語(yǔ)句的情感狀態(tài)，誤以為情感是積極狀態(tài)，帶來回復(fù)偏離語(yǔ)境的問題。Du-Model向顧客推薦皮蛋(皮蛋屬溏心類蛋)，HRED-Model則建議顧客再點(diǎn)一份飲料，搭配口感更佳；而BLSTM-SeqGAN法判斷顧客語(yǔ)義消極，因而回復(fù)歉意并讓顧客稍等后再上一份煎蛋，貼切語(yǔ)義。BLSTM-SeqGAN法采用主旨型注意力模式，并利用正向和反向LSTM分別完成歷史與將來數(shù)據(jù)的過濾與保存，生成的情感交互回復(fù)更加自然。

表2 試驗(yàn)設(shè)計(jì)方法和兩種基線方法的情感交互生成實(shí)例

3.2 情感交互生成指標(biāo)對(duì)比

3.2.1 困惑指標(biāo)對(duì)比 采用式(7)給出的困惑指標(biāo)完成BLSTM-SeqGAN與Du-Model法和HRED-Model法在單個(gè)epoch下的對(duì)比，如圖10所示。與兩種基線方法相比，試驗(yàn)設(shè)計(jì)的方法困惑指標(biāo)更小，并伴隨迭代數(shù)目增加而穩(wěn)定程度更高。

圖10 試驗(yàn)設(shè)計(jì)方法與兩種基線方法的困惑指標(biāo)對(duì)比

3.2.2 精準(zhǔn)度指標(biāo)對(duì)比 精準(zhǔn)度指標(biāo)模型Precision如式(8)所示。BLSTM-SeqGAN、Du-Model和HRED-Model 3種方法在首個(gè)epoch中的精準(zhǔn)度曲線如圖11所示，該epoch中的精準(zhǔn)度變化程度大，三者穩(wěn)定達(dá)到的精準(zhǔn)度分別為74.9，70.1，65.4，其中BLSTM-SeqGAN法可以較快地進(jìn)入最優(yōu)狀態(tài)，且精準(zhǔn)度更高。

圖11 試驗(yàn)設(shè)計(jì)方法和兩種基線方法的精準(zhǔn)度指標(biāo)對(duì)比Figure 11 Comparison of precision indexes

Precision=(RP+RN)/(RP+EP+RN+EN)，

(8)

式中：

RP——“Right Positive”，即樣本被準(zhǔn)確預(yù)測(cè)為積極情感/情緒的主題；

RN——“Right Negative”，即樣本被準(zhǔn)確預(yù)測(cè)為消極情感/情緒的主題；

EP——“Error Positive”，即樣本被錯(cuò)誤預(yù)測(cè)為積極情感/情緒的主題；

EN——“Error Negative”，即樣本被錯(cuò)誤預(yù)測(cè)為消極情感/情緒的主題。

3.3 算法的效能對(duì)比

圖12給出試驗(yàn)設(shè)計(jì)方法與兩種基線方法在10個(gè)epoch中的精準(zhǔn)度變化狀態(tài)。在前8個(gè)epoch的網(wǎng)絡(luò)訓(xùn)練中，隨著epoch個(gè)數(shù)增加，3種方法的精準(zhǔn)度不斷增加，BLSTM-SeqGAN法的精準(zhǔn)度明顯高于兩種基線方法。此外，在8個(gè)epoch之后，Du-Model法與HRED-Model法由于產(chǎn)生了過擬合狀況，精準(zhǔn)度逐漸降低。試驗(yàn)設(shè)計(jì)了BLSTM-SeqGAN架構(gòu)，并在訓(xùn)練過程中選用dropout策略方法，能夠有效規(guī)避過擬合問題。表3給出3種方法在單個(gè)epoch中的平均訓(xùn)練時(shí)間和最優(yōu)精準(zhǔn)度。由表3可知，BLSTM-SeqGAN法的效率與準(zhǔn)確率均優(yōu)于兩種基線方法。

表3 試驗(yàn)設(shè)計(jì)方法和兩種基線方法的平均訓(xùn)練時(shí)間和 最優(yōu)精準(zhǔn)度Table 3 Average training time and optimal accuracy of the three methods

圖12 試驗(yàn)設(shè)計(jì)方法和兩種基線方法在10個(gè)epoch中的精準(zhǔn)度變化狀態(tài)Figure 12 Precision changes of the three methodsin 10 epochs

4 結(jié)論

在Seq2Seq網(wǎng)絡(luò)和LSTM神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，引入約束型GAN架構(gòu)和主旨型注意力模式，實(shí)現(xiàn)基于BLSTM-SeqGAN網(wǎng)絡(luò)的英語(yǔ)點(diǎn)餐情感交互生成，可從輸入語(yǔ)言中準(zhǔn)確捕獲語(yǔ)義，并生成確定情感的信息。在訓(xùn)練過程中選用了dropout策略，該方法能夠避免參量過擬合，模型優(yōu)化則選用Adam策略，學(xué)習(xí)率可動(dòng)態(tài)調(diào)整。而且BLSTM-SeqGAN法生成的情感交互回復(fù)更加自然，困惑指標(biāo)更小，并伴隨迭代數(shù)目增加而穩(wěn)定程度更高，并能夠較快進(jìn)入最優(yōu)狀態(tài)，精準(zhǔn)度更高。此外，在單個(gè)epoch中的平均訓(xùn)練時(shí)間最短。

目前，研究尚存在參數(shù)訓(xùn)練需要的數(shù)據(jù)量大，網(wǎng)絡(luò)結(jié)構(gòu)仍較為復(fù)雜的問題。在未來的研究工作中，將分析如何利用少量的訓(xùn)練數(shù)據(jù)獲取更通用的情感特征。