孫東輝，張 珣

（杭州電子科技大學(xué)現(xiàn)代電路與智能信息研究所，浙江杭州 310018）

0 引言

語言作為人類情感思想的載體包含了豐富的信息，如果把計(jì)算機(jī)應(yīng)用于語音信息處理領(lǐng)域，則可讓計(jì)算機(jī)與人類進(jìn)行語音交互。若將這項(xiàng)技術(shù)應(yīng)用于智能家居控制系統(tǒng)中，將會(huì)極大地方便人們對(duì)家庭電器的控制，因此以語音識(shí)別技術(shù)為基礎(chǔ)的智能家居控制系統(tǒng)應(yīng)運(yùn)而生。與此同時(shí)，深度學(xué)習(xí)、大數(shù)據(jù)等新興技術(shù)近年來的迅猛發(fā)展，將智能家居的發(fā)展浪潮推向了一個(gè)新高度。情感分析也稱為觀點(diǎn)挖掘，是自然語言處理領(lǐng)域的研究熱點(diǎn)之一，其可提取文本中的情感及觀點(diǎn)。傳統(tǒng)機(jī)器學(xué)習(xí)方法可處理許多情感分析問題，通常會(huì)根據(jù)不同項(xiàng)目的特點(diǎn)選擇不同處理方式，一般需要很長時(shí)間來收集、組織與抽象背景知識(shí)。深度學(xué)習(xí)的出現(xiàn)迅速取代了傳統(tǒng)機(jī)器學(xué)習(xí)方法，并成為自然語言處理領(lǐng)域的領(lǐng)頭軍，在各個(gè)行業(yè)得到了廣泛應(yīng)用。與傳統(tǒng)機(jī)器學(xué)習(xí)算法相比，深度學(xué)習(xí)不取決于人工提取的特性，而具有獨(dú)立學(xué)習(xí)特征的能力，非常適合對(duì)非結(jié)構(gòu)化語言文本、序列等類型數(shù)據(jù)的抽象。

目前，國內(nèi)外許多研究人員采用長短期記憶模型與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的方式處理文本信息，并分析文本上下文的情感分類問題，取得了良好效果。其中，深度學(xué)習(xí)模型有著優(yōu)異表現(xiàn)，即使沒有特征的標(biāo)注也能提高分類準(zhǔn)確率［1］。Wang 等［2］將遞歸神經(jīng)網(wǎng)絡(luò)與隨機(jī)概率融合為統(tǒng)一的框架，用于顯式語義與特征向量的共同提取，分類準(zhǔn)確率得到明顯提升。但采用這種提取所有方面語義文本的方法，當(dāng)文本數(shù)量龐大時(shí)網(wǎng)絡(luò)層數(shù)會(huì)過深。因此，需要對(duì)文本中的重點(diǎn)區(qū)域進(jìn)行突出，否則隨著訓(xùn)練時(shí)長的增加，容易出現(xiàn)梯度消失現(xiàn)象。

在圖像識(shí)別領(lǐng)域首次提出注意力機(jī)制概念，其使得模型能夠有效注意到特定區(qū)域的具體信息，并獲得更深入的特征信息。近些年，注意力機(jī)制被嘗試應(yīng)用于NLP 領(lǐng)域，結(jié)果證明這種特征提取方式更加高效。將注意力機(jī)制與循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合能夠?qū)⑽谋拘畔⒓靶蛄械哪骋恢虚g時(shí)刻狀態(tài)進(jìn)行融合，使用注意力加權(quán)方式計(jì)算輸出，同時(shí)通過上下文互動(dòng)監(jiān)測(cè)特定信息，能有效解決不同目標(biāo)的情緒兩極化問題，并提高情感極性預(yù)測(cè)的準(zhǔn)確性。譚皓等［3］提出可利用表情符作為分析文本的注入點(diǎn)，并提出基于表情符注意力機(jī)制的情感分析模型；Meng 等［4］利用平行語料庫提升詞典覆蓋率，采用最大化似然估計(jì)法對(duì)詞語進(jìn)行標(biāo)注，以提升情感分類準(zhǔn)確率；栗雨晴等［5］通過構(gòu)建雙語詞典，在新浪微博評(píng)論區(qū)提取大量用戶評(píng)論進(jìn)行多種類的文本情感分析。以上方法與語料庫緊密相連，文本語料庫的詞語質(zhì)量及規(guī)模將會(huì)直接影響預(yù)測(cè)準(zhǔn)確率。

本文設(shè)計(jì)一個(gè)能夠隨著用戶語音信息進(jìn)行自適應(yīng)改變的沉浸式智能客廳系統(tǒng)，對(duì)用戶語音信號(hào)進(jìn)行采集，并在云端使用如今已較為成熟的科大訊飛語音識(shí)別引擎進(jìn)行語音到文本的轉(zhuǎn)換［6-7］。無需構(gòu)建龐大的語料庫，改用基于注意力機(jī)制的LSTM-RNN 網(wǎng)絡(luò)分析輸入神經(jīng)網(wǎng)絡(luò)的用戶語音文本信息［8］，進(jìn)而挖掘出用戶的情感觀點(diǎn)，使得控制系統(tǒng)具有思考分析的能力，能夠作出預(yù)測(cè)，協(xié)調(diào)室內(nèi)各個(gè)模塊進(jìn)行自適應(yīng)改變。例如，綜合用戶情感因素調(diào)控影片播放類型及客廳內(nèi)的燈光、窗簾、香薰等作出改變，讓用戶能夠沉浸其中，獲得極致體驗(yàn)。

1 智能客廳設(shè)計(jì)

系統(tǒng)主要包括以下幾個(gè)模塊：

（1）語音錄入模塊。獲取原始的用戶語音數(shù)據(jù)后進(jìn)行去噪預(yù)處理，經(jīng)A/D 轉(zhuǎn)換后將信號(hào)上傳云平臺(tái)，使用科大訊飛引擎將其轉(zhuǎn)換為文本信息返回到語音模塊。

（2）文本信息分析模塊。在該模塊內(nèi)部提前使用大量詞語文本進(jìn)行語言情感信息訓(xùn)練，構(gòu)建語義文本庫。將獲取到的文本信息輸入訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型中，輸出的關(guān)鍵詞將會(huì)被轉(zhuǎn)換成控制指令，等待下發(fā)給各工作模塊。

（3）指令廣播模塊。指令將以json 格式廣播到各個(gè)工作節(jié)點(diǎn)的控制層中，工作節(jié)點(diǎn)對(duì)其分析處理完成后，會(huì)根據(jù)指令進(jìn)行自適應(yīng)變化。

（4）工作節(jié)點(diǎn)模塊。由控制層、業(yè)務(wù)層與持久層組成，控制層負(fù)責(zé)接收指令模塊傳輸過來的json 指令，解析指令并下達(dá)至業(yè)務(wù)層進(jìn)行相應(yīng)邏輯處理，最后將指令記錄在持久層中用作歷史備份。下次接收到相同的json 指令則不需要再次解析，直接處理相應(yīng)邏輯即可，以加快響應(yīng)速度。

系統(tǒng)模塊總概圖如圖1所示［9-10］。

Fig.1 General diagram of the system module圖1 系統(tǒng)模塊總概圖

2 算法原理

2.1 反向傳播網(wǎng)絡(luò)

反向傳播神經(jīng)網(wǎng)絡(luò)由輸入層、隱含層與輸出層構(gòu)成。網(wǎng)絡(luò)中前一層的輸出都可作為下一層的輸入，使提取到的特征信息可繼續(xù)被下一層使用。輸入層的數(shù)據(jù)為預(yù)處理過的文本信息，可實(shí)現(xiàn)分類與預(yù)測(cè)功能。其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

Fig.2 BP neural network structure圖2 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

具體訓(xùn)練過程為：將權(quán)重初始化為隨機(jī)數(shù)，預(yù)處理輸入數(shù)據(jù)，通過神經(jīng)網(wǎng)絡(luò)得到輸出值，每一次訓(xùn)練都將輸出值與預(yù)期值進(jìn)行比較。用梯度下降法更新權(quán)重值，重復(fù)訓(xùn)練過程使誤差變小，最終完成神經(jīng)網(wǎng)絡(luò)訓(xùn)練。

反向傳播網(wǎng)絡(luò)利用前向傳播網(wǎng)絡(luò)公式進(jìn)行計(jì)算，前向傳播公式如下［11］：

式中，z(l)為第l層的激活值。第l+1 層包含以下元素：輸入a(l)，參數(shù)W(l)、b(l)，激活函數(shù)f(?)，中間結(jié)果z(l+1)，輸出a(l+1)。設(shè)神經(jīng)網(wǎng)絡(luò)的損失函數(shù)為J(W，b) ∈Rl，且輸入到語音文本的信息集包含m個(gè)樣例，采用批量梯度下降算法求解神經(jīng)網(wǎng)絡(luò)。當(dāng)處理單一樣本(x，y)時(shí)，代價(jià)函數(shù)計(jì)算公式如下：

對(duì)于一個(gè)給定的包含m個(gè)樣本的數(shù)據(jù)集，可定義整體代價(jià)函數(shù)為：

然后，針對(duì)l=nl-1，nl-2，nl-3，… 的各個(gè)層，第l層第i個(gè)節(jié)點(diǎn)的殘差計(jì)算方法如下：

最后，利用批量梯度下降法對(duì)目標(biāo)函數(shù)進(jìn)行優(yōu)化，按照以下計(jì)算方法對(duì)參數(shù)W和b進(jìn)行更新：

α是學(xué)習(xí)速率，根據(jù)公式，需要計(jì)算其中的偏導(dǎo)：

2.2 LSTM-RNN網(wǎng)絡(luò)算法

2.2.1 LSTM-RNN模型結(jié)構(gòu)分析

普通神經(jīng)網(wǎng)絡(luò)模型有許多輸入?yún)?shù)，數(shù)據(jù)傳播方向依賴于上一層的方向，并且數(shù)據(jù)樣本之間是不相關(guān)的，無法對(duì)時(shí)間序列進(jìn)行有效的特征訓(xùn)練，因此不能應(yīng)用于自然語言處理、語音識(shí)別等領(lǐng)域。循環(huán)神經(jīng)網(wǎng)絡(luò)重新定義了神經(jīng)元之間的關(guān)系，即當(dāng)前時(shí)刻的輸入與上一時(shí)刻的輸出都會(huì)影響此時(shí)神經(jīng)元的輸出，該特性使得神經(jīng)網(wǎng)絡(luò)具備對(duì)時(shí)間序列的分析能力［12］。傳統(tǒng)RNN 網(wǎng)絡(luò)展開結(jié)構(gòu)如圖3所示。

Fig.3 Expanding structure of recurrent neural network圖3 循環(huán)神經(jīng)網(wǎng)絡(luò)展開結(jié)構(gòu)

但是由于文本序列過長，RNN 會(huì)導(dǎo)致時(shí)間軸上的梯度消失，此外RNN 在處理相關(guān)性較強(qiáng)的數(shù)據(jù)文本時(shí)，訓(xùn)練后的詞向量誤差較大，不能很好地聯(lián)系語義文本的上下文關(guān)系，經(jīng)常會(huì)作出錯(cuò)誤判斷。因此，采用LSTM 與RNN 兩種網(wǎng)絡(luò)相結(jié)合的方法，可使網(wǎng)絡(luò)具有記憶功能，能夠綜合上下文所有信息再作出判斷［13-14］。

LSTM 是一種特殊的循環(huán)結(jié)構(gòu)，基于RNN 的結(jié)構(gòu)基礎(chǔ)，每一個(gè)LSTM 單元又都包含3 個(gè)門結(jié)構(gòu)：輸入門、輸出門與遺忘門。門與門之間通過嚴(yán)格的限制關(guān)系使詞向量之間的依賴性加強(qiáng)，訓(xùn)練后的網(wǎng)絡(luò)會(huì)具有更強(qiáng)的普適性與精確度。

RNN 與LSTM 結(jié)構(gòu)對(duì)比如圖4 所示。其中，LSTM 內(nèi)部結(jié)構(gòu)如圖5 所示。由圖5 可以看到，整體分為輸入與輸出兩部分，而每部分都由C和h組成。這里h表示隱藏狀態(tài)，C表示細(xì)胞狀態(tài)。

遺忘門是指以一定概率控制上一層LSTM 單元狀態(tài)被遺忘的程度，LSTM 遺忘門如圖6所示。

上一時(shí)刻序列的隱藏狀態(tài)h(t-1)與此時(shí)刻的序列數(shù)據(jù)x(t)經(jīng)過激活函數(shù)sigmoid，得到遺忘門的輸出f(t)。在sig?moid 的特性限制下，f(t)會(huì)在[0，1]區(qū) 間內(nèi)，所以f()t代表上一層隱藏細(xì)胞狀態(tài)被遺忘的概率，數(shù)學(xué)表達(dá)式為：

輸入門負(fù)責(zé)此時(shí)刻的序列輸入，LSTM 輸入門如圖7所示。

輸入門由兩部分組成，一部分通過sigmoid 激活函數(shù)輸出i(t)，另一部分通過tanh 激活函數(shù)輸出a(t)。數(shù)學(xué)表達(dá)式為：

Fig.4 Structural comparison of RNN and LSTM圖4 RNN與LSTM 結(jié)構(gòu)對(duì)比

Fig.5 LSTM unit structure圖5 LSTM 單元結(jié)構(gòu)

Fig.6 LSTM forgetting gate圖6 LSTM 遺忘門

然后細(xì)胞狀態(tài)c(t)會(huì)受到遺忘門與輸入門的共同影響，如圖8所示。

此時(shí)刻細(xì)胞狀態(tài)c(t)由兩部分乘積組成，一部分為上一時(shí)刻細(xì)胞狀態(tài)c(t-1)與遺忘門輸出f(t)的乘積，另一部分為輸入門i(t)與a(t)的乘積。數(shù)學(xué)表達(dá)式為：

Fig.7 LSTM input gate圖7 LSTM 輸入門

Fig.8 LSTM cell status update圖8 LSTM 細(xì)胞狀態(tài)更新

新的隱藏狀態(tài)更新后，LSTM 輸出門如圖9所示。

此時(shí)刻隱藏狀態(tài)h(t)由兩部分組成，一部分為σ(t)，由上一時(shí)刻序列隱藏狀態(tài)h(t-1)與此時(shí)刻序列數(shù)據(jù)x(t)及sig?moid 激活函數(shù)得到，另一部分由隱藏狀態(tài)c(t)與tanh 激活函數(shù)構(gòu)成。數(shù)學(xué)表示式為：

Fig.9 LSTM output gate圖9 LSTM 輸出門

綜上，t時(shí)刻的序列預(yù)測(cè)輸出數(shù)學(xué)表達(dá)式為：

2.2.2 LSTM-RNN反向傳播算法分析

使用梯度下降法是為了更新變量傳播模型參數(shù)，在LSTM 中計(jì)算出兩個(gè)隱藏狀態(tài)h(t)與c(t)基于損失函數(shù)的偏導(dǎo)數(shù)，具體如下：

在最后序列τ位置處的梯度公式為：

2.3 注意力機(jī)制情感分析

情感分析是指對(duì)帶有感情色彩的文本進(jìn)行信息挖掘，分析出其中隱含的情感傾向，是近年來自然語言處理領(lǐng)域的新熱點(diǎn)之一?；贚STM 的情感分析概圖如圖10所示。

Fig.10 Sentiment analysis diagram based on LSTM圖10 基于LSTM 的情感分析概圖

人腦會(huì)關(guān)注事物的重要部分，注意力機(jī)制就是基于這種思想抽象出來的模型。事物的主要部分被賦予了更大權(quán)重，并著重判別這部分，從而使模型更加關(guān)注重要信息的優(yōu)化訓(xùn)練過程。近年來，這種方法被引入到自然語言處理領(lǐng)域，根據(jù)當(dāng)前的文本詞語將輸出矩陣分配給不同的塊進(jìn)行特定表示［15］。

根據(jù)LSTM 產(chǎn)生的隱藏層特征H=[h1，h2，…，hN]構(gòu)建注意力機(jī)制的輸入，H?Rd*N，其中d表示隱藏層長度，N為輸入的文本信息長度。注意力機(jī)制最終產(chǎn)生注意力權(quán)重矩陣α和特征表示ν，計(jì)算公式如下：

3 基于注意力的LSTM-RNN情感分析模型

為了增加對(duì)重要信息的提取，本文提出基于注意力機(jī)制的用戶情感分析模型。首先，將整句文本拆分成詞，采用獨(dú)熱編碼形式，通過訓(xùn)練好的詞嵌入矩陣將其轉(zhuǎn)化為具有特征信息含義的詞向量，注入LSTM 層，輸出的結(jié)果可視為隱藏層；然后，針對(duì)不同部分分配不同的注意力權(quán)重值α，重構(gòu)新的輸入，再注入RNN 層；在RNN 層中只關(guān)心最后t時(shí)刻序列的輸出，注入softmax 情感分析層得到預(yù)測(cè)的概率結(jié)果，并貼上對(duì)應(yīng)的情緒標(biāo)簽?；谧⒁饬C(jī)制的模型如圖11所示［16-17］。

模型網(wǎng)絡(luò)結(jié)構(gòu)主要包含5 層：詞向量輸入層、LSTM層、注意力計(jì)算層、RNN 層、情感預(yù)測(cè)層。詞向量層把語義文本的獨(dú)熱向量通過已訓(xùn)練好的嵌入矩陣轉(zhuǎn)換為具有編碼關(guān)系的詞向量；LSTM 層聯(lián)系上下文對(duì)詞向量進(jìn)行建模，每個(gè)LSTM 輸出結(jié)果都會(huì)被注意力計(jì)算層分配不同的權(quán)重值；經(jīng)過LSTM 與注意力機(jī)制聯(lián)合處理過的中間向量已隱含了聯(lián)系全文的含義，因此將其直接注入RNN 層中不會(huì)產(chǎn)生語義分析的偏差；情感預(yù)測(cè)層會(huì)基于特定的情感特征向量進(jìn)行預(yù)測(cè)，根據(jù)輸出概率所在區(qū)域，即能得知用戶情感傾向［18］。

3.1 詞向量輸入層

Fig.11 Model based on attention mechanism圖11 基于注意力機(jī)制的模型

基于注意力機(jī)制的情感分析模型輸入由整句文本分詞后的詞向量組成，每個(gè)詞語初始均用獨(dú)熱向量表示。為增強(qiáng)向量之間的關(guān)聯(lián)性，需通過詞嵌入矩陣將其轉(zhuǎn)換為語義詞向量。詞嵌入矩陣訓(xùn)練難度大，所需的數(shù)據(jù)集非常多，而在國內(nèi)有很多公司開源了已訓(xùn)練好的詞嵌入矩陣，根據(jù)所需下載相應(yīng)維度即可。處理好的詞向量為ws=，其中n為語義文本序列長度［19］。

3.2 LSTM 層

最開始采用LSTM 訓(xùn)練語義詞向量，在時(shí)刻i的輸入為：

式中，hi是向前傳播時(shí)LSTM 在時(shí)刻i隱藏狀態(tài)的輸出。在語義文本的s層產(chǎn)生的特征序列為hs=。

3.3 注意力計(jì)算層

為LSTM 每一時(shí)刻輸出值分配一個(gè)合適的注意力權(quán)重α，a為t 時(shí)刻的LSTM 的輸出值。用c表示t時(shí)刻分配好的注意力權(quán)重α 與此時(shí)刻輸出值a乘積的和，其中c<1>的表達(dá)式為：

其中，e為a及初始時(shí)刻的s采用小型神經(jīng)網(wǎng)絡(luò)訓(xùn)練的結(jié)果，從而生成了具有關(guān)聯(lián)特征的情感表示。注意力權(quán)重訓(xùn)練圖如圖12所示。

Fig.12 Attention weight training graph圖12 注意力權(quán)重訓(xùn)練圖

3.4 RNN層

將具備關(guān)聯(lián)特征的詞向量輸入RNN 層中，RNN 網(wǎng)絡(luò)具有記憶功能，可高效地對(duì)詞向量之間的非線性特征進(jìn)行學(xué)習(xí)。同時(shí)此層還起到了訓(xùn)練層與情感分析層之間的過渡作用，大幅降低了單一訓(xùn)練可能導(dǎo)致的情感誤判概率。

3.5 情感預(yù)測(cè)層

語義詞向量的情感傾向預(yù)測(cè)需要對(duì)上下文信息進(jìn)行綜合考慮，因此本文已在搭配注意力機(jī)制的LSTM-RNN 層中提取了特征信息。針對(duì)RNN 層中最后t時(shí)刻的隱藏狀態(tài)，通過softmax 函數(shù)計(jì)算出預(yù)測(cè)概率，表達(dá)式為：

其中，c表示情感標(biāo)簽個(gè)數(shù)，pc表示情感標(biāo)簽c的預(yù)測(cè)概率［20-21］。用戶的情緒預(yù)測(cè)分類如表1所示。

Table 1 Classification of emotion prediction表1 情緒預(yù)測(cè)分類

根據(jù)預(yù)測(cè)概率所在區(qū)間，模型可判別出此時(shí)用戶屬于哪種情感。每種情感會(huì)對(duì)應(yīng)不同的Emotion id，在json 指令集中預(yù)測(cè)出的情感種類會(huì)以key/value 形式存儲(chǔ)并進(jìn)行傳輸。當(dāng)各個(gè)工作節(jié)點(diǎn)收到指令后會(huì)解析json 串，并根據(jù)具體的Emotion id 值作出相應(yīng)的自適應(yīng)改變。

3.6 模型訓(xùn)練

選取交叉熵作為優(yōu)化損失函數(shù)，其中D表示待訓(xùn)練的數(shù)據(jù)集?；谧⒁饬C(jī)制的語義情感分析模型損失函數(shù)如下［22］：

4 模型評(píng)估

4.1 數(shù)據(jù)集選取

使用分詞器對(duì)用戶語義文本進(jìn)行分詞，過濾掉長度小于3 的語義文本，最后獲得5 000 條可用于訓(xùn)練模型的詞語并貼上相應(yīng)標(biāo)簽，并在預(yù)處理階段將其轉(zhuǎn)換為獨(dú)熱向量表示。按照快樂、傷心、生氣、驚恐4 類情感對(duì)文本進(jìn)行人工標(biāo)注，詞語針對(duì)4種情感的分類情況如表2所示。

Table 2 Distribution of words表2 詞語分類

考慮到在日常生活中，快樂和傷心兩個(gè)極端情感相對(duì)其他類型情感會(huì)表現(xiàn)地更多，因此在模型訓(xùn)練中使用更多數(shù)據(jù)集進(jìn)行模型的情感分析學(xué)習(xí)。

4.2 訓(xùn)練過程

使用word2vec 訓(xùn)練詞向量，設(shè)置語義詞向量維度為100，訓(xùn)練迭代次數(shù)為200，學(xué)習(xí)率α為0.05。文本長度與注意力權(quán)重的維度保持一致，每個(gè)單詞的輸出為100維。

使用TensorFlow 框架Keras 快速搭建并訓(xùn)練注意力機(jī)制的LSTM-RNN 模型，設(shè)置LSTM 層數(shù)為100 層，RNN 層數(shù)為100 層。訓(xùn)練過程將整個(gè)詞語庫按照7：2：1 分為訓(xùn)練集、測(cè)試集與驗(yàn)證集。模型性能評(píng)估使用神經(jīng)網(wǎng)絡(luò)的通用指標(biāo)，即準(zhǔn)確率P、召回率R和F1值。F1表達(dá)式為：

4.3 訓(xùn)練結(jié)果分析

為體現(xiàn)出LSTM-RNN 模型在情感分析中的準(zhǔn)確性與高效性，以及采用注意力機(jī)制后模型對(duì)重要信息部分和較不重要信息部分判別的敏感性加強(qiáng)，對(duì)RNN 模型、注意力機(jī)制的RNN 模型、LSTM-RNN 模型與本文模型的性能進(jìn)行比較，如表3所示。

Table 3 Comparison of 4 models表3 4種模型比較

分析不同模型的實(shí)驗(yàn)結(jié)果可得出以下結(jié)論：

（1）由于語義文本中的上下文詞語緊密相連，單純使用RNN 模型盡管訓(xùn)練速度很快，但是上文特征并沒有很好地傳遞到下文，預(yù)測(cè)結(jié)果不準(zhǔn)確。

（2）使用注意力機(jī)制后的RNN 模型對(duì)整句語義文本的不同部分分配不同權(quán)重值，能夠增強(qiáng)模型對(duì)數(shù)據(jù)的敏感性，但其分析上下文特征的能力并沒有得到改善，預(yù)測(cè)結(jié)果并不穩(wěn)定。

（3）改用LSTM-RNN 模型后可很好地解決RNN 中的弊端，上下文特征提取與傳遞能力得到提升，預(yù)測(cè)情感結(jié)果的準(zhǔn)確性與穩(wěn)定性有所上升。

（4）本文引入注意力機(jī)制的LSTM-RNN 模型各項(xiàng)指標(biāo)均優(yōu)于以上算法。

實(shí)驗(yàn)結(jié)果表明，本文模型在LSTM-RNN 網(wǎng)絡(luò)基礎(chǔ)上加入注意力機(jī)制，加強(qiáng)了語義文本之間隱含特征的關(guān)聯(lián)性，并且注意力的存在深度挖掘了語義詞向量的語義權(quán)重，使模型針對(duì)不同詞向量有著不同敏感度，提升了模型的整體預(yù)測(cè)效果，穩(wěn)定性也得到了改善。

5 結(jié)語

本文提出一種基于注意力機(jī)制的LSTM-RNN 語義文本情感分析模型，在云上利用科大訊飛語音識(shí)別引擎將用戶語音信號(hào)轉(zhuǎn)換為語義文本，利用分詞器將文本拆分成單詞以方便后續(xù)詞向量轉(zhuǎn)換。采用LSTM-RNN 模型進(jìn)行特征訓(xùn)練，利用注意力機(jī)制，根據(jù)語義子句對(duì)詞匯賦予不同注意權(quán)重進(jìn)行具有程度差異的特征融合，最終在注意力機(jī)制基礎(chǔ)上形成特征向量，得到更精確的語義向量表示。實(shí)驗(yàn)結(jié)果表明，該模型能較為有效地根據(jù)用戶表達(dá)的語言信息預(yù)測(cè)并挖掘出此時(shí)用戶隱含的情感內(nèi)容，各項(xiàng)指標(biāo)超過了其他常規(guī)的深度學(xué)習(xí)算法，且預(yù)測(cè)結(jié)果趨于穩(wěn)定，基本滿足了場景自適應(yīng)改變的需求，能夠讓用戶沉浸其中。然而，模型中的F1 指標(biāo)還有待提高，在RNN 層中若采用雙向RNN 效果將更好，但代價(jià)是對(duì)應(yīng)的模型訓(xùn)練時(shí)間、控制節(jié)點(diǎn)準(zhǔn)備時(shí)間及各個(gè)工作節(jié)點(diǎn)響應(yīng)時(shí)間也會(huì)加長，可能導(dǎo)致用戶體驗(yàn)的舒適感降低，因此需要從模型的精準(zhǔn)度與體驗(yàn)感兩方面進(jìn)行綜合權(quán)衡，這將是后續(xù)進(jìn)一步優(yōu)化與改進(jìn)的重要方向。