孟 潔, 李 妍, 趙 迪, 張倩宜, 劉 赫

1(國網(wǎng)天津市電力公司 信息通信公司, 天津 300010)

2(天津市能源大數(shù)據(jù)仿真企業(yè)重點(diǎn)實(shí)驗(yàn)室, 天津 300010)

電力行業(yè)[1]是關(guān)系到國計(jì)民生的基礎(chǔ)性行業(yè). 電力業(yè)務(wù)運(yùn)營過程產(chǎn)生了海量的多種形態(tài)的自然語言數(shù)據(jù), 但是海量的數(shù)據(jù)會(huì)造成信息過載, 導(dǎo)致關(guān)鍵信息淹沒在大量的其他數(shù)據(jù)中, 增加了工作人員篩選、獲取有效信息的難度, 導(dǎo)致對(duì)已有數(shù)據(jù)缺乏有效的處理和利用, 造成信息資源的浪費(fèi). 在我們相關(guān)的研究中, 已實(shí)現(xiàn)針對(duì)電力業(yè)務(wù)語音數(shù)據(jù)設(shè)計(jì)自然語言識(shí)別模型,智能化地提取語音信息中的重要特征并根據(jù)語音數(shù)據(jù)自動(dòng)生成對(duì)應(yīng)文字內(nèi)容; 進(jìn)一步地, 由于電力行業(yè)專業(yè)性較強(qiáng), 通過基于自然語言理解技術(shù)將非結(jié)構(gòu)數(shù)據(jù)結(jié)構(gòu)化, 實(shí)現(xiàn)電力業(yè)務(wù)知識(shí)庫地自動(dòng)構(gòu)建. 而在本文的研究中, 針對(duì)對(duì)話信息進(jìn)行有效的分析和理解, 改進(jìn)了傳統(tǒng)的繁雜、費(fèi)時(shí)費(fèi)力且重復(fù)性較高的客服電話質(zhì)檢工作, 有利于電力系統(tǒng)高效而穩(wěn)定的運(yùn)行, 將工作人員從繁雜的記錄工作中解脫出來, 極大地提升數(shù)據(jù)的利用率及信息服務(wù)的自動(dòng)化、智能化. 客服的話務(wù)質(zhì)量關(guān)系著用戶的滿意度, 是服務(wù)中的一項(xiàng)重要指標(biāo). 在社交網(wǎng)絡(luò)平臺(tái)以及在客服服務(wù)等情境中, 都會(huì)出現(xiàn)大量的對(duì)話文本, 隨著開源會(huì)話數(shù)據(jù)集的增加, 會(huì)話中的數(shù)據(jù)挖掘也得到了越來越多研究者的關(guān)注[2,3], 目前在客服對(duì)話領(lǐng)域數(shù)據(jù)挖掘工作主要是從對(duì)話系統(tǒng)的設(shè)計(jì)[4,5]以及在商業(yè)領(lǐng)域的客戶購物預(yù)測[6]進(jìn)行的, 而在客服對(duì)話的情感分析領(lǐng)域的研究也有越來越多的工作, 如胡若云等[7]提出基于雙向傳播框架, 首先從外部語料中獲取情感詞和評(píng)價(jià)屬性并對(duì)其進(jìn)行擴(kuò)展, 然后使用基于詞向量的語料相似度計(jì)算方法識(shí)別長尾詞, 最后挖掘出客服對(duì)話文本的情感詞和評(píng)價(jià)屬性. 王建成[8]通過長短時(shí)記憶網(wǎng)絡(luò)和注意力機(jī)制挖掘?qū)υ挌v史中的相關(guān)信息, 融入句子的語義表示; 在解碼器中將已解碼句子的情感類別的概率分布融入當(dāng)前句子的情感分類過程中實(shí)現(xiàn)客服對(duì)話情感分析. Wang 等[9]提出基于主題感知的多任務(wù)學(xué)習(xí)方法, 該方法通過捕捉各種主題信息來學(xué)習(xí)客服對(duì)話中主題豐富的話語表達(dá). 對(duì)話情感識(shí)別是識(shí)別對(duì)話中說話人所說語句的情緒, 本質(zhì)上也可以歸納為文本分類問題.

傳統(tǒng)的情感分析(又稱觀點(diǎn)挖掘)是從文本中分析人們的觀點(diǎn)和情感, 是自然語言處理中一個(gè)活躍的研究領(lǐng)域[10]. 現(xiàn)有的基于文本的情感分類研究, 作為情感分析的一個(gè)重要組成部分, 可以分為基于句法分析、基于詞典分析與基于機(jī)器學(xué)習(xí)分析3 大類. 基于句法分析的情感分析主要采用句法知識(shí)對(duì)文本進(jìn)行分析,從而確定文本情感類別; 基于詞典的情感分析方法通常將文本看成詞的集合, 通過統(tǒng)計(jì)文本中的關(guān)鍵詞再使用相關(guān)算法對(duì)文本情感進(jìn)行評(píng)分, 從而判斷情感類別; 基于機(jī)器學(xué)習(xí)的情感分類方法主要基于Pang 等[11]的工作, 將文本情感分類看作文本分類問題, 利用從情感詞選取的大量嘈雜的標(biāo)簽文本作為訓(xùn)練集直接構(gòu)建分類器(樸素貝葉斯、支持向量機(jī)等). 近年來, 隨著深度學(xué)習(xí)技術(shù)的發(fā)展, 人們提出了各種神經(jīng)網(wǎng)絡(luò)模型, 并在文本情感分類方面取得了顯著的效果.

Kim[12]首次將神經(jīng)網(wǎng)絡(luò)用于情感分類, 該方法是卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)的直接應(yīng)用, 具有預(yù)先訓(xùn)練好的詞嵌入功能. Kalchbrenner等[13]提出了一個(gè)動(dòng)態(tài)CNN 方法, 用于句子語義建模,來處理長度不同的輸入句子, 并在句子上生成一個(gè)特征圖.這種模型能明確地捕捉短期和長期的關(guān)系; Xu 等[14]提出了一個(gè)緩存的長短期記憶網(wǎng)絡(luò)(long-short term memory, LSTM)模型來捕獲長文本中的整體語義信息;Zhou 等[15]設(shè)計(jì)了由兩個(gè)基于注意力的LSTM 模型用于跨語言情感分類; 宋曙光等[16]提出基于注意力機(jī)制的特定目標(biāo)情感分析方法; Wang 等[17]提出利用CNNLSTM 組合模型預(yù)測文本情感極性. Poria 等[18]使用雙向門控循環(huán)單元(bi-directional gated recurrent unit, Bi-GRU)提取對(duì)話句子表征, 指出對(duì)話中的信息主要依賴于話語中的序列上下文信息; 王偉等[19]將Bi-GRU模型與注意力機(jī)制相結(jié)合, 并成功提成了情感分類效果. 孟仕林等[20]提出利用情感詞的情感信息構(gòu)造出情感向量, 與語言模型生成的向量相結(jié)合來表示文本, 并使用雙向LSTM模型作為分類器進(jìn)行情感分析. 邱寧佳等[21]提出融合語法規(guī)則構(gòu)建雙通道中文情感模型,首先設(shè)計(jì)語法規(guī)則對(duì)文本進(jìn)行預(yù)處理, 然后使用CNN和BiLSTM 模型提取局部情感特征并挖掘到文本時(shí)間跨度更大時(shí)的語義依賴關(guān)系. Shen 等[22]和Wang 等[23]利用雙向注意網(wǎng)絡(luò)捕捉單輪問答對(duì)話中的語義匹配信息. 以上對(duì)話情感分析研究主要集中在話語間語境聯(lián)系的建模上, 而沒有考慮對(duì)話的整體特征, 也沒有考慮特定說話人的特征. Majumder 等[24]提出采用注意機(jī)制, 將每個(gè)目標(biāo)話語的全部或部分對(duì)話信息集中起來.然而, 這種聚合機(jī)制沒有考慮說話人的話語之間信息以及其他話語與目標(biāo)話語的相對(duì)位置關(guān)系.

從理論上分析, RNN、LSTM、GRU 等網(wǎng)絡(luò)模型,可以傳播長期的上下文信息, 然而在實(shí)際應(yīng)用中, 這些方法過度依賴于對(duì)話上下文和序列信息, 容易忽略對(duì)話中的上下文情感動(dòng)態(tài)建模, 并且由于缺乏標(biāo)準(zhǔn)數(shù)據(jù)集對(duì)文本的有效標(biāo)記, 難以實(shí)現(xiàn)對(duì)文本的意圖、個(gè)性以及主題等方面的建模.

近年來, 圖卷積神經(jīng)網(wǎng)絡(luò)(graph convolutional networks, GCN)受到越來越多的關(guān)注. 在最近對(duì)相關(guān)自然語言處理任務(wù)的研究中, Yao 等[25]提出在整個(gè)語料庫上構(gòu)建一個(gè)異構(gòu)圖來進(jìn)行文本級(jí)分類. Wu 等[26]反復(fù)消除GCN 層之間的非線性, 并將函數(shù)折疊成線性變換, 以降低GCN 的復(fù)雜性. Zhang 等[27]將句法依賴樹引入到GCN 中對(duì)句法結(jié)構(gòu)進(jìn)行編碼, 并將新的GCN 結(jié)構(gòu)用于句子和體層的情感分析. 陳佳偉等[28]提出基于自注意力門控圖卷積網(wǎng)絡(luò)的特定目標(biāo)情感分析模型, 并將預(yù)訓(xùn)練BERT 應(yīng)用到該任務(wù)中實(shí)現(xiàn)情感極性的分析.

由于圖神經(jīng)網(wǎng)絡(luò)在文本分類[25,29]、鏈接預(yù)測[30]、文檔摘要[31]和關(guān)系分類[32]等方面取得了成功, 受以上研究的啟發(fā), 本文將圖網(wǎng)絡(luò)應(yīng)用于客服對(duì)話的情感識(shí)別問題.

首先, 在對(duì)話過程中, 詞語是構(gòu)成語句的主要成分,詞語在決定句子的情感極性方面起著最重要的作用,詞語的出現(xiàn)、排列和定位以及文檔不同組成部分之間的關(guān)系對(duì)于理解文檔是必要的和有價(jià)值的. 另外, 在雙方對(duì)話的交互語句進(jìn)行建模時(shí), 說話人信息是建模說話人之間依賴的必要條件, 即模型能夠理解說話人是如何影響其他說話人的情感狀態(tài); 同樣地, 對(duì)說話人自身話語的建模有助于模型理解說話人個(gè)體的情感狀態(tài)變化. 此外, 在對(duì)話過程中, 上下文話語的相對(duì)位置決定了過去話語會(huì)對(duì)未來話語產(chǎn)生影響.

基于以上因素, 本文提出了一種新的基于異構(gòu)圖卷積網(wǎng)絡(luò)的對(duì)話情感識(shí)別模型(conversation sentiment analysis based on graph convolution network, CS-GCN).

在該模型中, 首先, 根據(jù)詞共現(xiàn)關(guān)系構(gòu)建詞語關(guān)系圖,對(duì)整個(gè)語句進(jìn)行非連續(xù)長距離的語義建模; 其次使用Bi-GRU 模型來捕捉連續(xù)順序語句之間的上下文信息,并根據(jù)對(duì)話雙方語句信息建立順序語句的自我上下文依賴關(guān)系和交互語句上下文依賴關(guān)系, 并通過鄰居語句特征聚合進(jìn)而得到每個(gè)語句的特征. 最后通過以上圖模型的建立, 將詞結(jié)構(gòu)嵌入表示、語句上下文之間的自我順序依賴和交互依賴關(guān)系得到的語句嵌入表示聚合得到文本信息的最終嵌入表示, 實(shí)現(xiàn)對(duì)話情感狀態(tài)檢測.

1 基于圖卷積網(wǎng)絡(luò)的對(duì)話情感識(shí)別

1.1 模型設(shè)計(jì)

在大數(shù)據(jù)時(shí)代, 文本是存儲(chǔ)數(shù)據(jù)和元數(shù)據(jù)最普遍的形式之一, 數(shù)據(jù)表示是數(shù)據(jù)挖掘中特征提取階段的關(guān)鍵步驟. 因此, 如何構(gòu)建一個(gè)合適的文本表示模型,能夠更好地描述文本數(shù)據(jù)的固有特征, 仍然是一個(gè)挑戰(zhàn). 本文從詞共現(xiàn)關(guān)系、語句的自依賴關(guān)系和互依賴關(guān)系兩方面構(gòu)建分別構(gòu)建詞圖模型和有向語句圖模型,并采用圖卷積網(wǎng)絡(luò)提取文本特征, 進(jìn)一步得到文本最終的嵌入表示用于識(shí)別對(duì)話情感狀態(tài). 該模型主要由4 部分組成: 字圖編碼結(jié)構(gòu)、順序上下文語句編碼結(jié)構(gòu)、交互上下文語句編碼結(jié)構(gòu)和情感分類器. 所提出框架的總體架構(gòu)如圖1 所示.

圖1 基于圖卷積網(wǎng)絡(luò)的客服對(duì)話情感分析框架

1.2 字圖編碼

1.2.1 詞共現(xiàn)圖構(gòu)建

詞語是構(gòu)成語句的主要成分, 詞語在決定句子的情感極性方面起著最重要的作用, 詞語的出現(xiàn)、排列和定位以及文檔不同組成部分之間的關(guān)系對(duì)于理解文檔是必要的和有價(jià)值的. 對(duì)話情感識(shí)別的第一個(gè)關(guān)鍵問題是對(duì)對(duì)話語句詞語進(jìn)行建模并提取特征, 盡管有各種基于圖形的文檔表示模型, 但詞共現(xiàn)圖是表示社交媒體內(nèi)容中一個(gè)詞和另一個(gè)詞之間關(guān)系的有效方法. 在文獻(xiàn)[33] 的啟發(fā)下, 本文構(gòu)建窗口大小為3 的詞圖. 圖2 給出了一個(gè)示例句子的圖, 當(dāng)兩個(gè)節(jié)點(diǎn)在一個(gè)最大長度為3 的窗口內(nèi)時(shí), 則認(rèn)為兩節(jié)點(diǎn)之間具有連邊.

圖2 窗口為3 的示例詞圖

1.2.2 字圖編碼結(jié)構(gòu)

1.3 語句編碼

1.3.1 構(gòu)建對(duì)話語句有向圖

對(duì)話情感識(shí)別另一個(gè)關(guān)鍵的是對(duì)語句上下文進(jìn)行建模, 語句上下文包括說話者自身語句的上下文以及雙方對(duì)話形成的上下文. 受Majumder 等[24]的啟發(fā), 針對(duì)每一句對(duì)話本文都通過兩種上下文關(guān)系進(jìn)行建模.但考慮到在對(duì)上下文語句進(jìn)行建模時(shí), 情感動(dòng)態(tài)會(huì)隨之改變, 即對(duì)話雙方未來語句的情感狀態(tài)不僅會(huì)受到自身過去語句的影響, 還會(huì)受到對(duì)方過去語句的影響,這種對(duì)話語句自身的依賴性和語句交互的依賴性分別稱為順序語句自身依賴和交互語句相互依賴關(guān)系. 在本文提出的方法中, 將這兩種截然不同但相關(guān)的上下文信息(順序語句編碼和交互語句編碼)結(jié)合起來, 實(shí)現(xiàn)增強(qiáng)的上下文表示, 從而更好地理解會(huì)話系統(tǒng)中的情緒狀態(tài). 如圖3 所示為語句自依賴和交互語句依賴關(guān)系.

圖3 語句自依賴和交互語句依賴關(guān)系圖

1.3.2 順序語句編碼

對(duì)話的本質(zhì)是一種序列信息, RNN 模型被廣泛用于序列信息建模, GRU 是一種與LSTM 相似的遞歸神經(jīng)網(wǎng)絡(luò), 它也被用來解決反向傳播中的長期記憶和梯度問題. GRU 的輸入輸出結(jié)構(gòu)類似于RNN, 其內(nèi)在思想類似于LSTM. 與LSTM 相比, GRU 具有更少的“選通”和更少的參數(shù), 但可以實(shí)現(xiàn)與LSTM 相同的性能.因此考慮到計(jì)算開銷, 本文選擇Bi-GRU 來捕捉上下文信息. 首先在編碼語句時(shí)不區(qū)分說話人, 對(duì)全部對(duì)話語句信息進(jìn)行特征表示. 以前向傳播GRU 為例, 每個(gè)GRU 單元包含更新門和重置門, 給定狀態(tài)向量ht∈RF,當(dāng)前隱藏狀態(tài)可計(jì)算如下:

1.4 情感分類與模型優(yōu)化

2 實(shí)驗(yàn)

在實(shí)驗(yàn)中, 首先將所提出的CS-GCN 方法與基線和性能較好的情感分析方法進(jìn)行了比較, 驗(yàn)證了不同上下文窗口對(duì)情感分析準(zhǔn)確率以及F1 值的影響, 并且驗(yàn)證了不同聚合函數(shù)的性能, 最后設(shè)置了消融實(shí)驗(yàn)來驗(yàn)證采用詞共現(xiàn)關(guān)系, 順序語句編碼器和交互語句上下文編碼器進(jìn)行對(duì)話情感分析的有效性. 實(shí)驗(yàn)環(huán)境為:Intel Xeon 2.30 GHz, RAM 256 GB 和Nvidia Quadro P620 GPU; 操作系統(tǒng)和軟件平臺(tái)是Ubuntu 16.04、TensorFlow 1.14 和Python 3.5.

2.1 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

IEMOCAP: 南加州大學(xué)的SAIL 實(shí)驗(yàn)室收集的雙人對(duì)話數(shù)據(jù). 該數(shù)據(jù)集包括151 段對(duì)話, 共7 433 句. 該數(shù)據(jù)集標(biāo)注了6 類情緒: 中立, 快樂, 悲傷, 憤怒, 沮喪,興奮, 其中, 非中立情緒占比77%. 為簡化實(shí)驗(yàn), 實(shí)驗(yàn)中對(duì)6 種情緒狀態(tài)只進(jìn)行積極、消極以及中立3 種情感分類.

AVEC2012: SEMAINE 數(shù)據(jù)庫收集的多模態(tài)對(duì)話數(shù)據(jù), 由4 個(gè)固定形象的機(jī)器人與人進(jìn)行對(duì)話, 曾用于AVEC2012 挑戰(zhàn)賽使用的數(shù)據(jù). 該數(shù)據(jù)有95 段對(duì)話,共5 798 句. 標(biāo)注了4 個(gè)情感維度: Valence, Arousal,Expectancy, Power. Valence 表示情感積極的程度,Arousal 表示興奮的程度, Expectancy 表示與預(yù)期相符的程度, Power 表示情感影響力. 其中, Valence、Arousa和Expectancy 為[-1, 1]范圍內(nèi)的連續(xù)值, Power 為大于等于0 的連續(xù)值.

為了評(píng)價(jià)不同模型的情感分析準(zhǔn)確率, 采用準(zhǔn)確率和F1 值作為評(píng)價(jià)指標(biāo)

2.2 情感分析對(duì)比

為了全面評(píng)估CS-GCN, 將本文提出的模型與以下方法進(jìn)行比較, 選擇串聯(lián)操作作為聚合函數(shù), 并且在參數(shù)設(shè)置過程中, 盡量保持4 種文本模型在參數(shù)設(shè)置上的一致性, 由于模型結(jié)構(gòu)的不同而無法達(dá)到一致性時(shí), 采用最優(yōu)的參數(shù)設(shè)置. IEMOCAP 和AVEC2012 中沒有提供預(yù)定義的訓(xùn)練集和驗(yàn)證集分割, 因此使用10%的訓(xùn)練對(duì)話作為驗(yàn)證集.

CNN[12]: 基于卷積神經(jīng)網(wǎng)絡(luò)的基線模型, 該模型是上下文無關(guān)的, 不使用上下文語境中的信息. 該模型中,詞向量維度為100, 學(xué)習(xí)率為0.001, 濾波窗口選擇3、4 和5; Dropout 為0.5, 批大小為64.

Memnet[34]: 每一個(gè)話語都被反饋到網(wǎng)絡(luò)中, 與先前話語相對(duì)應(yīng)的記憶以多跳方式不斷更新, 最后利用記憶網(wǎng)絡(luò)的輸出進(jìn)行情感分類. 該模型中, 學(xué)習(xí)率是0.01, 每25 個(gè)epoch 學(xué)習(xí)率自動(dòng)減半, 直到100 個(gè)epoch.在梯度下降中, 沒有采用動(dòng)量和權(quán)重衰減. 矩陣采用Gaussian distribution 隨機(jī)初始化, 均值為0, 方差為0.1.批大小為是32. 采用L2 正則化.

c-LSTM[35]: 通過使用雙向LSTM 網(wǎng)絡(luò)捕獲上下文內(nèi)容進(jìn)行建模, 然后進(jìn)行情感分類, 但是上下文LSTM模型與說話人之間的交互無關(guān), 即不對(duì)語句間交互依賴關(guān)系建模. 該模型詞向量維度為100, Bi-LSTM 隱藏層有64 個(gè)神經(jīng)元, 學(xué)習(xí)率為0.001, Dropout 為0.5, 同時(shí)設(shè)置雙向LSTM 的層數(shù)為128 層.

CMN[36]: CMN 使用兩個(gè)不同的GRU 模型為兩個(gè)說話人從對(duì)話歷史中建模話語語境. 最后, 將當(dāng)前話語作為查詢反饋給兩個(gè)不同的記憶網(wǎng)絡(luò), 得到兩個(gè)說話人的話語表示. 對(duì)于CMN 模型, 卷積層的濾波器大小為3、4 和5, 每個(gè)濾波器具有50 個(gè)特征映射, 在這些特征圖上使用最大池, 池窗口大小為2, 最后使用100 個(gè)神經(jīng)元的完全連接層.

DialogueRNN[24]: 基于說話者、過去話語的上下文和過去話語的情緒, 應(yīng)用了3 個(gè)GRU 來對(duì)這3 方面進(jìn)行建模, 該模型是目前在對(duì)話情感分析領(lǐng)域取得最好性能的模型, 因此在本文中選用原文的參數(shù)進(jìn)行實(shí)驗(yàn).

在實(shí)驗(yàn)中將所有的實(shí)驗(yàn)都獨(dú)立運(yùn)行5 次, 并取平均值作為最終實(shí)驗(yàn)結(jié)果, 如表1 和表2 所示.

表1 IEMOCAP 數(shù)據(jù)集在不同模型上的情感分類準(zhǔn)確率對(duì)比(%)

表2 AVEC2012 數(shù)據(jù)集在不同模型上的情感分類準(zhǔn)確率對(duì)比(%)

在IEMOCAP 數(shù)據(jù)集上, CS-GCN 的準(zhǔn)確率和F1 值分別為68.34%和71.26%, 相比于DialogueRNN模型的準(zhǔn)確率和F1 值分別提高了5%和6%左右. 在AVEC2012 數(shù)據(jù)集上, CS-GCN 在所有4 個(gè)情感維度上的準(zhǔn)確率和F1 值也同樣都優(yōu)于其他模型. 與CNN,Memnet, c-LSTM 和CMN 4 個(gè)基線模型相比, CSGCN 和DialogueRNN 都對(duì)交互語句級(jí)別的上下文進(jìn)行建模, 而其他基線模型都沒有對(duì)交互語句之間的依賴關(guān)系進(jìn)行編碼, 因此其情感分類的準(zhǔn)確率優(yōu)于基線模型. 其次, CS-GCN 和DialogueRNN 都對(duì)交互語句級(jí)別的上下文進(jìn)行建模, 但CS-GCN 同時(shí)采用了詞共現(xiàn)關(guān)系對(duì)語句進(jìn)行編碼, 其次CS-GCN 通過卷積神經(jīng)網(wǎng)絡(luò)對(duì)語句的鄰域信息進(jìn)行聚合進(jìn)而得到該語句的特征表示, 因此相比于DialogueRNN 模型, CS-GCN 模型獲得了更好的情感分類性能.

2.3 上下文窗口設(shè)置

在實(shí)驗(yàn)中分別驗(yàn)證了不同的上下文窗口對(duì)情感分類準(zhǔn)確率的影響, 分別設(shè)置P=10,Q=10;P=8,Q=8;P=4,Q=4;P=0,Q=0四組實(shí)驗(yàn)進(jìn)行對(duì)比, 在兩個(gè)數(shù)據(jù)集上得到的準(zhǔn)確率和F1 值如圖4 所示.

由圖4 可知, 在兩類數(shù)據(jù)集上, 隨著上下文窗口的減小, CS-GCN 模型的情感分類性能也逐步下降, 當(dāng)上下文窗口大小為P=0,Q=0, CS-GCN 模型只對(duì)詞共現(xiàn)結(jié)構(gòu)和順序上下文進(jìn)行編碼, 不再對(duì)交互語句之間的依賴關(guān)系進(jìn)行編碼, 因此情感分類性能較差.

圖4 不同上下文窗口大小情感分類性能對(duì)比

2.4 聚合函數(shù)測試

為了驗(yàn)證不同聚合函數(shù)對(duì)情感分類準(zhǔn)確率的影響,我們測試了3 種聚合函數(shù)在兩個(gè)數(shù)據(jù)集上的性能, 實(shí)驗(yàn)準(zhǔn)確率如表3 所示.

表3 不同聚合函數(shù)測試準(zhǔn)確度(%)

顯然, 串聯(lián)融合達(dá)到了最佳準(zhǔn)確度, 而其他兩個(gè)聚合函數(shù)的性能相對(duì)較差. 這是因?yàn)榇?lián)操作在嵌入聚合期間保留比求和和最大池更多的信息, 有助于學(xué)習(xí)更好的節(jié)點(diǎn)信息表示.

2.5 消融實(shí)驗(yàn)

為了驗(yàn)證采用詞共現(xiàn)關(guān)系, 順序語句編碼器和交互語句上下文編碼器進(jìn)行對(duì)話情感分析的有效性, 在兩個(gè)數(shù)據(jù)集上對(duì)幾種模型的情感預(yù)測性能進(jìn)行了實(shí)驗(yàn)比較. 首先, 將只有順序語句編碼器模型視為對(duì)話語句情感分析的基線模型, 記為CS-GCNN. 此外, 為了驗(yàn)證詞共現(xiàn)關(guān)系和交互語句上下文編碼對(duì)情感分析的有效性, 在基線模型的基礎(chǔ)上加入了詞共現(xiàn)編碼結(jié)構(gòu)記為CS-GCNW. 為了驗(yàn)證交互語句上下文編碼的適用性,在基線模型的基礎(chǔ)上增加了交互語句上下文編碼結(jié)構(gòu),記CS-GCNS. 最后, 將詞共現(xiàn)關(guān)系編碼結(jié)構(gòu)和交互語句上下文編碼結(jié)構(gòu)嵌入到基線模型之上, 進(jìn)一步驗(yàn)證組合的優(yōu)越性. 模型類型如表4 所示, 實(shí)驗(yàn)結(jié)果如圖5所示.

表4 不同模型類型

圖5 不同模型類型情感分類性能對(duì)比

從圖5 可以看出, 隨著詞共現(xiàn)關(guān)系編碼器, 交互語句上下文編碼器結(jié)構(gòu)的加入, 情感分類的準(zhǔn)確率和F1 得到了逐步提高. 在數(shù)據(jù)集IEMOCAP 上, 與CSGCNN模型相比, CS-GCNW模型的準(zhǔn)確率和F1 值分別提高了10.38%和10.05%左右. 與CS-GCNN模型相比, CS-GCNS模型的準(zhǔn)確率和F1 值分別提高了13.66%和10.75%. 通過詞共現(xiàn)關(guān)系編碼器, 交互語句上下文編碼器結(jié)構(gòu)的加入, 證明了CS-GCNW和CSGCNS模型能夠提高情感分類的性能, 具有普遍適用性. 其次, 在CS-GCN 模型中, 實(shí)現(xiàn)了3 類編碼結(jié)構(gòu)的嵌入和融合用于情感分類, 與CS-GCNN模型相比, CSGCN 模型的準(zhǔn)確率和F1 值分別提高了40.98% 和38.06%. 最后, 將CS-GCN 模型與CS-GCNW和CSGCNS模型相比較, 準(zhǔn)確率和F1 值同樣得到了顯著的提高. 綜上所述, 這些對(duì)比實(shí)驗(yàn)充分驗(yàn)證了本文提出的CS-GCN 模型通過引入詞共現(xiàn)關(guān)系編碼器, 交互語句上下文編碼器結(jié)構(gòu), 顯著提升了對(duì)話情感分析的性能.

3 結(jié)論

受異質(zhì)圖卷積網(wǎng)絡(luò)的啟發(fā), 本文提出了一種基于圖卷積網(wǎng)絡(luò)的客服對(duì)話情感分析方法. 提出的CSGCN 模型與傳統(tǒng)的基于RNN 模型的對(duì)話數(shù)據(jù)情感檢測方法不同, CS-GCN 模型將詞共現(xiàn)關(guān)系, 語句的順序上下文特征以及不同說話人語句之間的交互依賴關(guān)系進(jìn)行融合編碼, 通過圖卷積網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)文本特征提取與聚合得到最終的文本表示, 進(jìn)一步實(shí)現(xiàn)對(duì)對(duì)話情感的狀態(tài)識(shí)別. 在實(shí)驗(yàn)中, 將CS-GCN 模型與基礎(chǔ)CNN,Memnet, c-LSTM, CMN 和DialogueRNN 模型在兩個(gè)數(shù)據(jù)集進(jìn)行情感分類準(zhǔn)確率的對(duì)比, 驗(yàn)證了CS-GCN模型可有效提高情感識(shí)別準(zhǔn)確度. 其次, 設(shè)計(jì)了相關(guān)的消融實(shí)驗(yàn)驗(yàn)證了融合詞共現(xiàn)編碼, 順序語句上下文編碼以及交互語句上下文編碼3 種結(jié)構(gòu)對(duì)于對(duì)話情感識(shí)別準(zhǔn)確率提高的有效性. 在未來的工作中可將多模態(tài)信息整合到CS-GCN 網(wǎng)絡(luò)中, 進(jìn)一步提高對(duì)說話人之間的情感轉(zhuǎn)換檢測, 為客服的質(zhì)檢工作提供及時(shí)、客觀、有效的分析.