摘 要：針對現(xiàn)有的深度學習模型難以提取在線評論的豐富語義信息，從而難以準確提取文本情感的問題，提出了一種基于句法依存關系和注意力機制的多特征多重融合情感分類模型MF-SDAM（multi-feature multiple fusion sentiment classification model based on syntactic dependency and attention mechanism）。該模型首先利用句法依存關系提取在線評論的屬性-觀點對信息，然后利用動態(tài)詞嵌入模型BERT獲取文本的動態(tài)特征向量表示；接著，基于雙通道的特征提取策略，分別利用卷積神經網絡（TextCNN）和融入注意力機制的雙向長短期記憶網絡（Att-BiLSTM）提取文本的局部和全局語義特征，為進一步提取特征的全局語義信息，將文本特征與Att-BiLSTM的輸出特征進行拼接，并結合注意力機制對情感特征進行加權；最后，基于多融合方式互補的特征融合策略對局部語義特征和全局語義特征進行特征融合，減少關鍵信息丟失的問題。選取外賣、酒店領域的三個真實公開的在線評論數(shù)據(jù)集進行效果驗證，實驗結果表明，MF-SDAM針對在線評論情感分類任務的性能表現(xiàn)優(yōu)異，其準確率和F₁值在大多數(shù)情況下都優(yōu)于10個基準模型，且對于不平衡數(shù)據(jù)集具有較好的魯棒性。

關鍵詞：情感分類；在線評論；多特征多重融合；句法依存；注意力機制

中圖分類號：TP311 文獻標志碼：A 文章編號：1001-3695（2024）11-013-3295-08

doi：10.19734/j.issn.1001-3695.2024.04.0104

Multi-feature multiple fusion sentiment classification model based on syntactic dependency and attention mechanism

Xia Jiali^a， Yu Zikai^a?， Deng Qingshan^a， Liu Dexi^b， Peng Wenzhong^b， Luo Wenjun^a

（a.School of Software amp; Internet of Things Engineering， b.School of Information Management， Jiangxi University of Finance amp; Economics， Nanchang 330013， China）

Abstract：In response to the difficulty of existing deep learning models in extracting rich semantic information from online review， which hinders accurate sentiment extraction， this paper proposed a multi-feature multiple fusion sentiment classification model based on syntactic dependencies and attention mechanisms called MF-SDAM. Firstly， this model utilized syntactic dependency relationships to extract the aspect-opinion pairs of information from the text. Then， it employed the dynamic word embedding model BERT to obtain dynamic feature vector representations of online review. Next， based on a dual-channel feature extraction strategy， the model utilized a convolutional neural network （TextCNN） and a bidirectional long short-term memory network with attention mechanism （Att-BiLSTM） to extract local and global semantic features of the text. To further extract global semantic information， it concatenated the text features and the output features of Att-BiLSTM， and used the attention mechanism to weight the sentiment features. Finally， it employed a complementary feature fusion strategy with multiple fusion methods to fuse the local and global semantic features， reducing the problem of key information loss. It selected three real publicly available online review datasets from the food delivery and hotel domains for performance verification. Experimental results indicate that the performance of MF-SDAM in sentiment classification tasks for online review is outstanding， with its accuracy and F₁-score are superior to the 10 baseline models in most cases. Moreover， it exhibits good robustness for imbalanced datasets.

Key words：

sentiment classification; online review; multi-feature multiple fusion; syntactic dependency; attention mechanism

0 引言

在線評論不僅是用戶購買決策的重要參考依據(jù)，也是商家了解用戶需求以改進服務質量的重要數(shù)據(jù)來源。因此，如何更加準確地對在線評論進行情感分析以挖掘有用信息，對于商業(yè)決策尤為重要。

在線評論作為用戶在互聯(lián)網上針對特定內容發(fā)表的觀點或態(tài)度，直接抒發(fā)了用戶個人情感，其情感成分較為復雜，行文隨意且不規(guī)范，導致難以對其情感信息進行準確提取，加大了情感分類的難度。針對在線評論情感分類任務，在對在線評論文本進行特征提取時，不可避免地會造成大量關鍵文本信息的損失。因此如何更準確地提取在線評論文本的語義信息，減少特征提取過程中的關鍵信息損失，對于在線評論情感分類任務的性能提升起著至關重要的作用。

近年來，深度學習在情感分類任務中取得了顯著的進展，相較于傳統(tǒng)的機器學習方法，深度學習模型可以更好地捕獲文本的語義信息，提高情感分類的準確率。然而，已有的基于深度學習的情感分類模型仍然存在一些限制：

首先，在文本特征提取過程中難以提取文本的豐富語義信息，會造成一部分信息的損失，進而導致提取的文本語義信息不足。Zhang等人^［1］利用BiLSTM提取文本語義信息，并通過注意力機制對特征進行賦權，所提取特征的語義信息不足，導致情感分類任務的準確率不高。Rani等人^［2］采用單通道的方式，首先利用TextCNN提取文本的語義特征，再用LSTM進一步提取語義特征，在一定程度上提取了更加豐富的語義信息，但隨著單通道模型深度的增加，文本語義信息會不同程度地丟失，仍會造成大量關鍵語義信息的損失。

另外，在特征融合過程中也存在大量關鍵信息丟失的問題。Kiran等人^［3］將TextCNN和BiLSTM整合到單一架構中，將提取到的TextCNN特征和BiLSTM特征進行處理后，采用拼接的方式進行特征融合，然而簡單拼接難以實現(xiàn)文本各特征的有效利用與融合^［4］，模型無法識別出特征中的重要信息。Jia等人^［5］為提取更豐富的文本語義信息，分別利用TextCNN、BiLSTM和BiGRU提取文本的局部和全局語義特征，并采用注意力機制進行特征融合，但僅采用注意力機制進行融合易造成關鍵信息的丟失，影響情感分類的最終性能。

針對以上問題，本文提出了一種基于句法依存和注意力機制的多特征多重融合情感分類模型。通過句法依存關系提取文本的屬性-觀點對信息，利用注意力機制和多次特征融合等方式提取文本更加豐富的語義信息，減少特征提取與融合過程中的關鍵信息損失。本文的主要貢獻如下：

a）利用句法依存關系提取文本的屬性-觀點對信息作為情感分類任務中文本的關鍵信息。原文本作為背景信息，使模型能更好地識別出文本的關鍵信息，通過關鍵信息的提取使模型更好地理解文本中的情感傾向，有助于更好地識別和理解文本中的情感信息，提高情感分類的準確率。

b）采取雙通道的特征提取策略對文本進行特征提取，針對單一語義特征提取通道提取語義信息不足的問題，充分利用局部語義特征提取通道和全局語義特征提取通道的優(yōu)勢，從多方面提取文本語義信息。在全局語義特征提取過程中，進行特征的二次拼接操作，將Att-BiLSTM提取的文本特征與文本的動態(tài)特征向量進行二次拼接，減少特征提取過程中的關鍵信息損失，豐富語義特征。

c）采取多融合方式互補的特征融合策略進行特征融合，綜合特征拼接和注意力融合的優(yōu)點，減少特征融合過程中關鍵信息丟失的問題。

1 相關研究現(xiàn)狀

目前國內外針對在線評論文本的情感分類主要分為基于詞典的情感分類、基于機器學習的情感分類和基于深度學習的情感分類。

基于詞典的情感分類方法利用構建好的情感詞典計算文本中情感詞的情感值，再通過加權計算出文本的情感極性^［6］。Zubair等人^［7］通過整合詞典中的表情符號、修飾語和特定領域術語來分析在線評論的情感極性，提高了情感分類的性能。Ahmed等人^［8］構建了特定領域的情感詞典，針對特定領域進行情感分類，以獲得更好的性能。此類方法的不足之處在于過度依賴于情感詞典的構建，且無法考慮上下文信息和語境。

基于機器學習的情感分類方法通常先提取文本的情感特征，再訓練機器學習分類模型，最終由分類模型輸出情感分類結果^［6］。Zhao等人^［9］基于樸素貝葉斯（naive Bayes， NB）、支持向量機（support vector machine， SVM）等機器學習算法，利用術語加權和特征選擇的方法對在線評論進行情感分類，性能相較于普通機器學習方法有較大的提升。Budhi等人^［10］結合不同的文本預處理和特征提取方法對在線評論進行情感分類，最終提高了機器學習分類器的性能。此類方法依舊不能充分利用文本的上下文語境信息，且較依賴于人工設計的特征，模型泛化能力較差。

基于深度學習的情感分類方法通過從文本中學習語義詞向量，基于語義合成得到文本更高層次的特征表達^［11］。當前深度學習情感分類模型主要基于卷積神經網絡（convolutional neural network， CNN）和循環(huán)神經網絡（recurrent neural network， RNN）實現(xiàn)^［12］。季陳等人^［13］提出BiLSTM-CapsNet混合模型，使用CaosNet提取文本位置語義信息后，再接入BiLSTM提取文本的上下文語義信息。Liu等人^［14］提出BiGRU-Att-CNN模型，結合BiGRU和注意力機制提取全局信息后，再利用CNN提取多尺度特征信息。然而，上述研究僅針對文本特征進行單通道的語義特征提取，隨著模型深度的增加，文本語義信息會不同程度地丟失，造成大量語義信息的損失。為彌補單通道信息提取不足的問題，韓普等人^［15］基于TextCNN和BiLSTM構建多通道層，以提取更加豐富的文本語義特征，其情感分類性能相較單通道特征提取模型提升9.71%，但其采用拼接的方式對多通道的輸出特征進行融合，未充分利用提取的多通道特征。

上述方法一般基于word2vec^［16］或GloVe^［17］獲取靜態(tài)詞嵌入，限制了模型的性能。2018年，Google提出BERT模型^［18］，該模型具有強大的文本表示能力，目前已成為自然語言處理領域的首選。為了得到具有上下文語義的動態(tài)詞嵌入表示，Wang等人^［19］利用BERT的自注意力機制捕獲單詞之間的語義關系，并通過TextCNN提取文本特征；諶志群等人^［20］利用BERT-BiLSTM模型對微博評論進行情感分類；Jain等人^［21］利用BERT作為詞嵌入模型，基于改進的DCNN網絡和全局平均池化層提取文本特征，結合情感知識庫對社交媒體文本進行情感分類，上述研究所提取的文本語義特征仍不足。與此同時，注意力機制在情感分類模型中得到了廣泛的應用。李衛(wèi)疆等人^［22］提出一種基于多通道特征和自注意力機制的雙向LSTM情感分類方法，利用自注意力機制重點關注各特征通道的情感信息。謝玉惠等人^［23］通過CNNs-BiLSTM-Att模型，使用多通道CNNs-BiLSTM抽取多尺度文本特征，并利用注意力機制調整各通道特征權重。Zhu等人^［24］利用ALBERT作為詞嵌入模型，基于TextCNN和BiGRU進行雙通道的特征提取，并利用注意力機制來增強BiGRU的特征提取能力。胥桂仙等人^［25］利用BERT和超圖對偶注意力網絡提取文本多通道特征。上述研究均采取拼接的方式對多通道特征進行融合，難以對模型提取的各通道文本特征進行有效利用與融合。本文針對在線評論情感分類研究中存在的上述問題，所做的主要改進如下：

a）針對詞嵌入過程，將文本經動態(tài)詞嵌入處理后得到文本的動態(tài)特征向量表示，相較傳統(tǒng)靜態(tài)詞嵌入方法，可以克服文本的一詞多義問題。然而上述研究中，多數(shù)直接將文本輸入動態(tài)詞嵌入模型中，模型并不能區(qū)分出文本的重要信息，限制了情感分類任務性能的進一步提升。本文通過構建屬性-觀點對模板，利用句法依存關系提取文本的屬性-觀點對信息作為文本關鍵信息，便于情感分類性能的進一步提升。

b）對于特征提取，多通道的特征提取方式可以提取更加豐富的文本語義信息，已經被證明對于情感分類任務是有效的。本文采用雙通道的特征提取策略提取文本的局部和全局語義信息，并在全局語義特征提取過程中，進行特征的二次拼接操作，提取更加豐富的語義特征。

c）對于特征融合，上述研究通常是將多個特征直接進行拼接或注意力融合，難以實現(xiàn)文本各特征的有效利用與融合，會不可避免地造成部分信息的損失。本文利用多融合方式互補的特征融合策略，分別對局部語義特征和全局語義特征進行拼接和注意力融合，減少特征融合過程中關鍵信息丟失的問題。

2 MF-SDAM模型的構建與分析

2.1 MF-SDAM模型結構設計

句法依存關系是句子中各詞的相互依賴關系，通過識別句子中的句法依存關系提取文本的屬性-觀點對信息，可以作為在線評論情感分類任務中文本的關鍵信息。BERT作為預訓練的動態(tài)詞嵌入模型，可以提取文本更豐富的語義信息。Text-CNN的卷積層可以有效捕獲文本的局部特征，而BiLSTM的循環(huán)結構可以捕獲文本中的長距離依賴關系，從而更好地理解整個文本的上下文信息和語義依賴，因此選用TextCNN和BiLSTM對文本信息分別進行局部和全局特征提取，以獲取更豐富的語義信息。在全局語義特征提取過程中，由于全局語義特征更為復雜，為了獲取更全面的全局語義特征，考慮從不同維度提取全局特征，進行特征的二次拼接操作，將Att-BiLSTM提取的文本特征與文本的動態(tài)特征向量進行二次拼接，減少特征提取過程中的文本關鍵信息損失。注意力機制可以突出文本的重要特征，應用于特征融合中可以提高特征融合的效果，將注意力融合和特征拼接兩種特征融合方式互補，建立多融合方式互補的特征融合策略，減少特征融合時關鍵信息丟失的問題。

基于上述分析，本文提出一種基于句法依存關系和注意力機制的多特征多重融合情感分類模型MF-SDAM（multi-feature multiple fusion sentiment classification model based on syntactic dependency and attention mechanism， MF-SDAM），模型結構如圖1所示。該模型主要由關鍵信息提取層、詞嵌入層、特征提取層、特征融合層和輸出層構成。

a）關鍵信息提取層基于句法依存分析，提取文本的屬性-觀點對信息，旨在通過關鍵信息的提取，使模型更好地理解文本中的情感傾向，有助于更好地識別和理解文本中的情感信息，提高情感分類的準確率。

b）詞嵌入層以原文本作為背景信息，屬性-觀點對作為關鍵信息，利用動態(tài)詞嵌入模型BERT獲取文本的動態(tài)特征向量表示，克服傳統(tǒng)靜態(tài)詞嵌入模型無法解決一詞多義的問題，能夠更好地獲取文本豐富的語法、語義特征。

c）特征提取層采取雙通道的特征提取策略，分別提取局部語義特征和全局語義特征，以便提取更加豐富的語義信息。具體地，利用TextCNN提取文本的局部語義特征，利用Att-BiLSTM提取文本的全局語義信息，為進一步提取特征的全局語義信息，將文本的動態(tài)特征向量表示與Att-BiLSTM輸出的全局語義特征進行拼接，經注意力機制加權和平均池化降維后，得到最終的全局語義特征，豐富了語義特征，強化了特征的重要信息，從而提高了特征的表達能力。

d）特征融合層采取多融合方式互補的特征融合策略，分別對局部語義特征和全局語義特征進行拼接和注意力融合。其中拼接操作綜合了全局和局部語義信息，而注意力融合操作針對重要的特征賦予更大的權重，將注意力集中于對任務更有幫助的特征上，將拼接和注意力融合特征進一步使用注意力機制進行特征融合，利用平均池化減少模型過擬合，得到全面語義特征。融合后的全面語義特征綜合了局部和全局信息，強化了重要信息，特征表達更為豐富，減少特征融合關鍵信息丟失的問題。

e）輸出層將全面語義特征輸入dropout層中，隨機地丟棄模型的一些神經元，減少神經網絡的復雜度，最終由全連接層將輸出映射到相應的類別中，得到情感分類結果。

MF-SDAM模型通過句法依存提取屬性-觀點對信息、雙通道的特征提取策略、全局特征提取的二次拼接操作、多融合方式互補的特征融合策略提取更加豐富的文本語義特征，減少特征提取過程中的信息損失，有利于減少關鍵信息的丟失。

2.2 基于MF-SDAM模型的處理策略

針對MF-SDAM模型，設計的基于MF-SDAM模型的處理策略如圖2所示。基于關鍵信息提取策略，提取文本的屬性-觀點對信息作為文本的關鍵信息；基于動態(tài)特征向量獲取策略，將關鍵信息與原文本進行拼接后，獲取文本的動態(tài)特征向量表示；基于局部語義特征提取策略和全局語義特征提取策略，提取動態(tài)特征向量的局部和全局語義特征；最后，基于多融合方式互補的特征融合策略對局部和全局語義特征進行特征融合，減少特征融合過程中關鍵信息丟失的問題。

2.2.1 關鍵信息提取策略

屬性在文本中通常以名詞的形式出現(xiàn)，用來描述實體或事物的具體特征。觀點是指對某個實體或事物的態(tài)度、看法或評價，在文本中通常以形容詞或動詞的形式出現(xiàn)，用來表達對屬性的態(tài)度或評價。如文本“服務挺好，味道不錯”中的屬性為“服務”“味道”，觀點為“好”“不錯”，可提取出的屬性-觀點對為“〈服務，好〉”“〈味道，不錯〉”。屬性-觀點對信息作為文本內容中的關鍵，對于在線評論情感分類任務中情感極性的判定起著重要作用。準確提取出文本中的屬性-觀點對，可以使情感分類模型明確文本中的關鍵信息，有助于提升在線評論情感分類任務的性能。

給定一個句子X={w₁，w₂，…，w_n}，該序列包含屬性-觀點對集合P={（a₁，o₁），…，（a_i，o_i），…，（a_l，o_l）}，其中（a_i，o_i）二元組的屬性詞a_i和觀點詞o_i均為句子X的文本跨度，例如a_i={w_b，w_b+1，…，w_e}，其中b表示跨度開始的索引下標，e表示跨度結束的索引下標，w_i∈X，觀點詞o_i同理。在句子“服務挺好，味道不錯”中，屬性詞a₁={w₁，w₂}={服務}，a₂={w₆，w₇}={味道}，觀點詞o₁={w₄}={好}，o₂={w₈，w₉}={不錯}，包含的屬性-觀點對集合為｛（服務，好），（味道，不錯）｝。

策略1 抽取屬性-觀點對的策略

本策略包含以下步驟和內容：

a）詞性及句法依存關系提取。

在抽取屬性-觀點對時，基于各詞的詞性及句法依存關系，通過構建的屬性-觀點對模板，最終抽取出文本中的屬性-觀點對信息。

句法依存分析的作用是識別出句子中各詞的相互依賴關系，通過各詞的依存關系來進一步識別句子的句法結構，如“服務挺好，味道不錯”的句法依存關系如圖3所示。運用哈工大語言技術平臺（LTP）^［26］可分析文本中各詞的詞性以及句法依存關系。

b）屬性-觀點對模板構建。

借鑒文獻［27］，構建如表1所示的屬性-觀點對抽取模板，其中依存關系代表各詞之間可能存在主謂關系（SBV）、動賓關系（VOB）、定中關系（ATT）、狀中關系（ADV）、動補關系（CMP）、并列關系（COO）、介賓關系（POB）和前置賓語（FOB）。

c）文本屬性-觀點對信息抽取

根據(jù)抽取模板建立文本屬性-觀點對抽取規(guī)則，將詞性與句法依存關系與抽取規(guī)則進行匹配，若符合抽取模板1～11的規(guī)則，則進行相應的屬性-觀點對抽取，最終完成抽取任務。

2.2.2 動態(tài)特征向量獲取策略

一詞多義是指一個詞語在不同語境下具有不同意義或解釋，可能會導致歧義或誤解。為了保存詞匯在當前語境中的語義，以獲得更加豐富的文本語義特征，本文考慮文本的上下文信息，利用動態(tài)詞嵌入模型BERT（bidirectional encoder representations from Transformers）獲取文本的動態(tài)特征向量表示。

策略2 動態(tài)特征向量獲取策略

本策略包含以下步驟和內容：

a）文本詞嵌入向量獲取。

圖4展示了“服務挺好，味道不錯”這句話的詞嵌入，設詞元嵌入向量為TE，片段嵌入向量為SE，位置嵌入向量為PE，BERT的輸入為向量E_i（i=1，2，…，n），其中：

E_i=TE_i+SE_i+PE_i

i=1，2，…，n（1）

將提取的屬性-觀點對集合P作為關鍵信息，原文本X作為背景信息，構建詞嵌入的輸入文本Input，處理過程如式（2）所示。

Input=〈P〉［SEP］〈X〉（2）

其中：［SEP］代表分隔屬性觀點對集合和原文本的特殊標記。對Input進行詞嵌入，得到文本的向量化表示E_i。

b）文本動態(tài)特征向量獲取。

將E_i作為BERT模型的輸入，通過BERT模型進行處理：

T_i=BERT（E_i）（3）

輸出矩陣T=［T₁，T₂，…，T_n］即為文本經BERT處理后的動態(tài)特征向量表示。

2.2.3 基于雙通道的特征提取策略

基于特征提取策略進行雙通道的特征提取，分別提取文本的局部語義特征和全局語義特征，從多方面提取文本語義信息。其中，局部語義特征是指文本中較小范圍即局部片段（如單個詞、短語）的語義信息，這些特征能夠捕獲文本詞匯層面的信息，如詞性、局部上下文和語法結構等；全局語義特征則涉及整個句子的語義信息，更突出文本的上下文信息，這些信息有利于幫助模型理解文本的整體含義。

策略3 局部語義特征提取策略

本策略包含以下步驟和內容：

a）基于卷積的局部特征提取。

卷積操作在文本的不同位置上滑動一個固定大小的窗口，提取局部特征。通過多個不同大小的卷積核，可以提取不同的局部特征。卷積操作可以捕捉到文本中的局部模式和特征。TextCNN所具有的局部感受野和權值共享的優(yōu)點，可使模型的訓練參數(shù)減少，適用于提取局部語義特征。卷積計算的公式為

c_i=f（ω·T_i：i+h-1）（4）

其中：c_i為卷積結果；ω為卷積核；T_i：i+h-1為第i個單詞到第i+h-1個單詞所組成的特征向量矩陣； f（·）為非線性激活函數(shù)。

b）基于池化的特征降維。

通過池化層減少特征維度并保留最重要的信息。池化層采取最大池化的方法，對特征尺寸進行縮減，提取出最顯著的特征，并將這些特征進行拼接處理，最終得到局部語義特征l。

策略4 全局語義特征提取策略

本策略包含以下步驟和內容：

a）基于Att-BiLSTM的全局特征提取。

將詞嵌入層提取的動態(tài)特征向量T輸入BiLSTM中，計算過程為式（5）～（7）所示。

h_t=f（ω₁T_t+ω₂h_t-1）（5）

h_t=f（ω₃T_t+ω₅h_t+1）（6）

y_t=g（ω₄h_t+ω₆h_t）（7）

其中：h_t為t時刻前向LSTM層的狀態(tài)；h_t為t時刻后向LSTM層的狀態(tài)；T_i為輸入的文本特征向量；ω₁～ω₆為權重參數(shù)； f（·）和g（·）為激活函數(shù)；y_t為BiLSTM的最終輸出。

為了區(qū)分不同特征詞的重要程度，將BiLSTM的輸出特征經注意力機制進行特征賦權，其計算過程如式（8）～（10）所示。

u_t=tanh（y_t）（8）

α_t=softmax（w^T·u_t）（9）

υ=∑nt=1α_ty_t（10）

其中：u_t為y_t經激活函數(shù)后的向量表示；w^T為隨機初始化矩陣；α_t為對應權重；υ為經注意力機制加權后的特征向量。

b）基于特征向量υ與T的二次拼接。

由于全局語義特征更為復雜，為了獲取更全面的全局語義特征，減少關鍵語義丟失，考慮從不同維度提取全局特征，進行特征的二次拼接操作。將Att-BiLSTM輸出的全局語義特征υ與文本的動態(tài)特征向量表示T進行拼接，操作過程如式（11）所示。

H_Tυ=Concat（T，υ）（11）

其中：Concat（·）是拼接操作，將υ和T沿向量最后一個維度進行拼接；H_Tυ為拼接后的特征。

c）對拼接特征進行注意力加權和平均池化。

將H_Tυ輸入注意力層，對輸入特征中不同位置的信息進行加權，計算方法同式（8）～（10）。對處理后的特征向量進行平均池化操作，對特征進行降維處理，突出特征的整體信息，得到最終的全局語義特征向量q。

2.2.4 多融合方式互補的特征融合策略

針對單一融合方式易丟失關鍵信息的問題，本文提出一種多融合方式互補的特征融合策略。針對特征提取層提取到的文本全局語義特征與局部語義特征進行多融合方式互補的特征融合，策略示意如圖5所示。

策略5 多融合方式互補的特征融合策略

本策略包含以下步驟和內容：

a）對全局語義特征q和局部語義特征l進行特征拼接和注意力融合。

特征拼接操作如式（12）所示。

H_cat=Concat（q，l）（12）

其中：q、l分別是特征提取層提取的全局語義特征和局部語義特征；Concat（·）是拼接操作；H_cat為拼接后的特征。

使用注意力融合的操作如式（13）～（15）所示。

u_i=tanh（q_i）（13）

α^k_i=softmax（u^T_i·l_k）（14）

H_att=∑ni=1 ∑Kk=1α^k_i·l_k（15）

其中：tanh表示激活函數(shù)；u_i為q_i經激活函數(shù)后的向量表示；α^k_i表示對應權值；H_att表示注意力融合后的特征向量。

拼接操作綜合了提取的全局語義信息和局部語義信息，而注意力融合操作針對重要的特征賦予更大的權重，將注意力集中于對任務更有幫助的特征上。

b）二次注意力融合。

將H_cat和H_att兩個特征進一步使用注意力機制進行特征融合，得到全面語義特征H，計算方法如式（13）～（15）所示。

c）對全面語義特征進行平均池化。

將融合后的全面語義特征H輸入平均池化層中，降低模型過擬合風險，提高模型的泛化能力。

3 實驗與結果分析

為了驗證所提模型的有效性，本章首先介紹了實驗環(huán)境、所用數(shù)據(jù)集及模型超參數(shù)設置，并針對3個公共的中文在線評論情感分類數(shù)據(jù)集分別進行了對比實驗和消融實驗，分析實驗結果。

3.1 實驗環(huán)境與數(shù)據(jù)集

本文實驗環(huán)境如下：操作系統(tǒng)為Linux服務器，CPU為Intel Xeon Silver 4310，GPU為NVIDIA TESLA A40 48 GB，PyTorch 1.7.1+cu110，Python 3.9。

本文針對在線評論情感分類任務，共選用3個公共的中文在線評論情感二分類數(shù)據(jù)集，如下所示：

a）waimai_10k數(shù)據(jù)集。該數(shù)據(jù)集為外賣評論數(shù)據(jù)集，共11 987條外賣評論，平均長度為25字

（https：//github.com/SophonPlus/ChineseNlpCorpus/blob/master/datasets/waimai_10k/waimai_10k.csv）。

b）ChnSentiCorp_6k數(shù)據(jù)集。該數(shù)據(jù)集為酒店評論數(shù)據(jù)集，共6 000條酒店評論，平均長度為137字

（https：//github.com/SophonPlus/ChineseNlpCorpus/blob/master/datasets/ChnSentiCorp_htl_all/intro.ipynb）。

c）ChnSentiCorp_7k數(shù)據(jù)集。該數(shù)據(jù)集為酒店評論數(shù)據(jù)集，共7 766條酒店評論，平均長度為129字

（https：//github.com/SophonPlus/ChineseNlpCorpus/blob/master/datasets/ChnSentiCorp_htl_all/ChnSentiCorp_htl_all.csv）。

分別將數(shù)據(jù)集按8∶1∶1的比例劃分為訓練集、驗證集和測試集，數(shù)據(jù)集的詳細信息如表2所示。

3.2 實驗參數(shù)設置

MF-SDAM模型在3個中文評論數(shù)據(jù)集中的超參數(shù)設置如表3所示。為防止模型過擬合，使用早停法進行模型訓練，當模型經過1 000個batch訓練無提升時，則提前結束訓練。

3.3 模型對比分析

本文采用準確率（accuracy， Acc）和F₁值（F-score）作為情感極性分類的評價指標。為了驗證MF-SDAM模型在在線評論情感分類任務上的優(yōu)越性，將MF-SDAM模型與以下10個模型做對比實驗。

a）word2vec-TextCNN^［28］：使用word2vec作為詞嵌入模型，利用TextCNN提取文本的語義特征。

b）word2vec-BiLSTM^［29］：使用word2vec作為詞嵌入模型，利用BiLSTM提取文本的語義特征。

c）BERT^［18］：使用預訓練模型BERT提取文本特征。

d）BERT-TextCNN^［19］：使用BERT作為詞嵌入模型，利用TextCNN提取文本的語義特征。

e）BERT-BiLSTM^［20］：使用BERT作為詞嵌入模型，利用BiLSTM提取文本的語義特征。

f）BERT-BiLSTM-ATT^［1］：使用BERT作為詞嵌入模型，利用BiLSTM提取文本的語義特征，并結合注意力機制對特征進行加權。

g）BERT-CNN-LSTM^［2］：使用BERT作為詞嵌入模型，先利用TextCNN提取文本的語義特征，再用LSTM提取由TextCNN輸出的特征信息。

h）AlDCBAT^［24］：使用ALBERT作為詞嵌入模型，利用BiGRU和TextCNN提取文本的語義特征，并結合注意力機制對BiGRU提取的特征進行加權，最后對提取的特征進行拼接融合。

i）BERT-CBLBGA^［5］：使用BERT作為詞嵌入模型，利用TextCNN、BiLSTM和BiGRU提取文本的全局和局部語義特征，并結合自注意力機制進行特征融合。

j）OSLCFit^［3］：使用BERT作為詞嵌入模型，將TextCNN和BiLSTM提取的文本語義特征進行有機結合，特征輸入全連接層進行情感極性的預測。

各模型對比結果如表4所示。

由實驗結果可知，在waimai_10k數(shù)據(jù)集上，MF-SDAM模型在準確率上優(yōu)于所有基準模型，在F₁值上僅比最優(yōu)模型OSLCFit低0.21%。采用傳統(tǒng)靜態(tài)詞嵌入的word2vec-TextCNN模型的性能最差，與MF-SDAM模型相比分別下降3.93%、4.96%。由于waimai_10k數(shù)據(jù)集正負類別不平衡，所以傳統(tǒng)模型在分類時容易受到影響，分類結果會偏向于樣本更多的類別，實驗結果說明了MF-SDAM模型在處理不平衡數(shù)據(jù)時具有較好的魯棒性?？傮w而言，動態(tài)詞嵌入模型BERT相比于傳統(tǒng)靜態(tài)詞嵌入模型word2vec，克服了傳統(tǒng)靜態(tài)詞嵌入模型無法解決一詞多義的問題，因此性能有所提升。MF-SDAM模型基于句法依存、雙通道提取特征、多融合方式互補的特征融合策略充分提取了文本的情感特征信息，因此在線評論情感分類性能優(yōu)于大多數(shù)對比模型。

在ChnSentiCorp_6k數(shù)據(jù)集上，由于數(shù)據(jù)集類別平衡，所以各模型的性能都有所提升，其中MF-SDAM模型的性能提升最為明顯，F(xiàn)₁值達到了95.00%。相較于模型中表現(xiàn)最好的OSLC-Fit，MF-SDAM模型通過屬性-觀點對提取、額外的全局特征提取通道及多融合方式互補的特征融合策略提取到更加豐富的文本語義信息，減少了特征提取過程中的關鍵信息損失，在F₁上比OSLCFit高出了1.83%。

在ChnSentiCorp_7k數(shù)據(jù)集上，相較于ChnSentiCorp_6k數(shù)據(jù)集增加了一定量的樣本，并且最終的正負樣本數(shù)量不平衡，這也導致了模型的整體性能下降較為明顯。其中，基準模型中F₁值最低的是word2vec-TextCNN，其F₁值為82.72%，F(xiàn)₁值最高的是BERT-CBLBGA，為86.78%，MF-SDAM在數(shù)據(jù)不平衡的情況下F₁值仍達到了87.47%，相比于最好的BERT-CBLBGA提升0.69%，說明MF-SDAM模型在處理不平衡數(shù)據(jù)集時具有一定優(yōu)勢，且多特征融合充分提取了文本的情感特征信息，提高了模型的分類性能。

綜上，通過MF-SDAM與基準模型在3個公共數(shù)據(jù)集上的表現(xiàn)可以得出，MF-SDAM模型通過屬性-觀點對提取、雙通道的特征提取策略、多融合方式互補的特征融合策略提取了更加豐富的文本語義信息，減少了特征提取過程的關鍵信息損失，其性能在大多數(shù)情況下均優(yōu)于10個基準模型，且對于不平衡數(shù)據(jù)集具有較好的魯棒性。

3.4 案例分析

為進一步分析本文MF-SDAM模型相對于BERT-CNN-LSTM、ALDCBAT、BERT-CBLBGA和OSLCFit的優(yōu)勢，本文使用經過訓練的MF-SDAM、BERT-CNN-LSTM、ALDCBAT、BERT-CBLBGA和OSLCFit來預測在線評論典型樣例并進行分析，進一步驗證MF-SDAM模型的在線評論情感分類性能。

樣例分類結果如表5所示。

對于樣例1和2，這類帶“但是”等轉折詞的文本，往往前面部分和后面部分的情感極性不一致，因此情感分類的難度較大。在對比模型中，BERT-CNN-LSTM、ALDCBAT和BERT-CBLBGA都出現(xiàn)了兩次誤分類的情況，其原因在于以上模型并不能準確提取該類文本的豐富語義信息，往往會遺漏小部分全局或局部語義，造成關鍵信息的損失。對于情感分類難度更大的樣例2，則只有本文提出的MF-SDAM模型可以分類成功，這得益于MF-SDAM可以通過關鍵信息提取策略提取出在線評論的關鍵信息。在樣例2中提取到的文本關鍵信息為{（螺螄粉，不錯），（綠豆沙，好喝），（送餐，無語），（不認識，路），（地址，寫錯）}，較為準確地提取了文本的關鍵信息，并通過全局語義提取的二次拼接、多融合方式互補的特征融合等策略提取了更加豐富的文本語義信息，減少特征提取和融合過程中的關鍵信息損失。

對于樣例3，這類篇幅較長且內容較雜的文本，一般的單通道模型如BERT-CNN-LSTM及常規(guī)的雙通道模型如ALDCBAT容易丟失部分信息，以及錯誤地關注非重點內容，因此造成誤分類。而本文提出的MF-SDAM通過多重注意力加權，可以關注到更重要的信息，使情感特征信息更加突出，因此情感分類性能更好。

綜上，對于在線評論這類行文不規(guī)范且情感成分較為復雜的文本，本文模型可以提取更豐富的文本語義信息，減少特征提取與融合過程中的關鍵信息損失，因此在在線評論情感分類任務中相較于基準模型更有優(yōu)勢。

3.5 消融實驗

為了驗證MF-SDAM模型中各模塊對情感分類準確率的影響，進行了消融實驗（w/o代表without）。

a）w/o 句法依存：表示在MF-SDAM模型中減去關鍵信息提取層中提取的屬性-觀點對信息。

b）w/o 局部語義提取通道：表示在MF-SDAM模型中減去特征提取層中TextCNN提取的局部語義特征。

c）w/o 二次拼接：表示在MF-SDAM模型中減去特征提取層中Att-BiLSTM與文本特征的二次拼接，該通道僅保留Att-BiLSTM提取的特征。

d）w/o 全局語義提取通道：表示在MF-SDAM模型中減去特征提取層最終提取的全局語義特征。

e）w/o 注意力融合特征：表示在MF-SDAM模型中減去特征融合層的注意力融合特征，僅保留拼接特征。

f）w/o 拼接特征：表示在MF-SDAM模型中減去特征融合層的拼接特征，僅保留注意力融合特征。

實驗結果如表6所示。

由實驗結果可知，MF-SDAM模型中基于句法依存的文本屬性-觀點對提取、雙通道特征提取及全局特征提取的二次拼接、多融合方式互補的特征融合策略對于模型的性能提升都有明顯作用。在相同條件下，利用句法依存關系提取文本屬性-觀點對信息作為關鍵信息、原文本作為背景信息的模型，相比于僅使用原文本信息的模型，F(xiàn)₁值有較大提升，說明提取的屬性-觀點對信息作為在線評論情感分類任務中文本的關鍵信息，對于模型的情感分類效果具有良好的促進作用。

模型的雙通道特征提取均有利于模型性能的提升，其中移除TextCNN提取的局部語義特征會使得F₁值顯著下降，體現(xiàn)了局部語義特征對于情感分類模型的重要作用；全局語義特征捕獲了文本的長距離依賴和上下文信息，其中Att-BiLSTM與文本特征的二次拼接操作豐富了全局語義特征，減少了關鍵語義的丟失；模型的拼接特征和注意力融合特征均對模型性能提升有著重要作用，將拼接特征和注意力融合特征進行進一步的特征融合操作，綜合了局部和全局信息，特征表達更為豐富?；诙嗳诤戏绞交パa的特征融合策略有助于減少特征融合時關鍵信息丟失的問題，使得最終模型的性能有顯著的提升。

4 結束語

為了提取更加豐富的在線評論文本語義信息，本文提出了一種基于句法依存和注意力機制的多特征多重融合情感分類模型。該模型聚焦于減少文本語義信息提取過程中的關鍵信息損失，更好地提取文本的關鍵語義信息，通過句法依存提取屬性-觀點對信息、雙通道特征提取及全局特征提取的二次拼接操作、多融合方式互補的特征融合策略提取了更加豐富的文本語義信息。實驗結果表明，基于句法依存和注意力機制的多特征多重融合情感分類模型在3個公共的中文在線評論數(shù)據(jù)集上的表現(xiàn)相較于其他基準模型性能更優(yōu)，能夠有效地提取更加豐富的語義信息。由于本模型的結構更加復雜，特征提取的步驟更加繁瑣，所以本模型雖然在一定程度上提高了情感分類的準確率，但必然會增加模型的運行時間。因此，下一階段的研究工作是在保證模型性能的同時，簡化模型結構以縮短模型的運行時間。

參考文獻：

［1］Zhang You， Wang Jin， Zhang Xuejie. YNU-HPCC at semeval-2018 task 1： BiLSTM with attention based sentiment analysis for affect in tweets ［C］//Proc of the 12th International Workshop on Semantic Evaluation. Stroudsburg， PA： ACL Press， 2018： 273-278.

［2］Rani S， Bashir A K， Alhudhaif A， et al. An efficient CNN-LSTM model for sentiment detection in #BlackLivesMatter ［J］. Expert Systems with Application， 2022， 193： 116256.

［3］Kiran R， Kumar P， Bhasker B. OSLCFit （organic simultaneous LSTM and CNN fit）： a novel deep learning based solution for sentiment polarity classification of reviews ［J］. Expert Systems with Applications， 2020， 157： 113488.

［4］吳旭旭， 陳鵬， 江歡. 基于多特征融合的微博細粒度情感分析 ［J］. 數(shù)據(jù)分析與知識發(fā)現(xiàn)， 2023， 7（12）： 102-113. （Wu Xuxu， Chen Peng， Jiang Huan. Micro-blog fine-grained sentiment analysis based on multi-feature fusion ［J］. Data Analysis and Knowledge Discovery， 2023， 7（12）： 102-113.）

［5］Jia Keliang，Meng Fanxu，Liang Jing， et al. Text sentiment analysis based on BERT-CBLBGA ［J］. Computers and Electrical Engineering， 2023， 112： 109019.

［6］王穎潔， 朱久祺， 汪祖民， 等. 自然語言處理在文本情感分析領域應用綜述 ［J］. 計算機應用， 2022， 42（4）： 1011-1020. （Wang Yingjie， Zhu Jiuqi， Wang Zumin， et al. Review of the application of natural language processing in text emotional analysis ［J］. Journal of Computer Applications， 2022， 42（4）： 1011-1020.）

［7］Zubair A M， Aurangzeb K， Shakeel A， et al. Lexicon-enhanced sentiment analysis framework using rule-based classification scheme ［J］. PLoS One， 2017， 12（2）： e0171649.

［8］Ahmed M， Chen Qun， Li Zhanhuai. Constructing domain-dependent sentiment dictionary for sentiment analysis ［J］. Neural Computing amp; Applications， 2020， 32（18）： 14719-14732.

［9］Zhao Huiliang，Liu Zhenghong，Yao Xuemei， et al. A machine lear-ning-based sentiment analysis of online product reviews with a novel term weighting and feature selection approach ［J］. Information Processing amp; Management， 2021， 58（5）： 102656.

［10］Budhi G S， Chiong R， Pranata I， et al. Using machine learning to predict the sentiment of online reviews： a new framework for comparative analysis ［J］. Archives of Computational Methods in Engineering， 2021， 28（4）： 2543-2566.

［11］陳龍， 管子玉， 何金紅， 等. 情感分類研究進展 ［J］. 計算機研究與發(fā)展， 2017， 54（6）： 1150-1170. （Chen Long， Guan Ziyu， He Jinhong， et al. Progress in emotional classification research ［J］. Computer Research and Development， 2017， 54（6）： 1150-1170.）

［12］袁健， 董光文. 多維特征融合的混合神經網絡文本情感分析模型 ［J］. 小型微型計算機系統(tǒng)， 2023， 44（10）： 2137-2143. （Yuan Jian， Dong Guangwen. A hybrid neural network model for text emotion analysis based on multidimensional feature fusion ［J］. Journal of Chinese Computer Systems， 2023， 44（10）： 2137-2143.）

［13］季陳， 葉慧雯， 王子民， 等. 基于BiLSTM-CapsNet混合模型的社交文本情感分析 ［J］. 南京理工大學學報， 2022， 46（2）： 205-210. （Ji Chen， Ye Huiwen， Wang Zimin， et al. Emotional analysis of social text based on BiLSTM-CapsNet hybrid model ［J］. Journal of Nanjing University of Technology， 2022， 46（2）： 205-210.）

［14］Liu Jin， Yang Yihe， Lyu Shiqi， et al. Attention-based BiGRU-CNN for Chinese question classification ［J/OL］. Journal of Ambient Intelligence and Humanized Computing. （2019-06-13）. https：//doi.org/10.1007/s12652-019-01344-9.

［15］韓普， 張偉， 張展鵬， 等. 基于特征融合和多通道的突發(fā)公共衛(wèi)生事件微博情感分析 ［J］. 數(shù)據(jù)分析與知識發(fā)現(xiàn)， 2021， 5（11）： 68-79. （Han Pu， Zhang Wei， Zhang Zhanpeng， et al. Sentiment analysis of Weibo posts on public health emergency with feature fusion and multi-channel ［J］. Data Analysis and Knowledge Discovery， 2021， 5（11）： 68-79.）

［16］Mikolov T， Chen Kai， Corrado G， et al. Efficient estimation of word representations in vector space ［EB/OL］. （2013）. https：//arxiv.org/abs/1301. 3781.

［17］Pennington J， Socher R， Manning C. GloVe： global vectors for word representation ［C］// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： ACL Press， 2014： 1532-1543.

［18］Devlin J， Chang M W， Lee K， et al. BERT： pre-training of deep bidirectional Transformers for language understanding ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics. Stroudsburg， PA： ACL Press， 2019： 4171-4186.

［19］Wang Yujie， Shen Xianjun， Yang Yujuan. The classification of Chinese sensitive information based on BERT-CNN ［C］// Proc of Artificial Intelligence Algorithms and Applications. London： Sprin-ger， 2020： 269-280.

［20］諶志群， 鞠婷. 基于BERT和雙向LSTM的微博評論傾向性分析研究 ［J］. 情報理論與實踐， 2020， 43（8）： 173-177. （Chen Zhiqun， Ju Ting. Research on Weibo review tendency analysis based on BERT and bidirectional LSTM ［J］. Intelligence Theory and Practice， 2020， 43（8）： 173-177.）

［21］Jain P K， Quamer W， Saravanan V， et al. Employing BERT-DCNN with sentic knowledge base for social media sentiment analysis ［J］. Journal of Ambient Intelligence and Humanized Computing， 2023， 14： 10417-10429.

［22］李衛(wèi)疆， 漆芳， 余正濤. 基于多通道特征和自注意力的情感分類方法 ［J］. 軟件學報， 2021， 32（9）： 2783-2800. （Li Weijiang， Qi Fang， Yu Zhengtao. A sentiment classification method based on multi-channel features and self attention ［J］. Journal of Software Science， 2021， 32（9）： 2783-2800.）

［23］謝玉惠， 肖桂榮. 融合注意力機制的多通道CNNs-BiLSTM情感極性分析方法 ［J］. 小型微型計算機系統(tǒng)， 2023， 44（6）： 1140-1145. （Xie Yuhui， Xiao Guirong. Multi-channel CNNs-BiLSTM sentiment polarity analysis method integrating attention mechanism ［J］. Journal of Chinese Computer Systems， 2023， 44（6）： 1140-1145.）

［24］Zhu Yulei， Luosai B， Zhou Liyuan， et al. Research on sentiment analysis of Tibetan short text based on dual-channel hybrid neural network ［C］//Proc of the 4th IEEE International Conference on Pattern Recognition and Machine Learning. Piscataway，NJ：IEEE Press， 2023： 377-384.

［25］胥桂仙， 劉蘭寅， 王家誠， 等. 基于BERT和超圖對偶注意力網絡的文本情感分析 ［J］. 計算機應用研究， 2024， 41（3）： 786-793. （Xu Guixian， Liu Lanyin， Wang Jiacheng， et al. Text emotion analysis based on BERT and hypergraph dual attention network ［J］. Application Research of Computers， 2024， 41（3）： 786-793.）

［26］Che Wanxiang， Feng Yunlong， Qin Libo， et al. N-LTP： an open-source neural language technology platform for Chinese ［C］// Proc of Conference on Empirical Methods in Natural Language Processing： System. Stroudsburg， PA： ACL Press， 2021： 42-49.

［27］包乾輝， 文娟， 石淑珍， 等. 融合句法依存與BERT-Att-BiLSTM的屬性分類 ［J］. 北京郵電大學學報， 2023， 46（4）： 123-128. （Bao Qianhui， Wen Juan， Shi Shuzhen， et al. Fusion of syntactic dependency and attribute classification of BERT-Att-BiLSTM ［J］. Journal of Beijing University of Posts and Telecommunications， 2023， 46（4）： 123-128.）

［28］Kim Y. Convolutional neural networks for sentence classification ［C］// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： ACL Press， 2014： 1746-1751.

［29］Yue Wang， Li Lei. Sentiment analysis using word2vec-CNN-BiLSTM classification ［C］//Proc of the 7th International Conference on Social Networks Analysis， Management and Security. Piscataway，NJ：IEEE Press， 2020： 1-5.