張文豪，廖列法，2，王茹霞

（1.江西理工大學 信息工程學院，江西 贛州 341000；2.江西理工大學 軟件工程學院，南昌 330000）

0 概述

隨著大數(shù)據(jù)時代的到來，互聯(lián)網(wǎng)上產生的數(shù)據(jù)呈爆炸式增長，對數(shù)據(jù)分析的需求也越來越大。方面級情感分析是數(shù)據(jù)分析中的一種，旨在分析用戶評論數(shù)據(jù)中的情感極性（如消極、中性或積極），方便企業(yè)推薦用戶感興趣的內容以及了解用戶的喜好。

方面級情感分析早期大都采用機器學習方法［1］進行分析，需要大量的人力對數(shù)據(jù)進行預處理，還需要通過人工建立情感詞典并訓練出分類模型，這對研究人員提出了很高的要求，且過程耗費精力，容易出錯。隨著深度學習技術的不斷發(fā)展，各種神經(jīng)網(wǎng)絡模型［2-3］被用于方面級情感分析任務中，大部分方法是通過神經(jīng)網(wǎng)絡結合注意力機制［4-5］來完成情感分析。文獻［6］利用長短時記憶網(wǎng)絡單獨對方面詞和上下文進行建模，并利用交互式注意力網(wǎng)絡分別學習并生成方面詞和上下文的交互特征。文獻［7］提出一種細粒度注意力機制，用于捕獲方面詞和上下文之間詞級別的信息交互，然后將粗粒度注意力與細粒度注意力相結合用于最終的情感極性預測。上述方法大多通過神經(jīng)網(wǎng)絡模型學習句子中的語義信息，然后通過注意力機制獲得文本序列與方面詞的交互信息，它們大多都忽略了對語法信息的獲取。

近年來，圖卷積網(wǎng)絡（Graph Convolutional Netwoks，GCN）［8］被廣泛應用于情感分析任務中。文獻［9］利用GCN 進行文本分類，然后通過依存句法樹完成方面級情感分析。這種結合依存句法樹和GCN 的方法可以縮短方面詞與情感詞之間的距離，并利用GCN 進行語法信息的學習。文獻［10］利用句子的依存關系構建鄰接矩陣，通過GCN 學習句子中的語法關系，驗證了GCN 可以正確捕獲句法信息和遠程單詞依賴關系。文獻［11］提出一種新的網(wǎng)絡架構，利用多層圖注意力網(wǎng)絡將情感特征詞與方面詞相連接。文獻［12］認為普通的鄰接矩陣缺少了詞與詞之間的依存關系和共現(xiàn)關系，其將層次句法圖和層次詞匯圖（Hierarchical Lexical Graph，HLG）代替普通的鄰接矩陣來進行語法學習。例如，“food was okay，nothing special.”句子中的“nothing special”單詞對在訓練集中出現(xiàn)了5次，并且該單詞對表示消極的情感極性，在這種情況下，如果要正確預測“food”方面詞的情感極性，則需要有其他信息來抵消句中出現(xiàn)的“okay”的積極性。

受上述方法的啟發(fā)，本文提出MILFST 模型，該模型同時進行語義信息和語法信息的學習，通過使用層次詞匯圖代替普通的依存句法樹來完成語法信息的學習，并借助層次詞頻圖代替普通的依存句法樹進行圖卷積網(wǎng)絡的語法信息學習。在此基礎上，將相對距離和語法距離信息融合后嵌入模型中。本文的主要工作如下：

1）將相對距離和語法距離融合后嵌入模型中，同時考慮單詞的相對距離和語法距離對方面詞的影響。

2）考慮單詞在依存句法樹上不同位置對分析結果的影響，分析單詞在句法樹中的高度以及單詞節(jié)點所含有的度數(shù)在文本序列中的重要程度。

3）同時對語義信息和語法信息進行學習，使文本序列含有更豐富的信息，更充分地提取方面詞信息。

4）引入層次詞匯圖來代替普通的依存句法樹，既能捕捉語法信息，又能關注詞匯之間的共現(xiàn)關系，從而提高語法學習的效率。

1 相關工作

通過神經(jīng)網(wǎng)絡模型處理方面級情感分析任務，大多都是使用詞嵌入層［13-14］作為模型的起始層，主要是因為詞嵌入層能將文本序列信息一一映射到低維的向量空間，然后通過各種深度學習模型來對映射到低維向量空間中的信息進行學習。卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）早期是用在圖像處理任務中，主要通過卷積核提取圖像的局部信息。自從CNN 被用在自然語言處理任務中［15］，研究人員開始利用CNN 結合其他模型進一步提取特征信息。文獻［16］采用多層CNN 來并行地對上下文進行建模，然后利用注意力機制來關聯(lián)上下文和方面詞之間的信息。文獻［17］提出一種CNN 結合門控機制的模型，該模型過濾與方面詞信息無關的情感特征，然后根據(jù)方面詞有選擇性地輸出相關的情感特征。

有研究表明［18-19］，在方面級情感分析任務中，句中每個詞對方面詞都有不同程度的影響，距離方面詞越遠的詞對方面詞影響越小，距離方面詞越近的詞對方面詞影響越大。因此，句中單詞和方面詞之間的距離可以分為相對距離和語法距離。文獻［20］利用加權卷積網(wǎng)絡來探索相對位置關系和語法距離關系，研究結果表明，語法距離關系比相對距離關系更有利于方面詞分類。文獻［21］將語法位置信息融合到模型中，實驗結果證明了語法位置信息能夠讓模型更好地理解上下文和方面詞之間的關系。

隨著情感分析研究的不斷深入，語法信息被不斷地挖掘。例如，通過使用語法解析工具，可以將句子“The food was excellent as well as service，however，I left the four seasons very disappointed.”解析成一棵具有語法信息的依存句法樹，如圖1 所示。句子中有3 個方面詞，即food、service 和seasons。從句中可以推斷出方面詞“food”和“service”是積極的，“seasons”是消極的。以往許多模型在一些情況下會關注錯誤的單詞。在圖1中，對于“service”方面詞，很多模型會錯誤地關注“well”，但是從整個句子來看，判斷“service”方面詞的情感極性依賴的是“excellent”而不是“well”。從依存句法樹上看，“service”通過依存關系“attr”和“acomp”與“excellent”相連接，減少了“well”對方面詞的影響。

圖1 依存句法樹Fig.1 Dependency syntax tree

圖卷積網(wǎng)絡的優(yōu)點是能夠很好地捕獲依存句法樹的結構信息，彌補其他模型難以捕獲語法信息的缺陷。文獻［22］通過鍵值記憶網(wǎng)絡有選擇性地利用依賴信息，然后根據(jù)記憶機制對不同的依賴信息進行加權，有效地甄別無用的信息。文獻［12］使用層次句法圖和層次詞匯圖來進行語法信息學習。層次詞匯圖將語料庫中2 個詞出現(xiàn)的頻率作為連接因素，根據(jù)這個因素對每一個句子構建層次詞匯圖。如圖2 所示，在語料庫中，很多詞共同出現(xiàn)的概率很低，只有少數(shù)一些詞的共現(xiàn)概率很大。因此，層次詞匯圖根據(jù)共現(xiàn)次數(shù)的對數(shù)的正態(tài)分布頻率進行分組。其中，d1和d2分別表示共現(xiàn)頻率為20和21的詞對，d3，…，d7表示共現(xiàn)頻率在[2k+1，2k+1] (1 ≤k≤5)區(qū)間的詞對，d8表示共現(xiàn)頻率大于26的詞對。最后，基于詞匯共現(xiàn)頻率構造層次詞匯圖HLG={Vd，Ed，Rd}，其中，Vd表示圖中的節(jié)點集合，Ed表示圖中的邊集合，Rd表示詞對共現(xiàn)關系的集合。

圖2 層次詞匯圖Fig.2 Hierarchical lexical graph

2 模型結構

給定一個文本序列s={w1，w2，…，wn}和方面詞序列a={wt，wt+1，…，wt+m-1}，其中，文本序列中含有n個詞，方面詞序列中含有m個詞，并且方面詞序列a是文本序列s中的一個子序列。本文模型結構如圖3 所示，模型總共分為7層，分別是詞嵌入層、隱藏層、位置嵌入層、學習層、注意力層、特征提取層和池化層。其中，學習層分為2 個模塊，分別是語義學習模塊和語法學習模塊，注意力層也分為2 個部分，分別是語義優(yōu)化注意力和語法優(yōu)化注意力。

圖3 MILFST 模型結構Fig.3 MILFST model structure

2.1 詞嵌入層和隱藏層

本文使用GloVe 作為詞嵌入層，通過GloVe 預訓練模型，將文本序列中的每個詞一一映射到向量空間中，然后每個詞都由向量表示，詞向量wi∈Rda，其中，da表示詞向量的維度。再將詞向量輸入到雙向長短時記憶網(wǎng)絡中 獲得隱藏層向量H={h1，h2，…，hn}。隱藏層向量計算公式如下：

2.2 位置嵌入層

2.2.1 樹形結構

依存句法樹代表的是一個句子的語法信息，現(xiàn)有研究目前還未利用依存句法樹中節(jié)點的度和深度進行信息更新，更多的是利用依存句法樹進行圖卷積操作。

句法樹表示的是一個句子的語法信息，如圖4所示，該樹由圖1 中的依存句法樹簡化而來?！癟he”“as”“well”和“very”等詞都是一些修飾詞，這些詞在語法中起到加強的作用，但是，模型在學習一些信息時會受到這些詞的影響。例如，單獨“well”表示好的意思，在句中，它只是作為一個連詞，起連接的作用，如果只是對這個句子進行學習，“well”會影響“service”的判斷。在句法樹中，“well”距離“service”較遠，對“service”的影響較小。在此句中的修飾詞可能會在其他句中修飾含義相反的詞，從而影響方面詞情感極性的判斷。從依存句法樹中可以看出，往往一些修飾詞或者噪聲詞的深度更深，而且該節(jié)點的度都是1。因此，在學習句子信息之前，需要盡量降低一些修飾詞和噪聲詞的影響。

圖4 簡化的依存句法樹Fig.4 Simplified dependency syntax tree

式（2）、式（3）分別是詞節(jié)點的度和深度的權重公式：

其中：di和dmax分別表示當前節(jié)點的度和依存句法樹中最大的度；gi和gmax分別表示當前節(jié)點所在的深度和依存句法樹中最大的深度。最后，根據(jù)句法樹的2 個權重公式進行信息更新，如下：

2.2.2 位置編碼

本文采用位置編碼來關聯(lián)上下文和方面詞之間的關系。位置編碼分為語法位置編碼和相對位置編碼。語法位置編碼在依存句法樹中考慮單詞與方面詞之間的距離。例如，在圖4中，方面詞“food”與“excellent”通過“was”相連，因此，它們的語法距離為2。語法位置編碼計算公式如下：

其中：di表示方面詞與其他詞在依存句法樹中的距離；n表示句中單詞的個數(shù)。

相對位置編碼是根據(jù)每個詞與方面詞的距離不同進行權重分配，距離方面詞越遠的詞信息就越弱，距離方面詞越近的詞信息就越強。根據(jù)此分配方法，相對位置編碼計算公式如下：

通過式（5）和式（6）對上下文進行位置編碼后，需要將編碼后的信息嵌入模型中，嵌入后隱藏層表示如下：

其中：es，i表示語法位置嵌入表示；er，i表示相對位置嵌入表示。

2.3 學習層

一個句子同時包含語義信息和語法信息，從以往的研究中可以得出［12，18］，這2 種信息對于方面詞情感極性判斷都有作用。本文模型設計2 個模塊分別對語義信息和語法信息進行學習。

2.3.1 語法學習模塊

圖卷積是在傳統(tǒng)卷積神經(jīng)網(wǎng)絡上的一種改進，主要是對圖結構進行操作。對于圖結構中的每個節(jié)點，圖卷積都要考慮該節(jié)點自身的特征信息以及它所有鄰居節(jié)點的特征信息，這樣可以有效地獲取2 個相連節(jié)點之間的信息。在進行方面級情感分析時，可以根據(jù)依存句法樹中的邊進行信息的傳遞與獲取。例如，對于圖4 中的方面詞“service”，在依存句法樹中該節(jié)點連接的是“was”節(jié)點，“was”節(jié)點連接的是“excellent”節(jié)點。因此，在進行信息獲取時，“excellent”節(jié)點會將特征信息先傳入“was”節(jié)點中，然后再將特征信息傳入“service”中。在進行信息獲取時，這縮短了在相對位置中傳遞信息的距離，有效減少了傳遞過程中的噪聲。

由于普通的圖卷積操作中不含帶標記邊的圖，因此本文利用文獻［12］中的層次詞匯圖進行語法學習，該圖不僅包含句法樹結構，還包含詞之間的共現(xiàn)關系。通過該圖卷積，能夠將相同共現(xiàn)關系的詞合并到虛擬節(jié)點，然后對合并的所有虛擬節(jié)點進行信息更新。虛擬節(jié)點信息更新如下：

其中：⊕r表示不同共現(xiàn)關系類型的連接；l表示層數(shù)；wl表示第l層中的權重表示每一種共現(xiàn)關系r的表示。

2.3.2 語義學習模塊

在圖卷積出現(xiàn)之前，大多數(shù)的模型都是通過對語義的學習來提高對方面詞情感極性的判斷。本文使用多層卷積神經(jīng)網(wǎng)絡對語義信息進行學習。卷積神經(jīng)網(wǎng)絡通過卷積核將一個文本序列對應的矩陣以滑動窗口的方式提取相鄰單詞之間的信息。卷積核的高通常設為3，長為詞向量的維度。因此，在進行卷積操作時，往往會被一些噪聲詞影響。本文模型在語義學習之前，在位置編碼時就對噪聲詞進行削弱。因此，相對于文獻［16］中的模型，本文模型在進行語義學習時減少了一些對噪聲詞的操作。利用式（10）進行語義信息的學習：

其中：CNN 表示卷積操作；l表示卷積神經(jīng)網(wǎng)絡層數(shù)。

2.4 注意力層

在學習層進行語義和語法學習之后，需要對這2 個部分信息進行優(yōu)化融合?？紤]到語義信息和語法信息存在一些差異性，直接將兩者進行注意力融合會導致融合不充分。因此，為了更好地融合這2 種信息，借助樹形結構化的信息分別對語義信息和語法信息進行注意力融合優(yōu)化。注意力層分為語義優(yōu)化注意力和語法優(yōu)化注意力2 個部分，分別對語義信息和語法信息進行融合優(yōu)化。2 個部分具體如下：

1）語義優(yōu)化注意力。

語義優(yōu)化注意力主要是將語義學習模塊學到的信息hi，c，l與樹形結構化信息進行交互優(yōu)化，如式（11）～式（13）所示：

其中：exp表示以e為底的指數(shù)函數(shù)；Si，α表示語義優(yōu)化注意力的輸出。

2）語法優(yōu)化注意力。

語法優(yōu)化注意力主要是將語法學習模塊學習到的語法信息hi，l與樹形結構化信息進行交互優(yōu)化，如式（14）～式（16）所示：

其中：Gi，β表示語法優(yōu)化注意力的輸出。

2.5 特征提取層

方面詞的信息對方面詞情感極性的判斷尤為重要，特征提取層則是對方面詞信息進行提取，分別從語義信息和語法信息中提取方面詞的信息。方面詞信息提取公式如下：

其中：a表示方面詞信息。使用式（17）分別提取語義信息和語法信息中的方面詞信息，分別記為as和ag。

2.6 池化層

在提取方面詞信息之后，將提取的方面詞信息進行整合，對as和ag進行拼接。方面詞信息整合公式如下：

將整合后的方面詞信息通過池化層進行最大池化操作，進一步篩選方面詞的有效信息，如下：

其中：max_pooling 表示最大池化。

2.7 輸出層

將得到的方面詞信息輸入Softmax 層進行分類，分類結果分為積極性質、中性性質和消極性質3類。最終的情感極性分類結果如下：

其中：Softmax 表示分類器；W表示權重矩陣；B表示偏置矩陣。

2.8 模型訓練

本文模型使用標準梯度下降算法進行參數(shù)的學習訓練，訓練算法為交叉熵損失函數(shù)和L2 正則化項：

其中：c表示情感標簽的個數(shù)；y^i表示模型的輸出情感值；yi表示標簽中的真實值；λ表示L2 正則化參數(shù)；Θ表示模型中所用到的參數(shù)。

3 實驗驗證

3.1 實驗環(huán)境及參數(shù)設置

本文模型是在搭載Intel?Xeon?W-2123 CPU @3.60 GHz 的CPU 和NVIDIA GeForce RTX 2080 Ti 的GPU 服務器上運行的。實驗使用Python 語言進行編程，Python 版本為Python 3.8.8，編程工具為PyCharm，版本為PyCharm 2021.2.1 社區(qū)版。

模型使用GloVe［14］作為詞嵌入層對文本進行初始化，初始化詞向量維度為300，雙向長短時記憶網(wǎng)絡的隱藏層維度與詞向量維度相同，設置為300。選擇Adam 作為模型的優(yōu)化器，模型學習率為0.001，L2正則化項系數(shù)為0.000 01，批量訓練大小為32。

3.2 實驗數(shù)據(jù)集

實驗所使用的數(shù)據(jù)集是5 個公開的英文方面詞情感分析數(shù)據(jù)集，分別是Twitter［23］、SemEval-2014 Task 4 中的Lap14 和Res14［24］、SemEval-2015 Task 12中 的Res15［25］和SemEval-2016 Task 5中的Res16［26］。SemEval-2014 Task 4 含有對筆記本評價的數(shù)據(jù)和對餐廳評論的數(shù)據(jù)。數(shù)據(jù)集標簽分布如表1 所示。

表1 數(shù)據(jù)集標簽分布Table 1 Datasets label distribution

3.3 評價指標

實驗采用2 個評價指標，分別是準確率（計算中用AAcc表示）和Macro-F1（計算中用F1表示）。AAcc表示分類正確的樣本數(shù)占比，計算如式（22）所示。F1是精確率和召回率的調和平均，計算如式（23）～式（25）所示。

其中：TTP表示分類正確的積極標簽的樣本數(shù)；TTN表示分類正確的消極標簽的樣本數(shù)；FFP表示分類錯誤的積極標簽的樣本數(shù)；FFN表示分類錯誤的消極標簽的樣本數(shù)；c表示情感類別的標簽種類個數(shù)。

3.4 對比實驗及分析

為了評估MILFST 模型的有效性，選擇如下具有代表性的模型進行對比：

1）SVM［1］，該模型通過支持向量機方法進行方面級情感分類。

2）ATAE-LSTM［27］，該模型是將文本序列與方面詞進行拼接以融合信息，通過LSTM 和注意力機制進行情感極性分類。

3）GCAE［17］，該模型使用卷積神經(jīng)網(wǎng)絡提取特征信息，然后通過門控機制過濾與方面詞信息無關的情感特征，進而有選擇性地輸出相關的情感特征。

4）IAN［6］，該模型利用LSTM 分別對文本序列和方面詞進行建模，利用交互注意力交叉融合文本序列和方面詞信息，并生成特定的文本序列信息和方面詞信息。

5）AOA［28］，該模型利用注意力機制關注重要信息的特點，將方面詞和句子以聯(lián)合的方式進行建模，進而捕獲方面詞和句子之間的交互信息。

6）ASGCN［10］，該模型利用依存句法樹建立一個依存句法圖，然后通過圖卷積操作進行語法信息學習。

7）TD-GAT［11］，該模型利用單詞之間的依賴關系進行情感特征傳遞。

8）Bi-GCN［12］，該模型在依存句法樹上提出層次語法圖和層次詞匯圖，通過雙層交互式圖卷積網(wǎng)絡學習語法信息。

在上述對比模型中：前5 個模型基于機器學習、深度學習進行語義信息學習，這些模型沒有學習語法信息；后3 個模型通過依存句法關系對句子的語法信息進行學習。各模型在數(shù)據(jù)集上的實驗結果如表2 所示，最優(yōu)結果加粗標注。

表2 各模型的實驗結果Table 2 Experimental results of each model %

從表2 可以看出，基于深度學習的模型普遍優(yōu)于基于機器學習的模型，這是因為深度學習能夠自主學習句子中的特征信息，捕捉的信息更為豐富和完整。將前5 個模型和后4 個模型進行對比可以看出，前5 個模型的指標值明顯小于后4 個模型，這主要是因為后4 個模型考慮了語法信息，而前5 個模型未考慮語法信息，這也驗證了句子的語法信息能夠有效幫助模型識別方面詞的情感極性。

ASGCN 模型和TD-GAT 模型在5 個數(shù)據(jù)集中實驗結果相差不大：在Twitter 數(shù)據(jù)集中，TD-GAT 模型的準確率和F1 值都大于ASGCN 模型，但是相差不大；在Lap14 數(shù)據(jù)集、Res14 數(shù)據(jù)集和Res15 數(shù)據(jù)集中，TD-GAT 模型的準確率高于ASGCN 模型，但是F1值小于后者；在Res16數(shù)據(jù)集中，雖然TD-GAT 的準確率比ASGCN低，但是F1 值卻比ASGCN高。因此，只是單獨地通過依存句法樹進行語法信息學習，很難再提高準確率?；诖耍珺i-GCN 在依賴圖中增加了詞與詞之間的連接關系，從表中數(shù)據(jù)可以看出，Bi-GCN 在增加連接關系之后準確率和F1 值明顯高于前2 個模型。

與ASGCN 和TD-GAT 相比，本文MILFST 模型在5 個數(shù)據(jù)集中準確率和F1 值都更優(yōu)，這說明模型在考慮語法信息時也不能忽略語義信息，語義信息和語法信息對方面詞情感極性的判斷都很重要。

與Bi-GCN 模型相比，MILFST 模型在5 個數(shù)據(jù)集上結果幾乎都有提升，除了在Twitter 數(shù)據(jù)集上F1 值小于Bi-GCN外，在其他數(shù)據(jù)集上F1 值都高于Bi-GCN，在另外4 個數(shù)據(jù)集上F1 值分別提高2.43、1.06、1.36 和0.73個百分點，在5 個數(shù)據(jù)集上準確率分別提高0.11、3.15、0.53、0.57 和0.65 個百分點。這也驗證了模型同時對文本序列的語義信息和語法信息進行學習是有意義的。

3.5 消融實驗

為了驗證MILFST 模型中每個組件對模型性能的重要性，設置一系列的消融實驗進行測試，實驗結果如表3 所示。其中：w/o pos 表示消融了位置信息；w/o tree 表示消融了樹形結構化信息；w/o atn 表示消融了注意力層；w/o sy 表示消融了語法學習模塊；w/o se 表示消融了語義學習模塊；w/o asp 表示消融了特征提取層。

表3 消融實驗結果Table 3 Results of ablation experiment %

從表3 的消融實驗結果可以看出：

1）在消融位置信息和樹形結構化信息后，w/o pos 和w/o tree 的性能指標下降，說明每個詞的位置信息和樹形結構化信息會對方面詞的判斷結果產生影響。在5 個數(shù)據(jù)集中，w/o pos 在Res14 數(shù)據(jù)集上下降幅度大于w/o tree，在另外4 個數(shù)據(jù)集上w/o tree下降幅度更大，說明樹形結構化信息對方面詞的影響比位置信息更大。

2）在消融了注意力層之后，在Lap14 數(shù)據(jù)集上，模型性能指標反而有所上升，在其他數(shù)據(jù)集上都有所下降，說明在Lap14 數(shù)據(jù)集上學習的語義信息和語法信息已經(jīng)能夠表達方面詞的情感極性，但是注意力機制過度聚焦信息，反而對語義信息和語法信息的融合有抑制作用。在另外4 個數(shù)據(jù)集上，注意力機制能有效融合語義信息和語法信息。

3）在實驗中分別消融了語法學習模塊和語義學習模塊后，w/o sy 和w/o se 性能指標都有下降，但是w/o se 的下降幅度比w/o se 更大，說明語義學習模塊和語法學習模塊在MILFST 模型中同樣重要，但是MILFST 模型對語義信息的學習依賴性更高一些。

4）在消融了特征提取層后，w/o asp 性能指標有所下降，說明在最后對方面詞進行特征提取是有必要的。

從整個實驗結果來看，將模型中的一部分組件進行消融之后，模型的性能指標有明顯下降，說明模型中的每一個部分都十分重要，缺一不可。消融每一個組件后模型的性能指標下降幅度也各不相同，說明每個部分對于不同數(shù)據(jù)集的敏感程度不同，主要取決于每個數(shù)據(jù)集中句子的完整性和長度。

4 結束語

本文提出一種同時學習語義信息和語法信息的MILFST 模型。該模型在學習語義信息和語法信息之前，通過文本序列在依存句法樹中的位置信息以及其自身的相對位置信息和語法位置信息對文本序列進行更新，從而減輕文本序列中存在的一些噪聲詞的影響，使得在進行信息學習之前原本的文本序列中就含有語法相關信息。實驗結果表明，MILFST模型能夠有效學習語義信息和語法信息，且模型中的各個部分都對情感極性判斷有積極作用。

經(jīng)研究發(fā)現(xiàn)，MILFST 模型高度依賴語句的完整性，對于不完整語句的分類效果不理想。下一步將嘗試使用知識圖譜和情感知識來提高模型對方面詞信息的理解，增強語義信息和語法信息的學習效果，進一步提高模型對方面詞信息的分類性能。