堯歡歡，朱小棟

(上海理工大學(xué)管理學(xué)院，上海 200093)

1 引言(Introduction)

隨著社交網(wǎng)絡(luò)媒體和電子商務(wù)的智能化發(fā)展，越來越多的網(wǎng)民傾向于在各大平臺(tái)針對(duì)特定主題或者商品發(fā)表觀點(diǎn)和意見，由此生成海量蘊(yùn)含情感色彩的文本評(píng)論數(shù)據(jù)，這些情緒資源隱含了互聯(lián)網(wǎng)用戶的潛在訴求，具有巨大的商業(yè)和社會(huì)價(jià)值。通過對(duì)文本評(píng)論數(shù)據(jù)進(jìn)行情感分析，可以獲得互聯(lián)網(wǎng)用戶對(duì)各種事物的意見傾向，獲取潛在的經(jīng)濟(jì)價(jià)值。然而，傳統(tǒng)采用人工分辨文本情感極性的方式耗費(fèi)了大量的人力且主觀性太強(qiáng)，為了能夠自動(dòng)、高效地探究隱含在評(píng)論信息中的情感色彩，文本情感分析技術(shù)應(yīng)運(yùn)而生。

文本情感分析[1]又稱文本導(dǎo)向分析或意見挖掘，是指對(duì)主觀評(píng)論中隱含的情感色彩進(jìn)行提取和分析的過程，主要方法包括情感詞典規(guī)則方法、統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法及深度學(xué)習(xí)模型。傳統(tǒng)基于情感詞典的方法依賴人工預(yù)先編制包含不同詞匯和相應(yīng)極性的情感詞典，該方法使用簡單但局限性大。傳統(tǒng)基于機(jī)器學(xué)習(xí)的方法采用機(jī)器學(xué)習(xí)算法學(xué)習(xí)特征，性能上優(yōu)于情感詞典，但該方法依靠人工對(duì)文本特征進(jìn)行標(biāo)記，所需的人工成本高，而且人工標(biāo)注的主觀性也會(huì)影響分類的精度。基于深度學(xué)習(xí)的方法是機(jī)器學(xué)習(xí)算法的一個(gè)新興分支，目前多數(shù)研究通過使用深度神經(jīng)網(wǎng)絡(luò)構(gòu)建情感分類器，主流模型有卷積神經(jīng)網(wǎng)絡(luò)(CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和注意力機(jī)制網(wǎng)絡(luò)等。受人工神經(jīng)網(wǎng)絡(luò)模型的啟發(fā)，該方法可以自動(dòng)學(xué)習(xí)文本的語義特征，彌補(bǔ)傳統(tǒng)機(jī)器學(xué)習(xí)算法需人工干預(yù)特征的缺陷。然而，上述方法僅考慮了文本中的單個(gè)特征，對(duì)隱含在文本中的多角度和多關(guān)聯(lián)特征的提取不充分，信息在訓(xùn)練過程中容易出現(xiàn)遺漏。

針對(duì)上述問題，本文提出了一種結(jié)合ERNIE、DPCNN和BiGRU-Attention的雙通道情感分類模型。該模型利用ERNIE獲取文本映射向量，一方面通過DPCNN抽取文本長距離語義依賴；另一方面采用BiGRU對(duì)整體文本序列進(jìn)行時(shí)間建模，并引入注意力機(jī)制加強(qiáng)局部關(guān)鍵知識(shí)學(xué)習(xí)。實(shí)驗(yàn)結(jié)果表明，本文提出的融合模型在weibo_senti_100k和京東電商評(píng)論兩個(gè)數(shù)據(jù)集上提高了準(zhǔn)確率和宏平均值F1。

2 相關(guān)研究(Related research)

早期的情感分析方法分為兩類：基于情感詞典和基于機(jī)器學(xué)習(xí)的方法?；谇楦性~典的方法操作簡單，但難點(diǎn)在于構(gòu)造一個(gè)適用于各種領(lǐng)域的通用詞典。有不少學(xué)者嘗試突破這個(gè)局限，例如SIVASANKAR等[2]融合多領(lǐng)域數(shù)據(jù)集術(shù)語之間的上下文關(guān)系，提出了一種改進(jìn)的領(lǐng)域自適應(yīng)增強(qiáng)情感詞典。雖然該方法能夠增強(qiáng)不同領(lǐng)域間情感分析的準(zhǔn)確性，但是人工構(gòu)建的詞典仍然存在詞匯覆蓋度不足和分類精度不高等問題?；趥鹘y(tǒng)機(jī)器學(xué)習(xí)的方法主要包括K最近鄰(KNN)、樸素貝葉斯(NB)和支持向量機(jī)(SVM)等。馬文等[3]采用樸素貝葉斯算法對(duì)中文的評(píng)論分類進(jìn)行研究，文本分類的準(zhǔn)確率達(dá)到97.65%。然而，該方法依賴手動(dòng)選擇特征，需要采用人工干預(yù)獲取輸入文本的情感類別。

近年來，深度學(xué)習(xí)技術(shù)基于自動(dòng)特征選擇的特性，已經(jīng)發(fā)展為文本情感分類領(lǐng)域的主流方法，包括卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制網(wǎng)絡(luò)等。KIM[4]提出CNN模型用于文本語句情感分類研究并取得了不錯(cuò)的效果。KHAN等[5]利用CNN-LSTM架構(gòu)對(duì)羅馬烏爾都語和英語方言文本進(jìn)行情感分類，在四個(gè)語料庫上的大量測試表明，該混合結(jié)構(gòu)模型能夠提升情感分類的準(zhǔn)確率。GAO等[6]提出一種基于CNN模型和BiGRU網(wǎng)絡(luò)的混合模型用于短文本方面情感分析，實(shí)驗(yàn)結(jié)果表明改進(jìn)的CNN+BiGRU模型分類效果更好。注意力機(jī)制能夠使計(jì)算機(jī)讀取信息時(shí)選擇性地抓住重點(diǎn)，已成功應(yīng)用于機(jī)器視覺領(lǐng)域，因此許多研究者將其引入自然語言處理任務(wù)中。謝潤忠等[7]構(gòu)建了雙通道的注意力模型用于預(yù)測評(píng)論文本的情感極性。此外，基于CNN、RNN和注意力機(jī)制等的融合模型也被廣泛應(yīng)用。BHUVANESHWARI等[8]提出一種基于BiLSTM自注意的卷積神經(jīng)網(wǎng)絡(luò)(BAC)模型，使用CNN和BiLSTM自動(dòng)學(xué)習(xí)評(píng)論文本的分類特征，并應(yīng)用注意機(jī)制捕捉上下文重點(diǎn)信息。YANG等[9]融合了CNN和基于注意力的BiGRU模型用于文本情感分類，在約10萬條當(dāng)當(dāng)網(wǎng)的真實(shí)圖書數(shù)據(jù)集上進(jìn)行測試，實(shí)驗(yàn)結(jié)果表明該模型能夠顯著提高文本分類的性能。李衛(wèi)疆等[10]提出了一種融合多通道特征和自注意力的BiLSTM情感分類方法用于文本情感分析，在五個(gè)基線數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，得到較好的分類效果。沈彬等[11]提出一種基于知識(shí)增強(qiáng)語義表示和雙重注意力機(jī)制的微博情感分析模型，在兩個(gè)公開數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，得到較好的分類效果。本文融合基于知識(shí)增強(qiáng)語義表示的ERNIE模型和基于DPCNN、BiGRU-Attention的雙通道特征對(duì)評(píng)論文本進(jìn)行情感極性的預(yù)測。

3 ERNIE-DBGA模型(ERNIE-DBGA model)

本文設(shè)計(jì)的模型基于ERNIE和融合雙向DPCNN/BiGRU-Attention，縱向結(jié)構(gòu)分為五個(gè)層次：輸入層、預(yù)訓(xùn)練語言模型層、特征提取層、特征融合層和輸出層；橫向結(jié)構(gòu)分為兩個(gè)數(shù)據(jù)處理通道：左側(cè)為基于DPCNN網(wǎng)絡(luò)的通道，用于捕捉文本長距離依賴特征，右側(cè)為基于BiGRU網(wǎng)絡(luò)和注意力機(jī)制的通道，用于捕獲上下文時(shí)序特征和聚焦關(guān)鍵信息點(diǎn)，此外雙通道均采用預(yù)訓(xùn)練語言模型ERNIE完成文本的向量化表示。ERNIE-DBGA模型結(jié)構(gòu)如圖1所示。

圖1 ERNIE-DBGA模型結(jié)構(gòu)圖Fig.1 ERNIE-DBGA model framework map

3.1 輸入層

3.2 預(yù)訓(xùn)練語言模型層

ERNIE[12]模型是以自編碼語言模型(BERT)[13]為基礎(chǔ)建立的，相較于BERT，ERNIE能夠提取到更完整的語義知識(shí)信息。本文使用ERNIE作為語義表征模型，對(duì)掩蔽策略進(jìn)行了改進(jìn)。不同于BERT的單粒度掩蔽，ERNIE將訓(xùn)練數(shù)據(jù)中的短語和實(shí)體當(dāng)成一個(gè)整體單元統(tǒng)一掩蔽，這樣做的好處是模型在學(xué)習(xí)的時(shí)候不會(huì)遺漏任何的語料信息。ERNIE的內(nèi)部網(wǎng)絡(luò)由多層雙向變壓器(Transformer)的編碼器(Encoder)端堆疊而成。Encoder層包含self-attention層和feed-word network層兩部分。ERNIE的模型結(jié)構(gòu)如圖2所示。

圖2 ERNIE模型結(jié)構(gòu)圖Fig.2 ERNIE model framework map

3.3 特征提取層

對(duì)于文本序列的信息提取，本文構(gòu)建了兩個(gè)通道并行的模型結(jié)構(gòu)，減少了由于模型深度增加導(dǎo)致的梯度消失現(xiàn)象。左側(cè)為深層金字塔神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(DPCNN)提取文本遠(yuǎn)距離依賴信息，右側(cè)為引入注意力機(jī)制的雙向門控循環(huán)單元(BiGRUAtt)提取文本隱含的上下文關(guān)聯(lián)和重要信息。

3.3.1 DPCNN模型

DPCNN由JOHNSON[14]在自然語言處理(NLP)頂級(jí)會(huì)議中ACL 2017提出，該模型加深了CNN的網(wǎng)絡(luò)深度，但不會(huì)帶來太大的計(jì)算消耗。DPCNN模型結(jié)構(gòu)如圖3所示，首先將輸入的文本序列經(jīng)過卷積操作后轉(zhuǎn)化為區(qū)域嵌入層(Region embedding)，然后傳入由兩個(gè)固定卷積核的卷積函數(shù)構(gòu)成的卷積塊(block)中，接著輸入到增加了負(fù)采樣的重復(fù)卷積結(jié)構(gòu)中，最后通過最大池化層(max-pooling)進(jìn)行池化得到文本的向量表示V。

圖3 DPCNN模型結(jié)構(gòu)圖Fig.3 DPCNN model framework map

3.3.2 BiGRU模型

門控循環(huán)單元(GRU)是長短期記憶網(wǎng)絡(luò)(LSTM)的一種改進(jìn)模型。LSTM能夠有效緩解循環(huán)單元在處理長文本時(shí)產(chǎn)生的長期記憶和梯度消失問題，但模型結(jié)構(gòu)復(fù)雜、參數(shù)多及訓(xùn)練時(shí)間長?；诖?，CHO等[15]提出了一個(gè)更簡單的GRU模型。GRU將LSTM中的遺忘門和輸入門整合成一個(gè)更新門，結(jié)構(gòu)更輕盈，參數(shù)更少，處理相同任務(wù)時(shí)所需的時(shí)間成本更低。GRU的模型結(jié)構(gòu)如圖4所示。

圖4 GRU模型結(jié)構(gòu)圖Fig.4 GRU model framework map

單向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)GRU只能處理單向語義關(guān)系，本文使用的BiGRU模型結(jié)合了前向GRU和后向GRU，有利于評(píng)論文本深層次特征的提取，可以學(xué)習(xí)到更加完整的特征信息，獲得更好的分類效果。

3.3.3 注意力機(jī)制

注意力機(jī)制通過動(dòng)態(tài)分配權(quán)重衡量文本中字詞的重要程度，解決了傳統(tǒng)深度學(xué)習(xí)中將所有特征賦予相同權(quán)重的問題。本文在BiGRU模型的基礎(chǔ)上引入注意力機(jī)制，以期學(xué)習(xí)更多隱藏的重要信息。

3.4 特征融合層

特征融合層通過矩陣拼接方式將左側(cè)DPCNN模型生成的特征向量V1和右側(cè)BiGRUAtt模型生成的特征向量V2融合成一個(gè)矩陣，目的是保留雙通道的信息，最后生成融合全局的特征表示，計(jì)算表達(dá)式如下：

3.5 輸出層

輸出層采用softmax分類器進(jìn)行歸一化，將特征融合得到的語義信息V*輸入softmax層中進(jìn)行概率轉(zhuǎn)換，輸出獲得最大概率的情感極性，從而得到模型的預(yù)測結(jié)果，計(jì)算表達(dá)式如下：

其中，W為權(quán)重系數(shù)，b為偏置項(xiàng)，y為情感分類預(yù)測的最終結(jié)果。

3.6 模型訓(xùn)練

模型訓(xùn)練是深度學(xué)習(xí)的關(guān)鍵步驟，本文采用交叉熵?fù)p失函數(shù)(Binary Cross-entropy)以衡量輸出的真實(shí)結(jié)果與相應(yīng)預(yù)測結(jié)果的吻合程度，并通過反向傳播算法(BP算法)學(xué)習(xí)模型參數(shù)，計(jì)算表達(dá)式如下：

其中，yi表示輸出的真實(shí)情感結(jié)果，表示輸出的預(yù)測情感結(jié)果。

4 實(shí)驗(yàn)與分析(Experiment and analysis)

4.1 實(shí)驗(yàn)數(shù)據(jù)集

本文采用2 個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。

實(shí)驗(yàn)數(shù)據(jù)1：采用公開數(shù)據(jù)集weibo_senti_100k，該語料包含119，988 條帶情感分類標(biāo)簽的新浪微博評(píng)論文本，其中積極評(píng)論文本為59，993 條，消極評(píng)論文本為59，995 條。因?yàn)樯缃辉u(píng)論數(shù)據(jù)夾雜大量噪聲，這些無意義的數(shù)據(jù)會(huì)對(duì)分類結(jié)果產(chǎn)生影響，所以本文使用正則表達(dá)式匹配字符的方法對(duì)微博評(píng)論文本進(jìn)行數(shù)據(jù)清洗，清除URL、@人名和回復(fù)轉(zhuǎn)發(fā)微博等無實(shí)際意義的數(shù)據(jù)，以提高數(shù)據(jù)集的質(zhì)量。預(yù)處理后的數(shù)據(jù)集部分樣例如表1所示。

表1 部分?jǐn)?shù)據(jù)集樣本Tab.1 Partial data set samples

實(shí)驗(yàn)數(shù)據(jù)2：采用網(wǎng)絡(luò)爬蟲抓取京東商城中熱銷水果的評(píng)論文本，其中包括蘋果、橙子、梨、奇異果/獼猴桃和葡萄/提子五個(gè)品類。為了劃分情感極性便于后期的標(biāo)簽分類，將評(píng)論按照星級(jí)評(píng)分爬取，判定標(biāo)準(zhǔn)為4 星及以上為積極評(píng)論，2 星及以下為消極評(píng)論。此外，由于電商評(píng)論具有隨意性，存在少部分星級(jí)和評(píng)價(jià)內(nèi)容情感嚴(yán)重不符的數(shù)據(jù)，所以對(duì)這部分評(píng)論進(jìn)行人工打標(biāo)簽。此外，鑒于爬取的數(shù)據(jù)噪聲大，含有大量無意義和重復(fù)的評(píng)論，因此對(duì)評(píng)論文本進(jìn)行去重、過濾等數(shù)據(jù)清洗操作，最終獲取積極評(píng)論和消極評(píng)論各10，000條。預(yù)處理后的數(shù)據(jù)集部分樣例如表2所示。

表2 部分?jǐn)?shù)據(jù)集樣本Tab.2 Partial data set samples

本文將兩個(gè)數(shù)據(jù)集分別隨機(jī)打亂，劃分為訓(xùn)練集、驗(yàn)證集和測試集，三者評(píng)論文本的數(shù)量比例為8:1:1。數(shù)據(jù)集詳情如表3所示。

表3 兩個(gè)數(shù)據(jù)集詳情Tab.3 Details of two data sets

4.2 實(shí)驗(yàn)環(huán)境

本文使用Python作為模型實(shí)現(xiàn)語言，Pytorch作為實(shí)驗(yàn)框架，實(shí)驗(yàn)采用的環(huán)境配置如表4所示。

表4 實(shí)驗(yàn)環(huán)境配置Tab.4 Experimental environment configuration

4.3 實(shí)驗(yàn)參數(shù)

模型參數(shù)的選擇和設(shè)定會(huì)對(duì)分類的精度產(chǎn)生直接影響。本文采用小批量梯度下降法(Mini-batch Gradient Descent)進(jìn)行模型訓(xùn)練，采用Adam作為優(yōu)化器，并采用早停法(Early Stopping)避免過擬合。由傳統(tǒng)詞向量模型搭建的神經(jīng)網(wǎng)絡(luò)模型均采用中文詞向量(Chinese-Word-Vectors)提供詞向量，詞向量維度為300 維；學(xué)習(xí)率為1e-3，丟棄率為0.1；文本卷積神經(jīng)網(wǎng)絡(luò)(TextCNN)中卷積核尺寸為(2、3、4)，卷積核個(gè)數(shù)為256；RNN中隱藏層特征數(shù)為256，層數(shù)為2。由預(yù)訓(xùn)練語言模型搭建的神經(jīng)網(wǎng)絡(luò)模型中，ERNIE采用百度的ERNIE1.0-base中文預(yù)訓(xùn)練模型，BERT采用谷歌的BERT-base中文預(yù)訓(xùn)練模型。本文模型參數(shù)設(shè)置如表5所示。

表5 模型參數(shù)設(shè)置Tab.5 Model parameter setting

4.4 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

為了平衡情感類別對(duì)實(shí)驗(yàn)結(jié)果的影響，本文使用宏平均(Macro avg)下的精確率P(Precision)、召回率R(Recall)和F1 值(F1-score)及準(zhǔn)確率A(Accuracy)四個(gè)標(biāo)準(zhǔn)衡量情感分類模型的性能。計(jì)算表達(dá)式如下：

4.5 實(shí)驗(yàn)對(duì)比結(jié)果和分析

為了全面評(píng)估ERNIE-DBGA模型的性能，本文設(shè)置了四組對(duì)比實(shí)驗(yàn)。第一組實(shí)驗(yàn)對(duì)比情感分類任務(wù)中的經(jīng)典模型以驗(yàn)證本文模型的有效性；第二組實(shí)驗(yàn)比較不同詞向量模型對(duì)情感極性分類的影響；第三組實(shí)驗(yàn)檢驗(yàn)本文提出模型中各通道對(duì)分類結(jié)果的影響；第四組探究模型中迭代輪數(shù)對(duì)分類性能的影響。

4.5.1 情感分析模型對(duì)比實(shí)驗(yàn)

為了驗(yàn)證模型情感分類的性能，本文在兩個(gè)數(shù)據(jù)集上分別設(shè)置對(duì)比實(shí)驗(yàn)。其中，對(duì)比模型均采用Chinese-Word-Vectors提供詞向量。

TextCNN[4]：文本分類卷積神經(jīng)網(wǎng)絡(luò)，包括卷積層和最大池化層，通過捕捉文本中的重要信息指導(dǎo)情感極性預(yù)測。

LSTM[16]：長短時(shí)記憶網(wǎng)絡(luò)，采用門結(jié)構(gòu)和記憶單元對(duì)時(shí)間序列建模，學(xué)習(xí)文本的上下文交互關(guān)系。

GRU[15]：門控循環(huán)單元，在LSTM的基礎(chǔ)上優(yōu)化了內(nèi)部結(jié)構(gòu)，僅保留了兩個(gè)門單元但效果很好。

BiGRU[15]：雙向門控循環(huán)單元，使用前向和后向GRU網(wǎng)絡(luò)學(xué)習(xí)文本信息，最后將所得的向量拼接起來獲得最終特征表示。

TextRCNN[17]：循環(huán)卷積神經(jīng)網(wǎng)絡(luò)，應(yīng)用循環(huán)結(jié)構(gòu)獲取時(shí)序信息，并使用最大池化層壓縮文本特征以提取主要信息。

BiGRUAtt[18]：基于注意力機(jī)制的雙向門控循環(huán)單元，采用注意力機(jī)制動(dòng)態(tài)分配權(quán)重使模型能提取到更深層次的隱藏特征。

DPCNN[14]：加深的金字塔卷積神經(jīng)網(wǎng)絡(luò)，可以獲得文本的長距離依賴表示。

ERNIE-DBGA：本文模型。

表6呈現(xiàn)了本文提出的ERNIE-DBGA模型與情感分類任務(wù)中經(jīng)典模型的實(shí)驗(yàn)對(duì)比結(jié)果。從表6可以看出，ERNIEDBGA模型在數(shù)據(jù)集1和數(shù)據(jù)集2上的各項(xiàng)評(píng)價(jià)指標(biāo)均獲得最優(yōu)結(jié)果。相比TextCNN、LSTM、GRU、BiGRU、TextRCNN、DPCNN和BiGRUAtt模型，ERNIE-DBGA模型在數(shù)據(jù)集1上的宏平均F1值和準(zhǔn)確率A都相應(yīng)提高了1.36%、0.99%、0.91%、0.87%、0.56%、0.82%和0.66%，在數(shù)據(jù)集2上的宏平均值F1和準(zhǔn)確率A都相應(yīng)提高了2.35%、2.35%、2.20%、1.95%、1.56%、2.25%和1.70%。由此可以看出，相比當(dāng)前情感分類任務(wù)中的經(jīng)典模型，本文所提模型情感分類性能更佳，表明了本文模型構(gòu)建的有效性。

表6 不同情感分類模型的對(duì)比結(jié)果Tab.6 Comparison results of different sentiment classification models

4.5.2 詞向量模型對(duì)比實(shí)驗(yàn)

為了探究不同詞向量模型對(duì)分類性能的影響，本文在兩個(gè)數(shù)據(jù)集上分別設(shè)置對(duì)比實(shí)驗(yàn)。

W2V-DBGA模型：采用詞嵌入模型(Word2Vec)靜態(tài)詞向量模型作為嵌入層，然后輸入雙通道DBGA模型中訓(xùn)練。

BERT-DBGA模型：采用BERT動(dòng)態(tài)預(yù)訓(xùn)練語言模型作為嵌入層，然后輸入雙通道DBGA模型中訓(xùn)練。

ERNIE-DBGA模型：本文模型。

基于不同詞向量模型的實(shí)驗(yàn)對(duì)比結(jié)果如表7所示。相比靜態(tài)詞向量模型Word2Vec，動(dòng)態(tài)預(yù)訓(xùn)練語言模型BERT采用基于注意力機(jī)制的雙向Transformer編碼器，結(jié)合上下文語境生成動(dòng)態(tài)向量表示，有效解決了Word2Vec中存在的一詞多義問題。從表7可以看出，BERT-DBGA模型比W2V-DBGA模型在數(shù)據(jù)集1和數(shù)據(jù)集2上的四項(xiàng)評(píng)價(jià)指標(biāo)結(jié)果均有所提高，說明了融合文本全局知識(shí)的動(dòng)態(tài)詞向量模型較靜態(tài)詞向量模型而言，提取到的詞向量蘊(yùn)含更豐富的特征表示。為了進(jìn)一步獲取更完整的語義信息，本文采用同為動(dòng)態(tài)預(yù)訓(xùn)練語言模型的ERNIE作為嵌入層。相比于BERT，ERNIE增加了先驗(yàn)語義知識(shí)單元，通過對(duì)文本中的句法和詞法結(jié)構(gòu)學(xué)習(xí)建模，充分吸收了序列中的知識(shí)信息，實(shí)驗(yàn)結(jié)果得到顯著提升。

表7 不同詞向量模型的對(duì)比結(jié)果Tab.7 Comparison results of different word vector models

4.5.3 各通道模型對(duì)比實(shí)驗(yàn)

為了檢驗(yàn)?zāi)Ｐ椭懈鱾€(gè)通道對(duì)模型性能的影響，本文在兩個(gè)數(shù)據(jù)集上分別設(shè)置對(duì)比實(shí)驗(yàn)。

ERNIE-D模型：基于ERNIE的左側(cè)單通道DPCNN模型。

ERNIE-BGA模型：基于ERNIE的右側(cè)單通道BiGRUAtt模型。

ERNIE-DBGA模型：本文模型。

基于不同通道模型的實(shí)驗(yàn)對(duì)比結(jié)果如表8所示。從表8可以看出，相比單通道的ERNIE-D模型和ERNIE-BGA模型，本文所提出的雙通道情感分類模型ERNIE-DBGA在數(shù)據(jù)集1和數(shù)據(jù)集2上的各項(xiàng)評(píng)價(jià)指標(biāo)均得到提升。相比左通道ERNIE-D模型，ERNIE-DBGA模型在右側(cè)引入了由BiGRU網(wǎng)絡(luò)和注意力機(jī)制相結(jié)合的模型，可以額外提取到文本中的時(shí)間序列特征和關(guān)鍵知識(shí)特征，有助于進(jìn)一步挖掘更深層次的潛在語義信息，進(jìn)而使分類性能得到提升。相比右通道ERNIE-BGA模型，ERNIE-DBGA模型在左側(cè)引入了DPCNN模型，可以額外提取到文本中的遠(yuǎn)距離依賴特征，有利于捕獲文本中連續(xù)豐富的知識(shí)信息，所以分類結(jié)果更佳。綜上所述，基于雙通道的ERNIE-DBGA模型結(jié)合了兩個(gè)通道模型的優(yōu)點(diǎn)，能夠有效獲取文本中多種關(guān)聯(lián)特征，在一定程度上提高情感分類的性能。

表8 各通道模型的對(duì)比結(jié)果Tab.8 Comparison results of each channel model

4.5.4 迭代次數(shù)(Epoch)取值實(shí)驗(yàn)

迭代次數(shù)是模型訓(xùn)練過程中一個(gè)重要參數(shù)，它的取值將直接影響分類的準(zhǔn)確率。本實(shí)驗(yàn)在保持其他參數(shù)不變的情況下改變訓(xùn)練輪數(shù)，通過觀察模型準(zhǔn)確率的變化確定最適合本文的迭代次數(shù)。

從圖5可以看出，epoch取值的變化會(huì)對(duì)分類的準(zhǔn)確率產(chǎn)生影響。隨著epoch取值增加，模型準(zhǔn)確率呈上升趨勢；當(dāng)epoch=3時(shí)，準(zhǔn)確率達(dá)到最優(yōu)值97.05%；當(dāng)epoch取值持續(xù)增加時(shí)，模型準(zhǔn)確率緩慢下滑后又小幅上升，最后準(zhǔn)確率在96.5%上下小幅波動(dòng)，趨于平穩(wěn)。由此可以看出，合適的epoch取值能有效提升分類的準(zhǔn)確性，考慮到計(jì)算的復(fù)雜度和時(shí)間成本等因素，本文將epoch設(shè)置為3。

圖5 不同迭代次數(shù)的對(duì)比結(jié)果Fig.5 Comparison results of different iterations

5 結(jié)論(Conclusion)

針對(duì)文本情感分類任務(wù)中傳統(tǒng)語言模型無法充分獲取整體情境語義信息，以及傳統(tǒng)深度學(xué)習(xí)模型未能有效提取文本序列中多類關(guān)聯(lián)信息等問題，提出了一種基于動(dòng)態(tài)預(yù)訓(xùn)練語言模型和雙通道融合的文本情感分類模型ERNIE-DBGA。該模型采用ERNIE作為嵌入層，學(xué)習(xí)文本知識(shí)信息，增強(qiáng)了模型獲得深層語言表征的能力，同時(shí)，構(gòu)建了基于DPCNN和BiGRUAtt的并行神經(jīng)網(wǎng)絡(luò)模型以提取和融合文本中長期語境信息、上下文狀態(tài)信息和局部重點(diǎn)知識(shí)信息，最后采用Softmax分類器實(shí)現(xiàn)文本情感分類。本文設(shè)計(jì)了情感分類任務(wù)中的經(jīng)典方法對(duì)比、不同詞向量工具對(duì)比、各通道模型對(duì)比和迭代次數(shù)取值四組實(shí)驗(yàn)，在兩個(gè)數(shù)據(jù)集weibo_senti_100k和京東電商評(píng)論上檢驗(yàn)?zāi)Ｐ偷挠行?，?shí)驗(yàn)結(jié)果表明本文提出的雙通道文本情感分類模型具有更好的分類性能。在未來的工作中考慮進(jìn)一步研究文本情感多標(biāo)簽分類，并不斷優(yōu)化算法模型，以提高模型分類的準(zhǔn)確率和泛化能力。