李亞飛，張 璞，史歡歡

(河北政法職業(yè)學(xué)院，河北 石家莊 050046)

0 引言

隨著時代的進(jìn)步和社會的快速發(fā)展，截止到2021年12月，中國網(wǎng)民數(shù)量已達(dá)9.89億，互聯(lián)網(wǎng)成為了公眾發(fā)表意見的重要平臺，微博、博客、論壇、新聞等網(wǎng)絡(luò)應(yīng)用已經(jīng)成為社會生活中最大的民意網(wǎng)站。隨著傳統(tǒng)門戶網(wǎng)站和新媒體平臺的爆炸式發(fā)展，公眾參與網(wǎng)絡(luò)互動的熱情和參與度突飛猛進(jìn)。因此，用戶產(chǎn)生了大量有價值的、帶有主觀意見的公共信息，同時這些信息會影響事件的發(fā)展，我們可以了解公眾輿論對某項政策、事件或產(chǎn)品的態(tài)度和意見，提取民意趨勢，準(zhǔn)確收集民眾意見，把握趨勢，幫助政府和企業(yè)做出及時有效的決策。

然而，傳統(tǒng)的情感分析技術(shù)中基于文本統(tǒng)計信息和知識詞典的特征提取方法只考慮了詞與詞之間的形態(tài)聯(lián)系，往往忽略了很多內(nèi)涵信息。對于需要考慮深層含義的輿論信息，很難做出感性的判斷。深度學(xué)習(xí)通過構(gòu)建非線性多層網(wǎng)絡(luò)結(jié)構(gòu)來學(xué)習(xí)復(fù)雜函數(shù)[1]，證實了深度學(xué)習(xí)在自然語言處理中的有效性，并驗證了學(xué)習(xí)深層結(jié)構(gòu)化語義信息的能力。

1 基于深度學(xué)習(xí)的輿情分析

深度學(xué)習(xí)模擬人類大腦進(jìn)行分析和學(xué)習(xí)，通過多層非線性網(wǎng)絡(luò)的疊加模型，將數(shù)據(jù)轉(zhuǎn)化為高層次、抽象的特征表達(dá)式。該方法已成功地應(yīng)用于圖像處理和語音識別，為情感分類提供了新的思路。基于深度學(xué)習(xí)的方法主要分為兩個步驟：首先將需要分類的評論預(yù)料表示為語義詞向量；其次，利用不同的語義合成方法，得到與之相對應(yīng)的句子或文檔的特征表達(dá)式，最后通過深度神經(jīng)網(wǎng)絡(luò)提取情感特征，采用不同的融合方式進(jìn)行情感分析。Glorot等人[2]將深度學(xué)習(xí)方法應(yīng)用于大規(guī)模在線評論的情緒分析，通過提取更深層次的文本表達(dá)特征，大大提高了文本表達(dá)的準(zhǔn)確性。Mikolov等人[3]對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了優(yōu)化，提出了RNN。通過重復(fù)使用隱藏層，與新增的時間信息共同計算新的隱藏層。因此，隱藏層包含了所有的上下文語義信息，減少了參數(shù)，降低了復(fù)雜性。Sundermeyer等人[4]在2012年解釋了如何使用 LSTM（Long-Short-Term Memory Recurrent Neural Network）構(gòu)建語言模型，該模型可以解決文本內(nèi)容的遠(yuǎn)程依賴問題。Liu等人[5]在2015年使用不同長度和時間步長的 LSTM 進(jìn)行情感分類。Kim[6]在 2014年使用 CNN對預(yù)處理后的單詞向量進(jìn)行分類，獲得了較高的分類精度。Lee[7]使用CNN和RNN將文本發(fā)送給ANN進(jìn)行分類。長短時記憶（LSTM）算法作為一種特殊的遞歸神經(jīng)網(wǎng)絡(luò)（RNN）在情緒分析方面表現(xiàn)出色。例如，Pathak等人提出了一種基于深度學(xué)習(xí)的主題級情感分析模型，該模型采用了包含正則化約束的在線潛在語義索引和主題級注意機(jī)制的 LSTM網(wǎng)絡(luò)[8]。Barachi等人使用雙向LSTM從大量關(guān)于氣候變化的在線帖子中提取多種情緒[9]。Agüero-Torales等人對相關(guān)問題進(jìn)行了很好的綜述[10]。他們發(fā)現(xiàn)，隨著解決更困難的情感分析任務(wù)需求的增加，需要具有更精細(xì)架構(gòu)的深度學(xué)習(xí)算法。

LSTM廣泛應(yīng)用的同時也在不斷更新，Cho[11]等人構(gòu)建的GRU單元在很多問題上有著和LSTM相似的表現(xiàn)而結(jié)構(gòu)更加簡化。Yao[12]等人則為改進(jìn)傳統(tǒng) RNN結(jié)構(gòu)提供了更多思路方法，實現(xiàn)了Depth Gated RNN模型。Hinton[13]等人首次提出了深度學(xué)習(xí)的概念，認(rèn)為深層神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力很強(qiáng)且通過逐層初始化的方法克服了訓(xùn)練的難度，激發(fā)了學(xué)者們對深度學(xué)習(xí)的研究熱情，之后深度學(xué)習(xí)被廣泛應(yīng)用到自然語言處理領(lǐng)域。Lecun[14]等提出了用于文本分類任務(wù)的CNN卷積神經(jīng)網(wǎng)絡(luò)，CNN具有多層網(wǎng)絡(luò)結(jié)構(gòu)，也是深度學(xué)習(xí)領(lǐng)域首個訓(xùn)練成功的算法。國外的研究學(xué)者們通過對深層神經(jīng)網(wǎng)絡(luò)不斷地改進(jìn)，優(yōu)化了多種變體結(jié)構(gòu)，推進(jìn)了深度學(xué)習(xí)的研究。如Socher R分別提出了遞歸自編碼 RAE模型、Matrix-Vector RNN模型、RNTN模型，RNTN模型[15]，采取減少參數(shù)總量的方式，具體方法是按線性變換的規(guī)則處理若干分量，在坐標(biāo)變換的環(huán)節(jié)引進(jìn)張量，從而優(yōu)化了性能效果；Socher R[16]之后在RNN單元結(jié)構(gòu)中引入門機(jī)制并進(jìn)行文本分類實驗，克服了梯度消失的問題，并將改進(jìn)后的結(jié)構(gòu)稱為LSTM；但 LSTM 對于輸入信息的處理是從序列第一個開始，而不能從最后一個往前記憶，為解決LSTM單層結(jié)構(gòu)不擅長處理反向序列信息的問題，Brueckner R[17]引入LSTM反向?qū)舆B接LSTM正向?qū)?，設(shè)計對比實驗表明了雙層模型更擅長前后文的特征提取。Ghosh S[18]等人為強(qiáng)化模型對文本的信息提取，受到特征融合理念的啟發(fā)，考慮詞匯的外部情感因素并結(jié)合LSTM算法，從而提高了分類效果。Yoon Kim[19]等人基于CNN在圖像領(lǐng)域的應(yīng)用，提出并構(gòu)建了改進(jìn)的卷積網(wǎng)絡(luò)并用于文本分類任務(wù)，以預(yù)訓(xùn)練的英文單詞向量作為單通道輸入，得到的 Text-CNN在英文語料庫的表現(xiàn)較好，但不擅于學(xué)習(xí)更復(fù)雜情境下的語意和表征，且在面對中文領(lǐng)域的情感判別問題上仍需改進(jìn)。國內(nèi)也有一些研究學(xué)者們著手對深度學(xué)習(xí)情感分類模型展開了研究。梁軍[20]等人拋棄傳統(tǒng)的人工決定特征的方式，將 RAE模型和深度學(xué)習(xí)模型相結(jié)合進(jìn)行分類實驗，由實驗結(jié)果發(fā)現(xiàn)模型對特征的提取和學(xué)習(xí)的性能得到了優(yōu)化，從一定程度上對情感判別處理做出了改進(jìn)。之后梁軍[21]等人引入情感極性轉(zhuǎn)移模型提取詞匯和語句兩者之間前后的聯(lián)系，并結(jié)合LSTM特征提取的優(yōu)勢，提高了情感分析的效果，從而有效完成對微博中文文本的情感識別任務(wù)。唐都鈺[22]等人結(jié)合了幾種神經(jīng)網(wǎng)絡(luò)模型進(jìn)行文檔分類任務(wù)，利用卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)句子表示，用門控循環(huán)神經(jīng)網(wǎng)絡(luò)GRU學(xué)習(xí)文檔表示，經(jīng)過實驗結(jié)果和分析驗證，CNN和LSTM結(jié)合的模型在文檔分類任務(wù)上取得了不錯的效果。劉龍飛[23]基于 CNN詞向量原始特征的選取上做了相關(guān)工作，采用字級別和詞級別兩種方式，嘗試解決微博的情感分析判別問題，在COAE2014語料集上取得了較高的準(zhǔn)確率。何炎祥[24]等人研究微博文本的情感分析，輸入層結(jié)合了中文詞和表情符號兩者的情感因素進(jìn)行考量，提出 EMCNN模型，相比于傳統(tǒng)CNN，EMCNN對情感特征的選取更豐富，更適用于解決微博文本領(lǐng)域的情感分類問題。同年龐亮[25]等人在解決文本匹配任務(wù)時，選取了三個經(jīng)典數(shù)據(jù)集，涉及的領(lǐng)域分別是問題陳述、自動問答和信息搜索，通過若干種文本匹配模型之間的對比分析，列舉出各自的優(yōu)勢和不足，最后分析與展望了深度文本模型的發(fā)展前景。

李洋[26]等人提出將CNN和BILSTM兩種算法相結(jié)合，對于文本對應(yīng)的詞向量，首先建立CNN對其局部表征更有效地提取，而文本的全局特征則采用BILSTM更好地記憶上下文信息，之后結(jié)合兩種互補(bǔ)的情感分類方法提取的特征，通過對比在兩種數(shù)據(jù)集上的實驗結(jié)果，這種特征融合的方法對提升文本分類的準(zhǔn)確率起到了很大作用。之后王麗亞[27]等人提出了 CNN-BILSTMAttention網(wǎng)絡(luò)結(jié)構(gòu)用于處理情感極性分析任務(wù)，也就是在深層網(wǎng)絡(luò)的最后加入注意力機(jī)制。CNN的優(yōu)點(diǎn)在于處理局部特征提取任務(wù)時，對詞向量表征的學(xué)習(xí)性能和提取能力更強(qiáng)，而BILSTM更擅長于處理文本前后文相關(guān)信息的表征提取，最后為了進(jìn)一步提升文本分類的效果，加入了注意力機(jī)制。通過實驗結(jié)果驗證，增加了attention層的模型在重要特征的提取方面表現(xiàn)更好，分類效果也更準(zhǔn)確。

前不久Google開源的BERT——Bidirectional Encoder Representations from Transformers深度學(xué)習(xí)模型，在應(yīng)用于自然語言處理領(lǐng)域若干問題上的表現(xiàn)，普遍刷新了最好記錄，從而成為NLP領(lǐng)域的研究主流。楊晨[28]等人在BERT的基礎(chǔ)上，加入情感詞典改進(jìn)了預(yù)訓(xùn)練任務(wù)的效果，并且基于上下文詞的細(xì)粒度側(cè)重對文本偏向情感的特征學(xué)習(xí)，通過對多個流行數(shù)據(jù)集進(jìn)行實驗對比，比傳統(tǒng)BERT模型取得了更先進(jìn)的成果。史振杰[29]等人提出BERT和CNN相結(jié)合的網(wǎng)絡(luò)模型，句子語義的表達(dá)借助BERT模型得出文本向量，采用CNN對句子的局部特征進(jìn)行抽取，實驗數(shù)據(jù)集選取有標(biāo)簽的電商評論數(shù)據(jù)集，并取得了較好的性能?？爸救篬30]等人則是將BERT與雙向LSTM相結(jié)合，克服了傳統(tǒng)語言模型不能很好的利用詞向量表達(dá)詞語的多義性的缺點(diǎn)，基于微博文本數(shù)據(jù)上的情感傾向性對比實驗得到了91.45%的F1值，優(yōu)于主流的情感分析模型。

2 結(jié)論

現(xiàn)如今社交網(wǎng)絡(luò)平臺十分發(fā)達(dá)，社交媒體上有海量用戶發(fā)布信息數(shù)據(jù)，為網(wǎng)民社交輿情情感分析提供了大量數(shù)據(jù)基礎(chǔ)，通過對數(shù)據(jù)的篩選、分類、標(biāo)準(zhǔn)化等方法之后，提煉出信息中所包含的輿情情感，對這些情感進(jìn)行分類標(biāo)記，從而實現(xiàn)對網(wǎng)絡(luò)中輿情的產(chǎn)生、傳播、發(fā)展的監(jiān)控，可以有效的了解民眾對于企業(yè)產(chǎn)品的使用體驗和企業(yè)品牌的情緒，對于企業(yè)個性化營銷和公司品牌推廣有著指導(dǎo)性的意見。同時，對網(wǎng)絡(luò)信息中所包含的網(wǎng)民情緒的提取和分析，能夠及時有效的獲取到網(wǎng)民對于當(dāng)前政策法規(guī)的滿意度，幫助政府深度挖掘公民對于政府的輿情情感，為政府制定相關(guān)政策、出臺相關(guān)法規(guī)、提供公民輿情情感的參考和建議具有十分重要的意義，未來在企業(yè)個性化營銷、企業(yè)品牌推廣等方面也將具有廣闊的應(yīng)用前景。