翟 寧，韓國勝

(湘潭大學 數(shù)學與計算科學學院，湖南 湘潭 411105)

0 引言

突發(fā)性公共安全風險的爆發(fā)及其衍生事件對社會經(jīng)濟發(fā)展、國民身心健康乃至社會穩(wěn)定都會產(chǎn)生重大影響.病毒災難作為一種公共衛(wèi)生事件，往往伴隨著周期性的疫情暴發(fā)特征，具有很強的隨機性和不確定性，對公眾的健康和生活構成了嚴重威脅，更有可能引發(fā)大范圍的網(wǎng)絡輿情.自2019年底新冠疫情在我國首次暴發(fā)以來，我國防控疫情的腳步一直沒有停歇，迄今為止，又陸續(xù)出現(xiàn)了幾次小規(guī)模疫情的暴發(fā)[1].目前，我國雖然已經(jīng)研發(fā)出可以預防新冠病毒的疫苗，但仍無法完全預防其他新冠病毒的變種病毒，威脅依然存在，這表明該病毒具有高度傳染性、突發(fā)性、異質(zhì)性和難以控制性[1].因此其在我國乃至國際公眾中均形成了較大的反響，影響極為深重.

疫情期間，網(wǎng)絡成為人們獲取及發(fā)布信息的首選，國內(nèi)主流社交媒體已經(jīng)成為公眾進行信息交流的主要工具，吸引了包含普通大眾、官方機構、網(wǎng)絡大V等多方群體的參與.由人民網(wǎng)數(shù)據(jù)中心對疫情輿情的監(jiān)控可知，僅僅2021年2月15日至16日期間，有關疫情的微博輿論數(shù)量就達到 144 023 條，對于重點熱門話題“今日湖北死亡人數(shù)”的閱讀量，達到了驚人的11.3億，公眾對疫情的發(fā)展趨勢與走向保持高度的關注[2].與此同時，某些網(wǎng)民的無根據(jù)、不真實的消極言論往往會干擾公眾對疫情的判斷，甚至在社會上引起不必要的恐慌，造成社會不同程度的動亂[3].通過研究微博、知乎等典型大眾社交媒體中的輿論話題，并挖掘其對應的情感特點，可以幫助政府、企業(yè)和其他有關組織及時出臺針對突發(fā)事件的對策，正確判斷公眾的情緒變化以及信息需求，然后做出快速和及時的反應，進行有針對性的宣傳、溝通、情感慰藉和教育活動，從而減少公眾由于信息不足或不準確造成的不必要恐慌，有效減少疫情災害造成的意外損失，為社會安全和國家公共安全提供有力保障，進一步推進突發(fā)公共輿論事件的科學管理[4].因此，通過對疫情輿論情感進行分類研究，可以為有關部門獲悉此類公共安全的輿論走向，并及時采取控制引導措施提供重要參考，有利于維持公共秩序和社會輿情的穩(wěn)定.

基于此，本文主要針對新冠病毒的突發(fā)性和異質(zhì)性， 應用爬蟲技術對特定的微博評論內(nèi)容進行爬取分析，并基于BERT的雙通道情感識別模型構建疫情下微博網(wǎng)絡輿情情感分類系統(tǒng)，挖掘疫情輿論下政府、公眾和媒體之間的關系，在極端公共衛(wèi)生事件下，為組織建設、平臺建議以及輿論引導等提供有力支持.

1 研究概況

早期的自然語言處理中的情感分析通常采用機器學習的相關研究成果，利用有監(jiān)督的數(shù)據(jù)進行學習，對上下文信息提取，完成文本處理和分析.Pang等[5]在對電影影評進行情感分類時，開始使用SVM、最大熵和樸素貝葉斯等方法，并證明了SVM的分類效果比其他二者要好.Jain等[6]構建了融合貝葉斯和決策樹的情感分類系統(tǒng)，對社交平臺上的評論進行分析，提高了分類準確率.張月梅[7]為了解決大量的文本數(shù)據(jù)會耗費大量人工的問題,提出了結合K近鄰算法與隨機森林，來實現(xiàn)文本的自動分類.實驗結果證明,與傳統(tǒng)的分類相比，該模型對文本的情感分類效果更佳.李開榮等[8]在考慮到前后向依賴的同時，對隱馬爾可夫模型進行改進，提高了文本分類的準確性.一般情況下，運用機器學習的方法進行情感分析能達到較好的效果，但是通常是依托大型語料庫，在實際應用中，往往難以達到滿意的效果.

隨著計算科學的進一步發(fā)展，深度學習開始出現(xiàn)，并逐漸在文本及情感分類領域發(fā)揮重要的作用[9].近幾年來，深度學習領域的技術不斷創(chuàng)新發(fā)展，能夠?qū)崿F(xiàn)對數(shù)據(jù)特征的自動抓取，在眾多的文本分類及預測任務中獲得了非常不錯的效果.Liu等[10]將LSTM與時間卷積網(wǎng)絡組合，利用分層結構從上下文提取信息.Denil等[11]構建基于CNN模型的多層次結構，增強模型對文本中關鍵特征的識別能力.謝鐵等[12]通過深度遞歸神經(jīng)網(wǎng)絡，對短文本進行情感信息提取，進行5種情感的分類，取得了較高的準確率.Zhou等[13]結合了CNN和RNN，用CNN提取分布特征因素，RNN提取序列特征因素，用于文本的情感分類.李然[14]在對商品相關評論的數(shù)據(jù)集進行情感分類時，將深度學習引用到情感分類判別過程中，利用神經(jīng)網(wǎng)絡模型實現(xiàn)了更好的分類性能.

隨著BERT模型的出現(xiàn)，給情感分類領域帶來了新的發(fā)展機遇，BERT自注意力的優(yōu)點引起業(yè)界的廣泛關注，將其當做 embedding層接入到其他主流模型成為處理文本任務的一種新趨勢.BERT模型最早是由Jacob等[15]提出的，利用MLM及Next-Sentence技術進行預訓練，在11項文本任務上取得了state-of-the-art的成果；史振杰等[16]將BERT與CNN相結合，抽取文本語義信息，在京東某手機評論數(shù)據(jù)上進行文本的分類任務.劉思琴等[17]提出基于BERT預訓練語言模型與BiLSTM及Attention機制相結合的神經(jīng)網(wǎng)絡模型進行文本情感分析,并將模型在sst數(shù)據(jù)集上加以驗證.姚妮等[18]，將BERT和BiGRU進行結合，提出的情感分類模型，緩解了在線評論文本情感分類準確性的問題.本文就是在以上研究的基礎上，提出基于BERT模型的雙通道情感分類識別模型，進一步提升對文本情感分類的準確性.

2 基于BERT的雙通道文本情感分類模型

2.1 整體模型

基于 BERT 的雙通道文本情感分類模型(two channel emotion classification model based on BERT，TCECMB)主要分為4個層次：輸入層、文本表示層、特征抽取層、融合層及包含softmax在內(nèi)的模型輸出層.其中，特征抽取層由TextCNN和BiLSTM-BiAttention兩個特征抽取通道組成.其模型結構如圖1所示.模型TCECMB利用BERT模型作為文本表示模型，來緩解中文文本中一詞多義的問題.然后將文本表示同時輸入到通道一和通道二中，利用兩個通道中的模型來抓取多層次、多維度的語義信息.由于本文是利用字向量進行建模，往往會造成前后文的語義割裂，基于此，在通道一中利用多層次TextCNN網(wǎng)絡，緩解這一問題.通過4個層級不同的卷積核，對不同層次的特征表達進行提取，并將所得結果進行拼接，然后輸入至全連接網(wǎng)絡，從而提取最終語義特征.同時，為了解決文本過長導致的前后文信息提取困難的問題，本文設計了通道二，將雙向長短時記憶網(wǎng)絡(BiLSTM)與二層線性映射的自注意力模型進行拼接，有效抓取前后文關鍵信息，提升模型訓練效果.首先，將自左向右進行信息提取的LSTM神經(jīng)元的隱藏層和自右向左進行信息提取的LSTM神經(jīng)元的隱藏層進行拼接，由此得到一個雙向的長短時記憶網(wǎng)絡.然后，將BERT處理好的文本表示輸入到搭建好的BiLSTM網(wǎng)絡中，并通過一個兩層線性投射的注意力機制抓取關鍵特征，進行加權輸出.最后，連接一個全連接層，來獲取降維后的語義信息.在輸出階段，將兩邊模型產(chǎn)生的包含語義信息的特征向量通過全連接的方式進行拼接，將多維度文本特征有機地融合；接著，將拼接好的特征向量輸入至 softmax 層中，得到最終的文本的情感類別.

2.2 輸入層與文本表示層

由于計算機無法直接識別文本內(nèi)容，我們將文本輸入模型之前，首先要做的就是將文本向量轉化成計算機能夠識別的編碼向量，這一過程就是文本表示的過程.近些年來在自然語言處理任務中比較常見的中文文本表示方式，如Word2Vec[19]、Doc2Vec[20]等，雖然已經(jīng)有充足的理論基礎和大量的應用案例支持，但這些傳統(tǒng)的編碼模型在處理中文評論文本時通常存在一些局限性，如中文文本中會不可避免地出現(xiàn)一詞、一字多義等語言歧義問題，傳統(tǒng)的文本表示模型很難兼顧這些問題.為了改善這些問題，在TCECMB模型中利用BERT模型對文本進行預訓練，充分考慮上下文信息的關聯(lián)，從字向量層面來進行.同時，BERT 模型在執(zhí)行下游具體文本情感分類任務時，可以根據(jù)不同任務特點對模型參數(shù)進行適當?shù)奈⒄{(diào)，從而獲得全局不唯一的字向量編碼.

中文評論中往往存在大量的一詞多義問題，對情感分類任務造成很大干擾.采用傳統(tǒng)的全局統(tǒng)一的詞向量或字向量的方法無疑會加劇這一問題.為解決這一問題，以往的方法是通過引入外部知識，同時對多文本表達模型進行多方位融合來改善一詞多義問題，但這樣做往往又會帶來訓練效率降低的弊端.因此，在本文提出的TCECMB模型中，選擇運用BERT 模型作為文本表示工具.一方面，運用BERT模型進行訓練，可以得到全局不唯一的字向量表達.另一方面，基于字粒度層級的訓練模式，也方便對模型進行必要且合理的后續(xù)調(diào)節(jié).

在模型的輸入層，對輸入的中文文本做預處理，去除特殊符號及標點等，不需要做分詞處理.對文本進行Token Embedding、Segment Embedding以及Position Embedding，并在轉化好的編碼向量前插入標簽[CLS] ，末尾插入[SEP]，分別作為同一句子的開端與結尾，對句子進行分割，這一流程具體如圖2 所示.然后將文本編碼向量輸入BERT 模型，模型利用文本的上下文信息，以及結合訓練過程中不同的下游任務目標，將原始字向量調(diào)整為最終的輸出序列向量.

BERT 模型的結構如圖3所示.E與T分別表示模型輸入與最終的文本表示，中間的Trm表示 Transformer 編碼器，BERT模型是由多層雙向Transformer 編碼器堆疊組合，并利用類似全連接網(wǎng)絡的輸入方式，完成對輸入文本的雙向建模.

Transformer 編碼器是由多頭注意力機制組成，能夠?qū)崿F(xiàn)并行運算，其公式如下:

(1)

headi=Attention(QWiQ,KWiK,VWiV)，

(2)

Multihead(Q,K,V)=concat(headi)WC

(3)

式中：Q、K、V分別表示輸入向量，將其分別進行線性變換后，得到新的矩陣WiQ,WiK,WiV；d表示輸入信息的向量維度；WC表示Multihead的映射向量.

對于輸入的文字向量，Transformer編碼器采用位置編碼進行序列表示，其表示原理如下:

PE(pos,2i)=sin(pos/100002i/dmodel),

(4)

PE(pos,2i+1)=cos(pos/100002i/dmodel).

(5)

式中：i表示位置向量的索引值；pos表示詞語在文本向量中的位置；dmodel表示文本表示向量的維度.

為了加速模型的收斂速率，Transformer 編碼器將殘差進行了連接，并且進行層歸一化，具體計算過程見公式:

L=LayerNorm(Y+W),

(6)

式中：Y代表輸入文本序列；W代表輸入序列X經(jīng)過多頭注意力函數(shù)處理后的特征；LayerNorm函數(shù)則表示對Y與W進行層歸一化處理的過程.

2.3 基于BERT的特征抽取層

2.3.1 通道一：TextCNN 提取關鍵詞特征BERT模型雖然具有強大的功能，但在對獲得的句向量進行直接情感分類時還是存在局限性，這種局限主要體現(xiàn)在兩個方面：一是BERT模型對句向量處理中包含了人稱代詞、助詞等無關字符，使文本表示中存在大量噪聲；二是BERT 模型訓練獲得的句向量維度過高，會降低下游任務的訓練效率.針對以上提到的兩個問題，本模型充分利用了 TextCNN 本身的特點，抽取文本關鍵特征，并對特征進行降維.

卷積神經(jīng)網(wǎng)絡在計算機視覺領域取得了很好的成果，我們同樣可以借助其優(yōu)良的性能，對文本分類任務做一些改進.通常來說，TextCNN在結構上與CNN并無差異，都是由輸入層、多重卷積層、池化層、全連接層和輸出層構成，主要的區(qū)別在于由于TextCNN是處理文本任務，由于文本形式的特殊性，其卷積方式是采用一維卷積，卷積核寬度與詞向量維度一致.TextCNN 的具體網(wǎng)絡結構見圖 4.

在本模型中，首先將BERT模型處理好的文本表示向量B={H1,H2,...,Hn}作為輸入向量輸入到TextCNN卷積層中進行卷積操作，設卷積核長度為m(m=3,4,5,6),滑動步長為1，則文本表示向量可以分為{H1,m,H2,m+1,...,Hn-m+1,n}，對各個分量進行卷積操作后，得到局部特征映射ci， 其公式如式(7)所示.

ci=WTHi，i+m-1+b.

(7)

對每一個分量Hi,j進行卷積后得到向量C={c1,c2,...,cn-m+1}，并利用最大池化的方法對向量C進行池化操作，降低特征維度，得到單個卷積核經(jīng)過卷積以及池化后的結果cmi，進而得出q個卷積核卷積后的結果，如公式(8)～(9)所示.

(8)

(9)

本文提出的模型利用TextCNN中4個不同大小的卷積核，來獲取文本信息在不同抽取粒度下的局部信息特征；然后，將不同維度卷積核提取出來的信息分別進行最大池化，降低特征維度；最后，將其最大池化后的向量進行連接，合并為最終的輸出向量.

這一通道主要的作用是在BERT形成的文本表示的基礎上，利用TextCNN模型對關鍵詞做進一步的抽取工作，從而減輕中文文本分類中的語義割裂問題.

2.3.2 通道二：BiLSTM-Attention 提取上下文特征疫情評論文本主要由網(wǎng)民抒發(fā)的主觀感受構成，口語化嚴重，且由于網(wǎng)絡時代的發(fā)展，出現(xiàn)大量不易直觀理解的網(wǎng)絡用語，干擾情感分類的進行.同時，用戶在進行抒發(fā)情感的評論時，由于語言表達的多樣性，可能并不是直白地表明情感屬性，而是采用或委婉，或反語等多種表現(xiàn)方式.針對這種情況，仔細研究上下文中的細節(jié)和一些細粒度的信息就尤為重要.在考慮這些細節(jié)時，可以通過判斷細節(jié)特征是否存在，以及出現(xiàn)的時序前后等信息，對文本評論情感進行分類.在通道一中，我們雖然利用TextCNN網(wǎng)絡對文本信息進行了進一步的特征提取，但仍然無法彌補忽略了時序特征這一短板，因此，我們?yōu)槟Ｐ鸵肓硪粋€通道——含有注意力機制的BiLSTM，用以對上下文進行建模.

LSTM 本質(zhì)上是循環(huán)神經(jīng)網(wǎng)絡的一種變體，在較長的序列中也能很好地完成文本時序信息的處理.LSTM模型將獲取的歷史信息和當前單元輸入信息進行綜合的利用和考慮，從而得到能代表全局信息的狀態(tài)向量.逐詞輸入的詞向量輸入方式使得LSTM模型在獲取文本特征時，文本表示結果往往是根據(jù)最后一個神經(jīng)元的狀態(tài)，文本中后面出現(xiàn)的語義會對語義編碼產(chǎn)生更大權重的影響，從而導致某些文本評論的重要信息無法有效傳遞的問題.為了緩解這一問題，本模型采用的是雙向長短時記憶網(wǎng)絡，有效地利用評論文本前后的時序信息.BiLSTM與 LSTM 具有相同的神經(jīng)元組成，其差別在于二者的結構組合.BiLSTM在LSTM的基礎上，增加了從后向前進行信息提取的編碼，能夠?qū)崿F(xiàn)文本另一個方向上的信息抓取方式，從而更好地綜合利用前后向歷史信息，實現(xiàn)文本情感上更好的分類效果.BiLSTM結構如圖 5 所示.

圖5中，h1,h2,...,hn為經(jīng)過BERT 模型進行文本表示的向量,L表示自左向右進行語義信息提取的LSTM網(wǎng)絡，R表示自右向左進行語義信息提取的LSTM網(wǎng)絡；然后對R層與L層抓取出來的語義信息向量進行融合拼接，用符號⊕表示.將已經(jīng)處理好的文本表示向量h1,h2,...,hn輸入到搭建好的BiLSTM層中，對h1,h2,...,hn評論文本進行編碼，獲得BiLSTM兩個LSTM層中提取出的特征信息，將這些特征信息進行拼接融合，獲得 BiLSTM 模型最終的語義提取結果，將hlt記為文本表示在第t時刻經(jīng)過L層網(wǎng)絡時的隱藏層狀態(tài)，hrt記為文本表示在第t時刻經(jīng)過R層網(wǎng)絡時的隱藏層狀態(tài)，則ht計算公式如式(10)所示.

ht=[hlt,hrt].

(10)

為了使模型能夠更加完善地提取文本中蘊含的情感信息，在BiLSTM模型后添加了一層注意力機制，增加文本中的關鍵字詞對于情感分類的影響權重.所以，通道二的模型是一個帶有注意力機制的雙向時間序列模型結構，由輸入、時間序列分析以及注意力機制共同構成.本模型采用的注意力機制是雙層線性注意力機制，更加全面地抓取信息.注意力機制的具體公式如下所示：

at=softmax(W2(W1ht)),

(11)

s=∑at·ht.

(12)

式中：ht是BiLSTM的輸出特征;W1將特征映射到另一個維度;W2將特征映射到一維，從而獲得了權重，在經(jīng)過softmax層將權重進行了歸一化，最后將注意力機制中獲得的權重與上一層輸出做加權求和，得到最后的輸出結果，即含有注意力的疫情評論語義編碼s.通過注意力模型，使得BiLSTM通道增加了對關鍵信息的權重設置，極大地改善了由于BERT模型造成的無關信息干擾問題，提高了情感識別的精度.

2.4 特征融合層

首先，模型對兩個通道的結果進行處理，通過單層網(wǎng)絡，將兩個通道的特征抽取結果進行降維，將維度降到原來的一半，方便后續(xù)的任務執(zhí)行以及輸出結果所占比重的調(diào)節(jié)，同時，也可以達到提高訓練效率的目的.然后，將兩個通道降維后的輸出結果向量進行首尾相連的拼接操作，得到的新的向量恢復原有的正常輸出長度.接著，對拼接后的向量進行降維處理，以保證向量在之后的softmax 層中能夠正常運行.最后，將降維后的向量輸入到 softmax 層，進行疫情評論文本情感分類預測.

3 實驗與分析

3.1 實驗數(shù)據(jù)及數(shù)據(jù)預處理

實驗使用數(shù)據(jù)是從微博網(wǎng)頁中爬取到的疫情相關的評論文本[21],共爬取了8 606條評論，并將其保存到Excel表格中.使用人工標注的方法，對Excel表格里的8 000多條評論依次打上情感分類標簽.本次分類分為積極情感與消極情感兩類，分別用[0，1]來表示.其中，積極情感的數(shù)據(jù)有4 423條，消極情感的數(shù)據(jù)有4 183條，數(shù)據(jù)結構較為均衡.訓練過程中，將70%的數(shù)據(jù)作為訓練集，15%的數(shù)據(jù)作為測試集，15%的數(shù)據(jù)作為驗證集.采用正則化的方法，去除文本中的特殊符號、標點等干擾，并將預處理后的數(shù)據(jù)集作為實驗數(shù)據(jù)集.并對文本長度進行統(tǒng)計，如圖6所示.由于90%以上的數(shù)據(jù)長度集中在200字以下，本文選取的最大文本長度為200.

3.2 實驗環(huán)境

實驗基于 Linux 操作系統(tǒng)，以Torch作為深度學習框架，以 Visual studio code作為主要開發(fā)工具；在GPU下運行.本模型的實驗環(huán)境及參數(shù)設置如表1所示.

表1 實驗環(huán)境參數(shù)Tab.1 Experimental Environment Parameters

3.3 實驗參數(shù)

通道一中的TextCNN模型采用4種二維卷積核對語義特征進行抓取，卷積核高度分別是 3、4、5、6，寬度都為文本最大長度.每種卷積核的數(shù)量均為80，padding 設置為 same ，在卷積前對長度不同的文本進行補零操作，使得輸入具有與輸出相同的形狀，將步長設為 1，使用Relu函數(shù)激活.而后使用最大池化層獲取每個卷積核中句子特征的最大值，將其降維至80*4=320，而后使用320維的特征進行分類.

BERT 向量維度為768，BiLSTM 通道的隱藏層神經(jīng)元個數(shù)為 384.注意力層將384維度的特征降維至1變?yōu)闄嘀?，激活函?shù)為“Relu”.Dropout率統(tǒng)一使用的是0.3.本實驗中，使用谷歌提供的基于維基百科中的中文語料庫訓練好的模型參數(shù)作為BERT 預訓練參數(shù)[15].對于具體的下游任務，訓練過程中對模型參數(shù)進行微調(diào).優(yōu)化器使用的是Adam優(yōu)化器，學習率是1e-5.

3.4 實驗結果評判標準

模型采用 3 種常用的評估指標： Precision 準確率、Recall 召回率以及二者的綜合評價指標F1.3 種指標的計算公式為：

(13)

(14)

(15)

式中：TP(True Positive)為真正例，也就是預測與樣本真正的標簽相同，即預測正確的樣本個數(shù)；FP(False Positive)為假正例，表示預測結果為指定標簽，但實際情況，樣本為其他標簽的樣本個數(shù)；FN(False Negative)為假反例，表示預測結果為其他標簽，但實際情況，樣本為指定標簽的樣本個數(shù).

3.5 實驗結果分析

將人工標注好的8 600多條評論依次輸入BERT-CNN，BERT-BiLSTM，BERT-BiLSTM-Attention等基線模型以及TCECMB模型.訓練過程中，將70%的數(shù)據(jù)作為訓練集，15%的數(shù)據(jù)作為測試集，15%的數(shù)據(jù)作為驗證集.本次實驗中，BERT-CNN，BERT-BiLSTM，BERT-BiLSTM-Attention以及TCECMB的實驗結果如表2所示.

表2 模型實驗結果Tab.2 Model experimental results

從表2中的實驗結果可以看出：本模型在準確率、召回率和F1值的結果要優(yōu)于基線模型結果，但由于數(shù)據(jù)數(shù)量有限等原因，結果差距不是特別明顯，但也說明TCECMB模型相對于基線模型來說，在情感識別領域有一定的改善.

4 結語

本文對于現(xiàn)有的經(jīng)典文本表示模型進行分析，探討其結構及優(yōu)缺點，并對文本卷積神經(jīng)網(wǎng)絡和雙向長短時記憶網(wǎng)絡進行分析，在原有的研究基礎上，對模型進行了進一步的改進，由于采用人工標注方法劃分評論情感類別，本文應用的評論數(shù)據(jù)有限，未在更大的數(shù)據(jù)集上對模型進行驗證.模型中存在較多的參數(shù)，需要在實驗中不斷調(diào)節(jié)，耗時較多且對實驗硬件設備要求高.在接下來的工作中，會通過改變注意力機制引用位置及類型等，嘗試取代TextCNN，來提高模型運行效率.另外，本文在進行特征拼接時運用的是傳統(tǒng)的全連接層拼接，接下來可以嘗試運用新的拼接方法，實現(xiàn)信息更好地融合傳遞.