趙亞南,劉 淵,宋 設(shè)

(1.江南大學(xué) 數(shù)字媒體學(xué)院,江蘇 無錫 214122; 2.江蘇省媒體設(shè)計與軟件技術(shù)重點實驗室,江蘇 無錫 214122;

0 概述

情緒是對某種情況或事件的看法或態(tài)度,也可稱為意見。文本情感分析是自然語言處理(NLP)領(lǐng)域的重要研究方向,旨在挖掘人們對產(chǎn)品、服務(wù)、個人和組織等實體的意見和情感以及文本中的事件、主題和屬性[1]。情感分析的任務(wù)是識別語言文本極性,如積極、消極或中立,其被廣泛應(yīng)用于電影評論、信息預(yù)測和金融決策等領(lǐng)域[2]。相關(guān)研究表明,金融領(lǐng)域文本數(shù)據(jù)的情緒和意見可以影響市場動態(tài)、相關(guān)個股或者公司價值走勢[3]。因此,分析金融新聞的傾向性可以幫助個人、公司即時獲取新聞的重點內(nèi)容,有助于投資者進行投資決策。

為解決文本情感分類問題,文獻[4]在電影評論數(shù)據(jù)集上比較了樸素貝葉斯(Naive Bayesian,NB)與支持向量機(Support Vector Machine,SVM)的性能,實驗結(jié)果表明,SVM的準(zhǔn)確率高于NB。文獻[5]根據(jù)分布式同義詞,提出一種基于支持向量回歸(Support Vector Regression,SVR)和邏輯回歸集合的模型,以預(yù)測金融文本的傾向。文獻[6]在亞馬遜書評上評估了各種預(yù)處理技術(shù)與不同分類器相結(jié)合的有效性,其中,隨機森林(Random Forest,RF)取得了90.15%的平均準(zhǔn)確率,但其時間開銷較大。多數(shù)機器學(xué)習(xí)方法都是逐字考慮文本,分析句子中的單詞并根據(jù)單詞的屬性將句子分為正面或負(fù)面2個極性,有時為了提取句子的關(guān)鍵詞而丟失了其他單詞信息。

運用深度學(xué)習(xí)技術(shù)研究自然語言處理問題是當(dāng)前的研究熱點。在利用神經(jīng)網(wǎng)絡(luò)挖掘文本中的情緒時,可以考慮一段句子而不僅是逐個單詞。文獻[7]利用經(jīng)典的CNN進行文本分類。文獻[8]用雙層CNN對中文微博從字到句抽取特征,其完善了短文本信息。文獻[9]通過對情感詞典的詞性進行向量化操作,在網(wǎng)絡(luò)架構(gòu)中添加文本情感特征信息,然后組合不同的文本特征形成不同的通道并輸入CNN網(wǎng)絡(luò),該模型提高了情感分類的準(zhǔn)確率。文獻[10]采用雙層雙向長短期記憶(BLSTM)網(wǎng)絡(luò)模型對金融標(biāo)題進行情感極性分析,但其模型的訓(xùn)練時間較長。文獻[11]基于文本細(xì)粒度意見分析問題,建立了雙向RNN的序列標(biāo)注模型。文獻[12]在RNN中引入注意力(Attention),將其應(yīng)用于圖片分類任務(wù)。文獻[13]首次在機器翻譯中使用Attention,其提高了翻譯效果。文獻[14]構(gòu)建分層注意力網(wǎng)絡(luò),逐步建立單語言文檔并進行文檔分類。文獻[15]利用BLSTM對句子進行建模,然后運用Attention計算BLSTM隱藏單元的權(quán)重信息。文獻[16]采用混合注意力網(wǎng)絡(luò)進行情感分析,其使用全局和局部Attention分別捕獲文本整體上下文的粗略情感信息和接近目標(biāo)的句法信息。

在自然語言處理領(lǐng)域,Google于2017年提出Transformer機器翻譯模型[17],其僅利用純Attention結(jié)構(gòu)就取得了非常好的性能,具有良好的特征抽取效果。受此啟發(fā),本文將多頭自注意力機制應(yīng)用于文本情感分析任務(wù)。相較于經(jīng)典機器學(xué)習(xí)算法,深度學(xué)習(xí)中的CNN與RNN算法在一定程度上可以自動捕捉文本的語義特征,且與RNN相比,CNN算法具有可以并行運算的優(yōu)勢。因此,本文將多頭自注意力機制與CNN網(wǎng)絡(luò)相結(jié)合,建立一種新的混合回歸模型,用以預(yù)測金融新聞的情感極性值。由于神經(jīng)網(wǎng)絡(luò)抽取特征不夠充分,因此在模型中考慮重利用淺層特征,結(jié)合文本的淺層特征與多頭自注意力特征來提升模型訓(xùn)練效果。

1 相關(guān)工作

1.1 多頭自注意力機制

神經(jīng)網(wǎng)絡(luò)中的注意力機制起源于人類視覺注意力,其模擬人類在觀察信息時會重點關(guān)注信息的某些特定部分。目前,基于Attention的方法已成功應(yīng)用于各種任務(wù),如圖片分類[12]、神經(jīng)機器翻譯[13,17]和文本分類[14]等。在機器翻譯領(lǐng)域,為了更準(zhǔn)確地提取文本特征,文獻[17]提出了多頭自注意力方法并構(gòu)建了Transformer模型。文獻[18]提出一種用于遠(yuǎn)程監(jiān)督關(guān)系提取的神經(jīng)網(wǎng)絡(luò)MSNet,其利用MA學(xué)習(xí)句子的結(jié)構(gòu)表示信息。文獻[19]建立一種SAAN情感分析模型,該模型通過CNN學(xué)習(xí)單詞表示,然后利用多頭注意力結(jié)構(gòu)進一步學(xué)習(xí)句子表示。文獻[20]運用BLSTM捕捉詞語間的語義依賴關(guān)系,再利用自注意力進一步學(xué)習(xí)重點詞的特征信息,結(jié)果表明,該方法提升了情感分類的效果。上述方法驗證了MA在文本特征提取方面的有效性,因此,本文采用MA對金融新聞數(shù)據(jù)集進行處理,學(xué)習(xí)其句子表示。MA的原理為:縮放點積注意力(Scaled Dot-product Attention,SDA)[17]通過向量點積進行相似度運算,得到Attention值。SDA結(jié)構(gòu)如圖1所示,本文SDA結(jié)構(gòu)去掉了原結(jié)構(gòu)中的mask操作,其計算如式(1)所示。

圖1 SDA結(jié)構(gòu)示意圖Fig.1 Schematic diagram of SDA structure

(1)

多頭注意力機制的目的是從多方面捕獲序列的關(guān)鍵信息。Q、K、V分別通過參數(shù)不共享的線性轉(zhuǎn)換送入SDA。將SDA運算重復(fù)h次,最后拼接所有的Attention值并進行線性變換,如式(2)、式(3)所示。其中,由于每個head的尺寸減少,因此算法的計算成本與具有全維度的單頭注意力相似。

(2)

Head=MultiHead(Q,K,V)=

Concat(head1,head2,…,headh)WO

(3)

多頭注意力機制結(jié)構(gòu)如圖2所示。

圖2 多頭注意力機制結(jié)構(gòu)Fig.2 Structure of multi-head attention mechanism

當(dāng)Q=K=V=X時,多頭注意力為多頭自注意力,X={x1,x2,…,xl,…,xL}是文本輸入序列,其本質(zhì)是將xl與X序列中的各個詞進行對比,最后計算出每個詞的權(quán)重信息,即在序列內(nèi)部做注意力計算,進而獲取序列的內(nèi)部結(jié)構(gòu),也稱為內(nèi)部注意力。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

CNN最初應(yīng)用于計算機視覺領(lǐng)域[7]。運用CNN挖掘文本情緒時,首先將輸入文本(長度為L)轉(zhuǎn)換為矩陣X,每個句子矩陣的行是單詞矢量(維度為k),將矩陣輸入到CNN架構(gòu)中,CNN輸出每個句子的特定特征矩陣C,步驟如下:

X=[x2,x2,…,xL]T

cl=f(ω·xl:l+t-1+b)

C=[c1,c2,…,cL-t+1]

(4)

得到特征圖后通過池化策略對輸入特征矩陣進行二次采樣,最后輸出層應(yīng)用Linear激活函數(shù)計算句子的情感值。

2 雙層多頭自注意力與卷積神經(jīng)網(wǎng)絡(luò)融合模型

MA的一個優(yōu)點是可以獲取到文本的全局聯(lián)系,但其沒有捕獲局部特征的能力,而CNN的最大特點在于局部感知。因此,本文建立一種融合雙層多頭自注意力與CNN的DLMA-CNN模型,其結(jié)構(gòu)如圖3所示。將MA作為一個單獨的層,區(qū)別于傳統(tǒng)的CNN結(jié)合Attention的方法[19],DLMA-CNN模型直接將MA層置于詞向量層之后。模型采用多頭自注意力表示句子,學(xué)習(xí)序列內(nèi)部的詞依賴關(guān)系[17],然后融合CNN網(wǎng)絡(luò)以預(yù)測金融文本的情感極性。

圖3 DLMA-CNN模型架構(gòu)Fig.3 DLMA-CNN model architecture

考慮到在深度學(xué)習(xí)模型訓(xùn)練過程中,神經(jīng)網(wǎng)絡(luò)存在特征抽取不充分或無法學(xué)習(xí)到更深層語義信息的問題,導(dǎo)致模型無法準(zhǔn)確地捕捉文本情緒的關(guān)鍵信息。為解決以上問題,本文借鑒CNN網(wǎng)絡(luò)中應(yīng)用的Inception方法[21],該方法用于改善傳統(tǒng)的卷積層結(jié)構(gòu),其級聯(lián)同一層級多個尺寸卷積核的結(jié)果,提高了深度神經(jīng)網(wǎng)絡(luò)的性能。本文將Inception方法運用于文本情感分析模型中,提出一種重利用淺層特征改善模型,即在模型中連接文本的淺層、深層特征,豐富每一層輸入序列的特征信息,使得模型可以更充分、更全面地學(xué)習(xí)文本序列的特征信息,從而提高網(wǎng)絡(luò)文本情感分析的性能。

DLMA-CNN模型由輸入層、隱含層和輸出層組成,其中,隱含層包含雙層多頭自注意力層、卷積操作層與全局平均池化層。

1)輸入層,該層預(yù)處理SemEval-2017 Task 5金融文本數(shù)據(jù)集,將訓(xùn)練文本輸送到文本詞嵌入層,將句子變換成多頭自注意力層可以直接處理的文本詞向量矩陣。設(shè)置模型輸入大小L為訓(xùn)練文本中句子的最大長度,使用零填充長度小于L的輸入文本。將每個句子表示成大小為L×dk的文本詞向量矩陣E:

(5)

其中,E中的每一行el為句子中第l(1≤l≤L)詞對應(yīng)的詞向量,詞向量的維度為dk。

2)隱含層,該層利用MA與CNN算法融合文本序列的全局與局部特征。

(1)第一層多頭自注意力層。MA旨在輸入特征矩陣E內(nèi)部多次計算注意力,用以捕獲句子的長距離依賴性并學(xué)習(xí)不同位置不同語義空間的序列信息。

(6)

(7)

(8)

其中,αis是第i(1≤i≤h)次自注意力運算得到的詞vs的權(quán)重系數(shù)。

Att1=MultiHead(E,E,E)=

Concat(head1,head2,…,headh)WO

(9)

(2)第二層多頭自注意力層。為了提取更豐富的特征信息,將淺層特征文本詞向量E與第一層MA的特征序列Att1拼接融合,并作為新的特征F1送入第二層Transformer(MA2),用以提高輸入文本中每個詞的重要程度,提取出文本更高層次的特征表示。F1計算如下:

F1=Concat(E,Att1)

Att2=MultiHead(F1,F1,F1)

(10)

F2=Concat(E,Att2)

(11)

本文采用文獻[7]的卷積層結(jié)構(gòu),使用多個不同尺寸大小的卷積核充分提取詞語特征。使用滑動窗口大小為t的卷積核對輸入特征進行卷積操作,如式(12)所示:

(12)

(13)

(4)全局平均池化層。將卷積層后的特征矩陣送入池化層再次進行特征采樣,采用GAP(Global Average Pooling)[22]取代全連接層。GAP的使用降低了參數(shù)的規(guī)模,對整個網(wǎng)絡(luò)進行正則化從而緩解了過擬合現(xiàn)象。通過GAP計算不同尺寸的卷積結(jié)果得到的特征信息表示為:

(14)

(15)

(16)

優(yōu)化算法采用均方根反向傳播算法(RMSProp)最小化損失函數(shù),模型的目標(biāo)函數(shù)應(yīng)用均方誤差(MSE),損失函數(shù)如式(17)所示:

(17)

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)

本文基準(zhǔn)數(shù)據(jù)集采用SemEval-2017 Task 5的金融新聞標(biāo)題(Finance News Headlines)數(shù)據(jù)集,數(shù)據(jù)集的樣本情緒分?jǐn)?shù)標(biāo)記為-1和1之間的真實值,越靠近-1則越消極(負(fù)面、看跌),越靠近+1則越積極(正面、看漲)。為了評估DLMA-CNN模型的泛化能力,同時在SemEval-2017 Task 5的金融微博(Microblog Message)數(shù)據(jù)集上進行實驗。數(shù)據(jù)集詳情如表1所示。

表1 實驗數(shù)據(jù)集Table 1 Experimental dataset

3.2 實驗衡量指標(biāo)

評估指標(biāo)1余弦相似性(Cosine Similarity,CS)[17],其比較樣本情緒值與系統(tǒng)預(yù)測結(jié)果之間的一致程度,CS計算如下:

(18)

其中,G為文本標(biāo)記情感值向量,P為系統(tǒng)預(yù)測文本情感值向量。

評估指標(biāo)2該指標(biāo)為CS與回答問題的比率加權(quán):

(19)

評估指標(biāo)3該指標(biāo)為余弦和權(quán)重的乘積:

(20)

3.3 實驗參數(shù)設(shè)置

在金融新聞標(biāo)題文本上,采用Word2vec詞嵌入方法預(yù)訓(xùn)練詞向量數(shù)據(jù),將文本輸入單詞輸出為300維向量。DLMA-CNN模型參數(shù)設(shè)置:CNN的濾波器數(shù)量為100,窗口大小分別為3、4、5,步長為1,CNN單元的非線性函數(shù)均使用不易飽和的softsign,學(xué)習(xí)率設(shè)置為0.001,mini batch為16,引入梯度裁剪緩解梯度爆炸,clipvalue大小為5。為減少模型過擬合現(xiàn)象并避免手動設(shè)置epoch次數(shù),DLMA-CNN模型采用回調(diào)函數(shù)Early Stopping(),patience=10。在訓(xùn)練過程中,對比當(dāng)前的Loss與上一個epoch的結(jié)果,當(dāng)損失函數(shù)不再減少時,通過10個epoch后停止訓(xùn)練。經(jīng)過測試,在多頭自注意力層與輸出層分別將Dropout比率設(shè)置為0.1、0.5時,模型具有最優(yōu)性能。實驗采用10折交叉驗證方法,實驗的硬件環(huán)境:GPU為NVIDIA GTX1080Ti,CPU為i7-8700K;軟件環(huán)境:Keras2.2.1(底層Tensorflow)。

3.4 實驗對比

為了驗證本文DLMA-CNN模型的優(yōu)越性,將如下模型進行對比,分別在SemEval-2017 Task 5 Finance News Headlines數(shù)據(jù)集和Microblog Message數(shù)據(jù)集上進行文本情感極性分析。

1)機器學(xué)習(xí)算法:包括SVR與RF。SVR[10]最終找到一個回歸平面,使一個集合的所有數(shù)據(jù)到該平面的距離更近,設(shè)置SVR的懲罰參數(shù)C為0.1,epsilon為0.01。RF算法[6]使用多個決策樹訓(xùn)練和預(yù)測樣本,設(shè)置決策樹個數(shù)estimators為20。

2)ELSTM與EGRU。EGRU與ELSTM結(jié)構(gòu)[10]相同,EGRU使用GRU單元取代LSTM,其他參數(shù)設(shè)置兩者相同。

3)Att-BLSTM,使用Attention機制學(xué)習(xí)BLSTM輸出層的特征信息[15]。

4)BiLSTM+EMB_ATT,采用BLSTM學(xué)習(xí)輸入句子的語義信息,其與詞向量自注意力為并行結(jié)構(gòu)[20]。

5)MA,純Attention,本文模型DLMA-CNN只保留單層MA網(wǎng)絡(luò)結(jié)構(gòu),去掉CNN網(wǎng)絡(luò)層,其他參數(shù)設(shè)置相同。

6)N-DLMA與DLMA:純Attention,本文模型DLMA-CNN保留雙層MA結(jié)構(gòu),去掉CNN網(wǎng)絡(luò)層。其中,N-DLMA模型不考慮重利用淺層特征,即不將淺層特征與多頭自注意力特征進行融合,其他參數(shù)設(shè)置相同。

7)CNN:本文模型DLMA-CNN去掉MA層,其他參數(shù)設(shè)置相同,不同于文獻[7]中CNN結(jié)構(gòu)使用的最大池化層,本文使用GAP。

8)DLMA-CNN:本文提出的一種融合多頭自注意力機制與CNN的混合模型。

在上述模型中,深度學(xué)習(xí)模型MA、N-DLMA、DLMA、CNN和DLMA-CNN,除了模型的功能層外其他條件均一致。

3.5 結(jié)果分析

3.5.1 多頭自注意力超參數(shù)取值對結(jié)果的影響

表2 h取值對結(jié)果的影響Table 2 Effect of h value on results

表3 注意力大小對結(jié)果的影響Table 3 Effect of attention size on results

3.5.2 Attention、CNN與DLMA-CNN模型對比

在測試集上進行對比實驗,驗證各模型的3個指標(biāo),結(jié)果如表4、表5所示。從表4、表5可以看出,DLMA-CNN模型相對于純Attention模型、CNN模型,在3個衡量指標(biāo)上都取得了最優(yōu)結(jié)果。DLMA模型的性能優(yōu)于MA模型、N-DLMA模型,這說明了重利用淺層特征的有效性,淺層特征與多頭自注意力特征融合能夠豐富特征信息,提高模型訓(xùn)練的結(jié)果。在評估指標(biāo)Metric1上,DLMA-CNN模型比MA模型提高了3.1%～3.8%,比CNN模型提高了6.7%～7.8%,即本文提出的混合模型優(yōu)于單一注意力模型,這是因為純Attention模型更適合解決長程、全局的依賴問題,在DLMA-CNN模型中引入CNN,CNN的卷積計算使得模型更加關(guān)注局部結(jié)構(gòu),從而彌補了純Attention的不足,因此,融合Attention和CNN的模型效果更優(yōu)。

表4 Finance News Headlines數(shù)據(jù)集上的實驗結(jié)果1Table 4 Experimental results 1 on the Finance News Headlines dataset %

表5 Microblog Message數(shù)據(jù)集上的實驗結(jié)果1Table 5 Experimental results 1 on the Microblog Message dataset %

3.5.3 與其他深度學(xué)習(xí)算法的對比

為了進一步驗證本文模型的性能,在Finance News Headlines和Microblog Message數(shù)據(jù)集上,將該模型與其他文本情感分析算法進行對比,實驗結(jié)果及各模型每個epoch所耗費的時間如表6、表7所示。

表6 Finance News Headlines數(shù)據(jù)集上的實驗結(jié)果2Table 6 Experimental results 2 on the Finance News Headlines dataset

表7 Microblog Message數(shù)據(jù)集上的實驗結(jié)果2Table 7 Experimental results 2 on the Microblog Message dataset

從表6、表7可以看出,DLMA-CNN模型的性能優(yōu)于其他模型。對比Metric1指標(biāo)上各模型的結(jié)果,DLMA-CNN模型比ELSTM模型提高了2.1%～3.6%,比EGRU模型提高了3.8%～5.3%,分別高于Att-BLSTM、BiLSTM + EMB_ATT模型4.9%～7.6%與8.9%～9.2%。從算法運行時間來看,RNN模型的效率較差,而DLMA-CNN混合模型的運行時間最短,這是由于RNN存在序列依賴關(guān)系,下一時間步(t)的隱藏計算依賴上一時間步(t-1)的計算,LSTM不能很好地并行運行,造成訓(xùn)練時間較長。而MA、CNN不依賴前一時刻(t-1)的計算,具有較高的并行計算能力,因此,DLMA-CNN模型的時間復(fù)雜度遠(yuǎn)低于RNN模型。

3.5.4 與經(jīng)典機器學(xué)習(xí)算法的對比

如表8、表9所示,DLMA-CNN模型在2個數(shù)據(jù)集上的實驗結(jié)果均優(yōu)于經(jīng)典的機器學(xué)習(xí)模型SVR與RF,驗證了本文模型的有效性和泛化能力。DLMA-CNN模型展現(xiàn)了其良好的性能,在文本情感極性分析任務(wù)中具有較大優(yōu)勢。

表8 Finance News Headlines數(shù)據(jù)集上的實驗結(jié)果3Table 8 Experimental results 3 on the Finance News Headlines dataset %

表9 Microblog Message數(shù)據(jù)集上的實驗結(jié)果3Table 9 Experimental results 3 on the Microblog Message dataset %

4 結(jié)束語

為對金融領(lǐng)域的新聞進行情感極性分析,本文提出一種融合雙層多頭自注意力機制與CNN的混合模型DLMA-CNN。通過采用Transformer機器翻譯模型中的多頭自注意力機制獲取文本的全局信息,結(jié)合CNN算法使得模型可以捕獲文本局部結(jié)構(gòu)。在SemEval-2017 Task 5的任務(wù)數(shù)據(jù)集上進行對比實驗,結(jié)果表明,該模型的文本情感分析性能優(yōu)于MA、DLMA等模型,運行效率相對ELSTM、EGRU等模型也具有較大優(yōu)勢。本文模型僅針對文本句子級別進行情感分析,下一步將結(jié)合文本Aspect特征實現(xiàn)更細(xì)粒度的情感分析。