任鵬飛,李 旸,王素格,3,李書琪, 閆婧濤

(1. 山西大學 計算機與信息技術學院,山西 太原 030006;2. 山西財經(jīng)大學 金融學院,山西 太原 030006;3.山西大學 計算智能與中文信息處理教育部重點實驗室,山西 太原 030006)

0 引言

文本情感分析是自然語言處理領域中一項重要的任務,按照文本表示的語言粒度,實體級和方面級情感分析均屬于細粒度情感分類任務,旨在判別給定目標實體或者方面的情感極性(正面、負面、中性)。隨著Restaurant、Laptop和Twitter等領域英文數(shù)據(jù)集的發(fā)布[1-2],許多研究人員致力于方面級情感分析的研究[3]。在金融領域,涉及的金融情感主要聚焦在實體級層面,例如,“網(wǎng)絡借貸平臺選擇很重要,優(yōu)秀公司如京東金融、支付寶借唄、騰訊微粒貸,重點黑名單如小資錢包,涉嫌非法集資近五個億,平臺對外宣稱的資格證書和銀行存管全是假的”,該句子包括四個實體,對于前三個實體,其情感極性均為正面,而對于“小資錢包”實體,其情感極性為負面。然而,在金融領域的實體情感分析研究相對較少,劉宇瀚等人[4]結合字形特征與迭代學習方法研究金融領域命名實體識別,但僅識別金融領域的公司名、品牌名等實體,并未對實體的情感進行判別。俞佳炳[5]提出了一種使用門控機制融合字詞嵌入的表示方法,建立了結合注意力機制的長短期記憶神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)絡的混合神經(jīng)網(wǎng)絡模型,但該模型并未引入金融實體和語句之間的關聯(lián)關系。

目前,金融領域的實體情感分析研究主要面臨三方面的挑戰(zhàn): 一是缺乏公開標注的金融領域中文實體級情感分析數(shù)據(jù)集;二是金融實體專有名詞表達具有多樣性,一些分詞工具難以準確地進行分詞;三是金融領域的情感表達具有隱式性,例如,“高返平臺、暴雷”等。目前僅有2019CCF大數(shù)據(jù)與計算智能大賽下金融信息負面及主體判定賽題評測(1)https://www.datafountain.cn/competitions/353/datasets,該評測僅識別金融文本中情感極性為負面的實體,未對正面和中性情感極性的實體進一步細分判定。針對這些問題,本文提出了一種基于實體與句子交互注意力機制的雙圖卷積網(wǎng)絡的金融實體情感識別方法(ASynSemGCN)。該方法首先利用預訓練模型RoBERTa-wwm-ext[6],結合實體,對句子進行初始表示,再通過多頭注意力機制建立實體與句子之間的交互信息表示,從而增強句子對實體情感極性判別的指導。在此基礎上,對句子的交互表示,分別利用語法圖卷積網(wǎng)絡(SynGCN)和語義圖卷積網(wǎng)絡(SemGCN),獲得實體的句法和語義深層表示,最后,將實體的深層表示、實體字級嵌入表示以及句子嵌入表示拼接,再通過全連接層對實體進行情感極性識別。其中,SynGCN模塊主要是利用依存句法解析器的所有依賴弧的概率矩陣,豐富句子的語法知識,SemGCN模塊主要是利用自注意力機制獲得注意力矩陣,進而捕獲句子中每個詞的語義信息,獲得句子的語義表示。本文的主要貢獻如下:

(1) 利用注意力機制,建立實體和句子信息交互表示,增強實體的情感語義表示;

(2) 基于雙圖卷積網(wǎng)絡,建立句子的句法和語義的深層表示,從而增強句子對實體的隱式情感表示;

(3) 構建一個金融領域的中文實體情感分析數(shù)據(jù)集,并且在該數(shù)據(jù)集上驗證了本文所提方法的有效性。

1 相關工作

目前,實體級情感分析任務的相關研究較少,而且與該任務相關的研究主要集中在方面級情感分析。早期的研究人員主要是利用情感詞典和人工標注的特征進行情感極性識別,而這些方法耗時費力。近年來,神經(jīng)網(wǎng)絡模型被應用于方面級情感分析中。Tang等人[7]使用兩個LSTM將方面與上下文進行建模,以增強方面的信息表示。Liu等人[8]利用BiLSTM從正向和反向?qū)渥舆M行編碼,并將它們進行拼接,用于情感極性識別。然而,僅用LSTM并不能捕獲與方面相關的重要信息,因此,Wang等人[9]提出了基于注意力機制的ATAE-LSTM模型,該模型利用注意力機制對LSTM隱藏層輸出加權求和,進而計算句子中每個詞對給定方面的重要性。Ma等人[10]提出了基于注意力機制的IAN模型,該模型利用LSTM對句子和方面進行編碼,并使用注意力機制對它們進行交互學習,獲取與方面相關的語義特征。Fan等人[11]提出了一種多粒度注意機制,用于捕獲方面和其上下文間的語義交互信息。Wu等人[12]提出了一種方面-上下文交互表示結構,該結構僅依賴一種注意力機制生成上下文和方面的序列到序列的表示。但是,在利用注意力機制進行方面與句子交互時,有可能丟失一些與方面項相關的詞語信息。為了增強方面與句子中詞的聯(lián)系,有學者將語法知識應用于方面級情感分析,如Phan等人[13]引入句法相對距離,以降低與方面聯(lián)系較弱的無關詞的影響;Sun等[14]利用依賴樹表示句法結構信息,用于縮短方面和句子中觀點詞的距離,使得句子中保留依賴信息;Liang等[15]利用依賴樹上的圖卷積網(wǎng)絡學習具有語法信息的方面表示。Li等[16]利用雙圖卷積網(wǎng)絡分別獲取方面的語法和語義表示,并融合方面的語法和語義表示對其情感極性進行判別。

上述方法主要是針對較短長度的實體進行情感極性判別,并未考慮金融領域中不同實體和句子之間的依賴關系。由于金融領域中實體名稱較多,情感表達隱晦,分詞工具難以準確進行分詞,因此,為了增強實體的情感語義表示,本文建立句子和實體之間的關聯(lián)信息,并提出了一種基于交互注意力的雙圖卷積網(wǎng)絡的金融實體情感極性識別方法(ASynSemGCN)。

2 金融實體情感分析數(shù)據(jù)集構建

2.1 數(shù)據(jù)收集和清洗

本文使用的數(shù)據(jù)來源于2019CCF大數(shù)據(jù)與計算智能大賽下金融信息負面及主體判定賽題(2)https://www.datafountain.cn/competitions/353/datasets,并對原始數(shù)據(jù)進行了數(shù)據(jù)清洗和重新標注。數(shù)據(jù)清洗過程如下:

(1) 數(shù)據(jù)去重: 若數(shù)據(jù)中包含給定實體且語句有重復,則只保留一條信息。

(2) 刪除無關符號: 若數(shù)據(jù)中存在網(wǎng)址、url標簽、特殊符號(表情符號等)以及多余空格,將這些無關符號刪除。

(3) 刪除多余子詞: 若給定的語句中,存在實體列表中多余的子詞,將其刪除。例如,“旺旺貸跑路!深圳警方確定投資人被騙!”,實體列表為“旺貸、旺旺貸”,僅保留實體“旺旺貸”。

(4) 刪除與實體無關聯(lián)的語句: 例如,實體為“京東白條”,句子為“一個人蹲在角落里,靜靜的聽著歌回憶著曾經(jīng),眼淚悄然落下,才知道自己京東白條提現(xiàn)一勇敢互助感恩京東白條提現(xiàn)對話宜賓地震災區(qū)受災群眾京東白條怎么用新華社成都6月24日電記者吳光于康錦謙袁波距宜賓長寧縣6.0級地震發(fā)生僅過去5天,6月22日夜,珙縣一場5.4級的地震讓人們再次從睡夢中……”。該實例雖然包含“京東白條”,但句子的整體內(nèi)容實際與“京東白條”無關,將這類數(shù)據(jù)刪除。

2.2 標注過程及數(shù)據(jù)規(guī)模

按2.1節(jié)介紹的方法對原始數(shù)據(jù)進行清洗處理后,再由兩名標注者對每條語句及其對應的實體情感進行獨立標注,且相互之間沒有交流,標注完成后,若兩名標注者標注的數(shù)據(jù)有差異,則加入第三名標注者商量討論,直至標注結果一致。為了說明標注實體情感的一致性,采用卡帕系數(shù)[17]衡量一致性指標。本文標注數(shù)據(jù)集的卡帕一致性為0.884 3,說明所標注的金融實體情感分析數(shù)據(jù)集是可靠的。

數(shù)據(jù)集中的實體主要包括“螞蟻金服、小資錢包、京東白條、宜貸網(wǎng)、錢寶網(wǎng)、紅嶺創(chuàng)投、360金融、中弘控股、上海鼎夕金融信息服務有限公司、e租寶、河北幸福消費金融公司、中國支付通、……”。這些實體主要是公司名和品牌名等。

標注后的金融實體情感分析語料規(guī)模如表1所示。

表1 金融實體情感分析語料規(guī)模統(tǒng)計

部分標注示例如表2所示。

表2 部分標注示例

在表2中,金融實體情感極性為負面、正面、中性三類。對于Id為2的句子,“京東白條”僅給出定義,對于此類數(shù)據(jù),標注為中性。

3 ASynSemGCN模型

由于不同的金融實體采用的情感表達有可能不同,并且一個句子還有可能包含多個實體,例如,“現(xiàn)如今網(wǎng)絡借貸平臺很多,京東金融深受用戶喜愛,而錢寶網(wǎng)、雅堂金融、唐小僧以及聯(lián)璧金融被業(yè)內(nèi)稱為四大高返平臺,在唐小僧之前,錢寶網(wǎng)及雅堂金融已經(jīng)爆雷?！?該例子中涉及多個金融實體,包括京東金融、錢寶網(wǎng)、雅堂金融、唐小僧、聯(lián)璧金融,它們所在句子的情感表達有所不同,其情感極性也不盡相同。因此,實體所在句子對實體情感極性判別具有重要的指導作用,為此,本文將實體融入句子的表示中,建立兩者的交互表示,在此基礎上,利用雙圖卷積網(wǎng)絡對其進一步深層表示,從而建立金融實體情感極性的判別模型。該模型總體框架包含四部分: 融入實體的句子嵌入表示、實體與句子交互表示、雙圖卷積網(wǎng)絡的句子深層表示、實體情感極性預測?？傮w模型框架如圖1所示。

3.1 融入實體的句子嵌入表示

RoBERTa-wwm-ext[6]是利用大量文本語料訓練得到的一個預訓練模型,可以生成序列的字向量。金融實體的專名較多,需要字向量的支持,因此,本文將金融實體情感極性識別任務的輸入設計為融入實體的句子,即將句子s與給定實體a進行連接,作為RoBERTa-wwm-ext(RoBERTa)的輸入“[CLS]句子[SEP]實體[SEP]”,從而分別獲得句子字級嵌入表示H∈R(m+n+3)×d、實體字級嵌入表示Ha∈Rm×d和句子嵌入表示Hpool∈R1×d。其中,m和n分別是實體中字的個數(shù)和句子中字的個數(shù)。

3.2 實體與句子交互表示

為了進一步刻畫實體與句子的關聯(lián)關系,本文采用多頭注意力機制[18]對實體字級嵌入表示和句子字級嵌入表示進行交互表示。將實體作為注意力機制Query,句子作為注意力機制Key和Value,第i個頭注意力的句子表示如式(1)所示。

(1)

通過h個頭注意力的句子表示Hs如式(2)所示。

Hs=MultiHead(Q,K,V)

=Concat(head1,…,headh)WO

(2)

3.3 雙圖卷積網(wǎng)絡的句子嵌入表示

受文獻[16]的啟發(fā),依存語法和上下文語義均有利于金融實體的情感識別,為此,本文在實體與句子的交互表示的基礎上,利用SynGCN和SemGCN對句子進行深層表示。

將句子表示向量Hs∈Rn×d作為語法圖和語義圖的初始結點表示,將依存句法解析器[19]的所有依賴弧的概率矩陣Msyn∈Rn×n作為SynGCN中邊的初始輸入。將自注意機制獲得句子中每個詞的注意力得分矩陣Msem∈Rn×n作為SemGCN中邊的初始輸入,具體計算如式(3)所示。

(3)

其中,WQ∈Rd×d和WK∈Rd×d表示可學習的參數(shù)矩陣,d表示輸入結點維度,自注意力頭數(shù)為1。利用SynGCN和SemGCN,分別得到網(wǎng)絡的第l層的第i個結點的隱層向量表示如式(4)、式(5)所示。

基于SynGCN和SemGCN的句子表示分別如下:

為了提升模型對實體情感極性識別的性能,本文引入了正交正則化因子和差分正則化因子。正交正則化的目的是讓句子中每個詞的注意力得分向量保持正交性,差分正則化的目的是學習SynGCN模塊和SemGCN模塊的差異特征。正交正則化因子Lort和差分正則化因子Ldif計算分別如式(6)、式(7)所示。

(6)

(7)

其中,I表示單位矩陣,下標F表示Frobenius范數(shù)。

其中,W1和W2表示可訓練參數(shù)。

利用包含實體的句子表示的式(8)和式(9),可以得到實體的句法和語義深層表示分別如式(10)、式(11)所示。

3.4 實體情感極性預測

池化操作如式(12)～式(14)所示。

其中,f(·)為池化函數(shù)。

連接操作后實體特征表示x,如式(15)所示。

(15)

對于實體表示x,將其輸入到線性層,再通過softmax函數(shù)獲得實體x情感極性概率,計算如式(16)所示。

(16)

其中,Wp和bp表示可學習的權重和偏置。

本文所提模型的最終損失由標準交叉熵Lcro、正交正則化子Lort、差分正則化子Ldif、其他參數(shù)θ損失之和確定。

(17)

其中,λ1,λ2,λ3表示正則化系數(shù),θ表示所有可訓練模型參數(shù),Lcro表示標準交叉熵損失,計算如式(18)所示。

(18)

4 實驗

為了驗證本文提出的模型對金融實體情感極性判別的有效性,神經(jīng)網(wǎng)絡模型采用PyTorch深度學習框架編寫,運行環(huán)境為Python 3.6.9。

4.1 數(shù)據(jù)集與評價指標

采用第2節(jié)構建的金融領域?qū)嶓w情感分析數(shù)據(jù)集,評價指標為準確率(Acc)和宏平均F1值(Ma-F1)。數(shù)據(jù)集中訓練集、驗證集和測試集的比例為8∶1∶1,統(tǒng)計情況如表3所示。

表3 數(shù)據(jù)集統(tǒng)計

4.2 對比模型

由于實體級情感分析方法較少,為了驗證本文所提出方法的有效性,選擇以下與實體級情感分析相關的八種方面級情感分析方法進行對比實驗。

(1)ATAE-LSTM[9]: 利用LSTM對給定的句子和方面進行編碼,再利用注意力機制對LSTM隱藏層輸出加權求和,獲得關注方面的特征。

(2)IAN[10]: 利用LSTM對句子和方面進行編碼,再利用注意力機制對它們進行交互學習,獲得交互信息特征。

(3)TD-LSTM[7]: 利用兩個LSTM分別對方面與其左邊的句子、方面與其右邊的句子進行編碼,預測方面的情感極性。

(4)TC-LSTM[7]: 利用兩個LSTM分別對方面與其左邊的句子、方面與其右邊的句子進行編碼,并且拼接方面的向量表示,預測方面的情感極性。

(5)MemNet[20]: 多次利用注意力機制計算句子中每個詞和方面之間的得分,獲得與方面相關的特征。

(6)AOA[21]: 利用交叉注意力模塊,計算句子到方面和方面到句子之間的注意力權重。

(7)BERT-SPC[22]: 將句子和方面分別輸入到BERT預訓練模型中,獲取各自的語義表示。

(8)DualGCN[16]: 利用雙圖卷積網(wǎng)絡,獲得句子的句法和語義表示。

4.3 實驗設置

本文模型利用RoBERTa對融合實體的句子進行編碼,隱層向量維度為768,優(yōu)化器采用Adam。對于ATAE-LSTM,IAN,TD-LSTM,TC-LSTM,MemNet和AOA比較模型,本文利用已經(jīng)訓練好的金融中文詞向量[23]進行編碼, 隱層向量維度為300。全部模型的實驗參數(shù)設置如表4所示。

表4 參數(shù)設置

4.4 比較實驗結果與分析

利用4.2節(jié)中介紹的八種比較方法與本文方法在第4.1節(jié)介紹的數(shù)據(jù)集進行對比實驗,實驗結果如表5所示。

表5 九種不同方法之間的比較實驗結果

從表5可以看出:

(1) 本文提出的ASynSemGCN方法在Acc和Ma-F1值上均優(yōu)于其他對比方法,說明本文方法對金融領域?qū)嶓w情感可以進行有效判別,同時也說明在金融領域中句子對判別實體情感的極性起到重要的作用。

(2) 基于RoBERTa詞向量的方法與基于Word2Vec向量的方法相比,其性能更好。這是由于RoBERTa是一種動態(tài)的詞向量表示方法,該方法可以動態(tài)地根據(jù)所給詞上下文生成詞向量,另外, RoBERTa詞向量維度為768維,可以包含更豐富的語義知識,而基于Word2Vec詞向量的維度僅為300維,遠低于RoBERTa,而且每個詞的詞向量都是固定的,不能根據(jù)詞的上下文來動態(tài)生成。

(3) 本文方法和DualGCN-RoBERTa方法進行對比,在Acc和Ma-F1值上分別提升了1.56和1.81個百分點,說明了實體和句子之間注意力機制有利于捕獲實體和句子間的情感交互信息。此外進一步實體字級嵌入表示信息的引入,也有利于增強不同實體對其情感極性的指導作用,進而提升整體實體情感識別的性能。

4.5 消融實驗

為了驗證本文提出模型的各個部件的性能,本節(jié)進行消融實驗。

DualGCN-RoBERTa: 在ASynSemGCN模型的基礎上,去除實體和句子間注意力機制和實體字級嵌入表示。

-attention: 在ASynSemGCN模型的基礎上,僅去除實體和句子間注意力機制。

-entity: 在ASynSemGCN模型的基礎上,僅去除實體字級嵌入表示。

-SemGCN: 在ASynSemGCN模型的基礎上,僅去除基于語義的圖卷積網(wǎng)絡。

-SynGCN: 在ASynSemGCN模型的基礎上,僅去除基于語法的圖卷積網(wǎng)絡。

-mutual: 在ASynSemGCN模型的基礎上,僅去除基于語法和基于語義的圖卷積網(wǎng)絡之間的交互模塊。

-pooled_output: 在ASynSemGCN模型的基礎上,僅去除句子的嵌入表示。

模型消融在金融領域?qū)嶓w情感分析數(shù)據(jù)集的實驗結果如表6所示。

表6 模型消融實驗結果

由表6實驗結果可以看出:

(1) 去除任一模塊,金融實體情感判別的Acc和Ma-F1指標均會下降,說明所有模塊均有利于判別金融實體情感的極性。

(2) -attention方法和-entity方法,實體情感識別的Acc和Ma-F1相比本文的方法都下降了,說明交互注意力機制可以增強實體和句子間的信息交互表示,實體字級嵌入表示可以增強實體情感語義表示。

(3) -SemGCN和-SynGCN兩個,相比于本文方法的實體情感識別的Acc和Ma-F1均有下降,說明SemGCN利用自注意力機制后獲得了注意力矩陣,可以捕獲句子中每個詞的語義信息,而豐富句子的語法知識,增強實體和句子之間的關聯(lián),但是-SemGCN比-SynGCN下降更多,說明數(shù)據(jù)的語義信息比句法結構更重要,這也驗證了金融數(shù)據(jù)的實體情感表達更多是隱式表述,結構性不強。

(4) -mutual方法和-pooled_output方法,相比于其他模塊,它們的實體情感識別的Acc和Ma-F1下降是最為明顯的,說明一方面在得到SemGCN和SynGCN表示后,對二者進行交互可以充分融合句子語法和語義的信息表示,另一方面,實體所在句子不同,對實體情感極性判別指導作用不同,引入句子嵌入表示可以進一步增強實體的情感語義表示。

4.6 注意力頭數(shù)對實體情感識別的影響

為了驗證實體和句子之間信息交互的注意力頭數(shù)對金融實體情感極性識別的影響,本節(jié)針對不同注意力頭數(shù)進行對比實驗,實驗結果如表7所示。

表7 不同注意力頭數(shù)的實驗結果比較

由表7實驗結果可以看出,當注意力的頭數(shù)為4時,本文提出的模型判別金融實體情感性能達到最優(yōu)。當頭數(shù)為3和6時,模型性能會急劇下降,說明模型的頭數(shù)并不是越多越好,而是當模型性能達到較好的效果后,增加頭數(shù)反而會降低模型的性能。

4.7 圖卷積層數(shù)對實體情感識別的影響

為了驗證不同圖卷積網(wǎng)絡層數(shù)對金融實體情感判別性能的影響,將選擇層數(shù)1到層數(shù)4進行對比實驗,實驗結果如表8所示。

表8 不同圖卷積網(wǎng)絡層數(shù)的實驗結果比較

由表8實驗結果可以看出,當圖卷積網(wǎng)絡層數(shù)為3時,本文提出模型的判別金融實體情感的Acc最高,性能達到最優(yōu)。相比于圖卷積網(wǎng)絡層數(shù)為4時模型,即使Ma-F1指標略微有所下降,但是模型的復雜度有較大的降低,因此,本文所有實驗均采用了3層圖卷積網(wǎng)絡。

4.8 實例可視化的分析

為了探究ASynSemGCN模型中注意力機制所關注的內(nèi)容,本文對句子1～3的注意力權重進行了可視化,顏色越深,代表詞在句子中越重要,如表9所示。

表9 注意力機制可視化表

由表9可以看出,通過ASynSemGCN模型標注句子1的極性正確,句子2和句子3標注錯誤。

從可視化結果可以看出,句子1中對于“京東金融”和“錢寶網(wǎng)”兩個實體,模型對“用戶喜愛”、“網(wǎng)絡借貸”“高返平臺”“爆雷”等詞匯顏色最深,因此,可以正確判斷“京東金融”實體情感極性為正面,“錢寶網(wǎng)”實體的情感極性為負面。而句子2和句子3,針對“京東金融”和“微時貸”兩個實體,模型關注句子中詞匯較為均勻,沒有重點強調(diào)信息,因此,錯誤判斷情感極性為中性。說明模型在面對較短長度的金融文本時,缺乏對文本進行深入分析的能力,之后將針對這一問題嘗試引入常識庫來增加句子外部知識,以提高情感極性判別準確率。

5 結束語

本文構建了一個金融實體情感分析數(shù)據(jù)集,并提出了一種基于交互注意力的雙圖卷積網(wǎng)絡的金融實體情感極性識別方法(ASynSemGCN)。該方法首先利用預訓練模型RoBERTa-wwm-ext,結合實體對句子進行初始表示,并且利用多頭注意力機制獲取實體和句子之間的交互信息,提升了實體和句子之間的語義關聯(lián)程度。通過基于語法的圖卷積網(wǎng)絡(SynGCN)和基于語義的圖卷積網(wǎng)絡(SemGCN)分別獲得句子的句法和語義的深層表示。最后,將實體的深層表示、實體字級嵌入表示以及句子嵌入表示拼接,再通過全連接層獲得最終實體的情感極性。在未來的研究工作中,我們將引入金融常識庫豐富句子語義信息,進一步提升金融實體的情感極性判別的準確率。