楊春霞,馬文文,徐 奔,韓 煜

(1.南京信息工程大學(xué)自動化學(xué)院,江蘇 南京210044;2.江蘇省大數(shù)據(jù)分析技術(shù)重點實驗室,江蘇 南京 210044)

1 引言

作為自然語言處理文本分類核心任務(wù)之一,單標(biāo)簽文本分類SLTC(Single Label Text Classification)旨在準(zhǔn)確預(yù)測文本信息的類別傾向,在情感分析、新聞檢測和垃圾郵件識別等多個場景均有廣泛應(yīng)用。由于近年來推特、微博和博客帖子等在線內(nèi)容量爆發(fā)式增長,大量未經(jīng)規(guī)范的文本數(shù)據(jù)、與用戶交互的數(shù)據(jù)無疑增加了分類的難度。因此,為了更高效地分析、處理這些觸手可及的文本數(shù)據(jù),需要進(jìn)一步完善和提高分類技術(shù)的研究。

SLTC按照文本自身所含內(nèi)容進(jìn)行分類。例如,一篇新聞評論報道可歸屬為“娛樂”“飲食”或“軍事”等主題。分類準(zhǔn)確的關(guān)鍵在于有效地挖掘文本特征信息。對于文本特征信息的提取,目前越來越多的研究人員[1-3]熱衷于使用圖神經(jīng)網(wǎng)絡(luò)算法構(gòu)建模型,提升文本分類精度。雖然目前基于圖神經(jīng)網(wǎng)絡(luò)模型可以直接從文本的圖結(jié)構(gòu)數(shù)據(jù)中有效挖掘其局部或全局信息,獲取文本主要特征信息,但是直接把文本作為長序列進(jìn)行處理,不僅會降低模型性能,同時也會忽略文本層次結(jié)構(gòu)中包含的信息。因此,Ding等人[4]在詞和句子2個層面,利用分層圖注意力網(wǎng)絡(luò)進(jìn)行文本分類,取得了不錯的分類效果。然而,分層圖注意力網(wǎng)絡(luò)在訓(xùn)練過程中通常隨機(jī)初始化一個參數(shù)向量作為所有類別的目標(biāo)向量,不能較好地關(guān)注到具有明顯類別的詞,所以如何通過優(yōu)化圖注意力網(wǎng)絡(luò)更好地對文本特征進(jìn)行提取是目前亟待解決的一個問題。

除了對文本進(jìn)行特征信息的提取,最近Xiao等人[5]在多標(biāo)簽文本分類任務(wù)中將所有文本標(biāo)注的標(biāo)簽信息融入到文本信息中,也取得了不錯的效果。但是,現(xiàn)有的SLTC任務(wù)大多忽略了標(biāo)簽信息在分類方面的作用,如何通過捕獲文本與標(biāo)簽之間的聯(lián)系以進(jìn)一步凸顯文本特征是現(xiàn)階段需要研究的一個難點。

針對以上2個問題,本文提出融合標(biāo)簽信息的分層圖注意力HGAT-Label (Hierarchical Graph ATtention network integrating Label)網(wǎng)絡(luò)文本分類模型,主要工作如下:

(1)通過詞級圖注意力網(wǎng)絡(luò)獲取的句子向量表示是以原有隨機(jī)初始化的目標(biāo)向量為基礎(chǔ),同時利用最大池化提取句子特定的目標(biāo)向量,使得獲取的句子向量具有更加明顯的類別特征。

(2)利用GloVe[6]模型對所有文本的標(biāo)簽信息進(jìn)行向量化處理,然后將所有文本的標(biāo)簽表示與文本的特征表示進(jìn)行交互,以獲取具有文本特征的標(biāo)簽信息表示,最后將其與文本特征融合進(jìn)一步凸顯文本特征表示。

(3)在5個公開英文數(shù)據(jù)集上進(jìn)行實驗,并與HGAT-Label模型相關(guān)的其它主流基線模型作對比。實驗結(jié)果表明,本文提出的HGAT-Label模型明顯優(yōu)于其它主流基線模型。

2 相關(guān)工作

如今大多數(shù)文本分類研究均是圍繞深度學(xué)習(xí)開展的,隨著深度學(xué)習(xí)技術(shù)的發(fā)展,基于圖神經(jīng)網(wǎng)絡(luò)的研究方法已逐漸成為主流。

除了對文本信息進(jìn)行提取,現(xiàn)有有關(guān)SLTC的研究很少會將所有文本標(biāo)注的標(biāo)簽信息與文本內(nèi)容信息相結(jié)合。而在多標(biāo)簽文本分類任務(wù)中,如覃杰[13]結(jié)合文本與標(biāo)簽嵌入表示的相似度計算任務(wù),進(jìn)一步提高多標(biāo)簽文本分類任務(wù)的實驗精度。You等人[14]通過構(gòu)建淺而寬的概率標(biāo)簽樹來解決大量標(biāo)簽可擴(kuò)展性問題,然后利用自注意力機(jī)制捕捉與標(biāo)簽相關(guān)聯(lián)的文本特征信息,取得了不錯的分類效果;肖琳等人[15]通過標(biāo)簽語義注意力機(jī)制捕獲具有文本語義聯(lián)系的標(biāo)簽信息表示,從而提升了文本分類的效果。在以上多標(biāo)簽分類任務(wù)中,均因標(biāo)簽信息的融入使分類效果得到明顯提升,從而也進(jìn)一步驗證了Zhang等人[16]所提出的標(biāo)簽信息的融入可以有效提升模型分類性能的結(jié)論。受其啟發(fā),本文嘗試在SLTC任務(wù)中將所有文本標(biāo)注的標(biāo)簽信息與文本特征信息進(jìn)行交互、融合,以提升分類的準(zhǔn)確率。

3 HGAT-Label模型實現(xiàn)

本文提出的HGAT-Label模型主要由詞(文本或標(biāo)簽)嵌入層、鄰接矩陣構(gòu)建層、雙重圖注意力層、池化層和文本特征增強(qiáng)層組成。模型總體框架如圖1所示。

(1)詞(文本或標(biāo)簽)嵌入層:將輸入的文本、標(biāo)簽數(shù)據(jù)樣本分別轉(zhuǎn)化為詞向量H∈RVmax×d和l∈RN×d,其中,Vmax表示同一批次樣本中文本句子包含的最多單詞數(shù)目,d表示詞向量維度。

(2)鄰接矩陣構(gòu)建層:依據(jù)句子關(guān)鍵詞與主題關(guān)聯(lián)性構(gòu)建鄰接矩陣A∈RVmax×Smax,其中Smax表示同一批次樣本中文本包含的最多句子數(shù)目。

(4)池化層:采用平均池化層對更新后的文本信息進(jìn)行提取,以對所有特征信息進(jìn)行綜合判斷。

(5)文本特征增強(qiáng)層:將池化層輸出的文本特征Tq與標(biāo)簽矩陣l用于計算交互注意力,獲取具有文本語義特征聯(lián)系的標(biāo)簽信息表示L;然后采用融合策略將標(biāo)簽信息表示L與文本特征信息表示Tq相結(jié)合,從而獲得文本的分類特征表示T。

Figure 1 Framework of HGAT-Label model圖1 HGAT-Label模型框架

3.1 任務(wù)定義

3.2 詞嵌入層

本文使用GloVe模型對樣本進(jìn)行向量化,對于文本Cq,將其映射為向量矩陣H∈RVmax×d,即每個詞被映射為一個低維稠密向量。同理,標(biāo)簽信息則由詞嵌入矩陣l∈RN×d表示。根據(jù)GloVe的共現(xiàn)特性,初始化后的文本與標(biāo)簽表示仍具備一定的語義信息。

3.3 鄰接矩陣構(gòu)建層

為了捕捉文本的序列、結(jié)構(gòu)與語義信息,需要對不規(guī)則的文本數(shù)據(jù)進(jìn)行建模。本文首先以文本中每個句子Sj作為邊,然后將句子中包含的單詞(節(jié)點)按原有句法結(jié)構(gòu)一一連接起來,這樣就可以保留原有文本的序列信息和結(jié)構(gòu)信息。為了進(jìn)一步捕捉其語義信息,本文利用隱含狄利克雷分布[17]挖掘每個文本潛在的主題并將其作為邊,而在每一句話中,與主題相關(guān)程度較大的詞作為主題(邊)連接的節(jié)點,這樣既能捕獲文本的序列信息和結(jié)構(gòu)信息,又可以獲取文本上下文語義信息?；谏鲜鲈?定義圖G=(V,E),其中,V={v1,v2,…,vi-1,vi,…,vVmax}是詞節(jié)點集合,E={e1,e2,…,ej-1,ej,…,eSmax}是與詞節(jié)點相連的主題邊集合。因此,本文由圖G的拓?fù)浣Y(jié)構(gòu)所構(gòu)成的鄰接矩陣A∈RVmax×Smax的表示如式(1)所示:

(1)

其中,Aij=0時表示句子中的詞節(jié)點與主題邊不相關(guān),Aij=1時則表示兩者相關(guān)聯(lián)。

3.4 雙重圖注意力層

雙重圖注意力層由詞級GAT和句子級GAT組成,其中GAT是將注意力機(jī)制引入到空間域的圖神經(jīng)網(wǎng)絡(luò),僅需要通過圖上一階鄰居的表征信息來更新節(jié)點特征。

3.4.1 詞級圖注意力層

由于從句子中提取的關(guān)鍵詞信息對分類目標(biāo)的貢獻(xiàn)程度不一樣,因此在詞級圖注意力層,本文利用圖注意力機(jī)制為句子中的關(guān)鍵詞計算注意力得分,然后通過帶有權(quán)重的關(guān)鍵詞信息生成句子的向量表示。

首先,隨機(jī)初始化一個目標(biāo)向量uw,在訓(xùn)練的過程中通過不斷學(xué)習(xí)來找出哪些關(guān)鍵詞對于分類任務(wù)更為重要。特別地,在詞級圖注意力層,除了使用目標(biāo)向量uw之外,本文還通過最大池化提取句子Sj的主要特征,作為其特有的目標(biāo)向量u′wj。計算過程如式(2)和式(3)所示:

(2)

(3)

得到2個目標(biāo)向量uw和u′wj后,緊接著通過圖2所示的深度架構(gòu)網(wǎng)絡(luò)GAT分別計算關(guān)鍵詞節(jié)點和2個目標(biāo)向量的相似度并歸一化,得到針對2個目標(biāo)向量的注意力得分,具體計算過程如式(4)～式(6)所示:

(4)

(5)

(6)

Figure 2 GAT model圖2 GAT模型

(7)

其中,θ1j和θ2j分別表示第k個關(guān)鍵詞通過2種方式獲取的注意力分?jǐn)?shù)αjk與α′jk對構(gòu)成句子j的最終表示的重要程度,σ(·)表示ReLU函數(shù)。

3.4.2 句子級注意力層

(8)

(9)

(10)

3.5 池化層

在獲取新文本表示后,為了一方面考慮文本的全局信息,另一方面減少重要特征的遺漏,本文采用平均池化層對更新后的文本信息進(jìn)行提取,以對所有特征信息進(jìn)行綜合判斷。計算方法如式(1)所示:

(11)

其中,Tq表示第q個文本主要特征表示,f(·)表示平均池化函數(shù)。

3.6 標(biāo)簽文本交互融合層

交互注意力機(jī)制的實質(zhì)是通過對2個句子關(guān)聯(lián)的相似特征進(jìn)行提取,從而捕獲對應(yīng)句子內(nèi)部重要的語義信息。因此,本文將標(biāo)簽信息表示與文本特征表示用于計算交互注意力,獲取具有文本語義特征聯(lián)系的標(biāo)簽信息表示。

如圖3所示,首先取池化層輸出的文本特征Tq與標(biāo)簽矩陣l的點乘結(jié)果為信息交互矩陣M,其中Mqn表示第q個文本特征信息與第n個標(biāo)簽信息的相關(guān)性。然后分別對M的行、列進(jìn)行softmax歸一化處理,獲取文本特征信息對標(biāo)簽信息和標(biāo)簽信息對文本特征信息的注意力分?jǐn)?shù)αqn和βqn。計算過程如式(12)～式(14)所示:

M=Tq⊙l

(12)

(13)

(14)

其中,⊙表示點乘運算,αqn和βqn分別表示第q個文本特征信息對第n個標(biāo)簽信息的注意力權(quán)重和第n個標(biāo)簽信息對第q個文本特征信息的注意力權(quán)重。

Figure 3 Interactive attention model圖3 交互注意力模型

(15)

(16)

L=γ⊙l

(17)

為了進(jìn)一步凸顯文本主要特征的表示,本文采用融合策略將標(biāo)簽信息L與文本特征信息Tq相結(jié)合,從而獲得文本的分類特征T,如式(18)所示:

T=Tq⊕L

(18)

3.7 模型訓(xùn)練

模型最后通過softmax函數(shù)對T進(jìn)行標(biāo)簽預(yù)測:

(19)

本文使用交叉熵?fù)p失函數(shù)對模型進(jìn)行訓(xùn)練,如式(20)所示:

(20)

4 實驗

4.1 實驗環(huán)境

本文實驗基于PyTorch深度學(xué)習(xí)框架,具體實驗環(huán)境如表1所示。

Table 1 Experimental environment表1 實驗環(huán)境

4.2 實驗數(shù)據(jù)

本文選用R8、R52、20NG、Ohsumed與MR 5個公開數(shù)據(jù)集進(jìn)行模型性能評估,5個數(shù)據(jù)集的具體情況如表2所示。

Table 2 Information of five datasets表2 5個數(shù)據(jù)集信息

(1)R8與R52:由路透社新聞專線文件組成,分別包括8類和52類。

(2)20NG(20NewsGroups):由20個英文新聞組所組成,該數(shù)據(jù)集文本相似度高,分類難度大。

(3)Ohsumed:來源于醫(yī)學(xué)文獻(xiàn)庫MEDLINE,每篇醫(yī)學(xué)摘要包含23類心血管疾病中的1類或者2類。

(4)MR:由5 331個正面電影評論和5 331個負(fù)面電影評論所組成,其中每條評論僅包含1個句子[18],每個句子分別用1(正面)或0(負(fù)面)進(jìn)行標(biāo)注,適用于二元情感分類任務(wù)。

4.3 實驗參數(shù)與評估指標(biāo)

本文使用Adam優(yōu)化器進(jìn)行參數(shù)優(yōu)化,使用2層雙重GAT對文本特征進(jìn)行提取,2層GAT嵌入維度分別為300和100,使用Dropout來防止過擬合。具體參數(shù)設(shè)置如表3所示。

為了驗證HGAT-Label模型的優(yōu)越性,本文使用準(zhǔn)確率Acc(Accuracy)作為評估指標(biāo),計算方法如式(21)所示:

(21)

Table 3 Experimental parameters setting表3 實驗參數(shù)設(shè)置

其中,TP為被正確分類的正樣本數(shù)目;FP為被錯誤分類的負(fù)樣本數(shù)目;TN為被正確分類的負(fù)樣本數(shù)目;FN為被錯誤分類的正樣本數(shù)目。通常,Acc值越大,分類效果越好。

4.4 對比模型

為驗證本文模型在SLTC任務(wù)上的分類性能,在同樣實驗環(huán)境中將其與以下8個主流基線模型進(jìn)行對比實驗:

(1)SWEM(Simple Word-Embedding-based Model)[19]:采用詞嵌入(Word Embedding)+池化(Pooling)的方式對文本信息進(jìn)行建模分類。

(2)LEAM(Label-Embedding Attentive Model)[20]:該模型將文本與標(biāo)簽信息聯(lián)合嵌入到同一空間,然后利用文本與標(biāo)簽的相關(guān)性構(gòu)建文本特征表示。

(3)LSTM(Long Short-Term Memory)[21]:在多任務(wù)目標(biāo)學(xué)習(xí)中,設(shè)計了3種基于LSTM信息的共享機(jī)制來提高相關(guān)文本分類任務(wù)的性能。

(4)BiLSTM(Bidirectional LSTM)[22]:利用BiLSTM具有記憶上下文語義信息和條件隨機(jī)場(CRF)可以映射句子間不同標(biāo)簽關(guān)系的特點,將BiLSTM輸出的語義特征信息直接輸入到CRF層,使模型可以根據(jù)前后單詞的標(biāo)簽信息有效預(yù)測當(dāng)前詞的標(biāo)簽信息。

(5)TextGCN(Graph Convolutional Network for Text classification)[10]:首先依據(jù)詞與詞和詞與文檔的關(guān)聯(lián)性構(gòu)建文本異構(gòu)圖,然后使用2層GCN提取其特征信息。

(6)Graph-CNN(Convolutional Neural Network on Graphs)[23]:基于譜圖的CNN算法,將低維規(guī)則化數(shù)據(jù)轉(zhuǎn)化成高維不規(guī)則圖結(jié)構(gòu)數(shù)據(jù),并利用CNN提取其局部組成特征。

(7)Text-level GNN(Text level Graph Neural Network)[24]:改變TextGCN的構(gòu)圖方式,以每個輸入文本為單位進(jìn)行構(gòu)圖,然后通過圖的消息傳播機(jī)制將單詞節(jié)點表示以及節(jié)點與節(jié)點之間的權(quán)重信息進(jìn)行更新,從而提高模型在新文本數(shù)據(jù)上的分類預(yù)測能力。

(8)HyperGAT(Hierarchical Graph ATtention network)[4]:使用分層GAT對文本特征信息進(jìn)行提取。

4.5 對比實驗與結(jié)果分析

在5個公開數(shù)據(jù)集上,本文提出的HGAT-Label模型與8個主流基線模型的實驗結(jié)果如表4所示。

Table 4 Experimental results of different models表4 不同模型的實驗結(jié)果 %

從表4可以看出,HGAT-Label模型相較最好的基線模型HyperGAT準(zhǔn)確率分別提高了1.83%,0.98%,2.65%,1.25%和1.25%,驗證了HGAT-Label模型分類性能的優(yōu)越性。

在基線模型中,LSTM與BiLSTM在5個數(shù)據(jù)集上的整體效果最差,原因在于這2個模型僅對文本連續(xù)詞序列信息進(jìn)行提取,缺乏全局信息之間的關(guān)聯(lián)性。BiLSTM是從正反2個方向?qū)ξ谋拘畔⑦M(jìn)行提取,比從單向提取信息的LSTM模型分類效果更好。與上述2個模型相比,SWEM與LEAN模型可以取得較好結(jié)果是因為二者使用的均是基于預(yù)訓(xùn)練詞嵌入方法,預(yù)訓(xùn)練詞嵌入方法是有利的文本表示方式,可以有效捕捉單詞的語義與語法信息。此外,SWEM模型以不同池化的方式獲取文本主要特征信息,而LEAN模型考慮文本特征信息的同時還利用注意力機(jī)制將文本標(biāo)注的標(biāo)簽信息與文本信息進(jìn)行交互,用以捕捉文本主題信息,所以SWEM與LEAN模型更有益于文本特征的劃分。以上模型均是按時序類數(shù)據(jù)進(jìn)行處理,對于非規(guī)則的文本數(shù)據(jù)而言,Graph-CNN、TextGCN、Text-level GCN和HyperGAT模型在分類任務(wù)處理中可以取得更好的效果,這是因為它們更擅長從非規(guī)則文本數(shù)據(jù)中捕捉長距離和非連續(xù)單詞的關(guān)聯(lián)性,實驗結(jié)果可以驗證這一點。但是,在MR數(shù)據(jù)集上,Graph-CNN、TextGCN和Text-level GCN模型的分類性能卻沒有得到很好的提升,再結(jié)合HyperGAT模型較好的分類效果,可以很容易看出,在情感分類任務(wù)上,利用圖注意力機(jī)制更有利于捕捉文本的情感特征;另外,融合序列或詞嵌入方法的圖神經(jīng)網(wǎng)絡(luò)模型比直接在圖上進(jìn)行卷積操作效果會更好。

本文的HGAT-Label模型之所以優(yōu)于HyperGAT模型,一方面是因為本文的詞級圖注意力網(wǎng)絡(luò)結(jié)構(gòu)是在原有的全局目標(biāo)特征向量基礎(chǔ)上同時利用最大池化提取句子特定的目標(biāo)向量,使得獲取的句子向量具有更加明顯的類別特征;另一方面是因為將所有文本標(biāo)注的標(biāo)簽信息與文本主要特征信息進(jìn)行交互,用以獲取具有文本特征的標(biāo)簽信息表示,然后將其與文本主要特征融合并進(jìn)一步凸顯文本特表示,從而達(dá)到最優(yōu)分類效果的目的。從整體上看,文本特征的優(yōu)化與標(biāo)簽信息的融入有著緊密的聯(lián)系,有效提取文本特征信息的同時也能很好地學(xué)習(xí)標(biāo)簽信息的表示,當(dāng)兩者融合時效果最佳,所以HGAT-Label模型是優(yōu)越的。

4.6 HGAT-Label模型的有效性驗證

為了研究HGAT-Label模型的整體效果,本文分別去除目標(biāo)向量模塊和標(biāo)簽信息模塊進(jìn)行消融實驗。其中w/o u表示在進(jìn)行詞級圖注意力時,去除通過最大池化獲取的目標(biāo)向量u′w模塊;w/o Label表示去除標(biāo)簽信息模塊。本文以3個數(shù)據(jù)集(R52、R8和20NG)為例,研究各模型的分類性能。

由圖4和圖5可知,引入目標(biāo)向量和融合標(biāo)簽信息2種方式均可使得模型效果有所改善,而將兩者相結(jié)合的效果取得了進(jìn)一步提升,說明本文的HGAT-Label模型在整體上是更有效的。因為標(biāo)簽是文本的表現(xiàn)形式,文本是標(biāo)簽的具體內(nèi)容,兩者相互依存有著緊密連接關(guān)系,所以將兩者相結(jié)合更有利于文本特征的劃分。

Figure 4 Experimental results of target vector ablation圖4 目標(biāo)向量消融實驗結(jié)果

Figure 5 Experimental results of label information ablation圖5 標(biāo)簽信息消融實驗結(jié)果

分模塊來看,融合標(biāo)簽信息后對文本的分類效果影響最大,準(zhǔn)確率分別提升了1.28%,0.48%和2.03%。這是因為標(biāo)簽信息與文本主要特征的交互可以有效學(xué)習(xí)標(biāo)簽信息表示,然后通過與文本主要特征的融合降低了原有特征損失,凸顯文本的主要特征信息。此外,也進(jìn)一步驗證了基線模型LEAN在融入標(biāo)簽信息后明顯優(yōu)于基于連續(xù)序列信息提取的LSTM與BiLSTM模型。引入目標(biāo)向量后,準(zhǔn)確率分別提高了0.66%,0.25%和1.17%。目標(biāo)向量的引入,通過與原有隨機(jī)初始化目標(biāo)向量的自適應(yīng)融合可以更加突出不同句子的類別特征,從而優(yōu)化了文本特征信息的表示。對于SLTC任務(wù)來說,文本的分類效果主要取決于是否很好地學(xué)習(xí)到了關(guān)鍵特征信息的向量表示,所以目標(biāo)向量的引入有益于文本特征的劃分。以上對比與消融實驗,驗證了本文提出的HGAT-Label模型的優(yōu)越性與有效性。

5 結(jié)束語

為了更好地對文本特征進(jìn)行提取,以及如何通過文本與標(biāo)簽之間的聯(lián)系進(jìn)一步凸顯文本特征,本文提出融合標(biāo)簽信息的分層圖注意力網(wǎng)絡(luò)模型來完成SLTC任務(wù)。本文一方面通過優(yōu)化圖注意力網(wǎng)絡(luò)結(jié)構(gòu),使獲取的句子向量具有更加明顯的類別特征;另一方面利用GloVe模型對所有文本標(biāo)注的標(biāo)簽信息向量化,然后將其與文本的主要特征信息進(jìn)行交互、融合以減少原有特征損失,更好地表示整個文本特征信息。通過對比實驗,驗證了本文所提模型的優(yōu)越性,同時消融實驗也進(jìn)一步驗證了引入目標(biāo)向量和融入標(biāo)簽信息的有效性與合理性,且兩者結(jié)合效果最佳。

目前,SLTC任務(wù)已經(jīng)取得較好的分類效果,但是隨著文本內(nèi)容日益豐富,對文本分類的要求也愈發(fā)提升。因此,下一階段將對豐富的文本信息進(jìn)行更細(xì)粒度特征劃分,同時對模型算法進(jìn)一步優(yōu)化處理,提升訓(xùn)練速度。