丁辰暉，夏鴻斌，2，劉 淵，2

（1.江南大學 數(shù)字媒體學院，江蘇 無錫 214122；2.江蘇省媒體設(shè)計與軟件技術(shù)重點實驗室，江蘇 無錫 214122）

0 概述

近年來，隨著Twitter、微博等社交網(wǎng)絡的出現(xiàn)，人們可以輕松便捷地在社交平臺上發(fā)布文本、圖片、視頻等多樣化的信息，社交網(wǎng)絡已超越傳統(tǒng)媒體成為新的信息聚集地，并以極快的速度影響著社會的信息傳播格局［1］。如何對這些短文本進行準確分類，是自然語言處理（Natural Language Processing，NLP）領(lǐng)域中的一項關(guān)鍵技術(shù)。由于這些短文本篇幅較短，缺乏上下文信息，且內(nèi)容口語化、特征屬性多與噪聲較大，因此精確提取文本特征，采用合適的分類模型對短文本進行分類是一個亟需解決的問題。

在文本分類這一領(lǐng)域中，一般的文本表示方法分為顯式表示與隱式表示。對于顯式表示方法，人們一般從知識庫、詞性標注、句法分析［2］等多個方面創(chuàng)造有效的特征，將短文本表示為稀疏向量，每一維度都是顯式的特征。雖然文本的顯式表示很容易被人理解，但是顯式表示往往忽略了短文本的上下文，無法捕捉到深層的語義信息，此外還存在數(shù)據(jù)稀疏問題。例如，當實體特征在知識庫中不存在時，則無法獲得它的任何特征，此時顯式表示將無法工作?，F(xiàn)階段在深度學習中隱式文本的隱式表示方法則更為常見，通過訓練詞向量將每個詞映射成為密集的向量［3］，使用詞向量矩陣表示短文本，由于詞向量中包含詞義信息，神經(jīng)網(wǎng)絡模型可以從上下文中獲取更豐富的語義信息，促進神經(jīng)網(wǎng)絡模型對短文本的理解。但是隱式表示方法仍然存在一些缺點，如短文本為｛The Bulls won the NBA championship｝，在文中Bulls 是一個籃球隊的名字，然而通過詞向量輸入的模型可能無法捕捉到這一信息，將其視為一種動物或一個新詞，造成分類效果不夠理想。單純使用顯示或隱式的文本表示方法都存在一定的問題，所以將兩者相結(jié)合，利用一個內(nèi)容豐富的知識庫來豐富短文本的先驗知識，獲取短文本的概念集，再將短文本與概念集映射為詞向量矩陣，從而使模型學習出更全面、更深層的語義，提升分類能力。

本文構(gòu)建一種融合知識圖譜和注意力機制的神經(jīng)網(wǎng)絡模型。將知識圖譜與短文本分類模型相融合，從已有知識庫中獲取短文本的概念集作為輸入，從而獲得文本中的先驗知識。在此基礎(chǔ)上引入注意力機制，計算每個概念相對于概念集及短文本之間的相關(guān)性，對兩者注意力權(quán)重進行加權(quán)融合，得出最終每個概念的權(quán)重，以提高相關(guān)概念的權(quán)重，使模型分類效果更具判別性。

1 相關(guān)工作

隨著深度學習的發(fā)展，越來越多的學者使用深度學習方法進行文本分類的研究，其在絕大多數(shù)任務中的表現(xiàn)都優(yōu)于傳統(tǒng)方法，極大地促進了文本分類這一領(lǐng)域的發(fā)展。因為卷積神經(jīng)網(wǎng)絡（CNN）在NLP 和計算機視覺的各個領(lǐng)域都表現(xiàn)出了較好的性能，所以受到了研究人員的極大關(guān)注。文獻［4］利用預訓練的詞向量，將卷積神經(jīng)網(wǎng)絡應用在語句分類任務中。文獻［5］提出CNN 動態(tài)的k-max pooling 方法來解決Twitter 短文本的極性分類問題，CNN 可以處理不同長度的輸入句子，并在句子上生成一個特征圖，能夠明確捕捉短期和長期關(guān)系，并取得了較好的效果。文獻［6］使用字符級卷積神經(jīng)網(wǎng)絡進行文本分類，利用字符作為模型輸入從而代替了詞語作為輸入，并在實驗數(shù)據(jù)集上取得了良好的效果。文獻［7］采用循環(huán)神經(jīng)網(wǎng)絡建立篇章級循環(huán)神經(jīng)網(wǎng)絡模型，該模型相比標準的循環(huán)神經(jīng)網(wǎng)絡模型具有更強的性能，在文本分類任務中具有較好的效果。

2017 年，Google 團隊［8］提出使用注意力機制的Transformer 模型解決NLP 問題，隨著注意力機制在NLP 領(lǐng)域中的廣泛應用，越來越多的學者開始利用注意力機制解決NLP 方面的問題。2018 年，HUANG 等人［9］構(gòu)建AOA_LSTM 模型，該模型使用雙向LSTM 構(gòu)建了句子的屬性特征向量矩陣，并通過上下文編碼和注意力計算更好地關(guān)注屬性序列中的重要信息，挖掘出更深層的情感特征信息。2018年，文獻［10］使用雙向門控循環(huán)單元（Bi-directional-Gated Recurrent Unit，Bi-GRU）結(jié)合注意力機制，在餐飲電商評論短文本分類中取得了較好的效果。這些方法證明了深度學習結(jié)合注意力機制在短文本情感分類中可以取得更好的效果。

2016 年，微軟研究院發(fā)布了概念圖譜。概念圖譜是一個大型的知識圖譜系統(tǒng)，通過對來自數(shù)以億計的網(wǎng)頁和數(shù)年積累的搜索日記的數(shù)據(jù)進行學習而掌握大量的常識性知識。概念圖譜表示形式為實例、概念和關(guān)系的三元組。實例與概念之間為IsA關(guān)系，如三元組（蘋果，水果，IsA）表示蘋果是一種水果。文獻［11］提出了6 種基于概念圖譜進行實例概念化的方法，并在微軟知識圖譜的官方網(wǎng)站提供了相應api 函數(shù)的調(diào)用。

2017 年，WANG 等人［12］提出一種融合概念圖譜的CNN 短文本分類模型，通過從知識庫中提前獲取的短文本先驗知識與CNN 提取的文本特征相結(jié)合，可以一定程度上解決短文本分類中缺乏上下文信息的缺點，在5 個公開數(shù)據(jù)集中獲得了優(yōu)異的效果。由此可見，通過知識圖譜與深度學習相結(jié)合，可以緩解短文本缺乏上下文的問題，融合知識圖譜的模型可以獲取詞向量以外的額外信息，在文本分類任務中具有較好的表現(xiàn)。

雖然融合了知識圖譜的神經(jīng)網(wǎng)絡模型有著較好的表現(xiàn)，但是仍然存在一些問題。例如上文中｛The Bulls won the NBA championship｝，雖然可以從知識庫中獲取到球隊和動物這兩個概念，但顯然動物在短文本中是不恰當?shù)母拍?，這些噪聲會影響文本分類的結(jié)果。此外，例如輸入短文本為｛Steve Jobs is one of the co-founders of Apple｝，可以從知識庫中檢索到喬布斯的企業(yè)家和個人兩個概念，雖然兩個概念都正確，但顯然在短文本中企業(yè)家的概念應該占更大的權(quán)重。

為解決上述問題，本文引入了注意力機制，同時借鑒Transformer 模型，提出一種融合知識圖譜的注意力門控循環(huán)單元網(wǎng)絡，通過計算短文本與其概念集中的概念的注意力權(quán)重，賦予與短文本密切相關(guān)的概念更高的權(quán)重，如上例中｛Steve Jobs is one of the co-founders of Apple｝，Steve Jobs 的企業(yè)家和個人兩個概念，增大企業(yè)家概念的權(quán)重，減小個人概念的權(quán)重，使得文本分類模型更具有判別性。

2 知識增強的文本分類模型

本文提出了一種融合知識圖譜、注意力機制和雙向GRU 的知識增強網(wǎng)絡模型（Knowledge Enhanced Attention Bi-GRU，KEAT-GRU），該模型借鑒了神經(jīng)網(wǎng)絡翻譯模型的設(shè)計思想［8］，采用基于Transformer的編碼器-解碼器網(wǎng)絡結(jié)構(gòu)，同時融合概念圖譜獲取短文本的先驗知識，如圖1 所示，該網(wǎng)絡模型主要由以下兩部分構(gòu)成：

1）短文本編碼：使用字符向量與詞向量拼接后作為輸入，經(jīng)過Bi-GRU 提取短文本特征，并利用多頭自注意力層對重要文本信息進行加權(quán)，獲得短文本特征。

2）概念化編碼：通過調(diào)用微軟概念圖譜的API，獲取短文本概念集并向量化，通過與短文本的特征向量進行Attention 計算，提升概念集中與短文本關(guān)系密切的概念的權(quán)重，最終得出概念集特征。

圖1 文本分類模型結(jié)構(gòu)Fig.1 Structure of text classification model

2.1 短文本編碼

已有研究表明［13］，使用卷積神經(jīng)網(wǎng)絡可以提取出單詞字符中的形態(tài)學信息（例如單詞的前綴后綴），將字符嵌入作為詞向量的拓展，為缺少詞向量的單詞提供額外信息。因此，本文使用字符級詞嵌入向量與詞向量相拼接作為短文本編碼模型的輸入，輸入短文本單詞序列｛x1，x2，…，xn｝，xi表示句中第i個單詞，其中，xi單詞中包含長度為L的字符，cj為單詞xi中每個字符嵌入向量，每一個字符都代表其相應的一個特征。如圖2 所示，使用一個標準卷積神經(jīng)網(wǎng)絡處理每一個單詞中的字符序列，訓練得出單詞的字符級向量，計算公式如式（1）所示：

其中，WCNN與bCNN為訓練參數(shù)，ke 表示卷積核大小，max 表示進行最大池化操作。

隨后模型將單詞xi映射為詞向量ew：

對詞向量與字符向量進行拼接：

圖2 字符級卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)Fig.2 Structure of character-level convolution neural network

最終獲得詞向量矩陣E=［E1，E2，…，En］作為Bi-GRU 的輸入。前向GRU 按照正常的順序讀取輸入序列（E1～En），反向GRU 則按逆序讀取輸入序列（En～E1），每個t時刻的輸入向量Ei經(jīng)過門控循環(huán)單元的計算，獲取每個時刻的前向隱藏狀態(tài)和反向隱藏狀態(tài)，將各個時刻的前向隱藏狀態(tài)與其對應時刻的反向隱藏狀態(tài)連接，得到該時刻的隱藏狀態(tài)：

隨后將每個時刻隱藏狀態(tài)hj輸入自注意力層，對每個時間步輸入的詞根據(jù)注意力計算進行加權(quán)，使重要的詞語獲得更高的權(quán)重，Attention 計算定義為：

其中，Q表示一次執(zhí)行Attention 時的查詢，K表示與值相對應同時又用來與查詢計算相似度作為Attention 選取的依據(jù)，V表示被注意并被選取的數(shù)據(jù)。輸入包含dk維的query 和key 以及dv維的value。

Multi-head Attention 運算結(jié)構(gòu)如圖3 所示。

圖3 Multi-head Attention 運算結(jié)構(gòu)Fig.3 Operation structure of Multi-head Attention

計算定義如下：

用h個不同的線性變換分別將dmodel維的key、value 和query 映射成dk維、dk維和dv維，隨后計算得出h×dv維輸出，進行拼接，最后進行一次線性變換得到最終的輸出。hi為輸入序列，即Bi-GRU 層輸出的隱藏狀態(tài)，目的是在輸入序列內(nèi)部進行注意力計算，尋找序列內(nèi)部的聯(lián)系。

通過自注意力層計算出注意力權(quán)重at，將Bi-GRU輸出的t時刻的隱藏狀態(tài)ht加權(quán)平均：

最終輸出特征矩陣h′∈?n×2u。

2.2 短文本概念化編碼

文本概念化需要通過已有知識庫例如Yago［14］、Microsoft Concept Graph。本文使用微軟發(fā)布的Concept Graph 知識圖譜對短文本進行概念化，獲取文本相關(guān)概念集。將每條短文本通過知識庫獲取文本的概念集合C=（c1，c2，…，cm），ci表示第i個概念集中的概念向量。為增加重點概念向量的權(quán)重，減小與短文本無關(guān)的概念向量對結(jié)果的影響，首先將短文本特征矩陣h′∈?n×2u經(jīng)過最大池化層，轉(zhuǎn)換為特征向量q∈?2u，隨后引入注意力機制，計算概念集中第i向量與其短文本特征向量q的關(guān)系權(quán)重：

其中，αi為第i個概念集中的概念向量與其短文本之間的注意力權(quán)重為權(quán)重矩陣為權(quán)重向量，da為超參數(shù)，b1為偏置。

在概念集內(nèi)部加入自注意力機制并進行注意力計算，以獲取每個概念ci在整個概念集中的重要性權(quán)重：

其中，βi為第i個概念集中的概念向量的注意力權(quán)重為權(quán)重矩陣為權(quán)重向量，db為超參數(shù)，b2為偏置，注意力機制賦予重要概念較大的權(quán)重，賦予不重要的概念極小的權(quán)重（接近于零），以突出概念集中重要概念。

在得到αi、βi注意力權(quán)重后，用式（12）將兩者結(jié)合，以獲取最終注意力權(quán)重：

其中，ai為最終第i個概念向量注意力權(quán)重，γ∈［0，1］是調(diào)節(jié)αi與βi的權(quán)重參數(shù)。

獲取每個概念向量的注意力權(quán)重后，對每個概念向量進行加權(quán)計算：

2.3 模型訓練

本文網(wǎng)絡模型訓練采用反向傳播算法，同時引入L2 正則化以避免網(wǎng)絡模型過擬合問題。L2 正則化通過在損失函數(shù)中加入L2 范數(shù)作為懲罰項，使得模型擬合更傾向于低維的模型，可以有效防止過擬合。相比于L1 正則化會產(chǎn)生稀疏性問題，L2 正則化可以使系數(shù)向量更加平滑，避免稀疏性問題。本文通過最小化交叉熵損失函數(shù)來優(yōu)化網(wǎng)絡模型，完成分類任務，交叉熵損失函數(shù)為：

其中，D為訓練集大小，C為類別數(shù)，y為預測類別，y′為實際類別為正則項。

2.4 實驗數(shù)據(jù)集

將本文方法在兩個不同領(lǐng)域數(shù)據(jù)的公開數(shù)據(jù)集中進行實驗，解決短文本情感分析的任務。

1）SemEval2017 數(shù)據(jù)集是國際語義評測比賽Task4 的Twitter 數(shù)據(jù)集，數(shù)據(jù)集的短文本中共包含積極、中性和消極3 種情感分類。

2）AGNews：文獻［15］通過互聯(lián)網(wǎng)獲得了新聞文章語料庫，其中包含來自2 000 多個新聞來源的496 835 個分類新聞文章，僅從標題和描述字段中選擇該語料庫中最大的4 個類來構(gòu)建數(shù)據(jù)集。

3）Ohsumed：文獻［16］發(fā)布的醫(yī)學文獻書目分類數(shù)據(jù)集，刪除了帶有多個標簽的文檔，僅將標題用于短文本分類。

4）國際計算機語言協(xié)會（Association for Computational Linguistics，ACL）公布的電影評論數(shù)據(jù)集和IMDB影評數(shù)據(jù)集，每一條評論包含正向和負向的感情傾向。

5）TagMyNews：文獻［17］發(fā)布的英文新聞文本數(shù)據(jù)集，使用其新聞標題作為數(shù)據(jù)集，包含政治、藝術(shù)等7 個分類。

語料庫統(tǒng)計如表1 所示。

表1 語料庫統(tǒng)計Table 1 Corpora statistics

2.5 對比方法

各數(shù)據(jù)集對比方法如下：

1）CNN。文獻［4］提出的卷積神經(jīng)網(wǎng)絡模型，是較為基礎(chǔ)的卷積神經(jīng)網(wǎng)絡。

2）AT-CNN（Attention-based CNN）。文獻［18］提出基于詞注意力卷積神經(jīng)網(wǎng)絡，在詞嵌入層后加入注意力層，可以獲取較為重要的局部特征，取得較好的結(jié)果。

3）CNNs-LSTMs。文獻［19］提出的CNN 與LSTM 相結(jié)合的模型，使用未標注數(shù)據(jù)集訓練詞向量，運用標注數(shù)據(jù)集在訓練中微調(diào)參數(shù)，最終在Twitter 情感分類任務中取得優(yōu)秀的成績。

4）AT-LSTM（Attention-based LSTM）。文獻［20］提出基于注意力機制的雙向LSTM 網(wǎng)絡，該模型在Twitter 的情感分類中取得了比傳統(tǒng)LSTM 網(wǎng)絡更好的分類效果。

5）KCNN（Knowledge Convolutional Neural Network）。文獻［9］提出融合概念圖譜的CNN 短文本分類模型，將知識庫中提前獲取的短文本先驗知識與CNN提取的文本特征相結(jié)合，該模型在5 個公開數(shù)據(jù)集上獲得優(yōu)異的效果。

2.6 實驗參數(shù)設(shè)置

模型使用的預訓練詞向量維度為300，字符向量維度為50 維，概念向量維度為100 維，權(quán)重隨機初始化標準差為0.1 的正態(tài)分布隨機數(shù)。同時所有詞向量、字符向量及概念向量都在訓練時進行微調(diào)。在詞嵌入層，池化層設(shè)置dropout 值為0.3。隱藏層維度為100，L2 正則化權(quán)重為0.000 1，學習率為0.01，學習率的下降率為0.05。使用Adam 優(yōu)化方法加快模型訓練速度，通過每個batch 中50 個樣本的方式進行模型的訓練。

2.7 實驗結(jié)果與分析

將本文模型與5 種對比模型在5 個公開數(shù)據(jù)集上進行實驗，結(jié)果如表2 所示。

表2 各數(shù)據(jù)集準確率實驗結(jié)果Table 2 Experimental results of accuracy of each data set

從表2 可以看出，本文提出的方法模型在不同領(lǐng)域的數(shù)據(jù)集上都取得了較好的效果，尤其在Ohsumed、TagMyNews 數(shù)據(jù)集中表現(xiàn)優(yōu)異，這是由于這些數(shù)據(jù)集只使用新聞、文章標題構(gòu)建，文本長度過短，缺乏上下文信息，在沒有先驗知識的情況下模型訓練效果較差，由于在出現(xiàn)特有名詞或者新詞時，可能這些詞在預訓練詞向量集中不存在，因此模型一般只能使用隨機初始化的方法處理這一問題，這會導致模型分類判別效果變差。而KCNN 與本文模型由于都融入了知識圖譜，可以獲取文本中的先驗知識，因此都取得了優(yōu)異的分類效果。但是本文模型在Twitter 與Movie Review 數(shù)據(jù)集上提升不是很明顯，主要有兩方面原因，一方面是因為這兩個數(shù)據(jù)集是用戶的博文和評論，可能含有一定的上下文信息，另一方面因為兩個數(shù)據(jù)集是情感分類方向，模型獲取情感詞特征對分類效果影響較大，而識別情感詞往往可能不需要很多先驗知識，預訓練的詞向量就可以很好地表達出情感特征。因此，KCNN 與本文模型在這兩個數(shù)據(jù)集上的提升并不明顯。

圖4 為短文本概念化的3 個實例，其中前兩條為新聞分類，第1 條短文本分類為商業(yè)新聞，第2 條分類為科技新聞，而第3 條為醫(yī)學分類，這條短文本被分為寄生蟲相關(guān)文獻。從前兩條新聞短文本可以看出，短文本中出現(xiàn)的單詞可能使用詞向量會表達出錯誤的語義，例如Apple 在短文本中為蘋果公司，而詞向量很可能將其表達為水果的詞義，因此需要引入知識庫以獲取單詞的先驗知識，而從知識庫中獲取的概念集往往也會存在與短文本無關(guān)的概念，例如Hip Pop 的音樂風格概念與商業(yè)新聞無關(guān)，所以引入注意力機制，將每個概念與短文本、概念集進行attention 計算，把那些與短文本和概念集無關(guān)的概念權(quán)重減小，防止影響模型分類效果。對于第3 條醫(yī)學分類的短文本，可以看出短文本中可能會出現(xiàn)某個領(lǐng)域的專業(yè)特殊詞匯，例如文本中的Ascaris lumbricoides 這一詞匯，它們往往在預訓練詞向量中找不到，因此模型分類能力會變差，而本文模型由于結(jié)合知識庫，可以獲取短文本的先驗知識，從而解決這一問題。

圖4 短文本概念化實例Fig.4 Examples of short text conceptualization

從上文可以看出，本文模型對比KCNN 模型在各個領(lǐng)域數(shù)據(jù)集中均有一定的提升。由于本文模型借鑒Transformer 結(jié)構(gòu)，使用雙向GRU 與多頭自注意力相結(jié)合，對短文本進行編碼，在輸入序列內(nèi)部做Attention 計算，給重點詞增加較高的Attention 權(quán)重，從而獲取序列內(nèi)部之間的聯(lián)系，同時multi-Head 部分把每一個由self-attention 計算出來的head 使用不同的線性變換，學習出不同的詞語關(guān)系。本文模型同時使用注意力機制對輸入的概念集進行編碼，通過計算短文本與其概念集中的概念的注意力權(quán)重，賦予與短文本密切相關(guān)的概念更高的權(quán)重，可以一定程度上解決KCNN 模型中輸入的噪聲概念，使重要的概念獲取更高的權(quán)重，因此文本模型有一定的優(yōu)越性。

從上文實驗結(jié)果可以看出，AT-CNN 模型的分類效果全面優(yōu)于CNN 模型，由于CNN 將所有詞都同等對待，提取每一處的局部特征，無法判別輸入文本的特征詞與類別的相關(guān)性，沒有識別關(guān)鍵字的能力，因此在文本分類任務中表現(xiàn)一般。而融合注意力機制的模型AT-CNN，提升了網(wǎng)絡的特征選擇能力，使其在文本分類任務中有更為出色的效果。在Twitter 的分類任務中，相比于CNN 模型，準確率提升了3.4%，在Movie Review 和TagMyNews 數(shù)據(jù)集中，分別提升了1.7%和2.3%，驗證了注意力機制的有效性。結(jié)合一般形式注意力機制的AT-LSTM 模型有著較好的表現(xiàn)，AT-LSTM 相比CNNs-LSTMs 也有較好的提升，在Ohsumed 數(shù)據(jù)集中，準確率提升1.2%，這說明注意力機制在模型訓練時可以關(guān)注特定目標的特征信息，從而使網(wǎng)絡更好地識別文本的類別。

為驗證短文本概念集兩種注意力機制的有效性，本文研究了調(diào)節(jié)兩種注意力權(quán)重的參數(shù)γ對本文模型結(jié)果的影響，經(jīng)過手動調(diào)節(jié)參數(shù)γ，將γ從0 變?yōu)?，間隔為0.25，實驗結(jié)果如表3 所示。從表3 可以看出，一般當γ=0.25 或γ=0.50 時模型效果最佳，具體參數(shù)選定需視數(shù)據(jù)集而定。當參數(shù)γ設(shè)為0 或1時，模型效果都較差。這是由于當γ=1 時，模型忽略了每個概念相對于概念集的重要性，從而導致了模型的性能下降。而當γ=0 時，模型忽略了概念相對于短文本之間的語義相似度，在這種情況下會導致與短文本無關(guān)的概念可能會被賦予較大的權(quán)重，影響模型的分類效果。

表3 參數(shù)γ 對模型的影響Table 3 Impact of parameter γ on the model

3 結(jié)束語

針對短文本分類任務，本文提出一種融合知識圖譜與自注意力機制的GRU 模型。該模型通過雙向GRU 編碼短文本上下文信息，結(jié)合自注意力機制使模型關(guān)注短文本內(nèi)部詞語的關(guān)系，挖掘文本深層次的特征信息。同時使用注意力機制對短文本概念集編碼，使模型可以獲取短文本的先驗知識，解決短文本缺乏上下文信息的問題。在5 個不同領(lǐng)域的評測數(shù)據(jù)集上的實驗結(jié)果驗證了本文方法的可行性和有效性。由于本文使用的第三方知識庫為微軟在2016 年發(fā)布的知識圖譜庫，可能會出現(xiàn)新詞無法查詢的問題，因此下一步計劃使用YAGO3 新知識庫對模型進行改進。