孫劉成， 黃潤才

(上海工程技術大學 電子電氣工程學院，上海201620)

0 引 言

隨著互聯(lián)網技術的飛速發(fā)展，如何在海量的文本信息中，快速準確地獲取人們所需，成為一項值得研究的課題。目前，常用的文本分類技術包含兩類：一種是基于機器學習的算法，如支持向量機(support vector machine,SVM)[1]、K最近鄰(K-nearest neighbour,KNN)[2]、樸素貝葉斯[3]、決策樹等。機器學習的文本表示通常是高緯度，并且需要人工提取特征[4]，在處理海量的文本數(shù)據(jù)時，會有很大的時間和經濟成本。第二類是基于深度學習的方法，Bengio Y等人[5]提出了神經網絡語言模型，奠定了深度學習模型在自然語言處理中的基礎。

深度網絡可以利用網絡分層、網絡嵌套代替手工提取文本特征。在機器學習中常用的詞向量是詞袋模型[6]，這種方式會帶來特征高緯度問題，而深度學習采用分布式表示[7]，可以將文本特征訓練為低緯度的向量，再提取特征，高效解決特征提取問題。

1 相關工作

近些年，深度學習在語音處理、圖像識別等方面取得巨大成功。研究人員已經將深度網絡遷移到自然語言處理中，尤其在文本分類任務中，許多神經網絡都取得不錯的效果。Conneau A等人[9]將深度學習網絡應用于自然語言處理方向，提出基于字符級深度的網絡(VDCNN)用于文本分類。Qian Q等人[10]沒有擴大模型，而是通過控制損失函數(shù)的方法，把語言規(guī)則結合到LSTM模型中。Lai S W等人[11]在學習單詞特征時，采用循環(huán)神經網絡(recurrent neural network,RNN)來捕捉上下文特征信息，采用最大池化方式來提取關鍵詞。趙明等人[12]分別比較了SVM、卷積神經網絡(convolutional neural network,CNN)和LSTM模型在飲食健康文本的分類效果，只是針對飲食健康文本分類，語料單一，結果不具有普遍性。

如何更好地特征提取，得到更好的分類結果，提出了一種融合LSTM和Attention機制的新聞文本分類模型。首先使用詞嵌入將文本向量轉換到低維空間，然后利用LSTM網絡對詞向量進行處理，在提取特征的同時要考慮特征詞的上下文語義。同時引入Attention機制，其在選取的特征中會根據(jù)詞語表達句子意思的重要程度進行二次分配權重。模型在2個數(shù)據(jù)集上進行實驗，分類準確率都有提升。

2 LSTM-A分類模型

為提高文本分類的準確率，提出了融合LSTM和Attention機制的新聞文本分類模型，其結構如圖1所示。模型主要包括3個部分：第1部分是Word2Vec訓練詞向量并提取特征;第2部分是神經網絡LSTM訓練提取特征，利用門控結構，更好保留文本的信息;第3部分是Attention機制，利用LSTM得到隱藏層的輸出，引入Attention為每個詞重新分配權重。

圖1 LSTM-A分類模型結構

2.1 Word2Vec詞向量

NLP任務中最常見的一步就是創(chuàng)建詞列表，熟知的就是One-hot編碼。這種方式是把每個詞順序編號，每個詞都有很長的向量，對應的位置為1，其他位置都是0。這種方法最大問題就是向量的高緯度，本文采用的是更加先進的Word2Vec詞向量模型。

Word2vec是由Google在2013開發(fā)的詞向量工具，主要是利用詞的上下文及上下文與目標詞之間的關系建立模型。主要優(yōu)點是可以將高緯度向量嵌入到低緯度空間，并且保留詞向量之間的位置關系。 Word2vec主要包含CBOW模型和Skip-gram模型，其中CBOW模型是已知上下文W(t-2),W(t-1),W(t+1),W(t+2)的信息，對當前時刻W(t)做出預測。相反,Skip-gram模型則是利用當前詞預測上下文信息。本文采用的是CBOW模型，其結構如圖2所示。

圖2 CBOW模型

CBOW主要包含輸入層、投影層以及輸出層。從輸入層到投影層，它是前后文向量的累加和。它是默認詞與詞之間是相互獨立，忽略了詞序位置關系。針對CBOW模型會忽略詞序信息，無法提取全局信息的問題，提出限定上下文滑動窗口的方法。一定程度可以保留詞的位置信息，同時也可以緩解向量高緯度的問題。本文的滑動窗口大小為4，采取這樣的方式，能更好保留文本中的詞序信息。

2.2 LSTM網絡

RNN被廣泛用于處理長序列問題，由于RNN會有梯度消失和梯度爆炸問題[13]，本文采用其另外一種特殊的形式LSTM網絡。它是專門用來避免長期依賴問題，并且可以保存之前的歷史信息。

LSTM利用其特殊的門控結構，主要包括輸入門、輸出門和遺忘門，有選擇地影響每個時刻的狀態(tài)。輸入門是控制當前單元的輸入，輸出門是控制當前LSTM單元的輸出，遺忘門是控制上一時刻單元中存儲的歷史信息。其結構如圖3所示。

由以上公式可知，清潔機器人的吸附穩(wěn)定條件為：吸附力系合力P與重力G合力的作用錐δ<θ時，清潔機器人沒有下滑趨勢；當α≤β時，機器人沒有翻倒趨勢，或者當α> β時，翻倒力矩小于附著力矩。清潔機器人的吸附穩(wěn)定條件用公式表示為：θ時，清潔機器人沒有下滑趨勢；當α≤β時，機器人沒有翻倒趨勢，或者當α

圖3 LSTM單元結構

其中，存儲單元C為控制參數(shù)，主要決定什么樣的信息會被保留，什么樣的信息會被遺忘。記t時刻的輸入門、輸出門和遺忘門分別為it,Ot,ft,則LSTM門控機制前后時刻狀態(tài)更新方法為

ft=σ(wf[ht-1,xt]+bf)

(1)

it=σ(wi[ht-1,xt]+bi)

(2)

(3)

Ot=σ(wo[ht-1,xt]+bo)

(4)

(5)

式中σ()為Sigmoid激活函數(shù)，tanh()為雙曲正切函數(shù)，wi,wo,wf依次為輸入門、輸出門和遺忘門的權重矩陣；bi,bo,bf分別為三個控制門的偏置。ft和ct-1的計算決定丟棄什么信息；it為要保留的信息；ct為新數(shù)據(jù)形成的控制參數(shù)；ht為利用新的參數(shù)產生輸出。

2.3 Attention機制

Attention機制是一種資源分配機制，對于重要的內容分配較多的注意力，對于其他內容分配較少的注意力。Attention機制本質是將序列通過一種方式計算為中間狀態(tài)，隨后計算輸入序列的注意力概率分布。

3 實驗與結果分析

3.1 實驗數(shù)據(jù)

為了驗證本文方法的有效性，分別在2個公開數(shù)據(jù)集上實驗，使用準確率、召回率等作為評價標準。數(shù)據(jù)集介紹如表1所示。

表1 語料庫概要

3.2 評價標準

采用常規(guī)的評價標準：召回率、準確率、F1值,它們的計算公式用到混淆矩陣，矩陣如表2所示。

表2 混淆矩陣

1)召回率R表示預測正確類別在所有正確樣本中所占比重，計算公式如下

(6)

2)準確率A表示實際正確樣本占總樣本的比例，計算公式如下

(7)

3)F1值表示精確率和召回率綜合的一個指標，計算公式如下

(8)

式中P為精確率，其計算式為

(9)

3.3 結果分析

為驗證模型的優(yōu)越性，選取2個數(shù)據(jù)集在多種算法上做對比實驗。選取部分結果分析。

實驗120 Newsgroups數(shù)據(jù)集的實驗結果如表3所示。

表3 20 Newsgroups實驗結果 %

其中，行和列分別表示實驗的評價標準和不同的分類模型。從表3所示的結果可以分析，在20 Newsgroups數(shù)據(jù)集上實驗的基準模型有貝葉斯、KNN、隨機森林、CNN,LSTM,LSTM-A模型。從準確率、召回率及F1值的比較結果可以看出，每個模型的分類結果都較好?？傮w而言,深度學習模型要優(yōu)于機器學習模型，總體準確率平均提高6.52 %，召回率平均提高5.8 %，F(xiàn)1值平均提高7.06 %。

通過深度學習里的CNN及LSTM獲取文本特征的模型原理進行分析，CNN通過卷積操作只能獲得文本的局部特征，這樣會造成重要信息的丟失。而LSTM模型可以獲取文本序列的長期依賴，盡可能多地保留文本的特征。文本方法在LSTM網絡后面又加入了Attention機制，可以為前面LSTM網絡保留的文本特征分配不同的資源權重，加強了關鍵文本特征的權重。

實驗2為驗證本文模型在中文數(shù)據(jù)集多分類也存在優(yōu)越性，將采用清華大學推出的中文數(shù)據(jù)集THUCNews，由于實驗樣本太大，選取其中7個類別作為樣本數(shù)據(jù)，實驗結果如表4所示。

表4 THUCNews實驗結果 %

從表4的實驗結果數(shù)據(jù)可以分析出，本文模型在中文數(shù)據(jù)測試的結果依然是最好的。在中文文本分類中，深度神經網絡表現(xiàn)都比較突出，比傳統(tǒng)的機器學習模型分類效果好，基本都達到90 %以上。LSTM分類模型和LSTM+CNN模型對比來看，LSTM網絡本身就考慮到序列問題，可以“記憶”前文的信息，所以分類效果都比較不錯，而在其后面加入CNN，再次把信息局部化處理，使得分類結果有一定的提升。而本文方法是選擇在LSTM網絡后加入Attention機制，利用它可以計算文本中每個詞概率分布值，更好地提取關鍵詞文本特征，對于文本的分類結果是有很大的提升。再次驗證本文方法對于提高文本分類的性能是有效的。

4 結束語

本文提出一種融合LSTM和注意力機制的新聞文本分類模型，旨在融合LSTM具有長期“記憶”特性和Attention機制為重要文本特征分配權重的特性。通過在2個中英文數(shù)據(jù)集上進行實驗，結果表明：在LSTM網絡后面引入Attention機制，能夠更好地捕捉到文本的關鍵信息，提高分類的準確率。

由于硬件的限制，有的數(shù)據(jù)不是特別大，同時對輸入的數(shù)據(jù)進行了長度限制，導致對于長文本分類結果不理想。所以，如何在更大規(guī)模數(shù)據(jù)集及較長的文本上也取得突出的分類效果，將是下一步的工作重點。