胡豐麟，朱立忠（通信作者）

（沈陽理工大學(xué)自動化與電氣工程學(xué)院 遼寧 沈陽 110159）

0 引言

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，新聞作為信息的重要載體呈現(xiàn)出爆發(fā)式的增長，深度神經(jīng)網(wǎng)絡(luò)也正在逐步取代傳統(tǒng)算法和機(jī)器學(xué)習(xí)。與英語和其他語種的文本分類相比，中文文本分類由于漢字的獨(dú)特性變得更加困難。最初的文本分類是通過建立專家規(guī)則進(jìn)行分類，但由于在靈活性、可擴(kuò)展性和分類效果等方面存在許多不足，并未取得過多的關(guān)注。支持向量機(jī)、K 鄰近、決策樹和最大熵等機(jī)器學(xué)習(xí)算法由于對文本處理的效果較好，成為常見主流算法。當(dāng)數(shù)據(jù)量非常大時，這些算法在處理時成本較高。

1 相關(guān)研究

近年來，由于深度學(xué)習(xí)模型能夠捕捉語義詞關(guān)系，在性能上優(yōu)于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，因此在文本分類中使用深度學(xué)習(xí)模型引起了廣大學(xué)者極大的興趣。使用分布式表示方法來表示單詞和短語，不僅可以獲得單詞在語言前后的關(guān)系特征，而且避免了數(shù)據(jù)的高維和稀疏問題。Liu 等[1]提出了一種可以在中文文本中提取上下文信息的模型，這種模型主要是運(yùn)用LSTM 來對文本的上下文特征提取。在2013年，谷歌公司發(fā)布的Word2vec 工具可以將文本進(jìn)行向量化，從而得到文本的詞向量，挖掘出更加深層的聯(lián)系，而且Word2vec 輸出詞向量可以輸入到其他的深度學(xué)習(xí)網(wǎng)絡(luò)模型中進(jìn)一步處理，極大地提升了文本分類的準(zhǔn)確率。由于Word2vec 模塊的完善，人們已經(jīng)可以利用它對大量文字?jǐn)?shù)據(jù)進(jìn)行訓(xùn)練，把文字表示成低維稠密的矢量空間，從而降低了大量文字?jǐn)?shù)據(jù)存儲的困難度，并考慮到詞語之間的關(guān)聯(lián)，從而更好地描述了大量文字?jǐn)?shù)據(jù)，這將極大地促進(jìn)深度學(xué)習(xí)技術(shù)在文字分析上的發(fā)展和應(yīng)用[2]。閆秘[3]對fastText 算法進(jìn)行改進(jìn)，通過改進(jìn)特征向量的權(quán)重，以及替換數(shù)據(jù)集中主題詞來提高模型的分類效率。肖琳等[4]都將注意力機(jī)制與CNN和RNN的結(jié)合應(yīng)用到了文本分類問題中。陶文靜[5]在新聞文本分類任務(wù)的研究中提出了一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型，在多個數(shù)據(jù)集中取得了不錯的效果。殷亞博等[6]將卷積神經(jīng)網(wǎng)絡(luò)和K 鄰近算法相結(jié)合，通過卷積神經(jīng)網(wǎng)絡(luò)對文本特征進(jìn)行提取，KNN 分類器進(jìn)行分類。經(jīng)過測試，該模型在多個數(shù)據(jù)集都有著較好的分類效果。高云龍等[7]通過在全連接層增加稀疏編碼的方法來降低模型的復(fù)雜度。該模型經(jīng)過反復(fù)實(shí)驗(yàn)，具有較好的文本分類效果。胡杰等[8]提出了一種新模型，將卷積神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林算法結(jié)合，通過卷積神經(jīng)網(wǎng)絡(luò)提出文本特征，隨機(jī)森林對文本進(jìn)行分類。陳可嘉等[9]將卷積神經(jīng)網(wǎng)絡(luò)和長短時記憶網(wǎng)絡(luò)相結(jié)合，通過將卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行動態(tài)池化來提出更多的文本特征。經(jīng)過實(shí)驗(yàn)對比，該模型比其他模型擁有更高的精度。

傳統(tǒng)的CNN 網(wǎng)絡(luò)不能解決由于文本分類任務(wù)中上下文之間存在很強(qiáng)的依賴性和連續(xù)性，導(dǎo)致模型精度較低的問題。本文提出了一種卷積神經(jīng)網(wǎng)絡(luò)（CNN）和長短期記憶網(wǎng)絡(luò)（LSTM）的混合文本分類模型，通過實(shí)驗(yàn)，該模型與其他傳統(tǒng)的深度學(xué)習(xí)模型相比具有更高的準(zhǔn)確率。

2 基于CNN-LSTM模型的方法

CNN 和LSTM 的混合模型主要是保留了各自的優(yōu)點(diǎn)，通過Word2vec 預(yù)處理所獲得的詞向量輸入在CNN 的卷積層中，把CNN 的輸出視為LSTM 第一層的輸入，在每一層的輸出都做歸一化處理。該模型既解決了CNN 模型只能提取局部特征的問題，又能夠解決上下文的依賴關(guān)系，有效地提高了模型的準(zhǔn)確率。

2.1 Word2vec 詞向量

由于神經(jīng)網(wǎng)絡(luò)需要輸入的是向量，需要先對新聞文本進(jìn)行預(yù)處理，將新聞文本映射成為向量，Word2vec 就是一個用來生成詞向量的工具。CBOW 和Skip-gram 是Word2vec 的兩個模型，CBOW 通過上下文預(yù)測目標(biāo)詞訓(xùn)練得到詞向量，并在小型語料庫上使用；Skip-gram 是用一個詞去預(yù)測它文本序列周圍的詞，適合在文本預(yù)料較多時使用。Skip-gram 模型中每個單詞在做中心詞前，都會經(jīng)過K 次的檢測和微調(diào)，而這樣反復(fù)的微調(diào)就會導(dǎo)致單詞向量的變化比較精確。由于本文的新聞數(shù)據(jù)量較大，決定采用skip-gram 模型對文本進(jìn)行預(yù)處理。

Skip-gram 模型，其訓(xùn)練復(fù)雜度為：

式（1）中，C 為Word2vec 模型輸入層的窗口大小，D表示詞向量維度，V 表示訓(xùn)練語料的詞典大小。

2.2 CNN－LSTM 模型

長短時記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)在處理文本分類任務(wù)上都有各自的優(yōu)勢，CNN 雖然能夠保留文字的全局度量特性，并合理地挖掘文本中所有可能的語義關(guān)聯(lián)現(xiàn)象，但卻不能處理文本上下文的相互影響現(xiàn)象和上下文語義關(guān)聯(lián)現(xiàn)象。而由于LSTM 具備了對長期語境信息依賴的特點(diǎn)，可合理使用和記憶更大程度的長期上下文語義關(guān)聯(lián)，從而有效地分析文本序列的含義。因此根據(jù)二者的結(jié)構(gòu)特征，在本文中建立了一個CNN-LSTM 架構(gòu)，作為對信息的分析。CNN-LSTM 的網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示。

圖1 CNN-LSTM 網(wǎng)絡(luò)模型結(jié)構(gòu)

卷積層：文中利用三層一維卷積，每個輸入層包含一個向量序列，并使用固定大小的濾波器進(jìn)行掃描，檢測文本的不同特征。在激活函數(shù)的選擇上，比較常用的是Sigmoid 函數(shù)，但是這個函數(shù)的計算量比較大，在訓(xùn)練深度網(wǎng)絡(luò)時容易出現(xiàn)梯度消失的問題，因此決定使用ReLU作為激活函數(shù)。這個函數(shù)更像一個線性函數(shù)，當(dāng)神經(jīng)網(wǎng)絡(luò)的行為是線性或接近線性時會更容易優(yōu)化，也是因?yàn)榇颂匦裕谑褂眠@個激活函數(shù)進(jìn)行訓(xùn)練的網(wǎng)絡(luò)幾乎完全避免了梯度消失的問題，訓(xùn)練的速度也會比前者更快。

Batch Normalization 層：和Dropout 的作用相似，都是起到了防止模型過擬合的作用，而且相比Dropout，Batch Normalization 的調(diào)參過程也相對簡便一些，能夠有效地提高模型的學(xué)習(xí)率，提高模型的訓(xùn)練速度和收斂過程，作用在每層卷積層之后。

池化層：在BN 層之后，采用max-pooling。選用最大池化層是為了捕捉最重要的特征并減少高級層中的計算。應(yīng)用衰減技術(shù)來減少過擬合，衰減值為0.5，這樣做能夠保留全局的序列信息。

時序?qū)樱涸搶泳哂幸欢〝?shù)量的單元，每個單元的輸入都是卷積層的輸出。通過LSTM 來解決在長文本中，CNN 無法捕捉上下文中存在的依賴特性關(guān)系這一問題。

輸出層：采用Softmax 分類器，使用Softmax 函數(shù)對獲得的特征T 進(jìn)行分類。由于T 是一個向量，因此不可能基于T 直接確定文檔的類別。因此，Softmax 函數(shù)用于執(zhí)行規(guī)范化方法，以獲得文檔屬于特定類別。公式如下：

文本預(yù)測的標(biāo)簽公式如下：

該模型中使用的損失函數(shù)是交叉熵?fù)p失，并引入了L2正則化。公式定義如下：

t 是文本真實(shí)標(biāo)簽的概率，p（y/s）是具有Softmax函數(shù)的每個類的概率，s 是目標(biāo)分類數(shù)，λ 表示模型的復(fù)雜損失占總損失的比例。經(jīng)過Softmax 函數(shù)得到每個類別的概率，完成文本分類的任務(wù)得到最終的分類結(jié)果。

3 實(shí)驗(yàn)結(jié)果分析

本實(shí)驗(yàn)所用的資料集為清華大學(xué)自然語言處理研究室提供的中文文本分析資料集。THUCNews 數(shù)據(jù)集包括了740 000 個新聞文本，十四種新聞類型。文本采用了其中的十種類型，并選取50 000 條新聞數(shù)據(jù)作為訓(xùn)練集，10 000 條新聞數(shù)據(jù)作為測試集。為了滿足深度學(xué)習(xí)對于數(shù)據(jù)量的需求，將已經(jīng)標(biāo)注好的網(wǎng)絡(luò)新聞文本中的詞語通過同義詞替換等方式來擴(kuò)充數(shù)據(jù)。使用softsign 和Adam 作為Textcnn 和CNN-LSTM 的激活函數(shù)和優(yōu)化函數(shù)，來測試兩種算法使用相同數(shù)據(jù)集的準(zhǔn)確率和損失函數(shù)，結(jié)果如圖2和圖3所示。

從圖2和圖3得出，CNN-LSTM 模型比Textcnn 模型擁有更加的準(zhǔn)確率，且損失函數(shù)下降比較平穩(wěn)，說明了此模型相對其他算法模型具有良好的穩(wěn)定性。

圖2 Textcnn 的accuracy 和loss 趨勢變化

圖3 CNN-LSTM 的accuracy 和loss 趨勢變化

接著將Textcnn、LSTM 和CNN-LSTM 的準(zhǔn)確率進(jìn)行對比，如表1所示。

表1 分類準(zhǔn)確率對比

從表1可以看出，三個模型的準(zhǔn)確率分別為0.910、0.864 和0.962。其中CNN-LSTM 的準(zhǔn)確率達(dá)到了0.962，比Textcnn 的準(zhǔn)確率高出了0.052，與LSTM 相比準(zhǔn)確率更是高出了0.98，說明了CNN-LSTM 模型能夠進(jìn)行更精確地分析，有著更高的準(zhǔn)確率，能夠有效地提高文本分類的效果。

實(shí)驗(yàn)數(shù)據(jù)表明，這個結(jié)構(gòu)的CNN-LSTM 模型與傳統(tǒng)的深度學(xué)習(xí)模型相比，具有較高的準(zhǔn)確率，訓(xùn)練效果比傳統(tǒng)的模型有較顯著的提升。該模型在保證每條數(shù)據(jù)結(jié)構(gòu)不變的情況下，挖掘出更深層的語義結(jié)構(gòu)，更好地表達(dá)數(shù)據(jù)的原始特征，有助于提高文本分類的效果。

4 總結(jié)

針對傳統(tǒng)的深度學(xué)習(xí)模型在文本分類任務(wù)上的準(zhǔn)確率不高的問題，文中提出了一種將CNN 模型和LSTM 模型的優(yōu)勢相結(jié)合的混合模型，將CNN 的輸出作為LSTM 的輸入，并在原始的卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，采用計算速度和收斂速度更快的ReLU 函數(shù)作為模型的激活函數(shù)，將BN 層加入到卷積神經(jīng)網(wǎng)絡(luò)中來加快網(wǎng)絡(luò)的收斂速度。通過實(shí)驗(yàn)比較，在對海量的新聞信息進(jìn)行分析時，混合模型的準(zhǔn)確率達(dá)到了96.2%，說明混合模型比傳統(tǒng)的深度學(xué)習(xí)模型擁有更高的預(yù)測精度，具有更好的分類效果，因此能適用于網(wǎng)絡(luò)新聞的分類任務(wù)。