宋 巖 劉漢永 寧向南 孟憲哲

(國(guó)網(wǎng)天津市電力公司信息通信公司 天津 300000)

0 引 言

文本分類是自然語言處理研究中最為廣泛的任務(wù)之一，也是其他自然語言處理任務(wù)的基礎(chǔ)。文本分類是指通過構(gòu)建模型實(shí)現(xiàn)對(duì)文本內(nèi)容進(jìn)行自動(dòng)分類，文本分類在文本挖掘中有很多應(yīng)用場(chǎng)景。比如：① 新聞過濾[1-2]。因?yàn)楫?dāng)今時(shí)代新聞數(shù)量龐大，很難手動(dòng)過濾新聞文章，因此自動(dòng)地對(duì)新聞文章過濾十分重要；② 意見挖掘?？蛻粼u(píng)論或意見通常都是較短的文本，通過挖掘這些文本來從評(píng)論中獲得有用信息，包括客戶的情感傾向等。③ 垃圾郵件過濾。通過對(duì)電子郵件進(jìn)行分類來確定垃圾郵件。

傳統(tǒng)的文本分類方法是使用稀疏詞匯的特征來表示文本，然后用一個(gè)線性模型進(jìn)行分類，研究工作通常是利用主成分分析[3]、主題模型[4]或計(jì)算TF-IDF[5-6]等方法得到文本的語義表示，而這種淺層的表示方法難以全面地捕獲文本描述中所蘊(yùn)含的隱藏語義信息。近年來，大部分研究采用深度學(xué)習(xí)的方法學(xué)習(xí)文本的表示，比如：利用Word2vec[7]模型學(xué)習(xí)文本中的詞向量表示，進(jìn)而得到文本的語義表示用于文本分類[8]，以及采用卷積神經(jīng)網(wǎng)絡(luò)(CNN)[9]、 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)[10]

等神經(jīng)網(wǎng)絡(luò)模型提取特征并進(jìn)行分類。

通過觀察發(fā)現(xiàn)，文本是有層次結(jié)構(gòu)的，文本是由句子組成，句子是由單詞組成。雖然基于神經(jīng)網(wǎng)絡(luò)的文本分類方法已經(jīng)相當(dāng)有效，但是這些方法忽視了文本的層次結(jié)構(gòu)。針對(duì)上述問題，本文提出了基于層次特征提取的文本分類方法，對(duì)于待分類的文本，分別使用CNN學(xué)習(xí)到句子特征，然后用LSTM學(xué)習(xí)文本的特征，最后進(jìn)行文本類別劃分。

1 相關(guān)工作

文本分類的流程：文本預(yù)處理,抽取文本特征,構(gòu)造分類器。其中最關(guān)鍵部分為文本特征的抽取。關(guān)于抽取文本特征，目前最有效的方法就是采用神經(jīng)網(wǎng)絡(luò)模型，下面介紹三種采用神經(jīng)網(wǎng)絡(luò)進(jìn)行文本分類的模型。

1.1 直接應(yīng)用CNN的模型

文獻(xiàn)[11]針對(duì)句子級(jí)的文本使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行文本分類，該方法使用一層簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)在詞向量的基礎(chǔ)上卷積，詞向量是在公開的谷歌新聞的數(shù)據(jù)集上訓(xùn)練的，數(shù)據(jù)集規(guī)模為1 000億詞。

該方法的處理流程如圖1所示，首先句子的表示可以看作一個(gè)矩陣，行代表單詞，列代表詞向量維度，然后經(jīng)過不同的卷積核卷積，可以得到多個(gè)向量，之后經(jīng)過最大池化，再經(jīng)過一個(gè)全連接層輸出該文本對(duì)應(yīng)的標(biāo)簽。

圖1 卷積神經(jīng)網(wǎng)絡(luò)的文本分類模型

1.2 基于CNN改進(jìn)的模型

Johnson等[12]對(duì)基于CNN的文本分類進(jìn)行研究，利用文本數(shù)據(jù)的一維結(jié)構(gòu)(即詞序)進(jìn)行精確預(yù)測(cè)。他們直接將CNN應(yīng)用于高維文本數(shù)據(jù)，輸入的是詞的熱編碼，維度為字典大小，而不是像上一種方法那樣使用學(xué)好的低維的詞向量作為輸入，從而直接學(xué)習(xí)用于分類的小文本區(qū)域的表示，在學(xué)習(xí)過程中也不需要學(xué)習(xí)單詞的表示。因?yàn)榭梢栽贕PU上有效處理高維稀疏的數(shù)據(jù)，所以該方法是可行的。

為了獲得更高的精度，Johnson等還探索了將多個(gè)卷積層結(jié)合起來的擴(kuò)展。實(shí)驗(yàn)證明他們的方法是有效的，且具有訓(xùn)練速度快、簡(jiǎn)化系統(tǒng)(需要調(diào)整的參數(shù)較少)的優(yōu)點(diǎn)。

1.3 基于字符級(jí)CNN的模型

之前的基于神經(jīng)網(wǎng)絡(luò)的方法都是在更高層面的單元對(duì)文本進(jìn)行建模，比如單詞層面、短語層面等，Zhang等[13]提出基于字符層面進(jìn)行建模來對(duì)文本進(jìn)行分類，這樣就不需要使用預(yù)訓(xùn)練好的詞向量和語法句法結(jié)構(gòu)信息。通過實(shí)驗(yàn)證明，當(dāng)訓(xùn)練集規(guī)模足夠大的時(shí)候，卷積網(wǎng)絡(luò)不需要單詞層面的意義，也不需要語言的語法句法結(jié)構(gòu)等信息就能達(dá)到較好的效果，因此基于字符級(jí)的方法可以很容易地推廣到所有語言。

模型的輸入是字符序列，首先需要將字符轉(zhuǎn)化為可處理的數(shù)字序列，每個(gè)字符都轉(zhuǎn)化為字典長(zhǎng)度的熱編碼向量，然后將字符序列變換成固定長(zhǎng)度的序列，長(zhǎng)度不夠的進(jìn)行填充。模型結(jié)構(gòu)為六層卷積層之后加上三層全連接層，在三個(gè)全連接層之間加入兩個(gè)丟棄層(dropout)來實(shí)現(xiàn)模型的正則化。

此外，作者還使用詞典來進(jìn)行數(shù)據(jù)的擴(kuò)充。實(shí)驗(yàn)表明，合適的數(shù)據(jù)擴(kuò)充可以降低泛化誤差，但是文本的數(shù)據(jù)擴(kuò)充不能像圖像處理中對(duì)圖片進(jìn)行縮放、平移、旋轉(zhuǎn)等操作那樣進(jìn)行數(shù)據(jù)轉(zhuǎn)換，在文本處理中，不能隨意調(diào)換字符順序，因?yàn)轫樞虼砹苏Z義。最理想的數(shù)據(jù)增強(qiáng)方法是使用人工復(fù)述句子的方式，但是對(duì)大規(guī)模語料來說代價(jià)昂貴。因此使用詞語的同義詞進(jìn)行替換更為合適，可以達(dá)到數(shù)據(jù)增強(qiáng)的目的。

2 模型構(gòu)建

本文提出了基于層次特征提取的文本分類模型，將文本分為多個(gè)句子進(jìn)行處理。句子分為多個(gè)單詞進(jìn)行處理。首先分別對(duì)句子中單詞使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，得到句子的表示，然后按照文本中句子的順序?qū)⒌玫降膶?duì)應(yīng)句子的表示依次輸入到長(zhǎng)短期記憶網(wǎng)絡(luò)中，并取最后一層的隱藏層表示當(dāng)作文本的表示并對(duì)其進(jìn)行分類。本文使用的模型的主體結(jié)構(gòu)如圖2所示。

圖2 基于層次特征提取的文本分類模型

下面將沿自頂向下的方向，對(duì)模型的具體結(jié)構(gòu)進(jìn)行詳細(xì)介紹。

2.1 卷積神經(jīng)網(wǎng)絡(luò)(CNN)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是近些年逐步興起的一種人工神經(jīng)網(wǎng)絡(luò)模型，在圖像和語音識(shí)別方面被廣泛使用。其同樣可以用于自然語言處理任務(wù)中，用于解決語義分析、搜索結(jié)果提取、句子建模、分類、預(yù)測(cè)、和其他傳統(tǒng)的自然語言處理任務(wù)等。

卷積神經(jīng)網(wǎng)絡(luò)的輸入層可以處理多維數(shù)據(jù)，在本文的工作中則是使用二維的輸入值，對(duì)于待分類的文本d，將其按句分割為d={s1,s2,…,sT}，T代表文本所包含的句子的個(gè)數(shù)，每一個(gè)句子si均為一個(gè)二維向量，其每一行均為一個(gè)單詞的向量表示。在本文的實(shí)際處理中對(duì)句子的個(gè)數(shù)進(jìn)行了一定的對(duì)齊操作，如截?cái)?、填充等手段，使得模型的輸入具有相同的結(jié)構(gòu)。

在接受句子s的輸入后，使用卷積操作來提取句子級(jí)的特征表示。在二維數(shù)組離散的輸入形式下，卷積運(yùn)算一般可以定義為：

(1)

式中：I為輸入的二維句子矩陣，K為指定大小的卷積核，S為卷積結(jié)果。在二維矩陣的(i,j)位置上進(jìn)行卷積就是使用卷積核在(i,j)及其對(duì)應(yīng)的卷積核的位置上對(duì)應(yīng)位置的元素相乘，然后結(jié)果相加作為在該點(diǎn)卷積的結(jié)果。卷積核在輸入矩陣上不斷調(diào)整位置，得到輸出的特征表示S。在本文的工作中，以單詞為基本單位來進(jìn)行卷積操作，一次卷積過程用來提取幾個(gè)相鄰單詞的之間的相關(guān)特征，其過程如圖3所示，其中wi為一個(gè)單詞通過隨機(jī)初始化方法產(chǎn)生的向量表示。

圖3 對(duì)句子矩陣進(jìn)行卷積計(jì)算

在獲得句子級(jí)特征表示后，使用池化(pooling)的方法來對(duì)其進(jìn)行處理，可以有效地減少模型的參數(shù)并防止過擬合。常用的池化方法主要有最大池化、平均池化等，在本文中選用最大池化來處理特征表示向量S，進(jìn)一步提取句子向量的特征，然后將提取后的特征作為L(zhǎng)STM網(wǎng)絡(luò)的輸入。

2.2 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)

在完成對(duì)句子級(jí)的特征提取之后，是對(duì)句子之間的時(shí)序關(guān)系的建模，循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)通常是最佳的選擇。該網(wǎng)絡(luò)使用循環(huán)單元來保存信息，具有強(qiáng)大的時(shí)序關(guān)系捕捉能力來建模長(zhǎng)時(shí)間的序列依賴關(guān)系。對(duì)于循環(huán)神經(jīng)網(wǎng)絡(luò)，可以將其沿時(shí)間展開，基本結(jié)構(gòu)如圖4所示。

圖4 循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

而在實(shí)際應(yīng)用中，循環(huán)神經(jīng)網(wǎng)絡(luò)通常會(huì)存在梯度消失和梯度爆炸的問題，長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)則是一種循環(huán)神經(jīng)網(wǎng)絡(luò)的特殊類型，適合處理和預(yù)測(cè)時(shí)間序列中間隔和延遲相對(duì)較長(zhǎng)的情況，因此選擇使用LSTM來完成本文的工作。LSTM依靠三個(gè)部分來完成對(duì)細(xì)胞狀態(tài)的保護(hù)和處理，分別為輸入門、遺忘門和輸出門，其中的門結(jié)構(gòu)均是通過Sigmoid函數(shù)以及按位乘運(yùn)算操作來實(shí)現(xiàn)的。其中Sigmoid函數(shù)的計(jì)算方式如下：

(2)

Sigmoid函數(shù)對(duì)于任意范圍的x值的輸入，均可以將結(jié)果映射到0到1的范圍內(nèi)，該輸出值代表有多少量可以通過，其中1代表允許任何量通過，為0則代表不允許任何量通過。

在時(shí)間序列的第t個(gè)時(shí)間段，長(zhǎng)短期記憶網(wǎng)絡(luò)的各個(gè)部分的計(jì)算方法如下：

ft=σ(Wf·[ht-1,xt]+bf)

(3)

it=σ(Wi·[ht-1,xt]+bi)

(4)

(5)

(6)

ot=σ(Wo·[ht-1,xt]+bo)

(7)

ht=ot⊙tanh(Ct)

(8)

在完成了CNN提取句子級(jí)特征的過程后，對(duì)于每個(gè)文本d,可以將其表示為d={v1,v2,…,vT}，其中T為該文本所包含的句子的個(gè)數(shù)，每一個(gè)向量vi均為文本中一句話的特征表示，使用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)LSTM來對(duì)d中的向量進(jìn)行時(shí)序關(guān)系的建模，來提取文本級(jí)特征表示，進(jìn)而利用該特征表示進(jìn)行分類。

2.3 文本類別劃分

在通過上述的CNN和LSTM模塊來完成層次級(jí)特征提取后，我們選用LSTM的最后時(shí)刻的隱藏層狀態(tài)作為文本的最終表示，該狀態(tài)包含了層次化的深度語義信息，可以用于文本分類的特征向量。在本文的工作中使用一個(gè)softmax層來實(shí)現(xiàn)文本類別的劃分，具體的計(jì)算方法如下：

p=softmax(Wd+b)

(9)

式中：W和b為待學(xué)習(xí)權(quán)重矩陣和偏置向量。softmax(·)函數(shù)為歸一化指數(shù)函數(shù)，其形式為：

(10)

該函數(shù)值代表了特征x劃分為類別的概率。因此文本分類的損失函數(shù)可以寫為如下負(fù)對(duì)數(shù)似然函數(shù)的形式：

(11)

式中：l為文本d的所屬類別標(biāo)簽。通過最小化上述損失函數(shù)來完成整體模型的訓(xùn)練。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)簡(jiǎn)介

為了證明本模型的有效性，本文分別在中文和英文數(shù)據(jù)集上進(jìn)行了分類結(jié)果測(cè)試。其中在英文數(shù)據(jù)集上的實(shí)驗(yàn)使用cora數(shù)據(jù)集來進(jìn)行效果的驗(yàn)證，在實(shí)驗(yàn)中采用了cora數(shù)據(jù)集中的一部分?jǐn)?shù)據(jù)進(jìn)行實(shí)驗(yàn)，該部分?jǐn)?shù)據(jù)一共包含了2 211條文本內(nèi)容，其中每一個(gè)文本為一篇論文的摘要內(nèi)容以及其所屬的學(xué)科類別，共分為7類，包含人工智能、數(shù)據(jù)庫、信息檢索等學(xué)科內(nèi)容。

而在中文數(shù)據(jù)集的測(cè)試結(jié)果方面，現(xiàn)存的中文文本數(shù)據(jù)集均存在文本長(zhǎng)度不一致的問題，文本之間的長(zhǎng)度相去甚遠(yuǎn)，并不能很好地證明本文方法的有效性。因此為了進(jìn)行在中文文本數(shù)據(jù)上的分類測(cè)試實(shí)驗(yàn)，我們使用網(wǎng)絡(luò)爬蟲來進(jìn)行數(shù)據(jù)集的收集，其數(shù)據(jù)來源于新浪新聞，一共2 605條新聞文本，每一個(gè)文本均包含不定長(zhǎng)的句子，每個(gè)句子的長(zhǎng)度均在十句到四十句之間，一共包含了經(jīng)濟(jì)、政治、體育和科技等四大類別。

為了驗(yàn)證本文方法的實(shí)際效果，本文將數(shù)據(jù)集以0.1、0.3、0.5、0.7、0.9等比例劃分訓(xùn)練集和測(cè)試集，以此來分別檢驗(yàn)在不同訓(xùn)練集比例下測(cè)試模型的效果。

3.2 對(duì)比方法

為了證明所提出方法的性能，將其與其他幾種常用的文本分類方法的實(shí)驗(yàn)效果進(jìn)行了對(duì)比。所選擇的方法如下：

Doc2vec-LR：又稱文本向量化算法，它接受不同長(zhǎng)度的句子做訓(xùn)練樣本，通過無監(jiān)督的學(xué)習(xí)方式生成文本的向量表示。該方法首先利用Doc2vec算法對(duì)文本的內(nèi)容進(jìn)行特征向量表示，然后基于該特征向量表示利用邏輯斯諦回歸(LR)進(jìn)行文本所屬類別劃分。

LSTM：該方法利用LSTM訓(xùn)練得到文本表示的特征向量，然后基于該特征向量表示利用一層Softmax進(jìn)行文本分類。

3.3 實(shí)驗(yàn)設(shè)置

本實(shí)驗(yàn)中所有的特征表示向量都使用隨機(jī)初始化，在英文數(shù)據(jù)集cora上進(jìn)行實(shí)驗(yàn)時(shí)，詞特征向量的維度設(shè)為256，模型中所有權(quán)重矩陣均為隨機(jī)初始化，偏置向量初始化為0，神經(jīng)網(wǎng)絡(luò)的層數(shù)均為一層。對(duì)于我們的CNN-LSTM模型，均使用大小為3×256的卷積核，其中3為每次卷積涉及的內(nèi)容為前后三個(gè)單詞，256為單詞向量的維度。卷積核個(gè)數(shù)為256。對(duì)于LSTM模型以及CNN-LSTM模型，其在LSTM層的神經(jīng)元單元數(shù)為CNN的卷積核個(gè)數(shù)。由于數(shù)據(jù)較多，為了提升訓(xùn)練速度采用批處理的方式進(jìn)行訓(xùn)練，batch的大小設(shè)為50。在參數(shù)優(yōu)化過程中，本文選擇Adam進(jìn)行優(yōu)化，訓(xùn)練的學(xué)習(xí)率設(shè)為0.001，最大迭代次數(shù)設(shè)為50輪。此外，本文在訓(xùn)練過程中引入dropout策略和正則化項(xiàng)來防止出現(xiàn)過擬合的現(xiàn)象，dropout比率設(shè)為0.3，正則化項(xiàng)使用L2正則化，系數(shù)為0.05。而在中文數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)時(shí)，針對(duì)于中文的特殊性，我們首先去除一些中文的特殊字符，然后使用開源工具jieba分詞對(duì)文本進(jìn)行了分詞處理，再依次完成詞表生成、劃分句子以及網(wǎng)絡(luò)模型訓(xùn)練的過程。為了達(dá)到更好的精確率，我們?cè)O(shè)定詞向量的維度為128維，權(quán)重矩陣同樣選用隨機(jī)初始化的方式，卷積核的個(gè)數(shù)為128個(gè)，每個(gè)卷積核的大小為3×128，長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)LSTM的神經(jīng)元個(gè)數(shù)為128，為了避免一些生僻漢字的影響，設(shè)定頻度達(dá)到3的詞組才會(huì)加入詞表中。其他參數(shù)設(shè)定與在英文數(shù)據(jù)集上的實(shí)驗(yàn)一致。

3.4 實(shí)驗(yàn)結(jié)果

基于上述實(shí)驗(yàn)設(shè)置，本文在兩個(gè)數(shù)據(jù)集上進(jìn)行文本分類對(duì)比實(shí)驗(yàn)，使用判斷分類結(jié)果的精確度作為評(píng)價(jià)指標(biāo)，該值越大代表分類性能越好。在英文測(cè)試集上的實(shí)驗(yàn)結(jié)果如表1所示。

表1 英文數(shù)據(jù)集分類實(shí)驗(yàn)結(jié)果

表1中首列為訓(xùn)練集所占總體數(shù)據(jù)的比例。由表1可以看出，無論是在以何種比例劃分的測(cè)試集上，本文所提出的基于層次特征提取的文本分類模型(CNN-LSTM)都具有優(yōu)于其他對(duì)比方法的分類效果，在使用較小的訓(xùn)練集的情況下，依然具有較高的準(zhǔn)確率，證明了本文方法的有效性。而在中文數(shù)據(jù)集上的文本分類結(jié)果如表2所示，相較于傳統(tǒng)的文本分類方法，本文使用的基于層次特征提取的方法在中文文本分類任務(wù)上同樣具有較好的效果。

表2 中文數(shù)據(jù)集分類實(shí)驗(yàn)結(jié)果

除上述對(duì)比實(shí)驗(yàn)外，本文同時(shí)也對(duì)模型的參數(shù)敏感性進(jìn)行分析。相對(duì)于傳統(tǒng)方法如LSTM等，我們使用了CNN模型來提取出句子級(jí)的語義表示，然后再對(duì)句子級(jí)表示使用LSTM進(jìn)行文本向量建模，其句子級(jí)特征的提取在本文提出的方法中扮演著重要的角色。因此這里主要研究了用于提取句子級(jí)特征的CNN模型的參數(shù)對(duì)于模型分類效果的影響。圖5展示了卷積核個(gè)數(shù)從16變化到128的過程中模型在cora數(shù)據(jù)集上分類準(zhǔn)確率的變化情況。

圖5 分類性能隨卷積核個(gè)數(shù)變化情況

從圖中可以看出，當(dāng)卷積神經(jīng)網(wǎng)絡(luò)的卷積核的個(gè)數(shù)增加時(shí)，模型的分類性能在整體趨勢(shì)上有所上升。但當(dāng)卷積神經(jīng)網(wǎng)絡(luò)的卷積核的個(gè)數(shù)過多時(shí)，模型的性能反而會(huì)略微下降，原因是卷積核的個(gè)數(shù)過多，神經(jīng)網(wǎng)絡(luò)模型過于復(fù)雜，很容易處于過擬合的狀態(tài)，不能很好地完成預(yù)測(cè)任務(wù)。因此本實(shí)驗(yàn)使用256個(gè)卷積核進(jìn)行句子級(jí)特征的提取，以達(dá)到最佳的分類效果。

4 結(jié) 語

文本分類是一個(gè)值得研究的問題，這個(gè)任務(wù)有很多應(yīng)用場(chǎng)景，因此具有很重要的意義。本文提出了一個(gè)基于層次特征提取的文本分類方法，使用卷積神經(jīng)網(wǎng)絡(luò)模型完成句子級(jí)的文本建模，然后使用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)提取文本級(jí)特征進(jìn)行分類，并在真實(shí)的數(shù)據(jù)集上驗(yàn)證了本文模型的有效性。

在本文提出的模型中，均是通過截?cái)嗟姆绞綄?duì)句子級(jí)和文本級(jí)特征進(jìn)行處理，并沒有完全利用文本的完整信息，因此在后續(xù)的研究工作將對(duì)模型進(jìn)行進(jìn)一步改進(jìn)，使得模型可以接受不同長(zhǎng)度的句子、段落作為輸入，以達(dá)到更好的分類效果。