吳緒玲

西南交通大學(xué) 希望學(xué)院 信息工程系， 成都 610400

作為信息檢索、 信息過(guò)濾等領(lǐng)域的基礎(chǔ)， 文本分類技術(shù)起著至關(guān)重要的作用， 成為自然語(yǔ)言處理的研究熱點(diǎn)[1-2]． 文本分類的效率和準(zhǔn)確度影響了文本處理能力， 現(xiàn)在對(duì)海量文本的有效處理為語(yǔ)義分析等打下良好基礎(chǔ)[3]． 文本分類中分類結(jié)果取決于特征質(zhì)量及分類方法． 如今， 電子文檔的數(shù)量越來(lái)越多， 文檔特征也隨之增加， 然而， 大多數(shù)提取的特征部分是不相關(guān)且多余的， 高維特征會(huì)增加文本分類的計(jì)算時(shí)間， 降低分類結(jié)果的準(zhǔn)確性[4]．

特征選擇是文本分類預(yù)處理中克服這一問(wèn)題的重要步驟， 其目的是確定一個(gè)包含有限數(shù)量的相關(guān)特征的子集， 這些特征足以維持或提高分類任務(wù)的性能[5]． 傳統(tǒng)的特征選擇方法有信息增益、 卡方分布和主成分法等． 文獻(xiàn)[6]提出一種文本分類的特征選擇方法， 設(shè)計(jì)了類間集中度和類內(nèi)分散度評(píng)估函數(shù)進(jìn)行特征選擇， 文獻(xiàn)[7]提出了改進(jìn)卡方度量的特征選擇方法， 但在大數(shù)據(jù)時(shí)代， 這些傳統(tǒng)方法很難保證文本分類的準(zhǔn)確性． 文獻(xiàn)[8]提出了使用優(yōu)化算法的特征選擇， 使用蟻群算法和人工神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)了用于文本分類的特征選擇過(guò)程， 但是特征選擇沒(méi)有考慮到上下文信息和相關(guān)性， 且收斂速度慢， 易發(fā)生停滯， 連續(xù)優(yōu)化問(wèn)題求解較弱．

近些年， 將選擇的特征子集進(jìn)行分類得到最終的分類結(jié)果， 由機(jī)器學(xué)習(xí)發(fā)展到深度學(xué)習(xí)， 都已經(jīng)被用于文本分類． 常用的文本分類方法有決策樹(shù)、 支持向量機(jī)、 K最近鄰居、 樸素貝葉斯和神經(jīng)網(wǎng)絡(luò)等[9]． 文獻(xiàn)[10]提出一種CNN-ELM混合短文本分類模型， 該方法卷積神經(jīng)網(wǎng)絡(luò)提取特征并進(jìn)行優(yōu)化， 然后使用誤差最小化極速學(xué)習(xí)機(jī)作為分類器完成短文本分類任務(wù)；文獻(xiàn)[11]提出了多項(xiàng)式和伯努利樸素貝葉斯的文本分類方法， 雖然分類生成的解更簡(jiǎn)單有效， 但是某個(gè)參數(shù)的估計(jì)和新數(shù)據(jù)的到達(dá)會(huì)帶來(lái)很多麻煩， 如需要計(jì)算先驗(yàn)概率、 分類決策存在錯(cuò)誤率、 對(duì)輸入數(shù)據(jù)的表達(dá)形式很敏感等；文獻(xiàn)[12]提出了注意力機(jī)制和卷積層的雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory， LSTM)的文本分類方法， 包含雙向LSTM， 關(guān)注機(jī)制和卷積層， 得到上下文相關(guān)的特征， 最后softmax分類器用于對(duì)處理后的上下文信息進(jìn)行分類；文獻(xiàn)[13]提出一種卷積遞歸神經(jīng)網(wǎng)絡(luò)的文本分類方法， 所提出的分類模型使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取本地特征， 然后利用LSTM網(wǎng)絡(luò)的巨大內(nèi)存能力連接提取的特征， 提高文本分類精度；文獻(xiàn)[14]中引入膠囊網(wǎng)絡(luò)替代CNN提取文本特征， 將其與LSTM連接形成融合神經(jīng)網(wǎng)絡(luò)模型對(duì)文本進(jìn)行分類． 文獻(xiàn)[10-14]中基于深度學(xué)習(xí)的特征學(xué)習(xí)方法中， 對(duì)于深度模型的參數(shù)尋優(yōu)方面的研究較少．

為了加大深度學(xué)習(xí)文本分類準(zhǔn)確率， 提出一種混合優(yōu)化的雙模深度學(xué)習(xí)文本分類方法， 設(shè)計(jì)混合優(yōu)化算法， 對(duì)雙模深度學(xué)習(xí)模型權(quán)值尋優(yōu)， 使用雙向GRU進(jìn)行特征選擇， 將選擇的上下文相關(guān)特征子集輸入優(yōu)化后的深度信念網(wǎng)絡(luò)， 從而實(shí)現(xiàn)文本分類， 提高分類準(zhǔn)確率等性能．

1 深度學(xué)習(xí)模型

1.1 雙向GRU

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network， RNN)具有短時(shí)記憶， RNN通過(guò)反向傳播算法將誤差往前傳遞． 當(dāng)輸入序列較長(zhǎng)時(shí)， RNN存在梯度爆炸或消失的問(wèn)題， LSTM和GRU(圖1)的引入來(lái)解決循環(huán)神經(jīng)網(wǎng)絡(luò)這些問(wèn)題． LSTM 作為主流 RNN 模型常應(yīng)用于文本信息提取， 優(yōu)點(diǎn)是有效保留文檔上下文時(shí)序關(guān)系；而GRU將LSTM模型進(jìn)行簡(jiǎn)化， 只有更新門(mén)和重置門(mén)兩種， 以更少的參數(shù)和計(jì)算量進(jìn)行信息特征提取[15]．

更新門(mén)有助于確定需要將多少過(guò)去的信息傳遞給模型， 使用此功能， 可以防止模型復(fù)制過(guò)去的所有信息；重置門(mén)用于決定有多少過(guò)去的信息在模型中被遺忘和確定． 更新門(mén)和重置門(mén)如式(1)所示[2]．

(1)

(2)

在雙向GRU中， 模型以向前和向后的順序處理輸入序列， 將來(lái)自兩個(gè)方向的知識(shí)合并到輸出中．

1.2 深度置信網(wǎng)絡(luò)

與傳統(tǒng)的機(jī)器學(xué)習(xí)模型相比， DBN(圖2)是一個(gè)概率生成模型， 通過(guò)對(duì)神經(jīng)網(wǎng)元權(quán)重的訓(xùn)練， 使得神經(jīng)網(wǎng)絡(luò)以最大概率生成訓(xùn)練數(shù)據(jù)． DBN是由多層受限玻爾茲曼機(jī)(Restricted Boltzmann Machine， RBMs)堆疊而成， RBM由基于加權(quán)連接的隱藏單元和可見(jiàn)單元組成， 多層網(wǎng)絡(luò)具有解決任何復(fù)雜任務(wù)的能力， 從而使數(shù)據(jù)分類更有效地確定增量式文本分類[16]．

圖2 DBN結(jié)構(gòu)

DBN是由RBMs堆疊得到的， 隱藏層的能量函數(shù)表示為：

(3)

其中，vj表示第j個(gè)可見(jiàn)節(jié)點(diǎn)，hi表示第i個(gè)隱藏節(jié)點(diǎn)，wij表示兩個(gè)節(jié)點(diǎn)間的權(quán)值，ai和bj分別表示隱藏層和可見(jiàn)層的偏置．

在DBN學(xué)習(xí)中， 隨機(jī)進(jìn)行參數(shù)初始化， 將導(dǎo)致局部最優(yōu)問(wèn)題， 所以需要進(jìn)一步地學(xué)習(xí)來(lái)優(yōu)化網(wǎng)絡(luò)參數(shù)． 本文設(shè)計(jì)了烏鴉搜索算法(Crow Search Algorithm， CSA)和蝗蟲(chóng)優(yōu)化算法(Grasshopper Optimization Algorithm， GOA)的混合優(yōu)化算法， 實(shí)現(xiàn)對(duì)DBN的權(quán)值優(yōu)化， 解決局部最優(yōu)問(wèn)題， 使得特征選擇和分類性能提高．

2 基于混合優(yōu)化算法的雙模深度學(xué)習(xí)文本分類

將文檔中的關(guān)鍵字輸入預(yù)處理階段， 以便使用停止詞刪除和詞干處理過(guò)程， 從數(shù)據(jù)中消除不一致和冗余的詞， 之后將文本進(jìn)行特征表示， 然后設(shè)計(jì)混合優(yōu)化算法， 對(duì)深度學(xué)習(xí)模型進(jìn)行權(quán)值優(yōu)化， 使用雙向GRU進(jìn)行特征選擇， 最后使用優(yōu)化DBN實(shí)現(xiàn)有效的文本分類．

2.1 文本文檔的預(yù)處理

為了將文本轉(zhuǎn)換為數(shù)字形式， 使用了預(yù)處理措施． 首先進(jìn)行分詞， 將一個(gè)句子或者序列分解成單個(gè)的單詞和標(biāo)點(diǎn)． 然后去停止詞， 去除文檔中如虛詞、 介詞和連詞等特征詞， 減少特征總數(shù)；之后進(jìn)行詞干提取， 通過(guò)消除每個(gè)單詞的前綴和后綴， 詞干分離為特定單詞的相關(guān)形式， 賦予了幾乎相似的詞根， 在本文中使用波特詞干分析法進(jìn)行分析．

將文本形式的數(shù)據(jù)轉(zhuǎn)換為數(shù)字形式是詞加權(quán)過(guò)程， 為了測(cè)量文檔表示的詞權(quán)重， 使用了詞頻-逆文檔頻率(Term Frequency-Inverse Document Frequency， TFIDF)， 每個(gè)文檔的權(quán)重向量如式(4)所示[5]．

(4)

其中， 文本文件u中的詞v權(quán)重表示twuv， 文本文件u中詞v出現(xiàn)的頻率表示xf(u，v)． 通過(guò)式(4)對(duì)詞進(jìn)行特征統(tǒng)計(jì)， 實(shí)現(xiàn)文本中詞的特征表示．

2.2 混合優(yōu)化的雙模深度學(xué)習(xí)模型

通過(guò)將烏鴉搜索算法(Crow Search Algorithm， CSA)引入蝗蟲(chóng)優(yōu)化算法(Grasshopper Optimization Algorithm， GOA)， 生成混合優(yōu)化算法， 對(duì)雙模深度學(xué)習(xí)模型進(jìn)行訓(xùn)練， 實(shí)現(xiàn)特征選擇和文本分類． 混合優(yōu)化算法繼承了兩種優(yōu)化算法的優(yōu)點(diǎn)， 并提供更好的增量文本分類性能．

CSA算法是基于烏鴉的智能行為而設(shè)計(jì)的一種元啟發(fā)式算法， 該算法用于控制算法的多樣性， 更容易實(shí)現(xiàn)， 具有較低的收斂性和對(duì)超參數(shù)高度敏感的特點(diǎn)． GOA完全基于蝗蟲(chóng)群的行為， 獵物的搜索是通過(guò)一系列步驟(例如包圍、 開(kāi)發(fā)和探索)在搜索空間內(nèi)或搜索空間外進(jìn)行的， GOA能夠解決未知搜索空間的實(shí)際問(wèn)題． 在GOA中引入CSA， 跳出局部最優(yōu)， 提供更好的收斂速度， 同時(shí)獲得全局最佳解決方案．

以隨機(jī)方式初始化深度學(xué)習(xí)模型的權(quán)重， 并表示如下：

Y={Y1，Y2， …，Yg， …，Yα}

(5)

其中α表示總的權(quán)重． 每當(dāng)將新文檔添加到網(wǎng)絡(luò)時(shí)， 都會(huì)計(jì)算誤差并更新權(quán)重， 如果計(jì)算的誤差小于先前文檔的評(píng)估誤差， 則根據(jù)混合優(yōu)化算法更新權(quán)重， 更新后的權(quán)重是通過(guò)計(jì)算存儲(chǔ)的權(quán)重與范圍度之間的差來(lái)計(jì)算的．

Y(e+1)=Y(e)±R

其中Y(e)表示存儲(chǔ)的權(quán)重，R是范圍， 可表示為

其中d表示特征集的Vapnik-Chervonenkis維度， 用于描述學(xué)習(xí)機(jī)實(shí)現(xiàn)的一組特征的能力，s表示訓(xùn)練樣本數(shù)，δ表示[0， 1]之間的隨機(jī)數(shù)．

根據(jù)GOA優(yōu)化， 得到：

(6)

Yh(j+1)=Yh(j)+rh×Lh(j)×(mk(j)-Yh(j))

(7)

其中Yh(e)表示烏鴉在當(dāng)前迭代j中的位置，rh表示隨機(jī)數(shù)，Lh(j)表示當(dāng)前迭代中第h維的飛行長(zhǎng)度，mk(j)表示烏鴉的記憶． 將式(8)進(jìn)行簡(jiǎn)化得到：

(8)

(9)

則混合優(yōu)化算法的優(yōu)化問(wèn)題求解如式(10)所示．

(10)

使用設(shè)計(jì)的混合優(yōu)化算法求解最優(yōu)解， 直到達(dá)到最大迭代限制為止， 輸出最優(yōu)權(quán)值， 將最優(yōu)權(quán)重用于訓(xùn)練深度學(xué)習(xí)模型．

本研究所提方法如圖3所示， 雙模深度學(xué)習(xí)模型中DBN的權(quán)值有w， 對(duì)于最優(yōu)權(quán)值的獲取， 將深度學(xué)習(xí)模型的權(quán)值歸結(jié)為蝗蟲(chóng)位置． 首先初始化混合優(yōu)化算法的參數(shù)， 初始化蝗蟲(chóng)種群位置， 然后再計(jì)算個(gè)體蝗蟲(chóng)的適應(yīng)度值， 更新迭代次數(shù)， 如果未達(dá)到最大迭代次數(shù)， 計(jì)算個(gè)體之間的距離及單位距離向量， 將CSA作為種群中優(yōu)勢(shì)引導(dǎo)個(gè)體的趨勢(shì)， 調(diào)整算法全局搜索和局部尋優(yōu)能力． 如果適應(yīng)度函數(shù)沒(méi)有達(dá)到全局最優(yōu)， 會(huì)產(chǎn)生新的位置， 如果新位置可行， 按照式(10)進(jìn)行位置更新， 之后計(jì)算新位置的適應(yīng)度函數(shù)， 直至達(dá)到最大迭代次數(shù)， 然后輸出最優(yōu)解， 并將其值賦給權(quán)值， 即可得到所需權(quán)值．

在求解最優(yōu)權(quán)值過(guò)程中， 全局最優(yōu)的具體位置并不知道， 將CSA的搜索算法引入到GOA， 作為前進(jìn)趨勢(shì)， 使得蝗蟲(chóng)向著最優(yōu)解的方向移動(dòng)， 最終得到全局最優(yōu)解， 即深度學(xué)習(xí)模型的最優(yōu)權(quán)值．

圖3 基于混合優(yōu)化的雙模深度學(xué)習(xí)文本分類

3 結(jié)果與分析

在8GB RAM， Intel i7處理器和Windows 10的計(jì)算機(jī)上進(jìn)行試驗(yàn)． 性能指標(biāo)有： 準(zhǔn)確率、 精確率、 召回率．

(11)

(12)

(13)

其中，Tp表示真陽(yáng)性，Tn表示真陰性，F(xiàn)p表示假陽(yáng)性，F(xiàn)n表示假陰性．

為了驗(yàn)證所提混合優(yōu)化算法的性能， 將本文方法與傳統(tǒng)烏鴉搜索CSA算法進(jìn)行對(duì)比． 使用包含單峰、 多峰等不同特征的6種測(cè)試函數(shù)對(duì)混合優(yōu)化算法和傳統(tǒng)CSA算法進(jìn)行試驗(yàn)， 6種測(cè)試函數(shù)具體設(shè)置如表1所示． 為降低試驗(yàn)過(guò)程中因偶然性帶來(lái)的誤差， 將本文混合算法與CSA算法對(duì)6種測(cè)試函數(shù)分別進(jìn)行50次試驗(yàn)， 并取其最差值、 最優(yōu)值、 平均值及標(biāo)準(zhǔn)偏差， 試驗(yàn)結(jié)果如表2所示．

表1 不同測(cè)試函數(shù)

表2 不同測(cè)試函數(shù)的試驗(yàn)結(jié)果

從表中數(shù)據(jù)可以看出， 本文提出的混合優(yōu)化算法對(duì)6種測(cè)試函數(shù)都有較好的最優(yōu)值、 最差值、 平均值以及標(biāo)準(zhǔn)差， 能夠提供更好的收斂速度． 這是因?yàn)楸疚幕旌蟽?yōu)化算法在CSA中引入GOA， 解決了未知搜索空間的實(shí)際問(wèn)題， 在提供更好的收斂速度的同時(shí)獲得全局最佳解決方案．

本研究驗(yàn)證本文混合優(yōu)化算法的優(yōu)越性， 將本文算法與其他元啟發(fā)式優(yōu)化算進(jìn)行比較， 對(duì)比螢火蟲(chóng)、 布谷鳥(niǎo)、 蝙蝠、 和聲搜索和烏鴉搜索算法， 測(cè)試函數(shù)選用f5． 對(duì)比結(jié)果見(jiàn)表3．

表3 不同優(yōu)化算法的性能對(duì)比

從表中數(shù)據(jù)可以看出， 本文算法具有最好的平均值， 在提供更好收斂速度的同時(shí)獲得全局最佳解決方案， 說(shuō)明本研究中的混合優(yōu)化算法具有優(yōu)越性．

試驗(yàn)數(shù)據(jù)集有兩個(gè)， 分別是20 newsgroups數(shù)據(jù)集和復(fù)旦大學(xué)中文文本分類庫(kù)， 20 newsgroups數(shù)據(jù)集包括了20種新聞文本的2萬(wàn)篇新聞稿；復(fù)旦大學(xué)中文文本分類庫(kù)也具有20個(gè)類的文檔， 文檔類別包括農(nóng)業(yè)、 軍事、 電腦、 藝術(shù)、 運(yùn)動(dòng)、 經(jīng)濟(jì)等各種領(lǐng)域． 圖4和圖5分別給出了不同數(shù)據(jù)集中文本分類的準(zhǔn)確率．

圖4中A～T分別表示20 newsgroups數(shù)據(jù)集的20種類： alt.atheism， comp.graphics， comp.os.ms-windows.misc， comp.sys.ibm.pc.hardware， comp.sys.mac.hardware， comp.windows.x， misc.forsale， rec.autos， rec.motorcycles， rec.sport.baseball， rec.sport.hockey， sci.crypt， sci.electronics， sci.med， sci.space， soc.religion.christian， talk.politics.guns， talk.politics.mideast， talk.politics.misc， talk.religion.misc．

從圖5中可以看出本文算法的分類準(zhǔn)確率整體較高， 英文分類準(zhǔn)確率達(dá)到85%以上， 中文分類準(zhǔn)確率達(dá)到83%以上， 表明算法的有效性． 另外， 英文分類準(zhǔn)確率高于中文分類準(zhǔn)確率， 這是因?yàn)橹形奈谋痉诸惿婕爸形姆衷~問(wèn)題， 增加了分類復(fù)雜性， 導(dǎo)致分類準(zhǔn)確率降低．

圖4 英文文本分類的準(zhǔn)確率

圖5 中文文本分類的準(zhǔn)確率

為了驗(yàn)證本文方法的先進(jìn)性， 將本文方法與現(xiàn)有其他方法進(jìn)行比較， 對(duì)比方法有： 文獻(xiàn)[7]中改進(jìn)卡方分布的文本分類方法， 文獻(xiàn)[13]中卷積遞歸神經(jīng)網(wǎng)絡(luò)的文本分類方法， 文獻(xiàn)[14]中膠囊網(wǎng)絡(luò)和LSTM的文本分類方法． 針對(duì)英文文本數(shù)據(jù)集， 圖6至圖8給出了不同方的性能對(duì)比．

圖6 不同方法的文檔分類準(zhǔn)確率

圖7 不同方法的文檔分類精確率

圖8 不同方法的文檔分類召回率

研究結(jié)果可以看出， 本文方法在準(zhǔn)確率、 精確率和召回率性能方面優(yōu)于現(xiàn)有其他方法， 這是因?yàn)楸疚姆椒ㄔ谔卣鬟x擇上使用了雙向GRU深度模型， 得到相關(guān)度較高的特征， 然后使用混合優(yōu)化的DBN進(jìn)行文本特征的二次分析， 有效地減少了分類類別， 提高分類精度． 文獻(xiàn)[7]中基于改進(jìn)卡方的文本特征分類方法性能最差， 這是因?yàn)閭鹘y(tǒng)的卡方分布方法得到的特征相關(guān)度低；文獻(xiàn)[13]中運(yùn)用基于卷積遞歸神經(jīng)網(wǎng)絡(luò)的文本分類， 使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取， 在處理更長(zhǎng)且復(fù)雜的文本結(jié)構(gòu)和文本語(yǔ)句時(shí)， 會(huì)因?yàn)榫矸e核長(zhǎng)度的限制對(duì)相關(guān)特征提取造成影響， 另外卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行池化時(shí)會(huì)丟失空間信息， 這些都會(huì)影響文本分類精度；而文獻(xiàn)[14]中膠囊網(wǎng)絡(luò)和LSTM的文本分類方法， 雖然使用了雙模的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行文本分類， 但是該方法中對(duì)深度模型進(jìn)行參數(shù)尋優(yōu)， 使得分類性能僅次于本研究方法．

4 結(jié)論

本研究提出了一種混合優(yōu)化的雙模深度學(xué)習(xí)文本分類方法． 首先使用停用詞刪除和詞干提取技術(shù)對(duì)輸入文檔進(jìn)行預(yù)處理， 以使輸入有效并具有特征提取過(guò)程的能力；設(shè)計(jì)了基于GOA和CSA的混合優(yōu)化算法， 使用雙向GRU深度學(xué)習(xí)模型進(jìn)行特征選擇；將選擇的特征輸入到混合優(yōu)化的DBN深度模型中進(jìn)行文本分類． 試驗(yàn)結(jié)果表明， 本研究中混合優(yōu)化算法的雙模深度學(xué)習(xí)文本分類方法能夠以較高的性能實(shí)現(xiàn)文本分類， 且性能優(yōu)于現(xiàn)有方法． 未來(lái)工作中可對(duì)混合優(yōu)化算法中的適應(yīng)度函數(shù)進(jìn)行研究， 進(jìn)一步提高文本分類性能．