方 自 遠

(河南農(nóng)業(yè)職業(yè)學院 河南 鄭州 451450)

Non-iterative training Adversarial training

0 引 言

在人們生活和社會生產(chǎn)的諸多領域中，出現(xiàn)了大量自媒體類型的應用[1]，如時尚領域的小紅書、體育領域的虎撲、視頻領域的嗶哩嗶哩，以及咨詢服務領域的知乎等[2]。在這些應用中，大量的普通用戶和意見領袖通過個人賬號按照規(guī)定的格式上傳文本內(nèi)容、圖像內(nèi)容和視頻內(nèi)容[3]，在用戶上傳內(nèi)容的過程中往往需要指定該內(nèi)容所屬的類別，從而便于應用的管理和維護[4]。但在用戶指定類別的過程中常常出現(xiàn)錯誤，而這些錯誤直接影響后續(xù)自動推薦服務的性能。為了解決該問題，許多應用集成了自媒體上傳內(nèi)容的類別檢查程序，糾正錯誤的類別標注[5]。

文本內(nèi)容是許多自媒體應用的重要組成部分，提供了關鍵的信息，因此區(qū)分文本內(nèi)容的類別是其中的重點研究方向。在傳統(tǒng)的文本分類方法中，基于中心的文本分類方法是一種高效率的方法[6]，也是目前滿足在線分類條件的主要方法，此類方法利用一些統(tǒng)計方法建模訓練語料庫和訓練樣本集的分布，然后利用距離度量方法將文本分類。此類方法包括許多不同技術的結(jié)合，包括隨機森林[7]、k-近鄰[8]和k-means[9]等分類器，以及模糊集分布[10]、字典分布[11]和粗糙集[12]等相似性度量方法。此類傳統(tǒng)方法在時間效率上具有巨大的優(yōu)勢，但是在分類準確率方面存在明顯劣勢，尤其在處理高維文本數(shù)據(jù)集時，其分類準確率和時間效率均出現(xiàn)明顯的下降。

深度學習技術具有強大的非線性學習能力，在許多工程領域內(nèi)取得了成功[13]。許多專家應用深度學習技術對文本進行分類，包括：深度神經(jīng)網(wǎng)絡[14]、卷積神經(jīng)網(wǎng)絡[15]和循環(huán)神經(jīng)網(wǎng)絡等模型。循環(huán)神經(jīng)網(wǎng)絡在文本分類問題上表現(xiàn)出較好的效果，但傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡對于文本特征的擬合能力依然不足。近期許多研究將分層注意方法[16]引入循環(huán)神經(jīng)網(wǎng)絡，分層注意方法將文本分割為段落，再利用神經(jīng)網(wǎng)絡并行地處理每個段落，該方法明顯提高了文本分類的性能。但許多研究表明，分層注意方法導致神經(jīng)網(wǎng)絡的參數(shù)出現(xiàn)大量的冗余，導致明顯的過擬合問題[17]。

為了利用分層注意方法的優(yōu)點，同時解決訓練過程的冗余參數(shù)和時間效率問題，提出基于非迭代訓練層次循環(huán)神經(jīng)網(wǎng)絡的快速文本分類算法。本文的工作主要有兩點：① 提出一種對抗訓練算法，為詞匯和語句表示增加擾動，從而緩解過擬合問題。② 給出一種非迭代循環(huán)神經(jīng)網(wǎng)絡的訓練算法，提高模型的訓練速度。

1 基于循環(huán)神經(jīng)網(wǎng)絡的文本分類模型

1.1 門限循環(huán)單元網(wǎng)絡

門限循環(huán)單元網(wǎng)絡(Gated Recurrent Unit,GRU)是長短期記憶網(wǎng)絡(Long Short-Term Memory，LSTM)的簡化版本，其性能與LSTM十分接近。GRU僅有兩個Gate且沒有LSTM的cell參數(shù)，其訓練難度小于LSTM。GRU將不同長度的句子編碼成固定長度的向量表示，通過重置門和更新門控制狀態(tài)信息的更新。重置門的計算式為：

rt=σ(Wrxt+Uryt-1+br)

(1)

式中：rt為重置門；br為學習的偏置；σ為Sigmoid函數(shù)；xt為時間t的輸入向量；Wr∈Rn×m和Ur∈Rn×n是學習的權重矩陣；yt-1為上一個狀態(tài)；m和n分別為詞嵌入維度和隱層單元數(shù)量。更新門的計算式為：

zt=σ(Wzxt+Uzyt-1+bz)

(2)

(3)

式中：⊙為矩陣元素的乘法運算；Wy∈Rn×m和Uy∈Rn×n為學習的權重矩陣。最終，GRU新狀態(tài)yt的計算式為：

yt=(1-zt)⊙yt-1+zt⊙yt

(4)

如果重置門rt設為0，那么上一個狀態(tài)對候選狀態(tài)無效果。

1.2 層次注意網(wǎng)絡

層次注意網(wǎng)絡將文本y分割為K個句子，記為{syk|k=1,2,…,K}，句子k表示為字詞的向量{wkt|t=1,2,…,T}，T為字詞的數(shù)量。圖1所示是層次網(wǎng)絡處理文本的一個簡單例子，將文本內(nèi)容劃分為若干條句子，每個句子分為字和標點符號。

圖1 層次網(wǎng)絡處理文本內(nèi)容的簡單例子

通過Word2vec(也稱為word embeddings)將字詞的One-Hot編碼轉(zhuǎn)化為低維度的連續(xù)值(稠密向量)，意思相近的詞被映射到向量空間內(nèi)靠近的位置。映射后的向量表示為xkt=Wewkt，We∈Rdx|V|為字詞的嵌入矩陣，其中：dx為向量維度；V為詞匯表中詞的編號。We的每一行對應第i個字詞的嵌入。圖2所示是層次注意GRU的網(wǎng)絡結(jié)構，網(wǎng)絡包含門循環(huán)單元、字詞編碼器和注意單元。

圖2 層次注意GRU的網(wǎng)絡結(jié)構

xkt=Wewkt

(5)

(6)

(7)

每個字詞對句子表示的重要性不同，因此，通過引入注意方法區(qū)分每個字詞的貢獻。注意方法通過積累之前的輸出向量，分析字詞表示或者句子表示的完整語義信息。本文網(wǎng)絡采用該方法提取字詞和句子中的重要信息，注意方法的輸出是字詞或者句子的高階表示。根據(jù)文獻[18]的驗證結(jié)果，注意層的字詞表示準確率高于平均池化層和最大池化層。字詞對句子語義重要性的計算式總結(jié)為：

ukt=tanh(Wwhkt+bw)

(8)

(9)

(10)

式中：ukt為hkt的隱層表示，隨機初始化uw，在網(wǎng)絡的訓練過程中學習uw。

首先將詞匯標注信息輸入單層感知機，感知機以sine()為激活函數(shù)，感知機輸出的隱層表示記為ukt。然后Softmax函數(shù)處理ukt，計算正則權重αkt。最后通過累加字詞的隱層表示計算出句子的表示向量。

給定一個文本y，將文本表示為句子表示向量的集合，再次運用雙向GRU處理句子表示向量，分析句子的上下文信息。文本表示的計算式為：

(11)

(12)

再次引入注意力機制計算句子對文本的重要性，獲得文本y的向量表示，其計算式為：

uk=tanh(Wshk+bs)

(13)

(14)

(15)

式中：隨機初始化us，在訓練過程中學習us；v表示包含語義信息的詞匯。通過Softmax層將輸入的數(shù)值轉(zhuǎn)化為條件概率，Softmax函數(shù)的計算式為：

p=softmax(Wcv+bc)

(16)

2 神經(jīng)網(wǎng)絡的非迭代對抗訓練算法

2.1 對抗訓練算法

為了解決層次注意網(wǎng)絡的過擬合問題，提出了對抗訓練方法，通過對抗訓練為網(wǎng)絡引入擾動。圖3所示是對抗訓練層次門循環(huán)神經(jīng)網(wǎng)絡的結(jié)構，其中虛線部分是嵌入的對抗處理模塊。

圖3 對抗訓練的層次門循環(huán)神經(jīng)網(wǎng)絡

(17)

設x表示輸入，θ表示分類器y的參數(shù)。在對抗訓練分類器的過程中，損失函數(shù)L的計算式為：

L=-logp(y|x+rAT;θ)

(18)

(19)

式中：g=▽xlogp(y|x;θ)；ε為擾動系數(shù)，ε在后向傳播中學習獲得。

(20)

式中：g=▽xlogp(y|X;θ)。

句子的對抗擾動rs_AT計算式為：

(21)

式中：g=▽xlogp(y|S;θ)。

對抗訓練對字詞所造成的損失計算式為：

(22)

對抗訓練對句子所造成的損失計算式為：

(23)

式中：N為字詞和句子的數(shù)量。

2.2 非迭代訓練算法

梯度下降法是RNN常用的迭代訓練算法，但該訓練方法計算成本很高，且部分參數(shù)需要人工調(diào)節(jié)。本文設計了一種非迭代訓練算法，通過線性函數(shù)逼近激活函數(shù)，學習RNN連接的權重。

(1) LSTM網(wǎng)絡泛化模型。本文的GRU網(wǎng)絡是LSTM網(wǎng)絡的簡化版本，LSTM網(wǎng)絡解決了RNN的梯度消失問題，本文的非迭代訓練方法也同樣適用于其他的LSTM網(wǎng)絡，因此本文以LSTM模型為例介紹非迭代訓練的方法。LSTM的網(wǎng)絡模型的相關介紹可參考文獻[19]。

(2) LSTM非迭代訓練算法。本文通過線性函數(shù)逼近激活函數(shù)，以實現(xiàn)對于循環(huán)連接權重的學習。針對本文GRU模型所采用的sine激活函數(shù)，采用Taylor序列擴展逼近sine激活函數(shù)，其計算式為：

(24)

使用一階多項式獲得輸出權重，其計算式為：

(25)

式中：M為句子的最大詞匯數(shù)量；Q為文章的最大句子數(shù)量。

LSTM的非迭代訓練步驟為：

Step1隨機初始化wi、bi。

Step2使用線性函數(shù)逼近激活函數(shù)，計算H。

Step3對H進行正則化處理，避免產(chǎn)生奇異矩陣。

Step4使用廣義的Moore-Penrose偽逆計算θ=[β,α]T。

2.3 訓練的計算復雜度

非迭代訓練主要包含三個步驟：(1) 為網(wǎng)絡的輸入權重和偏差分配隨機值。(2) 計算輸出矩陣H。(3) 使用Moore-Penrose偽逆計算參數(shù)向量θ和輸出權重β。假設網(wǎng)絡共有F個輸入節(jié)點、M個隱層節(jié)點和1個輸出節(jié)點，共有N個輸入向量。

步驟(1)：分配隨機值的時間復雜度和空間復雜度均為常量，關于值的數(shù)量呈線性關系，等于輸入層的權重和偏差之和。步驟(2)：輸出矩陣H是一個N×M的矩陣，包含F(xiàn)維的輸入向量，計算H矩陣共需要NM(F+c)次運算，c為常量的浮點數(shù)運算。步驟(3)：計算H的偽逆：如果M≤N，需要O(NM)的計算復雜度，否則為O(NM+N2M)。因為訓練數(shù)據(jù)的數(shù)量遠大于隱層節(jié)點的數(shù)量，所以計算θ共需要O(NM)次運算。測試過程需要計算β矩陣，每個數(shù)據(jù)需要O(M(F+c)+M)次運算。最終訓練模型的總體時間復雜度為：O(NM(F+c)+NM)，總體空間復雜度為O(FM+2M+NM)。

3 實 驗

3.1 實驗環(huán)境和參數(shù)設置

硬件環(huán)境為Intel Xeon 64位12核處理器，主頻2.0 GHz，內(nèi)存24 GB。編程環(huán)境為MATLAB R2016b。使用Adam優(yōu)化器迭代訓練本文的RNN網(wǎng)絡，該訓練模型簡稱為HRNN，迭代訓練的學習率范圍為10-6～10-2，權重衰減懲罰因子范圍為0.90～0.99，采用網(wǎng)格搜索從范圍10～200中選擇最優(yōu)的epoch數(shù)量，批大小設為32。此外，使用本文的非迭代訓練方法訓練本文的RNN網(wǎng)絡，該模型簡稱為SRNN，SRNN和HRNN權重和偏差的隨機初始化均服從均值為0、標準偏差為0.01的高斯分布。GRU的隱層節(jié)點數(shù)量設為25，失活率(Dropout)設為0.1。經(jīng)過預處理實驗，將對抗訓練的ε值設為0.3，此時為最小化過擬合的網(wǎng)絡。每組參數(shù)的實驗獨立運行30次，將30次結(jié)果的平均值作為最終的性能值。

3.2 英文文本分類實驗

(1) 實驗的英文文本數(shù)據(jù)集。使用6個公開的英文文本數(shù)據(jù)集進行仿真實驗，表1所示是6個英文數(shù)據(jù)集的介紹。Reuter是標記的新聞數(shù)據(jù)集，從該數(shù)據(jù)集選擇8個出現(xiàn)頻率高的新聞類別，分別為：earning、acquisition、crude、trade、money、interest、grain和ship。Amazon是亞馬遜數(shù)據(jù)集的商品介紹文本集，選擇4個出現(xiàn)頻率高的商品類型，分別為：books、DVD、electronics和kitchen。Snippet是一個短新聞數(shù)據(jù)集，共有8個類別，分別為：business、computers、culture arts、education science、engineering、health、politics society和sports。SST-1和SST-2均為電影檔案數(shù)據(jù)集，共有5個類別，分別為：very positive、positive、neutral、negative和very negative。TREC是一個開放領域的問答檔案數(shù)據(jù)集，共有6個類別，分別為：abbreviation、entity、person、description、location和numeric information。

表1 英文文本數(shù)據(jù)集的基本信息

對6個數(shù)據(jù)集進行統(tǒng)一的預處理：將大寫字母轉(zhuǎn)化為小寫字母，刪除其中非utf-8字符串解碼器的特殊字符，最終共保留72種字符。將所有文本擴展為統(tǒng)一長度，該長度為每個數(shù)據(jù)集最長文本的長度。

(2) 比較算法介紹。選擇5個英文文本分類算法作為比較算法：① ConGDR[19]：由Mujtaba等提出的一種基于概念圖的文本表示方法，根據(jù)概念圖之間的相似性將文本分類。② DKVR[20]：由Hsieh等提出的分布式向量文本表示方法，通過向量間的相似性評估文本之間的距離。③ LST_SVM[21]：由Kumar等提出的最小二乘孿生支持向量機的文本分類算法，利用簡單詞袋模型表示字詞，利用孿生支持向量機學習文本之間的高維非線性關系。④ LSTM_DSR[22]：由Huang等提出的基于LSTM的深度句子表示方法，通過循環(huán)訓練提高每層神經(jīng)網(wǎng)絡的信息量，積累的表示提高了句子的表示效果。⑤ CNN_CNC[23]：由Lauren等提出的基于卷積神經(jīng)網(wǎng)絡的短文本分類算法。該網(wǎng)絡第1層是自然語言處理層，嵌入層的輸入為文本矩陣，文本矩陣的長度設為文本長度的最大值。

(3) 分類準確率。圖4所示是6個英文文本數(shù)據(jù)集的平均分類準確率結(jié)果?？傮w而言，基于神經(jīng)網(wǎng)絡的分類算法LSTM_DSR、CNN_CNC、HRNN和SRNN優(yōu)于傳統(tǒng)算法ConGDR、DKVR，并且也好于機器學習算法LST_SVM。將HRNN與LSTM_DSR進行比較，LSTM_DSR是一種正常反向傳播訓練的LSTM方法，HRNN是本文設計的對抗訓練算法，HRNN的分類準確率均優(yōu)于LSTM_DSR，由此可得出結(jié)論，本文算法有效地緩解了過擬合問題，提高了文本分類的性能。

(a) Reuter、Amazon和Snippet數(shù)據(jù)集的結(jié)果

(b) SST-1、SST-2和TREC數(shù)據(jù)集的結(jié)果圖4 英文文本分類的平均準確率

(4) 訓練效率實驗。迭代訓練算法和非迭代訓練算法的時間效率的對比結(jié)果如表2所示。結(jié)果顯示，隱層節(jié)點越多，訓練時間越長。隱層節(jié)點為25時，分類準確率最高，而此時HRNN的訓練時間較高，本文非迭代訓練算法SRNN的訓練時間僅為HRNN的10%～20%之間，而SRNN的分類準確率略低于HRNN，但依然高于ConGDR、DKVR、LST_SVM、LSTM_DSR和CNN_CNC算法。

表2 英文文本的訓練時間

續(xù)表2

3.3 中文文本分類實驗

(1) 實驗的中文文本數(shù)據(jù)集。使用中國科學院漢語詞法分析系統(tǒng)(Institute of Computing Technology Chinese Lexical Analysis System，ICTCLAS)處理數(shù)據(jù)集，刪除常用的停用詞。采用復旦大學的文本分類語料庫，選擇經(jīng)濟、政治、宇航、醫(yī)療、軍事、藝術和歷史7個大類的文檔集，刪除其中與正文無關的信息。

表3 中文文本數(shù)據(jù)集的基本信息

(2) 比較算法介紹。選擇兩個中文文本分類算法作為比較算法：① CC[24]：根據(jù)領域本體圖結(jié)構模型創(chuàng)建中文文本分類的本體學習框架，并建立中文術語-術語關系映射?；诟拍罹垲惐倔w圖半監(jiān)督地學習中文文本的類別。② DBN[25]：一種深度置信網(wǎng)絡的中文文本分類模型，分別以文本的TF-IDF和LSI特征作為輸入，利用深度置信網(wǎng)絡強大的特征學習能力獲取深層次特征。

(3) 分類性能實驗。一般采用宏F1(MF1)指標評價中文文本的分類性能。MF1的計算式為：

(26)

式中：Pi為類i的查準率；Ri為類i的查全率；m為分類數(shù)量。

圖5所示是7個中文文本數(shù)據(jù)集的平均分類性能結(jié)果?？傮w而言，基于神經(jīng)網(wǎng)絡的分類算法DBN、HRNN和SRNN優(yōu)于傳統(tǒng)算法CC。HRNN和SRNN的分類準確率均優(yōu)于DBN，由此可得出結(jié)論，本文的對抗訓練算法和分層注意方法有效地提高了中文文本的分類性能。

圖5 中文文本分類的平均MF1結(jié)果

(4) 訓練效率實驗。迭代訓練算法和非迭代訓練算法的時間效率比較結(jié)果如表4所示。結(jié)果顯示，隱層節(jié)點越多，訓練時間越長。隱層節(jié)點為25時，此時的分類準確率最高，而此時HRNN的訓練時間較高，本文非迭代訓練算法SRNN的訓練時間大約為HRNN的1.5%，而SRNN的分類準確率略低于HRNN，但依然高于DBN算法和CC算法。

4 結(jié) 語

將分層注意力機制與循環(huán)神經(jīng)網(wǎng)絡結(jié)合，能夠提高對文本分類的準確率，但存在過擬合問題和訓練時間過長的問題。本文設計對抗訓練方法最小化分層注意循環(huán)神經(jīng)網(wǎng)絡的過擬合問題，并提出非迭代訓練算法加快循環(huán)神經(jīng)網(wǎng)絡的訓練速度。最終對中文文本數(shù)據(jù)集和英文文本數(shù)據(jù)集均完成了仿真實驗，結(jié)果表明本文的對抗訓練算法有效地緩解了分層注意循環(huán)神經(jīng)網(wǎng)絡的過擬合問題，而非迭代訓練算法有效地加快了訓練速度，非迭代訓練算法的訓練時間大約為傳統(tǒng)方法的1.5%。

因為實驗條件的限制，本文算法目前僅在小規(guī)模文本數(shù)據(jù)集上完成了驗證實驗，未來將研究利用高性能機器對大規(guī)模文本數(shù)據(jù)集進行實驗，評估本文算法的可擴展能力。