張素智，魏萍萍，徐家興

（鄭州輕工業(yè)學(xué)院計(jì)算機(jī)與通信工程學(xué)院，鄭州 450002）

面向聚類的堆疊降噪自動編碼器的特征提取研究

張素智，魏萍萍，徐家興

（鄭州輕工業(yè)學(xué)院計(jì)算機(jī)與通信工程學(xué)院，鄭州 450002）

為解決短文本聚類時(shí)文本的高維稀疏性問題，提出一種基于堆疊降噪自動編碼器的短文本特征提取算法。該算法利用深度學(xué)習(xí)網(wǎng)絡(luò)形式，把多個(gè)降噪自動編碼器網(wǎng)絡(luò)逐層堆疊起來，將高維、稀疏的短文本空間向量變換到新的低維、本質(zhì)特征空間。實(shí)驗(yàn)結(jié)果表明，將提取的文本特征應(yīng)用于短文本聚類，顯著提高聚類的效果。

自動編碼器；深度學(xué)習(xí)；特征提??；聚類

0 引言

近年來，隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展和移動通信設(shè)備的廣泛普及，以微博、微信、BBS等形式的短文本數(shù)量以指數(shù)級增長。短文本信息涵蓋多個(gè)領(lǐng)域，如經(jīng)濟(jì)、政治、文化等，為人們搜索數(shù)據(jù)提供了很大的數(shù)據(jù)來源，但由于短文本本身具有樣本數(shù)量多、詞頻單一、用詞不規(guī)范、特征稀疏等特點(diǎn)，人們的利用效率與短文本產(chǎn)生的速度不匹配，增大了用戶獲取有效信息的負(fù)荷，給廣大用戶帶來時(shí)間和資金上的巨大浪費(fèi)，也嚴(yán)重削弱著政府部門、公司、企業(yè)等管理者的決策效率。如何選擇有效地聚類算法，從中獲取有價(jià)值的隱含知識，己經(jīng)成為一項(xiàng)迫切的需求。

向量空間模型（Vector Space Model，VSM）是[1]最早被用用于文本聚類，但該模型聚類的精確性和擴(kuò)展性都不高。TF-IDF模型[2]在向量空間模型的基礎(chǔ)上，用文本中詞的權(quán)重向量表示文本，并對特征詞進(jìn)行加權(quán)處理，但這種方法存在向量維度過高，數(shù)據(jù)稀疏的問題。許多研究人員提出了好多特征提取方法用于文本聚類。最經(jīng)典的有最大熵模型[3]。

還有許多研究人員把主題模型用于文本聚類。自Blei等[4]提出LDA主題模型以來，史劍虹等[5]對LDA模型講行了改進(jìn)，通過結(jié)合K-Means和HAC的混合聚類方法，對短文進(jìn)行聚類，但是該模型對低數(shù)據(jù)處理效果佳。

以上提出的傳統(tǒng)的聚類方法對特征的識別度不高，尤其是處理維度過高的短文本數(shù)據(jù)時(shí)，更容易出現(xiàn)誤差。因此，如何選取更好的特征提取算法，提高短文本的聚類效果，是一個(gè)亟待解決的問題。針對以上這些問題，本文提出一種基于堆疊降噪自動編碼器的文本聚類算法，該算法將深度學(xué)習(xí)引入文本聚類中，實(shí)現(xiàn)非線性降維，使得聚類效果更加明顯。

1 相關(guān)技術(shù)

1.1 深度學(xué)習(xí)

深度學(xué)習(xí)[6]起源于人工神經(jīng)網(wǎng)絡(luò)，由多隱層的多層感知器組成。它可以通過逐層學(xué)習(xí)算法從輸入的數(shù)據(jù)中獲取的主要驅(qū)動變量，屬于神經(jīng)網(wǎng)絡(luò)模型，卻比簡單的神經(jīng)模型更為復(fù)雜，所處理的問題也更為復(fù)雜多樣，如圖1所示。深度學(xué)習(xí)通常含有多層的隱層節(jié)點(diǎn)，它模仿人腦的機(jī)制來解釋數(shù)據(jù)，例如圖像、聲音和文本，進(jìn)行從低級到高級的特征提取。

典型的深度學(xué)習(xí)模型有卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network）、DBN和堆棧自編碼網(wǎng)絡(luò)模型（Stacked Auto-Encoder Network）等，本文選取堆棧自編碼網(wǎng)絡(luò)模型進(jìn)行研究。

圖1 深度學(xué)習(xí)網(wǎng)絡(luò)

1.2 短文本的預(yù)處理

本文的短文本預(yù)處理[7]首先需要對文本分詞，然后進(jìn)行清洗，剔除無關(guān)詞組，把處理后的詞組當(dāng)做詞袋，短文本特征向量的每一個(gè)度量均用詞袋中的每個(gè)詞組表示，使得每條短文本都可以用空間中的一個(gè)向量來表示。如下所示：

袋中詞的總數(shù)量用m表示詞；ti表示該短文本是否包含詞袋中的第i個(gè)詞，當(dāng)t等于1時(shí)表示包含，當(dāng)t等于0時(shí)表示不包含。

2 算法流程

2.1 基本思路

本文將堆疊降噪自動編碼器（Stacked Denoise Auto-Encoders，SDAE）用于短文本聚類，將短文本的高維稀疏向量向低維向量轉(zhuǎn)化，并使用剔除過高緯度中的干擾部分的低維向量所包含的文本信息的本質(zhì)進(jìn)行聚類分析，以便提高最終的聚類效果。算法分為如下過程：

（1）文本預(yù)處理、獲取文本空間向量：通過對短文本進(jìn)行語義分析，提取關(guān)鍵數(shù)據(jù)并以此構(gòu)建向量模型，將每條短文本都轉(zhuǎn)化為向量。

（2）采用最優(yōu)梯度下降法，訓(xùn)練第一個(gè)DAE網(wǎng)絡(luò)，得到訓(xùn)練樣本在隱藏層的輸出值。

（3）把多個(gè)DAE網(wǎng)絡(luò)用深度網(wǎng)絡(luò)結(jié)構(gòu)的形式逐層堆疊起來，前一層的輸出作為后一層的純凈輸入，逐層進(jìn)行訓(xùn)練形成一個(gè)由DAE上下連接而成的模型結(jié)構(gòu)，即為SDAE。這一過程中包括加噪處理和正則化，最終提取出最優(yōu)的低維特征向量。

（4）對得到的基于SDAE模型處理過的低維特征向量進(jìn)行聚類處理，并和其它的聚類算法做實(shí)驗(yàn)對比，驗(yàn)證該模型的有效性。算法流程如圖2所示。

圖2 算法基本流程圖

2.2 基本的自動編碼器

自動編碼器（Auto-Encoder，AE）[8]是由輸入層、隱藏層和輸出層三層神經(jīng)網(wǎng)絡(luò)構(gòu)成的神經(jīng)網(wǎng)絡(luò)，由編碼器和解碼器兩部分組成。向量x被輸入到編碼器之后得到一種編碼形式，再通過解碼器解碼得到重構(gòu)數(shù)據(jù)。根據(jù)重構(gòu)誤差函數(shù)值衡量自身的學(xué)習(xí)效果。AE的結(jié)構(gòu)如圖2所示。

圖3 AE結(jié)構(gòu)示意圖

本文選擇sigmoid函數(shù)作為自動編碼器的激活函數(shù)，編碼器對接收到的短文本向量x進(jìn)行線性變化，經(jīng)過sigmoid函數(shù)作用后，得到一個(gè)編碼結(jié)果y，計(jì)算方式如（2）式。編碼結(jié)果y再通過解碼器進(jìn)行重構(gòu)，最終獲得向量Z，計(jì)算公式如式（3）所示。

θ={W，b}為編碼參數(shù)，θ'={W'，b'}為解碼碼參數(shù)，其中W表示一個(gè)d'×d的權(quán)重陣矩，W'為矩陣W的轉(zhuǎn)置，即W'=WT，而b和b'都屬于偏倚向量。

Z在滿足一定分布的條件概率下，盡可能的接近X，所以通過對下面重構(gòu)誤差函數(shù)進(jìn)行優(yōu)化可以替代目標(biāo)函數(shù)：

我們要分為兩種情況考慮式（4）函數(shù)形式的選擇：

（1）X為實(shí)數(shù)，即X∈Rd:X|Z~N（Z，σ2I），這時(shí)誤差函數(shù)可選擇為：

其中，C（σ2）為由決定的常數(shù)，σ2在優(yōu)化時(shí)可忽略。

（2）X表示二進(jìn)制數(shù)時(shí)，即：

本文選用扁平狀的S型函數(shù)作為誤差函數(shù)，分別用B（X）和B（Z）表示二者的均值。如果遇到不嚴(yán)格的二進(jìn)制數(shù)，也可以用此函數(shù)表示：如式（7）所示：

經(jīng)過W'=WT得到進(jìn)一步的約束。求取argθ，θ'minEq0（x）[L（X，Z（X））]的最優(yōu)，需要經(jīng)過自動編碼器不斷地訓(xùn)練，結(jié)合式（3），最優(yōu)函數(shù)可重寫為：

2.3 降噪自動編碼器

當(dāng)樣本被輸入到傳統(tǒng)的AE中時(shí)，往其中加入某種類型的噪聲，就構(gòu)成了降噪自動編碼器（Denoise Auto-Encoders，DAE）[9]。降噪自動編碼器的最終目的就是對原有數(shù)據(jù)進(jìn)行降噪，獲得更加清晰的輸入文本。例如：設(shè)原有樣本與結(jié)果樣本映射函數(shù)為qD（|X），則經(jīng)過DAE編碼后得到的輸出值如式（10）所示：

經(jīng)過解碼器解碼后得到的重構(gòu)結(jié)果為：

和基本的自動編碼器相比，DAE只有損失函數(shù)和AE不同：

線性解碼器：

或非線性自動解碼器：

降噪自動編碼器具有非常強(qiáng)大的非線性表達(dá)能力，因此它經(jīng)常對個(gè)別對象特有的特征進(jìn)行充分描述，避免不了對輸入的數(shù)據(jù)過度擬合。針對以上問題，本文使用絕對值函數(shù)作為懲罰項(xiàng)，絕對值較小的系數(shù)會被自動壓縮為0。使用L1范式正則化[10]，把公式（12）和（13）調(diào)整為公式（14）和（15）來完成此計(jì)算。

線性解碼器：

或非線性解碼器：

λ作為L1范式的參數(shù)，要確保模型擬合能力和泛化能力的均衡，需要根據(jù)實(shí)際數(shù)據(jù)進(jìn)行多次調(diào)試。

DAE的解碼器損失函數(shù)與傳統(tǒng)AE不同的是，重構(gòu)信號Y是由受污染信號重構(gòu)得到的，樣本X每經(jīng)過DAE訓(xùn)練一次，都會根據(jù)qD（|X）產(chǎn)生一個(gè)不同的。計(jì)算過程如圖4所示。

圖4 DAE流程圖

2.4 堆疊加噪自動編碼器

把多個(gè)DAE網(wǎng)絡(luò)用深度網(wǎng)絡(luò)結(jié)構(gòu)的形式逐層堆疊起來，前一層的輸出作為后一層的純凈輸入，逐層進(jìn)行訓(xùn)練形成一個(gè)由DAE上下連接而成的模型結(jié)構(gòu)，即為SDAE。其學(xué)習(xí)過程如圖5所示。

圖5（a）表示第一層降噪自動編碼器DAE網(wǎng)絡(luò)，其訓(xùn)練過程如圖3所示。用fθ對輸入的向量X進(jìn)行降噪編碼，其中，fθ是通過訓(xùn)練得到的編碼函數(shù)。

第二層DAE輸入的樣本是通過第一層DAE輸出的結(jié)果得到的，經(jīng)過訓(xùn)練得到該層的編碼函數(shù)fθ（2），如圖5（b）所示。

按以上的訓(xùn)練過程重復(fù)訓(xùn)練多次，基于自動編碼器的深度網(wǎng)絡(luò)的模型就得到了。對網(wǎng)絡(luò)所有層的參數(shù)用梯度下降法進(jìn)行微調(diào)，可以達(dá)到最優(yōu)的聚類效果，如圖5（c）所示。

圖5 SDAE計(jì)算過程

2.5 短文本聚類

經(jīng)過堆疊降噪自動編碼器SDAE的處理后，高維的短文本向量就得到了降維轉(zhuǎn)換。本文將經(jīng)SDAE編碼器處理后的結(jié)果用于文本聚類，探討其對聚類效果的影響。

自組織映射神經(jīng)網(wǎng)絡(luò)SOM算法（Self Organizing Maps）[11]是一種簡單高效、對噪聲不敏感的聚類算法，本文使用SOM算法進(jìn)行短文本的聚類分析。

本文把處理后的n維短本文向量做為輸入，建立一個(gè)二維網(wǎng)格，輸出節(jié)點(diǎn)數(shù)用m表示，i和j分別表第i個(gè)輸入神經(jīng)元節(jié)點(diǎn)與第j個(gè)輸出神經(jīng)元節(jié)點(diǎn)，它們之間的連接權(quán)用wij表示。

首先，以一定概率初始化n維向量x的連接權(quán)值。其次，計(jì)算找出t時(shí)刻輸入向量到所有輸出節(jié)點(diǎn)的最小距離dj，確定獲勝神經(jīng)元i（x）。最后，調(diào)整連接權(quán)值向量，重復(fù)選擇dj最小的節(jié)點(diǎn)，直到學(xué)習(xí)完所有樣本，就完成了SOM神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，得到最終聚類結(jié)果。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 評價(jià)指標(biāo)

衡量聚類效果的指標(biāo)有多種，本文選用Entropy和Precision[12]兩種指標(biāo)。

Entropy稱為信息熵，其值越小，聚類的純度越高。信息熵的計(jì)算方法如式（16）和（17）所示：

分別用G和G'表示實(shí)際的聚類個(gè)數(shù)和實(shí)際的類別個(gè)數(shù)；Ai表示聚類中的某一個(gè)簇，其中l(wèi)abel（di）表示每條微博，i=1，…，|A|的實(shí)際標(biāo)注，Cj（j=1，…，G）等于其值標(biāo)準(zhǔn)的類標(biāo)記。

聚類的質(zhì)量隨著Precision值的增大而提高。它表示聚類結(jié)果的準(zhǔn)確度，如式（18）所示：

用Precision的加權(quán)平均表示聚類結(jié)果：

3.2 實(shí)驗(yàn)數(shù)據(jù)

本文選取比較有代表性的微博短文本數(shù)據(jù)作為分析對象，利用深度學(xué)習(xí)的思想對短文本進(jìn)行特征降維，用SOM聚類方法處理后，與已有人工標(biāo)注實(shí)驗(yàn)數(shù)據(jù)進(jìn)行對比，驗(yàn)證該算法的有效性。數(shù)據(jù)來源于數(shù)據(jù)堂上的微博分類語料庫。該數(shù)據(jù)集經(jīng)過人工標(biāo)注，分為體育、娛樂、健康、教育、科技五大類。本文中每類各取1500條微博。

3.3 實(shí)驗(yàn)過程

文本預(yù)處理：首先，去除與微博內(nèi)容無關(guān)的內(nèi)容，如短鏈接的字符串，只保留“http”關(guān)鍵詞；然后，對微博短文本數(shù)據(jù)進(jìn)行清洗；最后，使用漢語中文分詞系統(tǒng)（參考NLPIR2016）對數(shù)據(jù)進(jìn)行分詞、去停用詞等處理，得到微博數(shù)據(jù)詞袋。

為節(jié)省時(shí)間和效率，本文結(jié)合Glorot等[13]的研究結(jié)果可知，前8000個(gè)詞就能較全面地體現(xiàn)短文本的內(nèi)容，因此從28261個(gè)分詞結(jié)果中取前8000個(gè)詞作為每條微博的特征集，按照前文敘述的方法，建立對應(yīng)的空間向量。實(shí)驗(yàn)共分成4個(gè)部分：直接采用SOM算法對短文本特征向量直接進(jìn)行聚類；結(jié)合TF-IDF向量空間模型，在此模型的基礎(chǔ)上對特征詞加權(quán)處理，再使用SOM算法對短文本特征向量進(jìn)行聚類；運(yùn)用LDAGibbs模型[14]對語料集進(jìn)行處理后，再使用SOM算法對短文本特征向量進(jìn)行聚類；采用本文的方法即基于SDAE模型的SOM算法對短文本特征向量進(jìn)行聚類。

3.4 實(shí)驗(yàn)結(jié)果和分析

表1~4分別代表上述4種方法的聚類結(jié)果，圖4和圖5分別對應(yīng)聚類結(jié)果的信息熵和準(zhǔn)確度。其中SOM代表直接使用SOM算法對短文本向量進(jìn)行聚類分析，TF-IDF+SOM代表在TF-IDF模型的基礎(chǔ)上使用SOM算法對短文本向量進(jìn)行聚類分析，LDA-G+SOM代表在LDA-Gibbs模型的基礎(chǔ)上運(yùn)用SOM算法對短文本向量進(jìn)行聚類，DSAE+SOM代表經(jīng)過堆疊降噪稀疏自動編碼器處理過再使用SOM算法對短文本向量進(jìn)行聚類。

表1 SOM聚類結(jié)果

表2 TF-IDF+SOM聚類結(jié)果

表3 LDA-Gibbs+SOM聚類結(jié)果

表4 DSAE+SOM聚類結(jié)果

由綜合信息熵和準(zhǔn)確度兩種衡量聚類效果的標(biāo)準(zhǔn)可知，直接使用SOM算法對高維的短文本進(jìn)行聚類效果最差。LDA-G+SOM的方法僅比TF-IDF+SOM略好一些，DSAE+SOM在這幾種方法中取得最好的成績，聚類結(jié)果的純度和準(zhǔn)確度都最高，綜合信息嫡為接近0.189，綜合準(zhǔn)確度為接近88.9，說明該堆疊降噪自動編碼器SDAE能夠利用自己非線性的特性，對高維短文本實(shí)現(xiàn)非線性降維，顯著提高了聚類效果。

圖6 聚類的信息墑

圖7 聚類的準(zhǔn)確度

通過運(yùn)用降噪的方法，提高短文本向量的魯棒性和穩(wěn)定性，再通過L1范式正則化，確保模型擬合能力和泛化能力的均衡。

4 結(jié)語

與人工提取的傳統(tǒng)方法相比，深度學(xué)習(xí)網(wǎng)絡(luò)不但能保證提取數(shù)據(jù)的本質(zhì)特征外，其結(jié)果還能對許多自然語言處理任務(wù)起到較好的擴(kuò)展應(yīng)用。如何提高特征提取和聚類結(jié)果的可解釋性，將是本方法今后研究的主要問題。

參考文獻(xiàn)：

[1]Salton G,Wong A,Yang C S.A Vector Space Model for Automatic Indexing[J].Communications of the ACM,1975,18(11):613-620.

[2]Kuang Q,Xu X.Improvement and Application of TFoIDF Method Based on Text Classification[C].International Conference on Internet Technology and Applications，2010:1-4.

[3]Lewis D D.Representation and Learning in Information Retrieval[D].University of Massachusetts,1992.

[4]李學(xué)相.改進(jìn)的最大熵權(quán)值算法在文本分類中的應(yīng)用[J].計(jì)算機(jī)科學(xué),2012,39(6):210-212.

[5]David M.Blei,AndrewY.Ng,Michael I.Jordan,Latent Dirichlet Allocation[J].Journal of Machine Learning Research,2003,(3):993-1022

[6]史劍虹,陳興蜀,王文賢.基于隱主題分析的中文微博話題發(fā)現(xiàn)[J].計(jì)算機(jī)應(yīng)用研究,2014,1(3):700-704.

[7]Chao C,Jiang W.Study on the Subjective and Objective Text Classification and Pretreatment of Chinese Network Text[C].International Conference on Intelligent Human-Machine Systems and Cybernetics.IEEE Computer Society,2012:25-29.

[8]Alain G,Bengio Y.What Regularized Auto-Encoders Learn from the Data-Generating Distribution[J].Journal of Machine Learning Research,2014,15(1):3563-3593.

[9]Xia R,Deng J,Schuller B,et al.Modeling Gender Information for Emotion Recognition using Denoising Autoencoder[J].2014:990-994.

[10]劉勘,袁蘊(yùn)英.基于自動編碼器的短文本特征提取及聚類研究[J].北京大學(xué)學(xué)報(bào)(自然科學(xué)版),2015,51(2):282-288.

[11]鄭思平.一種改進(jìn)的動態(tài)SOM算法及其在聚類中的應(yīng)用[D].華南理工大學(xué),2010.

[12]Tao L,Shengping L,Zheng C,et al.An Evaluation on Feature Selection for Text Clustering.Proceedings of the Twentieth International Conference on Machine Learning.Washington,2003:488-495.

[13]Glorot X,Bordes A,Bengio Y.Deep Sparse Rectifier Networks.Proceedings of the 14th International Conference on Artificial Intelligence and Statistics.Fort Lauderdale,2011:315-323.

[14]王鵬，高鋮，陳曉美.基于LDA模型的文本聚類研究[J].情報(bào)科學(xué),2015(1):63-68.

Research on the Feature Extraction of Clustering Based on Denoising Autoencoders

ZHANG Su-zhi，WEI Ping-ping，XU Jia-xing
（School of Computer and Communication Engineering，Zhengzhou University of Light Industry，Zhengzhou 450002）

The primary difficulty of text clustering lies in the multi-dimensional sparseness of texts.Proposes a short text clustering algorithm which based on the stack noise automatically reduction encoder.The proposed algorithm utilizes deep learning network form to stack up multinetwork of noise automatically reduction encoder step by step,and transforms the high dimensional and sparse short text space vector into a new low dimensional and essential feature s pace vector.The experimental results show that the extracted text characteristic is applied to short text clustering,which improves the clustering performance significantly.

Automatic Encoder;Deep Learning;Feature Extraction;Clustering

國家自然科學(xué)基金青年科學(xué)基金項(xiàng)目（No.61201447）

1007-1423（2016）33-0003-06

10.3969/j.issn.1007-1423.2016.33.001

張素智（1965-），男，博士，教授，研究方向?yàn)閃eb數(shù)據(jù)庫、分布式計(jì)算和異構(gòu)系統(tǒng)集成

魏萍萍（1990-），女，碩士研究生，研究數(shù)據(jù)挖掘與集成

徐家興（1990-），男，碩士研究生，研究數(shù)據(jù)挖掘與集成

2016-09-22

2016-11-15