王生生，張航，潘彥岑

(1.吉林大學 計算機科學與技術學院，吉林 長春 130012； 2.吉林大學 軟件學院，吉林 長春 130012)

自動編碼器(auto-encoder，AE)是機器學習中一種重要的模型[1]。AE通過盡可能復現(xiàn)輸入數(shù)據(jù)的方法，來提取輸入數(shù)據(jù)的特征，通常AE只有單層的編碼器和解碼器。隨著深度學習的發(fā)展，Hinton等[2]提出深度自動編碼器(deep auto-encoder，DAE)，相比于AE，DAE能產(chǎn)生更好的壓縮效率及特征表示。DAE的產(chǎn)生和應用免去了人工提取數(shù)據(jù)特征的巨大工作量，提高了特征提取的效率，得到數(shù)據(jù)的逆向映射特征，展現(xiàn)了從少數(shù)標簽數(shù)據(jù)與大量無標簽數(shù)據(jù)中學習輸入數(shù)據(jù)本質特征的強大能力。但DAE也存在很多局限性：1)DAE都是由不同類型的建模單元堆疊而成，這些建模單元均有理論缺陷，例如DAE內部是黑盒性質，各隱藏層之間缺乏相應神經(jīng)科學的理論指導。DAE缺乏能力來解釋自己的推理過程和推理依據(jù)。所以DAE構建的深度結構不完善。2)DAE的無監(jiān)督逐層貪心訓練只是在一定程度上解決了局部最小問題，沒有全局優(yōu)化，隨著隱藏層數(shù)的增加，梯度稀釋越發(fā)嚴重，其訓練極其繁瑣，需要很多技巧。3)DAE模型結構往往是固定的，其未考慮數(shù)據(jù)本身的關聯(lián)性，無法擬合不同類型的數(shù)據(jù)。

針對DAE的局限性，本文提出一種基于改進SPNs的深度自動編碼器。Poon等[3]提出了一種sum-product networks模型，其結構的遞歸概率語義具有強大的理論支持，由其構成的深度結構很完善。spns能夠容易地學習網(wǎng)絡結構與參數(shù)，訓練時間遠快于傳統(tǒng)DAE。SPNs模型的結構學習能很好的擬合數(shù)據(jù)的表示，不同于傳統(tǒng)DAE需利用一個先驗結構?；赟PNs模型的這些優(yōu)點，本文設計改進的SPNs模型作為深度編碼器，提出替換SPNs的sum結點為max結點的最大積網(wǎng)絡(max-product networks，MPNs)模型作為深度解碼器?；诟倪MSPNs模型作為新型DAE能克服現(xiàn)有DAE的局限性，并將其應用于短文本情感分析領域，通過實驗驗證所設計的基于改進SPNs深度自動編碼器在短文本分析領域具有更優(yōu)性能。

1 sum-product networks模型

1.1 sum-product networks模型的介紹

SPNs是一種新型深度概率圖模型，是一個帶根節(jié)點的有向無環(huán)混合圖，product節(jié)點和帶非負權值的sum節(jié)點不斷遞歸組成其結構，SPNs的葉子節(jié)點為單一變量或變量未歸一化的概率分布。如圖1所示。一個SPNs網(wǎng)絡編碼一個函數(shù)f(X=x)，輸入變量賦值X=x，由根節(jié)點產(chǎn)生一個輸出。該函數(shù)在每個節(jié)點的遞歸定義為:

圖1 SPNs葉子節(jié)點與簡單的SPNs結構Fig.1 SPNs leaf node and the simple SPNs

變量的賦值Xn=xn受限于葉子節(jié)點所包含的變量類型。如果葉子節(jié)點的變量未被實例化，那么Pr(Xn=xn)=Pr(φ)=1。如果葉子結點為連續(xù)性變量，那么Pr(Xn=xn)應理解為pdf(Xn=xn)。

SPNs模型的結構如果滿足一定的條件，其可以編碼一組變量的聯(lián)合概率分布。下面給出其結構需滿足條件的定義。

定義1范圍(scope)，一個節(jié)點n的范圍表示為其后裔節(jié)點或變量的組合。

定義2結構完整性，一個SPNs模型結構具有完整性當且僅當其sum節(jié)點的所有兒子節(jié)點具有相同的范圍?c∈children(sum),scope(c)=scope(c′)。

定義3結構可分解性，一個SPNs模型的結構具有可分解性當且僅當其product節(jié)點的所有兒子節(jié)點具有互斥范圍：

?c,c′∈children(sum) andc≠c′

?c,c′∈children(sum) andc≠c′

scope(c)∧scope(c′)=?。

SPNs能夠克服概率圖模型的局限性：推理與學習階段時間復雜度為指數(shù)級。SPNs可以有效計算歸一化配分函數(shù)(partition function)，所以其在模型推理與學習階段的時間復雜度為多項式級[4]。在推理階段，不同于概率圖模型的近似推理，SPNs執(zhí)行快速精確推理，在推理速度上后者比前者有著數(shù)量級上的優(yōu)勢。SPNs的這些特性已經(jīng)使其成功應用于圖像分類[5]、語言模型[6]、動作識別[7]等多個領域。

1.2 改進的sum-product networks模型

SPNs自提出以來，在大部分研究中被用作一種概率密度估計器。傳統(tǒng)SPNs模型作為一種樹形結構，每一個節(jié)點輸入只來自其后裔節(jié)點，相同層節(jié)點的范圍信息相互獨立，缺乏層次性。SPNs模型的權值矩陣稀疏。如使用傳統(tǒng)SPNs模型作為深度編碼器架構，其提取數(shù)據(jù)特征效率低，SPNs模型的權值矩陣計算速率慢。本文提出一種改進的SPNs模型結構，稱為層次SPNs模型(layered sum-product ntworks，LSPNs)。首先重構傳統(tǒng)SPNs結構。如圖2所示，排列SPNs節(jié)點為層次順序結構，同層包含相同節(jié)點，不同層包含不同節(jié)點。例如sum節(jié)點組成相同層，product節(jié)點相同層，不同層交替組成LSPNs深度結構。然后葉子節(jié)點層輸入增加到每一個LSPNs的隱藏層。LSPNs的每一層結構都保持傳統(tǒng)SPNs的有向無環(huán)屬性、結構完整性和結構可分解性。定義S(x)∈Rs表示為通用層輸出函數(shù)，例如：S(x)=〈S1(x),S2(x),…,Ss(x)〉，如果通用層為sum節(jié)點層，假設其輸入層包含r個節(jié)點，本文設計其輸出函數(shù)為:

圖2 改進SPNs模型作為LSPNSFig.2 Improved SPNs model as LSPNs

(1)

式中：x∈[0,1]T為前節(jié)點輸入的概率值；Wij表示稀疏連接形式的參數(shù)矩陣。product節(jié)點層輸出函數(shù)為：

(2)

式中：x∈RY為輸入概率值的對數(shù)域；P∈{0,1}S×r為稀疏鏈接矩陣定義。本文設計的指數(shù)函數(shù)和對數(shù)函數(shù)都是非線性的，輸入和輸出信號從對數(shù)域切換到指數(shù)域，從一個層次類型轉換為另一個層次類型。增加隱藏層的輸入可以降低傳統(tǒng)SPNs模型的權值矩陣的稀疏性。LSPNs模型相對于傳統(tǒng)SPNs模型具有以下優(yōu)勢：1)具有層次結構的LSPNs作為一種概率局部特征提取器，相比于傳統(tǒng)SPNs能高效提取數(shù)據(jù)的分層抽象特征，提取的特征信息更為豐富。2)LSPNs的權值矩陣相對于SPNs權值矩陣稀疏性低，可以利用GPU計算庫進行高效的矩陣運算。

如使用傳統(tǒng)SPNS模型作為深度解碼器架構，其在解碼過程中，進行最大可能解釋(most probable explanations，MPE)推理，其推理復雜度為np-hard。定義2組隨機變量U,V?X,U∪V=X,U∩V=?，mpe推理是求：

(3)

MPE推理的解碼過程可以有效對編碼特征進行解碼。因此，在解碼過程中，本文替換SPNs的所有sum節(jié)點為max節(jié)點，提出最大積網(wǎng)絡(max-product networks，MPNs)模型，其中max節(jié)點功能具有sum節(jié)點的結構完整性，但其在進行MPE推理的過程中，MPNs不同于SPNs的全局計算，其首先計算maxc∈ch(n)ωncMc(x)即max節(jié)點與權值邊值乘積的最大值，推理方向沿著自根節(jié)點向下選取max節(jié)點與權值邊值乘積最大的路徑傳播。如圖3所示，圖3(a)為替換所有sum節(jié)點為max節(jié)點的MPNs網(wǎng)絡，圖3(b)為MPNs的MPE推理模式，給定葉子結點輸入值與max節(jié)點下的權值，首先自葉子節(jié)點向上計算每個節(jié)點的值，然后自根節(jié)點向下選取max節(jié)點與其權值邊值乘積最大的邊向下傳播，得到MPE推理的結果。MPNs可以有效作為深度解碼器架構，MPNs編碼器的建模單元為max節(jié)點組成的max節(jié)點層與product節(jié)點組成的product節(jié)點層，max節(jié)點層與product節(jié)點層交替組成MPNs深度解碼器結構，其MPE推理方法可作為深度解碼器的解碼方法。

圖3 MPNs模型與MPE推理方法Fig.3 MPNs and MPE inference method

2 基于LSPNs的深度自動編碼器

2.1 基于LSPNs深度編碼器的編碼表示

(4)

每一個嵌入特征都可以表示為一個節(jié)點范圍的邊際分布。因此，這樣構造的嵌入是由適當?shù)母怕拭芏鹊募弦鸬膸缀慰臻g中的一個點。LSPNs的節(jié)點也可以看作是通過節(jié)點范圍給出的子空間運行的基于部分的過濾器。sum節(jié)點可以解釋為通過共享相同范圍的過濾器的加權平均值構建的過濾器，并且product節(jié)點可以被看作是非重疊作用域上的過濾器的組合。從LSPNs學習算法的內部機制角度來看，每個過濾器捕獲數(shù)據(jù)的子群和子空間的不同方面。傳統(tǒng)SPNs作為深度編碼器因其結構缺乏層次性，各節(jié)點在特征提取的過程中缺乏關聯(lián)性。本文設計的LSPNs結構具有層次性，同層節(jié)點提取特征信息共享，能較傳統(tǒng)SPNs具有更高的特征提取效率與能得到更優(yōu)的分層抽象特征。

2.2 基于MPNs深度解碼器的解碼表示

(5)

基于本文設計的MPNs深度解碼器的解碼方法是對編碼特征找到其最有可能解碼，是一種部分解碼模式，該方法可以快速得到對原編碼特征解碼，不同于傳統(tǒng)DAE解碼過程對編碼特征進行全部解碼。MPNs深度解碼器解碼速度遠快于傳統(tǒng)深度解碼器。如圖4所示為基于LSPNs深度自動編碼器架構，其為LSPNs編碼器與MPNs解碼器2部分組成。

圖4 基于LSPNs深度自動編碼器架構Fig.4 Framework of LSPNs-based deep autoencoder

LSPNs深度自動編碼器可以進行精確的推理，比如最大后驗概率map推理以及最有可能解釋MPE推理等。

2.3 基于LSPNs深度自動編碼器的結構與參數(shù)學習

LSPNs深度自動編碼器的學習方法包括結構學習與參數(shù)學習2部分。SPNs的結構學習算法通常是通過基于聚類技術分割/分組數(shù)據(jù)和變量，貪心地構造一個SPNs結構[8]。SPNs的參數(shù)學習技術包括通過隨機梯度下降[9]、期望最大化算法[10]、貝葉斯矩匹配[11]等來極大化數(shù)據(jù)的似然函數(shù)值(生成訓練)或者給一個輸入數(shù)據(jù)得到一些輸出數(shù)據(jù)的條件似然值(判別訓練)。

目前，SPNs模型的結構學習與參數(shù)學習算法大部分是基于批處理學習的，批處理技術假設完整的數(shù)據(jù)集是可用的并且可以多次掃描。目前，大文本集和流文本數(shù)據(jù)越來越多。傳統(tǒng)SPNs模型的學習方法無法高效地處理這類文本集。為解決傳統(tǒng)SPNs模型學習算法在處理大文本集和流文本數(shù)據(jù)時參數(shù)學習速率慢，結構學習時模型似然函數(shù)值低的局限性，本文設計LSPNs的在線學習算法。

LSPNs深度自動編碼器的在線參數(shù)學習算法：通過一些小批量數(shù)據(jù)點輸入，LSPNs模型的在線參數(shù)學習算法通過從根節(jié)點到葉子節(jié)點更新LSPNs的參數(shù)。LSPNs模型通過跟蹤運行充分統(tǒng)計量來更新sum節(jié)點下的參數(shù)。假設LSPNs模型在每一個節(jié)點都有一個計數(shù)(初始值為1)，當每一個數(shù)據(jù)點被接收，這些數(shù)據(jù)點的似然函數(shù)就可以通過計算每一個節(jié)點得到，然后LSPNs模型的參數(shù)通過一種遞歸自上而下的方式從根節(jié)點更新。當一個sum節(jié)點被穿過，其計數(shù)加1并且其具有最高似然值的孩子節(jié)點加1。一個sum節(jié)點s和它其中一個后裔節(jié)點c的連接權值ws,c可以被估計為：

(6)

式中：ns為sum節(jié)點的計數(shù)；nc為孩子節(jié)點的計數(shù)。因為product節(jié)點無權值邊，增加其似然值方法就是增加其兒子節(jié)點似然值。遞歸增加product節(jié)點每一個孩子計數(shù)，遞歸更新每個孩子節(jié)點子樹權值。

SPNs的在線結構學習算法由Lee[12]首次提出，該方法通過在線聚類技術以一種遞增形式重構網(wǎng)絡結構，自上而下為sum節(jié)點增加孩子節(jié)點。其方法局限于一旦product節(jié)點被創(chuàng)建就不能被修改。本文設計LSPNs自動編碼器的在線結構學習方法：通過小批量數(shù)據(jù)輸入，LSPNs的結構在線更新。如圖5所示，圖5(a)為起始product節(jié)點，連接3個相互獨立的兒子節(jié)點，作用域為x1,x2,…,x5。首先通過檢測輸入變量的相關性修改product節(jié)點，自底向上的遞增構造LSPNs深度自動編碼器結構。其算法的核心是分裂法，在LSPNs線結構學習的過程中，每次新加入的數(shù)據(jù)，如輸入變量之間皮爾遜相關系數(shù)的絕對值超過某一閾值，會導致product結點做出變更。該算法將具有x1、x32個子節(jié)點的作用域合并，并將它們轉換為一個多元葉節(jié)點，以其統(tǒng)計的均值和協(xié)方差作為葉節(jié)點參數(shù)。圖5(b)所示會創(chuàng)造出多變量葉節(jié)點或者如圖5(c)所示的混合模型。其組成部分是一個新的product節(jié)點，它再次被初始化為在其作用域上的一個完全因式分解的分布，然后再將小批數(shù)據(jù)點傳遞給新混合模型以更新其參數(shù)。更新結構的方式可通過設置子節(jié)點個數(shù)的閾值來選擇。

圖5 LSPNs模型在線結構學習示意Fig.5 LSPNs model online structure learning diagram

這種在線結構學習算法只對數(shù)據(jù)一次掃描并構造其LSPNs結構，LSPNs自動編碼器的在線結構學習以一個所有變量完全因式分解的聯(lián)合概率分布起點，若輸入變量皮爾遜相關系數(shù)的絕對值高于某個閾值，則將他們合并為相關變量，若作用域內變量的個數(shù)小于某個值時就將他們合并為多元葉節(jié)點，否則將其重組為和積混合結構。通過在線學習的方式，隨著數(shù)據(jù)的不斷傳入，網(wǎng)絡結構逐漸加深，從而以一種在線學習的方式完善LSPNs自動編碼器的深度結構。

3 短文本情感分析應用

本文利用基于LSPNs深度自動編碼器進行短文本情感分析。首先，從社交網(wǎng)絡中爬取大量無標簽的短文本數(shù)據(jù)；其次采用語義規(guī)則[13]方法對數(shù)據(jù)進行預處理；接著采用doc2vec[14]模型對預處理后獲得的短文本數(shù)據(jù)進行訓練得到句向量，句向量作為基于LSPNs深度自動編碼器的輸入。通過2.3節(jié)的在線結構學習方法生成一個LSPNs深度編碼器結構。利用LSPNs深度編碼器對輸入的句向量進行編碼，提取分層抽象特征；然后構建MPNs深度解碼器，對由LSPNs深度編碼器得到的分層抽象特征進行解碼，將解碼后的特征與輸入LSPNs深度編碼器的句向量特征對比，計算重構誤差。調整LSPNs深度自動編碼器參數(shù)使得重構誤差最小；最后，得到最優(yōu)的LSPNs深度編碼器，并由它獲得最優(yōu)分層抽象特征。

為了實現(xiàn)情感分類，將最優(yōu)分層抽象特征輸入到一個分類SPNs模型，通過有少量標簽樣本對分類SPNs模型進行有監(jiān)督微調訓練。分類SPNs模型也采用2.3節(jié)的在線結構學習方法，其參數(shù)學習使用SPNs的判別式hard梯度下降方法。定義分類SPNs模型S[y,h|x]，輸入變量y為查詢變量，h為隱變量，x為證據(jù)變量。學習目標是極大化條件概率分布P(y|x)，使用反向傳播的方式極端似然梯度:

(7)

(8)

(9)

MAP推理過程的條件log似然梯度為Δci/wi，hard梯度更新為Δwi=ηΔci/wi。hard推理模式其使用map推理過程為一種選擇性的梯度更新方法，如圖6所示，可以有效防止梯度稀釋現(xiàn)象。

圖6 SPNs的硬推理模式克服梯度稀釋問題Fig.6 SPNs hard inference overcomes gradient diffusion

分類SPNs模型訓練完畢后，利用SPNs的MAP推理方式，對測試集的數(shù)據(jù)進行預測。假設有一組測試數(shù)據(jù)為[x1,x2,…,x100,Lable]，分類SPNs模型的101個變量記為X1,X2,…,X100,Y，那么用分類SPNs模型預測標簽的過程，實質上就是求：

(10)

只要將Y=0與Y=1的正負情感標簽分別傳入分類SPNs模型的葉節(jié)點中，經(jīng)過推理比較2個值的大小，取最大者，記為該測試數(shù)據(jù)的分類標簽。這樣，就可以得到每一條測試數(shù)據(jù)的預測值Y，經(jīng)過統(tǒng)計預測值和真實標簽的差異，可以得到分類的準確率。

4 實驗結果與分析

4.1 實驗數(shù)據(jù)

實驗數(shù)據(jù)包括2部分：1)微博情感分析數(shù)據(jù)，由無標簽數(shù)據(jù)與標簽數(shù)據(jù)組成(如圖7所示)。其中無標簽數(shù)據(jù)是通過twitter API與python beautifulsoup庫在網(wǎng)絡上爬取的1 600 000條微博數(shù)據(jù)，這些無標簽數(shù)據(jù)用于訓練句向量。標簽數(shù)據(jù)集取自斯坦福twitter情感語料庫STS[15]。隨機選取其中負面微博2 501條，正面微博2 499條作為有監(jiān)督微調數(shù)據(jù)集。最后隨機取500條微博作為測試集。2)電影評論IMDb數(shù)據(jù)集[16]與從亞馬遜網(wǎng)站[16]收集的5組領域產(chǎn)品的用戶評論。實驗數(shù)據(jù)統(tǒng)計如表1所示。

表1 實驗數(shù)據(jù)統(tǒng)計Table 1 The experimental data statistics

圖7 基于LSPNs深度自動編碼器情感分析流程Fig.7 Flow chart of LSPNs-based deep autoencoder sentiment analysis

4.2 句向量的預訓練

在進行模型訓練之前，需要在大規(guī)模語料上訓練句向量。本文利用基于python gensim庫的doc2vec模型無監(jiān)督訓練句向量，迭代次數(shù)為10次。

4.3 對比實驗

本文對比實驗分為2部分:

1)基于斯坦福twitter情感語料庫(STS)的實驗。實驗的對比模型為：

①基于N-gram模型的詞袋向量作為輸入，使用N-gram模型的一元詞串+二元詞串特征，分別使用支持向量機[15]，樸素貝葉斯[15]，標簽傳播(label propagation, lprop)[16]模型作為分類器進行情感分析。

②基于Wor2vec訓練的詞向量輸入，使用句子特性卷積神經(jīng)網(wǎng)絡CharSCNN[17]進行情感分析。

③基于傳統(tǒng)spns結構的自動編碼器情感分析，模型輸入為與對比模型1與2相同的2種特征向量，模型表示為spnsdae1與spnsdae2。

④基于LSPNs深度自動編碼器的情感分析，采用與對比模型1與2相同的特征向量作為模型輸入，模型表示為lspnsdae1與lspnsdae2。實驗的評估指標是準確率precision值、召回率recall、F1值。其中Pos_P表示積極詞的準確率precision值，Neg_P表示消極詞的準確率precision值，以此類推。

表2中的NB、SVM模型數(shù)據(jù)集下的分類結果數(shù)據(jù)來源于文獻[15]，LPROP模型數(shù)據(jù)集下的分類結果數(shù)據(jù)來源于文獻[16]，CharSCNN模型在第一部分數(shù)據(jù)集下的分類結果數(shù)據(jù)來源于文獻[17]。spnsdae1與spnsdae2數(shù)據(jù)集下的分類結果為本文使用傳統(tǒng)spns結構設計的深度自動編碼器進行試驗實現(xiàn)。

表2 幾種模型在STS數(shù)據(jù)集下的情感分類評估值Table 2 Several models in the STS data set under the sentiment classification evaluation value

2)基于IMDb數(shù)據(jù)集的實驗。實驗的對比模型為：基于標準化特征[19]的詞袋向量作為模型輸入，分別使用以下模型進行情感分析。

①降噪自編碼器(denoising autoencoder，DAE)[18]，其使用ReLu max(0,x)函數(shù)作為激活函數(shù)，使用sigmoid函數(shù)作為解碼函數(shù)。

②微調降噪自動編碼器(denoising autoencoder with finetuning，DAE+)[18]，該方法使用部分標簽數(shù)據(jù)訓練dae并把解碼層替換為softmax層。

③半監(jiān)督布雷格曼散度自動編碼器(semisupervised bregman divergence autoencoder，SB-DAE)[19]。

④微調半監(jiān)督布雷格曼散度自動編碼器(semisupervised bregman divergence autoencoder with finetuning，SB-DAE+)[19]，使用帶標簽數(shù)據(jù)集微調sb-dae。以上方法都需要預定義模型輸入特征維度，對于sb-dae設置輸入特征維度為200維。對于dae，采取輸入特征維度為2000維。以上模型均使用SVM2作為分類器，使用mini-batch步長為0.9[16]的隨機梯度下降方法進行訓練。

⑤基于半監(jiān)督的變分自動編碼器(semi-supervised variational autoencoder，SVAE)[20], 其自動編碼器架構為LSTM,情感預測模型使用雙向LSTM模型。其模型輸入為標準化特征[19]的詞袋向量。設置其自動編碼架構維度為100維，設置Dropout率為0.5。

⑥基于半監(jiān)督的連續(xù)變分自動編碼器(semi-supervised sequential variational autoencoder，SSVAE)[21]模型使用基于端到端的adam[21]，設定學習率為4e-3進行訓練。

⑦基于傳統(tǒng)SPNs深度自動編碼器的情感分析，采用2種特征向量輸入LSPNs深度自動編碼器中，分別是基于標準化特征[16]的特征向量作為模型輸入，設置特征維度為500維，模型表示為實驗模型表示為spnsdae(A);基于Doc2vec模型訓練的句向量作為模型輸入，設置特征維度為200維，模型表示為spnsdae(B)。

⑧基于LSPNs深度自動編碼器的情感分析，采用兩種特征向量輸入LSPNs深度自動編碼器中，分別是：基于標準化特征[16]的特征向量作為模型輸入，設置特征維度為500維，模型表示為lspnsdae(A)；基于Doc2vec模型訓練的句向量作為模型輸入，設置特征維度為200維，模型表示為lspnsdae(B)。以上2種方法均使用標簽數(shù)據(jù)集微調。實驗采用的評測指標是模型情感分類錯誤率。

表3中的DAE、DAE+實驗數(shù)據(jù)集下的分類結果來源于文獻[18]。SB-DAE、SB-DAE+實驗數(shù)據(jù)集下的分類結果來源于文獻[19]。SVAE與SSVAE實驗結果為進行實驗實現(xiàn)。spnsdae的分類結果為本文使用傳統(tǒng)SPNs結構設計的深度自動編碼器進行試驗實現(xiàn)。

表3 幾種模型在IMDb數(shù)據(jù)集下的情感分類評估值Table 3 Several models in the IMDb data set under the sentiment classification evaluation value

由實驗1)結果對比可知：基于LSPNs深度自動編碼器應用于短文本情感分析的效果普遍要比傳統(tǒng)方法：nb，svm，LPROP模型要好。這體現(xiàn)在三者之間的Pos_F1和Neg_F1的對比；而從precision、recal的角度來比較，無論是對積極情感還是消極情感，基于LSPNs深度自動編碼器比CharSCNN精度更高。由實驗2)結果對比可知：spnsdae的情感分類錯誤率低于SB-DAE，和DAE+近似，但是lspnsdae(B)模型在實驗2)的6組實驗數(shù)據(jù)集下達到最佳效果。

在實驗2)中的幾種自動編碼器模型運行平均時間對比如表4所示，本文設置每個自動編碼器模型運行10次，取10次時間均值記錄。實驗結果表明lspnsdae(A)與lspnsdae(B)在IMDB數(shù)據(jù)集下的運行速度遠快于傳統(tǒng)的自動編碼器模型。

表4 幾種自動編碼器模型在IMDb數(shù)據(jù)集下的平均運行時間Table 4 The average running time of several autoencoder models in the IMDb dataset S

5 結論

1)本文提出的LSPNs的深度自動編碼器具有強大的結構學習能力，快速的推理能力，具備更好的模型可擴展性。

2)將本文提出的基于LSPNs深度自動編碼器應用于短文本情感分析領域。實驗結果表明：基于LSPNs的深度自動編碼器比現(xiàn)有深度編碼器在短文本情感分析領域能取得更好的情感分類準確率且模型具有更快的運行速度。