阮光冊　黃韻瑩

關鍵詞： Ｓｅｎｔｅｎｃｅ－ＢＥＲＴ； ＬＤＡ 模型； 評論文本； 主題識別

ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１００８－０８２１．２０２３．０５．００５

〔中圖分類號〕ＴＰ３９３ 〔文獻標識碼〕Ａ 〔文章編號〕１００８－０８２１ （２０２３） ０５－００４６－０８

隨著信息技術的廣泛應用和移動智能終端的普及， 社交媒體逐漸成為互聯(lián)網(wǎng)用戶發(fā)表觀點和意見的主要平臺， 海量的、多樣化的用戶評論數(shù)據(jù)也成為人們獲取信息的重要渠道。在線評論數(shù)據(jù)包含了用戶的觀點和態(tài)度， 通過對這些數(shù)據(jù)的主題挖掘，可以有效地實現(xiàn)信息整合， 并能夠為企業(yè)和網(wǎng)站提供用戶最真實的感受， 具有重要的情報價值。然而， 如何從海量的評論數(shù)據(jù)中快速挖掘用戶感興趣的信息， 挖掘用戶評論中隱含的主題， 不僅是企業(yè)需要完善的重要技術， 也是情報學領域一直關注的熱點問題。因而， 面向評論文本的語義分析和主題挖掘具有重要的應用價值和研究意義。

目前， 主題模型被廣泛應用于文本主題識別的研究， 該方法可以將文本數(shù)據(jù)轉(zhuǎn)換為潛在的低維特征表示， 在無需標注信息的情況下， 挖掘文本的主題信息。然而， 由于評論文本具有上下文信息不足、噪聲多、文本規(guī)范性不高等特征， 使得評論文本在文檔層面的詞語共現(xiàn)時存在稀疏性較高的問題， 因此， 簡單地將主題模型應用于評論文本主題識別的應用效果不佳。解決評論文本內(nèi)容稀疏性問題常用的方法是將短文本整合為長的偽文本， 然而這種方法對數(shù)據(jù)集本身的依賴程度比較高［１］ ， 使得該策略無法推廣到一般形式的文本。在評論文本實踐應用方面， 重構(gòu)經(jīng)典的ＬＤＡ 主題模型， 使其適用于用戶評論處理， 也是一種常見的方式。雖然重構(gòu)的模型具有一定的通用性， 但這一策略以傳統(tǒng)主題模型的概率計算為基礎， 仍然存在對評論文本語義描述不充分、無法有效捕獲評論文本中詞之間的相關性以及學習到的主題語義連貫性不強等問題。

為此， 本文將Ｓｅｎｔｅｎｃｅ－ＢＥＲＴ 與ＬＤＡ 相結(jié)合，利用Ｓｅｎｔｅｎｃｅ－ＢＥＲＴ 的孿生網(wǎng)絡結(jié)構(gòu)， 獲取評論文本句子層面的向量特征， 采用ＬＤＡ 主題模型， 利用詞袋模型， 識別評論文本詞語層面的主題向量，隨后將句子嵌入向量與概率主題分布向量連接， 并采用Ｋ－ｍｅａｎｓ 算法對向量空間進行聚類， 并從聚類中提取評論文本的主題信息。通過與目前常用的文本分析模型的對比， 驗證了本文方法的有效性。

１相關研究

評論文本主題識別是指對社交媒體平臺產(chǎn)生的大量用戶生成內(nèi)容， 利用文本挖掘技術識別隱藏在其中的熱點話題［２］ 。研究認為， 評論文本的主題識別其本質(zhì)是一個“聚類” 問題， 主題為聚類后產(chǎn)生的簇， 通過對這些簇進行分析， 可獲得評論文本中的潛在主題［３］ 。有學者通過實驗， 對比了Ｋ－Ｍｅａｎｓ、譜聚類等１８ 種聚類算法在評論文本數(shù)據(jù)上進行主題識別， 并分析了不同算法的性能， 結(jié)果表明， 通過選擇合適的聚類方法， 可以有效地提取評論文本中的主題信息［４］ 。

評論文本主題識別最基本的方法是直接在文本向量空間模型上進行聚類， 其主要思想是對文本進行向量化處理， 如采用ＴＦ－ＩＤＦ 方法， 進而實現(xiàn)文本的聚類［５］ 。采用該種方法進行評論文本主題識別的核心思想仍然是關鍵詞匹配， 使用文本中的關鍵字或關鍵詞來表示主題［６］ ， 這使得該種方法獲取的主題在語義描述效果方面往往并不理想， 且容易產(chǎn)生向量空間的高維性。為解決這一問題， 研究者提出了ＬＳＩ（Ｌａｔｅｎｔ Ｓｅｍａｎｔｉｃ Ｉｎｄｅｘｉｎｇ）模型［７］ ， 該模型可通過奇異值分解（Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ，ＳＶＤ）的方法， 將高維文檔向量降維， 并將其映射到較小維度空間上， 解決評論文本在主題識別時的維度災難問題。然而， ＬＳＩ 在處理評論文本時， 仍然無法解決多義詞的問題， 同時在使用ＳＶＤ 進行分解時， 算法的開銷比較大， 限制了該方法的使用。

為解決評論文本中存在的一詞多義的問題， 學者們開始使用經(jīng)典的ＬＤＡ 主題模型進行評論文本的主題識別［８］ 。有學者采用ＬＤＡ 模型， 對新浪微博的熱門微博數(shù)據(jù)進行分類并挖掘主題信息［９］ ；電商在線評論領域， 學者運用ＬＤＡ 模型， 對生鮮電商行業(yè)用戶評論進行分析， 挖掘出影響用戶滿意度的關鍵因素， 如包裝、新鮮度、物流運輸?shù)龋郏保埃?；旅游在線評論領域， 學者將ＬＤＡ 模型與主題社會網(wǎng)絡和主題情感分析方法相結(jié)合， 對用戶評論文本進行跨平臺比較， 分析攜程和小豬短租平臺用戶評論的主題信息和主題網(wǎng)絡的異同之處［１１］ ； 也有學者使用ＬＤＡ 進行建模， 分析在線融資項目評論主題的演化過程， 同時分析了評論主題的演化模式［１２］ 。然而， 由于ＬＤＡ 主題模型一般以Ｄｉｒｉｃｈｌｅｔ過程和詞袋模型為基礎， 并假設詞語之間是相互獨立的， 因此， 采用ＬＤＡ 主題模型對評論文本進行主題計算， 往往缺乏對詞語之間的語義關聯(lián)信息的考慮， 缺乏對評論文本潛在主題關聯(lián)性的挖掘。

為解決評論文本的詞語間的語義關系問題， 有學者在傳統(tǒng)ＬＤＡ 模型的基礎上加入共詞網(wǎng)絡分析，通過分析詞匯在不同文檔間的共現(xiàn)情況， 構(gòu)建詞匯社交網(wǎng)絡， 在不損失信息的前提下， 降低了詞匯矩陣稀疏性， 并獲得了較好的主題識別效果［１３］ 。考慮到評論文本普遍字數(shù)較少， 為了使ＬＤＡ 主題模型能更好地獲取評論句子級別的詞共現(xiàn)關聯(lián)， 學者們對ＬＤＡ 模型進行了改進。在這些改進模型中，ＢＴＭ（Ｂｉｔｅｒｍ Ｔｏｐｉｃ Ｍｏｄｅｌ， 簡稱ＢＴＭ）模型［１４］ 和詞共現(xiàn)網(wǎng)絡主題（ＷＮＴＭ）［１５］ 模型最具有代表性， 這兩個模型與ＬＤＡ 模型一樣， 都采用Ｇｉｂｂｓ 采樣來發(fā)現(xiàn)詞匯共現(xiàn)網(wǎng)絡中的潛在相似詞群， 通過構(gòu)建“語料庫—主題” 矩陣來進行評論文本的主題提取。這些研究針對評論文本應用場景對現(xiàn)有ＬＤＡ 模型進行改進， 不需要借助外部數(shù)據(jù)， 使得評論文本主題識別的效果有所提升。雖然， 這些模型具有較強的通用性， 可以改善用戶評論文本主題識別的效果［１６－１７］ ， 但這些方法均以詞袋模型為基礎， 仍然存在文本語義描述不充分的問題。

為更好地捕獲評論文本主題的語義信息， 學者們開始嘗試利用詞嵌入［１８］ 技術來約束主題學習，使得具有相似語義的單詞傾向于分布在相同的主題中。文獻［１９］提出了一種基于詞嵌入的主題模型，將文檔中的單詞替換為有意義的詞嵌入， 主題被建模為詞嵌入上的多元高斯分布， 并且在連續(xù)高斯主題之間學習主題相關性。由于神經(jīng)網(wǎng)絡算法在文本特征提取方面具有顯著的優(yōu)勢， 有學者利用Ｗｏｒｄ２ｖｅｃ模型對用戶評論特征詞進行提?。郏玻埃?， 并識別用戶在線評論主題特征［２１］ 。也有學者利用ＢＥＲＴ［２２］ 預訓練模型， 將句法特征與ＢＥＲＴ 詞嵌入模型融入到深度學習網(wǎng)絡中， 實現(xiàn)細粒度的商品評價主題特征分析［２３］ 。然而， 將詞嵌入結(jié)合到評論文本的生成過程中， 增加了模型的復雜性， 在評論文本中詞共現(xiàn)信息較為稀疏的情況下， 其方法結(jié)構(gòu)相較傳統(tǒng)主題模型通常更加復雜。

隨著深度學習的研究不斷深入， 一些學者開始將深度學習模型與ＬＤＡ 主題模型相結(jié)合， 實現(xiàn)評論文本的主題識別。深度學習的方法通過對詞語向量化， 使詞語之間的緊密程度得到增強， 將ＬＤＡ主題模型與深度學習模型相結(jié)合， 在文本語義分析上取得了較好效果。文獻［２４］將ＬＤＡ 對主題建模的全局表示與Ｗｏｒｄ２ｖｅｃ 對上下文詞語關系的局部性相結(jié)合提出Ｔｏｐｉｃ２ｖｅｃ 模型， 通過實驗， 在性能上優(yōu)于傳統(tǒng)的ＬＤＡ 模型， 主題的語義性也更強。此外， 文獻［２５］以Ｗｏｒｄ２ｖｅｃ 為基礎， 結(jié)合ＬＤＡ 模型， 提出了Ｌｄａ２ｖｅｃ 的詞向量模型。文獻［２６］ 將ＬＤＡ 模型與Ｂｉ－ＬＳＴＭ 模型相結(jié)合， 挖掘在線ＭＯＯＣ評論中主題的情感信息。近年來， 隨著ＢＥＲＴ 等深度學習模型在文本語義分析上取得了較好效果， 出現(xiàn)一些將ＢＥＲＴ 與ＬＤＡ 相結(jié)合完成文本主題識別研究。如有學者為實現(xiàn)主題細粒度的輿情情感演化仿真， 將ＬＤＡ 主題模型與ＢＥＲＴ 模型深度融合， 優(yōu)化主題向量助力文本主題聚類［２７］ ， 也有學者提出一種融合ＢＥＲＴ 和ＬＤＡＴｅｘｔＲａｎｋ 的關鍵詞提取方法， 分析了慕課網(wǎng)用戶評論的主題信息［２８］ 。

綜上所述， 現(xiàn)有的評論文本主題識別， 將ＬＤＡ主題模型與深度學習模型相結(jié)合， 成為一種新的技術應用方向， 這些方法借助神經(jīng)網(wǎng)絡提取文本的局部特征， 來提升主題的語義相關性。但考慮到評論文本的特殊性， 有時一句話即代表一個主題信息，因此， 將評論文本作為一個整體語料庫進行主題識別， 容易造成主題的語義連貫性不強的問題。目前， 已經(jīng)有研究將詞向量轉(zhuǎn)換為文本向量［２９］ ， 并采用無監(jiān)督算法將文本的段落向量化， 實現(xiàn)從不同長度的文本中學習固定長度的特征， 并在評論文本的主題識別中獲得較好的效果。但該方法需要消耗較大的計算成本， 而且評論文本的生成比較隨意，制約了段落劃分的準確性。

為此， 本文在ＬＤＡ 模型的基礎之上， 結(jié)合Ｓｅｎｔｅｎｃｅ－ＢＥＲＴ句子嵌入向量， 提出一種面向評論短文本的主題識別框架， 基于對評論文本的句子和主題的向量化連接， 探索評論文本中詞義相關關系。模型在保持ＬＤＡ 模型優(yōu)越性的同時， 加入了文本句子層面的語義相關性信息， 約束主題的生成， 能更好地理解不同語境下評論文本的語義特征， 提高主題的連貫性及細粒度劃分的精準度。

２實驗設計與理論基礎

２.１實驗設計

對評論文本進行主題分析， 面臨的第一個問題是將文本這種非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為向量型的結(jié)構(gòu)化數(shù)據(jù)［３０］ 。

目前， 基于詞頻信息的詞袋模型（Ｂａｇ －ｏｆ －Ｗｏｒｄ， ＢＯＷ）［３１］ 是一種經(jīng)典的文本向量化處理的方法?；谠~袋的文本表示方法將語料庫中的詞向量處理后進行向量累加， 作為整篇文本的向量表示［３２］ 。ＬＤＡ 主題模型［３３］ 是經(jīng)典的基于詞袋模型進行文本表示的方法， 模型假設文本中的詞之間是相互獨立的， 通過文檔層面的詞語共現(xiàn)實現(xiàn)語料庫的主題挖掘。

由于評論文本普遍字數(shù)較少， 一條評論通常只包含幾個詞和少量特征信息， 缺乏充足的詞共現(xiàn)和上下文共享信息， 在很多情況下， 用戶評論文本的一句話就可能代表一個主題信息。加之由于網(wǎng)絡用戶的差異巨大， 使得評論文本往往存在表達不標準和字符缺失等問題， 使得采用簡單的文本分詞和詞袋模型進行評論文本主題識別， 無法有效地抽取到有意義的語言特征。因此， 本文采用由Ｒｅｉｍｅｒｓ Ｎ等［３４］ 在２０１９ 年提出的句子向量計算模型Ｓｅｎｔｅｎｃｅ－ＢＥＲＴ（簡稱ＳＢＥＲＴ）， 通過生成句子的Ｅｍｂｅｄｄｉｎｇ向量， 將評論文本以句子的形式映射到一個向量空間中， 隨后與ＬＤＡ 主題模型獲得的文本主題向量進行串聯(lián)， 建立評論文本向量。最后采用聚類方法， 提取類簇的主題信息， 完成評論文本的主題識別。具體流程如圖１ 所示。

本研究所提出的架構(gòu)由４ 個主要部分組成： 首先， 對評論文本進行預處理， 包括文本數(shù)據(jù)清洗、去除停用詞以及分詞操作； 其次， 文本的向量化處理， 采用ＬＤＡ 主題模型對評論文本語料庫進行概率主題計算， 同時引入ＳＢＥＲＴ 模型， 對評論文本進行句子嵌入向量計算； 第三步， 向量連接， 構(gòu)建編碼器， 對輸入向量數(shù)據(jù)在潛在空間實現(xiàn)串聯(lián)， 重構(gòu)數(shù)據(jù)； 最后， 使用Ｋ－ｍｅａｎｓ 聚類方法， 從聚類中提取評論文本的主題詞。

２.２融合ＳＢＥＲＴ 和ＬＤＡ 的文本向量化

２.２.１基于ＬＤＡ 的文本概率主題

主題的識別是指從文本中獲取對整篇文本而言具有總結(jié)性的關鍵詞匯。目前， 潛在狄利克雷分布（Ｌａｔｅｎｔ Ｄｉｒｉｃｈｌｅｔ Ａｌｌｏｃａｔｉｏｎ， ＬＤＡ）是機器學習領域?qū)ξ臋n建模的主要方式， 用來挖掘文本的潛在主題， 被廣泛應用到文本主題識別的應用中。該模型是一種貝葉斯概率模型， 采用概率推斷算法處理文本， 模型產(chǎn)生詞、主題和文檔３ 層概率， 通過主題將詞和文檔進行連接［３５］ 。主題模型在主題識別過程中基于詞袋（Ｂａｇ ｏｆ Ｗｏｒｄｓ）的假設， 并通過概率計算， 將詞分配給一個主題。

２.２.２基于ＳＢＥＲＴ 的句子嵌入向量

ＳＢＥＲＴ 是由普適知識處理實驗室在２０１９ 年提出的句子向量計算模型［３４］ ， 模型是針對ＢＥＲＴ 作為句子表征效果太差而做出的一種改進， 主要解決ＢＥＲＴ 模型不適合文本聚類等非監(jiān)督的自然語言處理任務。ＳＢＥＲＴ 通過句子向量化的處理， 使得文本的向量化表達能夠承載更多的語義信息。

ＳＢＥＲＴ 采用了孿生網(wǎng)絡（Ｓｉａｍｅｓｅ ａｎｄ ＴｒｉｐｌｅｔＮｅｔｗｏｒｋ）來更新權重參數(shù)， 以達到生成的句子向量具有語義信息， 通過使用預訓練的模型， ＳＢＥＲＴ模型能夠獲得在語義上有足夠意義的篇章向量。ＳＢＥＲＴ 在ＢＥＲＴ／ ＲｏＢＥＲＴａ 的最后一層輸出上增加了一個Ｐｏｏｌｉｎｇ 操作， 從而生成一個固定大小的句子Ｅｍｂｅｄｄｉｎｇ 向量［３４］ 。目前， 已有學者采用ＳＢＥＲＴ 與ＬＤＡ 結(jié)合， 實現(xiàn)對咨詢問題提示列表的構(gòu)建［３６］ ，但應用于評論文本的主題識別方面， 國內(nèi)的研究仍不多。

ＳＢＥＲＴ 采用３ 種Ｐｏｏｌｉｎｇ 策略， 即： ＣＬＳ－ｐｏｏ?ｌｉｎｇ， 直接使用ＣＬＳ 位置的輸出向量代表整個句子的向量表示； Ｍｅａｎ－ｐｏｏｌｉｎｇ（ＭＥＡＮ 策略）， 計算每個Ｔｏｋｅｎ 輸出向量的平均值代表句子向量； Ｍａｘｐｏｏｌｉｎｇ（ＭＡＸ 策略）， 以及取全部Ｔｏｋｅｎ 輸出向量各個維度的最大值代表句子向量。實驗結(jié)果顯示，在無監(jiān)督環(huán)境下， 獲得句子向量最好的方式是ＭＥＡＮ 策略［３４］ 。

２.２.３向量的連接

由上文可知， 利用ＬＤＡ 模型， 本文獲得了評論文本的概率主題向量， 借助ＳＢＥＲＴ 模型， 獲得句子嵌入向量， 為了實現(xiàn)評論文本的主題挖掘， 需要將這兩個向量連接起來。由于待連接的向量位于信息稀疏且相關的高維空間中， 因此， 本文使用編碼器連接向量， 實現(xiàn)向量在低維潛在空間的表示。這里將包含句子向量和主題特征向量疊加后的向量定義為：

其中， Ｖｓ 為句子經(jīng)過ＳＢＥＲＴ 模型后的向量表示。Ｃ 為句子的主題向量特征， 即通過ＬＤＡ 模型獲得的每個主題與評論文本ｄ 中的句子Ｓ 的余弦距離獲得，“；”為向量連接符號。

２.３模型的優(yōu)勢

ＬＤＡ 主題模型在對評論文本進行主題計算時有其局限性。首先， 當文本較短時， 建模時缺少必要的文本信息， 主題識別的效果并不理想； 其次，評論文本往往存在一句話就是一個主題， 使得評論文本的主題存在不連貫的現(xiàn)象， 致使ＬＤＡ 模型很難確定評論文本的主要主題； 最后， 評論的主題很大程度上需要通過上下文信息進行理解， 簡單地采用篇章集的詞共現(xiàn)， 無法準確有效地獲得語義主題信息。

因此， 本文通過融入ＳＢＥＲＴ 的句向量， 將句子層面的上下文信息與主題特征融合， 能夠充分結(jié)合上下文語義信息， 彌補ＬＤＡ 主題模型的劣勢， 通過語義聚類算法， 抽取重要的主題詞作為評論文本的語義描述， 提高了評論文本主題識別的語義效果。

３實驗過程及結(jié)論

３.１數(shù)據(jù)預處理

本文的實驗數(shù)據(jù)選取攜程網(wǎng)有關上海市迪士尼旅游的用戶評論數(shù)據(jù)， 通過Ｐｙｔｈｏｎ 編寫爬蟲軟件，共獲取９ ０９５條評論文本， 評論數(shù)據(jù)的時間跨度為２０２０ 年１ 月—２０２２ 年７ 月。預處理環(huán)節(jié)， 首先剔除少于５ 個字符的評論， 并刪除重復使用單一詞語的評論文本， 如“很好很好很好很好” 等， 獲取有效評論８ ８９１條評論文本； 然后使用停用詞表剔除評論文本中高頻無意義詞匯； 最后采用Ｊｉｅｂａ 分詞組件對文本進行分詞處理， 獲得評論文本語料庫。預處理后， 語料庫中評論文本的平均長度為８.４７。

３.２基于ＳＢＥＲＴ 和ＬＤＡ 評論文本向量化

本文載入經(jīng)過評論文本ｆｉｎｅ－ｔｕｎｅ 操作的多語言模型ｄｉｓｔｉｌｕｓｅ－ｂａｓｅ－ｍｕｌｔｉｌｉｎｇｕａｌ－ｃａｓｅｄ－ｖ１ 包作為文檔數(shù)據(jù)的預訓練模型， 采用ＳＢＥＲＴ 對８ ８９１條評論文本數(shù)據(jù)進行向量化處理， 最終得到８ ８９１行?５１２ 列的評論文本句向量化矩陣。

對于評論文本的主題嵌入向量， 本文采用ＬＤＡ主題模型進行主題計算， 為獲得最佳主題數(shù)，采用困惑度模型對最佳主題數(shù)進行計算。實驗中， 采用Ｐｙｔｈｏｎ ３.６ 編寫程序進行困惑度計算， 計算主題數(shù)選擇由２～２０， 通過計算， 最佳主題數(shù)選擇， 具體如圖３所示。從圖３ 中可見， 在主題數(shù)為１４ 時（ 值為：１９５.８０８７７）， 曲線下降趨勢放緩， 因此， 本文在實驗中選擇Ｋ＝１４ 采用ＬＤＡ 主題模型進行主題計算。

在分別獲得句向量和主題向量后， 需將這兩個向量連接起來。本文使用自動編碼器來學習連接向量， 將ＳＢＥＲＴ產(chǎn)生的句子嵌入向量， 與ＬＤＡ模型產(chǎn)生的概率主題向量連接， 實現(xiàn)將兩組向量串聯(lián)在低維潛在空間上。

３.３評論文本主題識別

ＳＢＥＲＴ 句向量與ＬＤＡ 主題嵌入向量連接后，得到具有濃縮信息的低維表示。為了更好地識別主題， 需要對連接后的向量矩陣進行聚類操作， 并從聚類中獲得上下文主題信息。為獲得更好的語義關聯(lián)聚類， 本文實驗中采用Ｋ－ｍｅａｎｓ 聚類算法。Ｋｍｅａｎｓ算法根據(jù)最近鄰原則將數(shù)據(jù)點分配到距離最近的中心點上， 可以得到局部最優(yōu)解。由于該方法在文本聚類時高效、簡單、快速， 且適合于大數(shù)據(jù)聚類， 這使得在很多針對上下文信息聚類的ＮＬＰ任務中Ｋ－ｍｅａｎｓ 成為聚類操作的首選。采用Ｋｍｅａｎｓ聚類時， 算法需要確定參數(shù)Ｋ。上文獲得的ＳＢＥＲＴ＋ＬＤＡ 連接在潛在空間上表示的向量， 數(shù)據(jù)的分布依據(jù)ＬＤＡ 主題建模中的主題數(shù)量， 由此可見，Ｋ－ｍｅａｎｓ 算法中的聚類簇的數(shù)量Ｋ 與ＬＤＡ 的主題數(shù)形成了一個邏輯上的聯(lián)系， 因此， 在實驗中， 將評論語料庫聚合成１４ 個類簇。

３.４實驗結(jié)果

本文對獲得的１４ 個類簇， 通過采用ｔ－ＳＮＥ降維算法， 將數(shù)據(jù)降到２ 維呈現(xiàn)， 如圖４ 所示。

從圖４ 中可以看出， 識別出的１４ 個類簇在空間上分布明確， 說明本文在主題聚類時， 類簇內(nèi)具有較高的一致性， 模型的聚類效果頗佳。

表１ 顯示了基于ＳＢＥＲＴ－ＬＤＡ 方法獲得的１４個類簇的主題信息。

從表１ 中可以看出， 有關迪士尼旅游的用戶評論， 主要圍繞游園感受、迪士尼小鎮(zhèn)、樂園項目、迪士尼酒店和周邊交通幾個主題展開。其中， 迪士尼小鎮(zhèn)的評論最多， “景色優(yōu)美” “購物” “休閑”“步行街” 反映了迪士尼小鎮(zhèn)購物餐飲娛樂的特征； 游園感受主題的評論是第二大主題， “好玩”“童話世界” “挺不錯” “夢幻世界” “老少皆宜”等主題詞， 反映了游客對迪士尼樂園的總體感受；樂園項目是第三大主題， “花車游行” “煙花” “海盜項目” 是評論中提及率較高的主題詞。其他的主題雖然占比不高， 但也從不同視角反映了游客對迪士尼旅游的印象。

３.５實驗對比

為驗證本文方法的有效性， 分別選取目前常用的評論文本主題識別方法進行對比， 其中主題一致性（Ｃｏｈｅｒｅｎｃｅ） 采用Ｇｅｎｓｉｍ 包的ＣｏｈｅｒｅｎｃｅＭｏｄｅｌ，使用‘ｕ＿ｍａｓｓ 的方法計算獲得。具體結(jié)果如表２所示。

從表２中可見， 本文方法在主題一致性Ｃｏｈｅｒ?ｅｎｃｅ 指標最高， 值為－２.５３９６５， 是所有方法中值最高的， 比ＢＥＲＴ 模型高出０.５ 個百分點， 說明本文方法在主題效果上優(yōu)于其他方法。值得注意的是， Ｌｄａ２ｖｅｃ 模型的主題一致性達到－２.７９１１２， 說明ＬＤＡ 與詞嵌入的融合是有效的。

４結(jié)束語

為了解決評論文本主題識別時語義描述不充分、無法有效捕獲評論文本中詞之間的相關性以及學習到的主題語義連貫性不強等問題。本文將ＳＢＥＲＴ 句嵌入模型與ＬＤＡ 概率主題模型相融合， 通過編碼器實現(xiàn)句嵌入向量與概率主題向量串聯(lián)， 并采用Ｋｍｅａｎｓ聚類算法對向量空間聚類， 獲取類簇的核心詞， 實現(xiàn)評論文本主題識別。通過對比實驗， 本文方法在主題一致性方面優(yōu)于目前常用的方法。

本文方法可以有效地挖掘評論文本中具有語義信息的主題詞。此外， ＳＢＥＲＴ預訓練模型可以通過ｆｉｎｅ－ｔｕｎｅ的方法進行微調(diào)， 將會獲得更好的句嵌入結(jié)果， 進一步提升文本主題識別的效果， 因此， 模型的可移植性比較強。同時也需注意， 文本將ＬＤＡ 與ＳＢＥＲＴ 模型相融合， 客觀上增加了主題識別過程的復雜性， 通過對比， 本文方法的耗時要高于單獨使用ＬＤＡ 和ＢＥＲＴ的情況，但模型整體時間效率要優(yōu)于ＢＴＭ 模型。