李 珊，陳妙苗，鄭 晨

(南京航空航天大學(xué)經(jīng)濟(jì)與管理學(xué)院,江蘇 南京 211106)

0 引 言

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，網(wǎng)絡(luò)社交媒體的用戶數(shù)量不斷壯大，據(jù)權(quán)威報(bào)告顯示，當(dāng)前我國(guó)的網(wǎng)民數(shù)量已達(dá)到10.32億[1]，同時(shí)依托網(wǎng)絡(luò)信息交互與傳播的及時(shí)性和敏捷性[2]，網(wǎng)絡(luò)輿情成為了個(gè)人或社會(huì)群體最直接的意識(shí)形態(tài)表現(xiàn)[3]。因此如何有效地從不斷涌現(xiàn)的海量非結(jié)構(gòu)化數(shù)據(jù)中發(fā)現(xiàn)熱點(diǎn)話題，跟蹤話題發(fā)展走向，為相關(guān)部門提供有效輿情信息，掌握民眾意識(shí)形態(tài)，從而實(shí)現(xiàn)輿情監(jiān)管，營(yíng)造清朗網(wǎng)絡(luò)空間具有重要意義[4-5]。

當(dāng)前中文熱點(diǎn)話題挖掘方法主要可以分為基于頻次統(tǒng)計(jì)、基于外部詞典、基于潛在語(yǔ)義索引、基于圖挖掘的方法和其他改進(jìn)算法[6-7]。其中基于頻次統(tǒng)計(jì)的方法主題識(shí)別準(zhǔn)確率低，且不適用于特征稀疏的短文本[8]；基于外部詞典的主題識(shí)別效果高度依賴詞典的可靠性，且對(duì)網(wǎng)絡(luò)輿情數(shù)據(jù)中頻出的新詞缺乏較好的識(shí)別能力[9]；而基于圖挖掘的方法雖然考慮了語(yǔ)義關(guān)聯(lián)特征但并不適用于大數(shù)據(jù)集[10]，因而研究多以基于潛在語(yǔ)義索引及其改進(jìn)算法展開(kāi)[11]。

潛在狄利克雷分布(Latent Dirichlet Allocation， LDA)是一種基于潛在語(yǔ)義索引發(fā)展而來(lái)的3層概率主題模型[12]，實(shí)現(xiàn)了文本和文本中的單詞在主題層次上的聚類，被廣泛應(yīng)用于話題識(shí)別、文本分類等研究[13]。然而該模型以詞袋模型(Bag of Words， BOW)為假設(shè)，所有單詞的重要程度相同，簡(jiǎn)化了文本建模的復(fù)雜度，使得主題分布傾向于高頻詞；同時(shí)也缺乏考慮文本的語(yǔ)義信息，影響了主題的語(yǔ)義連貫性和文本表征的準(zhǔn)確性，因此針對(duì)特征稀疏的短文本，LDA模型話題識(shí)別的效果不甚理想?，F(xiàn)有不少研究對(duì)該問(wèn)題進(jìn)行了改進(jìn)，如Newman等[14]使用TF-IDF修正了模型中單詞的權(quán)重；Xu等[15]針對(duì)話題中的敏感詞識(shí)別，提出了基于Word2Vec識(shí)別和修正敏感詞的權(quán)重從而對(duì)LDA進(jìn)行改進(jìn)的算法SW-LDA，但模型不具有普遍適用性；居亞亞等[16]提出了一種基于動(dòng)態(tài)權(quán)重的LDA算法，在模型迭代的過(guò)程中使用語(yǔ)義信息動(dòng)態(tài)地獲取單詞的權(quán)重，話題識(shí)別效果相較于傳統(tǒng)LDA有了明顯提升，卻增加了建模的復(fù)雜度；譚旭等[17]引入高斯函數(shù)為特征詞設(shè)置不同權(quán)重,以期提高主題分布的合理性及獨(dú)立性，雖然指標(biāo)顯示效果有所提升，但識(shí)別的主題詞依然存在相似度高的情況?？梢钥吹缴鲜鲅芯慷紝?duì)傳統(tǒng)LDA詞匯權(quán)重相同的問(wèn)題提出了不同的改進(jìn)方法，但均無(wú)法實(shí)現(xiàn)在不增加建模復(fù)雜度下，兼顧語(yǔ)義信息的融合和模型性能的提升。

綜上所述，本文把圖挖掘和LDA相結(jié)合，利用圖挖掘有效結(jié)合語(yǔ)義相關(guān)性的思想[18]，對(duì)LDA進(jìn)行改進(jìn)，從而提出基于圖挖掘的LDA改進(jìn)算法GoW-LDA。首先以待挖掘文本中的特征詞為節(jié)點(diǎn)，詞對(duì)在文本句子中的共現(xiàn)先后關(guān)系為邊，即先出現(xiàn)的詞指向后出現(xiàn)的詞，構(gòu)建有權(quán)有向的語(yǔ)義網(wǎng)絡(luò)圖，并計(jì)算特征詞節(jié)點(diǎn)的加權(quán)度；其次，利用歸一化后的加權(quán)度賦予LDA模型中各個(gè)單詞新的權(quán)重，實(shí)現(xiàn)結(jié)合文本語(yǔ)義關(guān)聯(lián)信息，從而修正LDA主題詞偏向高頻詞的問(wèn)題。同時(shí)，本文以蟻坊軟件發(fā)布的2020年5大網(wǎng)絡(luò)輿情反轉(zhuǎn)事件在微博的文本數(shù)據(jù)為例，將傳統(tǒng)LDA模型、利用TF-IDF進(jìn)行單詞權(quán)重修正的LDA作為對(duì)照，驗(yàn)證了GoW-LDA模型的可行性。

1 基于圖挖掘的LDA改進(jìn)算法

1.1 基于圖挖掘的原理

圖是一種重要的可視化分析工具，利用網(wǎng)絡(luò)或圖中的節(jié)點(diǎn)和邊可清晰反映網(wǎng)絡(luò)中的對(duì)象及關(guān)系?，F(xiàn)有不少研究將圖挖掘技術(shù)與自然語(yǔ)言處理相結(jié)合，以從文本中抽取的概念或術(shù)語(yǔ)為節(jié)點(diǎn)，它們之間的關(guān)系作為邊，將文本轉(zhuǎn)化為語(yǔ)義網(wǎng)絡(luò)或術(shù)語(yǔ)關(guān)系圖，依托社會(huì)網(wǎng)絡(luò)或圖挖掘的方法對(duì)文本語(yǔ)義網(wǎng)絡(luò)進(jìn)行分析[19-20]。其中，Rousseau等[21]提出了一種基于詞共現(xiàn)的文本網(wǎng)絡(luò)模型，稱為詞圖模型(Graph of Words, GoW)，以詞間距離越短則相關(guān)性越強(qiáng)為假設(shè)，將非結(jié)構(gòu)化的文本數(shù)據(jù)轉(zhuǎn)換為帶結(jié)構(gòu)信息的文本網(wǎng)絡(luò)，獲取詞之間的詞序信息和上下文依賴關(guān)系。本文基于該模型的思想，在LDA建模前，首先抽取文本中的特征詞作為圖網(wǎng)絡(luò)中的節(jié)點(diǎn)，以兩兩特征詞在單位句子中的共現(xiàn)先后關(guān)系為邊，邊由先出現(xiàn)的詞指向后出現(xiàn)的詞，并以共現(xiàn)先后關(guān)系頻次作為邊的權(quán)重，由此構(gòu)建一個(gè)有權(quán)有向的文本語(yǔ)義網(wǎng)絡(luò)圖[22]。語(yǔ)義網(wǎng)絡(luò)同樣存在多個(gè)統(tǒng)計(jì)特征用以描述網(wǎng)絡(luò)自身的特性和網(wǎng)絡(luò)中節(jié)點(diǎn)的重要程度[23]，為了充分考慮特征詞在語(yǔ)義結(jié)構(gòu)中的詞序信息和上下文依賴關(guān)系，本文采用網(wǎng)絡(luò)中節(jié)點(diǎn)歸一化后的加權(quán)度(weighted degree)為計(jì)算指標(biāo)，用以修正后續(xù)LDA建模中單詞的權(quán)重，計(jì)算公式為：

(1)

其中，N代表特征詞的總數(shù)，k代表第k個(gè)特征詞，D′ki表示第k個(gè)特征詞的第i個(gè)連入關(guān)系，W′ki表示該連入關(guān)系邊的權(quán)重，n則表示該特征詞的連入度；同樣地，D″kj表示第k個(gè)特征詞的第j個(gè)連出關(guān)系，W″kj表示該連出關(guān)系邊的權(quán)重，m則表示該特征詞的連出度。

1.2 GoW-LDA算法

圖1 Gow-LDA算法模型圖

LDA建模的過(guò)程是逆向的文本集合生成模型，主要可分解為以下5個(gè)步驟：

1)設(shè)任何一篇文檔di的先驗(yàn)概率為P(di)。

2)給定服從先驗(yàn)Dirichlet分布的參數(shù)α，并從中取樣，生成文檔di的主題概率分布θi。

3)從主題分布θi中取樣生成文檔di中第j個(gè)詞的主題zij。

4)給定服從先驗(yàn)Dirichlet分布的參數(shù)β，并從中取樣生成主題zij的詞匯概率分布φzij。

5)從詞匯概率分布φzij中生成詞語(yǔ)wij。

重復(fù)步驟1～步驟5，直到生成所有的文檔為止。本文中LDA建模采用的參數(shù)估計(jì)法為最常用的吉布斯采樣法(Gibbs Sampling)，目的是通過(guò)已知的先驗(yàn)輸入α、β，推斷隱變量的分布，為了更好地利用式(1)對(duì)詞匯的權(quán)重進(jìn)行改進(jìn)，在推導(dǎo)參數(shù)θ、φ的過(guò)程中設(shè)定模型所有變量的聯(lián)合分布滿足式(2)：

P(θi|α)×P(φ|β)

(2)

(3)

(4)

2 實(shí)證分析

2.1 數(shù)據(jù)集和數(shù)據(jù)預(yù)處理

本文以蟻坊軟件發(fā)布的2020年5大網(wǎng)絡(luò)輿情反轉(zhuǎn)事件，即杭州女子失蹤案、貴州安順公交車墜湖事件、廣州方圓小學(xué)哮喘女孩遭體罰致吐血事件、黑龍江雞西“酸湯子”中毒事件和山東環(huán)衛(wèi)工被頂替教師崗位事件作為GoW-LDA主題識(shí)別模型實(shí)證分析的切入點(diǎn)，利用網(wǎng)絡(luò)爬蟲(chóng)爬取了新浪微博平臺(tái)相關(guān)的輿情數(shù)據(jù)，經(jīng)過(guò)去空去重，剩余有效輿情數(shù)據(jù)共計(jì)10867條，具體如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集

通過(guò)去除輿情文本數(shù)據(jù)中郵箱、網(wǎng)址、話題符號(hào)等無(wú)意義的內(nèi)容，設(shè)置自定義詞典和停用詞，利用Jieba分詞將文本轉(zhuǎn)化成按照原文本中出現(xiàn)順序排列的詞列形式。

2.2 評(píng)價(jià)指標(biāo)

本文主要從混淆度、識(shí)別主題詞之間的相似度以及模型訓(xùn)練時(shí)長(zhǎng)3個(gè)角度，來(lái)對(duì)比和衡量Gow-LDA模型相較于傳統(tǒng)的LDA以及基于TF-IDF修正詞權(quán)重的LDA在話題識(shí)別上面的性能優(yōu)勢(shì)。

混淆度(Perplexity)又稱為困惑度，作為信息熵的指數(shù)，常被用于評(píng)價(jià)語(yǔ)言模型的建模能力[24-25]。其通過(guò)衡量詞匯在建模產(chǎn)生的文檔主題分布θd和主題單詞分布φk下的概率似然大小來(lái)表征建模效果，計(jì)算見(jiàn)公式(5):

(5)

其中,xw,d表示文檔d中所有詞匯的數(shù)量，那么∑w,dxw,d就是所有文檔集合中的詞匯總數(shù)，∑kθd(k)φw(k)則結(jié)合文檔主題分布和主題單詞分布，用于表征主題中某個(gè)詞出現(xiàn)的概率，因而困惑度越低對(duì)應(yīng)更好的主題識(shí)別建模效果。

點(diǎn)互信息指數(shù)(Pointwise Mutual Information, PMI)是通過(guò)計(jì)算主題建模結(jié)果中概率最高的N個(gè)主題詞之間的相關(guān)性，來(lái)衡量主題語(yǔ)義連貫性的常用評(píng)價(jià)指標(biāo)[26]。針對(duì)主題k的PMI計(jì)算公式如下：

(6)

2.3 GoW-LDA主題建模

由于本實(shí)驗(yàn)采用的數(shù)據(jù)集較大，選取所有出現(xiàn)的詞匯來(lái)構(gòu)建語(yǔ)義網(wǎng)絡(luò)費(fèi)時(shí)費(fèi)力，而當(dāng)前LDA相關(guān)研究基本以5～20個(gè)不等詞數(shù)即可表征一個(gè)主題[27]，因而本文分別選擇分詞后計(jì)算的TF-IDF取值前50位、前100位、前200位、前400位和前800位的詞匯作為特征詞來(lái)構(gòu)建語(yǔ)義網(wǎng)絡(luò)圖。實(shí)驗(yàn)結(jié)果顯示，困惑度變化不大，但利用50和100個(gè)特征詞構(gòu)建GoW-LDA的實(shí)驗(yàn)中，最終主題詞識(shí)別結(jié)果存在多個(gè)重疊，而利用400和800個(gè)詞與利用200個(gè)詞實(shí)驗(yàn)的識(shí)別結(jié)果相近，但在圖模型構(gòu)建時(shí)需要花費(fèi)更多的時(shí)間。因此最終選擇以TF-IDF取值前200位的特征詞來(lái)構(gòu)建GoW-LDA模型。本文利用基于JVM的復(fù)雜網(wǎng)絡(luò)分析軟件Gephi進(jìn)行圖模型的構(gòu)建以及加權(quán)度的計(jì)算：以篩選的200個(gè)特征詞為節(jié)點(diǎn)，設(shè)置共現(xiàn)窗口為3，以兩兩特征詞在文本句子單位中的共現(xiàn)先后關(guān)系為邊，構(gòu)建反轉(zhuǎn)事件輿情的語(yǔ)義網(wǎng)絡(luò)圖，結(jié)果如圖2所示。同時(shí)用Gephi自帶的計(jì)算工具獲取網(wǎng)絡(luò)圖各個(gè)節(jié)點(diǎn)的加權(quán)度值，部分結(jié)果展示如表2所示。

圖2 基于部分特征詞的反轉(zhuǎn)事件輿情網(wǎng)絡(luò)圖

表2 部分特征詞的加權(quán)度計(jì)算結(jié)果

圖2中每個(gè)圓圈代表一個(gè)節(jié)點(diǎn)，即一個(gè)特征詞，圓圈越大代表其加權(quán)度值越高，而不同深淺的色塊則是Gephi自動(dòng)基于關(guān)聯(lián)性進(jìn)行特征詞聚類劃分的結(jié)果。其次，對(duì)計(jì)算得到的特征詞加權(quán)度進(jìn)行歸一化處理，并且為了平衡權(quán)值，對(duì)除了特征詞以外的其他詞匯賦予一個(gè)遠(yuǎn)小于歸一化加權(quán)度最小值的權(quán)重，由此得到修正后的所有詞匯權(quán)重，并通過(guò)與LDA建模過(guò)程中的文檔-詞匯矩陣內(nèi)詞匯出現(xiàn)頻次相乘來(lái)加以實(shí)現(xiàn)權(quán)重的修改。

現(xiàn)有的主題模型相關(guān)研究表明[28]，先驗(yàn)參數(shù)α、β的選取對(duì)建模效果產(chǎn)生了一定的影響，但由于先驗(yàn)參數(shù)乃至其他參數(shù)的調(diào)整不是本文研究的重點(diǎn)，同時(shí)為了保證實(shí)驗(yàn)組和對(duì)照組模型對(duì)比的公正性，本文中LDA建模的先驗(yàn)參數(shù)統(tǒng)一選擇gensim庫(kù)下LDA模型的默認(rèn)值。隨機(jī)種子random_state=100，總迭代數(shù)iterations=450，單詞考慮文檔數(shù)量chunksize=50，更新間隔update_every=1，算法通過(guò)整個(gè)語(yǔ)料庫(kù)的次數(shù)passes=20。

2.4 結(jié)果與分析

1)模型混淆度分析。

本文分別對(duì)傳統(tǒng)LDA、基于TF-IDF修正權(quán)重的LDA和GoW-LDA在主題數(shù)設(shè)置為2～9時(shí)進(jìn)行建模，并計(jì)算了相應(yīng)的模型混淆度，實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 3種主題模型在不同主題數(shù)下的混淆度對(duì)比

可以看到本文提出的GoW-LDA模型相較于傳統(tǒng)LDA和基于TF-IDF的LDA模型，在混淆度指標(biāo)上有了大幅度的下降，混淆度曲線隨著主題數(shù)的增加呈現(xiàn)先下降后上升的趨勢(shì)，在主題數(shù)設(shè)置為5時(shí)達(dá)到最低值19.8，恰好符合實(shí)驗(yàn)所用語(yǔ)料庫(kù)的文本類別個(gè)數(shù)；而傳統(tǒng)LDA模型的混淆度較高，在主題數(shù)為2時(shí)達(dá)到局部收斂，主題數(shù)為6時(shí)全局收斂，與單獨(dú)基于圖挖掘的主題分類個(gè)數(shù)一致，卻不滿足實(shí)際的文本分類情況；在本次實(shí)驗(yàn)中，基于TF-IDF修正詞權(quán)重的LDA建模效果十分不理想，混淆度甚至隨著主題數(shù)的增加而增大?？梢?jiàn)基于圖挖掘技術(shù)的LDA改進(jìn)算法通過(guò)引入有效的語(yǔ)義關(guān)聯(lián)信息來(lái)引導(dǎo)建模，提高了模型的泛化性能和精度。

2)主題識(shí)別結(jié)果分析。

針對(duì)主題詞識(shí)別的效果，圖4展示了主題數(shù)為5時(shí)3個(gè)主題模型的主題詞識(shí)別結(jié)果，其中每個(gè)圓代表識(shí)別出的一個(gè)主題，圓之間的重疊部分代表主題間識(shí)別出的相同主題詞。

(a) LDA

從圖4(a)可以看到，傳統(tǒng)LDA模型的主題識(shí)別結(jié)果存在2個(gè)重疊，即模型實(shí)際只識(shí)別出了3個(gè)主題，而重疊的“酸湯子”“黃曲霉素”“袁福春”和“落聘”都是原始文本中出現(xiàn)的高頻詞匯；圖4(b)顯示基于TF-IDF的LDA模型存在3個(gè)主題重疊的情況，此外還識(shí)別出了如“顯示”“聊齋”“西子”等與主題表征無(wú)關(guān)的冷門詞匯；而圖4(c)則顯示本文提出的GoW-LDA能有效識(shí)別出符合實(shí)際分類情況的所有主題，且各主題間的特征詞無(wú)一重復(fù)，與主題具有高度相關(guān)性。為了更直觀地展現(xiàn)GoW-LDA相較于其他2個(gè)模型在主題詞識(shí)別上的優(yōu)勢(shì)，本文計(jì)算了不同主題數(shù)下各個(gè)模型的PMI值，結(jié)果如圖5所示。

圖5 不同主題數(shù)下3種主題模型的PMI值

從圖5中可以看到，3個(gè)模型的PMI值基本都隨主題數(shù)的增加而增大，其中用菱形標(biāo)記的TF-IDF-LDA最小，在主題數(shù)為9時(shí)PMI值稍有下降；用圓形標(biāo)記的LDA位列第二，在主題數(shù)為5時(shí)PMI稍有下降；用三角標(biāo)記的GoW-LDA，在各個(gè)主題下的PMI值都明顯高于對(duì)照組的2個(gè)模型，對(duì)傳統(tǒng)LDA的PMI值平均提升了20.35%，對(duì)TF-IDF-LDA平均提升了28.75%，表明利用該方法能有效地將單詞的語(yǔ)義信息以權(quán)重的形式融合到主題建模的過(guò)程中，使得抽取出的主題具有較強(qiáng)的語(yǔ)義連貫性，從而使得主題下概率較高的詞之間的相關(guān)性更強(qiáng)。

3)模型訓(xùn)練時(shí)間對(duì)比。

此外，本文還對(duì)3個(gè)模型分別在不同主題數(shù)下建?；ㄙM(fèi)的時(shí)間進(jìn)行了統(tǒng)計(jì)，結(jié)果如圖6所示。需要說(shuō)明的是，若不作圖模型的可視化處理，可以直接調(diào)用NetwokX進(jìn)行特征詞的加權(quán)度值計(jì)算，圖6中的建模時(shí)間已包含了該部分過(guò)程。可以看到隨著主題數(shù)個(gè)數(shù)增多，模型構(gòu)建時(shí)間呈上升趨勢(shì)，GoW-LDA在各個(gè)主題數(shù)下建模的時(shí)間普遍低于對(duì)照組的2個(gè)模型。以主題數(shù)為5的模型訓(xùn)練時(shí)間為例，GoW-LDA建模比傳統(tǒng)LDA建?；ㄙM(fèi)的時(shí)間減少了19%，比TF-IDF-LDA減少了29.53%，可見(jiàn)本文提出的改進(jìn)算法能夠有效減少主題識(shí)別模型訓(xùn)練的時(shí)間。

圖6 不同主題數(shù)下3個(gè)主題模型的建模時(shí)間

3 結(jié)束語(yǔ)

本文針對(duì)傳統(tǒng)LDA中詞匯權(quán)重相同導(dǎo)致主題分布偏向高頻詞匯以及其缺乏考慮語(yǔ)義關(guān)聯(lián)信息的問(wèn)題，提出一種基于圖挖掘的LDA改進(jìn)算法GoW-LDA。通過(guò)構(gòu)建文本語(yǔ)義網(wǎng)絡(luò)圖獲取特征詞的加權(quán)度，基于此將文本的語(yǔ)義結(jié)構(gòu)性和關(guān)聯(lián)性以權(quán)重修正的形式融入LDA主題建模中，從而引導(dǎo)主題識(shí)別結(jié)果具有更好的語(yǔ)義連貫性和更高的準(zhǔn)確性。為了驗(yàn)證該模型的科學(xué)性，本文采用2020年網(wǎng)絡(luò)輿情反轉(zhuǎn)事件相關(guān)的輿情數(shù)據(jù)作為實(shí)驗(yàn)的語(yǔ)料庫(kù)，通過(guò)設(shè)置傳統(tǒng)LDA、基于TF-IDF的LDA作為對(duì)照組，利用混淆度、互信息指數(shù)和模型訓(xùn)練時(shí)長(zhǎng)3個(gè)指標(biāo)，驗(yàn)證了本文提出的GoW-LDA模型在提升模型的泛化性能和精度、提高抽取主題的語(yǔ)義連貫性以及降低模型訓(xùn)練的復(fù)雜度上都有一定的優(yōu)勢(shì)，為解決網(wǎng)絡(luò)輿情熱點(diǎn)話題識(shí)別，從而為有關(guān)部門及時(shí)準(zhǔn)確地掌握民眾意識(shí)形態(tài)、監(jiān)管輿情發(fā)展態(tài)勢(shì)提出了一種有效的解決思路。