吳 柳，程 愷，胡 琪

?

基于文本挖掘的論壇熱點問題時變分析

吳 柳1，程 愷2，胡 琪2

(1. 江蘇海事職業(yè)技術學院，南京 210070；2. 解放軍理工大學指揮信息系統(tǒng)學院，南京 210007)

隨著互聯(lián)網(wǎng)的普及，網(wǎng)絡論壇因其開放性和自由性成為了輿論的發(fā)源地，真實地反映了當前的新聞熱點和當前民眾最關心的話題。本文基于網(wǎng)易論壇上的網(wǎng)上談兵欄目，對相關帖子進行文本挖掘，通過改進傳統(tǒng)的網(wǎng)絡爬蟲技術對指定論壇網(wǎng)頁進行爬取，設計了關鍵詞權重計算公式提取關鍵詞，依據(jù)關鍵詞歸納總結熱點話題，提出話題匹配規(guī)則對話題帖子進行定位匹配。通過分析熱點話題隨時間變化的趨勢，把握網(wǎng)絡輿論的動向，并對話題進一步的發(fā)展趨勢做出一定預測，為相關部門及時、準確把握網(wǎng)絡輿論動態(tài)走向提供了可靠依據(jù)。

網(wǎng)絡爬蟲；中文分詞；關鍵詞提??；熱點話題；時變分析

0 引言

隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡媒體因其方便快捷、互動性強的特點，逐漸成為繼報紙、廣播、電視之后的“第四媒體”，成為現(xiàn)在人們獲取信息的主要途徑。同時，由于互聯(lián)網(wǎng)的普及，越來越多的人通過互聯(lián)網(wǎng)來表達一些自己對某些事件、現(xiàn)象、政策的看法和意見。網(wǎng)絡上的輿論反應了人們真實的想法和建議，網(wǎng)絡輿情也被越來越多的人所關注[1-3]。

其中，網(wǎng)絡論壇發(fā)展到今天已成為互聯(lián)網(wǎng)的重要組成部分，網(wǎng)民通過瀏覽帖子、展開討論，表達對熱點問題的看法和意見。如果能夠及時分析論壇信息，對相關政府機構準確把握網(wǎng)絡輿論的動態(tài)走向，從而進行監(jiān)測、預警都具有重要意義[4-6]。然而面對網(wǎng)絡中的海量信息，傳統(tǒng)的人工方式分析已無應對爆炸式的信息增長，需要采用數(shù)據(jù)挖掘、大數(shù)據(jù)等先進技術手段[7-11]，對論壇中熱點問題討論的信息進行有效地采集、分析，從數(shù)據(jù)中獲取有用的知識。

因此，本文研究了從網(wǎng)絡論壇內(nèi)容的獲取到數(shù)據(jù)預處理以及熱點話題篩選和時變分析等關鍵技術，實現(xiàn)對網(wǎng)絡論壇熱點信息的采集，進而分析熱點問題在時間序列上的發(fā)展變化規(guī)律。通過對網(wǎng)易論壇上的網(wǎng)上談兵欄目進行文本挖掘，了解各大軍事熱點問題在時間序列上的走勢，把握輿論動向，根據(jù)得到的熱度曲線圖，挖掘有關話題信息，并預測下一步話題發(fā)展情況。

1 總體研究框架

基于文本挖掘的論壇熱點問題時變分析主要包括信息獲取、信息處理、熱點話題匹配和時變分析四個步驟，其總體研究框架如圖1所示。

圖1 基于文本挖掘的論壇熱點問題時變分析總體研究框架

1.1 網(wǎng)絡論壇信息的獲取

網(wǎng)絡論壇信息的獲取是將指定所關注的網(wǎng)絡論壇的URL，自動地獲取論壇的帖子信息，并且按照一定的格式存儲這些信息。網(wǎng)絡論壇信息的獲取是數(shù)據(jù)預處理以及數(shù)據(jù)分析的前期準備工作，涉及到網(wǎng)絡爬蟲等網(wǎng)頁自動訪問和虛擬訪問技術，是研究的重點內(nèi)容之一。

1.2 網(wǎng)絡論壇信息的預處理

網(wǎng)絡論壇信息的預處理是將獲取并存儲得到的帖子進行進一步的分詞、詞頻統(tǒng)計、提取關鍵詞等處理。通常直接存儲的帖子信息數(shù)據(jù)量過于龐大，并且論壇信息的實時性強，直接進行分析不僅耗費時間長，工作量大，而且無法及時追蹤分析熱點。對帖子信息進行預處理相當于用提取的關鍵詞來代替帖子內(nèi)容，減少了數(shù)據(jù)量，為后續(xù)數(shù)據(jù)分析提供方便。

1.3 網(wǎng)絡論壇信息的話題篩選

網(wǎng)絡論壇信息的話題篩選是基于對數(shù)據(jù)的預處理，通過對帖子關鍵詞以及相應的權重按照權重由高到低進行人工分析，得到具有跟蹤研究意義的話題系列。這一過程采用了傳統(tǒng)的人工選擇，是基于機器對于自然語言的理解能力受限考慮。在確定的話題系列基礎上，分析所有話題可能包括的內(nèi)涵以及在此話題中具有代表性的關鍵詞，為每一個話題建立關鍵詞向量，作為話題規(guī)則，從而進一步對所有帖子進行話題匹配，完成分類。

1.4 網(wǎng)絡論壇信息的時變分析

網(wǎng)絡論壇信息的時變分析是對話題在時間序列上的熱度變化情況進行分析的過程。將選擇出的話題系列從每個月抽取出來放到整個時間軸上，可以縱向觀察到話題的波動情況。不同話題隨時間序列的發(fā)展情況不同，依據(jù)熱度曲線圖，分析峰值，可以挖掘出在某一時間段話題的聚焦情況。

2 關鍵技術

2.1 論壇爬蟲技術

網(wǎng)絡論壇大多采用兩層的結構來組織整個討論區(qū)的帖子話題，對于帖子本身來說，需要得到的僅僅是兩種類型的頁面信息：話題索引頁面和帖子內(nèi)容頁面。話題索引頁面列出主帖的標題、發(fā)帖人、發(fā)帖時間、最后回帖時間等基本信息，并且鏈接指向帖子內(nèi)容頁面。論壇網(wǎng)頁的結構如圖2所示。

圖2 論壇網(wǎng)頁結構

由于只需要獲取所有的帖子信息，所以不需要網(wǎng)絡爬蟲大面積的抓取網(wǎng)頁，也正由于此原因，爬蟲在話題索引頁抓取回來的網(wǎng)頁除了與帖子有關的信息外，其余的都被看作是網(wǎng)頁噪音，需要進一步過濾。并且采用類似“寬度搜索”的爬行策略，從待抓取隊列中抽取一個URL后，抓取頁面上的所有鏈接，判斷抓取的URL在等待隊列和已訪問隊列中是否已經(jīng)存在，且該鏈接必須以http開頭，若符合，則將鏈接添加到等待抓取的隊列中。

從初始網(wǎng)址開始，本文采用的網(wǎng)絡爬蟲架構如圖3所示。

2.2 關鍵詞提取技術

關鍵詞提取就是從文本里面把跟這篇文章意義最相關的一些詞抽取出來，可以追溯到文獻檢索初期，在還不支持全文搜索時期，關鍵詞就可以作為搜索這篇論文的詞語。因此，目前依然可以在論文中看到關鍵詞這一項。簡而言之，關鍵詞就是最能夠反映出文本主題或者意思的詞語。

關鍵詞提取大致有兩種方法：第一種為關鍵詞分配，是給定一個關鍵詞庫，然后從詞庫里面找到幾個詞語作為將需要提取關鍵詞的文本的關鍵詞。第二種為關鍵詞抽取，是從文本中抽取一些詞語作為這篇文章的關鍵詞。

另外，從結果上看關鍵詞抽取也可以分兩種。第一種僅僅把詞語抽取出來，實現(xiàn)較簡單，比如FudanNLP、jieba、SnowNLP。另一種則是連詞和短語一起抽取出來，這個還需要增加短語抽取這一個步驟，這一類的實現(xiàn)包括ICTCLAS、ansj_seg等?？梢园杨愃朴凇爸悄苁謾C”、“全面深化改革”、“非公有制經(jīng)濟”等短語抽取出來。對于聚類或者分類來說，很明顯短語比詞語更有參考價值。

關于關鍵詞抽取的算法，目前主要有TF-IDF算法、初代KEA算法、TextRank算法和ICTCLAS等。本文采用的是基于ICTCLAS的Ansj關鍵詞提取技術，其基本原理為依據(jù)不同詞性詞語的初始權重，其中標題中詞權重加倍，再結合詞在文中出現(xiàn)的位置和頻率調(diào)整后，得到每個詞的權重score。

由于本文需要通過關鍵詞的熱度來進一步確定當前的熱點話題，故結合帖子的瀏覽量對關鍵詞權重作進一步改進。具體改進的公式如下：

最后生成的關鍵詞熱度從一定程度上既反映了帖子的基本內(nèi)容，同時也體現(xiàn)了在所有帖子中的受關注程度。

2.3 話題提取技術

網(wǎng)絡論壇熱點話題的獲取是指從大量的網(wǎng)絡論壇帖子中發(fā)現(xiàn)熱點話題并利用關鍵詞定位到具體的帖子的過程。本文所采用的熱點話題獲取方法是基于關鍵詞熱度的。熱點話題獲取是對所有帖子內(nèi)容中出現(xiàn)的關鍵詞進行的一個統(tǒng)計，關鍵詞熱度越高表明越受網(wǎng)民的關注。這種方法所發(fā)現(xiàn)的話題基本能夠反映出當前的熱點問題，話題發(fā)現(xiàn)的過程如圖4所示。

1. 讀入帖子的關鍵詞結果。

按照數(shù)據(jù)預處理模塊中對帖子信息進行的分詞、關鍵詞生成結果，依次把詞語讀入暫存數(shù)組keywords[m]中，其中keywords[m]是一個字符型的一維數(shù)組，用來暫時存放某一條帖子的關鍵詞結果。例如標題為“我國運載火箭研制”的帖子提取關鍵詞之后的結果為“運載火箭/176.81”，“研制/149.03”，“我國/53.72”， “全新/52.02”，“推力/50.14”，“現(xiàn)役/ 45.55”等，將這些詞語按權重順序依次讀入字符數(shù)字keywords[m]中，即keywords[0]=“運載火箭”， keywords[1]=“研制”，keywords[2]=“我國”，……，依次類推。此外，在讀入的同時自動去除權重較低的詞語。

2. 確定進一步研究的熱點問題

結合關鍵詞結果、權重評分以及帖子瀏覽量的綜合考慮，人工分析得出需要進一步研究的話題系列，分別設為不同的話題向量為Vector