李雪妍

摘要：隨著互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)絡輿情的預警和分析對掌控網(wǎng)絡、促進社會和諧發(fā)展起著至關(guān)重要的作用。面對網(wǎng)絡中的海量數(shù)據(jù)，引入Web 挖掘技術(shù)可以快速有效的從互聯(lián)網(wǎng)上獲得并分析輿情信息。本文闡述了Web挖掘技術(shù)及基于Web挖掘的網(wǎng)絡輿情分析方法，最終將該方法運用于一個校園輿情分析治理的系統(tǒng)構(gòu)架中。

關(guān)鍵詞：Web挖掘；網(wǎng)絡輿情；輿情分析

1. 引言

網(wǎng)絡輿情是由于各種事件的刺激而產(chǎn)生的通過互聯(lián)網(wǎng)傳播的人們對于該事件的所有認知、態(tài)度、情感和行為傾向的集合。隨著因特網(wǎng)在全球范圍內(nèi)的飛速發(fā)展，廣泛的網(wǎng)絡平臺為公眾內(nèi)隱的情緒和態(tài)度的表達提供了開放、快速、交互的渠道，為社會各階層成員自由發(fā)表言論、參與公共事務討論提供了便利，對社會一些突發(fā)事件的處理起到了積極有效的作用。然而，這些變化也為一些有害信息、雜音和噪音的傳播提供了渠道。因而對輿情的管控就是要使輿情不轉(zhuǎn)化為輿論或轉(zhuǎn)化為良性輿論，為此需要加強對網(wǎng)絡輿情信息的分析和預警處理，從而及時發(fā)現(xiàn)輿情的熱點以及正確引導民意的走勢，這已成為成為社會管理者面臨的重大課題。

近年來，國內(nèi)外許多專家學者和研究機構(gòu)從事于網(wǎng)絡輿情分析技術(shù)的研究和探討，并取得了一定進展。這些研究雖然在一定程度上增強了相關(guān)職能部門對輿情信息的監(jiān)控和引導能力，但仍存在一些不足。由于網(wǎng)絡的信息量十分巨大，僅僅依靠人工的方法難以應付海量信息的收集和處理，而自動化、智能化的輿情收集和分析處理技術(shù)的研究甚少，針對這一難題，Web挖掘作為一種新興的數(shù)據(jù)挖掘技術(shù)，可以有效地從互聯(lián)網(wǎng)上獲取并分析相關(guān)輿情，達到監(jiān)控和治理的目的，為處置網(wǎng)絡輿情提供很大幫助。

2. Web挖掘技術(shù)

Web挖掘能夠快速、準確地獲得有價值的網(wǎng)絡信息、利用歷史數(shù)據(jù)預測未來的行為以及從海量數(shù)據(jù)中發(fā)現(xiàn)知識。它克服了普通數(shù)據(jù)庫管理系統(tǒng)無法發(fā)現(xiàn)數(shù)據(jù)中存在的關(guān)系和規(guī)則、無法根據(jù)現(xiàn)有的數(shù)據(jù)預測未來的發(fā)展趨勢、缺乏發(fā)現(xiàn)數(shù)據(jù)背后隱藏的知識的手段等弱點。它的出現(xiàn)為自動和智能地把互聯(lián)網(wǎng)上的海量數(shù)據(jù)轉(zhuǎn)化為有用信息和知識提供了條件，在實際工作中具有重要的意義

2.1 Web挖掘的方法和過程

1. 數(shù)據(jù)源的收集

通過各種信息渠道收集互聯(lián)網(wǎng)上的信息，包括門戶網(wǎng)站、博客、微博、論壇等網(wǎng)站上的信息，通過這些網(wǎng)站的WWW服務器中提取存儲的用戶的訪問日志和用戶訪問的交互信息，這也是Web使用記錄挖掘的重要數(shù)據(jù)來源，對于這些數(shù)據(jù)，可以分為日志文件和用戶訪問數(shù)據(jù)。

2. 數(shù)據(jù)預處理

數(shù)據(jù)預處理主要對數(shù)據(jù)源進行數(shù)據(jù)清洗、數(shù)據(jù)規(guī)范化和數(shù)據(jù)集成等，形成事務數(shù)據(jù)庫，其目標是，通過對用戶訪問站點留下的數(shù)據(jù)，整理成為便于被模式挖掘算法所使用的數(shù)據(jù)形式，以供數(shù)據(jù)挖掘階段使用。

3． 模式挖掘

對數(shù)據(jù)預處理所形成的事務數(shù)據(jù)庫，利用模式挖掘的一些有效算法來發(fā)現(xiàn)隱藏的模式或者規(guī)則。常用的技術(shù)有：統(tǒng)計分析、路徑分析技術(shù)、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)、序列模式、分類和聚類等技術(shù)。

4． 模式分析

由于用戶使用模式挖掘出來的信息還不能直接被人們所理解，需要把這些模式解釋為人們可以理解的知識，同時也要去除對人們沒有用的模式，所以對于模式分析需要借助一些工具來實現(xiàn)。

2.2 Web挖掘的分類

Web 數(shù)據(jù)挖掘可以分為Web 內(nèi)容挖掘(Web Content mining)，Web結(jié)構(gòu)挖掘(Web structure mining)，Web 使用挖掘(Web usage Mining)三類。

2.2.1 Web內(nèi)容挖掘

Web內(nèi)容挖掘從網(wǎng)頁內(nèi)容中抽取有用的信息和知識。例如：根據(jù)網(wǎng)頁的主題，我們可以進行自動的聚類和分類。雖然這些任務與傳統(tǒng)數(shù)據(jù)挖掘的任務相似，但是我們依然可以為了各種不同的目的從網(wǎng)頁中根據(jù)模式抽取有用的信息，例如熱點詞的跟蹤商品描述、論壇回帖等。而這些信息可以被用作進一步分析來挖掘用戶態(tài)度。這些任務也不是傳統(tǒng)的數(shù)據(jù)挖掘任務。

2.2.2 Web結(jié)構(gòu)挖掘

Web結(jié)構(gòu)挖掘從表征Web結(jié)構(gòu)的超鏈接(簡稱鏈接)中尋找有用的知識。例如：從這些鏈接中，我們可以找出哪些是重要的網(wǎng)頁，這是一項搜索引擎采用的重要技術(shù)。我們也可以發(fā)掘具有共同興趣的用戶社區(qū)。這些任務在傳統(tǒng)的數(shù)據(jù)挖掘中并不存在，因為在關(guān)系型表格中并沒有鏈接結(jié)構(gòu)。挖掘頁面的結(jié)構(gòu)和Web 結(jié)構(gòu)，可以用來指導對頁面進行分類和聚類，找到權(quán)威頁面、中心頁面，從而提高檢索的性能。同時還可以用來指導頁面采集工作，提高采集效率。

2.2.3 Web使用挖掘

Web使用挖掘從記錄每位用戶點擊情況的使用日志中挖掘用戶的訪問模式。這項任務也使用了許多數(shù)據(jù)挖掘的算法。其中一項重要的議題是點擊流數(shù)據(jù)的預處理，以便生成可以用來挖掘的合適數(shù)據(jù)。

3. 基于Web挖掘的網(wǎng)絡輿情分析方法

1. 主題詞檢索

主題詞檢索是將Web上的文檔轉(zhuǎn)化為一種類似關(guān)系型數(shù)據(jù)庫中記錄的形式，內(nèi)容較規(guī)則且能反應文本內(nèi)容特征的中間形式，一般采用文本特征向量表示法來進行表示、特征抽取、內(nèi)容總結(jié)，然后利用機器學習方法來提取知識模式。通過自動主題詞檢索，可以及時掌握用戶關(guān)心的重點輿情問題，實時跟蹤了解情況。

2. 輿情熱點跟蹤

該方法首先將存放在文本文件中的Web記錄轉(zhuǎn)換成序列數(shù)據(jù)庫中的訪問記錄，然后采用某種序列模式挖掘算法對數(shù)據(jù)庫中的記錄進行挖掘，最后分析出用戶所關(guān)心的序列模式。通過對輿情熱點的跟蹤，可以發(fā)現(xiàn)網(wǎng)絡輿情問題的演變情況，分析出輿情問題的發(fā)展規(guī)律，從而可以預測輿情問題的發(fā)展趨勢，為下一步的決策做準備。

3. 分類分析

分類分析首先按特定標記對記錄集合進行分類，然后挖掘出比按特定標記分類的記錄集合更豐富、更細致的特征描述或模式描述。分類技術(shù)要求對輿情的描述對象及其行為方式進行歸類，然后將這些歸類進行聯(lián)合，從而分析出具有相似描述和相似行為的對象是否可以符合。

4. 聚類分析

聚類首先采用訪問頻度閾值和頁面間距離閾值對頁面進行初步的篩選，然后把訪問頻度大于訪問頻度閾值的頁面加到頻繁訪問頁面集合中，然后將其中距離低于頁面距離閾值的頁面聚合在一起。聚類分析的結(jié)果是一系列相近信息組成的集合，同一組中的信息相近，不同組的信息相差較大。據(jù)此可以判別當前網(wǎng)絡輿情的熱點及重點問題。類似的輿情問題存在某種有序關(guān)系，這種有序關(guān)系反映了此類輿情的特征，通過聚類分析，可以得出各種不同的熱點問題集合，有益于相關(guān)部門采取進一步的行動。

5. 統(tǒng)計分析

統(tǒng)計分析是利用統(tǒng)計、概率的原理對關(guān)系中各屬性進行統(tǒng)計分析，從而找出它們之間的關(guān)系和規(guī)律。統(tǒng)計分析是數(shù)據(jù)挖掘最基本的技術(shù)方法之一。常用的統(tǒng)計方法有判別分析、因子分析、相關(guān)分析、回歸分析等。通過對互聯(lián)網(wǎng)上日志訪問頻率進行統(tǒng)計分析，可以在一定程度上發(fā)現(xiàn)用戶感興趣的問題，從而確定當前的熱點網(wǎng)絡輿情話題。

4. 校園輿情分析治理系統(tǒng)架構(gòu)

依據(jù)基于Web挖掘的網(wǎng)絡輿情分析方法，結(jié)合Web挖掘的工作流程和數(shù)據(jù)庫原理，設計了一個校園輿情分析治理系統(tǒng)構(gòu)架，該系統(tǒng)主要由三個功能平臺構(gòu)成，如圖1所示。

（1）內(nèi)容管理平臺

內(nèi)容管理平臺通過詞典管理、系統(tǒng)管理和數(shù)據(jù)庫管理功能對整個輿情分析系統(tǒng)進行全面的管理，同時該平臺的鏈接功能保證了系統(tǒng)的可擴展和靈活性。

（2）監(jiān)控分析平臺

利用主題詞檢索、輿情熱點跟蹤、分類分析、聚類分析和統(tǒng)計分析等多種方法對收集來的輿情信息進行監(jiān)控和分析，從而有效的為校園輿情治理提供必要的準備。

（3）輿情發(fā)布平臺

通過輿情預警、輿情監(jiān)測、輿情導向等手段，為學管人員和指導教師提供經(jīng)過總結(jié)的有指導意義的輿情分析報告，進一步采取座談交流、干預教育、對BBS論壇輿情引導等途徑，實現(xiàn)校園輿情的分析和治理。

參考文獻

[1] 梅中玲.基于WEB信息挖掘與網(wǎng)絡輿情分析技術(shù)[J].中國人民公安大學學報（自然科學版）,2007,（4）

[2] 陳文舉，夏泉.試論高校輿論引導與和諧校園建設[J].濟南大學學報.2006.16(6):88-95

[3] 黃曉斌.網(wǎng)絡信息挖掘[M].北京：電子工業(yè)出版社.2005

[4] 費愛國，王新輝.一種基于Web日志文件的信息挖掘方法[J].計算機應用,2004,24(6):58