王冰玉，吳振宇，沈蘇彬，陳佳穎

(1.南京郵電大學 物聯(lián)網(wǎng)學院，江蘇 南京 210000; 2.南京郵電大學 計算機學院，江蘇 南京 210000)

0 引 言

互聯(lián)網(wǎng)的日益普及，產(chǎn)生了各種類型的數(shù)據(jù)，包括文本數(shù)據(jù)、圖像數(shù)據(jù)和視頻數(shù)據(jù)等。這些數(shù)據(jù)中包含著許多隱含價值，事件檢測是在數(shù)據(jù)中挖掘隱含價值的研究方向之一，利用事件檢測技術(shù)向用戶推薦其可能感興趣的內(nèi)容[1]。隨著社交網(wǎng)絡的興起，人們通過社交網(wǎng)絡分享內(nèi)容、發(fā)表觀點，使得社交網(wǎng)絡成為現(xiàn)實世界的映射。通過分析社交媒體數(shù)據(jù)，例如Johnson N F[2]等探究了社交網(wǎng)絡中有關ISIS的個人、組織的一些行為與現(xiàn)實世界所發(fā)生的極端恐怖事件之間的聯(lián)系，幫助預測了現(xiàn)實世界中可能出現(xiàn)的恐怖襲擊事件。由此可見，事件檢測與分析有助于預測事件及其發(fā)展趨勢。

目前，事件檢測的研究中在以下兩個方面尚有不足：第一，對于事件的定義不夠明確；第二，針對不同的數(shù)據(jù)類型和實際場景有不同的事件檢測方法，沒有相關文獻對此進行詳細總結(jié)和分析。

對此，文中對事件進行了定義，指出其與話題之間的聯(lián)系與區(qū)別，進一步分析了各種事件檢測方法，并對未來的發(fā)展方向進行了展望。

1 事件的定義

社交媒體中的事件一般是指現(xiàn)實世界中發(fā)生的較重要的事情[3]，數(shù)據(jù)類型以文本為主。根據(jù)事件的組成要素，童薇等[4]認為事件就是特定時間和地點發(fā)生的事情。根據(jù)事件是否發(fā)生過，事件還可以分為新事件(new event detection，NED)和已有事件。黃穎等[5]將新事件檢測定義為：“檢測時序新聞流中對某一話題的首次報道，即識別新話題?！?/p>

目前大部分的研究都沒有對話題和事件做明確的區(qū)分，大量文章中“話題”的概念與“事件”的概念是可以互相轉(zhuǎn)換的，但也有觀點認為事件與話題不是同一個概念，話題的覆蓋面更廣[6]。還有文章認為事件發(fā)展過程中涉及話題角度不同，一個事件可能包含了許多話題[7]。

鑒于目前事件的劃分方法過多，并且在事件，話題與報道的概念上分割不夠清晰，因此，文中將事件(event)，報道(story)和話題(topic)的概念進行嚴格區(qū)分，并對它們之間的關系作詳細闡述。一般來說，事件由時間，地點，人物或組織以及行為四大要素組成。而報道是針對某一事件的報道，是對事件的一種描述方式。不同媒體關于同一事件的報道方式和報道內(nèi)容可以不盡相同，但是它們都是圍繞同一個事件進行的，都必定包含但不局限于事件的某些客觀信息，如事件的時間，地點，行為主體以及動作等。話題的定義可以細分，文中將話題分為單事件話題、系列事件話題、類似事件話題三類。其中單事件話題是針對某一具體事件展開的，包括事件本身和人們對該事件的相關討論以及事件的發(fā)酵和演變，多數(shù)情況下單事件話題等同于事件。系列事件話題是針對一系列相關事件所構(gòu)成的事件鏈，例如奧運會的各項賽事，都是圍繞著奧運會這一話題中心展開的系列事件。而類似事件話題則由無直接關系的類似事件構(gòu)成。

2 文本預處理技術(shù)

事件檢測工作主要分為兩步：文本預處理和事件檢測。文本預處理主要涉及計算詞元權(quán)重，以及文本相似度計算等工作。在中文文本處理時還會涉及到中文分詞，中文分詞是自然語言處理研究領域內(nèi)僅針對中文文本的較為獨立的分支，文中僅介紹詞元權(quán)重計算和文本相似度計算。

2.1 詞元權(quán)重

在處理文本時，常常要將其量化，表示成向量空間模型(vector space model，VSM)，即用詞元權(quán)重等數(shù)值構(gòu)成向量空間模型的每一個分量?，F(xiàn)在使用比較多的方法是利用詞頻_反文檔頻率(term frequency_inverse document frequency，TF_IDF)[8]提取較為重要的詞元，該值的大小反映了詞元的重要程度以及詞元對文檔的區(qū)分能力。TF_IDF的計算公式為：

wd=fw,d*log(|D|/fw,D)

(1)

即wd=TF*IDF。

其中，fw,d為詞w在文檔d中出現(xiàn)的頻率；|D|為語料庫的大小，即語料庫中所包含的文檔數(shù)目；fw,D為語料庫中出現(xiàn)詞語w的文檔數(shù)目。

一篇文章中出現(xiàn)頻繁的詞往往能夠代表其所要闡述的內(nèi)容，然而詞語所涉及的文檔數(shù)目越多，說明詞語能夠代表某一類文檔的能力越弱，無法作為區(qū)分文檔的關鍵詞使用。

許多文獻對TF_IDF模型進行了改進，張闊等使用增量TF_IDF模型[9]，薛曉飛等則根據(jù)詞元特征對詞元權(quán)重計算作了改進[10]，當詞元為人名、地名、時間等就增加該詞元的權(quán)重。劉煒等引入本體[11]的概念，將文章中的每個句子中的詞語按照‘時間’、‘地點’、‘實體’、‘活動’四個語義類進行歸類，按照類別計算每個詞元的重要度。

然而TF_IDF算法計算詞元權(quán)重并不適用于所有情況，例如對突發(fā)事件的檢測。突發(fā)詞通常會在某一段時間內(nèi)大量出現(xiàn)在很多文檔中，對應著相應的突發(fā)事件，TF_IDF計算方法會使得突發(fā)詞存在被忽略的風險。對于這個問題，王勇等[12]使用了詞頻_比例文檔頻率(term frequency_proportional document frequency，TF_PDF)替代了TF_IDF，用來計算突發(fā)詞的權(quán)重，以彌補TF_IDF在突發(fā)詞處理上的弊端。

2.2 文本相似度

相似度計算方法中最常用的是余弦相似度和Jaccard相似度，定義分別如下[13]：

(2)

(3)

在實際應用中，周剛等[14]融合了余弦相似度、雅各比相似度和語義相似度對相似度進行綜合衡量。薛曉飛等[10]綜合考慮文檔內(nèi)容、地點、時間對文檔相似度進行重定義。以上這些相似度的計算固然合理，但是實現(xiàn)卻十分耗時。針對這樣的問題，Kaleel S B等[15]利用局部敏感哈希(locality sensitive hashing，LSH)對表示文檔的集合進行局部哈希映射，從而大大減少了計算量。

3 事件檢測方法

根據(jù)文本數(shù)據(jù)類型將檢測方法分為兩類：純文本數(shù)據(jù)事件檢測方法和社交數(shù)據(jù)事件檢測方法。其中純文本數(shù)據(jù)事件檢測方法分為在線事件檢測和離線事件檢測；社交數(shù)據(jù)事件檢測方法從社交數(shù)據(jù)用戶特征角度出發(fā)，分為利用用戶重要度、利用用戶評論轉(zhuǎn)發(fā)行為和根據(jù)用戶情感狀態(tài)三類。

3.1 純文本數(shù)據(jù)事件檢測方法

3.1.1 在線事件檢測

在線事件檢測方法包含基于單次掃描(Single_Pass)和基于突發(fā)項等實現(xiàn)機制。Single_Pass關注于文檔內(nèi)容本身，基于突發(fā)項更加關注于若干個突然爆發(fā)的詞項。

(1)基于Single_Pass的方法。

Allan J等[16]提出的Single_Pass算法是較為經(jīng)典的在線事件檢測算法，主要應用于新事件檢測。該算法將新產(chǎn)生的新聞文檔與已有的文檔進行對比，只要新文檔與過去文檔的相似度均小于某一閾值α，那么說明這篇文檔所描述的是一個新的事件。該算法的原理如圖1所示。

目前基本的在線新事件檢測(online new event detection，ONED)系統(tǒng)都是通過比較新有文檔與已有文檔的相似度來判斷一個報道是否是新事件的第一篇報道，現(xiàn)有的ONED系統(tǒng)的主要缺點在于，由于網(wǎng)絡數(shù)據(jù)量增長的速度很快，需要耗費大量的存儲資源，而且隨著新文檔的不斷涌入，內(nèi)存面臨著數(shù)據(jù)溢出的風險。針對現(xiàn)有系統(tǒng)的以上問題，王穎穎等[17]提出了一個改進的ONED系統(tǒng)架構(gòu)，采用滑動窗口機制提高檢測效率。

(2)基于突發(fā)項的事件檢測。

突發(fā)項[18]一般指的是突發(fā)詞。突發(fā)詞是指在某個時間窗內(nèi)被大量使用，且在之前的事件窗內(nèi)很少被使用的實詞[19]。也有基于情感符號的突發(fā)事件檢測，張魯民等[20-21]認為微博中情感符號的突發(fā)性代表事件的突發(fā)性?；谕话l(fā)項的方法與其他方法的區(qū)別在于，前者的核心在于檢測突發(fā)特征，而其他方法大多是以文本處理為核心。

(a)新文檔與已有文檔分別計算相似度

(b)判斷新文檔是否描述新事件

張曉霞等[22]在檢測突發(fā)詞頻時將表征科學家科研績效的H指數(shù)引入進來，度量包含候選突發(fā)詞的文檔數(shù)，將出現(xiàn)文檔數(shù)較多的詞選出作為最終用以識別突發(fā)事件的突發(fā)詞。針對大量瑣碎的突發(fā)項問題，Weng J等[23]提出了一種基于小波信號集群的事件檢測方法(event detection with clustering of wavelet-based signals，EDCoW)，為每個突發(fā)詞組都建立一種信號模型，這種信號可以通過小波分析快速計算，不需要占用很大的存儲空間。通過觀察這些信號的相關信號自動關聯(lián)性，就可以將那些細碎的不重要的詞組過濾掉。

基于突發(fā)詞的事件檢測與時間的關系十分緊密。描述同一個突發(fā)事件的文檔往往具有共時特性[24]，因此時間要素是突發(fā)事件檢測的重要依據(jù)。Li X等[25]將時間相關信息融合到突發(fā)事件檢測模型中，充分利用了時間相關性來建模，從而進行突發(fā)事件檢測。陳宏等[26]也考慮到了事件發(fā)生的時間特性，認為事件的持續(xù)時間總是在一個持續(xù)的時間段內(nèi)，為了避免時間間隔比較長的相類似事件的報道文檔被歸為一類，在計算文檔相似性時文獻引入了時間衰減因子。謝思發(fā)等[27]是基于詞語的爆發(fā)度來預測熱點事件的，先檢測出單位時間內(nèi)的詞頻，計算每個詞語爆發(fā)度，組成詞語爆發(fā)度序列，然后使用時間序列聚類算法，利用Haar小波變換將高維時間序列進行降維，以時間點作為參數(shù)對熱點詞進行K-means聚類，不斷迭代后得到由熱點詞聚類所產(chǎn)生的熱點事件。

實時數(shù)據(jù)中有一些突發(fā)項是周期性出現(xiàn)的，對于新事件檢測并無用處且造成干擾。針對周期性出現(xiàn)的突發(fā)項，趙潔等[28]提出一種基于突發(fā)詞項頻域分析的突發(fā)事件檢測方法，將突發(fā)詞項轉(zhuǎn)換為時序信號，然后利用信號處理中的頻域分析方法識別和過濾周期性出現(xiàn)的非突發(fā)高頻詞項。針對目前的博客輿情分析方法存在時間信息有歧義的虛假突發(fā)事件問題，林達真等[29]提出一種基于時間扥不特征的博客突發(fā)事件檢測方法，通過波峰檢測和計算事件文檔與背景預料文檔之間、事件相關文檔和不相關文檔之間的事件分布差異來判斷該事件在時間特征上是否具有突發(fā)性和關聯(lián)性。

3.1.2 離線事件檢測

離線事件檢測主要是針對已有的數(shù)據(jù)分析檢測事件。離線事件檢測的主流方式是聚類。聚類的主要方法有層次聚類、利用關系圖的聚類、潛在狄利克雷分布聚類(latent Dirichlet allocation，LDA)[30]、詞聚類等。也有從語義角度出發(fā)進行事件檢測。

(1)層次聚類法。

Yang等[31]提出的層次聚類(group average clustering，GAC)是一種自底向上構(gòu)造集群的聚類算法。GAC算法中的輸入量是收集到的文檔，而輸出則是一棵集群樹。集群的產(chǎn)生過程就是一棵自底向上的二叉樹的產(chǎn)生過程。其中的葉子節(jié)點表示初始集群，每個集群就是一個文檔。而中間層的每個節(jié)點所代表的集群都是下層中兩個相似度最高的節(jié)點所代表的集群的合并。默認情況下，算法會不斷進行集群點構(gòu)造，直到產(chǎn)生出根節(jié)點為止，這樣輸出的集群樹將囊括所有集群，并且輸入的每一個文檔都會有其對應的集群。如果在算法中對集群的數(shù)目已經(jīng)進行了預定義，那么在集群數(shù)目達到了預定義的值之后算法將立即結(jié)束。

(2)關系圖聚類法。

利用關系圖的聚類方法主要是將文檔之間的關系用圖的形式表示出來，圖中的節(jié)點之間往往表示兩個頂點的某種聯(lián)系。Sayyadi H等[32]提出關鍵字圖(KeyGraph)的概念，即圖中的各個節(jié)點代表的是一個個關鍵字，節(jié)點之間的連線表示這些術(shù)語同時出現(xiàn)在同一個文檔中。如果出現(xiàn)包含了多個關鍵詞節(jié)點的集群，那么就說明該集群隱含了某一特定事件通過計算節(jié)點之間連線的密集程度就可以得出檢測事件。該方法的不足之處在于節(jié)點之間的連線都是無權(quán)重的，不能夠反映關鍵詞同時出現(xiàn)的頻率大小。

馮戈利[33]則是提取出每個文檔中的信息要素，根據(jù)這些信息要素構(gòu)建出共現(xiàn)詞網(wǎng)絡圖。在共現(xiàn)詞網(wǎng)絡圖中實施深度優(yōu)先檢索方案，檢測出圖中的定長共現(xiàn)詞環(huán)，通過查找環(huán)來檢測出事件。

(3)LDA聚類法。

LDA的基本思想為：每篇文檔的中心內(nèi)容都可以由若干個潛在的主題詞來概括，文檔中每個有意義的詞元都或多或少地與主題詞有著某種關聯(lián)性，LDA就是利用這種關聯(lián)性來識別出文檔所屬的主題詞的集合，根據(jù)這個集合檢測出報道所對應的事件[5]。LDA模型分為文檔、主題、詞三層結(jié)構(gòu)。LDA模型與其他聚類算法的主要區(qū)別就在于LDA的聚類結(jié)果不是確定性的分類，而是基于概率的分類，也就是分類結(jié)果呈概率分布[34]。

(4)LSH聚類法。

Vinay Setty等[35]使用LSH聚類進行事件挖掘。LSH[36-37]具有最小獨立排列，能有效處理高維度的數(shù)據(jù)，結(jié)合使用可靠可擴展的近似Jaccard距離計算文檔相似度，最終能夠找到最相近的若干新聞報道文檔。LSH聚類的優(yōu)勢除了能夠有效處理高維數(shù)大規(guī)模數(shù)據(jù)之外，還能識別出新聞事件的規(guī)模，與其他方法相比，采用的參數(shù)很少。通常LSH會與MinHash[38-39]或者SimHash[40]結(jié)合使用。

(5)詞聚類法。

詞聚類法[41]需要計算詞語之間的相似度。兩個詞語的相似度的計算方法是利用兩個詞語的互信息，也就是說，當兩個詞語越趨于描述同一個事件時，它們的上下文環(huán)境會越為相近，利用這點來計算兩個詞語間的相似度大小。而詞聚類的思想就是：自底向上，先將特征向量空間中的每一個詞語當作一類，兩兩詞語之間計算相似度，選取相似度最高的兩個歸為一類。而類與類的合并，就要計算類與類之間的相似度，每次選取最大相似度的兩個類進行合并，直到類集合中各元素間的最大相似度小于某一相似度閾值。

(6)基于語義和其他特征的事件檢測法。

基于語義特征的事件檢測方法[42]比較關注詞語或者句子的語義特征。如許旭陽等[43]提出的基于句子的事件檢測方法，使用二元分類器，根據(jù)句子中是否包含主體，時間，地點等關鍵詞項將句子分為兩種：包含事件元素的實例和不包含事件元素的非實例，并由此進一步進行事件檢測。

基于語義特征的事件檢測方法還會關注語義關聯(lián)性，如趙江江等[44]將事件觸發(fā)詞和與其相關聯(lián)的時間地點等關鍵詞組成結(jié)構(gòu)化的數(shù)據(jù)，利用這種數(shù)據(jù)模型進行事件檢測。張闊等[45]則提出了基于關鍵詞元委員會的事件檢測與關系發(fā)現(xiàn)方法，將新聞報道文檔用特征向量加時間標簽的形式表示出來，計算出事件對應的詞元委員會，再對每一個詞元委員會集合都建立一個核心新聞簇，將含有詞元量包含該詞元委員會中一半以上的詞元的文檔歸入到這個文檔簇中。

3.2 社交數(shù)據(jù)事件檢測方法

文中將社交網(wǎng)絡數(shù)據(jù)單獨分為一類，原因是其與傳統(tǒng)文本在內(nèi)容和形式上有極大不同。社交網(wǎng)絡數(shù)據(jù)是一種特殊的數(shù)據(jù)類型，典型例子有微博、Twitter、Facebook等數(shù)據(jù)。其特點是[46]內(nèi)容簡短，口語化，情緒化，且含有用戶關注度，主題詞，評論轉(zhuǎn)發(fā)量等信息，另外還潛在包含了時序和社交關系等，因此應當根據(jù)社交網(wǎng)絡數(shù)據(jù)自身的特征進行事件檢測，將其從傳統(tǒng)的文本事件檢測中分離出來。社交數(shù)據(jù)的事件檢測方法一般會側(cè)重于利用社交數(shù)據(jù)的各種數(shù)據(jù)特征進行事件檢測，大部分方法都會結(jié)合用戶相關信息，因此本節(jié)從社交數(shù)據(jù)用戶特征角度出發(fā)，分類介紹社交數(shù)據(jù)的事件檢測方法。

3.2.1 利用用戶重要度進行事件檢測

李艷等提出了術(shù)語的營養(yǎng)和術(shù)語的能量兩個概念[47]。術(shù)語的營養(yǎng)值的計算涵蓋了該術(shù)語的權(quán)重和用戶權(quán)威性兩個參數(shù)，術(shù)語的能量則表示其在微博語料庫中的有效貢獻。最后根據(jù)術(shù)語的能量值對術(shù)語進行排序、篩選，從而檢測出熱點事件。郭跇秀等則針對微博這種特殊的數(shù)據(jù)提出了用戶五元組[48]的概念。用戶五元組包括：用戶ID、用戶粉絲數(shù)、用戶微博數(shù)、是否為VIP用戶、用戶活躍度。根據(jù)用戶五元組對用戶影響力進行量化后再進行事件檢測。

3.2.2 利用用戶評論轉(zhuǎn)發(fā)行為進行事件檢測

馮永等[49]認為轉(zhuǎn)發(fā)數(shù)和評論數(shù)對微博重要性是極為重要的度量。因此將傳統(tǒng)的TF_IDF方法計算權(quán)重改進為基于轉(zhuǎn)發(fā)評論數(shù)的計算方式，轉(zhuǎn)發(fā)評論數(shù)越高，相應的權(quán)值就越大。王勇等[12]則是針對微博這種特殊的數(shù)據(jù)提出了熱度的概念，簡單來說就是對一個事件被關注程度的量化。而單條微博的熱度需要使用微博的轉(zhuǎn)發(fā)數(shù)和評論數(shù)來衡量。而周剛等[14]提出的MB-SinglePass(microblog-SinglePass)算法是傳統(tǒng)的Single_Pass在微博數(shù)據(jù)上的改進方法。這種方法考慮了用戶之間的關系(轉(zhuǎn)發(fā)評論關系，關注關系)，傳統(tǒng)的Single_Pass方法只通過相似度作為歸類或新建類的準則，而MB-SinglePass則利用評論轉(zhuǎn)發(fā)關系將一些帖子直接歸到相應類中，并根據(jù)發(fā)帖人與最大相似度類中發(fā)帖人是否為關注或好友關系來決定相似度小于閾值的情況下是否有必要創(chuàng)建一個新類。

3.2.3 根據(jù)用戶情感狀態(tài)進行事件檢測

微博與傳統(tǒng)新聞文檔除了在數(shù)據(jù)形式上相差較大以外還在內(nèi)容上相差甚遠。微博數(shù)據(jù)往往包含了用戶的個人情感色彩，因此也有人基于此提出了微博數(shù)據(jù)的處理方法。費紹棟等[50]利用層次模型將話題聚類后，根據(jù)用戶對該話題的情感態(tài)度對話題進行過濾，作者認為用戶情感分為正面情緒和負面情緒兩類，如果大量用戶對某個話題都呈現(xiàn)負面情緒，那么說明該話題有很大可能性是突發(fā)事件引發(fā)的話題。唐曉波等[34]還提出了一種話題情感強度的計算方法，根據(jù)這一值對話題的情感強度進行時序回歸分析。該方法能夠有效挖掘話題發(fā)展過程中用戶情感的變化規(guī)律，并根據(jù)規(guī)律對話題的發(fā)展變化進行持續(xù)的跟蹤和探測。

最后，值得注意的是，傳統(tǒng)新聞媒體與社交網(wǎng)絡之間并不是相互獨立的。兩者之間有著相互作用和共生關系，即新聞報道為社交網(wǎng)絡提供話題資源，而社交網(wǎng)絡又為新聞媒體提供事件進展[51]。Hua T等[52]利用新聞報道為社交網(wǎng)絡提供話題資源這一關系，將新聞標簽轉(zhuǎn)移到Twitter上以產(chǎn)生初始標簽，然后再利用Twitter的社交特性得到帶有擴展性標簽的Twitter數(shù)據(jù)，利用帶標簽數(shù)據(jù)進行事件檢測。

本節(jié)所涉及的幾種事件檢測類型的使用場景以及優(yōu)缺點如表1所示。

表1 幾種典型事件檢測類型的適用場景及優(yōu)缺點

4 結(jié)束語

事件檢測是數(shù)據(jù)挖掘領域的一個重要分支。通過對事件的檢測能夠從事件中挖掘出潛在的巨大價值，基于傳統(tǒng)的新聞報道文檔的事件檢測能夠從龐大的數(shù)據(jù)量中檢測出具體的事件以及其后續(xù)發(fā)展，而基于社交網(wǎng)絡數(shù)據(jù)的事件檢測能夠進一步通過社交網(wǎng)絡數(shù)據(jù)用戶之間的關系以及用戶行為進行事件檢測并分析預測事件未來發(fā)展狀況，對傳統(tǒng)的新聞報道檢測方法有所改進。在事件檢測這一研究領域，根據(jù)用戶的信息和行為來進行事件檢測將是未來值得研究和探討的方向。