江蘇電信云計算中心趙勇

多源信息聚合技術(shù)在中國電信江蘇公司“輿情云”系統(tǒng)中的應(yīng)用

江蘇電信云計算中心趙勇

隨著互聯(lián)網(wǎng)信息技術(shù)和移動通信技術(shù)的發(fā)展，互聯(lián)網(wǎng)媒體逐漸走進人們的日常生活。每個人既是互聯(lián)網(wǎng)信息的閱讀者，也是互聯(lián)網(wǎng)信息的提供者和傳播者。人們通過微博、論壇、博客等發(fā)表自己的看法、轉(zhuǎn)發(fā)自己關(guān)注的消息、關(guān)注熱點及自己關(guān)心的內(nèi)容。由此，網(wǎng)絡(luò)輿論也隨之產(chǎn)生。

隨著政府對民生的關(guān)注以及企業(yè)對互聯(lián)網(wǎng)營銷的關(guān)注，人們越來越重視網(wǎng)絡(luò)輿論。開展互聯(lián)網(wǎng)輿情監(jiān)測與分析，能夠幫助政府和企業(yè)在第一時間掌握網(wǎng)絡(luò)輿情動態(tài)、了解網(wǎng)情民意；第一時間發(fā)現(xiàn)可能引發(fā)危機的信息苗頭；幫助企業(yè)開展自身口碑監(jiān)測、競爭信息、行業(yè)信息、產(chǎn)品調(diào)研、客戶調(diào)研等活動。

近幾年來，越來越多的政府和企業(yè)通過自建系統(tǒng)或購買云服務(wù)的方式，開展互聯(lián)網(wǎng)輿情監(jiān)控。同時他們對輿情系統(tǒng)提供信息的實時性、準(zhǔn)確性、易用性提出了越來越高的要求。但實際在使用各類監(jiān)控系統(tǒng)時，卻面臨著重復(fù)信息過多的問題。特別是當(dāng)重要事件發(fā)生時，許多新聞?wù)军c、論壇、微博都在講述同一事件，無數(shù)重復(fù)的內(nèi)容反而淹沒了事件的本質(zhì)。因此多源信息聚合顯得尤為重要。多源信息聚合可以將文本信息進行相似性智能判斷，并對同一事件進行聚合，能夠大大減少數(shù)據(jù)量，提高系統(tǒng)預(yù)警的準(zhǔn)確性。

由中國電信江蘇云計算中心和北京上元信科技有限公司共同開發(fā)的中國電信江蘇公司“輿情云”系統(tǒng)，采用了大數(shù)據(jù)研發(fā)團隊開發(fā)的“多源信息聚合”技術(shù)。該技術(shù)采用了K-means聚類改進算法，以及由該團隊維護的龐大的主題詞典和分詞分類詞典等，并創(chuàng)造性將該算法與各類詞典結(jié)合起來，借助于中國電信強大云計算資源，既解決聚類準(zhǔn)確性的問題，又解決了效率問題。系統(tǒng)經(jīng)過在線測試，針對一個熱點地市一個月20萬左右條的數(shù)據(jù)，單條消息到達時，執(zhí)行完一次聚類消耗的時間達到毫秒級別。并支持多源信息的聚合，即能夠?qū)⑿侣?、論壇、博客、微博、微信等不同來源的?shù)據(jù)進行分類和統(tǒng)一聚類。

中國電信江蘇公司“輿情云”將“多源信息聚合”技術(shù)靈活地運用在系統(tǒng)中，解決了困擾輿情監(jiān)控人員的多個問題。

重復(fù)信息過多問題。通過該技術(shù)，將講述同一事件的輿情信息聚合為一條數(shù)據(jù)，并給出重復(fù)條數(shù)，聚合后數(shù)據(jù)量能夠減少2/3。大大減少輿情監(jiān)控人員查看信息的工作量，提高對重大事件的監(jiān)控效率。

本地?zé)狳c事件統(tǒng)計問題。通過信息聚合，對出現(xiàn)次數(shù)最多的事件進行權(quán)重排序，統(tǒng)計出不同領(lǐng)域的熱點事件，及時發(fā)現(xiàn)可能造成擴散影響的輿情事件。

垃圾信息過濾問題。輿情信息具有時效性，當(dāng)該事件首次出現(xiàn)時，可能具有較高價值，當(dāng)成為熱點后，隨著時間推移，該消息價值可能降為0，而成為垃圾信息，此時可能利用聚合技術(shù)將該事件設(shè)置為垃圾信息，由系統(tǒng)自動進行過濾與屏蔽。

“多源信息聚合”技術(shù)不僅能夠使輿情數(shù)據(jù)量大大減少，而且隨著用戶使用時間越來越長，用戶提供給系統(tǒng)學(xué)習(xí)的材料也在增長，將會大大提高系統(tǒng)預(yù)警的準(zhǔn)確性。因此，中國電信江蘇公司“輿情云”受到了用戶的廣泛認(rèn)可，目前該系統(tǒng)為江蘇全省超過60個正式用戶、近百個試用用戶提供著輿情監(jiān)測的云服務(wù)。這是中國電信江蘇公司在大數(shù)據(jù)研究上一個有力的嘗試，未來中國電信江蘇公司還將會在多個領(lǐng)域為客戶提供大數(shù)據(jù)挖掘服務(wù)。