黑龍 孫育華 黃成哲 呂松濤 趙峰 呂瑞 高佳明 趙金梅

摘要：隨著移動互聯(lián)網(wǎng)的蓬勃發(fā)展，以微博等為代表的網(wǎng)絡(luò)媒體已經(jīng)成為人們生活中不可缺少的重要組成部分。在災(zāi)難發(fā)生時，微博中包含了大量有關(guān)災(zāi)難的實時信息。對于救災(zāi)工作而言，信息的時效性最為重要，如何快速地掌握災(zāi)難信息以及物資的供給信息是一個難題。微博為災(zāi)難時供需分析提供了重要的參考價值。本文以此為出發(fā)點，應(yīng)用人工智能技術(shù)，識別災(zāi)難發(fā)生時與供需相關(guān)的微博，并對供需關(guān)系進(jìn)行了匹配。

Abstract： With the rapid development of mobile Internet， the Internet media represented by microblog has become an indispensable part of people's life. When disaster happens， microblog contains a lot of real-time information about disaster. For disaster relief work， the timeliness of information is the most important， how to quickly grasp disaster information and material supply information is a problem. Microblog provides an important reference value for the analysis of supply and demand in disaster. Based on this， this paper uses artificial intelligence technology to identify microblogs related to supply and demand when disasters happen， and matches the supply and demand relationship.

關(guān)鍵詞：微博;災(zāi)難信息;需求微博;供給微博;供需匹配

Key words： microblog;disaster information;demand microblog;supply microblog;supply and demand matching

中圖分類號：TP37? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1006-4311（2020）02-0224-02

1? 概述

Twitter等微博網(wǎng)站已經(jīng)成為災(zāi)害事件信息的重要來源。然而，由于微博內(nèi)容簡短，包含不同的語言、表情符號和干擾信息等，處理識別特定的微博和匹配相關(guān)微博具有挑戰(zhàn)性。并且在社交媒體的影響力下，微博等提供微博服務(wù)的網(wǎng)站也越來越受歡迎，除充當(dāng)對外的窗口之外，這些也是溝通和收集信息的重要來源之一，尤其是在緊急或災(zāi)難期間顯得尤為突出。

面向微博的災(zāi)難供需分析研究關(guān)鍵在于供需微博的識別和需求微博和供給微博的匹配，本文以Twitter為例，應(yīng)用人工智能技術(shù)識別災(zāi)難發(fā)生時與供需相關(guān)的微博，并對供需關(guān)系進(jìn)行了匹配。

2? 災(zāi)難供需微博識別模型

2.1 方法選擇

更確切的說，災(zāi)難供需微博識別可以被看作是兩類分類。如果我們將識別供需微博的任務(wù)形式化為分類問題，我們的目標(biāo)集中在回答以下兩個問題：

①哪些基于分類的方法可以有效地應(yīng)用于識別微博。

②哪些特征應(yīng)該用于分類器。

對于分類任務(wù)D={（x1，y1），（x2，y2），…，（xm，ym）}，yi∈{0，1}，其中xi是特征向量，yi是特征標(biāo)簽。使用AdaBoost、SVM-L和SVM-NL分類器來分別預(yù)測需求信息和供給信息。

對于供需微博識別中的問題①，我們使用SVM-L分類模型。這個模型的原理是利用超平面對數(shù)據(jù)進(jìn)行分類，從正樣本點到超平面作為排序結(jié)果。

對于供需微博識別中的問題②，我們使用AdaBoost，這是一個可以增強弱學(xué)習(xí)者學(xué)習(xí)能力的算法。分類器的工作原理是從基學(xué)習(xí)者的初始訓(xùn)練集開始，根據(jù)基學(xué)習(xí)者的表現(xiàn)對訓(xùn)練樣本分布情況進(jìn)行新的調(diào)整。在以往案例中，錯誤的學(xué)習(xí)者的訓(xùn)練樣本在后續(xù)的過程中受到更多的關(guān)注，這樣訓(xùn)練下一個學(xué)習(xí)者時就可根據(jù)調(diào)整后的樣本分布來訓(xùn)練，并以正概率大于0.5的概率值作為排序結(jié)果。

在供需微博識別存在殘缺的問題，使用SVM-NL。分類原則是利用內(nèi)積函數(shù)而不是利用高緯度空間來對正負(fù)離的非線性映射進(jìn)行分離。在測試過程中，分類器為正面情況預(yù)測概率，并使用概率值作為排序結(jié)果。

2.2 功能設(shè)計

基于內(nèi)容的微博過濾方法，影響微博需求微博或可用性微博因素，是微博的特征。對于基于內(nèi)容的過濾方法，單詞是自然特征。選擇1110個災(zāi)難相關(guān)詞作為微博災(zāi)難特征詞。特征詞可以濾除噪聲詞，提高分類器的分類效率。對于特征提取做出了模型分析。

一般情況下，文本模型維數(shù)都比較大，如果不進(jìn)行一定的降維操作，那么對于下一步的分析無疑是艱難的。所以要進(jìn)行一定的降維操作，所以文本特征提取也至關(guān)重要。目前主要的特征提取方法有：特征詞的文檔頻率法DF、信息增益法IG、互信息法MI、卡方擬合檢驗法。

文檔頻率法DF（Document Frequency），DF是最簡單的一種特征評估函數(shù)，DF不需要依賴類信息，是一種無監(jiān)督的特征選擇，在文本預(yù)處理過程中，常被用來刪除出現(xiàn)次數(shù)過少或者出現(xiàn)次數(shù)過多的單詞以提高后續(xù)處理的效率。

一個特征項的信息增益就是在不考慮任何特征項的文檔集的熵和考慮該特征項后的文檔集的熵的差值，即公式（1）：

其中H（C）表示分類系統(tǒng)的熵，H（C|T）表特征值T被固定時的條件熵。所以信息增益公式如（2）所示：

不同的文本采取不同的特征提取方法得到的特征詞匯可能會不一樣，所以選取特征提取的方法對后續(xù)的研究都有影響。表1顯示十八個具有說服力的特征詞：

通過分析選定的特征關(guān)鍵詞，我們發(fā)現(xiàn)medical、doctors、blood、hospital、ambulance等用于醫(yī)療信息。relife、electricity、food和medical都是人們生活的保障項目。提取的特征詞可以代表災(zāi)難中的微博信息。

2.3 災(zāi)難供需微博匹配模型

災(zāi)難供需微博匹配要求災(zāi)難供需微博識別中的需求微博匹配由被災(zāi)難供需微博識別所搜索。其中需求微博作為查詢設(shè)置Q，可用性微博可以用作集合文件D。我們使用統(tǒng)計語言模型來解決災(zāi)難供需微博匹配的問題。根據(jù)語言的用法，語言模型用于評估什么樣的單詞序列更為典型，如果文檔語言模型給出的查詢概率很高，那么根據(jù)文檔語言模型，這意味著查詢詞經(jīng)常在文檔中顯示。

2.3.1 相關(guān)性

相關(guān)性計算如圖1所示。使用Need-Twitter作為查詢集合Q，A作為文檔集合D，然后進(jìn)行相關(guān)性計算以獲得相關(guān)性R（Q，D）。

2.3.2 語言模型

根據(jù)需求微博和可用性微博的描述，我們將問題簡化如下。將檢索問題表示為IR=（Q，D，F(xiàn)，R（qi，di）），其中Q表示為需求微博，D表示為可用性微博，F(xiàn)為滿足相關(guān)排序規(guī)則的模型，R（qi，di）用于查詢qi和文件di的相關(guān)性。其中qi和di預(yù)測了災(zāi)難供需微博識別中的需求微博和可用性微博。開放源代碼檢索工具indri用于災(zāi)難供需微博匹配，在系統(tǒng)中我們使用基于Dirichlet的語言模型平滑和選擇KL（Kullback-Leibler Divergence）距離作為排序模型?；贒irichlet平滑的語言模型和KL距離排序模型定義公式如下：

其中Q是查詢模型，D是文檔模型，將計算相應(yīng)Q和D的估計值，w是詞匯表中所有單詞的集合。

其中Pml（w）是語言模型，而μ是平滑參數(shù)。

3? 匹配模型

匹配流程圖見圖2所示。該功能是由網(wǎng)頁獲取用戶點擊需求微博，系統(tǒng)根據(jù)所選的需求微博，在存儲所有災(zāi)難供給微博的數(shù)據(jù)庫中查找能夠匹配需求微博的供給微博，并選擇匹配度大于0.01否則重新匹配下一條供給微博，最終在所有滿足匹配度中的微博中選取Top5的供給微博。其效果將是一條需求微博在頁面顯示時為用戶提供5條供參考的供給微博。

參考文獻(xiàn)：

[1]Youngjoong Ko，Jinwoo Park，Jungyun Seo. Improving text categorization using the importance of sentences[J]. Information Processing and Management，2004，40（1）.

[2]鄭健珍.定題爬蟲搜索策略研究[D].廈門大學(xué)，2007.

[3]呂愛平，卞兆祥，陳可冀.Bridging the Traditional Chinese Medicine Pattern Classification and Biomedical Disease Diagnosis with Systems Biology[J]. Chinese Journal of Integrative Medicine，2012，18（12）：883-890.

[4]賽金辰.基于Spark的SVM算法優(yōu)化及其應(yīng)用[D].北京郵電大學(xué)，2017.

[5]Saber Moazami，Roohollah Noori，Bahman Jabbarian Amiri，Bijan Yeganeh，Sadegh Partani，Salman Safavi. Reliable prediction of carbon monoxide using developed support vector machine[J]. Atmospheric Pollution Research，2016，7（3）.

[6]Kyungho Lee，Minkee Choi. Hierarchically micro-/mesoporous Pt/KL for alkane aromatization： Synergistic combination of high catalytic activity and suppressed hydrogenolysis[J]. Journal of Catalysis，2016，340.