吳雪華，毛進，陳思菁，謝豪，李綱

（武漢大學信息資源研究中心，武漢 430072）

1 引言

突發(fā)事件具有高度的不可預期性和復雜性，態(tài)勢演化迅速，影響范圍廣，給應急管理帶來巨大挑戰(zhàn)[1]。在有限時間內(nèi)，迅速掌握緊急需求、事件態(tài)勢等信息，是高效開展應急工作的關(guān)鍵。社交媒體具有信息實時生成、多向交流、傳播迅速等優(yōu)勢，允許用戶在突發(fā)事件期間承擔“社會傳感器”的角色，第一時間發(fā)布人員傷亡、設(shè)施毀壞等現(xiàn)場情況，從而緩解在事件發(fā)生初期的可用信息匱乏、交流渠道不暢等問題[2]。因此，社交媒體信息在協(xié)助突發(fā)事件應急管理上具有不可忽視的潛在價值。

將社交媒體應用到突發(fā)事件場景的挑戰(zhàn)之一在于信息過載問題。突發(fā)事件的公共危害性引發(fā)大量社交媒體用戶集中發(fā)布信息，產(chǎn)生價值密度低的海量實時數(shù)據(jù)，難以直接利用。在這一問題上，一方面，技術(shù)探索至關(guān)重要，越來越多的文獻探究如何將機器學習、自然語言處理等先進技術(shù)應用于社交媒體中突發(fā)事件信息的自動處理[3]；另一方面，在考慮“如何識別信息”的同時，也需明確“識別什么信息”，了解何種信息對應急管理更具價值。目前，危機信息學領(lǐng)域廣泛關(guān)注的是態(tài)勢感知信息（situational information）[4]。這類信息從全局角度提供了突發(fā)事件復雜情境的“綜合視圖”，有助于應急管理機構(gòu)把握事件的發(fā)展全貌，為決策和協(xié)調(diào)應急響應提供支持。然而，其忽略了各類主體在人員搜救、資源配置等特定應急任務(wù)場景下的信息需求，無法直接作用于具體的應急行動。因此，部分文獻呼吁將研究視角從態(tài)勢感知轉(zhuǎn)向應急行動支撐信息（actionable information），探討如何在正確的時間將合適的信息傳遞給合適的人，從而將社交媒體信息轉(zhuǎn)化為每個應急行動者的行動參考[5-6]。

突發(fā)事件各類主體對應急行動支撐信息均具有廣泛的需求：應急管理機構(gòu)需要第一時間獲取事件發(fā)生地點、傷亡、損失等行動支撐信息，用于人員派遣和資源調(diào)度[7]；受影響人群依賴于官方預警、求助渠道等信息，用于事前準備和事后獲助[8]；公益組織、志愿者等需實時掌握物資需求和供應進展，以有序開展志愿捐贈活動，避免資源供應不足、過?；虿划敺峙鋷淼摹岸螢碾y”[9]。因此，從社交媒體中快速識別不同類型的應急行動支撐信息，對各類主體及時響應、敏捷動員、高效配置資源、最小化傷亡損失等具有重要意義。

目前，針對突發(fā)事件應急行動支撐信息的研究相對不足[6]。已有文獻尚未系統(tǒng)界定這類信息的判斷標準和具體范圍，限制了后續(xù)的自動識別和細粒度分類。鑒于此，本文梳理了應急行動支撐信息的概念、特征和類別，并提出基于社交媒體數(shù)據(jù)的應急行動支撐信息自動識別與分類的方法。具體工作如下：①界定應急行動支撐信息的概念與特點，基于主體、行動和主題維度構(gòu)建分類體系；②對突發(fā)事件相關(guān)Twitter帖子進行人工標注；③從文本向量表示、語言、形式和用戶四個維度構(gòu)建應急行動支撐信息的特征體系；④提出基于機器學習的應急行動支撐信息識別與分類的兩階段實現(xiàn)框架，并在標注數(shù)據(jù)集上開展評估。

2 相關(guān)研究

2.1 社交媒體突發(fā)事件信息分類研究

針對突發(fā)事件期間產(chǎn)生的海量社交媒體信息，危機信息學領(lǐng)域的學者從不同視角對突發(fā)事件信息的分類展開研究。

（1）突發(fā)事件信息的相關(guān)性分類研究。社交媒體檢索結(jié)果中存在大量噪聲，不少文獻構(gòu)建分類器過濾與突發(fā)事件無關(guān)的信息，將其作為后續(xù)處理和分析的起點。例如，Sit等[10]利用深度學習將Twitter帖子劃分為災害相關(guān)和無關(guān)的信息，在此基礎(chǔ)上分析災害影響和時空模式。仇培元等[11]利用主題模型，從訓練語料中提取暴雨事件相關(guān)的核心詞，基于詞向量計算微博文本與核心詞的相似度，進而識別暴雨事件相關(guān)微博。

（2）突發(fā)事件信息的態(tài)勢感知分類研究。相關(guān)性分類識別出的信息之間價值差異較大，需從中提煉出對應急管理具有實際意義的信息。其中，廣受關(guān)注的是突發(fā)事件態(tài)勢感知信息，即為個體、組織、社區(qū)或地區(qū)掌握突發(fā)事件整體態(tài)勢提供支持的信息[4]。Imran等[12]將這類信息劃分為預警建議、傷亡損失、物資捐贈與志愿服務(wù)、人員失蹤與發(fā)現(xiàn)以及信息來源五類。李綱等[13]基于態(tài)勢感知理論，將自然災害事件微博熱點話題劃分為社會環(huán)境、建設(shè)環(huán)境、物理環(huán)境和非態(tài)勢感知四類。Rudra等[14]指出，非態(tài)勢感知信息包括情感觀點、事件分析和慈善機構(gòu)相關(guān)帖子三類，并進行了跨事件態(tài)勢感知信息的自動識別和摘要。

（3）突發(fā)事件信息的應急行動支撐分類研究。態(tài)勢感知信息更關(guān)注突發(fā)事件的發(fā)展全貌，無法解決具體應急行動中的信息過載問題，因此，需探索面向應急行動信息需求的分類體系。目前，僅有少量研究關(guān)注這一分類視角，對應急行動支撐信息的界定尚不明確。Munro[15]較早開展了應急行動支撐信息的自動識別研究，但未給出這類信息的定義。Baweja等[16]和Kiatpanont等[17]將需求信息作為應急行動支撐信息的類型之一。Nguyen等[18]將應急行動支撐信息等同于有用信息（informative informa‐tion），并將其劃分為傷亡損失、預警建議和捐贈幫助信息三類。Ghosh等[19]認為，應急行動支撐信息包括資源需求和供應、相關(guān)機構(gòu)的應急活動、基礎(chǔ)設(shè)施損壞和恢復等類別。

（4）其他視角的突發(fā)事件信息分類研究。部分研究從信息來源[20]、事件類型[21]、地理位置[22]等視角展開分類。文獻[3]對這些分類體系進行了詳細介紹。

2.2 社交媒體突發(fā)事件信息分類的主要方法

當前，機器學習被廣泛應用于社交媒體中突發(fā)事件信息的分類，其中大部分采用監(jiān)督學習，為達到較好的分類效果，需要構(gòu)建清晰的分類體系和獲取足夠的標注數(shù)據(jù)[23]。少數(shù)研究使用了主動學習等半監(jiān)督學習方式，用于解決事件初期標注樣本不足的問題[24-25]。

在分類算法上，大量研究對支持向量機、邏輯回歸等傳統(tǒng)算法在該領(lǐng)域的有效性開展了評估。例如，Huang等[26]對比了K近鄰、樸素貝葉斯和邏輯回歸在突發(fā)事件態(tài)勢感知分類中的效果，發(fā)現(xiàn)邏輯回歸能較好地識別出大部分信息類別。王艷東等[27]采用支持向量機訓練突發(fā)事件應急主題分類模型，達到0.875的準確率。傳統(tǒng)分類算法依賴于人工構(gòu)建特征體系。由于社交媒體文本不僅在語言上具有篇幅短、口語化等特殊性，并且攜帶了大量的元數(shù)據(jù)信息，因此，相關(guān)研究除了采用常見的詞袋模型、TF-IDF（term frequency-inverse document frequency）向量之外，還構(gòu)建了語言、形式和用戶等多種類型的特征。例如，Rudra等[14]采用了人稱代詞、感嘆號等語言特征，這類特征不依賴于具體事件，故在跨事件社交媒體信息分類上優(yōu)于詞袋模型。Imran等[12]結(jié)合URL（uniform resource locator）、數(shù)字、詞性等形式和語言特征訓練突發(fā)事件態(tài)勢感知分類模型。Kozlowski等[28]發(fā)現(xiàn)，發(fā)博數(shù)、粉絲數(shù)等用戶特征在社交媒體突發(fā)事件信息分類中具有高貢獻度。

傳統(tǒng)分類技術(shù)在社交媒體短文本分類上存在著特征高維稀疏、無法捕捉語義關(guān)聯(lián)等局限性。深度學習能夠通過多層非線性處理單元，從原始文本中自動提取隱含語義信息，并表示為低維稠密向量，有效彌補了上述不足，因此，近年來，深度學習成為該領(lǐng)域的重要研究方法。劉淑涵等[29]通過word2vec模型獲取社交媒體文本的詞向量表示，然后輸入卷積神經(jīng)網(wǎng)絡(luò)自動提取暴雨災害信息。Yu等[30]發(fā)現(xiàn)，卷積神經(jīng)網(wǎng)絡(luò)在單個突發(fā)事件和跨事件信息分類中均優(yōu)于支持向量機和邏輯回歸。Sit等[10]發(fā)現(xiàn)，在颶風事件信息的相關(guān)性分類中，長短期記憶網(wǎng)絡(luò)優(yōu)于卷積神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)機器學習模型。此外，BERT（bi‐directional encoder representations from transformers）等[31]預訓練語言模型也開始在該領(lǐng)域得到應用。大部分基于深度學習的研究僅使用詞向量作為輸入，而忽略了語言、形式和用戶等其他特征的作用。

綜上，針對社交媒體中的突發(fā)事件信息，現(xiàn)有研究提供了多種分類視角，并探索了將機器學習應用到該領(lǐng)域的適用性，為后續(xù)研究打下了基礎(chǔ)。其局限在于，已有的分類體系主要基于態(tài)勢感知角度，直接以應急行動支撐信息為對象的研究十分有限，對這一重要信息的概念、類型及識別和分類方案的探索尚不充分。

3 應急行動支撐信息分類體系構(gòu)建

3.1 應急行動支撐信息的概念定義與特點

行動支撐信息的界定通常與特定應用場景結(jié)合。在信息安全領(lǐng)域，行動支撐信息是指可直接用于解決現(xiàn)存安全問題或減輕未來威脅的信息[32]。在商業(yè)管理中，行動支撐信息是指可由企業(yè)回應的、包含明確行動請求或問題的信息[33]。領(lǐng)域驅(qū)動數(shù)據(jù)挖掘?qū)⑾嘟拍钚袆又沃R（actionable knowledge）界定為兼顧技術(shù)意義和業(yè)務(wù)需求、為相應領(lǐng)域采取行動提供依據(jù)的知識[34]。這些定義揭示了不同領(lǐng)域的行動支撐信息的共同點，即直接促使相關(guān)主體采取行動，以解決實際問題。鑒于此，本文將應急行動支撐信息定義為：與突發(fā)事件應急管理有關(guān)的、能夠為利益相關(guān)者的應急行動提供決策支撐的可用信息。

參考已有文獻并結(jié)合實際數(shù)據(jù)，本研究梳理了應急行動支撐信息的特點，用于指導人工標注和特征體系構(gòu)建。①行動/問題導向。應急行動支撐信息通常表達了待解決的問題、緊急情況以及期待他人采取行動的意圖；或提供了開展應急行動所需的參考信息[6,17,33,35]。②情境/主體依賴。針對不同的任務(wù)情境和主體，具體范圍不同[5,15]。③具體性。態(tài)勢感知信息側(cè)重于將所有信息整合成全面連貫的事件圖，為應急管理機構(gòu)提供事件全貌；而應急行動支撐信息則面向各主體在人員搜救、資源配置等特定任務(wù)中的具體信息需求，包含細粒度、可操作的信息[5-6,19,33]。④相關(guān)性。與當前突發(fā)事件相關(guān)[32]。⑤時效性。面向各主體的即時信息需求，能夠快速作用于當前的應急行動[32]。⑥準確性。反映真實情況[32]。⑦事實性。排除僅用于表達情緒和觀點的信息[14]。⑧非個人化。排除僅作用于個人社交范圍、無公共影響的信息[12]。⑨可理解性。表述明確、完整、無歧義[32]。

3.2 應急行動支撐信息的類別設(shè)置

綜合考慮主體、行動和主題等維度，本文將應急行動支撐信息劃分為預警和建議、求助信息、幫助信息、事件基本信息、建筑設(shè)施及公共事業(yè)、受影響人群、應急行動進展以及其他八類（表1）。其中，前三類為顯式信息，即明確提出了待解決的問題或要求他人采取應急行動；后五類為隱式信息，即信息發(fā)布者未直接表達請求行動的意圖[6]。部分文獻在設(shè)置應急行動支撐信息的類別時，并未考慮隱式信息[16-17,36]，雖然這類信息的直接可行動性（actionability）較顯式信息弱，但包含的各類情況更新允許相關(guān)主體預判形勢、衡量風險和分工協(xié)調(diào)，對行動的順利開展具有重要價值[37]，因此，本研究也將其納入應急行動支撐信息的范疇。

表1 應急行動支撐信息的類別

4 基于機器學習的應急行動支撐信息識別與分類方法

4.1 方法框架

為了滿足各類主體在應急行動中的信息需求，本文提出了基于機器學習的應急行動支撐信息識別與分類的兩階段方法框架（圖1），主要流程如下：第一階段，基于標注數(shù)據(jù)集訓練應急行動支撐信息識別模型（二分類模型），將來自社交媒體等渠道的突發(fā)事件相關(guān)信息作為輸入，從中識別出能夠作用于應急行動的信息。然后，一方面，傳遞至應急管理機構(gòu)等主體，用于綜合研判；另一方面，輸入第二階段模型進行后續(xù)處理。第二階段，基于標注數(shù)據(jù)集訓練應急行動支撐信息分類模型（多分類模型），將第一階段識別出的應急行動支撐信息轉(zhuǎn)化為預警和建議、求助信息、幫助信息等細粒度的類別，然后傳遞至突發(fā)事件各類主體，為其開展應急行動提供有針對性的信息支持。

圖1 應急行動支撐信息識別與分類的兩階段方法框架

該方法框架可作為突發(fā)事件信息處理和分析整體框架的一部分，與突發(fā)事件信息相關(guān)性分類等上游環(huán)節(jié)及信息抽取、專家分析等后續(xù)環(huán)節(jié)銜接。在實際應用時，無須了解具體信息類別的環(huán)節(jié)（如綜合分析等），可僅采用第一階段模型；其他情況下可將兩階段模型組合起來，獲取不同粒度的應急行動支撐信息。

4.2 特征體系構(gòu)建

基于已有研究和應急行動支撐信息的特點，從文本向量表示、語言、形式和用戶四個維度構(gòu)建應急行動支撐信息識別和分類模型的特征體系（表2），主要特征描述如下。

表2 應急行動支撐信息識別與分類模型的特征體系

（1）文本向量表示：機器學習模型以TF-IDF向量為特征。深度學習模型使用預訓練的GloVe（global vectors）[38]和BERT[39]模型提取文本的嵌入表示（embedding）。

（2）語言特征：不同類別信息在詞匯類型、標點符號等語言特征上存在差異。例如，應急行動支撐信息具有較強的事實性，故主觀認知詞匯相對少見；感嘆號更有可能用于緊急情況下的預警等。本文使用linguistic inquiry and word count（LIWC）工具①http://liwc.wpengine.com/提取語言特征。LIWC從語言學、心理特性等維度將詞匯分成人稱代詞、疑問詞、數(shù)字等73類，進行詞頻統(tǒng)計；另外，還提供了4個總結(jié)性指標（情感語調(diào)、分析性思維等）、12種標點符號的頻次以及文本長度特征②詳細類別見官方指南：http://liwc.wpengine.com/wpcontent/uploads/2015/11/LIWC2015_LanguageManual.pdf。此外，考慮到包含可操作要素的信息更有可能為應急行動提供支撐[5,7]，本文也將電話號碼的出現(xiàn)頻次作為特征。

（3）形式特征：不同類別的信息在話題標簽（hashtag）、圖片、超鏈接（URL）、表情符號、定位等元素的使用上可能存在差異。例如，表情符號常見于情感表達類信息，而圖片和URL常用于報道事件情況等。

（4）用戶特征：應急行動支撐信息的類別與發(fā)布者類型之間存在聯(lián)系。例如，官方機構(gòu)發(fā)布預警建議的可能性更大，求助信息的發(fā)布者更可能為普通用戶。有些社交媒體未區(qū)分用戶類型，因此，本文使用認證信息、用戶描述、粉絲數(shù)等輔助判斷。當信息發(fā)布者希望他人采取行動時，更有可能提及（@）相關(guān)用戶；如果一條突發(fā)事件信息被有影響力的用戶轉(zhuǎn)發(fā)，那么代表其重要性更高，因此，也將提及和轉(zhuǎn)發(fā)用戶情況作為特征。

4.3 識別與分類算法

本文將相關(guān)研究中表現(xiàn)較好的支持向量機（support vector machine，SVM）、邏輯回歸（logis‐tics regression，LR）和文本卷積神經(jīng)網(wǎng)絡(luò)（text convolutional neural networks，TextCNN）應用于應急行動支撐信息的識別和分類[16-17,30]。此外，鑒于預訓練語言模型在自然語言處理任務(wù)中的優(yōu)越性，也 將BERT[39]及BERT和TextCNN的 組 合 模 型（BERT+TextCNN）用于研究。各算法簡要介紹如下。

SVM的基本思想是通過映射函數(shù)將輸入空間變換至更高維的特征空間，在新空間中尋找具有最大間隔的劃分超平面，能夠較好地應對非線性、小樣本和局部極小值等問題。LR是一種廣義線性模型，通過Sigmoid函數(shù)將線性回歸結(jié)果映射到0和1之間，擬合真實標記的對數(shù)幾率，具有可解釋性強和復雜度低的優(yōu)點。TextCNN通過一維卷積提取不同窗口大小的文本局部特征，然后采用時序最大池化獲取文本序列的定長向量表示，經(jīng)由帶Softmax的全連接層輸出分類結(jié)果。BERT是基于雙向Trans‐former架構(gòu)的深度預訓練語言模型，通過掩碼語言模型和下一句預測兩個自監(jiān)督任務(wù)在大規(guī)模語料上深度建模文本雙向語義信息，能夠?qū)W習泛化能力更強的上下文嵌入表示（contextual embedding），有效地解決一詞多義的問題。BERT+TextCNN組合模型通過BERT獲取文本的上下文嵌入表示，然后輸入TextCNN提取關(guān)鍵局部特征，從而學習更為豐富的語義信息。

相關(guān)文獻表明，加入除文本向量表示之外的特征后，基于機器學習和深度學習的文本分類模型效果均有可能提升[28]。為了學習表2中的語言、形式和用戶特征，需對深度學習模型做一定調(diào)整。以TextCNN為例，本文在TextCNN外部添加兩個帶激活函數(shù)的全連接層對語言、形式和用戶特征進行非線性變換，將得到的向量與TextCNN時序最大池化層的輸出拼接，然后將拼接后的包含所有特征信息的向量送入網(wǎng)絡(luò)的輸出層進行分類。其他深度學習模型也做類似調(diào)整。

5 實驗及結(jié)果分析

5.1 數(shù)據(jù)集

本文研究數(shù)據(jù)來自突發(fā)事件領(lǐng)域的公開數(shù)據(jù)平臺CrisisLex①http://www.crisislex.org/和CrisisNLP②https://crisisnlp.qcri.org/。CrisisLex中 的Cri‐sisLexT26數(shù)據(jù)集收集了2012—2013年26個突發(fā)事件的Twitter帖子，按信息量分為相關(guān)且有用、相關(guān)但無用、不相關(guān)三類；按信息內(nèi)容分為預警建議、受影響人群、設(shè)施與公共事業(yè)、捐贈與志愿活動、同情和情感支持以及其他六類[40]。CrisisNLP整合了突發(fā)事件領(lǐng)域多個研究的公開數(shù)據(jù)，Imran等[41]提供了2013—2015年19個危機事件的Twitter標注數(shù)據(jù)集，其中10個事件的標注體系與CrisisLexT26大致相同。該數(shù)據(jù)集由付費人員和志愿者標注，這里選擇類別分布更平衡的付費人員標注數(shù)據(jù)。綜合考慮數(shù)據(jù)量、語種和分類體系，本文從上述數(shù)據(jù)集中選取28個突發(fā)事件的標注數(shù)據(jù)，包含37706條Twit‐ter帖子?？紤]到突發(fā)事件信息相關(guān)性分類的研究已較為成熟，因此，只選用標注為相關(guān)的帖子（31396條）。為符合研究要求，對該份數(shù)據(jù)做如下篩選和補充：①去除非英語帖子；②利用Twitter API獲取帖子全文及元數(shù)據(jù)。此外，為避免冗余，采集每條轉(zhuǎn)發(fā)數(shù)據(jù)對應的原創(chuàng)帖子，并進行去重。部分帖子由于發(fā)布時間過早已無法獲取，將其從研究數(shù)據(jù)中剔除。

處理后剩下18213條數(shù)據(jù)。在比較了數(shù)據(jù)集中的信息類別與本文分類體系后，將該份數(shù)據(jù)分為兩部分處理：“相關(guān)但無用”（提及當前事件，但無益于了解事件情況）、“同情和情感支持”（表達對事件的想法和情感態(tài)度）和“其他”類信息大部分不屬于應急行動支撐信息。經(jīng)檢查后，從8037條數(shù)據(jù)中人工篩選出5381條非應急行動支撐信息；剩下10176條數(shù)據(jù)的類別定義與本文存在一定差異，因此人工進行再標注。

5.2 數(shù)據(jù)標注

數(shù)據(jù)標注分為兩個任務(wù)：根據(jù)第3.1節(jié)中的定義與特點，判斷一條數(shù)據(jù)是否為應急行動支撐信息；若是，則進一步判斷屬于表1中的哪一類別。兩個任務(wù)都為單標簽分類。

為保證客觀性，正式標注前進行如下準備：①標注體系構(gòu)建：研究人員A和B在查閱文獻、分析數(shù)據(jù)和討論的基礎(chǔ)上，構(gòu)建初步的標注體系；然后，各標注100條數(shù)據(jù)，針對結(jié)果展開討論，并修改標注體系。在新標注體系的指導下，兩人繼續(xù)獨立標注50條數(shù)據(jù)，并計算Cohen's kappa，兩個任務(wù)的Cohen's kappa分別為0.769和0.774，屬于基本一致（0.61~0.80）[42]的范疇，表明該標注體系可用于指導后續(xù)標注。②標注訓練：研究人員A向研究人員C解釋標注體系。兩人隨后進行三輪訓練，分別標注50、100、100條數(shù)據(jù)，并計算Cohen's kappa，若未達到0.7，則討論分析，完善判斷標準。第三輪訓練中兩個任務(wù)的Cohen's kappa分別為0.753和0.804，一致性達到要求。

正式標注時，研究人員A和C各標注一半數(shù)據(jù)，任務(wù)完成后互相檢查。對有爭議的標注結(jié)果進行討論，并確定最終標簽。標注結(jié)果包括8958條應急行動支撐信息，1019條非應急行動支撐信息，199條不相關(guān)或無法判斷的數(shù)據(jù)。為保證應急行動支撐信息的質(zhì)量，利用Python botometer工具①過濾垃圾賬號發(fā)布的帖子，最終得到8313條應急行動支撐信息。

由于人工檢查和標注得到的非應急行動支撐信息總量（6400條）與應急行動支撐信息數(shù)據(jù)量存在一定差距，為保證模型訓練效果，從crisisNLP數(shù)據(jù)集里由志愿者標注的相同事件數(shù)據(jù)中，隨機篩選部分進行人工檢查，得到1500條非應急行動支撐信息。最終各類別數(shù)據(jù)量如表3所示。

表3 研究數(shù)據(jù)的類別分布情況

5.3 數(shù)據(jù)預處理

數(shù)據(jù)預處理步驟如下：①為獲取文本向量表示，首先去除原始帖子中URL、@信息和特殊字符，將單詞統(tǒng)一轉(zhuǎn)化成小寫。BERT相關(guān)模型中，使用WordPiece模型[43]進行分詞，其余模型使用Py‐thon中的NLTK（natural language toolkit）包進行分詞。此外，在轉(zhuǎn)換成TF-IDF向量前，額外進行了詞形還原。②為獲取語言、形式和用戶特征，將原始帖子中的URL、hashtag、@信息等替換成統(tǒng)一標志后，輸入LIWC工具，提取語言特征。電話號碼、表情符號以及用戶描述特征中的表情符號、hashtag和提及用戶通過正則表達式識別。其余形式和用戶特征從Twitter元數(shù)據(jù)中直接獲取。

5.4 模型訓練與評估

為評估本研究所提出的基于機器學習的應急行動支撐信息識別與分類兩階段方法框架的有效性，實驗中分別訓練應急行動支撐信息識別和分類兩個階段的模型，通過十折交叉驗證評估不同算法在各階段任務(wù)以及整體流程上的性能（下文稱其為“兩階段方法”，如圖2所示）。同時，針對本文的二級分類體系，另一種解決思路是訓練單個多分類器，一次性對所有葉子標簽進行分類（下文稱其為“N+1方法”，其中N表示應急行動支撐信息的細分類別，1表示非應急行動支撐信息），本文也對N+1方法進行評估，其流程如圖3所示。接下來，分別對上述兩種分類方法的模型訓練與評估步驟進行介紹。

圖2 兩階段方法的模型訓練與評估流程

圖3 N+1方法的模型訓練與評估流程

1）兩階段方法的模型訓練與評估步驟

Step1.劃分訓練集和驗證集：將標注和預處理后的研究樣本集分層隨機劃為10個分區(qū)。對于每一分區(qū)，將該分區(qū)作為驗證集，剩余9個分區(qū)作為訓練集。

Step2.訓練應急行動支撐信息識別模型（二分類器）：基于Step1的數(shù)據(jù)進行應急行動支撐信息識別模型的訓練與調(diào)參。根據(jù)十折評估均分，選擇最優(yōu)的超參數(shù)組合。

Step3.訓練應急行動支撐信息分類模型（多分類器）：操作與Step2一致。兩者區(qū)別在于該任務(wù)的訓練數(shù)據(jù)由Step1中訓練集的正樣本（即屬于應急行動支撐信息的樣本）組成；驗證數(shù)據(jù)同理。

Step4.評估整體流程：使用Step1中的驗證集，評估兩階段任務(wù)的整體效果。對每一折的驗證集，首先，調(diào)用Step2中在對應的訓練集上訓練出的識別模型進行二分類；其次，調(diào)用Step3中在對應的訓練集上訓練出的分類模型，對二分類中預測為正的樣本進行多分類；再次，將兩階段的預測結(jié)果與驗證集真實標簽對比，計算該折的評估分數(shù)。最后，平均十折分數(shù)作為評估結(jié)果。

2）N+1方法的模型訓練與評估步驟

將非應急行動支撐信息與應急行動支撐信息的8個細分類別并列，作為分類任務(wù)的目標標簽，然后訓練一個多分類器進行預測。為與兩階段方法進行對比，同樣采用十折交叉驗證評估該方法的效果。

模型訓練時，基于信息增益進行特征選擇。對于數(shù)據(jù)不平衡的分類任務(wù)，采用加權(quán)損失，對樣本少的類別的損失賦予更大的權(quán)重。機器學習模型的訓練基于Scikit-learn工具，重點調(diào)整優(yōu)化算法、正則化項、類別權(quán)重和特征個數(shù)等超參數(shù)。深度學習模型的訓練基于PyTorch框架，各模型基本配置如下：TextCNN使用窗口大小分別為3、4、5的卷積核，每種尺寸下卷積核的輸出特征圖個數(shù)為100，優(yōu)化器使用Adam；BERT使用基礎(chǔ)版預訓練模型（BERT-Base），優(yōu) 化 器 使 用BertAdam。BERT+TextCNN取BERT最后一個編碼層的輸出作為特征輸入TextCNN。其余超參數(shù)，如學習率、丟棄比例、epoch等在訓練時調(diào)優(yōu)。模型評估采用精準率（precision）、召回率（recall）、F1值和正確率（ac‐curacy），多分類任務(wù)的整體精準率、召回率和F1采用宏平均計算。

5.5 結(jié)果與分析

5.5.1 兩個階段分類器的評估結(jié)果

實驗分別對兩個階段的分類器進行評估，結(jié)果如表4所示。第一階段中，BERT和BERT+TextCNN的F1均在0.93以上，明顯高于其他模型。TextCNN、SVM和LR的表現(xiàn)相當。隨著任務(wù)復雜性的提升，第二階段中，各模型的性能差距加大：表現(xiàn)最佳的是BERT，其macro-F1達到0.839，比BERT+TextCNN高出0.01；其余模型的macro-F1均在0.8以下。兩個階段最佳模型的超參數(shù)調(diào)優(yōu)結(jié)果如表5所示。

表4 應急行動支撐信息識別和分類兩個階段分類器的評估結(jié)果

表5 兩個階段最佳模型的超參數(shù)調(diào)優(yōu)結(jié)果

為進一步判斷上述模型的性能差異是否具有顯著性，本文采用配對樣本t檢驗進行比較檢驗。具體方法為：對模型A和B在K折交叉驗證中的K對結(jié)果分別求差，檢驗差值的均值是否為零。若均值為零，則表明兩個模型性能相同。由于K折交叉驗證中不同輪次的訓練集樣本存在交叉，使得K個測試結(jié)果之間并不獨立，違背了假設(shè)檢驗的獨立采樣原則[44]，因此，在估計差值的方差時，引入額外的相關(guān)性系數(shù)ρ進行修正，ρ=測試樣本數(shù)/(訓練樣本數(shù)+測試樣本數(shù))[45]。此外，由于進行了多重假設(shè)檢驗，使用BH（Benjamini-Hochberg）法[46]校正p值。

表6為兩階段中各模型F1值的比較檢驗結(jié)果。BERT和BERT+TextCNN的性能在兩個階段均無顯著差異，且均在0.001的顯著性水平下優(yōu)于其他模型。TextCNN、SVM和LR在第一階段的表現(xiàn)無顯著差異，但第二階段TextCNN在0.01的顯著性水平下優(yōu)于LR。

表6 兩階段任務(wù)中各模型F1值的比較檢驗結(jié)果（p值）

5.5.2 整體流程評估結(jié)果

本文所提方法在應用時，可將兩個階段分類器組合使用，因此，實驗進一步對整體流程效果進行評估，結(jié)果如表7所示。macro-F1最高的為BERT，達到0.789，其次為BERT+TextCNN。表8列出了各模型macro-F1的比較檢驗結(jié)果。BERT和BERT+TextCNN的性能無顯著差異，且兩者性能均在0.001的顯著性水平下高于其他模型。TextCNN和SVM、LR的性能無顯著差異。

表7 整體流程評估結(jié)果

表8 整體流程評估中各模型macro-F1值的比較檢驗結(jié)果（p值）

圖4為BERT在各類別信息上的評估得分，可以看出樣本量對分類效果有較大影響。非應急行動支撐信息和受影響人群信息的分類效果最好，F(xiàn)1均高于0.9，這與兩者樣本量充足有關(guān)。其他類信息的F1僅有0.322，原因在于這類信息樣本量最少，且內(nèi)部細分類型相對復雜，模型難以充分學習。其余類別的F1均在0.75以上，處于可接受范圍。

圖4 整體流程評估中各類別信息的分類效果(基于BERT)

為了橫向?qū)Ρ葍呻A段方法的效果，實驗也對第5.4節(jié)中提及的N+1方法進行評估。表9為N+1方法中各模型的評估結(jié)果。在SVM和LR上，N+1方法的macro-F1比兩階段方法高出近0.01；在TextCNN、BERT和BERT+TextCNN上，兩種方法的macro-F1十分接近。表10中的比較檢驗結(jié)果表明，兩種方法的macro-F1在除LR之外的4個模型上均無顯著差異。

表9 N+1方法中各模型的評估結(jié)果

表10 兩階段方法和N+1方法macro-F1值的比較檢驗結(jié)果

5.5.3 特征對比結(jié)果

為探究語言、形式和用戶特征對本文任務(wù)的貢獻，在兩個階段的最優(yōu)模型上構(gòu)造了不同特征組合進行對比。與用戶特征相比，語言和形式特征皆從文本信息內(nèi)容角度出發(fā)，且形式特征維度較少，難以單獨發(fā)揮作用，因此，將兩類特征合并為“內(nèi)容特征”，以得到更清晰的比較結(jié)果。最終構(gòu)造了如下四種特征組合進行對比：僅使用embedding、em‐bedding+用戶特征、embedding+內(nèi)容特征（語言、形式）、所有類型特征，結(jié)果如表11所示。第一階段中，使用所有特征的F1達到0.937，略高于其他特征組合；第二階段中，與僅使用embedding相比，加入內(nèi)容特征或用戶特征后模型效果均有所提升，其中，使用所有類型特征的macro-F1達到0.839，提升幅度最大。

表11 兩階段任務(wù)中不同特征組合的評估結(jié)果

表12為兩階段任務(wù)中不同特征組合下F1值的比較檢驗結(jié)果。在第一階段中，加入內(nèi)容特征、用戶特征后模型的性能與僅使用embedding無顯著差異；在第二階段中，使用所有類型特征的效果在0.05顯著性水平下優(yōu)于僅使用embedding，這表明內(nèi)容特征和用戶特征雖然無法單獨發(fā)揮作用，但進行組合后能夠共同提升應急行動支撐信息分類任務(wù)的效果。

表12 兩階段任務(wù)中不同特征組合下F1值的比較檢驗結(jié)果（p值）

為進一步了解單個特征的貢獻情況，本文計算了特征的信息增益，并通過特征均值比較同一特征在不同類別信息中的差異。圖5為第一階段任務(wù)中部分具有貢獻的特征。①語言特征中，與宗教信仰有關(guān)的詞匯、代詞、第一人稱代詞單數(shù)、將來時態(tài)、認知過程詞匯、積極情感詞等具有較大區(qū)分度。上述特征常用于表達觀點、傳遞同情和祈禱、闡述個人經(jīng)歷等，在非應急行動支撐信息中的平均出現(xiàn)次數(shù)更高[47]。數(shù)字以及與死亡有關(guān)的詞匯也具有較高貢獻度，兩者在應急行動支撐信息中出現(xiàn)更為頻繁，用于報道情況更新等。②形式特征中，URL和表情符號具有一定貢獻。前者在應急行動支撐信息中更常見，用于補充事件詳情等；后者在非應急行動支撐信息中使用頻率更高，用于表達情感態(tài)度。③用戶特征中，發(fā)博數(shù)、粉絲數(shù)、認證情況具有一定貢獻。上述特征在應急行動支撐信息中的均值皆高于非應急行動支撐信息，說明兩類信息的發(fā)布用戶類型存在差異。

圖5 應急行動支撐信息識別任務(wù)中部分具有貢獻的特征

圖6為第二階段任務(wù)中部分具有貢獻的特征。①語言特征中，與死亡有關(guān)的詞匯具有高貢獻度，其在受影響人群信息中更為常見。歸屬動機詞匯（如“支持”）、社會過程詞匯（如“朋友”）、第一人稱代詞復數(shù)更常出現(xiàn)在求助和幫助信息中，用于強調(diào)同理心、共情和社會合作；同時，由于求助和幫助時，通常伴隨著感激、希望等積極情感，因此，這兩類信息的情感語調(diào)更高。感嘆號、與金錢有關(guān)的詞匯在求助信息中使用頻率更高；電話號碼則在幫助信息中最常出現(xiàn)。第二人稱代詞在三類顯式信息中的使用頻率更高，符合我們對顯式信息的定義——直接要求他人采取行動。數(shù)字和比較級在事件基本信息和受影響人群信息中出現(xiàn)頻率更高；與風險有關(guān)的詞匯在預警和建議中最常出現(xiàn)；感官詞匯在事件基本信息中使用更頻繁，原因在于這類信息較多來自目擊者報告。②形式特征中，hashtag在預警和建議中使用頻率更高，起強調(diào)和提醒的作用；URL和圖片更常出現(xiàn)在建筑設(shè)施及公共事業(yè)、受影響人群等情況更新中，用于補充詳細信息。③用戶特征中，事件基本信息的發(fā)布用戶擁有更高的發(fā)博數(shù)，表明這類信息來自媒體或官方宣傳機構(gòu)的比例較大。提及用戶數(shù)在求助信息中的均值更高，用于顯式請求幫助。

圖6 應急行動支撐信息分類任務(wù)中部分具有貢獻的特征

5.6 討論

本文提出的兩階段方法在多數(shù)模型上與N+1方法的效果并無顯著差異。而在實際應用中，兩階段方法具有如下優(yōu)勢：①能提供層次豐富的應急行動支撐信息，適用場景和對象更為廣泛：第一階段的信息識別模型F1值均在0.915以上，可為應急管理機構(gòu)提供全面而準確的行動支撐信息，適合基于所有信息進行綜合研判，而無需了解具體信息類別的場景。第二階段的信息分類模型能夠面向各類應急任務(wù)執(zhí)行者提供有針對性的支撐信息，例如，向搜救隊伍提供受困人員地點等。因此，兩階段方法可滿足不同應急環(huán)節(jié)的信息需求。②針對兩個任務(wù)訓練單獨的分類器，能夠更好地捕捉應急行動支撐和非應急行動支撐信息、應急行動支撐信息細分類別之間的區(qū)別，把握各自任務(wù)上的最優(yōu)特征，增強模型的可解釋性，為之后的模型調(diào)優(yōu)提供思路；不足在于需要訓練兩個模型，會消耗更多的時間和計算資源。

綜合兩階段任務(wù)來看，BERT相關(guān)模型具有顯著優(yōu)勢，印證了雙向Transformer結(jié)構(gòu)和預訓練語言模型在文本分類中的優(yōu)越性。BERT+TextCNN的組合未帶來性能的明顯改進，原因可能在于BERT復雜的網(wǎng)絡(luò)結(jié)構(gòu)已能夠充分學習本文任務(wù)，加入TextCNN反而會增加過擬合風險。SVM和LR的性能雖不及BERT，但耗費的時間和計算資源相對較少，適合時間緊迫和資源有限的場景。特征對比結(jié)果表明，語言、形式和用戶特征的組合能顯著提升應急行動支撐信息分類任務(wù)的效果；多數(shù)高貢獻度的特征能夠較好反映應急行動支撐信息以及其細分類別的特點，這說明本文構(gòu)建的特征體系較為合理。

6 結(jié)論

本文在系統(tǒng)界定應急行動支撐信息概念、特點與類別的基礎(chǔ)上，提出了基于機器學習的應急行動支撐信息自動識別和分類的兩階段方法，并在標注數(shù)據(jù)集上對不同分類方法、算法和特征組合的效果進行評估。研究結(jié)果發(fā)現(xiàn)，兩階段方法與N+1方法的效果在多數(shù)模型上無顯著差異。前者優(yōu)勢在于能夠提供不同層次的應急行動支撐信息，適用的場景更加廣泛；而其不足在于需消耗更多的時間和計算資源，因此，在實際應用時，可根據(jù)現(xiàn)實條件和需求對兩類方法進行選擇。BERT和BERT+TextCNN在兩個階段任務(wù)中均優(yōu)于其他模型。語言、形式和用戶特征的組合對應急行動支撐信息識別任務(wù)無明顯作用，但能顯著提升應急行動支撐信息分類任務(wù)的效果。本文的意義在于針對具體應急行動中的信息過載問題提供了初步的解決方案，對面向應急行動信息需求的研究視角進行了補充。

本文的局限性如下：一是未考慮圖片在應急行動支撐信息識別和分類中的作用。未來將融合文本、圖片等多模態(tài)信息展開研究。二是僅判斷一條信息能否為應急行動提供支撐，而未進一步考慮信息可行動性的高低[5]。信息的可行動性因其包含的要素不同而具有差異，例如，帶有地點、需求類型、數(shù)量等要素的信息，更有利于相關(guān)主體采取行動[48]。未來可制定信息可行動性的度量指標，結(jié)合命名實體識別等技術(shù)進行評估或預測。三是未考慮應急行動支撐信息分類中的類別重疊問題，未來將通過多標簽分類等方法予以解決。