胡慧君,王 聰，代建華，劉茂福

(1.武漢科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，湖北 武漢 430065；2.湖南師范大學(xué) 智能計(jì)算與語(yǔ)言信息處理湖南省重點(diǎn)實(shí)驗(yàn)室，湖南 長(zhǎng)沙 410081)

0 引言

近年來(lái)，社會(huì)突發(fā)事件頻發(fā)，給社會(huì)帶來(lái)了巨大影響，也給應(yīng)急處置帶來(lái)了巨大挑戰(zhàn)。社會(huì)突發(fā)事件突然發(fā)生的特性和所具有的破壞性，要求應(yīng)急處理必須做到時(shí)效性和準(zhǔn)確性，從而及時(shí)止損。而社會(huì)突發(fā)事件類型和等級(jí)研判作為應(yīng)急處置的起始部分，決定著后續(xù)應(yīng)急預(yù)案能否快速準(zhǔn)確地實(shí)施。目前，國(guó)內(nèi)對(duì)社會(huì)突發(fā)事件的應(yīng)急處置已初具規(guī)模，但如果讓?xiě)?yīng)急決策者手工去處理應(yīng)急處置中的所有工作，可能會(huì)缺乏效率，延誤最佳的應(yīng)急時(shí)機(jī)。因而，社會(huì)突發(fā)事件類型和等級(jí)的自動(dòng)研判在應(yīng)急處置中非常關(guān)鍵。

國(guó)內(nèi)較早便開(kāi)展了社會(huì)突發(fā)事件應(yīng)急處置的相關(guān)工作，但當(dāng)時(shí)標(biāo)準(zhǔn)不明，研究多是探索性的。自2005年后，國(guó)家陸續(xù)發(fā)布了社會(huì)突發(fā)事件的應(yīng)急管理流程和相關(guān)標(biāo)準(zhǔn)，有關(guān)研究便逐漸多了起來(lái)。然而，由于各省份之間的差異性，頒發(fā)的文件中大多都是保證覆蓋到各地區(qū)的應(yīng)急處置，而對(duì)于突發(fā)事件等級(jí)研判標(biāo)準(zhǔn)并不詳細(xì)，導(dǎo)致目前大多數(shù)研究更多注重的是對(duì)應(yīng)急處置的綜合性評(píng)價(jià)，強(qiáng)調(diào)了應(yīng)急處置的風(fēng)險(xiǎn)性。Ivica等[1]通過(guò)模糊決策的方式來(lái)確定雷電的位置對(duì)輸電網(wǎng)的影響，Sedova等[2]使用模糊推理方法來(lái)對(duì)海上突發(fā)事件進(jìn)行等級(jí)研判，Sun等[3]采用了直覺(jué)模糊集理論，并結(jié)合層次分析法實(shí)現(xiàn)對(duì)水利工程施工應(yīng)急救援方案的定量評(píng)價(jià)。近些年來(lái)，基于機(jī)器學(xué)習(xí)的方法也逐漸開(kāi)始展露，Hou等[4]將聚類方法運(yùn)用在突發(fā)事件應(yīng)急物資的分類上，Qiu等[5]和Fu等[6]結(jié)合貝葉斯模型在突發(fā)事件的應(yīng)急處置中進(jìn)行運(yùn)用，商麗媛等[7]融合支持向量機(jī)的方法實(shí)現(xiàn)對(duì)突發(fā)事件的等級(jí)研判，徐緒堪等[8]在商麗媛等[7]的基礎(chǔ)上，提出了基于隨機(jī)森林的突發(fā)事件等級(jí)研判方法。

雖說(shuō)現(xiàn)有研究有一定的效果，但還是存在一些不足，目前應(yīng)急處置的等級(jí)研判證據(jù)大多采用人工或規(guī)則方法。人工提取研判證據(jù)，需要大量人力，且進(jìn)行研判時(shí)也需要人工識(shí)別研判證據(jù)，靈活性較差；采用規(guī)則方法，規(guī)則庫(kù)的建立需要專家大量的時(shí)間進(jìn)行總結(jié)與歸納，并且中文語(yǔ)言靈活多變，還會(huì)存在規(guī)則庫(kù)建立不完全的問(wèn)題，示例如例1和例2所示。

例1: 從首例病毒性肺炎到首例死亡病例……截至2020年1月7日21時(shí)，實(shí)驗(yàn)室檢出一種新型冠狀病毒，獲得該病毒的全基因組序列，經(jīng)核酸檢測(cè)方法共檢出新型冠狀病毒陽(yáng)性結(jié)果15例(1)https://www.bjnews.com.cn/news/2020/01/20/676837.html。

例2: 截至目前，我市累計(jì)報(bào)告新型冠狀病毒感染的肺炎病例41例，已治愈出院12例，在治重癥5例，死亡2例，其余患者病情穩(wěn)定，患者均在武漢市定點(diǎn)醫(yī)療機(jī)構(gòu)接受隔離治療(2)http://www.nhc.gov.cn/xcs/yqtb/202001/2f222cfb607e-4952a705ac34c420c057.shtml。

例1和例2中，“首例死亡病例”和“死亡2例”同時(shí)指向了死亡人數(shù)，而“新型冠狀病毒陽(yáng)性結(jié)果15例”和“感染的肺炎病例41例”同時(shí)指向了感染人數(shù)，對(duì)“死亡”和“感染”人數(shù)方面的研判證據(jù)采用了不同的描述形式，規(guī)則方法將無(wú)法保證規(guī)則集覆蓋所有的研判證據(jù)描述。

從上述例子可以看出，現(xiàn)有研究方法在研判證據(jù)提取上還存在著許多不足，這些不足直接影響了后續(xù)應(yīng)急處置的精準(zhǔn)性。本文提出的基于BiLSTM-CRF的序列標(biāo)注研判方法，實(shí)現(xiàn)了對(duì)研判證據(jù)更加細(xì)粒度化的識(shí)別，并結(jié)合注意力機(jī)制達(dá)到對(duì)社會(huì)突發(fā)事件精準(zhǔn)研判的目的。相比較于以往研究，本文采用序列標(biāo)注模型識(shí)別出研判證據(jù)，具有更好的靈活性和準(zhǔn)確性。其次，以往研究大多只考慮了應(yīng)急處置中的某一個(gè)環(huán)節(jié)，而忽略了不同環(huán)節(jié)之間的影響，本文將突發(fā)事件分類和等級(jí)研判結(jié)合，類別信息分別融入研判證據(jù)抽取和等級(jí)研判，從而提高等級(jí)研判效果。

1 基于BiLSTM-CRF的突發(fā)事件研判方法

社會(huì)突發(fā)事件研判任務(wù)是指針對(duì)某一條突發(fā)事件文本判定其具體突發(fā)事件類型和突發(fā)事件等級(jí)。受Mu等[9]和He等[10]的啟發(fā)，參考“事件抽取”的思想，將社會(huì)突發(fā)事件研判任務(wù)劃分為事件識(shí)別、事件分類、研判證據(jù)識(shí)別和等級(jí)研判四個(gè)子任務(wù)，通過(guò)對(duì)整個(gè)研判任務(wù)的細(xì)致劃分，獲取更加精準(zhǔn)的事件語(yǔ)義信息，達(dá)到增強(qiáng)研判效果的目的。

事件識(shí)別通過(guò)識(shí)別事件觸發(fā)詞，判斷文本中是否含有事件，來(lái)達(dá)到識(shí)別事件的目的，如“婚慶現(xiàn)場(chǎng)發(fā)生了爆炸”，以 “爆炸”為事件的觸發(fā)詞，判斷文本中是否包含突發(fā)事件，進(jìn)而對(duì)觸發(fā)詞進(jìn)行分類，從而確定突發(fā)事件的類型，由此便可知發(fā)生了什么事件，是什么類型。對(duì)于突發(fā)事件等級(jí)研判，其關(guān)鍵是研判證據(jù)的識(shí)別，但中文語(yǔ)言的不規(guī)則化和靈活性導(dǎo)致現(xiàn)有研判證據(jù)識(shí)別準(zhǔn)確率低，突發(fā)事件等級(jí)研判效果差。為了提高突發(fā)事件等級(jí)研判證據(jù)識(shí)別的準(zhǔn)確率，本文在研判證據(jù)識(shí)別中結(jié)合事件分類任務(wù)，融入突發(fā)事件類別信息。突發(fā)事件類型不僅會(huì)加強(qiáng)研判證據(jù)的識(shí)別能力，并且對(duì)突發(fā)事件等級(jí)研判有很大影響，如“臺(tái)風(fēng)登陸時(shí)中心附近最大風(fēng)力有13級(jí)(38米/秒)”，通過(guò)識(shí)別“臺(tái)風(fēng)”，可知突發(fā)事件發(fā)生，事件類型為“氣象災(zāi)害”，若人為知道突發(fā)事件類型為“氣象災(zāi)害”，可推斷到突發(fā)事件類型有“臺(tái)風(fēng)”“暴雨”“大霧”等具體事件[11-12]，從而推測(cè)出研判證據(jù)為“風(fēng)力”“降雨量”“能見(jiàn)度”等。為了使模型也能學(xué)習(xí)到這種關(guān)系，本文將類別信息融入研判證據(jù)識(shí)別任務(wù)中,進(jìn)而增加研判證據(jù)識(shí)別效果。在進(jìn)行等級(jí)研判時(shí)，為了避免其他因素的干擾，只將事件類型信息和研判證據(jù)作為等級(jí)研判的判別特征，整體方法框架如圖1所示。

圖1中，方法流程為先進(jìn)行事件識(shí)別和事件分類，再進(jìn)行研判證據(jù)識(shí)別，最后完成等級(jí)研判。研判證據(jù)的識(shí)別在輸入層結(jié)合了事件分類的結(jié)果，再將識(shí)別出來(lái)的研判證據(jù)和分類結(jié)果進(jìn)行等級(jí)研判。對(duì)研判證據(jù)的精準(zhǔn)識(shí)別，可在進(jìn)行等級(jí)研判時(shí)減少其他因素的影響，讓等級(jí)研判只跟識(shí)別出的研判證據(jù)和類別信息相關(guān)，由此研判的等級(jí)會(huì)更加精確。

圖1 方法框架

1.1 事件分類與研判證據(jù)識(shí)別

事件分類用標(biāo)注模型實(shí)現(xiàn)，包括觸發(fā)詞的識(shí)別和分類，將識(shí)別出的觸發(fā)詞進(jìn)行分類，即可確定突發(fā)事件的類別[13]。與分類模型相比，標(biāo)注模型對(duì)識(shí)別文本語(yǔ)義相似的不同類別事件有著更好的效果。事件分類的實(shí)現(xiàn)方法基于BiLSTM-CRF模型[14]，BiLSTM-CRF模型可以同時(shí)完成觸發(fā)詞識(shí)別和突發(fā)事件分類，減少錯(cuò)誤傳播，從而最終分類結(jié)果較好。首先文本經(jīng)過(guò)字符嵌入后，輸入到BiLSTM模型中，再通過(guò)CRF方法獲取序列標(biāo)注結(jié)果。由圖1可以看出，文本經(jīng)過(guò)模型識(shí)別出“爆炸”“縱火”等為激活事件元素[15]，進(jìn)而進(jìn)行事件分類，分成“安全事故”“刑事事件”等類別，從而得到了事件類型信息。

在本文提出的方法中，突發(fā)事件類型會(huì)作為等級(jí)研判環(huán)節(jié)的一部分，并將其當(dāng)作研判證據(jù)之一[16-17]。主要影響表現(xiàn)為：一是作為研判證據(jù)，成為等級(jí)研判的輸入，而與其他研判證據(jù)不同的是，突發(fā)事件類型含有突發(fā)事件的類別信息，既可作為單獨(dú)任務(wù)提供信息，也可結(jié)合其他任務(wù)。當(dāng)作為單獨(dú)任務(wù)時(shí)，屬于事件分類任務(wù)，對(duì)識(shí)別事件進(jìn)行分類，獲取突發(fā)事件類別信息。而不作為單獨(dú)任務(wù)時(shí)，則可成為等級(jí)研判的一環(huán)，從而提升等級(jí)研判的效果。其次便是類別信息對(duì)研判證據(jù)的影響，如上所述，當(dāng)發(fā)生了“氣象災(zāi)害”事件時(shí)，可以推斷出“風(fēng)力”“降雨量”等可能為其研判證據(jù)，由此便可看出類別信息很大程度上能幫助研判證據(jù)的識(shí)別?，F(xiàn)有的突發(fā)事件等級(jí)研判方法，由于研判證據(jù)的非標(biāo)準(zhǔn)化，傳統(tǒng)方法很難精準(zhǔn)識(shí)別出研判證據(jù)，而B(niǎo)iLSTM-CRF的序列標(biāo)注模型則可以細(xì)粒度地識(shí)別這些研判證據(jù)信息，考慮到類別信息對(duì)研判證據(jù)識(shí)別的影響，本文提出了基于類型信息融合的研判證據(jù)識(shí)別方法，此方法以BiLSTM-CRF模型為基礎(chǔ)，通過(guò)結(jié)合類別信息和原始文本，將得到的突發(fā)事件分類結(jié)果融合到研判證據(jù)的識(shí)別中，從而提高研判證據(jù)識(shí)別準(zhǔn)確度，研判證據(jù)識(shí)別模型的框架如圖2所示。

圖2 研判證據(jù)識(shí)別模型的框架

在研判證據(jù)識(shí)別模型中，輸入層中由下往上分別表示突發(fā)事件分類輸出結(jié)果和文本向量表示，將其類別信息與當(dāng)前輸入結(jié)合，經(jīng)過(guò)BiLSTM層進(jìn)行處理，再通過(guò)CRF層得到預(yù)測(cè)的序列標(biāo)注結(jié)果，則可得到研判證據(jù)識(shí)別結(jié)果。

輸入層：類別信息向量矩陣和輸入文本向量矩陣的結(jié)合語(yǔ)義向量表示。采用了預(yù)訓(xùn)練模型BERT(Bidirectional Encoder Representation from Transformers)來(lái)獲取文本的語(yǔ)義向量表示，BERT采用了雙向Transformer作為特征抽取，可以獲取更豐富的語(yǔ)義信息，文本經(jīng)過(guò)BERT模型將字符級(jí)嵌入轉(zhuǎn)換成向量形式[18]。類別信息和輸入文本經(jīng)過(guò)BERT獲取到各自的語(yǔ)義向量表示，結(jié)合后作為輸入層。

BiLSTM層：由BERT傳過(guò)來(lái)的向量矩陣，經(jīng)過(guò)BiLSTM層可以得到更多的語(yǔ)義信息。LSTM(Long Short-Term Memory)為長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)，是RNN的一個(gè)變種，可解決RNN在時(shí)間序列中長(zhǎng)期依賴丟失的問(wèn)題[19]。LSTM的輸入為向量矩陣，經(jīng)過(guò)下列步驟則可以得到隱藏層的向量表示。

CRF層：BiLSTM傳過(guò)來(lái)的概率矩陣通過(guò)條件隨機(jī)場(chǎng)(CRF)的方法來(lái)獲取序列的最優(yōu)標(biāo)記。在以往研究中，已表明CRF在序列標(biāo)注求解問(wèn)題上有很好的效果。傳入的BiLSTM的輸出的概率矩陣為Om*l，其中Oij表示第i個(gè)字符映射到第j個(gè)標(biāo)簽上的概率。當(dāng)已知序列seq={w1,w2,…,wn}的預(yù)測(cè)的標(biāo)簽序列為y={y1,y2,…,yn}，則從式(7)可以得到當(dāng)前序列的得分。

(7)

其中，A為轉(zhuǎn)移概率矩陣，該矩陣在對(duì)當(dāng)前位置進(jìn)行標(biāo)注時(shí)可以利用之前的標(biāo)注信息，Ayi,yi+1表示標(biāo)簽yi移到標(biāo)簽yi+1時(shí)的概率。通過(guò)求解f(x,y)的最大值來(lái)獲取最優(yōu)的標(biāo)簽序列，再采用動(dòng)態(tài)規(guī)劃算法來(lái)得到最優(yōu)標(biāo)注路徑。

輸出層：已標(biāo)注的序列文本。

通過(guò)輸出層輸出的已標(biāo)注的序列，可以識(shí)別出需要的研判證據(jù)，進(jìn)而通過(guò)研判證據(jù)決定突發(fā)事件的等級(jí)。

1.2 等級(jí)研判

等級(jí)研判為社會(huì)突發(fā)事件研判任務(wù)中的最后一個(gè)環(huán)節(jié)，該環(huán)節(jié)融合了分類結(jié)果和證據(jù)識(shí)別結(jié)果，當(dāng)獲取到突發(fā)事件類別信息和研判證據(jù)后，則可進(jìn)行等級(jí)研判。突發(fā)事件的等級(jí)研判只受類型和研判證據(jù)的影響，從而避免其他不相關(guān)因素對(duì)等級(jí)研判的影響。識(shí)別出來(lái)的研判證據(jù)結(jié)果和突發(fā)事件分類輸出結(jié)果進(jìn)行結(jié)合，作為等級(jí)研判任務(wù)的輸入，經(jīng)過(guò)BiLSTM層，再結(jié)合注意力機(jī)制，最終預(yù)測(cè)出當(dāng)前文本的突發(fā)事件等級(jí)。等級(jí)研判模型的框如圖3所示。

圖3 等級(jí)研判模型的框架

圖3中的“類型”表示事件分類的輸出結(jié)果?！把信凶C據(jù)”則表示研判證據(jù)的識(shí)別結(jié)果，將這兩部分同時(shí)輸入，進(jìn)行編碼，轉(zhuǎn)換成向量矩陣，輸入到BiLSTM層處理信息，再經(jīng)過(guò)注意力層，通過(guò)注意力機(jī)制來(lái)調(diào)節(jié)各個(gè)證據(jù)之間的權(quán)重大小。近些年，注意力機(jī)制在各個(gè)自然語(yǔ)言處理任務(wù)中已取得了不錯(cuò)的成績(jī)，由于等級(jí)研判時(shí)不同證據(jù)對(duì)研判的影響不同，加入注意力機(jī)制可以有效地處理這個(gè)問(wèn)題，從而提高等級(jí)研判的準(zhǔn)確性。由BiLSTM層輸出的特征向量矩陣H，經(jīng)過(guò)以下步驟得到注意力層的輸出γ,如式(8)～式(11)所示。

得到注意力層的輸出后，經(jīng)Softmax層分類輸出研判等級(jí)。

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集

社會(huì)突發(fā)事件的研判語(yǔ)料來(lái)源于政府網(wǎng)站信息公開(kāi)的突發(fā)事件通報(bào)及微博中突發(fā)事件新聞報(bào)道，標(biāo)注過(guò)程中參照《國(guó)家特別重大、重大突發(fā)公共事件分級(jí)標(biāo)準(zhǔn)(試行)》《貴州省突發(fā)事件分級(jí)標(biāo)準(zhǔn)》文件，確立標(biāo)注規(guī)范，標(biāo)注了突發(fā)事件的事件觸發(fā)詞、事件類型、研判證據(jù)和突發(fā)事件等級(jí)四部分，其中事件類型包括了安全事故、公共衛(wèi)生事件、地震災(zāi)害、氣象災(zāi)害及刑事事件五大類，突發(fā)事件等級(jí)包括特別重大(Ⅰ)、重大(Ⅱ)、較大(Ⅲ)和一般(Ⅳ)四個(gè)等級(jí)，按照此規(guī)范，共標(biāo)注突發(fā)事件數(shù)據(jù)2 000條，形成突發(fā)事件研判語(yǔ)料集，具體語(yǔ)料分布情況如表1所示。

表1 語(yǔ)料分布表

社會(huì)突發(fā)事件研判語(yǔ)料按照BIO標(biāo)注方式進(jìn)行標(biāo)注，標(biāo)注出上述五個(gè)類型的事件觸發(fā)詞，即激活事件的事件元素和事件類型，同時(shí)標(biāo)注出用于等級(jí)研判的研判證據(jù)和突發(fā)事件等級(jí)，如例3所示。

例3：2007年8月13日16時(shí)45分，湖南省湘西土家族苗族自治州鳳凰縣正在建設(shè)的堤溪沱江大橋發(fā)生特別重大坍塌事故，造成64人死亡、4人重傷、18人輕傷，直接經(jīng)濟(jì)損失3 974.7萬(wàn)元。事故發(fā)生后，黨中央、國(guó)務(wù)院領(lǐng)導(dǎo)同志作出重要批示，華建敏國(guó)務(wù)委員趕赴事故現(xiàn)場(chǎng)指導(dǎo)搶險(xiǎn)救援工作(3)https://www.bbaqw.com/js/701.html。

在例3中，將“坍塌事故”標(biāo)注為當(dāng)前文本的事件觸發(fā)詞，并確定當(dāng)前文本事件類型為“安全事故”。而“64人死亡”“4人重傷”“18人輕傷”和“經(jīng)濟(jì)損失3 974.7萬(wàn)元”是突發(fā)事件等級(jí)研判任務(wù)中的主要因素。在此文本中，這些證據(jù)同時(shí)作為評(píng)判突發(fā)事件等級(jí)的關(guān)鍵特征，都需要標(biāo)注，并按照標(biāo)注規(guī)范，確定當(dāng)前文本突發(fā)事件等級(jí)為“特別重大(Ⅰ)”。整個(gè)突發(fā)事件研判語(yǔ)料集采用例3中標(biāo)注方法進(jìn)行標(biāo)注，以小組內(nèi)交叉檢驗(yàn)方式進(jìn)行復(fù)查，歧義語(yǔ)料服從多數(shù)為準(zhǔn)原則。本文選取了已標(biāo)注突發(fā)事件研判語(yǔ)料集中的1 000份作為訓(xùn)練集，500份作為驗(yàn)證集，剩余500份為測(cè)試集。

2.2 實(shí)驗(yàn)設(shè)置

社會(huì)突發(fā)事件的研判研究，本文將其劃分為四個(gè)子任務(wù)，在事件識(shí)別任務(wù)中，對(duì)于結(jié)果的判定，要求其預(yù)測(cè)的觸發(fā)詞與預(yù)先標(biāo)注好的觸發(fā)詞匹配，才能判定正確;在事件分類任務(wù)中，目的是得到整個(gè)文本的突發(fā)事件類型，因此對(duì)于識(shí)別出的事件觸發(fā)詞，要求其類型正確，這是正確分類的前提。實(shí)驗(yàn)參數(shù)設(shè)置如下：輸入的維度max_seq_length為256，訓(xùn)練集的batch_size為16，測(cè)試集的batch_size為8，訓(xùn)練學(xué)習(xí)率為1×10-5，使用dropout來(lái)防止過(guò)擬合，值為0.5。對(duì)于突發(fā)事件研判證據(jù)識(shí)別，同樣要求預(yù)測(cè)出的研判證據(jù)與預(yù)先標(biāo)注好的研判證據(jù)一致，據(jù)此進(jìn)行判斷，而對(duì)于突發(fā)事件等級(jí)研判，要求預(yù)測(cè)出的等級(jí)和預(yù)先標(biāo)注等級(jí)一致。在研判證據(jù)識(shí)別任務(wù)中，使用了與事件分類任務(wù)相同的實(shí)驗(yàn)參數(shù)設(shè)置。對(duì)于等級(jí)研判任務(wù)，實(shí)驗(yàn)參數(shù)設(shè)置如下：輸入的維度max_seq_length為126，訓(xùn)練集與測(cè)試集batch_size為256，訓(xùn)練學(xué)習(xí)率為 1×10-3，dropout值為0.5。

評(píng)價(jià)標(biāo)準(zhǔn)采用了精準(zhǔn)度(P)、召回率(R)和F-score(F值)來(lái)評(píng)估事件識(shí)別和分類、研判證據(jù)識(shí)別和等級(jí)研判的效果，如式(12)～式(14)所示。

2.3 實(shí)驗(yàn)設(shè)置

按照上述方法和模型，將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，用訓(xùn)練集和驗(yàn)證集進(jìn)行訓(xùn)練與驗(yàn)證，將訓(xùn)練好的模型在測(cè)試集上進(jìn)行預(yù)測(cè)，根據(jù)預(yù)測(cè)結(jié)果與真實(shí)結(jié)果之間的差異進(jìn)行評(píng)估，評(píng)估結(jié)果如表2所示。

表2 基于序列標(biāo)注模型的研判結(jié)果表 (單位: %)

從表2中可以看到，事件識(shí)別和事件分類的F值相差了8.29%，造成如此差距是相近觸發(fā)詞導(dǎo)致。本文對(duì)于突發(fā)事件的類型分類，在于整個(gè)文本所屬類別，當(dāng)出現(xiàn)了觸發(fā)詞，但識(shí)別的位置和詞語(yǔ)與預(yù)先標(biāo)注好的不一致，預(yù)測(cè)的突發(fā)事件類型一樣時(shí)，也將判定為正確，具體示例如例4所示。

例4：9月13日上午，?？谑袞|湖南里發(fā)生一起故意傷害致死案：一男子持刀行兇，造成3名男子1死2傷(4)http://www.hinews.cn/news/system/2015/09/13/017797825.shtml。

例4中，標(biāo)注的事件觸發(fā)詞為“行兇”，事件類型為“刑事事件”，在進(jìn)行預(yù)測(cè)時(shí)并未識(shí)別出“行兇”，而將“故意傷害”作為事件的觸發(fā)詞識(shí)別出來(lái)，類型同樣也為“刑事事件”。在進(jìn)行突發(fā)事件類型判定時(shí)，其對(duì)于文本而言預(yù)測(cè)出來(lái)的類型正確則為正確。

表2中的研判證據(jù)識(shí)別(+類型)和研判證據(jù)識(shí)別分別表示在加入分類結(jié)果和不加入分類結(jié)果的研判證據(jù)識(shí)別效果，從表中可以看出，在融入了分類結(jié)果后，研判證據(jù)抽取的F值有明顯的提升。

突發(fā)等級(jí)研判與事件分類不同，從表2中可以看出，研判證據(jù)識(shí)別的F值比等級(jí)研判的F值高，研判證據(jù)正確識(shí)別決定等級(jí)研判的準(zhǔn)確性，若缺少研判證據(jù)，則大部分情況下都會(huì)造成判定的等級(jí)過(guò)低，具體示例如例5所示。

例5：8月19日15時(shí)05分，一輛安陽(yáng)市區(qū)至安陽(yáng)縣北郭鄉(xiāng)的公交車上發(fā)生持刀搶劫殺人案。車上33名乘客，15人被捅傷，其中2人在救治途中死亡，1名傷者經(jīng)搶救無(wú)效死亡(5)http://news.cntv.cn/special/anyanggjqja。

例5中，通過(guò)文中模型可以識(shí)別出當(dāng)前類型為“刑事事件”，但對(duì)于其他等級(jí)研判特征的識(shí)別并未識(shí)別完全，文中模型識(shí)別出了“15人被捅傷”，而未識(shí)別出死亡研判證據(jù)，因此導(dǎo)致了最終的研判等級(jí)變低。

社會(huì)突發(fā)事件等級(jí)研判任務(wù)的最終目的是突發(fā)事件分類和等級(jí)研判，從表2中可以看到以BiLSTM-CRF的序列標(biāo)注模型完成的突發(fā)事件分類和等級(jí)研判的效果，為了證明序列標(biāo)注模型的有效性，本文將徐緒堪等[8]所使用的隨機(jī)森林模型進(jìn)行復(fù)現(xiàn)，從而作為對(duì)比，同時(shí)也加入了BERT模型作為對(duì)比，結(jié)果如表3所示。

表3 實(shí)驗(yàn)對(duì)比表

由表3可以看出，序列標(biāo)注模型的實(shí)驗(yàn)結(jié)果最好。當(dāng)使用徐緒堪等[8]的方法，其效果與BERT模型以及序列標(biāo)注模型都相差較多，造成這種情況的可能原因便是隨機(jī)森林模型在徐緒堪等[8]的實(shí)驗(yàn)中所使用的語(yǔ)料集規(guī)模較少，只有一種突發(fā)事件類型，當(dāng)擴(kuò)大語(yǔ)料集和突發(fā)事件類別種類時(shí)便達(dá)不到較好的效果。序列標(biāo)注模型在事件分類中比BERT模型F值提高了1.81%，在事件分類任務(wù)中，序列標(biāo)注模型能更加有效地識(shí)別文中的類別信息，即事件的觸發(fā)詞，相比較于BERT模型直接用整句語(yǔ)義向量進(jìn)行分類而言，序列標(biāo)注模型能有效避免噪點(diǎn)信息的干擾。等級(jí)研判中序列標(biāo)注模型與隨機(jī)森林模型和BERT模型相比，F(xiàn)值分別提高了30.21%和8.73%。隨機(jī)森林模型除上述提到的數(shù)據(jù)規(guī)模擴(kuò)大、效果不佳的情況外，另一個(gè)較為重要的原因便是由于語(yǔ)言的靈活性，采用規(guī)則的方法[20-21]并不能很好地識(shí)別研判證據(jù)，從而導(dǎo)致等級(jí)研判結(jié)果較差，而B(niǎo)ERT模型采用了句子語(yǔ)義信息來(lái)作為研判證據(jù)，其證據(jù)不如采用序列模型識(shí)別出的證據(jù)精確，如此便忽略了類別信息對(duì)研判證據(jù)的影響。本文通過(guò)對(duì)社會(huì)突發(fā)事件研判任務(wù)的重新劃分，結(jié)合類別信息來(lái)增加社會(huì)突發(fā)事件研判證據(jù)識(shí)別的準(zhǔn)確性，從而提高等級(jí)研判的準(zhǔn)確性。如此，本文序列標(biāo)注模型在實(shí)驗(yàn)中表現(xiàn)最佳。

3 總結(jié)與展望

本文中提出了基于序列標(biāo)注模型來(lái)完成社會(huì)突發(fā)事件的研判方法，相比較以往研究，此方法能更加靈活準(zhǔn)確地識(shí)別出研判證據(jù)，通過(guò)使用BiLSTM-CRF的方法提高識(shí)別的準(zhǔn)確率，同時(shí)將事件分類和等級(jí)研判結(jié)合起來(lái)，來(lái)優(yōu)化等級(jí)研判的效果。目前本文中只考慮到了單一突發(fā)事件的情況，但有時(shí)一個(gè)社會(huì)突發(fā)事件的發(fā)生可能產(chǎn)生其他衍生突發(fā)事件，此時(shí)若要對(duì)當(dāng)前突發(fā)事件進(jìn)行等級(jí)研判則需考慮到其衍生突發(fā)事件的影響。接下來(lái)的工作將會(huì)加入衍生突發(fā)事件，若當(dāng)前突發(fā)事件產(chǎn)生了其他衍生突發(fā)事件，則判定其對(duì)當(dāng)前突發(fā)事件有聯(lián)系性和影響性，再而進(jìn)行突發(fā)事件的等級(jí)研判。