胡 偉，禹 龍，田生偉，吐爾根·依布拉音，馮冠軍，艾斯卡爾·艾木都拉

(1. 新疆大學(xué) 軟件學(xué)院，新疆 烏魯木齊 830008； 2. 新疆大學(xué) 網(wǎng)絡(luò)中心，新疆 烏魯木齊 830046；3. 新疆大學(xué) 信息科學(xué)與工程學(xué)院，新疆 烏魯木齊 830046； 4. 新疆大學(xué) 人文學(xué)院,新疆 烏魯木齊 830046)

0 引言

維吾爾語(yǔ)事件伴隨關(guān)系有著廣泛的應(yīng)用前景,事件伴隨關(guān)系指的是一個(gè)事件的發(fā)生伴隨著另一個(gè)事件的發(fā)生，兩者在時(shí)間上具有緊密性，反映的是事件間的一種語(yǔ)義關(guān)系。通過對(duì)事件伴隨關(guān)系的研究有助于了解事件發(fā)生的諸多因素，從而獲取事件的演變過程，在某種程度上為決策者對(duì)事件后期發(fā)展的預(yù)判提供重要的信息。如例1(維吾爾語(yǔ)的書寫格式為從右向左，下文同)。

(美國(guó)得克薩斯州西南部地區(qū)一輛教會(huì)巴士與輕型貨車相撞。當(dāng)?shù)鼐奖硎臼鹿室呀?jīng)造成12人死亡，3人受傷。)

鑒于事件伴隨關(guān)系具有的重要意義，本文提出一種基于DBN的維吾爾語(yǔ)事件伴隨關(guān)系的識(shí)別方法，從而有助于更加全面地理解事件關(guān)系。通過這種方法能夠有效識(shí)別出維吾爾語(yǔ)文本中的具有伴隨關(guān)系的事件對(duì)，利用多層受限玻爾茲曼機(jī)(restricted Boltzmann machine,RBM)提取事件對(duì)中隱含的語(yǔ)義和句法關(guān)系，不僅能夠進(jìn)行句子間的伴隨關(guān)系的識(shí)別，而且對(duì)跨句的伴隨關(guān)系的識(shí)別仍然有效，克服了由于缺少事件伴隨關(guān)系連接詞所帶來的識(shí)別難的問題。

1 相關(guān)工作

深度學(xué)習(xí)相對(duì)于淺層學(xué)習(xí)而言，具有更強(qiáng)的表達(dá)能力，是機(jī)器學(xué)習(xí)研究中的一個(gè)新領(lǐng)域。早在2006年Hinton等人指出，深層神經(jīng)網(wǎng)絡(luò)(deep neural network, DNN)具有更好的特征學(xué)習(xí)能力，隨著深度學(xué)習(xí)方法在圖像和語(yǔ)音領(lǐng)域的應(yīng)用，越來越多的深度學(xué)習(xí)方法被應(yīng)用于自然語(yǔ)言處理領(lǐng)域，梁軍等人[1]利用遞歸神經(jīng)網(wǎng)絡(luò)來發(fā)現(xiàn)與微博任務(wù)相關(guān)的特征進(jìn)行微博情感分析的研究。趙妍妍等人[2]采用基于觸發(fā)詞擴(kuò)展和二元分類相結(jié)合的方法進(jìn)行事件類別識(shí)別，以及基于最大熵的多元分類的方法進(jìn)行事件元素識(shí)別的事件抽取任務(wù)。Hen-Hsen Huang等人[3]提出一種半監(jiān)督的DCNN(dependency-based convolutional neural network)模型用于中文時(shí)態(tài)標(biāo)注和因果關(guān)系分析。Jing Lu等人[4]提出應(yīng)用MLN(Markov Logic Network)進(jìn)行事件共指消解的研究，主要是在低維空間的單元子句中，通過擴(kuò)大MLN的分布來將實(shí)驗(yàn)所需要的特征加入到模型中進(jìn)行訓(xùn)練。Abhyuday N Jagannatha等人[5]利用雙向RNN(bidirectional recurrent neural network)進(jìn)行醫(yī)學(xué)事件檢測(cè)。Hao Li等人[6]利用跨文本類型知識(shí)的方法進(jìn)行事件結(jié)構(gòu)信息的提取。

上述是國(guó)內(nèi)外有關(guān)事件的研究，主要集中在漢語(yǔ)和英語(yǔ)等大語(yǔ)種的相關(guān)研究領(lǐng)域，研究方向包括事件抽取、事件檢測(cè)和事件因果關(guān)系分析等。而對(duì)于像維吾爾語(yǔ)、蒙古語(yǔ)和藏語(yǔ)等少數(shù)民族語(yǔ)言的相關(guān)研究主要有： 瑪爾哈巴·艾賽提等人[7]分析了維吾爾語(yǔ)情感詞匯在上下文中表現(xiàn)的特征,并結(jié)合維吾爾語(yǔ)本身的語(yǔ)法特征,提出基于語(yǔ)法的維吾爾語(yǔ)情感詞匯自動(dòng)獲??；孫媛等人[8]在藏漢可比語(yǔ)料的基礎(chǔ)上,利用詞向量對(duì)文本詞語(yǔ)進(jìn)行語(yǔ)義擴(kuò)展,進(jìn)而構(gòu)建LDA話題模型,并利用Gibbs sampling進(jìn)行模型參數(shù)的估計(jì),抽取出藏語(yǔ)和漢語(yǔ)話題；鐘軍等人[9]提出了一種基于雙層模型的抽取方法，用來進(jìn)行維吾爾語(yǔ)突發(fā)事件因果關(guān)系的抽?。秽崄嗛热薣10]提出一種基于詞向量模型的詞性標(biāo)注方法和相應(yīng)算法,該方法首先利用詞向量的語(yǔ)義近似計(jì)算功能,擴(kuò)展標(biāo)注詞典;其次結(jié)合語(yǔ)義近似計(jì)算和標(biāo)注詞典,完成詞性標(biāo)注。對(duì)于少數(shù)民族語(yǔ)言的相關(guān)研究，主要集中在詞性標(biāo)注、情感分析等方面，而對(duì)于維吾爾語(yǔ)事件伴隨關(guān)系的研究卻很少。

本文在前人相關(guān)研究基礎(chǔ)上，通過對(duì)維吾爾語(yǔ)語(yǔ)言特點(diǎn)的分析，根據(jù)深度信念網(wǎng)絡(luò)的無監(jiān)督學(xué)習(xí)算法，利用逐層貪婪預(yù)訓(xùn)練的方式解決深度學(xué)習(xí)模型優(yōu)化困難的問題，提出基于DBN的深度學(xué)習(xí)思想進(jìn)行維吾爾語(yǔ)事件伴隨關(guān)系的識(shí)別。根據(jù)維吾爾語(yǔ)具體的語(yǔ)言特性和事件伴隨關(guān)系的特點(diǎn)，本文抽取出基于事件結(jié)構(gòu)信息的12項(xiàng)特征，同時(shí)為充分利用事件與對(duì)應(yīng)觸發(fā)詞間的語(yǔ)義信息，引入詞向量來計(jì)算觸發(fā)詞間的語(yǔ)義相似度，融合兩類特征構(gòu)建訓(xùn)練和測(cè)試數(shù)據(jù)，接著將訓(xùn)練數(shù)據(jù)作為DBN模型的輸入，利用無監(jiān)督逐層貪婪算法完成訓(xùn)練過程，最后引入softmax分類器實(shí)現(xiàn)維吾爾語(yǔ)事件伴隨關(guān)系識(shí)別任務(wù)。

2 維吾爾語(yǔ)相關(guān)事件定義

定義1事件(event)： 指在特定時(shí)間和環(huán)境下發(fā)生的，由若干角色參與的，表現(xiàn)出一些動(dòng)作特征的一件事情[11]。其中事件發(fā)生的時(shí)間、地點(diǎn)和參與角色稱為事件要素。

定義2事件觸發(fā)詞(eventtriggerword)： 事件觸發(fā)詞直接引起事件的發(fā)生，是決定事件類別的重要特征，在一些文獻(xiàn)中也稱作事件指示詞。

定義3泛指事件(generalevent): 在文本中包含事件觸發(fā)詞，但是通過聯(lián)系文本上下文信息，該事件觸發(fā)詞并不能表示一個(gè)事件的發(fā)生，這類事件稱之為泛指事件。

(據(jù)新疆地震(E1)局預(yù)測(cè)……)

定義4語(yǔ)義類別(semanticclass)： 語(yǔ)言學(xué)中的語(yǔ)義是語(yǔ)言形式和言語(yǔ)形式所表現(xiàn)出來的全部意義，而語(yǔ)言的意義又包括詞義和句義兩種，同時(shí)根據(jù)語(yǔ)義的分析，并非所有的語(yǔ)義都具有類別。根據(jù)實(shí)驗(yàn)組維吾爾語(yǔ)語(yǔ)言學(xué)專家的意見，將維吾爾語(yǔ)中具有語(yǔ)義的語(yǔ)義類別劃分為“rel_關(guān)系”、“time_時(shí)間”等14個(gè)類別(詳見附錄1)。

定義5事件的類別及事件子類別(typeandsubtype)： 根據(jù)ACE(automatic content extraction)語(yǔ)料和實(shí)驗(yàn)組維吾爾語(yǔ)語(yǔ)言專家的意見，結(jié)合維吾爾語(yǔ)語(yǔ)言的特性，將事件的類別劃分為“突發(fā)事件”、“生命”等八個(gè)大類,并且每個(gè)事件類別又對(duì)應(yīng)若干個(gè)事件子類別(詳見附錄2)。

定義6事件極性(polarity)： 根據(jù)ACE(Automatic content extraction)語(yǔ)料和實(shí)驗(yàn)組維吾爾語(yǔ)語(yǔ)言專家的意見，將事件的極性分為negative(根據(jù)事件的上下文信息，若明確指出該事件沒有發(fā)生，則該事件的極性為negative)和positive(根據(jù)事件的上下文信息，若明確指出該事件已經(jīng)發(fā)生或正在發(fā)生，則該事件的極性為positive)兩類。

3 維吾爾語(yǔ)事件伴隨關(guān)系識(shí)別模型

本文提出利用DBN模型完成維吾爾語(yǔ)事件伴隨關(guān)系的識(shí)別，在實(shí)驗(yàn)組維吾爾語(yǔ)語(yǔ)言專家指導(dǎo)下對(duì)實(shí)驗(yàn)語(yǔ)料進(jìn)行標(biāo)注。標(biāo)注的內(nèi)容主要包括： 事件觸發(fā)詞、事件指示詞、事件類型、事件的語(yǔ)義類別等。本研究的主要過程是： 對(duì)已標(biāo)注的語(yǔ)料進(jìn)行候選事件對(duì)的提取，而后在此基礎(chǔ)上進(jìn)行特征抽取，從而生成訓(xùn)練數(shù)據(jù)，最后用得到的訓(xùn)練數(shù)據(jù)訓(xùn)練DBN模型并帶到softmax分類器中完成事件伴隨關(guān)系的識(shí)別。整個(gè)識(shí)別過程如圖1所示。

圖1 維吾爾語(yǔ)事件伴隨關(guān)系識(shí)別過程

3.1 候選事件對(duì)的抽取

候選事件對(duì)的抽取是本研究的基礎(chǔ)，將直接影響后續(xù)研究的進(jìn)行，正確地進(jìn)行候選事件對(duì)的抽取，不僅能夠達(dá)到去重、去噪的目的，而且有助于提高實(shí)驗(yàn)的性能。具體抽取過程如下：

Step1取出語(yǔ)料庫(kù)中所有事件，存入列表eventList中。

Step2循環(huán)遍歷列表eventList，依次取出列表中的事件e，判斷該事件對(duì)應(yīng)的伴隨事件是否為空，如果不為空，將該事件對(duì)應(yīng)的伴隨事件存入集合{followEvent}中，同時(shí)將該事件和其所對(duì)應(yīng)的伴隨事件作為候選事件對(duì)，將其作為實(shí)驗(yàn)的正例，如果為空并且該事件不是泛指事件，則將該事件存入集合{events}中。

Step3重復(fù)Step2，直到列表eventList為空。

Step4完成上述步驟之后，將集合{events}中含有集合{followEvent}的元素移除掉。同時(shí)對(duì)集合{events}中剩余元素進(jìn)行兩兩組對(duì)作為候選事件對(duì)，并將其作為實(shí)驗(yàn)的負(fù)例。

Step5最后將Step2和Step4得到的候選事件對(duì)融合起來，作為實(shí)驗(yàn)總的候選事件對(duì)。

3.2 特征提取

實(shí)驗(yàn)中提取的特征是否有效對(duì)深度信念網(wǎng)絡(luò)的識(shí)別效果有直接的影響，使用準(zhǔn)確的特征對(duì)文本進(jìn)行描述，有助于實(shí)驗(yàn)效果的提升。本次實(shí)驗(yàn)結(jié)合實(shí)驗(yàn)組維吾爾語(yǔ)語(yǔ)言學(xué)專家總結(jié)的關(guān)于維吾爾語(yǔ)語(yǔ)言特性及維吾爾語(yǔ)事件伴隨關(guān)系的特點(diǎn)，選取12個(gè)特征進(jìn)行事件伴隨關(guān)系的識(shí)別。通過以下實(shí)例(例3)對(duì)實(shí)驗(yàn)所提取的特征進(jìn)行介紹。

例3

(也門海岸上一艘搭載索馬里難民的船只遭受武裝直升機(jī)的襲擊(E1)，事故現(xiàn)場(chǎng)十分慘烈，造成至少31名難民死亡(E2)。)

(1) 事件類別(type)： 若事件類別相同，特征值取1，否則取0，根據(jù)定義5知事件E1的事件類別為突發(fā)事件，事件E2的事件類別為生命。故例3中特征值為0。

(2) 事件子類別(subtype)： 若事件子類型相同，特征值取1，否則取0。根據(jù)定義5可知，事件E1的子類別為恐怖襲擊，事件E2放入子類別死亡。故例3中特征值取0。

(3) 事件的極性(polarity)： 事件的極性有po-sitive和negative兩種。若事件極性相同，特征值取1，否則取0。根據(jù)定義6可知例3中事件E1和事件E2的極性都為positive，故特征值取1。

(4) 事件的時(shí)態(tài)(tense)： 事件的時(shí)態(tài)可以分為past_event、now_event、future_event和unspecified_event。若時(shí)態(tài)相同，特征值取1，否則，同取0。例3中，事件E1和事件E2的時(shí)態(tài)都為past_event，故特征值取1。

(5) 觸發(fā)詞的語(yǔ)義類別(semantic type)： 若觸發(fā)詞的語(yǔ)義類別相同，特征值取1，否則取0。根據(jù)定義4知，例3中事件E1和事件E2的觸發(fā)詞語(yǔ)義類別都為event_事件，故特征值取1。

(6) 事件觸發(fā)詞的詞性(triggerPOS)： 若事件觸發(fā)詞的詞性相同，特征值取1，否則0。例3中事件E1的觸發(fā)詞詞性為普通名詞，事件E2的觸發(fā)詞詞性為動(dòng)詞，故特征值取0。

(7) 兩個(gè)事件是否具有依存關(guān)系(dependency)： 所謂兩個(gè)事件具有依存關(guān)系，指的是這兩個(gè)事件的觸發(fā)詞出現(xiàn)在一個(gè)句子中。若具有依存關(guān)系，特征值取1，否則取0。例3中事件E1和事件E2對(duì)應(yīng)的觸發(fā)詞都出現(xiàn)在一個(gè)句子中，故特征值取1。

(8) 兩個(gè)事件在文本中出現(xiàn)的先后順序(EventSeq)： 實(shí)驗(yàn)中根據(jù)觸發(fā)詞在文本中出現(xiàn)的先后順序來代表候選事件對(duì)對(duì)應(yīng)的兩個(gè)事件在文本中出現(xiàn)的先后順序，若兩者對(duì)應(yīng)，特征值取1，否則取0。經(jīng)實(shí)驗(yàn)可知例3中特征值取1。

(9) 兩個(gè)事件的觸發(fā)詞類型是否相同(triggertype)： 在語(yǔ)料設(shè)置中，事件的觸發(fā)詞類型有泛指事件、本句事件、非本句事件等。觸發(fā)詞類型相同，特征值1，否則取0。例3中，事件E1是本句事件，事件E2是本句事件，故特征值取1。

(10) 兩個(gè)事件之間的相對(duì)距離(reldistance)： 通過計(jì)算實(shí)驗(yàn)語(yǔ)料庫(kù)中所有抽取的候選事件對(duì)對(duì)應(yīng)觸發(fā)詞之間的相對(duì)距離劃定一個(gè)最優(yōu)的距離范圍，經(jīng)計(jì)算可知相對(duì)距離在[0,15]之間的事件對(duì)約占10%,[16,55]之間的約占78%，大于55的約占12%，故本次實(shí)驗(yàn)劃定相對(duì)距離范圍為[15,55]。若兩個(gè)事件之間的相對(duì)距離在劃定范圍內(nèi)，特征值取1，否則取0。在例3中，事件E1和事件E2對(duì)應(yīng)觸發(fā)詞的相對(duì)距離為16，故特征值取1。

(11) 兩個(gè)事件之間間隔事件的事件數(shù)(interevent)： 通過計(jì)算實(shí)驗(yàn)語(yǔ)料庫(kù)中所有候選事件對(duì)之間間隔的事件數(shù)并且劃定一個(gè)最優(yōu)的范圍，經(jīng)實(shí)驗(yàn)計(jì)算可知，[0,3]之間約占8.5%,[3,5]約占82%，大于5的約占9.5%，故本次實(shí)驗(yàn)劃定的間隔事件數(shù)的范圍是[3,5]。若兩個(gè)事件之間間隔的事件數(shù)在這個(gè)范圍內(nèi)，特征值取1，否則取0。例3中，事件E1和事件E2間隔的事件數(shù)為0，故特征值取0。

(12) 兩個(gè)事件之間間隔句子數(shù)(intersentence)： 在文本中候選事件對(duì)之間通常間隔的句子數(shù)較少，甚至沒有間隔的句子。在實(shí)驗(yàn)中通過計(jì)算所有候選事件對(duì)之間間隔的句子數(shù)可以看出，間隔句子數(shù)范圍在[0,2]之間的事件對(duì)約占86.7%，所以本實(shí)驗(yàn)中，事件之間間隔的句子數(shù)在[0,2]范圍內(nèi)對(duì)應(yīng)的特征值取1，否則取0。例3中，事件E1和事件E2之間間隔的句子數(shù)為1，故特征值取1。

(13) 候選事件對(duì)對(duì)應(yīng)觸發(fā)詞的語(yǔ)義相似度： 根據(jù)觸發(fā)詞間的語(yǔ)義信息，利用詞向量計(jì)算候選事件對(duì)對(duì)應(yīng)觸發(fā)詞之間的語(yǔ)義相似度，將其作為實(shí)驗(yàn)的特征之一。

3.3 深度信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)(deep belief network，DBN)是深度學(xué)習(xí)中重要的模型[12]。由Hinton等人[13]于2006年提出，其采用逐層貪婪的學(xué)習(xí)方法，能夠有效避免傳統(tǒng)的梯度下降算法針對(duì)多隱層訓(xùn)練效果不佳的問題，已被成功應(yīng)用于圖像、語(yǔ)音和文檔等對(duì)象的建模、特征抽取、識(shí)別等[14-15]。

由于DBN模型良好的特征學(xué)習(xí)能力，本文提出一種基于DBN模型的維吾爾語(yǔ)事件伴隨關(guān)系的識(shí)別方法，利用該模型從原始的特征集中學(xué)習(xí)到更加抽象且高度區(qū)分的特征，最后作為softmax分類器的輸入實(shí)現(xiàn)分類。DBN模型由多層無監(jiān)督的受限玻爾茲曼機(jī)(restricted Boltzmann machine,RBM)和一層有監(jiān)督的反向傳播(back-propagation,BP)網(wǎng)絡(luò)組成，如圖2所示。

圖2 DBN模型框架

DBN的訓(xùn)練包括“預(yù)訓(xùn)練”和“微調(diào)”兩個(gè)階段，“預(yù)訓(xùn)練”階段采用逐層訓(xùn)練的方式對(duì)各層的RBM進(jìn)行訓(xùn)練，低一層RBM的隱含層輸出作為高一層RBM的可見層的輸入。“微調(diào)”階段是在經(jīng)過預(yù)訓(xùn)練之后，為使模型具有更好的表現(xiàn)能力，在DBN模型的最后一層設(shè)置BP網(wǎng)絡(luò)，用以接收RBM的輸出特征向量作為它的輸入特征向量。采用BP算法，利用梯度下降的方法對(duì)整個(gè)DBN進(jìn)行優(yōu)化、微調(diào)，是一個(gè)有監(jiān)督的學(xué)習(xí)過程。

3.4 受限玻爾茲曼機(jī)

受限玻爾茲曼機(jī)(restricted Boltzmann machine,RBM)是一類具有兩層結(jié)構(gòu)、對(duì)稱連接且無自反饋的神經(jīng)網(wǎng)絡(luò)模型[16],由一個(gè)隱含層和一個(gè)可見層組成,其層內(nèi)各神經(jīng)元無連接，層間神經(jīng)元全連接，各個(gè)隱含層節(jié)點(diǎn)的各個(gè)激活狀態(tài)之間是相互獨(dú)立的，如圖3所示。其中，W是兩層之間的連接權(quán)重。

圖3 RBM網(wǎng)絡(luò)結(jié)構(gòu)

在RBM中，可見單元和隱藏單元都是二元變量，其狀態(tài)僅為{0,1}，由于其是一種基于能量的模型，輸入v向量和隱含層輸出向量h之間的能量函數(shù)值為：

(1)

式中，θ是RBM的參數(shù)，W是可見單元與隱藏單元邊的鏈接權(quán)重，ai和bj分別是可見單元和隱藏單元的偏置?；谠撃芰亢瘮?shù)，可得到v和h的聯(lián)合概率，如式(2)所示。

(2)

(3)

接下來通過最大化p(v)來得到RBM的參數(shù)，在這里最大化等同于最大化log(p(v))=L(θ)，如式(4)所示。

(4)

通過L(θ)利用隨機(jī)梯度下降法來最大化L(θ)，首先L(θ)需要對(duì)W進(jìn)行求導(dǎo)，經(jīng)過簡(jiǎn)化如式(5)所示。

(5)

對(duì)于式(5)而言，等式右邊的第一項(xiàng)較為容易計(jì)算，而等式右邊第二項(xiàng)在通常情況下基本不可解，由分析可知：

(6)

為求解(6)式，采用Hinton[17]提出的對(duì)比散度(contrastive divergence,CD)算法進(jìn)行求解。從而可以得到：

重構(gòu)的可見向量v1和隱藏向量h1就是對(duì)p(v,h)的一次抽樣，多次抽樣得到的樣本集合可以看作是對(duì)p(v,h)的一種近似，使得式(5)的計(jì)算變得可行。

3.5 詞向量

基于神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的詞向量蘊(yùn)含豐富的上下文語(yǔ)義信息，在實(shí)驗(yàn)中引入詞向量充分表示當(dāng)前事件所對(duì)應(yīng)的觸發(fā)詞在文本中的語(yǔ)義信息，同時(shí)避免了維數(shù)災(zāi)難[18]。

本文使用Mikolov[19]提出的Word2Vec工具訓(xùn)練得到詞向量，選擇Skip-gram+HS模型作為訓(xùn)練框架。為了更準(zhǔn)確地獲取每個(gè)觸發(fā)詞在低維空間中的語(yǔ)義分布情況，本文在原有語(yǔ)料的基礎(chǔ)之上進(jìn)行了擴(kuò)充。選取維吾爾語(yǔ)版網(wǎng)頁(yè)作為語(yǔ)料來源，利用網(wǎng)絡(luò)爬蟲下載網(wǎng)頁(yè)，進(jìn)行去重、去噪處理，得到不限題材并且未標(biāo)注的生語(yǔ)料。

下面通過一個(gè)具體的例子來闡述本次實(shí)驗(yàn)如何利用詞向量進(jìn)行觸發(fā)詞間語(yǔ)義相似度的計(jì)算(詞向量維度以10維為例)

例4

(在某地高速公路上發(fā)生一起嚴(yán)重的車禍(E1)，現(xiàn)場(chǎng)造成10人死亡(E2))。

表1 例4中兩個(gè)觸發(fā)詞的詞向量

從表1中得到事件E1和E2對(duì)應(yīng)觸發(fā)詞的詞向量，利用二者之間的余弦值來表示兩個(gè)觸發(fā)詞之間的語(yǔ)義相似度，通過計(jì)算得到上述兩個(gè)觸發(fā)詞之間的語(yǔ)義相似度為0.144 3，而后將其作為一個(gè)特征，并將其加入到對(duì)應(yīng)事件對(duì)的特征集中。

4 實(shí)驗(yàn)結(jié)果與分析

為了便于比較，本文采用準(zhǔn)確率P、召回率R和F值三個(gè)重要指標(biāo)來對(duì)事件伴隨關(guān)系的識(shí)別結(jié)果進(jìn)行衡量。其中準(zhǔn)確率是指正確識(shí)別的對(duì)象個(gè)數(shù)占實(shí)際識(shí)別的對(duì)象個(gè)數(shù)的百分比。召回率是指正確識(shí)別的對(duì)象個(gè)數(shù)占識(shí)別系統(tǒng)應(yīng)該識(shí)別對(duì)象個(gè)數(shù)的百分比。F值是正確率和召回率的綜合評(píng)價(jià)指標(biāo)，即:F=P×R×2/(P+R)。本文所有實(shí)驗(yàn)均采用五折交叉驗(yàn)證，為保證結(jié)果的穩(wěn)定性，取平均值作為最終的實(shí)驗(yàn)結(jié)果。

4.1 基于DBN模型的有效性驗(yàn)證

在不引入詞向量的前提下，使用3.2節(jié)提取的前12個(gè)特征構(gòu)成的特征向量作為輸入，利用DBNi(表示DBN神經(jīng)網(wǎng)絡(luò)的層數(shù)為i)和SVM進(jìn)行對(duì)比實(shí)驗(yàn)。SVM是處理非線性數(shù)據(jù)較好的淺層機(jī)器學(xué)習(xí)模型，因此本文選用SVM模型作為Baseline進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。

表2 基于DBN的有效性驗(yàn)證

從表2可以看出，不同層數(shù)的DBN模型，對(duì)于實(shí)驗(yàn)性能的影響也有所不同，這是因?yàn)椴煌瑢訑?shù)的DBN模型，在通過多層映射之后所提取出的結(jié)構(gòu)信息有所不同，由表2可知，當(dāng)DBN模型層數(shù)為2時(shí)相對(duì)于DBN模型的其他層數(shù)性能更優(yōu)，其F值達(dá)到76.86%，較淺層SVM機(jī)器學(xué)習(xí)模型提高了2.56%，說明在本任務(wù)中基于深度學(xué)習(xí)的模型較基于淺層的機(jī)器學(xué)習(xí)模型具有更好的表達(dá)能力。

4.2 特征選取對(duì)模型性能的影響

在維吾爾語(yǔ)事件伴隨關(guān)系識(shí)別過程中，特征的選擇對(duì)模型性能的影響較大，為了探討特征的選擇對(duì)模型性能的影響，本文基于4.1節(jié)中實(shí)驗(yàn)效果最佳的DBN2來詳細(xì)說明特征的選擇對(duì)模型性能的影響。去掉4.2節(jié)中前12項(xiàng)特征中的某一項(xiàng)，將剩余的11項(xiàng)特征構(gòu)成新的特征集，將該特征集作為模型的輸入進(jìn)行特征有效性驗(yàn)證，如表3所示，表中每一行的結(jié)果為去掉對(duì)應(yīng)特征后得到的結(jié)果。

表3 特征選取對(duì)模型性能的影響

續(xù)表

由表3可知，在去掉某一項(xiàng)特征之后模型的準(zhǔn)確率、召回率以及F值與包含全部特征相比均有所下降，由此證明3.2節(jié)提取的規(guī)則特征在維吾爾語(yǔ)事件伴隨關(guān)系上的有效性。

4.3 詞向量對(duì)實(shí)驗(yàn)結(jié)果的影響

詞向量富含豐富的上下文語(yǔ)義信息，為探討Word Embedding 對(duì)模型的分層結(jié)構(gòu)學(xué)習(xí)性能的影響，實(shí)驗(yàn)選用50維的詞向量進(jìn)行實(shí)驗(yàn)，依次訓(xùn)練DBN1、DBN2、DBN3、DBN4。實(shí)驗(yàn)結(jié)果如表4所示，其中DBNi+W_E表示，在原有特征集中加入對(duì)應(yīng)候選事件對(duì)的觸發(fā)詞的語(yǔ)義相似度的特征。

表4 Word Embedding對(duì)實(shí)驗(yàn)結(jié)果的影響

從表4可知，詞向量對(duì)不同層次的DBN模型都是有效的。這是因?yàn)樵~向量每一維都包含豐富的上下文信息，能夠很好地表示語(yǔ)義特征，并且使語(yǔ)義類似的觸發(fā)詞，其向量表示也比較接近，進(jìn)一步促進(jìn)模型對(duì)語(yǔ)料深層語(yǔ)義的學(xué)習(xí)，進(jìn)而提高了模型對(duì)維吾爾語(yǔ)事件伴隨關(guān)系的識(shí)別性能。在引入詞向量訓(xùn)練DBN2時(shí)，可以從表中很明顯地看出其性能要明顯高于引入詞向量訓(xùn)練其他各層的性能。

4.4 詞向量維度對(duì)實(shí)驗(yàn)的影響

詞向量維度的選擇對(duì)DBN模型的性能有一定的影響。為探討詞向量維度設(shè)為多大時(shí)能更好地表達(dá)識(shí)別效果，實(shí)驗(yàn)中將詞向量的維度依次設(shè)定為10維、50維、100維、150維、200維分別進(jìn)行實(shí)驗(yàn)。通過表2和表4分析，選定DBN2模型進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表5所示。

從表5可以看出，詞向量維度的不同對(duì)DBN模型的性能都有不同的影響。當(dāng)特征集中詞向量的維度為50維時(shí)DBN模型的性能最佳，P值達(dá)到81.89%，R值達(dá)到84.32%，F(xiàn)值達(dá)到82.48%。隨著維度的不斷增加，模型的正確率開始回落，性能下降，其原因是當(dāng)維度過高時(shí)，會(huì)產(chǎn)生過擬合現(xiàn)象，模型對(duì)數(shù)據(jù)的泛化能力降低。

5 結(jié)語(yǔ)

針對(duì)國(guó)內(nèi)外關(guān)于事件的相關(guān)研究，結(jié)合維吾爾語(yǔ)本身的特點(diǎn)，提出一種基于DBN的維吾爾語(yǔ)事件伴隨關(guān)系的識(shí)別方法。通過對(duì)維吾爾語(yǔ)語(yǔ)言結(jié)構(gòu)和伴隨關(guān)系的特點(diǎn)的分析，提取了12項(xiàng)基于事件結(jié)構(gòu)信息的特征。為充分利用事件對(duì)與其對(duì)應(yīng)的觸發(fā)詞之間的語(yǔ)義信息，利用詞向量計(jì)算其語(yǔ)義相似度，最后融合這兩類特征作為DBN神經(jīng)網(wǎng)絡(luò)模型的輸入，進(jìn)而完成事件伴隨關(guān)系的識(shí)別。實(shí)驗(yàn)結(jié)果表明，基于深度學(xué)習(xí)的模型較淺層的SVM模型更適合事件伴隨關(guān)系的識(shí)別任務(wù)，且引入詞向量能更好地提高模型的性能識(shí)別。同時(shí)，Word Embedding維度不同，對(duì)模型性能的影響也有所不同。

[1] 梁軍, 柴玉梅, 原慧斌,等. 基于深度學(xué)習(xí)的微博情感分析[J]. 中文信息學(xué)報(bào), 2014, 28(5): 155-161.

[2] 趙妍妍, 秦兵, 車萬(wàn)翔,等. 中文事件抽取技術(shù)研究[J]. 中文信息學(xué)報(bào), 2008, 22(1): 3-8.

[3] Hen-Hsen Huang,Chang-Rui Yang, Hsin-Hsi Chen.Chinese tense labelling and causal analysis[C]//the 26th International Conference on Computational Linguistics,2016: 2227-2237

[4] Jing Lu, Deepak Venugopal, Vibhav Gogate, et al. Joint Inference for event coreference resolution[C]//the 26th International Conference on Computational Linguistics, 2016: 3264-3275

[5] Jagannatha A N, Yu H. Bidirectional RNN for medical event detection in electronic health records[C]// Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Proc Conf, 2016: 473.

[6] Li H, Ji H. Cross-genre event extraction with knowledge enrichment[C]// Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies,2016: 1158-1162.

[7] 瑪爾哈巴·艾賽提, 艾孜爾古麗, 玉素甫·艾白都拉. 基于語(yǔ)法的維吾爾語(yǔ)情感詞匯自動(dòng)獲取[J]. 中文信息學(xué)報(bào), 2017(1): 126-132.

[8] 孫媛, 趙倩. 藏漢跨語(yǔ)言話題模型構(gòu)建及對(duì)齊方法研究[J]. 中文信息學(xué)報(bào), 2017, 31(1): 102-111.

[9] 鐘軍, 禹龍, 田生偉,等. 基于雙層模型的維吾爾語(yǔ)突發(fā)事件因果關(guān)系抽取[J]. Acta Automatica Sinica, 2014, 40(4): 771-779.

[10] 鄭亞楠, 珠杰. 基于詞向量的藏文詞性標(biāo)注方法研究[J]. 中文信息學(xué)報(bào), 2017, 31(1): 112-117.

[11] 付劍鋒. 面向事件的知識(shí)處理研究[D]. 上海: 上海大學(xué)博士學(xué)位論文，2010.

[12] 丁美昆, 徐昱琳, 蔣財(cái)軍. 深度信念網(wǎng)絡(luò)研究綜述[J]. 工業(yè)控制計(jì)算機(jī), 2016, 29(4): 80-81.

[13] Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks. Science, 2006,313(5786): 504-507

[14] 曲利新.基于深度信念網(wǎng)絡(luò)的語(yǔ)音情感識(shí)別策略[D].大連： 大連理工大學(xué)碩士學(xué)位論文，2014: 56.

[15] 黃晨晨，鞏微，伏文龍，等.基于深度信念網(wǎng)絡(luò)的語(yǔ)音情感識(shí)別的研究[J].計(jì)算機(jī)研究與發(fā)展，2014,51(2)： 75-80.

[16] 張春霞, 姬楠楠, 王冠偉. 受限波爾茲曼機(jī)[J]. 工程數(shù)學(xué)學(xué)報(bào), 2015(2): 159-173.

[17] Hinton G E. Training productsof experts by minimzing contrastive divergence[J]. Neural Computation, 2002,14(8): 1771-1800.

[18] He Yu, Pan Da, Fu Guo-Hong. Chinese explanatory opinionated sentence recognition based on auto-encoding features[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2015,51(2): 235-240.

[19] Mikolov T, Sutskever I, Chen K, et al. Distributed representations of words and phrases and their compositionality//Proceedings of Advances in Neural Information Processing Systems, Vancouve, Canada: NIPS, 2013: 3111-3119.

附錄1：

(維吾爾語(yǔ)語(yǔ)言的語(yǔ)義類別)

附錄2：

(左側(cè)列是事件類別，右側(cè)列是對(duì)應(yīng)類別的子類別)