楊雪蓉，洪 宇，陳亞東，王瀟斌，姚建民，朱巧明

(蘇州大學 江蘇省計算機信息處理重點實驗室，江蘇，蘇州 215006)

1 引言

事件(Event)是由特定人、物、事在特定時間和特定地點相互作用的客觀事實，事件關系是事件之間相互依存和關聯(lián)的邏輯形式，具有客觀性、事實性和規(guī)律性三種主要特性，如“因果”(Contingency)和“時序”(Temporal)關系等。事件關系能將離散于文本中的事件相連接，形成事件關系網(wǎng)絡和事件發(fā)展的拓撲脈絡。事件關系檢測是以事件為主體元素的自然語言邏輯關系抽取，它能夠有效輔助事件衍生、發(fā)展與變異信息的推理與預測。

目前針對事件關系檢測的研究剛剛起步，由于不具有權威的任務定義、事件關系體系以及評測標準，相關探索尚不深入，相應方法也僅僅著眼于某一特定事件關系類型(如“因果”關系)的判定，不具有全面性和普適性。相較而言，自然語言處理領域中的篇章關系檢測和篇章關系分析作為自然語言處理領域中一項重要的基礎性研究，旨在同一篇章內部，判斷相鄰片段或跨度在一定范圍內的兩個片段之間的語義連接關系。

文本中的事件通過文字訴諸后，成為信息傳播中可讀可解的事件文體(也稱“事件體”，本文統(tǒng)稱“事件”)。從而，事件的描述必須遵循自然語言的行文規(guī)律，例如，篇章結構、篇章修辭、語法和文法等規(guī)律。篇章關系檢測以論元(即完整的語義單元，如句子)為對象，建立了較為全面的任務體系，其蘊含的概念、關系體系和評價方法也具有普適性，能夠有效應用于事件關系檢測任務。因此，事件關系檢測與篇章關系檢測任務有著一定程度的領域交差性。然而，事件關系并不等同于篇章關系，篇章關系檢測不能涵蓋所有事件關系檢測的關鍵問題。

(1) 篇章關系檢測任務涉及短語、子句、句子等文本片段之間的語義關系研究，通過分析兩兩鄰或跨度在一定范圍內的兩個論元的語義連接關系，構建文本篇章關系結構，進而深入理解篇章語義；而文本中的事件往往離散分布，從而只受話題框架約束，因此不屬于篇章關系的研究范疇。

(2) 篇章關系檢測往往可以利用句法、語義和語境的局部特征予以方法設計與實現(xiàn)，而事件關系則必須依賴大規(guī)模數(shù)據(jù)估計和挖掘廣域的關聯(lián)線索進行方法設計與實現(xiàn)。從而，事件關系檢測需要一種有針對性的專屬的任務和研究體系，而不能將篇章關系檢測體系簡單移植和并用。

本文針對事件關系檢測任務，提出一種跨場景的事件關系檢測方法。事件場景由能夠用于描述該場景的一系列組成元素構成?？鐖鼍暗氖录P系檢測方法的核心思想認為： 相同或相似的事件場景，通過挖掘其特征，有助于事件關系類型的推理。因此，本文首先構建事件場景及其關系類型，利用事件場景的關系類型對事件關系類型進行推理?？鐖鼍暗氖录P系檢測方法需要首先解決如下兩點問題： 1)事件場景的匹配方法。即給定待測“事件對”，如何從已知關系類型的“事件對”中，得到與待測“事件對”相同或相似事件場景的“事件對”。2)事件場景的先驗關系類型。事件之間的關系類型通過事件場景的關系類型推理得到，因此需要首先獲得事件場景的先驗關系類型。針對第一點，本文采用基于FramNet[1]的框架語義為事件描述構造事件場景的特征空間，從而將事件場景的相似度轉化為特征空間的相似度；針對第二點，本文借助顯式連接詞，挖掘包含顯式連接詞且毗鄰的“事件對”，同時，將顯式連接詞觸發(fā)的某一類事件關系類型作為該“事件對”的關系類型，例如，連接詞“because(因為)”往往觸發(fā)“Causal(因果)”關系類型，進而利用已知關系類型的毗鄰“事件對”構建事件場景的先驗關系類型。

同時，根據(jù)事件關系檢測和篇章關系檢測的任務的異同點，本文提出基于篇章關系分析的事件關系檢測體系，該體系包括事件關系檢測的任務定義、關系體系以及評價方法等。同時，根據(jù)定義的事件關系體系，以Frame-1.5的新聞語料為數(shù)據(jù)源，對其中已標注的事件進行事件關系類型的標注。

本文組織如下： 第2節(jié)介紹事件關系檢測的相關工作；第3節(jié)給出事件關系檢測任務定義；第4節(jié)分析本文方法的動機；第5節(jié)詳細闡述基于跨場景的事件關系檢測方法的方法；第6節(jié)介紹實驗；第7節(jié)總結。

2 相關工作

由于缺少公認的事件關系體系，目前針對事件關系的研究方法主要針對某種特定事件關系類型的判定進行研究[2-4]，主要的挖掘方法分為模板匹配法和元素分析法。

模板匹配法

事件關系檢測的主要方法之一是借助事件特征的模式匹配，例如，利用事件觸發(fā)詞的關系模式匹配，根據(jù)人工定義的模板，對文本中符合模板的事件關系進行抽取。 Chklovski[3]等首先定義6種時序關系： “similarity”(時序“相似”關系),“strength”(時序“加強”關系),“antonymy”(時序“相反”關系),“enablement”(時序“支持”關系), “happens”(時序“發(fā)生”關系)和“before”(時序“前”關系)，再利用人工收集的LSP(Lexcial-Syntactic Pattern，即詞-句匹配模板)抽取包含這6種時序關系的“事件對”,并將抽取的結果形成稱為“VerbOcean”的知識庫。人工定義的事件關系模板往往受數(shù)量限制，造成關系檢測的低召回率問題。Pantel[4]通過Espresso算法進行自動模板的構建，算法首先給定少量關系實例，通過機器學習方法對現(xiàn)有模板進行迭代擴展，在一定程度上提高了模板匹配方法的召回率。

元素分析法

以事件元素為線索的研究大都繼承了Harris[5]的分布假設。Harris假設指出，處在同一上下文環(huán)境中的詞語具有相同或相似的含義。Lin[6]提出了一種結合Harris分布假設和建立依存樹思想的無監(jiān)督方法，稱為DIRT算法。算法將所有事件構造成依存樹形式，樹中的每條路徑表示一個事件，路徑的節(jié)點表示事件中的詞語，若兩條路徑的詞語完全相同，則這兩條路徑所表示的事件相同或者相似。

3 任務定義

事件關系檢測任務的目標在于實現(xiàn)事件間邏輯關系的自動檢測。本節(jié)介紹事件、事件關系類型以及事件關系檢測的任務定義。

3.1 事件

自動內容抽取(Automatic Content Extraction，簡稱ACE)任務將事件定義為由事件觸發(fā)詞和事件參與者組成，其中，事件的觸發(fā)詞能夠描述一個事件的發(fā)生，以動詞或者動名詞為主；事件的參與信息為事件參與者，通常為名詞。例如，事件Evt1：

(1) Evt1: “奧巴馬擊敗麥凱恩”

事件Evt1中“擊敗”能夠描述該事件的發(fā)生，因此，“擊敗”為該事件的觸發(fā)詞，則稱Evt1為“擊敗”事件。事件Evt1中“奧巴馬”和“麥凱恩”為“擊敗”事件的參與信息，即“擊敗”事件的參與者。

3.2 事件關系

事件關系表示事件與其相關事件之間相互依存和關聯(lián)的邏輯形式，是事件之間固有的一種客觀存在。然而，目前針對事件關系檢測任務缺少公認的事件關系體系，本文將篇章關系體系與事件關系進行分析和對比，選取篇章關系體系中能夠應用于離散“事件對”的篇章關系類型作為事件關系類型。同時，篇章關系與事件關系的差異性使得篇章關系不能描述完整的事件關系類型，因此，本文借助事件關系實例，人工總結事件關系類型，進一步對事件關系類型進行補充，確保事件關系體系的完整性，由此形成的事件關系體系如表1所示。

表1 事件關系體系

續(xù)表

表1定義的事件關系體系共分為兩層，第一層包含四種主要關系類別： Temporal(時序)、Comparison(比較)、Contingency(偶然)、Expansion(擴展)，第二層為以上四種關系類型的擴展，共有10種子類型。

3.3 事件關系檢測

事件關系檢測是一種針對“事件間存在何種邏輯關系類型”進行自動判定的深層事件關系判定任務。事件關系檢測通過解析文本結構或語義特征，對文本中描述不同自然事件的文本片段(包括短語、子句、句子和段落)給出明確的語義關系或邏輯關系標簽(如“因果”、“時序”、“擴展”和“對比”等)。該任務框架如圖1所示，其中，該任務的輸入為已知相關的兩個事件，通過分析“事件對”的邏輯聯(lián)系，輸出該“相關事件對”的邏輯關系類型。

圖1 事件關系檢測任務框架

4 動機

本文借助篇章分析任務實現(xiàn)事件關系檢測。本節(jié)介紹篇章分析任務，以及框架語義和借助框架語義構建事件場景的方法。

4.1 篇章分析

篇章分析的核心任務是判定“論元對”之間的語義或修辭關系。目前篇章關系分析分別針對顯式篇章關系和隱式篇章關系進行研究，且顯式篇章關系和隱式篇章關系分析的性能相差較大。

顯式篇章關系可直接根據(jù)顯式連接詞推斷篇章關系，并且能夠取得較優(yōu)的性能，相關研究對于顯式篇章關系最終分類的精確率可達93%[7]；而隱式篇章關系的分類性能則相對較低，隱式篇章關系檢測的主體研究主要分為基于關系特征的機器學習方法和基于概率統(tǒng)計的方法[8-10]。顯式篇章關系和隱式篇章關系分析的性能相差較大的原因在于，顯式篇章關系以顯式連接詞為主要線索，借助連接詞與篇章關系的一一映射，能夠較精確地推斷特定篇章關系，例如，PDTB關系樣本庫中，連接詞“Because(因為)”指向“Contingency.Cause(偶然.因果)”關系的概率為100%。隱式篇章關系由于缺少顯式連接詞信息，相關研究通過結合句法、語義、相關領域知識等構建上下文信息，推斷隱式“論元對”的邏輯關系。實驗表明，篇章的上下文信息仍存在不確定性，這種上下文信息的不確定性、句子結構的復雜性以及語義關系的歧義性，使得目前針對隱式篇章關系研究的性能總體較差，因此，借助篇章關系分析檢測事件關系，必須突破隱式篇章關系檢測這一關鍵難點。

4.2 框架語義

本文采用FrameNet(框架語義)框架語義描述事件場景。FrameNet是由美國加州大學伯克利分校構建的基于框架語義學 (Frame Semantics)的詞匯資源，對詞語意義和句法結構研究提供一種理論框架，框架語義知識庫通過框架描述單詞的釋義，即詞語背后隱藏的概念結構和語義等信息。從而，框架語義能夠形成特定場景(包括事件、狀態(tài)、關系或實體)的概念表述。在框架語義知識庫中，對句子的框架語義標注是一種類似于“謂詞—論元”結構的“目標詞—框架語義”(Target-Frame)結構。每個句子可能包含一個或多個“目標詞—框架語義”結構，例如，例(2)描述的事件：

(2) Evt1 ： “IreneleftSherlockinacomawiththeMickeyFinnaftergettingthecodeofthesafebox.”

(譯文： “艾琳得到保險柜的密碼后，利用混有麻醉的酒讓夏洛克昏迷”)

通過框架語義的分析，能夠得到如下“目標詞—框架語義”結構： “MickeyFinn(混有麻醉的酒)—Drag(藥物)”、“code(密碼)—Message(信息)”和“safebox(保險箱)—Safebox(保險箱)”，同時，本文將事件中的框架語義的組合定義為該事件的事件場景。不同的事件描述存在相同的事件場景，例如，例(3)中描述的事件：

(3) Evt2： “Georgerememberedthebeautifulladyaskedhimaboutthecodeofthebankaccountafterdrinkingsomuchliquor.”

(譯文： “喬治記得一位美麗的女士在他喝完很多酒之后詢問他的銀行密碼”)

通過FrameNet解析，例(3)中的“l(fā)iquor(酒)”同樣觸發(fā)了“Drag(藥物)”框架語義，例(2)和例(3)中的其他“目標詞—框架語義”結構如表2所示。

表2 例(2)和例(3)中“目標詞-框架語義”結果

從表2中可以看出，盡管例(2)和(3)中描述不同的事件，但兩個事件具有相同的框架語義，則認為兩個事件描述了相同的事件場景。

4.3 事件場景

跨場景的事件關系檢測方法的核心思想認為： 相同或相似的事件場景，通過挖掘其特征，有助于事件關系類型的推理。例如，有如下兩個“事件對”：

(4)E1:Hewasshotbyaterrorist.

(譯文： 他被恐怖分子擊中了 )

E2:Heunfortunatelypassedaway.

(譯文： 他不幸去世了)

(Relation=Contingency.Cause)

(關系=偶然.因果)

(5)E1:Bombswentoffattrainstations.

(譯文： 炸彈在火車站爆炸了 )

E2:Manypeoplewerefeareddead.

(譯文： 擔心很多人死亡了 )

(Relation=? )

(關系=？)

其中，已知例(4)中描述的兩個事件為“偶然.因果”關系類型。若僅考慮上述事件描述的篇章修辭、語法和文法等規(guī)律，難以利用例(4)的信息推理例(5)中“事件對”的關系類型。本文提出的跨場景的事件關系檢測方法首先判斷例(4)中的“事件對”描述了“襲擊”場景和“死亡”事件場景，若定義例(4)中的事件關系類型“關系=偶然.因果”為“襲擊—死亡”場景的關系類型，由于例(5)同樣描述了“襲擊”場景和“死亡”事件場景，將事件場景的關系類型作為該“事件對”的關系類型，則推理得到例(5)中“事件對”的關系類型為“關系=偶然.因果”類型。

5 基于跨場景推理的事件關系檢測方法

本文致力于探究一種基于跨場景推理的事件關系檢測方法，其核心思想是： 具有相同事件場景的事件對，往往具有相同的事件關系類型。該方法分為三個主要部分： 顯式“事件對”的挖掘、事件場景關系類型映射以及事件關系判定。

另外，本文進一步提出一種事件場景向量的事件場景構建方法作為比較。

5.1 顯式事件對的挖掘

本文首先通過連接詞，從大規(guī)模語言學資源(Gigaword)中挖掘包含連接詞的事件對，事件對的挖掘必須滿足如下規(guī)則：

“PreGram+,connective+PostGram”

其中，“PreGram”為前置論元，“connective”為連接詞，“PostGram”為后置論元。通過連接詞挖掘得到的“事件對”的關系類型，有該顯式連接詞唯一指定。PDTB中共定義182個連接詞，而這些連接詞與關系類型并非一一對應，為了實現(xiàn)“事件對”及其關系類型的精準抽取，本文僅僅選取PDTB中的Golden連接詞。Golden連接詞指該連接詞在篇章中指向某一關系類型的概率較高。本文針對PDTB中連接詞的分布，統(tǒng)計了各連接詞指向某一關系類型的概率，如表3所示。

表3 PDTB中連接詞的分布，統(tǒng)計了各連接詞指向某一關系類型的概率

表3顯式各連接詞在四種篇章關系類型中出現(xiàn)的概率，例如，連接詞“alternatively(選擇地)”指向“Expansion(擴展)”關系類型的概率為100%。本文僅選取指向某一關系類型概率大于80%的連接詞作為Golden連接詞。同時，將Golden連接詞指向概率最大的關系類型，作為該Golden連接詞的先驗關系類型。進而將Golden連接詞的先驗關系類型作為通過Golden連接詞挖掘得到的事件對的關系類型。

5.2 事件場景關系類型映射

本文對Golden連接詞挖掘得到的“事件對”，進一步分析其包含的框架語義，利用框架語義構建“事件對”的“事件場景對”。同時，借助顯式連接詞對篇章關系的映射，構建“事件場景對”中兩兩框架語義與關系類型的映射，即“框架語義對-關系”，最終“框架語義對”的關系類型由大規(guī)模樣本中的極大似然關系估計，方法細節(jié)如下：

Step1: 利用SEMAFOR*http://www.ark.cs.cmu.edu/SEMAFOR工具分析“事件對”中的框架語義。例如，前置論元通過分析得到框架語義集合FrameSet1： {Frame11,Frame12, …,Frame1m};前置論元通過分析得到框架語義集合FrameSet2: {Frame21,Frame22, …,Frame2n}；

Step2: 將FrameSet1和FrameSet2中的框架語義兩兩組合，形成“框架語義對”： {Frame1i,Frame2j}i=1, …,m,j=1, …,n. 其中，“框架語義對”的關系類型為該“事件對”中顯式連接詞對應的關系類型；

Step3: 對由Gigaword挖掘得到“事件對”，進行Step1到Step2操作。

由以上步驟得到的“框架語義對”存在多種關系類型映射，為了實現(xiàn)“框架語義對-關系”的一一映射，本文對每個“框架語義對”進行極大似然關系的概率估計。給定“框架語義對”及其在各個關系類型的概率分布P(r)，選取分布概率最高的關系類型，作為該“框架語義對”的極大似然關系，如式(1)所示。

(1)

r∈{Syn,Asy,Cont,…,Ins}

其中，nr為“框架語義對”指向關系類型r出現(xiàn)的次數(shù)，N為“框架語義對”指向所有關系類型的次數(shù)?！翱蚣苷Z義對”的極大似然關系作為該“框架語義對”的先驗關系類型。

5.3 事件關系判定

本文利用“事件場景”的關系類型對事件關系進行推理。針對待測“事件對”，同樣利用框架語義構建其“事件場景對”，進而將已獲得的“事件場景對”的先驗關系類型，作為該“事件對”的關系類型。具體步驟如下：

Step1針對每一個待測“事件對”，分析其包含的框架語義，分別得到事件event1的框架語義集合FrameSet1: {Frame11,Frame12, …,Frame1m} ，以及事件event2的框架語義集合FrameSet2: {Frame21,Frame22, …,Frame2n}；

Step2將FrameSet1和FrameSet2中的框架語義兩兩組合，形成“框架語義對”；

Step3利用“框架語義對”的關系類型推理事件場景的關系類型，一個“事件場景對”包含多個“框架語義對”，將所有“框架語義對”指向出現(xiàn)次數(shù)最多的關系類型，作為該“事件場景對”的關系類型；

Step4“事件場景對”的關系類型將作為“事件對”的關系類型。

同一事件場景可以概括不同的事件描述，而這些不同的事件均為相同的事件類型。事件場景并非孤立，它們之間存在邏輯關聯(lián)性，因此事件場景能為事件關系分析和推理提供重要線索。本文重復利用事件場景的關系，推理事件之間的關系類型。

5.4 事件場景向量

為了與上述方法進行比較，本文同時提出一種事件場景向量的事件場景構建方法。該方法包括兩部分： 事件場景向量的構建以及事件關系類型預測。

該方法首先構建事件場景的場景向量。針對5.1中挖掘得到的“事件對”以及待測“事件對”，通過SEMAFOR分析其包含的框架語義集合，將該集合中的框架語義表示成空間向量，將該向量作為事件的場景向量，各維度將作為該場景向量的組成成分。每個“事件對”形成 “事件場景對”。將待測“事件對”與挖掘得到的“事件對”樣本進行相似度匹配，其中相似度的計算為“事件場景向量”間的cosine值，匹配過程如圖2所示。

圖2 “事件場景向量”匹配

其中，EveFraVec1為前置事件的“事件場景向量”，EveFraVec2為后置事件的“事件場景向量”，分別得到前置事件的相似度EveSim1和后置事件的相似度EveSim2，將兩個相似度值進行合并，合并后的值為該“事件場景對”的相似度，相似度合并如式(2)所示。

(2)

其中，分子為兩個相似度之和，同時，為了平衡兩個相似度的值，將相似度之和除以兩個相似度的差值，為確保分母的值不為0，采用相似度差值的指數(shù)形式。

通過待測“事件對”與樣本“事件對”的相似度計算，選取與待測“事件對”相似度最高的樣本“事件對”作為待測“事件對”的平行“事件對”，該平行“事件對”的關系類型即為待測“事件對”的關系類型。

6 實驗與結果

本節(jié)介紹實驗設置，包括本文的語料標注、評價方法以及實驗系統(tǒng)。同時介紹本文的實驗結果及對結果的分析。

6.1 實驗設置

本文選取FrameNet-1.5中的新聞語料作為標注數(shù)據(jù)集，標注人員對每篇新聞中描述的事件以及事件間的關系類型進行標注。該數(shù)據(jù)集由兩名具有一定領域知識的標注人員進行標注。同時，本文利用Kappa值對標注結果的可用性進行評價，最終標注的Kappa值為0.78。

本文共標注了828個事件以及968個“事件對”及其關系類型，其中出現(xiàn)次數(shù)最多的關系類型為“Expansion.List(擴展.并列)”。標注的“事件對”及其關系類型的分布情況如表4所示。本文采用Accuracy值作為評價方法，其計算公式如式(3)所示。

(3)

該評測方法早期應用于二元分類精度的評測。例如，需要評價“事件對”是否為“Expansion”類型，其中，All為待測“事件對”的總個數(shù)，TruePositve為本身具有“Expansion”關系且系統(tǒng)判定其具有“Expansion”關 系 的“事 件 對”個 數(shù)；TrueNegative

表4 標注的關系類型的分布

為本身不具有“Expansion”關系且系統(tǒng)未判定其具有“Expansion”關系的“事件對”個數(shù)。當該評測方法用于多元關系評價時，將TrueNegative設置為恒定值0，只檢驗每個待測“事件對”是否判定為正確的關系，即只計算TruePositve指標與All 的比值。本文首先定義了三個實驗系統(tǒng)：

? System1(Baseline)： 該系統(tǒng)遵循5.1至5.3中的事件場景構建方法，區(qū)別在于，構建事件場景并非使用框架語義，而直接將事件描述中的詞匯作為特征，構建事件場景。

? System2： 遵循5.1至5.3中利用“框架語義對”的事件場景構建方法。

? System3： 遵循5.4中利用“事件場景向量”的事件場景構建方法。

然而，待測“事件對”中的關系分布與從Gigaword中挖掘得到的“事件對”中的關系類型分布不一致，為了使兩者的分布情況相同，本文采用重采樣技術，擴展挖掘得到的“事件對”中關系類 型 較 小 的“事件對”，使得兩者的關系類型分布情況相同。因此，本文又擴展了兩類系統(tǒng)：

? System4： 在System2方法的基礎上，增加重采樣技術。

? System5： 在System3方法的基礎上，增加重采樣技術。

6.2 實驗結果及分析

表5為以上五個系統(tǒng)針對事件關系檢測結果的性能，包括四個大類及十個小類的Accuracy值：

表5 系統(tǒng)的Accuracy

表5顯示，System1采用的使用事件描述中詞匯作為特征的方法得到的性能最低，System2和System3采用事件場景作為特征的方法高于System1的方法，同時，采用重采樣的方法對結果的精確率也有所提高，其中System4相對于System2在四大類的結果提高了8.53%，十小類的結果最高提高了4.06%；System5相對于System3在四大類的結果提高了5.26%，十小類的結果最高提高了1.97%。System3的性能最高。

表6 System4和System5針對每一大類的Accuracy及識別個數(shù)

本文進一步分析System4和System5針對每一類事件關系類型的識別性能。表6顯式System4和System5分別對每一大類的精確率，以及正確識別的個數(shù)(Num)，包括正確識別為目標類型的個數(shù)(TPos)和正確識別為非目標類型的個數(shù)(TNeg)。

表7為System4和System5分別對每一小類的精確率，以及正確識別的個數(shù)，從表中可以看出，本文的方法針對小類別的檢測效果較差，體現(xiàn)了事件關系檢測任務仍然比較難，需要更進一步的研究。

表7 System4和System5針對每一小類的Accuracy及識別個數(shù)

7 總結

本文首次針對事件關系檢測研究建立了一套研究體系，包括任務定義、關系體系劃分、語料采集與標注、評價方法等。同時，提出了一種跨場景推理的事件關系檢測方法，該方法構建事件的事件場景，以此作為特征，實現(xiàn)事件的邏輯關系檢測。實驗結果顯示，構建事件場景的方法優(yōu)于直接采用文本特征的方法。今后的工作在于，根據(jù)事件場景元素的重要程度，為場景元素設置程度，從而更準確地描繪事件的場景特征。

[1] C J Fillmore, C Johnson, M Petruck. Background to FrameNet[J]. International Journal of Lexicography，2003，16(3): 235-250.

[2] C Hashimoto, K Torisawa, J Kloetzer, et al. Toward Future Scenario Generation: Extracting Event Causality Exploiting Semantic Relation, Context, and Association Features[C]//Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics. Baltimore, 2014.

[3] TChklovski, P Pantel. Global path-based refinement of noisy graphs applied to verb semantics[C]//Proceedings of Toward Future Scenario Generation: Extracting Event Causality Exploiting Semantic Relation, Context, and Association Features, Jeju Island, Korea, 2005: 792-803.

[4] PPantel, M Pennacchiotti. Espresso: leveraging generic patterns for automatically harvesting semantic relations[C]//Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the ACL, Sydney, Australia, 2006: 113-120.

[5] Z S Harris. Mathematical Structure of Language[M]. New York, 1968.

[6] D Lin, P Pantel. Discovery of Inference Rules from Text[C]//Proceedings of the 7th ACM SIGKDD, San Francisco, California, USA, 2001: 323-328.

[7] E Pitler, M Raghupathy, H Mehta, et al. Easily identifiable discourse relations[C]//Proceedings of the 22nd International Conference on the COLING, 2008: 87-90

[8] E Pitler, M Raghupathy, H Mehta, et al. Easily identifiable discourse relations[C]//Proceeding of the 22nd International Conference on Computational Linguistics (COLING 2008), Posters, Manchester, UK, 2008: 87-90.

[9] The Penn Discourse Treebank 2.0 Annotation Manual, 2007

[10] Y Hong, X P Zhou, T T Che, et al. Cross-Argument Inference for Implicit Discourse Relation recognition[C]//Proceedings of the 21st ACM International Conference on Information and Knowledge Management(CIKM 2012),2012: 295-304.