劉茂福，李 妍，姬東鴻

(1. 武漢科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，湖北 武漢 430065； 2. 智能信息處理與實(shí)時(shí)工業(yè)系統(tǒng)湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430065； 3. 武漢大學(xué) 計(jì)算機(jī)學(xué)院，湖北 武漢 430072)

1 引言

文本蘊(yùn)含[1]通常定義為一個(gè)連貫文本T與一個(gè)假設(shè)文本H之間的一種關(guān)系，即如果假設(shè)文本H的意義可以從文本T的意義中推斷出來，那么T蘊(yùn)含H，可以記為T→H。語義表達(dá)多樣性為自然語言的一個(gè)基本特征，即同樣的意義可以用多種不同的文本進(jìn)行表達(dá)，文本蘊(yùn)含的研究目的之一就是解決語義表達(dá)多樣性的問題。文本蘊(yùn)含的識(shí)別實(shí)際上是語言基礎(chǔ)研究，它在自然語言處理的很多應(yīng)用中起著關(guān)鍵作用，如問答系統(tǒng)、多文檔自動(dòng)摘要、信息抽取、語義檢索以及機(jī)器翻譯評測等[2]。

近年來，文本蘊(yùn)含識(shí)別研究已經(jīng)從早期的純理論研究轉(zhuǎn)換為較大規(guī)模理論研究和經(jīng)驗(yàn)性平臺(tái)建設(shè)，在自然語言處理領(lǐng)域備受關(guān)注。日本國立情報(bào)學(xué)研究所NII(National Institute of Informatics)組織的NTCIR(NII Test Collection for IR Systems)在2011年開始了文本蘊(yùn)含識(shí)別RITE(Recognizing Inference in TExt)方面的評測任務(wù)。RITE的目的是評測系統(tǒng)識(shí)別特定語句“關(guān)系”的能力。NTCIR參與RITE評測的語言有日文JA(Japanese)、簡體中文CS(Simplified Chinese)以及繁體中文CT(Traditional Chinese)，每種語言都包含兩類子任務(wù)，即二分類BC(Binary-Class)子任務(wù)與多分類MC(Multi-Class)子任務(wù)。參與評測的系統(tǒng)需要辨識(shí)給定的兩個(gè)文本之間的關(guān)系，輸出二選一(2-way)或五選一(5-way)的關(guān)系標(biāo)記(Label)。圖1是BC子任務(wù)和MC子任務(wù)的概覽。

圖1 NTCIR-9 RITE概覽

蘊(yùn)含關(guān)系識(shí)別通常采用有監(jiān)督機(jī)器學(xué)習(xí)方法，也就是說，首先對大量已有正確蘊(yùn)含關(guān)系標(biāo)簽的文本對進(jìn)行訓(xùn)練，生成分類模型，然后由分類模型決定測試文本對是否具有蘊(yùn)含關(guān)系。采用有監(jiān)督機(jī)器學(xué)習(xí)方法的蘊(yùn)含識(shí)別系統(tǒng)，通常為了提高正確率會(huì)混合多種特征。在NTCIR-9中，哈爾濱工業(yè)大學(xué)[3]、復(fù)旦大學(xué)[4]、國立臺(tái)灣大學(xué)[5]、北京郵電大學(xué)[6]、武漢大學(xué)[7]和臺(tái)灣朝陽科技大學(xué)[8]紛紛采用有監(jiān)督機(jī)器學(xué)習(xí)方法解決文本蘊(yùn)含問題，采用的特征包括統(tǒng)計(jì)特征、句法特征以及語義特征等。本文作者參與了NTCIR-9的RITE任務(wù)，并提交了基于統(tǒng)計(jì)與詞匯語義特征的中文文本蘊(yùn)含識(shí)別系統(tǒng)WUST；而后的改進(jìn)系統(tǒng)WUST-SLS在WUST-ES系統(tǒng)的基礎(chǔ)上又增加了句法特征。

本文在統(tǒng)計(jì)特征、句法特征和詞匯語義特征的基礎(chǔ)上增加了事件語義特征。事件是一個(gè)由謂詞以及與其相關(guān)的語義角色所構(gòu)成。事件標(biāo)注后的文本易于進(jìn)行深層語義分析與推理，并能生成事件圖，將文本間的語義關(guān)系轉(zhuǎn)換為事件圖之間的語義關(guān)系。本文采用基于最大公共子圖的事件圖相似度算法來計(jì)算事件語義特征，與統(tǒng)計(jì)特征、詞匯語義特征和句法特征一起作為支持向量機(jī)的分類特征，得到初步實(shí)驗(yàn)結(jié)果，再經(jīng)過基于事件語義規(guī)則集合的修正處理得到最后的識(shí)別結(jié)果。實(shí)驗(yàn)表明，基于事件語義特征的蘊(yùn)含識(shí)別方法適用于中文文本蘊(yùn)含關(guān)系識(shí)別。

2 WUST-ES框架模型

WUST-ES模型由預(yù)處理、事件語義特征計(jì)算、SVM分類器和修正模塊四個(gè)部分組成，具體的模型結(jié)構(gòu)圖如圖2所示。

圖2 WUST-ES模型結(jié)構(gòu)圖

圖2中，事件預(yù)處理模塊對測試數(shù)據(jù)集和訓(xùn)練數(shù)據(jù)集進(jìn)行事件語義標(biāo)注，具體的標(biāo)注方法見文章[9]，表1列舉了訓(xùn)練數(shù)據(jù)集中的一對文本的標(biāo)注結(jié)果。表1中，T1可以分為三個(gè)事件T1_E1、T1_E2和T1_E3，H1則包含一個(gè)事件H1_ E1。

表1 事件語義標(biāo)注結(jié)果

事件語義標(biāo)注完成之后，可以基于標(biāo)注的事件語義，生成事件圖，將文本相似度計(jì)算轉(zhuǎn)化為圖相似度計(jì)算，圖3(a)和圖3(b)為T1和H1的事件圖。

圖3中，矩形框?yàn)槭录^詞，圓角矩形框?yàn)槭录Z義成分，其語義角色在邊線上，事件謂詞的數(shù)量即文本中包含事件的數(shù)量，T1由三個(gè)原子事件組成， H1只有一個(gè)原子事件。從圖3可發(fā)現(xiàn)，即使T1和H1的文本結(jié)構(gòu)不同，但H1的事件圖基本上為T1事件圖的一部分，且T1與H1正向蘊(yùn)含；可以假設(shè)，如果兩個(gè)事件圖相似度越高，則文本對間具有蘊(yùn)含關(guān)系的可能性就越大。

在生成的事件圖基礎(chǔ)上，使用基于最大公共子圖的圖相似度算法計(jì)算生成事件語義特征，將統(tǒng)計(jì)特征、詞匯語義特征、句法特征與事件語義特征組合，利用SVM分類模塊，生成圖2中的“初步結(jié)果”；在“初步結(jié)果”的基礎(chǔ)上進(jìn)行修正，生成圖2中的“最終結(jié)果”。

圖3 T1與H1的事件圖

3 事件語義特征

基于事件圖，將文本對之間的蘊(yùn)含關(guān)系轉(zhuǎn)換為事件圖之間的蘊(yùn)含關(guān)系。事件語義特征由基于最大公共子圖的圖相似度算法計(jì)算得到。

3.1 事件圖結(jié)構(gòu)

圖結(jié)構(gòu)表示為一個(gè)三元組，即G=(Node,Edge,Weight)，其具體計(jì)算步驟如下：

(1) 從事件標(biāo)注文本對(T, H)生成的事件圖中提取所有的節(jié)點(diǎn)組成節(jié)點(diǎn)集合NodeT和NodeH，集合NodeT和NodeH是由節(jié)點(diǎn)的內(nèi)容詞w組成，如式(1)所示。

(2) 從事件標(biāo)注文本對(T,H)生成的事件圖中提取所有邊組成邊集合EdgeT和EdgeH，集合EdgeT和EdgeH是一個(gè)三元組集合，每條邊Eij由兩個(gè)節(jié)點(diǎn)wi和wj以及邊語義角色標(biāo)簽labelij組成，如式(2)所示。

(2)

(3) 根據(jù)節(jié)點(diǎn)集和邊集，求邊的權(quán)重集合WeightT和WeightH，集合WeightT和WeightH是二元組集合，由邊Eij和邊權(quán)重wt(Eij)組成，如式(3)所示，其中權(quán)重wt(Eij)的計(jì)算見式(4)。

式(4)中，freq(wi)為節(jié)點(diǎn)wi出現(xiàn)在文本中的頻率，freq(wi,wj)為節(jié)點(diǎn)wi和wj在文本中的共現(xiàn)頻率。

(4) 將事件圖G轉(zhuǎn)化為三元組(Node,Edge,Weight)，如式(5)所示。

G={g1,g2,…,gk,…},

gk=> (5)

3.2 最大公共子圖

根據(jù)圖結(jié)構(gòu)GT和GH求解最大公共子圖GC的步驟如下所示：

(1) 分別遍歷圖結(jié)構(gòu)GT和GH，若GT和 GH之間存在相同的節(jié)點(diǎn)集合，則將相同的節(jié)點(diǎn)集合作為最大公共子圖的節(jié)點(diǎn)集合NodeC；判斷節(jié)點(diǎn)相同，只需判斷wi=wj，其中wi∈NodeT，wj∈NodeH。

(2) 如果集合NodeC中任兩個(gè)節(jié)點(diǎn)之間存在一條邊Eij，且Eij等于某一條既屬于EdgeT又屬于EdgeH的邊，則將Eij加入GC邊集合EdgeC中。

(3) 根據(jù)得到的NodeC和EdgeC計(jì)算WeightC，其中WeightC中的二元組集合Wij的計(jì)算見式(6)。

式(6)中，WT(Eij)為邊Eij在圖GT中存在一條相等的邊Exy的權(quán)重wt(Exy)；同理，WH(Eij)為邊Eij在圖GH中存在一條相等的邊Eab的權(quán)重wt(Eab)。

以上求解最大公共子圖的偽代碼如下所示：

算法1求解最大公共子圖

輸入：GT=(NodeT, EdgeT, WeightT)

GH=(NodeH, EdgeH, WeightH)

輸出：GC=(NodeC, EdgeC, WeightC)

//初始化NodeC，EdgeC，WeightC為空

1: NodeC=EdgeC=WeightC=Φ

//wi∈NodeT(NodeT含有n個(gè)節(jié)點(diǎn))

//wj∈NodeH(NodeH含有m個(gè)節(jié)點(diǎn))

//求NodeC

2:for(i=0; i < n; i++) {

3:for(j=0; j < m; j++) {

4:if(wi==wj) NodeC={wi}∪NodeC

5: }

6: }

//求EdgeC與WeightC

7: for(i=0; i < n; i++) {

8: for(j=0; j < m; j++) {

9: if(wi, wj∈NodeC&& Eij∈(EdgeT∩EdgeH)){

10: EdgeC={Eij}∪EdgeC

11: WeightC={wij}∪WeightC

12： }

13: }

3.3 圖相似度計(jì)算

根據(jù)求得的最大公共子圖，計(jì)算圖相似度的如式(7)所示。

sim(GT,GH)=

其中，sizeof(NodeT)為GT中節(jié)點(diǎn)數(shù)，sizeof(EdgeT)為GT中邊數(shù)，WC(Eij)為圖GC中邊Eij的權(quán)重wt(Eij)；β為綜合加權(quán)因子，當(dāng)β=0.5時(shí)，圖GT和圖GH中節(jié)點(diǎn)和邊對圖相似度的影響程度相同，當(dāng)β=0時(shí)，不考慮節(jié)點(diǎn)對圖相似度的影響，當(dāng)β=1時(shí)，不考慮邊對圖相似度的影響。本文β取值0.6，綜合考慮了邊和節(jié)點(diǎn)對圖相似度的影響。

4 基于事件語義特征的修正

基于事件語義規(guī)則的修正目的是從標(biāo)注文本對中提取時(shí)間、地點(diǎn)和數(shù)字等語義成分，修正被分類器誤判為雙向蘊(yùn)含關(guān)系的矛盾關(guān)系。

4.1 數(shù)字語義特征

在SVM的分類結(jié)果中，絕大部分通過數(shù)字判斷為矛盾的文本對都被判斷為了雙向蘊(yùn)含，表2中列舉了一些會(huì)被判斷錯(cuò)誤的典型例子。

表2 數(shù)字相關(guān)SVM輸出錯(cuò)誤文本對

在SVM的判斷結(jié)果中，表2中的三種句子均被判斷錯(cuò)誤，且因?yàn)橛?jì)算出的句子相似度非常高，都被判斷為了雙向蘊(yùn)含關(guān)系，經(jīng)過分析發(fā)現(xiàn)，通常根據(jù)數(shù)字認(rèn)定為矛盾的句子分為三種，一種是數(shù)值不同，例如，T2中的“700萬”和H2中“600萬”的數(shù)值不同，導(dǎo)致了最后文本對矛盾；第二種是單位不同，例如，T3中數(shù)字的單位“噸”和H3中數(shù)字的單位“公斤”不同，使句子對互相矛盾；最后一種為數(shù)字的范圍，例如，T4中和H4中數(shù)字都是四分之一，但T4中是“近四分之一”而H4中是“超過四分之一”，于是T4和H4互相矛盾。經(jīng)過上述分析，可以得到基于數(shù)字修正SVM分類結(jié)果的規(guī)則，記為規(guī)則1。

規(guī)則1： 如果文本對(T, H)中都含有數(shù)字信息且該文本對被SVM判斷為雙向蘊(yùn)含，那么檢查文本T和文本H中所有事件中數(shù)字的數(shù)值、單位和范圍，若其中有一項(xiàng)或多項(xiàng)不同時(shí)，則將SVM輸出標(biāo)簽更正為矛盾關(guān)系。

4.2 地點(diǎn)語義特征

對于被分類為雙向蘊(yùn)含的涉地點(diǎn)語義成分的文本對，主要是兩種形式的文本結(jié)構(gòu)，表3列舉了這兩種文本結(jié)構(gòu)。

表3 涉地點(diǎn)的分類錯(cuò)誤文本對

在表3中，T5和H5涉地點(diǎn)事件的謂語動(dòng)詞都是“爆炸”，并考慮到因?yàn)榫渥酉嗨贫雀?，被SVM判斷為雙向蘊(yùn)含，則認(rèn)為T5和H5要表達(dá)同一個(gè)事件；但是實(shí)際上事件地點(diǎn)不同，則T5和H5矛盾。T6和H6都含有三個(gè)地點(diǎn)，分別為“北平”、“湖南長沙”和“江西德安”，雖然表面上看，T6和H6相似，但是T6和H6中“湖南長沙”和“江西德安”的謂語動(dòng)詞不同，即其所處事件不同，則事件表達(dá)的意義不同，因此T6和H6矛盾。根據(jù)以上兩種文本類型，可以總結(jié)出規(guī)則2。

規(guī)則2： 如果文本對(T, H)中都含有地點(diǎn)信息且該文本對被SVM判斷為雙向蘊(yùn)涵，那么檢查文本T和文本H中所有事件的地點(diǎn)和對應(yīng)的謂語動(dòng)詞，若T和H中存在一對事件謂語動(dòng)詞相同但事件謂詞動(dòng)詞對應(yīng)地點(diǎn)不同，則更改為矛盾關(guān)系。

4.3 時(shí)間語義特征

在文本結(jié)構(gòu)類似的文本對中，若時(shí)間不同，可以直接判斷為矛盾，但是在SVM判斷中，因?yàn)榫渥酉嗨贫冗^高，導(dǎo)致錯(cuò)誤判斷為雙向蘊(yùn)含，表4列舉了這樣的一個(gè)例子。

表4 時(shí)間相關(guān)SVM分類錯(cuò)誤文本對

表4中，文本T7中的時(shí)間為“2008年8月8日20時(shí)”，文本H7的時(shí)間為“2008年8月8日22時(shí)”，時(shí)間不同，則文本對相互矛盾。根據(jù)這種特征，設(shè)計(jì)規(guī)則3。

規(guī)則3： 如果文本對(T, H)中都含有時(shí)間信息且該文本對被SVM判斷為雙向蘊(yùn)涵，那么檢查文本T和文本H中所有事件的時(shí)間語義成分并比較，若不同，則修正為矛盾關(guān)系。

5 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)語料來自于NTCIR-9 RITE任務(wù)，其中訓(xùn)練集與測試集的文本對數(shù)都是407，系統(tǒng)的整體性能使用平均準(zhǔn)確率(Accuracy)指標(biāo)來進(jìn)行度量，如式(8)所示。

式(8)中，#pair指RITE測試集中文本對的數(shù)目。

針對具體的文本蘊(yùn)含關(guān)系的類別，該文給出每一類別的準(zhǔn)確率(Precision)、召回率(Recall)和F-measure來進(jìn)行度量，其具體計(jì)算如式(9)、(10)和(11)所示。

上式中，TP(True Positives)和FP(False Positives)分別指測試集中該類所有正例被正確和錯(cuò)誤分類的數(shù)目；而FN(False Negatives)則指測試集中該類所有負(fù)例被錯(cuò)誤分類的數(shù)目。

本文中的基于統(tǒng)計(jì)與詞匯語義特征的中文文本蘊(yùn)涵關(guān)系識(shí)別系統(tǒng)標(biāo)記為WUST，該系統(tǒng)利用BC和MC任務(wù)的訓(xùn)練集對分類器進(jìn)行訓(xùn)練。在兩個(gè)任務(wù)的訓(xùn)練中，懲罰因子C的log值都為10，而核函數(shù)因子γ的log值皆為-9；BC任務(wù)的訓(xùn)練正確率為76.9%，MC任務(wù)訓(xùn)練正確率為57.74%。WUST系統(tǒng)給出了對BC和MC任務(wù)測試集的分類結(jié)果，RITE組織方最終的評測結(jié)果如表5所示。

表5 系統(tǒng)的BC和MC任務(wù)評測結(jié)果

表5中，UIOWA系統(tǒng)結(jié)果明顯高于其他系統(tǒng)，最主要的原因是UIOWA系統(tǒng)使用了眾包(Crowdsourcing)技術(shù)，有人工參與其中。WUST和其他很多參與者的系統(tǒng)在BC任務(wù)的表現(xiàn)不如基準(zhǔn)測試(Baseline)，其中最可能的原因是基準(zhǔn)測試使用的是字符重疊度特征[2]，而考慮到是對中文進(jìn)行處理，WUST系統(tǒng)自然而然的使用了詞重疊度特征。

WUST-ES系統(tǒng)是基于WUST-SLS系統(tǒng)和WUST系統(tǒng)的改進(jìn)版，WUST-SLS系統(tǒng)在WUST系統(tǒng)的基礎(chǔ)上增加了句法特征，而WUST-ES系統(tǒng)在WUST-SLS系統(tǒng)基礎(chǔ)上增加了事件語義特征和基于事件語義規(guī)則的修正模塊。WUST-ES系統(tǒng)實(shí)驗(yàn)效果最為理想，與WUST系統(tǒng)和WUST-SLS系統(tǒng)結(jié)果比較圖如圖4所示。

圖4 WUST、WUST-SLS與WUST-ES的對比評測結(jié)果

圖4中，WUST-ES實(shí)驗(yàn)系統(tǒng)的效果最優(yōu)，主要是采用了事件語義特征的結(jié)果，兩個(gè)文本即使文本順序不同，但是同一個(gè)事件的事件圖是一樣的，增加了蘊(yùn)含關(guān)系判斷的效果。且WUST-ES實(shí)驗(yàn)系統(tǒng)為了提高矛盾關(guān)系的判斷效果，增加了基于事件語義規(guī)則的修正模塊，彌補(bǔ)了WUST-SLS系統(tǒng)和WUST系統(tǒng)上的不足，提升了系統(tǒng)性能。

與ICRI_HITSZ系統(tǒng)相比，WUST-ES的BC與MC任務(wù)評測結(jié)果已經(jīng)優(yōu)于ICRI_HITSZ系統(tǒng)；當(dāng)然，同采用眾包技術(shù)的UIOWA系統(tǒng)還有一定差距。本文后面的內(nèi)容主要針對WUST-ES系統(tǒng)進(jìn)行分析，以期發(fā)現(xiàn)WUST-ES系統(tǒng)優(yōu)劣的原因，有利于系統(tǒng)的后續(xù)改進(jìn)。

WUST-ES系統(tǒng)的混淆矩陣如圖5(a)和(b)所示。

圖5 WUST-ES系統(tǒng)輸出的混淆矩陣

使用混淆矩陣計(jì)算每個(gè)類別的準(zhǔn)確率、召回率和F-measure，BC任務(wù)的結(jié)果在表6中，MC任務(wù)的結(jié)果見表7。

表6 WUST-ES系統(tǒng)BC任務(wù)

表6中，WUST-ES系統(tǒng)正確率比WUST-SLS系統(tǒng)正確率高6%左右，比WUST系統(tǒng)正確率高10%左右，說明WUST-ES能夠較好地識(shí)別2-way文本蘊(yùn)含關(guān)系。WUST-ES系統(tǒng)蘊(yùn)含關(guān)系識(shí)別的F-measure達(dá)到86.94%，說明WUST-ES系統(tǒng)對蘊(yùn)含關(guān)系識(shí)別的有效性；WUST-ES系統(tǒng)非蘊(yùn)含關(guān)系識(shí)別的F-measure為74.82%，相比WUST-ES對蘊(yùn)含關(guān)系判斷的高效性稍有不足。

表7 WUST-ES系統(tǒng)MC任務(wù)

表7中，WUST-ES系統(tǒng)正確率比WUST-SLS系統(tǒng)正確率高6%左右，比WUST系統(tǒng)正確率高12%左右，說明WUST-ES判斷5-way文本蘊(yùn)含關(guān)系效果較好。WUST-ES系統(tǒng)正向蘊(yùn)含關(guān)系判斷F-measure達(dá)到79.81%，逆向蘊(yùn)含關(guān)系判斷達(dá)到79.80%，說明WUST-ES系統(tǒng)能夠高效地識(shí)別正向蘊(yùn)含關(guān)系和逆向蘊(yùn)含關(guān)系；WUST-ES系統(tǒng)雙向蘊(yùn)含關(guān)系識(shí)別的F-measure為69.01%，矛盾關(guān)系識(shí)別的F-measure為62.71%，獨(dú)立關(guān)系識(shí)別的F-measure為50.41%。

相比WUST-ES對正向蘊(yùn)含關(guān)系和逆向蘊(yùn)含關(guān)系判斷的高效性，WUST-ES對其他類語義關(guān)系的判斷稍有不足，尤其是矛盾關(guān)系判斷和獨(dú)立關(guān)系。通過分析圖4(b)可以發(fā)現(xiàn)，WUST-ES系統(tǒng)將22個(gè)矛盾關(guān)系判斷成了雙向蘊(yùn)含關(guān)系，說明WUST-ES系統(tǒng)將一部分矛盾和雙向蘊(yùn)含混淆了；除此之外，WUST-ES系統(tǒng)獨(dú)立關(guān)系判斷并不理想，說明獨(dú)立關(guān)系也需要重點(diǎn)研究。

6 結(jié)論

以NTCIR-9的RITE任務(wù)為背景，本文設(shè)計(jì)并實(shí)現(xiàn)了基于簡體中文文本的蘊(yùn)含識(shí)別系統(tǒng)。系統(tǒng)基于SVM構(gòu)建分類器，以統(tǒng)計(jì)特征、詞匯語義特征、句法特征以及事件語義特征生成特征文件，其中詞匯語義特征是基于同義詞詞林、反義詞表、否定詞表、《知網(wǎng)》等語義資源計(jì)算的，本文將RITE問題作為單純的分類問題進(jìn)行處理。實(shí)驗(yàn)表明，基于事件語義特征的中文文本蘊(yùn)含識(shí)別方法對中文文本蘊(yùn)含識(shí)別的高效性。

該系統(tǒng)存在兩點(diǎn)不足，首先是混淆了部分矛盾和雙向蘊(yùn)含關(guān)系，其次是用于獨(dú)立關(guān)系判斷的特征存在不足，導(dǎo)致獨(dú)立關(guān)系判斷效果不佳；未來研究將致力于解決這兩個(gè)問題。

[1] 袁毓林，王明華．文本蘊(yùn)含的推理模型與識(shí)別模型[J]．中文信息學(xué)報(bào)， 2010， 24(2)： 3-13.

[2] Hideki Shima, Hiroshi Kanayama, Cheng-Wei Lee, et al. Overview of NTCIR-9 RITE: Recognizing Inference in TExt[C]//Proceedings of National Institute of Informatics. The 9th NTCIR Workshop Meeting on Evaluation of Information Access Technologies: Information Retrieval, Question Answering and Cross-Lingual Information Access. Tokyo, Japan: National Institute of Informatics, 2011: 291-301.

[3] Yaoyun Zhang, Jun Xu, Chenlong Liu, et al. ICRC_HITSZ at RITE: Leveraging Multiple Classifiers Voting for Textual Entailment Recognition[C]//Proceedings of National Institute of Informatics. The 9th NTCIR Workshop Meeting on Evaluation of Information Access Technologies: Information Retrieval, Question Answering and Cross-Lingual Information Access. Tokyo, Japan: National Institute of Informatics, 2011: 325-329.

[4] Ling Cao, Xipeng Qiu, Xuanjing Huang. FudanNLP at RITE 2011: a Shallo w Semantic Approach to Textual Entailment[C]//Proceedings of National Institute of Informatics. The 9th NTCIR Workshop Meeting on Evaluation of Information Access Technologies: Information Retrieval, Question Answering and Cross-Lingual Information Access. Tokyo, Japan: National Institute of Informatics, 2011: 335-338.

[5] Hen-Hsen Huang, Kai-Chun Chang, Haver II J.M.C. et al. NTU Textual Entailment System for NTCIR 9 RITE Task[C]//Proceedings of National Institute of Informatics. The 9th NTCIR Workshop Meeting on Evaluation of Information Access Technologies: Information Retrieval, Question Answering and Cross-Lingual Information Access. Tokyo, Japan: National Institute of Informatics, 2011: 349-352.

[6] Ranxu Su, Sheng Shang, Pan Wang, et al. ZSWSL Text Entailment Recognizing System at NTCIR-9 RITE Task[C]//Proceedings of National Institute of Informatics. The 9th NTCIR Workshop Meeting on Evaluation of Information Access Technologies: Information Retrieval, Question Answering and Cross-Lingual Information Access. Tokyo, Japan: National Institute of Informatics, 2011: 394-399.

[7] Han Ren, Chen Lv, Donghong Ji. The WHUTE System in NTCIR-9 RITE Task[C]//Proceedings of National Institute of Informatics. The 9th NTCIR Workshop Meeting on Evaluation of Information Access Technologies: Information Retrieval, Question Answering and Cross-Lingual Information Access. Tokyo, Japan: National Institute of Informatics, 2011: 373-378.

[8] Shih-Hung Wu, Wan-Chi Huang, Liang-Pu Chen, et al. Binary-class and Multi-class Chinese Textual Entailment System Description in NTCIR-9 RITE[C]//Proceedings of National Institute of Informatics. The 9th NTCIR Workshop Meeting on Evaluation of Information Access Technologies: Information Retrieval, Question Answering and Cross-Lingual Information Access. Tokyo, Japan: National Institute of Informatics, 2011: 422-426.

[9] Maofu Liu, Yan Li, Donghong Ji, et al. Atomic Event Semantic Roles and Chinese Instances Analysis[C]//Proceedings of Donghong Ji & Guozheng Xiao (Eds.). Chinese Lexical Semantics. Berlin, Heidelberg: Springer-Verlag, 2013: 110-121.

[10] Maofu Liu, Yan Li, Yu Xiao, et al. WUST SVM-Based System at NTCIR-9 RITE Task[C]//Proceedings of National Institute of Informatics. The 9th NTCIR Workshop Meeting on Evaluation of Information Access Technologies: Information Retrieval, Question Answering and Cross-Lingual Information Access. Tokyo, Japan: National Institute of Informatics, 2011: 318-324.

[11] Malakasiotis P. Paraphrase recognition using machine learning to combine similarity measures[C]//Proceedings of Association for Computational Linguistics. Proceedings of the ACL-IJCNLP 2009 Student Research Workshop. Stroudsburg, PA, USA: Association for Computational Linguistics, 2009: 27-35.