陳九昌,孔 芳,朱巧明,周國(guó)棟

(1.蘇州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,江蘇 蘇州 215006;2.江蘇省計(jì)算機(jī)信息處理技術(shù)重點(diǎn)實(shí)驗(yàn)室,江蘇 蘇州 215006)

1 引言

指代是指在篇章中用一個(gè)指代詞回指某個(gè)以前說(shuō)過(guò)的語(yǔ)言單位。在語(yǔ)言學(xué)中,指代詞稱為照應(yīng)語(yǔ),所指的對(duì)象或內(nèi)容稱為先行語(yǔ)。指代消解就是確定照應(yīng)語(yǔ)和先行語(yǔ)之間相互關(guān)系的過(guò)程,它是自然語(yǔ)言處理的關(guān)鍵問(wèn)題之一。在文本摘要、機(jī)器翻譯、多語(yǔ)言信息處理和信息抽取等諸多運(yùn)用中都涉及到指代消解問(wèn)題。

待消解項(xiàng)識(shí)別是判斷指代詞是否指向某個(gè)語(yǔ)言單位,是否需要消解的過(guò)程,它是指代消解研究的重點(diǎn)問(wèn)題之一。Stoyanov等[1]詳細(xì)論述了影響指代消解性能的三個(gè)因素,其中第三個(gè)因素就是待消解項(xiàng)的識(shí)別(Anaphoricity Determination),他指出加入待消解項(xiàng)識(shí)別可以減少錯(cuò)誤的消解元素(Coreference Elements),使需要消解的元素集更接近正確標(biāo)注的元素集,他在MUC、ACE語(yǔ)料進(jìn)行的理想實(shí)驗(yàn)證明F值可以提高6～10。在待消解項(xiàng)識(shí)別研究中,“it”待消解項(xiàng)的識(shí)別最為復(fù)雜,Evans[2]將“it”的用法歸納為7類:名詞性指代、從句指代、前置詞、向后照應(yīng)、篇章中心、系表結(jié)構(gòu)、習(xí)慣用法,并嘗試使用機(jī)器學(xué)習(xí)的方法進(jìn)行“it”類別的判斷,效果不是很好。由此看出,準(zhǔn)確地識(shí)別“it”的用法是極具挑戰(zhàn)性的。

在指代消解研究的早期就有研究者意識(shí)到待消解項(xiàng)識(shí)別的重要性,經(jīng)過(guò)這些年的發(fā)展,關(guān)于待消解項(xiàng)的識(shí)別方法經(jīng)歷了基于規(guī)則的方法,基于統(tǒng)計(jì)的方法和基于分類的方法。本文采用基于樹(shù)核的機(jī)器學(xué)習(xí)方法屬于第三類,但將規(guī)則、統(tǒng)計(jì)的研究成果運(yùn)用于句法樹(shù)的裁剪,且又將分類方法中的特征方法與樹(shù)核方法融合起來(lái),綜合產(chǎn)生“it”待消解項(xiàng)分類器。最后將分類器加入到代詞指代消解,實(shí)驗(yàn)證明能夠明顯地提高代詞指代消解性能。

2 相關(guān)工作

早期的“it”待消解項(xiàng)識(shí)別是基于規(guī)則的方法,Hobbs等[3]使用句法樹(shù)進(jìn)行代詞指代消解研究時(shí),對(duì)指向時(shí)間、天氣的“it”不進(jìn)行指代消解。Lappin等[4]在指代消解平臺(tái)中引入了用于識(shí)別“it”是否是待消解項(xiàng)的獨(dú)立識(shí)別模塊。在識(shí)別模塊中,設(shè)定了一些模式,例如:“It is Cogv-ed that Sentence” ,其中Cogv是像think、believe等這樣的認(rèn)知?jiǎng)釉~。隨著大規(guī)模語(yǔ)料庫(kù)的產(chǎn)生,出現(xiàn)了基于統(tǒng)計(jì)的方法,代表是Bergsma等[5],他利用“it”的局部上下文句式進(jìn)行過(guò)濾識(shí)別,在大型語(yǔ)料庫(kù)中對(duì)句式出現(xiàn)頻度進(jìn)行統(tǒng)計(jì),再根據(jù)結(jié)果進(jìn)行“it”是否是非待消解項(xiàng)的判斷。隨后產(chǎn)生的基于機(jī)器學(xué)習(xí)的方法又分為基于特征向量的方法和基于樹(shù)核的方法,Ng等[6]給出了一種基于特征的待消解項(xiàng)識(shí)別方法。他們選取了包括詞法、語(yǔ)法、句式、語(yǔ)義、位置等多方面的37個(gè)特征,以M UC-6和MUC-7作為訓(xùn)練、測(cè)試語(yǔ)料,并將生成的待消解項(xiàng)識(shí)別模型應(yīng)用于已有的指代消解系統(tǒng),通過(guò)實(shí)驗(yàn)證明了待消解項(xiàng)識(shí)別模塊的引入,能進(jìn)一步提高指代消解系統(tǒng)的性能,但對(duì)代詞的性能提高幫助不是很大。王海東等[7]使用復(fù)合核研究英文代詞消解時(shí),對(duì)“it”進(jìn)行了簡(jiǎn)單的規(guī)則過(guò)濾,提高了代詞指代消解性能。Zhou等[8]從特征和樹(shù)核兩方面研究了待消解項(xiàng)識(shí)別,都取得了很好的效果。特別是樹(shù)核,通過(guò)不同的裁剪策略,構(gòu)造不同的句法樹(shù),充分包含了指代詞的結(jié)構(gòu)化信息,訓(xùn)練出的過(guò)濾器具有較高的性能。但是,對(duì)于“it”來(lái)說(shuō),單純的結(jié)構(gòu)化信息很難區(qū)分它是否是待消解項(xiàng)。比如:

例1:You can make it in advance.

例2:You can make it in Hollywood.

例1和例2在結(jié)構(gòu)上非常相似,但例1中的“it”是待消解項(xiàng),例2的則是非待消解項(xiàng),它和“make”構(gòu)成一個(gè)固定搭配,表示“成功”。如果配合上下文信息,例2中的“it”也可能是待消解項(xiàng)。

本文受Zhou等[8]啟發(fā),在樹(shù)核方面探索更能區(qū)分“it”是否是待消解項(xiàng)的句法樹(shù)剪裁策略,同時(shí)將規(guī)則、統(tǒng)計(jì)方法的研究成果擴(kuò)展為樹(shù)的剪裁方法。在特征方面選擇能夠充分表示“it”自身及其上下文信息的特征集。兩者信息結(jié)合產(chǎn)生訓(xùn)練實(shí)例,在交由支持復(fù)合核函數(shù)的SVM訓(xùn)練生成“it”待消解項(xiàng)分類器。最后將其運(yùn)用到現(xiàn)有的指代消解平臺(tái)中,在ACE2003基準(zhǔn)語(yǔ)料上的實(shí)驗(yàn)表明,在較少損失召回率的情況下,極大地提高了代詞指代消解系統(tǒng)的準(zhǔn)確率,F值也明顯得到提高。

3 復(fù)合核

3.1 線性核

線性核函數(shù)K,對(duì)所有的 x,z∈X,滿足:

這里Φ表示從輸入空間X到特征空間F的映射 。具體而言 :x=(x1,…,xk)a,Φ(x)=(Φ1(x),…,Φn(x)),則將輸入空間X映射到了一個(gè)新的空間F={Φ(x)|x∈X}。線性核是最優(yōu)分類面中采用適當(dāng)?shù)膬?nèi)積函數(shù)K(xi,xj),實(shí)現(xiàn)某一非線性變換后的線性分類,同時(shí)計(jì)算復(fù)雜度卻沒(méi)有增加。

3.2 卷積樹(shù)核

卷積樹(shù)核函數(shù)是通過(guò)計(jì)算兩棵解析樹(shù)之間的相同子樹(shù)的數(shù)量來(lái)比較解析樹(shù)之間的相似度。例如有兩棵解析樹(shù)T1和T2,要計(jì)算相似度

其中Nj是Tj的節(jié)點(diǎn)集合計(jì)算以n1和n2為根的共同子樹(shù)個(gè)數(shù),可以按照下面這種遞歸的計(jì)算方法:

其中#ch(n1)是節(jié)點(diǎn)n1的子節(jié)點(diǎn)數(shù)目,ch(n,k)是節(jié)點(diǎn)n的第 k個(gè)子節(jié)點(diǎn),λ(0＜λ＜1)是衰退因子。

3.3 復(fù)合核

本文使用的復(fù)合核屬于線性復(fù)合,函數(shù)如下:

其中KL和KP分別表示基于平面特征的線性核函數(shù)和基于結(jié)構(gòu)化句法信息的卷積樹(shù)核函數(shù),兩者都經(jīng)過(guò)歸一化,從而避免復(fù)合函數(shù)的值過(guò)多地依賴于其中的一個(gè)函數(shù),α是兩者的復(fù)合系數(shù),用于調(diào)整兩個(gè)函數(shù)對(duì)復(fù)合函數(shù)的貢獻(xiàn),以期取得最好的效果。經(jīng)多次實(shí)驗(yàn)測(cè)試,對(duì)于本文所研究的問(wèn)題,α取0.4時(shí)所得到的系統(tǒng)性能最好。這說(shuō)明復(fù)合核充分發(fā)揮了卷積樹(shù)核和線性核的作用,并且使兩者相輔相成,表現(xiàn)出更好的分類性能。復(fù)合核訓(xùn)練、測(cè)試實(shí)例如圖1所示。

圖1 復(fù)合核訓(xùn)練、測(cè)試實(shí)例

|BT|與|ET|之間的內(nèi)容是按照不同剪裁策略得到的“it”自身及其周圍相關(guān)結(jié)構(gòu)化信息,由于句法樹(shù)中葉子節(jié)點(diǎn)所包含的信息可由它的詞性標(biāo)注體現(xiàn),為減少噪音,句法樹(shù)的葉子節(jié)點(diǎn)被舍棄,以“E”標(biāo)記“it”在句法樹(shù)中的位置。在|ET|之后的是平面特征信息。

4 句法樹(shù)裁剪

待消解項(xiàng)識(shí)別的訓(xùn)練、測(cè)試實(shí)例與指代消解的產(chǎn)生方式有所不同,一般指代消解的實(shí)例包含照應(yīng)語(yǔ)和候選先行詞,在樹(shù)的裁剪時(shí)主要包含這兩者的信息,例如 Yang等[9]提出的三種不同剪裁策略。而待消解項(xiàng)通常是一個(gè)指代詞,例如“it”,需要通過(guò)對(duì)它自身屬性,上下文環(huán)境的判斷來(lái)決定它是否為照應(yīng)語(yǔ)。Zhou等適當(dāng)?shù)貙?duì)已剪裁的句法樹(shù)進(jìn)行擴(kuò)展,添加一些附加節(jié)點(diǎn),取得了最好的性能,但也存在破壞句法樹(shù)自身結(jié)構(gòu)的可能性,本文將這些擴(kuò)展的信息作為特征加入訓(xùn)練實(shí)例,最大可能地保持句法樹(shù)結(jié)構(gòu)的完整,同時(shí)也不丟失這些信息。結(jié)合以上研究,本文將剪裁窗口設(shè)置為5,探索了以下三種“it”句法樹(shù)的剪裁方式。

圖2 PT樹(shù)

對(duì)于Evans稱之為系表結(jié)構(gòu)的“it”,由于它在詞語(yǔ)的順序上有一定的規(guī)律,這種規(guī)律可以通過(guò)詞性標(biāo)注反映出來(lái),所以在樹(shù)的裁剪時(shí)關(guān)注“it”跟在其后的介詞 ,如“to”、“for”、“that”等 ,然后剪裁出這些詞與“it”之間的 PT樹(shù)(Path_enclosed Tree)。FT(Full Tree)是由 Charniak Parser得到的“it”所在句子的完整句法樹(shù)。

除系表結(jié)構(gòu)的“it”之外,通過(guò)觀察句法樹(shù),在語(yǔ)法角色中擔(dān)任受施者角色的“it”,其左右節(jié)點(diǎn)能反映“it”的相關(guān)信息,因此以“it”為中心,裁剪出前后擴(kuò)展兩個(gè)節(jié)點(diǎn)的MT樹(shù)(Middle Tree),以包含“it”前后的句法信息,如圖3所示。

圖3 MT樹(shù)

“it”在句法樹(shù)中可能是某個(gè)動(dòng)詞的主語(yǔ)或直接賓語(yǔ),也可能依存于其他句法成分或被其他成分依存,這些節(jié)點(diǎn)的信息更能夠反映“it”的性質(zhì)。為此,本文提出了第三種剪裁方案 DT樹(shù)(Dependency Tree),如圖 4 所示 。在 FT 樹(shù)中,“it”是“intends”的主語(yǔ),也是“allow”的間接主語(yǔ),這些依存關(guān)系可以通過(guò)Stanford Parser得到。

圖4 DT樹(shù)

5 特征選擇

在指代消解中,貢獻(xiàn)度比較高的特征是全匹配,Soon[10]在MUC-6語(yǔ)料上,單獨(dú)使用全匹配特征F值就達(dá)到了53.9。同時(shí),同位語(yǔ)、別名這兩個(gè)特征對(duì)消解也很重要,F值分別為7.3、38.4。但本文發(fā)現(xiàn)這些特征是反映照應(yīng)語(yǔ)與先行語(yǔ)之間關(guān)系,而非照應(yīng)語(yǔ)或先行語(yǔ)自身的特征,對(duì)待消解項(xiàng)識(shí)別作用不是很大,所以將它們作為次要特征加入特征集。

Kong等[11]研究了基于中心理論的語(yǔ)義角色對(duì)指代消解的作用,她將中心理論的研究成果拓展到語(yǔ)義層,提煉成三組特征集加入了指代消解。通過(guò)在ACE 2003語(yǔ)料上的實(shí)驗(yàn)表明,三組特征集的引入能極大提升系統(tǒng)的性能,特別是對(duì)代詞指代消解的性能,而這些特征也正能夠反映“it”上下文信息。

Muller[12]探索了如何判斷口語(yǔ)對(duì)話領(lǐng)域中的“it”是否為待消解項(xiàng),他提出的特征包含語(yǔ)法模式、詞匯特征、距離特征、其他特征,對(duì)本文的特征選擇具有很大的參考價(jià)值。

結(jié)合上述研究,本文提出了如表1所列的特征,基本包含了“it”自身及其上下文環(huán)境。

表1 “it”待消解項(xiàng)識(shí)別過(guò)濾器特征集

6 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)語(yǔ)料采用ACE2003基準(zhǔn)語(yǔ)料,它包含NWIRE、NPAPER、BNEWS三個(gè)子類,本文對(duì)各類中“it”情況進(jìn)行了統(tǒng)計(jì)(見(jiàn)表2)。表中數(shù)據(jù)顯示非待消解項(xiàng)“it”在各語(yǔ)料中的比例都超過(guò)60%,能否正確判斷“it”的類型將直接影響代詞乃至整體指代消解性能。

本文的原型系統(tǒng)采用基于特征的機(jī)器學(xué)習(xí)方法進(jìn)行指代消解,是在Soon系統(tǒng)的基礎(chǔ)上擴(kuò)展,使用SVM Light①http://svmlig ht.joachims.org/作為分類器。原始文本預(yù)處理包括:句子識(shí)別、分詞、詞性標(biāo)注、命名實(shí)體識(shí)別、語(yǔ)義類別獲取、句法分析等。本文使用Zhou等[13]的預(yù)處理系統(tǒng),其中命名實(shí)體識(shí)別、詞性標(biāo)注以及名詞短語(yǔ)識(shí)別都是基于錯(cuò)誤驅(qū)動(dòng)的HMM模型;名詞短語(yǔ)的中心詞獲得用的是Collins的方法[14];語(yǔ)義信息則從WordNet中獲取。每一個(gè)訓(xùn)練和測(cè)試用例都使用形式{AN,CAi},其中AN表示照應(yīng)語(yǔ),CA表示它的可能先行語(yǔ),i表示當(dāng)前的詞語(yǔ)是第幾個(gè)候選語(yǔ),不同的是訓(xùn)練階段實(shí)例具有指代關(guān)系,而測(cè)試階段是將實(shí)例交由訓(xùn)練生成的分類模型判斷是否具有指代關(guān)系。

表2 ACE2003語(yǔ)料中“it”頻率統(tǒng)計(jì)

待消解項(xiàng)分類器的產(chǎn)生流程與原型系統(tǒng)類似,不同的是實(shí)例只包含AN信息,采用的是復(fù)合核的方法。本文采用Zhou等對(duì)待消解過(guò)濾器的性能評(píng)測(cè)參數(shù)為:正例準(zhǔn)確率Acc+,即正確識(shí)別“it”為待消解項(xiàng)個(gè)數(shù)占應(yīng)識(shí)別的待消解項(xiàng)“it”個(gè)數(shù)的比例,這一準(zhǔn)確率越高,說(shuō)明被丟失的待消解項(xiàng)越少,召回率的損失越低;負(fù)例的準(zhǔn)確率Acc-,即正確識(shí)別“it”非待消解項(xiàng)的個(gè)數(shù)占總非待消解項(xiàng)“it”個(gè)數(shù)的比例,這一準(zhǔn)確率越高,無(wú)效實(shí)例越少,引入的噪音越少。

6.1 待消解項(xiàng)分類器性能

首先,測(cè)試基于特征的“it”待消解項(xiàng)分類器的性能(見(jiàn)表3)。由表中數(shù)據(jù)看出正例的準(zhǔn)確率比較低,而負(fù)例的準(zhǔn)確率相對(duì)較高。導(dǎo)致這一現(xiàn)象原因,一是非待消解項(xiàng)的“it”比例比較大,而正例數(shù)量很少,二是特征不充分,導(dǎo)致很多正例被識(shí)別成負(fù)例。由于系表結(jié)構(gòu)的“it”在語(yǔ)料中比例不是很高,所以PT與M T或DT結(jié)合使用。例如PTMT是指先判斷當(dāng)前“it”是否是系表結(jié)構(gòu),如果不是再使用M T方法?！?”表示加上特征信息,組合生成復(fù)合核的實(shí)例。從整體上來(lái)看,復(fù)合核的方法能明顯提高分類器的性能,對(duì)比PTMT和PTDT,根據(jù)依存關(guān)系裁剪的方法更加有效。三大語(yǔ)料中負(fù)例的高準(zhǔn)確率說(shuō)明分類器性能已取得比較高的水平。對(duì)于BNEWS語(yǔ)料上正例的準(zhǔn)確率高達(dá)84.6%,這可能是因?yàn)锽NEWS中正例的“it”僅為13。

表3 “it”待消解項(xiàng)分類器性能

6.2 代詞指代消解

將訓(xùn)練生成的“it”待消解項(xiàng)分類器引入代詞的指代消解中,測(cè)試其對(duì)代詞指代消解各方面性能的影響。引入“it”待消解項(xiàng)分類器時(shí),代詞指代消解原型系統(tǒng)的訓(xùn)練過(guò)程不變,只是在生成測(cè)試實(shí)例時(shí),將代詞“it”交由分類器判斷是否為待消解項(xiàng),如果是則繼續(xù)后續(xù)的消解流程;如果不是則直接放棄。

代詞指代消解原型系統(tǒng)的性能參數(shù)如表4所示,從表中數(shù)據(jù)看出,本文采用的原型系統(tǒng)具有較高的水平,略低于Zhou等所采用的基準(zhǔn)系統(tǒng)。采用特征方法生成的“it”待消解項(xiàng)分類器,三大語(yǔ)料的代詞消解性能略有提高,F值分別提高了0.3、0.4、1.3。采用特征和PTMT組合生成的“it”待消解項(xiàng)識(shí)別分類器使三大語(yǔ)料中代詞消解的準(zhǔn)確率分別提高了5.7%,5.2%,12.6%,召回率略有下降,這是由于分類器的高Acc-和低Acc+所造成。特別是BNEWS語(yǔ)料,不需要消解的“it”的比例高達(dá)91.2%(見(jiàn)表 2),過(guò)濾掉這些噪音,準(zhǔn)確率竟提高了12.6%。采用PTDT方法的分類器使代詞指代消解取得了最好的性能,相比原型系統(tǒng),F值分別提高了2.7、3.5、6.2。這也證明了 Stoyanov等[1]對(duì)待消解項(xiàng)識(shí)別重要性的觀點(diǎn)。由于PTDT方法在正例的“it”識(shí)別率上有所提高,所以在性能上優(yōu)于PTMT方法和特征方法。

表4 引入分類器的代詞指代消解性能

7 總結(jié)

“it”待消解項(xiàng)識(shí)別一直是研究的熱點(diǎn),采用規(guī)則、特征、樹(shù)核的方法已取得不錯(cuò)效果。本文采用復(fù)合核,結(jié)合了樹(shù)核和特征的優(yōu)點(diǎn),訓(xùn)練生成“it”待消解項(xiàng)分類器。在樹(shù)的裁剪方面,根據(jù)“it”在句法樹(shù)的特點(diǎn),提出了三種裁剪策略。在特征選擇方面,結(jié)合已有的和最新的研究成果,挖掘能反映“it”自身及上下文環(huán)境的特征。在ACE2003基準(zhǔn)語(yǔ)料測(cè)試表明“it”待消解項(xiàng)分類器取得了較好的性能。然后將其用于代詞的指代消解中,實(shí)驗(yàn)證明了它對(duì)代詞指代性能的提高有很大的幫助。

本文下一步研究是樹(shù)的裁剪方法和更大規(guī)模的“it”語(yǔ)料庫(kù),現(xiàn)有的樹(shù)的裁剪是基于觀察、經(jīng)驗(yàn),沒(méi)有充分利用“it”在句法樹(shù)上的語(yǔ)法、句法等信息,如若采用更加合理的裁剪策略,相信能進(jìn)一步提高分類器的性能。ACE2003基準(zhǔn)語(yǔ)料中待消解項(xiàng)“it”與非待消解項(xiàng)“it”的數(shù)量比較少且比例很不均衡,不利于充分比較特征、樹(shù)核、復(fù)合核之間的差異,需要尋找更加具有代表性的語(yǔ)料。

[1]Veselin Stoyanov,Nathan Gilbert,Claire Cardie and Ellen Riloff.Conundrums in Noun Phrase Coreference Resolution:Making Sense of the State-of-the-Art[C]//ACL'2009:656-664.

[2]Richard Evans.Applying Machine Learning Toward an Automatic Classification of It[C]//Literary and Linguistic Computing,2001,16(1):45-57.

[3]J.Hobbs.1978.Resolving pronoun references[J].Lingua,44:339-352

[4]Lappin S.,Herbert J.L.An algorithm for pronominal anaphora resolution[J].Computational Linguistics,1994,20(4):535-561.

[5]Bergsma S.,Lin D.and Goebel R.Distributional Identification of Non-referential Pronouns[C]//ACL'2008:10-18.

[6]Ng V.and Cardie C.Identify Anaphoric and Non-Anaphoric Noun Phrases to Improve Coreference Resolution[C]//COLING'2002.

[7]王海東.基于樹(shù)核函數(shù)的英文代詞消解研究[J].中文信息學(xué)報(bào),2009,23(5):33-39.

[8]Zhou G.D.and Kong F.Global Learning of Noun Phrase Anaphoricity in Coreference Resolution via Label Propagetion[C]//EMNLP'2009:978-986.

[9]Yang X.F.,Su J.and Tan C.L.Kernel-Based Pronoun Resolution with Structured Syntactic Knowledge[C]//ACL'2006:41-48.

[10]Soon W.M.,Ng H.T.and Lim D.A machine learning approach to coreference resolution of noun phrase[J].Computational Linguistics,2001,27(4):521-544.

[11]Kong F.,Zhou G.D.and Zhu Q.M.Employing the Centering Theory in Pronoun Resolution from the Semantic Perspective[C]//EMNLP'2009:987-996

[12]Christoph Muller.Automatic detection of nonreferential It in spoken multi-party dialog[C]//EACL'2006:49-56.

[13]ZhouG.D.andSuJ.A high- performance coreference resolution system using a multi-agent strategy[C]//COLING'2004:522-528.

[14]Collins M.Head-driven statistical models for natural language parsing[D].Ph.D.Thesis,the University of Pennsylvania.1999.

[15]王厚峰.指代消解的基本方法和實(shí)現(xiàn)技術(shù)[J].中文信息學(xué)報(bào),2002,16(6):9-17.

[16]王曉龍,關(guān)毅,等.計(jì)算機(jī)自然語(yǔ)言處理[M].北京:清華大學(xué)出版社,2005.