吳佳昌 吳觀茂

(安徽理工大學(xué)計算機(jī)科學(xué)與工程學(xué)院 安徽 淮南 232001)

0 引 言

關(guān)系抽取作為自然語言處理中最重要的任務(wù)之一，其結(jié)果直接影響著接下來信息抽取、機(jī)器翻譯、自動問答系統(tǒng)等任務(wù)的進(jìn)行，所以好的關(guān)系抽取結(jié)果則是進(jìn)行其他任務(wù)的前提條件。

關(guān)系抽取方法主要分為三類：有監(jiān)督、半監(jiān)督和無監(jiān)督的學(xué)習(xí)方法。有監(jiān)督的學(xué)習(xí)方法雖然能夠有不錯的表現(xiàn)，能提取更有效的特征和更高的準(zhǔn)確率和召回率，但比較依賴于人工標(biāo)注語料。作為無監(jiān)督的學(xué)習(xí)方法，其假設(shè)擁有相同語義關(guān)系的實體對擁有相似的上下文關(guān)系，用相似的上下文信息來對語義關(guān)系進(jìn)行聚類，相對來說準(zhǔn)確率沒有有監(jiān)督的學(xué)習(xí)方法高。

針對有監(jiān)督學(xué)習(xí)方法需要大量人工標(biāo)注語料和無監(jiān)督學(xué)習(xí)方法的低準(zhǔn)確率，Mintz提出了遠(yuǎn)程監(jiān)督的學(xué)習(xí)方法。這是一種標(biāo)注方法，把知識庫中存在的實體與實體的關(guān)系引入到正常的自然語言中進(jìn)行訓(xùn)練。

作為深度學(xué)習(xí)中的重要技術(shù)，卷積神經(jīng)網(wǎng)絡(luò)有很強(qiáng)的提取深層特征的能力，在圖片識別領(lǐng)域取得了重要的成功，在文本分類方面也表現(xiàn)不錯。但是對于單通道、單一詞向量的模型輸入，所提取的特征還是不夠完整。本文重點研究有監(jiān)督學(xué)習(xí)，并針對上述問題提出雙通道卷積神經(jīng)網(wǎng)絡(luò)，一個通道輸入詞向量訓(xùn)練模型得出的句子向量，另一個通道輸入句子的依存關(guān)系向量，然后進(jìn)行特征的自動提取，通過softmax分類器進(jìn)行分類。這個模型相對于單通道、單一詞向量的卷積神經(jīng)網(wǎng)絡(luò)有一定的提升。

1 相關(guān)工作

關(guān)于實體關(guān)系抽取任務(wù)，經(jīng)歷了很長時間的探索和發(fā)展，也嘗試采用了很多方法來實現(xiàn)關(guān)系抽取，比如說基于特征工程的方法[1]、基于核函數(shù)的方法等。有監(jiān)督的分類方法是最常用的實現(xiàn)方法，而且也有很好的表現(xiàn)。近幾年越來越多的人開始使用神經(jīng)網(wǎng)絡(luò)來解決關(guān)系抽取問題。Liu等[2]第一次提出使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)來解決關(guān)系抽取問題，雖然效果不錯，但是因為結(jié)構(gòu)比較簡單、沒有池化層，而存在較多噪聲。文獻(xiàn)[3]使用了較完整的CNN模型，pre-train的詞向量，而且其中加入了詞的位置特征向量，不過只有一種卷積核，特征比較單一。針對卷積核大小單一的問題，文獻(xiàn)[4]提出了多尺寸卷積核的CNN模型，不過還是傳統(tǒng)的CNN結(jié)構(gòu)，沒有明顯的提升。文獻(xiàn)[5]在CNN結(jié)構(gòu)上沒有太多變化，只是采用了Ranking Loss的損失函數(shù)，比之前的softmax效果好。文獻(xiàn)[6]采用雙向RNN(遞歸神經(jīng)網(wǎng)絡(luò))結(jié)構(gòu)，加入了實體的位置標(biāo)簽，取得的效果與CNN模型差不多。

文獻(xiàn)[7]開始在大規(guī)模的數(shù)據(jù)集上做關(guān)系抽取，使用了多實例學(xué)習(xí)來減弱遠(yuǎn)程監(jiān)督帶來的噪聲問題，而且在池化層也做了改進(jìn)，采用了分段最大池化，更充分有效提取句子特征信息，也取得了較好的結(jié)果。文獻(xiàn)[8]在文獻(xiàn)[4]的基礎(chǔ)上加入了attention機(jī)制，給賦予句子不同的權(quán)重，突出想要的信息，過濾掉噪聲，充分利用信息，但是CNN模型還是適合用于短文本，RNN模型更適合長文本。文獻(xiàn)[9]中加入句子級別的attention機(jī)制，使用CNN模型結(jié)合靜態(tài)詞向量就取得了很好的效果。

從上述文獻(xiàn)中可以看出，深度學(xué)習(xí)的方法在實體關(guān)系提取方面取得了不錯的效果。如果加上的傳統(tǒng)自然語言標(biāo)注信息，效果可能更好。針對這個想法，本文提出了雙通道卷積神經(jīng)網(wǎng)絡(luò)模型，其中利用自然語言處理工具加入了語義依存分析信息，能夠深層次的提取兩個單詞之間的語義關(guān)系，通過實驗證明了其有效性。

2 實體關(guān)系抽取

2.1 實體關(guān)系抽取模型

為了進(jìn)一步提升深度學(xué)習(xí)實體關(guān)系抽取的能力，結(jié)合自然語言處理工具，將依存關(guān)系加入到特征提取中，使網(wǎng)絡(luò)提取更深的提取能力。本文提出基于依存分析和雙通道卷積神經(jīng)網(wǎng)絡(luò)的實體關(guān)系抽取模型如圖1所示。此模型包含有映射層、卷積層、池化層和輸出層。與一般卷積神經(jīng)網(wǎng)絡(luò)不同的是它擁有兩個通道的輸入向量：通道一使用Word2vec訓(xùn)練的詞向量；通道二使用權(quán)威自然語言處理工具標(biāo)注之后得到的詞性和依存關(guān)系對向量。通過卷積核將兩個通道的特征提取到一個總的特征圖，再經(jīng)過分段池化層的過濾，得到相對于最大池化更多的特征，最后送入分類器進(jìn)行分類。

圖1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型示意圖

作為深度學(xué)習(xí)中一種著名的神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用于圖像識別、語音識別等領(lǐng)域，并取得出色的結(jié)果。它有出色的特征提取能力，能夠提取深層特征，并且還能消除一定的噪聲。卷積神經(jīng)網(wǎng)絡(luò)包括輸入層、卷積層、采樣層和輸出層。針對不同的任務(wù)，構(gòu)造不同的模型結(jié)構(gòu)，達(dá)到最好的效果。

整個實體關(guān)系抽取流程如圖2所示。將數(shù)據(jù)集中的數(shù)據(jù)分別進(jìn)行依存分析和詞向量訓(xùn)練，得到的向量矩陣再送入雙通道卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行實體關(guān)系抽取。

圖2 實體關(guān)系抽取流程圖

2.2 詞向量表示

詞向量是詞的一種基于神經(jīng)網(wǎng)絡(luò)的分布式表示，是基于分布式假說對目標(biāo)詞進(jìn)行建模，其思想就是相似的上下文信息，那么其所對應(yīng)的語義關(guān)系也相似。主要的工作就是上下文的表示，以及對上下文和實體詞之間的關(guān)系建模。詞向量將每個詞映射到一個某個k維的真值向量，維數(shù)較低而且能很好地捕獲句子語義和句法特征，所以在很多NLP任務(wù)都有很好的表現(xiàn)。

目前對于訓(xùn)練詞向量的方法常用的兩種：Word2vec和GloVe。其中的Word2vec是由Google提供的開源詞向量訓(xùn)練工序。CBOW和Skip-gram是Word2vec中兩種訓(xùn)練模型，CBOW是通過上下文來預(yù)測目標(biāo)詞，而Skip-gram是通過目標(biāo)詞來預(yù)測上下文，總的思想都是相似的上下文有相似的目標(biāo)詞。本文使用Skip-gram來訓(xùn)練詞向量，詞向量的維數(shù)默認(rèn)設(shè)置為300維。

為了更精確地表示和映射出詞嵌入，我們在每個詞嵌入的后面附加了其位置信息，就是體現(xiàn)當(dāng)前這個詞與句中實體的距離大小。其表達(dá)形式為(d1,d2)的一個元組。

例如某個單詞的位置信息元組為(3，-2)，3為單詞到實體e1的矢量距離，而-2為單詞到實體e2的矢量距離，從左到右表示矢量正向，從右到左表示矢量負(fù)向，正數(shù)表示單詞在實體的右側(cè)，復(fù)數(shù)表示單詞在實體的左側(cè)。將每個詞的位置信息加到每個詞向量之后，組成一個新的向量。加入了位置信息的單詞結(jié)構(gòu)表現(xiàn)形式為【word,d1,d2】,其中：word表示某個單詞；d1表示單詞到實體1的距離；d2表示單詞到實體2的距離。詞結(jié)構(gòu)表現(xiàn)形式如表1所示。

表1 詞結(jié)構(gòu)表現(xiàn)形式

加入位置信息后的詞序列按照單詞的順序劃分為：

S={s1,s2,…，sn}

然后使用Word2vec中訓(xùn)練好的Skip-gram模型得到詞向量，每個詞向量形如[0.792,-0.177,-0.107,0.109,-0.542,…]是一種低維向量，相較于獨熱向量表示方法，既不會造成維數(shù)災(zāi)難也能表示詞與詞之間關(guān)聯(lián)，包含的語義信息也更豐富。這些詞向量按照詞原有的順序排列，組成一個矩陣，長度為n，寬度為d，然后將這個矩陣作為卷積神經(jīng)網(wǎng)絡(luò)一個通道的輸入。

2.3 依存分析

依存分析的目的是為了發(fā)現(xiàn)兩個單詞之間的句法結(jié)構(gòu)和語義關(guān)系，這種兩個單詞之間的關(guān)系被稱為依存關(guān)系。

依存分析包括依存句法分析和語義依存分析。依存句法分析主要是通過識別句中詞語成分如“主謂賓，定狀補(bǔ)”，來分析各成分之間的依賴關(guān)系，并分析句子的句法結(jié)構(gòu)。語義依存分析能夠分析兩個詞語之間更深層次的語義關(guān)系，跨越句法結(jié)構(gòu)的束縛，不同的句法結(jié)構(gòu)可能表達(dá)的語義是相同的。文獻(xiàn)[10]中使用RNN來得到句子的最短依存路徑，然后加入到詞向量中，使用卷積神經(jīng)網(wǎng)絡(luò)來提取特征，取得了不錯的效果。

本文使用的是來自斯坦福大學(xué)開發(fā)的自然語言處理工具Stanford CoreNLP，這是被廣泛認(rèn)可的自然語言處理工具。利用Standford CoreNLP對句子進(jìn)行預(yù)處理，包括分詞、詞性標(biāo)注、命名實體識別和依存句法分析。

依存關(guān)系對表現(xiàn)形式為：依存關(guān)系(依存詞，核心詞)，依存關(guān)系是核心詞和依存詞之間的關(guān)系，而且這個關(guān)系是有方向的，依存詞指向核心詞，支配詞支配依存詞，這種支配關(guān)系不受距離的影響。

例如對句子“Adults use drugs for this purpose.”進(jìn)行語義依存分析，結(jié)果如圖3所示。圖3中每個單詞上方的大寫字母縮寫表示它們的詞性，NNS表示復(fù)數(shù)名詞；VBP表示非第三人稱動詞；IN表示連詞；DT表示限定詞；NN表示單數(shù)名詞。這個句子的依存關(guān)系對表示為：nsubj(use-2, Adults-1)，root(ROOT-0, use-2)，dobj(use-2, drugs-3)，case(purpose-6, for-4)，det(purpose-6, this-5)，nmod(drugs-3, purpose-6)。nsubj表示名詞性主語，這里指的是“Adults”；root表示根節(jié)點，一般指向句子中的謂語，這里指向“use”；dobj表示直接賓語；case表示格位標(biāo)志；det表示限定詞；nmod表示復(fù)合名詞修飾。這些依存關(guān)系在圖中表現(xiàn)為兩個詞通過一條有向弧線連接，由一端的依存詞指向另一端的核心詞。每個單詞后所帶的數(shù)字表示它在句子中的序號。

圖3 語義依存分析示例

本文首先將數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行依存分析之后，輸出一個以單詞為單位的元組，其結(jié)構(gòu)表示為【POS,DR】,其中：POS表示句子中單詞的詞性；DR表示依存關(guān)系。其對應(yīng)的是每個單詞和其依賴詞匯組成的依存對，表現(xiàn)形式為r(n1,n2)，r是兩個單詞的依存關(guān)系；n1是依存詞在句子中的序號；n2是核心詞在句子中的序號。Stanford CoreNLP輸出結(jié)果如表2所示。這n個元組按詞序排列，同樣使用Word2vec訓(xùn)練得到詞向量矩陣，這個矩陣寬度是d，長度是n(n為句子的長度)，記為R1∈Rn×d，作為通道一的輸入向量。

表2 Stanford CoreNLP輸出結(jié)果

2.4 卷積過程

卷積層中，通過滑動卷積核(也稱過濾器)，與輸入向量進(jìn)行卷積操作，最后得到一個特征圖。R1,R2∈Rd×n作為卷積層的輸入矩陣，其中n為句子S的長度(詞的個數(shù))，d為矩陣寬度。

兩通道的輸入矩陣寬度是一致的，從而方便了兩個通道的卷積操作。兩個向量矩陣上下排列，然后每個過濾器從通道一慢慢滑動到通道二，完成一次完整的卷積操作。

這樣的連接方式好處是：1) 減少了參數(shù)的個數(shù)，一定程度上減少了過擬合的可能性，從而提高了訓(xùn)練速度；2) 破壞了結(jié)構(gòu)對稱性，從而能提取出不同特征。

過濾器的寬度為d，與輸入矩陣寬度一致，高度為h，而過濾器的權(quán)值向量被隨機(jī)初始化W，其中W={w1,w2,…，wm}，有m個過濾器，每個過濾器包含h*d個參數(shù)，R表示輸入向量矩陣，R[i:j]表示矩陣R中第i行到第j行，其中j=i+h-1。

在卷積過程中，有兩種滑動情況如下：

1) 過濾器在同一個通道滑動，即過濾器和矩陣R的第i行到第j行進(jìn)行卷積操作。

cki=f(Wk·R[i:j]+b)

1≤i≤n，i≤j≤n，j=i+h-1

(1)

式中：b表示偏置；f為非線性激勵函數(shù)ReLU，能夠快速得到較為精確的正確特征。

2) 過濾器在兩個通道中同時滑動。

cki=f(Wk·{R1[i:n]:R2[1:j]}+b)

n-h

(2)

式中：R1、R2分別是通道一、通道二的輸入向量矩陣。過濾器從通道一滑動到通道二，橫跨兩個通道，經(jīng)過完整卷積操作之后得到一個特征圖C。

C={c1,c2,…，cm}∈Rm×(2s-h+1)

式中：2s-h+1為特征圖C高度；m是C的寬度。

2.5 分段最大池化過程

池化層能降低輸出結(jié)果的維度，還能保留最主要的特征。對于常見的最大池化操作，就是為了讓輸出的特征與其輸入的句子長度無關(guān)，也就是無論輸入的句子長度是多少，輸出的特征長度是不變的。單獨的最大池化操作被普遍使用，但是卻不足以用于實體關(guān)系抽取。其用來提取特征太過粗糙，也無法準(zhǔn)確提取兩個實體之間的結(jié)構(gòu)性信息，因此本文采用分段式最大池化操作。

如圖1所示，將卷積層得到的特征圖分為三段。第一段、第三段分別是對通道一和通道二進(jìn)行卷積操作得到的特征圖，第二段是對兩通道同時進(jìn)行卷積操作得到的特征圖，將此特征圖進(jìn)行分段最大池化(piecewise max-pooling)。高度為4、5的過濾器也是同樣操作。

pki=max{cki}

(3)

式中：1≤k≤n，i=1,2,3對應(yīng)著卷積層的三段輸出，每一段進(jìn)行最大池化操作得出pk={pk1,pk2,pk3}，將所有得到的pk拼接起來，得到一個特征向量。記

p1:m=[p1,p2,…，pm]

再通過一個非線性激勵函數(shù)最后輸出結(jié)果向量。

y=tanh(p1:m)

(4)

y∈Rm的大小是固定的而且和輸入句子的長度n無關(guān)。最后將得到特征向量送入softmax分類器進(jìn)行分類。

2.6 Dropout及分類層

針對深度學(xué)習(xí)訓(xùn)練過程中出現(xiàn)的過擬合問題，Hinton提出了Dropout技術(shù)。過擬合問題有兩個原因：一是訓(xùn)練樣本數(shù)量太少，二是構(gòu)建的模型復(fù)雜度過高。通?？梢圆捎迷黾佑?xùn)練樣本的數(shù)量、數(shù)據(jù)擴(kuò)充和正則化約束。Dropout思想就是正則化約束的一種實現(xiàn)形式，通過隨機(jī)丟棄一些隱藏層神經(jīng)元，使用修改過后的網(wǎng)絡(luò)進(jìn)行前向傳播和反向傳播，能夠有效地防止過擬合的發(fā)生。

本文在最后第二層加入Dropout技術(shù)來實現(xiàn)正則化，在前向傳播途中，以一定的概率p來丟棄一些隱藏層神經(jīng)元來防止過擬合。

g=(y?r)

(5)

式中：r∈Rm是以概率為p的Bernoulli隨機(jī)變量向量；?表示按位相乘；y∈Rm則是池化層的輸出結(jié)果。最后將經(jīng)過Dropout處理得到的向量g輸入到softmax分類器中。

O=Wtg

(6)

式中：Wt∈Rm1×m是一個轉(zhuǎn)換矩陣，而O=[O1,O2，…，Om1]∈Rm1，∑Oi=1，這是softmax層也是最后的輸出結(jié)果。其中每個元素表示其對應(yīng)類別的概率，概率最大元素所對應(yīng)的類別就是分類結(jié)果。m1表示可能的關(guān)系類型數(shù)目，實驗數(shù)據(jù)使用的是SemEval 2010 Task8數(shù)據(jù)集，其中包含10種關(guān)系類型分類。

2.7 模型訓(xùn)練

本文模型中可訓(xùn)練參數(shù)為θ=(R1,R2,W,Wt)，其中R1，R2分別是通道一和通道二訓(xùn)練好的向量矩陣,W∈Rd×h是卷積核參數(shù)，Wt是softmax分類器的轉(zhuǎn)換矩陣。本文使用的損失函數(shù)為：

(7)

3 實 驗

首先介紹數(shù)據(jù)集，然后通過交叉驗證確定模型參數(shù)，比較不同池化策略的池化效果，將本文方法和不加入詞性和依存關(guān)系的模型在整體識別率和各個類別的識別率上相比較，最后得出結(jié)論依存關(guān)系對實體關(guān)系抽取的影響。

3.1 數(shù)據(jù)集

本文使用的數(shù)據(jù)集是SemEval 2010 Task8數(shù)據(jù)集，其中包括8 000條訓(xùn)練數(shù)據(jù)，2 717條測試數(shù)據(jù)，數(shù)據(jù)集中訓(xùn)練樣例如下所示：

″ have been moving back into .″

Entity-Destination(e1,e2)

Comment:

第一行是句子，其中兩個實體已經(jīng)通過“，”標(biāo)注出來；第二行是兩個實體的關(guān)系；第三行是備注。這個訓(xùn)練數(shù)據(jù)集包含10種實體關(guān)系，如表3所示。

表3 10種實體關(guān)系

3.2 超參數(shù)設(shè)置

表4 超參數(shù)設(shè)置表

其中詞向量維度、學(xué)習(xí)速率、卷積核高度、正則化項設(shè)置為默認(rèn)值，其他項通過十折交叉驗證法得到。通過將訓(xùn)練集分成十份，輪流將其中一份作為測試集，其他9份作為訓(xùn)練集，經(jīng)過多次實驗得到上述參數(shù)。圖4分別列出了卷積核個數(shù)和Dropout比率對F1值的影響?？梢钥闯?，在此實驗中隨著卷積核數(shù)量和Dropout比率的增加，F(xiàn)1值逐漸增大，當(dāng)卷積核數(shù)量為150和Dropout比率為0.6時，F(xiàn)1值最高。但隨著它們的繼續(xù)增大，F(xiàn)1值反而下降，說明過多的卷積核數(shù)量并不能提取更多有效特征，更高的Dropout比率反而會導(dǎo)致準(zhǔn)確率的下降。

圖4 交叉驗證結(jié)果

3.3 不同池化策略對比

不同的池化策略有不同的過濾效果，對最后的分類效果也會產(chǎn)生影響，表5討論了在三種池化策略下模型的F1值表現(xiàn)。三段池化是本文采用的策略，根據(jù)卷積操作形成的三段特征圖進(jìn)行分段最大池化；二段池化則是以同時通過兩通道的部分為界，對上下兩部分進(jìn)行最大池化。從結(jié)果看來，分段最大池化比最大池化效果有0.8%的提升，三段池化相對于二段池化有略微提升。

表5 不同池化策略下的實驗結(jié)果

3.4 實驗結(jié)果與分析

本文使用準(zhǔn)確率、召回率和F1值來評價這個模型的性能。各模型性能參照如表6所示。

表6 各模型性能表

通過實驗數(shù)據(jù)可以看出，在使用普通的CNNs和PCNNs(分段卷積神經(jīng)網(wǎng)絡(luò))，F(xiàn)1值只有82.7和83.1，而PCNNs加上詞性標(biāo)注POS，F(xiàn)1值有83.9；PCNNs加上依存關(guān)系DR之后，F(xiàn)1值變?yōu)?4.4；而本文模型(PCNNs+POS+DR)所獲得的F1值為85.1。本文方法相對于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)來說有約2.4%的提升，也比單純加入詞性和依存關(guān)系的模型有提升。

另外，本文方法相對于PCNNs在每項類別上的識別效果如圖5所示。使用本文方法后，相對于PCNNs有總體2%的提升，從每個類別識別效果來看，提升的大小不同，類別Entity-Origin和類別Entity-Destination大約有3%的提升，而類別Instrument-Agency和類別Other提升較少，說明加入了語義依存分析之后對整體識別效果有一定的提升，但是個別類別的識別效果提升不大。

圖5 各項類別的F1值

根據(jù)實驗可以得出以下結(jié)論 ：

(1) 在引入依存分析作為特征之后，明顯比單純從Word2vec訓(xùn)練的詞向量中提取特征來得更加準(zhǔn)確，因為此模型能從語義層次提取句子中的信息，更好地反映句子的語法結(jié)構(gòu)，分類性能也更好。綜上，加入的特征越多，分類的結(jié)果也越準(zhǔn)確，當(dāng)然也得考慮不能有過多的參數(shù)，不然很難擬合。

(2) 使用卷積神經(jīng)網(wǎng)絡(luò)模型和自然語言處理工具相結(jié)合，比單一使用卷積神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)模型來得效果好，再加上卷積神經(jīng)模型善于提取平面特征，能夠出色地完成關(guān)系抽取任務(wù)。

4 結(jié) 語

本文針對單一使用訓(xùn)練之后的詞向量提取特征或者自然語言處理工具來實現(xiàn)關(guān)系抽取，提出了一種基于依存關(guān)系的雙通道卷積神經(jīng)網(wǎng)絡(luò)模型。Word2vec訓(xùn)練的詞向量和由自然語言處理工具得出的依存關(guān)系對分別作為模型兩通道的輸入向量，經(jīng)過實驗表明，兩者結(jié)合能夠有效提高F1值。不過這是基于有監(jiān)督的情況下，更多的時候需要從一些無結(jié)構(gòu)的語句中提出實體關(guān)系，而且要做到準(zhǔn)確率高，還需要繼續(xù)研究。