楊超男，彭敦陸

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093)

Email：pengdl@usst.edu.cn

1 引 言

作為自動(dòng)抽取信息的中心任務(wù)，關(guān)系抽取旨在確定一對(duì)實(shí)體提及之間的關(guān)系，它被證明對(duì)自然語(yǔ)言理解和其他下游任務(wù)很有用.隨著技術(shù)的不斷進(jìn)步以及對(duì)關(guān)系抽取研究的不斷深入，對(duì)文檔中關(guān)系抽取的需求迅速提高.文檔中蘊(yùn)含的豐富知識(shí)不僅有助于快速精準(zhǔn)的了解文檔的關(guān)鍵信息，而且對(duì)現(xiàn)階段社交網(wǎng)絡(luò)的構(gòu)建提供了強(qiáng)有力的幫助，因此，面向文檔的關(guān)系抽取成為了自然語(yǔ)言處理等眾多領(lǐng)域的基礎(chǔ)研究.

迄今，國(guó)內(nèi)外眾多科研學(xué)者們提出了關(guān)于實(shí)體關(guān)系抽取的一系列方法.但是，將現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型擴(kuò)展到文檔級(jí)實(shí)體關(guān)系抽取任務(wù)中，至少存在以下不足：

首先，區(qū)別于傳統(tǒng)的句子級(jí)別的實(shí)體關(guān)系抽取，由于文檔的邏輯結(jié)構(gòu)更復(fù)雜，內(nèi)部語(yǔ)義也更加豐富，很顯然文檔級(jí)的關(guān)系抽取難度有了很大的提升.其次，大多數(shù)的關(guān)系抽取模型都是對(duì)整個(gè)句子進(jìn)行建模，不能差異化的構(gòu)建跨多個(gè)句子具有復(fù)雜邏輯結(jié)構(gòu)的關(guān)系特征，從而導(dǎo)致模型的效率低下.綜上所述，結(jié)合現(xiàn)階段實(shí)體關(guān)系抽取任務(wù)中存在的一些問(wèn)題，可以發(fā)現(xiàn)文檔級(jí)實(shí)體關(guān)系抽取方法的有效構(gòu)建對(duì)于提升自然語(yǔ)言理解技術(shù)有很大的價(jià)值.

本文的貢獻(xiàn)如下：1)將BSRU模型運(yùn)用于文檔級(jí)實(shí)體關(guān)系抽取；2)提出了結(jié)合多條最短依賴(lài)路徑對(duì)關(guān)系特征建模的方法；3)最后，在膠囊網(wǎng)絡(luò)中引入了注意力機(jī)制，提高模型預(yù)測(cè)的精準(zhǔn)性.

2 相關(guān)研究

近年來(lái)，神經(jīng)網(wǎng)絡(luò)模型在實(shí)體關(guān)系抽取的相關(guān)任務(wù)中發(fā)揮著越來(lái)越重要的作用，與傳統(tǒng)的方法相比，神經(jīng)網(wǎng)絡(luò)抽取模型在學(xué)習(xí)的特征表示方面更加完整，效率上也更加高效便捷.常見(jiàn)的神經(jīng)網(wǎng)絡(luò)關(guān)系抽取模型有循環(huán)神經(jīng)網(wǎng)絡(luò)模型，如Socher等[1]人提出的遞歸矩陣向量模型，通過(guò)對(duì)句子中實(shí)體間的最短依賴(lài)路徑建模來(lái)進(jìn)行句子內(nèi)部的關(guān)系抽取；Geng等[2]人提出的基于雙向樹(shù)狀結(jié)構(gòu)的長(zhǎng)短時(shí)記憶的注意力模型，用于抽取依賴(lài)樹(shù)中的語(yǔ)義關(guān)系特征.Peng等[3]人和Song等[4]人提出了基于圖的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型，用于關(guān)聯(lián)蛋白質(zhì)藥物疾病的多個(gè)句子中的n元關(guān)系抽取，但是實(shí)體被限制在最多兩個(gè)跨度的句子中.

隨著膠囊網(wǎng)絡(luò)被用來(lái)改善CNN和RNN的表示限制，越來(lái)越多的人將它應(yīng)用于自然語(yǔ)言處理任務(wù)中.Wang 等[5]人首次嘗試在循環(huán)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上使用膠囊進(jìn)行情感分析，但是，它們沒(méi)有采用路由算法，因此極大地限制了膠囊的功能；Gong 等[6]人提出了兩種動(dòng)態(tài)路由方法，他將RNN / CNN編碼層的輸出進(jìn)行特征的融合，以此表示模型最終的編碼向量；Zhang 等[7]人提出了一個(gè)多標(biāo)簽關(guān)系抽取的膠囊網(wǎng)絡(luò)模型，用于解決單個(gè)句子中實(shí)體在不同關(guān)系中的重疊特征.

Shahroudnejad等[8]人提出了一個(gè)并行的多路徑膠囊網(wǎng)絡(luò)模型PathCapsNet，它使用了3個(gè)子網(wǎng)絡(luò)來(lái)抽取輸入特征，并利用膠囊層來(lái)建立相關(guān)特征之間的關(guān)系.

然而，上述這些方法限制了捕獲長(zhǎng)跨度句子中實(shí)體語(yǔ)義信息，并且它們不能從關(guān)系示例中提取一些新的有效特征.為了解決上述問(wèn)題并提高模型的訓(xùn)練效率，本文提出了一種將雙向簡(jiǎn)單循環(huán)神經(jīng)網(wǎng)絡(luò)[9]與融合注意力機(jī)制的膠囊網(wǎng)絡(luò)[10]相結(jié)合實(shí)體關(guān)系抽取模型.接下來(lái)的部分將詳細(xì)介紹本文提出的融合模型的具體實(shí)現(xiàn)過(guò)程.

3 方 法

模型的基本框架如圖1所示.對(duì)于給定兩個(gè)實(shí)體，在依存樹(shù)中唯一確定一條最短依賴(lài)路徑，而一篇文檔中由于每一個(gè)實(shí)體都存在若干個(gè)共指，因此能夠確定類(lèi)似的最短依賴(lài)路徑m條.接著，將最短依賴(lài)路徑的所有詞映射為詞嵌入、依賴(lài)嵌入、共指嵌入及實(shí)體類(lèi)型向量，拼接后輸入到BSRU 中，其中，BSRU模型負(fù)責(zé)深入學(xué)習(xí)文本中實(shí)體對(duì)關(guān)系的語(yǔ)義特征和上下文信息特征.已有文獻(xiàn)研究了對(duì)最短依賴(lài)路徑建模進(jìn)行關(guān)系預(yù)測(cè)的合理性[11]，本文基于此對(duì)最短依賴(lài)路徑進(jìn)行關(guān)系建模，同時(shí)通過(guò)注意力機(jī)制給每條路徑上學(xué)習(xí)到的關(guān)系特征分配不同權(quán)重，優(yōu)化蘊(yùn)含在文檔中復(fù)雜邏輯結(jié)構(gòu)的實(shí)體關(guān)系表示.隨后，將最短依賴(lài)路徑上的詞向量和新學(xué)習(xí)到的關(guān)系向量傳給CapsNet 模型，得到高級(jí)關(guān)系膠囊，最后將預(yù)測(cè)的概率與關(guān)系類(lèi)別標(biāo)簽對(duì)應(yīng)，完成本文的文檔級(jí)別的關(guān)系抽取任務(wù).

圖1 基于 BSRU 和 CapsNet 模型的框架圖(e1k，e2k分別是e1，e2的共指)

3.1 輸入向量表示

多項(xiàng)研究表明，依存句法分析可以?xún)?yōu)化關(guān)系抽取的性能[12，13].在文檔級(jí)關(guān)系抽取任務(wù)中，本文發(fā)現(xiàn)目標(biāo)實(shí)體之間的最短依賴(lài)路徑為確定跨句子之間目標(biāo)實(shí)體對(duì)的關(guān)系提供了證據(jù).

本文首先利用stanford corenlp解析器[14]將文檔解析為依賴(lài)關(guān)系樹(shù)，將最短依賴(lài)關(guān)系路徑作為本文模型的輸入.具體如下：跨句子的實(shí)體關(guān)系可以通過(guò)對(duì)從端點(diǎn)實(shí)體e1k到“公共根”，再?gòu)摹肮哺钡蕉它c(diǎn)實(shí)體e2k構(gòu)成的最短依賴(lài)路徑建模.假設(shè)實(shí)體e1k到實(shí)體e2k的最短依賴(lài)路徑上的文本{wk1，wk2，…，}，單詞嵌入xi由4個(gè)部分組成，分別為詞嵌入wdi、依賴(lài)嵌入dpi、共指嵌入cfi及實(shí)體類(lèi)型嵌入tpi.

xi=[wdi;dpi;cfi;tpi]

(1)

其中，[；]代表向量的拼接.則此最短依賴(lài)路徑的文本就可以表示為 S =[x1，x2，…，xi，…，xl]T．這里，xi對(duì)應(yīng)最短路徑中第i個(gè)詞的向量.

3.2 BSRU模塊

LSTM模型解決了文本中長(zhǎng)距離語(yǔ)義依賴(lài)的問(wèn)題，但是由于當(dāng)前節(jié)點(diǎn)的計(jì)算必須依賴(lài)上一步計(jì)算，為了簡(jiǎn)化模型的狀態(tài)計(jì)算過(guò)程，實(shí)現(xiàn)和卷積神經(jīng)網(wǎng)絡(luò)相同的并行性，Lei等人提出了簡(jiǎn)單循環(huán)單元SRU.區(qū)別于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)，SRU通過(guò)在循環(huán)層增加Skip Connection1保證網(wǎng)絡(luò)模型的有效性，同時(shí)在傳統(tǒng)的dropout外，增加了Variational dropout2，提高網(wǎng)絡(luò)模型的訓(xùn)練效率.鑒于此，為了更高效的學(xué)習(xí)文本的雙向語(yǔ)義關(guān)系，本文使用 BSRU模型來(lái)學(xué)習(xí)目標(biāo)實(shí)體的上下文語(yǔ)義信息，SRU原理圖如圖2所示.

圖2 SRU原理圖

圖2中，SRU的內(nèi)部主要包括3個(gè)門(mén)結(jié)構(gòu)：遺忘門(mén)結(jié)構(gòu)f、重置門(mén)結(jié)構(gòu)r、輸出門(mén)結(jié)構(gòu)h.SRU網(wǎng)絡(luò)模型的計(jì)算方式如下所示：

g(t)=Wxt

(2)

ft=σf(Wfxt+bf)

(3)

rt=σr(Wrxt+br)

(4)

ct=ft⊙ct-1+(1-ft)⊙g(t)

(5)

ht=rt⊙g(ct)+(1-rt)⊙xt

(6)

其中，xt代表t時(shí)刻的輸入，ct代表t時(shí)刻的細(xì)胞狀態(tài)，σ、g都代表激活函數(shù)，⊙表示向量對(duì)應(yīng)位置元素的乘積.

此外，為了學(xué)習(xí)雙向的語(yǔ)義特征，這里將SRU正反兩個(gè)方向的存儲(chǔ)單元隱藏狀態(tài)向量hri連接起來(lái)，作為輸出向量hri∈R2B，其中B表示SRU隱藏向量的維數(shù)，即：

(7)

由上文可知，實(shí)體間的最短依賴(lài)路徑存在若干條，而每條路徑表示的關(guān)系特征的重要程度顯然是不一樣的.通過(guò)差異化每條最短依賴(lài)路徑對(duì)關(guān)系特征構(gòu)建的重要程度，從而使得模型學(xué)習(xí)到多樣化的關(guān)系特征.

具體方式如下：在模型中，將多條路徑表示的包含多種信息特征的上下文向量矩陣輸入進(jìn)Global Attention 中，將每條路徑表示的關(guān)系語(yǔ)義與最短路徑表示的關(guān)系語(yǔ)義進(jìn)行相似度計(jì)算，然后經(jīng)過(guò)加權(quán)求和計(jì)算出每條路徑對(duì)最終關(guān)系表示的貢獻(xiàn)度，即注意力值或權(quán)重.注意力值越高的路徑，則其對(duì)推斷出實(shí)體對(duì)之間關(guān)系就越重要，進(jìn)而減少無(wú)關(guān)并列路徑對(duì)實(shí)體關(guān)系抽取干擾的影響.對(duì)應(yīng)的權(quán)重αi，可以通過(guò)下式計(jì)算：

(8)

score(Dr，hri)=Uσ(W[Dr;hri])

(9)

公式中，W、U是權(quán)重矩陣，T表示轉(zhuǎn)置運(yùn)算，m表示文檔中實(shí)體e1(及其提及)到實(shí)體e2(及其提及)存在的最短依賴(lài)路徑的條數(shù)，score代表得分函數(shù)，Dr表示m條最短依賴(lài)路徑中最短的一條路徑表示的關(guān)系嵌入，hri表示第i條最短依賴(lài)路徑上表示的關(guān)系特征，hr目標(biāo)關(guān)系特征.

然后根據(jù)權(quán)重，求出加權(quán)之后的關(guān)系表示hr，即：

(10)

算法1.動(dòng)態(tài)路由算法

輸入：低級(jí)膠囊u，迭代次數(shù)n，對(duì)最短依賴(lài)路徑建模的關(guān)系表示hr和隱藏層狀態(tài)ht

輸出：高級(jí)膠囊r

1.for所有的膠囊ui和膠囊rjdo

2. 初始化耦合系數(shù)

3. bij=0

4.endfor

5.for迭代次數(shù)ndo

6.wi=softmax(bi)，?ui∈u

7.αi=σ(hTrhit)，?ui∈u

8.rj=Squash(∑iwijαiWjui)，?rj∈r

9.bij=bij+Wjuirj，?ui∈u且?rj∈r

10.endfor

3.3 CapsNet模塊

在本文的關(guān)系抽取任務(wù)中，使用膠囊網(wǎng)絡(luò)對(duì)BSRU抽取的底層的語(yǔ)義信息進(jìn)行更深層次的學(xué)習(xí)，豐富特征語(yǔ)義的表達(dá).倘若使用u∈Rdl表示低層膠囊，則每一個(gè)單詞由k個(gè)低層膠囊表示，即該單詞就有k個(gè)屬性.而高級(jí)膠囊由多個(gè)維度的低級(jí)膠囊組成，具體表示如公式(11)所示.

(11)

(12)

當(dāng)多個(gè)預(yù)測(cè)結(jié)果一致時(shí)，更高級(jí)別的膠囊就會(huì)生效.高級(jí)膠囊r∈Rdh根據(jù)下面等式(13)計(jì)算.

(13)

其中，wij表示耦合系數(shù)，Wj∈Rdh×dl是權(quán)重矩陣.Squash函數(shù)代表激活函數(shù)，它的作用是在保證向量方向的同時(shí)將輸出向量的模長(zhǎng)控制在0-1之間，公式(13)中的耦合系數(shù)wij計(jì)算方式如下(15)：

(14)

為了量化最短依賴(lài)路徑上每個(gè)單詞對(duì)判斷實(shí)體對(duì)關(guān)系的影響，模型又將各個(gè)單詞隱藏狀態(tài)輸入進(jìn)Global Attention 中，把單詞隱藏狀態(tài)的語(yǔ)義與BSRU模型輸出的最終的關(guān)系語(yǔ)義進(jìn)行相似度計(jì)算，求出注意力值，即：

(15)

具體的關(guān)系抽取步驟如算法1所示.

這里根據(jù)算法1得到的高級(jí)膠囊rj計(jì)算第j個(gè)關(guān)系的損失函數(shù)，計(jì)算如公式(17)：

Lj=Yjmax(0，(B+γ)-‖rj‖)2+λ(1-Yj)max(0，‖rj‖-(B-γ))2

(16)

其中，Yj代表是否是關(guān)系j，取值為0或1，γ是超參數(shù)，B是可學(xué)習(xí)變量，λ是損失權(quán)重，與Sabour等人提出的損失[13]一致.需要注意的是，實(shí)體對(duì)關(guān)系在文檔中的總損失是預(yù)測(cè)的所有關(guān)系損失之和.在預(yù)測(cè)關(guān)系過(guò)程中，如果預(yù)測(cè)的關(guān)系標(biāo)簽概率大于閾值B時(shí)，將為其分配關(guān)系標(biāo)簽.否則，將其預(yù)測(cè)為NA.

此外，膠囊網(wǎng)絡(luò)輸出的結(jié)果是一個(gè)向量，用來(lái)代表一個(gè)關(guān)系類(lèi)，該關(guān)系預(yù)測(cè)的概率可以用向量的模長(zhǎng)表示.最后，將概率最高的關(guān)系類(lèi)別作為實(shí)體對(duì)最終預(yù)測(cè)的類(lèi)別標(biāo)簽，計(jì)算方式如公式(18)所示：

label=argmaxj∈R{‖rj‖}

(17)

這里，R表示關(guān)系標(biāo)簽的集合.

4 實(shí)驗(yàn)結(jié)果和分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)使用清華大學(xué)構(gòu)建的DOCRED(1)https://cloud.tsinghua.edu.cn/d/5d8628d7f0b6453a8d7c/數(shù)據(jù)集[15]評(píng)估模型的性能，該數(shù)據(jù)集中訓(xùn)練集包含3，053個(gè)監(jiān)督文檔和101，873個(gè)弱監(jiān)督文檔，驗(yàn)證集和測(cè)試集均包含1000個(gè)文檔.數(shù)據(jù)集中涵蓋96種帶有方向的關(guān)系，如時(shí)間、地 點(diǎn)、人物、事件、藝術(shù)作品、法律等.

4.2 實(shí)驗(yàn)評(píng)價(jià)標(biāo)準(zhǔn)

4.2.1 參數(shù)設(shè)置

實(shí)驗(yàn)中利用預(yù)訓(xùn)練的Glove 100維單詞嵌入和Stanford CoreNLP工具在DOCRED中進(jìn)行文檔語(yǔ)料庫(kù)的語(yǔ)義依賴(lài)分析.表1中列出了實(shí)驗(yàn)中模型使用的參數(shù).

表1 參數(shù)設(shè)置

4.2.2 評(píng)價(jià)標(biāo)準(zhǔn)

本文選擇F1-score和AUC，作為評(píng)價(jià)關(guān)系抽取模型性能的指標(biāo).其中F1-score是準(zhǔn)確率(Precision)和召回率(Recall)的調(diào)和平均值，AUC表示的是坐標(biāo)軸與ROC曲線構(gòu)成的面積，其中ROC曲線的橫坐標(biāo)為假正類(lèi)率，縱坐標(biāo)為真正類(lèi)率.假設(shè)ROC的函數(shù)表達(dá)式為y=f(x)，則各項(xiàng)指標(biāo)計(jì)算如下：

(18)

(19)

(20)

(21)

4.3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證提出模型在文檔級(jí)別實(shí)體關(guān)系抽取領(lǐng)域的有效性，本文設(shè)置了4個(gè)對(duì)比試驗(yàn)，分別驗(yàn)證BSRU模塊、多條最短依賴(lài)路徑、動(dòng)態(tài)路由算法中增加注意力機(jī)制的影響，并對(duì)比了一些流行模型.

實(shí)驗(yàn)1.BSRU對(duì)模型的影響.從表 2可以看出，使用BSRU代替?zhèn)鹘y(tǒng)的BiLSTM，雖然F1-score和AUC指標(biāo)在弱監(jiān)督設(shè)置上有略微的下降，但是模型每一輪的訓(xùn)練訓(xùn)練速度有了明顯的提升，這歸功于BSRU網(wǎng)絡(luò)模型，它能夠?qū)⒕哂幸蕾?lài)關(guān)系的運(yùn)算步驟進(jìn)行串行處理，從而提升模型的效率.

表2 使用BSRU模型的對(duì)比實(shí)驗(yàn)結(jié)果(%)

實(shí)驗(yàn)2.結(jié)合多條最短依賴(lài)路徑對(duì)模型的影響.表3顯示了結(jié)合多條最短路徑建模對(duì)模型性能的影響，以監(jiān)督設(shè)置為例，與僅考慮單條最短依賴(lài)路徑的SBSRU-ATTCapsNet模型相比，結(jié)合多條最短依賴(lài)路徑的關(guān)系表示的BSRU-ATTCapsNet模型，在F1-score和AUC的表現(xiàn)都有了競(jìng)爭(zhēng)性的提高，這是由于多條最短依賴(lài)路徑上包含的實(shí)體關(guān)系信息更完整，更全面，而且又保留了文檔復(fù)雜的邏輯結(jié)構(gòu)特征，從而幫助本文的模型得到更精致的預(yù)測(cè)效果.

表3 結(jié)合多條最短依賴(lài)路徑模型的對(duì)比實(shí)驗(yàn)結(jié)果(%)

實(shí)驗(yàn)3.動(dòng)態(tài)路由算法中注意力機(jī)制對(duì)模型的影響.表4顯示了在動(dòng)態(tài)路由算法中增加注意力機(jī)制對(duì)模型性能影響，本文的BSRU-ATTCapsNet模型在監(jiān)督設(shè)置中顯著優(yōu)于沒(méi)有注意力機(jī)制的BSRU-CapsNet模型，這表明通過(guò)加入注意力機(jī)制，將不同位置學(xué)習(xí)到的關(guān)系特征進(jìn)行綜合加權(quán)，為相關(guān)的最短依賴(lài)路徑學(xué)習(xí)到的實(shí)體關(guān)系分配更高的權(quán)重，無(wú)關(guān)并列關(guān)系分配更小的權(quán)重，能夠增強(qiáng)系特征表示，從而有利于目標(biāo)關(guān)系的預(yù)測(cè).

表4 動(dòng)態(tài)路由算法中增加注意力機(jī)制的對(duì)比實(shí)驗(yàn)結(jié)果(%)

實(shí)驗(yàn)4.本文模型與流行模型的對(duì)比.為了突出本文提出模型的有效性，將模型與以下基準(zhǔn)進(jìn)行比較：

1)BiLSTM[16]，通過(guò)學(xué)習(xí)實(shí)體的表示預(yù)測(cè)實(shí)體之間的關(guān)系.

2)ContextAware[17]，通過(guò)關(guān)系之間的交互效應(yīng)預(yù)測(cè)目標(biāo)關(guān)系.

3)GAIN-Glove[18]，通過(guò)整個(gè)文檔中不同提及之間的復(fù)雜交互進(jìn)行目標(biāo)關(guān)系的預(yù)測(cè).

4)CorefBERT[19]，通過(guò)捕獲文本中的共指信息，來(lái)聚合不同共指提及的推理信息.

表5顯示了各個(gè)模型在DocRED數(shù)據(jù)集上的性能，其中本文提出的BSRU-ATTCapsNet模型取得了最突出的結(jié)果，在監(jiān)督設(shè)置測(cè)試集中F1-score比CorefBERT模型高出1.7%，在弱監(jiān)督設(shè)置測(cè)試集中F1-score比CorefBERT模型高出0.2%，這是由于提出的模型優(yōu)化了最短依賴(lài)路徑上的關(guān)系建模，膠囊網(wǎng)絡(luò)又進(jìn)一步強(qiáng)化了關(guān)系的多維度表示.

表5 與其他模型實(shí)驗(yàn)的對(duì)比結(jié)果(%)

5 結(jié)束語(yǔ)

文檔級(jí)實(shí)體關(guān)系抽取模型仍存在很多優(yōu)化的地方，本文從復(fù)雜的邏輯結(jié)構(gòu)出發(fā)，針對(duì)模型效率低下、實(shí)體關(guān)系特征構(gòu)造單一和并列特征的負(fù)面影響問(wèn)題，提出了BSRU-ATTCapsNet模型.BSRU 學(xué)習(xí)文檔中復(fù)雜結(jié)構(gòu)的遠(yuǎn)距離依賴(lài)信息，CapsNet從多個(gè)維度學(xué)習(xí)實(shí)體對(duì)的更深層次的關(guān)系，使得提出模型的效果得到提升.