劉博聞，范春曉

北京郵電大學(xué) 電子工程學(xué)院，北京 100876

在數(shù)據(jù)量日益增大的今天，數(shù)據(jù)的增長呈現(xiàn)井噴態(tài)勢，如何海量數(shù)據(jù)中精準(zhǔn)有效地進(jìn)行所關(guān)注數(shù)據(jù)的獲取，是現(xiàn)在人工智能研究中的一大課題。其中，信息的提取是一個有效信息被發(fā)掘的必要環(huán)節(jié)，此過程把實際生產(chǎn)過程中的不規(guī)則或相對不規(guī)則的信息提取轉(zhuǎn)譯成為可以被機(jī)器進(jìn)行直接使用并理解的結(jié)構(gòu)化信息。目前的信息提取技術(shù)有：實體提取、關(guān)系提取和事件提取等，本文主要研究關(guān)系提取。

實體關(guān)系提取在很多NPL 任務(wù)中都具備很重要的意義，其核心問題是在文本中如何確定每個實體之間的關(guān)系。關(guān)系提取的具體任務(wù)可以解釋如下：給定1個句子S，以及給定該句子中的2個實體＜e1＞和＜e2＞，任務(wù)目標(biāo)是分類出＜e1＞和＜e2＞間的關(guān)系，舉例如下：The＜e1＞apples＜/e1＞are in the＜e2＞basket＜/e2＞。此段文本句子中被標(biāo)簽＜e1＞和＜e2＞包圍的2個單詞apples和basket定義此段文本S 中的2 個實體（e1=entity1，e2=entity2），此2個實體已經(jīng)在輸入數(shù)據(jù)中被明確給出。本例中的2個實體的關(guān)系在SemEval-2010task8 數(shù)據(jù)集[1]中表達(dá)為Content-Container，即表示內(nèi)容及容器關(guān)系。得到如下的輸出：[apples，Content-Container，basket]。

關(guān)系提取的方法，現(xiàn)階段主要存在3個主要的方式分別為基于規(guī)則的方法[2]、基于核函數(shù)的方法[3]和基于深度學(xué)習(xí)網(wǎng)絡(luò)的方法[4]。

基于規(guī)則判斷的方法依賴于規(guī)則的制定，利用這些制定的規(guī)則模板與輸入的內(nèi)容進(jìn)行比對，此方法對規(guī)則的制定依賴性較強(qiáng)，且需要大量人工處理。針對以上所述問題，此種方法在大規(guī)模的提取場景下實施難度較大。

基于核函數(shù)（kernel-based）的方法，巧妙地解決了在高維空間的內(nèi)積運算復(fù)雜度的問題?，F(xiàn)有的關(guān)系提取實驗中，針對英文數(shù)據(jù)集，大量的核函數(shù)已被提出且被證明有效，如定義在淺層語法樹和依賴樹上的層次核、復(fù)合核等。雖然比較明顯地規(guī)避了上述規(guī)則方法中的規(guī)則制定及特征提取的復(fù)雜人工，但語義表達(dá)方式的多樣性，同樣也帶來了噪音的問題，這也成為了此種方法的瓶頸。

基于深度學(xué)習(xí)的方法首先提取關(guān)于實體間關(guān)系的特征集合（如詞匯、句法、語義、位置等特征），將其轉(zhuǎn)為向量，讓網(wǎng)絡(luò)對提取后的特征向量進(jìn)行自主學(xué)習(xí)，從而實現(xiàn)關(guān)系提取分類。同時，隨著深度學(xué)習(xí)的發(fā)展，大大減少了特征整理的人工依賴，同時也會提取出更多人類不易察覺的特征。但該方法的不便之處在于依賴大量人工標(biāo)注的訓(xùn)練語料，同時深度學(xué)習(xí)方法雖然將位置特征也考慮在內(nèi)，但受限于傳統(tǒng)模型的神經(jīng)元結(jié)構(gòu)，對位置特征的關(guān)注度依然不夠理想。

目前用于解決實體關(guān)系提取的網(wǎng)絡(luò)模型，具有以上所述的人工需求量大、噪音影響大以及對位置信息不敏感等問題。為了解決這些問題，本文使用了膠囊網(wǎng)絡(luò)，將膠囊作為基本計算單元的同時，將位置特征作為膠囊的一部分，賦予膠囊位置感知能力，即解決了上述傳統(tǒng)方法中的人工及噪音問題，又使得網(wǎng)絡(luò)模型提高了對位置特征的關(guān)注。通過在公開數(shù)據(jù)集SemEval-2010task8[1]的實驗與現(xiàn)有方法進(jìn)行對比，證明了模型的有效性。

1 相關(guān)工作

在自然語言處理（NLP）領(lǐng)域，由于詞向量的引入，使神經(jīng)網(wǎng)絡(luò)的應(yīng)用成為可能。神經(jīng)網(wǎng)絡(luò)方法不同于早期基于機(jī)器學(xué)習(xí)的方法，其無需手動創(chuàng)建大量特征，節(jié)約了大量人工。近年來，已有許多學(xué)者將神經(jīng)網(wǎng)絡(luò)方法應(yīng)用于關(guān)系提取，并在各類關(guān)系提取任務(wù)中取得優(yōu)于傳統(tǒng)方法的結(jié)果。隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展，Hinton在2017年提出了膠囊網(wǎng)絡(luò)。

1.1 實體關(guān)系提取

在關(guān)系提取研究課題上，前人已經(jīng)進(jìn)行了多個角度的研究以期達(dá)到性能上的提升。如研究了具有人類設(shè)計特征的監(jiān)督方法，以突出人類干預(yù)的角度來提升網(wǎng)絡(luò)性能[5-9]。

近年來，神經(jīng)模型被廣泛應(yīng)用，以期消除人工標(biāo)注特征帶來的不便。CNN和RNN都已很好地應(yīng)用于關(guān)系提取[10-16]。但CNN或RNN對于詞間的位置信息不夠敏感。又有研究者就此角度，通過多種方式來提升網(wǎng)絡(luò)模型對位置信息的關(guān)注度[4，11，17]。

然而，上述的網(wǎng)絡(luò)模型雖然從不同角度對關(guān)系提取進(jìn)行進(jìn)一步研究，但始終只關(guān)注用1個標(biāo)量表示關(guān)系特征。也因此在實體關(guān)系提取這個任務(wù)上，對位置特征的敏感度一直不夠理想。本文期望通過引入一種新的膠囊網(wǎng)絡(luò)模型。膠囊網(wǎng)絡(luò)將標(biāo)量特征轉(zhuǎn)化為向量形式表達(dá)，可以更全面地描述一類特征。對膠囊網(wǎng)絡(luò)模型進(jìn)行進(jìn)一步修改，使網(wǎng)絡(luò)模型獲得位置感知能力，以期解決網(wǎng)絡(luò)模型對位置特征不敏感的問題。

1.2 膠囊網(wǎng)絡(luò)

在CNN 和RNN 對于全局特征和局部特征無法很好處理其邏輯關(guān)系，膠囊網(wǎng)絡(luò)針對這個問題而被提出。膠囊網(wǎng)絡(luò)多被用于圖像處理的相關(guān)領(lǐng)域中[18]。膠囊網(wǎng)絡(luò)的設(shè)計為帶有轉(zhuǎn)換矩陣的膠囊可以自動學(xué)習(xí)部分和整體間的關(guān)系。同時，提出了一種動態(tài)路由算法[19]來取代CNN 中的max-pooling，它在識別高度重疊的數(shù)字方面取得了令人印象深刻的效果。本文發(fā)現(xiàn)膠囊網(wǎng)絡(luò)對于部分和整體間關(guān)系的特征關(guān)注，可以很好地解決實體關(guān)系提取中位置特征敏感度不夠的問題。

不同于以往的膠囊網(wǎng)絡(luò)的研究角度，本文將膠囊網(wǎng)絡(luò)引入到NLP的關(guān)系提取任務(wù)中，為膠囊網(wǎng)絡(luò)的應(yīng)用提出了一種新的可能。膠囊網(wǎng)絡(luò)的特征向量化的表達(dá)方式，十分契合用于解決上述關(guān)系提取中網(wǎng)絡(luò)模型對于位置特征不夠敏感的問題。

2 位置感知能力膠囊網(wǎng)絡(luò)（PPCNet）

神經(jīng)網(wǎng)絡(luò)雖然解決了人工標(biāo)注的問題，但在實體關(guān)系提取的任務(wù)上對于詞間的位置特征處理的不是很理想。近年來，已有許多學(xué)者證明了位置信息對于實體關(guān)系提取的重要性。本文使用了膠囊網(wǎng)絡(luò)并對其做了部分修改。經(jīng)過修改的膠囊獲得了位置感知能力，得到Position Perception CapsuleNet（PPCNet）?？梢杂行У亟鉀Q網(wǎng)絡(luò)模型對位置信息不夠敏感的問題。在相同數(shù)據(jù)集下，此網(wǎng)絡(luò)可在關(guān)系提取任務(wù)上的性能更好。

PPCNet的基本單位Capsule是一組神經(jīng)元，將原神經(jīng)元的標(biāo)量特征表征方式整合為向量形式，向量表示特定類型實體的實例化參數(shù)。本文將詞間的位置關(guān)系轉(zhuǎn)化為位置向量（position embedding）獨自訓(xùn)練并融合進(jìn)Capsule 的實例化參數(shù)中。如圖1 所示，PPCNet 網(wǎng)絡(luò)包含5個層次：數(shù)據(jù)處理層、特征提取層、初級膠囊生成層、特征聚類層及關(guān)系預(yù)測層。主要工作在初級膠囊的生成層，如圖2所示，完成了位置感知能力的賦予過程。

各層介紹如下：（1）數(shù)據(jù)預(yù)處理層，對數(shù)據(jù)進(jìn)行預(yù)處理，將數(shù)據(jù)清洗后將其映射成相應(yīng)詞向量及詞性標(biāo)注向量，進(jìn)行空間映射，得到向量矩陣，之后輸入到特征提取層。（2）特征提取層，處理后的數(shù)據(jù)輸入到Bi-LSTM 進(jìn)行處理。（3）初級膠囊生成層，將詞特征與位置特征整合為初級膠囊。（4）特征聚類層，在膠囊間進(jìn)行基于注意力機(jī)制的動態(tài)路由算法，經(jīng)過特征聚類層的計算輸入關(guān)系預(yù)測層。（5）關(guān)系預(yù)測層，最后用Margin 損失函數(shù)來預(yù)測實體間的可能關(guān)系，得到最終的結(jié)果。

圖1 膠囊網(wǎng)絡(luò)結(jié)構(gòu)

圖2 位置感知能力獲得過程

2.1 數(shù)據(jù)預(yù)處理層

本文所使用的SemEval-2010taks8 數(shù)據(jù)集[1]已標(biāo)明了實體所在位置，以及最后的關(guān)系類別。此層對數(shù)據(jù)集進(jìn)行預(yù)處理，輸出詞向量及位置向量。

首先對輸入的數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗工作，完成如大小寫的轉(zhuǎn)換，標(biāo)點符號的區(qū)分等基本的數(shù)據(jù)處理，并使用NLTK 的pos_tag 工具對原始數(shù)據(jù)進(jìn)行采用隨機(jī)初始化向量的詞性標(biāo)注。其次對處理后的結(jié)果使用Word2Vec[20]對單詞進(jìn)行訓(xùn)練。使用Word2Vec[20]在大量維基語料上訓(xùn)練，保留模型的權(quán)重參數(shù)，之后在數(shù)據(jù)集[1]上進(jìn)行訓(xùn)練。最后通過向量映射，將句子中的所有單詞使用初始化向量b*表達(dá)，b*={x*1,x*2,…,x*i,…,x*n}其中x*i∈Rp*,p*為詞向量的維度，n為單詞的個數(shù)。

2.2 特征提取層

本層接收預(yù)處理過后的詞向量，并采用雙向長短期記憶神經(jīng)網(wǎng)絡(luò)（Bi-LSTM）神經(jīng)網(wǎng)絡(luò)進(jìn)一步提取文本特征，輸出為特征提取后的詞向量。

輸入為數(shù)據(jù)預(yù)處理過后的詞向量，將每個單詞映射到P維實值向量單詞的分布式表示，向量使用Word2Vec[20]對單詞進(jìn)行了預(yù)訓(xùn)練。而后經(jīng)過Bi-LSTM，將遺忘門、輸出門，2 個方向的結(jié)果結(jié)合起來作為輸出詞向量b={x1,x2,…,xi,…,xn}其中xi∈Rp,p為經(jīng)過處理的詞向量的維度，n為單詞的個數(shù)。

2.3 初級膠囊生成層

此層為本文的重點工作，對于實體關(guān)系提取任務(wù)而言，每個單詞的位置特征對網(wǎng)絡(luò)性能的影響在前人的實驗中已經(jīng)過驗證[4，11，17]。本文利用膠囊本身結(jié)構(gòu)的特征，將位置特征信息融合進(jìn)膠囊中。使膠囊獲得位置感知能力，進(jìn)而提高網(wǎng)絡(luò)性能。如圖2 所示，為本文如何賦予膠囊位置感知能力的。

2.3.1 位置向量的定義

對于位置向量定義為從當(dāng)前單詞到實體的相對距離，對每個單詞進(jìn)行標(biāo)記，有2個實體e1和e2，所以要對應(yīng)到2 個向量p1,p2∈Rq=[-n,…,-1,0,1,…,n],其中q代表位置向量的維度，位置向量隨機(jī)初始化。

2.3.2 特征整合

由于神經(jīng)元甚至基礎(chǔ)的膠囊模型對位置信息不敏感。因此本文不再使用詞向量與位置向量的簡單連接，而是文本特征提取完成后與上述位置特征，整合為初級膠囊，使膠囊自身獲得位置感知的能力。

將上述BiLSTM輸出的Rp詞向量與R2q位置向量整合，提取的初級語義信息分配到以u∈Rdu表示的初級膠囊中。每個詞都將用k個初級膠囊來表示。

2.4 膠囊的特征聚類層

動態(tài)路由的提出用于減輕max-pooling可能產(chǎn)生的部分特征損失。此算法產(chǎn)生于視覺識別方向，為了讓動態(tài)路由更好地適配NLP的特點，本文使用了基于注意力機(jī)制的動態(tài)路由算法。改進(jìn)后的膠囊間網(wǎng)絡(luò)結(jié)構(gòu)大致如圖3 所示。高級膠囊與初級膠囊間通過基于注意力機(jī)制的動態(tài)路由算法實現(xiàn)特征的聚類。

2.4.1 膠囊網(wǎng)絡(luò)的特征聚類

膠囊是一組神經(jīng)元，其向量代表特定類型關(guān)系特征的實例化參數(shù)。膠囊通過變換矩陣對高級膠囊的實例化參數(shù)進(jìn)行預(yù)測。而高層次膠囊則是由低層次膠囊聚集而成，包含局部和細(xì)微的特征。當(dāng)多個預(yù)測一致時，一個更高級別的膠囊就會被激活。向量的長度表示關(guān)系特征存在的概率，向量的方向表示一類特征的具體性質(zhì)。因此，每個初級膠囊都通過一個擠壓函數(shù)g，來確保這個向量的長度在0 到1 之間。ui代表膠囊u的輸出，u′i代表u的所有輸入。

圖3 膠囊間的動態(tài)路由算法

初級膠囊的和可以通過聚類表達(dá)為高級的關(guān)系特征，因此高級膠囊r∈Rdr，通過下述公式計算：rj=其中，wij為動態(tài)路由的耦合系數(shù)，Wj∈Rdr×du為每個高級膠囊的權(quán)重矩陣。

2.4.2 基于注意力機(jī)制的路由算法

注意力機(jī)制用于解決網(wǎng)絡(luò)應(yīng)該關(guān)注什么的問題，經(jīng)過特征聚類，可以獲得包含實體關(guān)系特征的高級膠囊。在最初的動態(tài)路由迭代[19]的方式中，網(wǎng)絡(luò)對于實體標(biāo)記的關(guān)注較低。但是此部分在關(guān)系提取的任務(wù)中是十分關(guān)鍵的點[21-22]。因此，如算法1 采用了一種基于注意力機(jī)制的路由算法，將關(guān)注點聚焦于聚類過程中初級膠囊的實體標(biāo)記。

r層共有i個膠囊的耦合系數(shù)w，所有耦合系數(shù)的和為1，其被初始參數(shù)為bij的softmax 函數(shù)定義。初級膠囊ui通過先驗概率的對數(shù)函數(shù)，耦合為高級膠囊rj。基于此提出了所有初級膠囊的注意力權(quán)重α，以最大化來自重要詞標(biāo)記的膠囊的權(quán)重，最小化無關(guān)膠囊的權(quán)重。膠囊ui的權(quán)重是由Bi-LSTM輸出的相應(yīng)實體特征he及ui隱藏層產(chǎn)出的hit。he是2 個實體的隱藏層的加總，T 代表轉(zhuǎn)置操作，和α由下述公式計算出：

Sigmod 函數(shù)使注意力權(quán)重標(biāo)準(zhǔn)化，同時最大化相關(guān)膠囊與無關(guān)膠囊間的差異。綜上，高級膠囊r由算法1中過程計算出。

算法1基于注意力機(jī)制的動態(tài)路由迭代聚類算法

Require：low-level Capsulesu,iterativez,entity featureshe,and hiddenstatesht

Ensure：high-level Capsulesr

1.for all Capsulesuiand Capsulesrjdo

2.initialize the logits of coupling coefficients

3.bij=0

4.end for

5.forziterations do

6.wi=softmax( )bi,?ui∈u

9.bij=bij+Wjuirj,?uiand ?rJ∈r

10.end for

2.5 關(guān)系預(yù)測層

使用實例化向量的長度表達(dá)膠囊實體存在的概率。如果存在此實體關(guān)系，以求高級膠囊有一個較長的實例化向量來進(jìn)行實體關(guān)系提取分類。對于每個實體關(guān)系的膠囊j使用以下公式：當(dāng)且僅當(dāng)關(guān)系的類別j存在并且m+=0.9,m-=0.1 時Tj=1,λ表示的是已存在類別的權(quán)重衰減系數(shù)，用來阻止初始化學(xué)習(xí)時，存在的實體關(guān)系向量長度的減少。令λ=0.5，總loss即為簡單的加和。

3 實驗

本文所設(shè)定實驗解決下列兩個問題：（1）膠囊網(wǎng)絡(luò)本身是否比較適合關(guān)系提取這項任務(wù)，性能指標(biāo)是否有提升？（2）對膠囊結(jié)構(gòu)修改后，使其獲得位置感知能力后，是否可以進(jìn)一步提升指標(biāo)表現(xiàn)？

3.1 實驗環(huán)境

CPU：Intel?E5-2620v4@2.10 GHz 32CPU

GPU：NVIDIA GeForce GTX 1080Ti

3.2 數(shù)據(jù)集

此項任務(wù)現(xiàn)存在公用數(shù)據(jù)集，普遍使用SemEval-2010task8[1]。該數(shù)據(jù)集已被廣泛用于關(guān)系提取分類，數(shù)據(jù)集包含10 種關(guān)系，包括代表實體之間沒有關(guān)系的“Other”類別。數(shù)據(jù)集工包含10 717 條語料，其中8 000條用來訓(xùn)練，2 717條用來測試，每條句子中的實體以及實體之間的關(guān)系都已標(biāo)記。使用此數(shù)據(jù)集分類的各項指標(biāo)及其正確率來衡量網(wǎng)絡(luò)的性能，各種關(guān)系分布如表1所示。

表1 關(guān)系類別及其分布

3.3 評價指標(biāo)

本文的計算主要用于評估算法、系統(tǒng)的檢測能力，針對每個關(guān)系類別，使用準(zhǔn)確率（Precision）、召回率（Recall）和F1 值來衡量提取結(jié)果，對一個關(guān)系類別的判斷，分為四種。TP（True Positive）：將正確的判斷正確。FP（False Positive）：將正確的判斷錯誤。FN（False Negative）：將錯誤的判斷錯誤。TN（True Negative）：將錯誤的判斷正確。基于這四種分類情況，準(zhǔn)確率和召回率定義如下：Precision=TP/(TP+FP);Recall=TP/(TP+FN)；F1 值則是準(zhǔn)確率和召回率的一個調(diào)和平均值。F1=(2Precision×Recall)/(Precision+Recall) 。上述指標(biāo)是針對單個關(guān)系類別評估的，為了評估模型在整個數(shù)據(jù)集上的性能，采用每個類性能指標(biāo)的宏平均（macroaverage）。在一個關(guān)系提取分類中，準(zhǔn)確率表征的是所有模型判斷為正確的句子中實際正確的所占的比例，召回率表征的是測試集中所有該關(guān)系類別的句子中，模型判斷為正確所占的比例。

3.4 超參數(shù)設(shè)定

表2 超參數(shù)設(shè)定

3.5 實驗結(jié)果分析

本文將CapsuleNet使用在關(guān)系提取任務(wù)后，進(jìn)一步將CapsuleNet中的Capsule進(jìn)行了結(jié)構(gòu)的修改，如圖1所示。為了確保實驗的客觀性，本文在相同的輸入下（詞向量、位置向量、詞性標(biāo)注）復(fù)現(xiàn)了SVM、CNN、Bi-LSTM及加入注意力機(jī)制后的Att-CNN、Att-BiLSTM 共五種模型，參考文獻(xiàn)見表3。同時實現(xiàn)了本文所提到的CapsuleNet 和 PPCNet（Position Perception Capsule Network）?？刂屏艘欢ǖ膮?shù)變量，使實驗更具有可比性。表3展示了各模型的實驗結(jié)果，結(jié)果表明，這兩種方法均對傳統(tǒng)模型性能有了一定的提升。

表3 所有模型在SemEval-2010Task8上的表現(xiàn) %

從表3中的結(jié)果可以得出以下幾點結(jié)論：（1）CapsuleNet 模型比其他關(guān)系特征提取模型的性能表現(xiàn)更好。（2）獲得位置感知能力的PPCNet，相對于初始的CapsuleNet 模型，關(guān)系提取網(wǎng)絡(luò)模型性能得到進(jìn)一步提升。（3）在相同設(shè)定下，CNN 網(wǎng)絡(luò)模型比LSTM 模型更加有效，但增加了注意力機(jī)制后LSTM表現(xiàn)更為出色。

針對CapsuleNet 對關(guān)系提取任務(wù)性能提升的分析如下：（1）膠囊本身的特征表達(dá)，一個膠囊，就是一組神經(jīng)元，它的特征向量就是代表一個實體或者物體的實例化參數(shù)，可以包含更多特征，網(wǎng)絡(luò)性能更好。（2）使用基于注意力機(jī)制的動態(tài)路由算法代替可能損失大量特征的max-pooling，用活動向量的長度來代表實例化物體存在的概率，用活動向量的方向代表一類特征的具體性質(zhì)。較低層次的膠囊為較高抽象層次的膠囊做預(yù)測，當(dāng)較低層次的多個膠囊對某個預(yù)測都表示同意時，高層次的抽象膠囊就將被激活。此種動態(tài)路由算法，有效地挽回了由max-pooling損失的特征信息。

針對PPCNet 對比CapsuleNet 的性能提升分析如下：相對于初始的CapsuleNet將詞向量與位置的向量合并后，經(jīng)過特征提取層后輸出給初級膠囊的方式，PPCNet將位置向量作為獨立于詞向量的特征，直接整合為膠囊的一部分，使膠囊的部分結(jié)構(gòu)具備了位置感知能力，將位置特征獨立于詞特征，極大地提高了位置特征的關(guān)注度。而位置信息對于關(guān)系提取的重要性已在文獻(xiàn)[4，11，17]中進(jìn)行過詳述，因此，此種方式對于性能的提升是顯而易見的。

為了進(jìn)一步分析關(guān)于賦予Capsule位置感知能力的作用，本實驗還統(tǒng)計了9個關(guān)系分類下此網(wǎng)絡(luò)模型的F1值的性能。具體表現(xiàn)如圖4所示。

由以上結(jié)果可知，在特定關(guān)系類別下F1 值差異明顯，Cause-Effect 和 Entity-Destination 明顯優(yōu)于其他類別，Instrument-Agency等表現(xiàn)較差，即使在一定程度上，實驗結(jié)果會受到數(shù)據(jù)集的類別分布影響，但經(jīng)過對測試數(shù)據(jù)集中2 717 條數(shù)據(jù)的分析與統(tǒng)計，可以發(fā)現(xiàn)數(shù)據(jù)中對于分類結(jié)果影響的差異。

在F1值最高的Cause-Effect類別中，準(zhǔn)確率93.67%，召回率92.66%，表現(xiàn)較為理想。發(fā)現(xiàn)此類句子中多數(shù)伴隨有高頻詞匯（如“cause”“result”）及其變體出現(xiàn)，介詞“by”“in”等通常伴隨著“cause”“result”等一起出現(xiàn)，具有非常良好的位置結(jié)構(gòu)特點，因此，這種類別性能在具備位置感知能力的膠囊網(wǎng)絡(luò)中的表現(xiàn)格外出色。

圖4 9種關(guān)系類型F1 值

對于F1 值最低的Instrument-Agency 類別，本文統(tǒng)計了測試集中與該類別相關(guān)的句子，測試集中有156個句子表征該關(guān)系，模型預(yù)測正確了135 個句子，而在所有的類別中，模型將195個句子預(yù)測為Instrument-Agency類，其中135個句子是正確的。該類別的準(zhǔn)確率和召回率分別為86.74%和69.16%，召回率超出預(yù)想的低。分析：有大部分句子僅僅使用“by”“with”等介詞來表示工具的使用，介詞與高頻詞匯出現(xiàn)沒有強(qiáng)關(guān)聯(lián)，但這些介詞的使用率卻相對較高，導(dǎo)致該類別句子位置結(jié)構(gòu)特征較不明顯，是F1值相對較低的原因。

最后出于確認(rèn)模型穩(wěn)定性的目的，進(jìn)行了不同次數(shù)迭代的實驗：迭代一定次數(shù)后，在測試集上驗證模型的表現(xiàn)，并記錄F1 值隨迭代次數(shù)的變化。如圖5 所示，CapsuleNet 及PPCNet 模型在迭代5 次之前均隨著迭代次數(shù)的增加，F(xiàn)1值逐漸增加。但在10次迭代后，逐漸收斂趨于穩(wěn)定，有一定的波動，但波動不大，證明了這兩種模型的穩(wěn)定性。

圖5 F1 值隨迭代次數(shù)變化曲線

4 結(jié)束語

本文將文獻(xiàn)[19]中提出的膠囊網(wǎng)絡(luò)模型，使用在NLP 的實體關(guān)系提取任務(wù)中。并針對神經(jīng)元及膠囊本身存在的問題，進(jìn)行了膠囊結(jié)構(gòu)上的改進(jìn)，使其獲得位置感知能力。

經(jīng)過對比驗證，可以有力地證明此種Capsule 網(wǎng)絡(luò)在實體關(guān)系提取任務(wù)中具有一定的有效性。其CapsuleNet 得益于膠囊本身結(jié)構(gòu)的特征量增多，以及動態(tài)路由算法相較于max-pooling 對于特征值損失的彌補(bǔ)，使得此網(wǎng)絡(luò)模型性能上的表現(xiàn)優(yōu)于傳統(tǒng)的網(wǎng)絡(luò)模型。與此同時，本文針對原有膠囊模型對于位置特征的關(guān)注度不夠的問題，對膠囊網(wǎng)絡(luò)模型進(jìn)行改進(jìn)提出了PPCNet，使得其在F1 值上的性能表現(xiàn)得到進(jìn)一步提升，通過對各分類關(guān)系的F1 值進(jìn)行分析得到了較為明確的解釋，通過迭代實驗證明了網(wǎng)絡(luò)模型的穩(wěn)定性。