曹衛(wèi)東 徐秀麗

(中國民航大學計算機科學與技術學院 天津 300300)

0 引 言

隨著互聯(lián)網(wǎng)的發(fā)展,大量的非結構化數(shù)據(jù)應運而生,如何從海量的數(shù)據(jù)中提取出有價值的信息一直是專家學者研究的熱點。實體關系抽取便是一項重要且具有挑戰(zhàn)性的從非結構化文本中提取信息的任務,其目的是對非結構化的文本中所蘊涵的實體語義關系進行挖掘處理,從而整理成三元組REL(e1,e2)存儲在數(shù)據(jù)庫中,為之后的智能信息檢索和語義分析提供了一定的支持和幫助。REL(e1,e2),表示REL在實體e1和實體e2之間保持的關系。例如給定一個句子:The most commonwere aboutand recycling。被包裹的詞為實體,兩個實體audits和waste的關系在SemEval-2010 Task8中表示為Message-Topic(e1,e2)。實體關系抽取作為許多下游任務的基石,在各種自然語言處理應用中起著重要作用,包括文本摘要、生物醫(yī)學知識發(fā)現(xiàn)[1]、知識圖譜[2]、問答系統(tǒng)[3]和機器翻譯[4]等。

傳統(tǒng)上,研究人員主要使用基于特征和基于核函數(shù)的方法進行實體關系抽取。Zhou等[5]融合基本的文法分塊信息、半自動的收集特征,利用支持向量機進行實體關系抽取,在ACE數(shù)據(jù)集上F1值達到了55.5%;郭喜躍等[6]利用 SVM 作為分類器,分別研究詞匯、句法和語義特征對實體語義關系抽取的影響;劉克彬等[7]在語義序列核函數(shù)的基礎上,結合k近鄰算法(KNN)進行實體關系抽取;郭劍毅等[8]利用融合了多項式函數(shù)和卷積樹核函數(shù)的向量離散化的矩陣訓練模型進行實體關系抽取任務,驗證了多核融合方法較于單核方法性能更優(yōu)。

但是傳統(tǒng)方法往往嚴重依賴于手工特征和現(xiàn)有的自然語言處理工具,從而造成誤差的積累傳播。隨著深度學習的發(fā)展,許多研究者提出了基于深度神經網(wǎng)絡的關系抽取方法。Zeng等[9]在2014年首次提出使用卷積神經網(wǎng)絡(CNN)進行實體關系抽取,提高了模型的準確性;Socher等[10]利用循環(huán)神經網(wǎng)絡(RNN)對標注好的文本數(shù)據(jù)進行句法分析并不斷迭代,在關系抽取任務上取得了比較好的效果;Zhang等[11]使用雙向長短時記憶網(wǎng)絡(Bi-LSTM),充分利用了當前詞語前后的信息,其實驗結果相比CNN方法提高了14.6%。但是這些方法通常都依賴于NLP工具獲得的高級詞匯和句法功能,例如詞典(WordNet)[12],依賴解析器、詞性標記器(POS)和命名實體識別器(NER)[13],無法有效利用數(shù)據(jù)本身隱含的信息。

研究表明,語言模型預訓練[14]對于改善許多自然語言處理任務是有效的。Devlin等[15]提出的預訓練模(Bidirectional Encoder Representation from Transformers,BERT)具有特別重要的影響,并已成功應用于多個自然語言處理任務中。Wu等[16]利用預先訓練的BERT語言模型,并結合目標實體的信息來處理關系抽取任務并取得了顯著的效果。

本文將預訓練的BERT模型應用于實體關系抽取任務,將實體級別的信息融入預訓練模型,并用卷積神經網(wǎng)絡提取句子級別的信息,提出了預訓練卷積神經網(wǎng)絡模型(R-BERT-CNN)。模型在將文本輸入到BERT進行微調之前,首先在目標實體之前和之后插入特殊標記,以便識別兩個目標實體的位置并傳輸信息進入BERT模型,從BERT模型中定位兩個目標實體在輸出嵌入中的位置。然后使用它們的嵌入以及句子編碼(在BERT設置中嵌入的特殊字符[CLS],[SEP])分別作為輸入到CNN和全連接神經網(wǎng)絡中進行關系抽取。它能夠捕捉句子和兩個目標實體的語義,以更好地適應關系抽取任務。本文主要有三個方面的貢獻:

(1) 將實體級信息納入預先訓練的語言模型,并使用CNN提取句子級的信息,能夠更好地捕捉句子和兩個目標實體的語義,更好地適應關系抽取任務。

(2) 本文的模型在SemEval-2010 Task 8中獲得了89.51%的F1分數(shù),相較于其他的神經網(wǎng)絡模型都有了不同程度的提高。

(3) 在沒有依賴任何自然語言處理工具下,其性能優(yōu)于現(xiàn)有的最新模型。

1 相關工作

1.1 預訓練模型

預訓練模型BERT模型是谷歌提出的基于多層雙向Transformer[17]構建的語言模型,內部采用Transformer作為編碼結構,比傳統(tǒng)的循環(huán)神經網(wǎng)絡具有更強的信息捕捉能力,在自然語言處理的多項任務中取得了良好的效果。BERT模型的本質是通過在海量的語料的基礎上運行自監(jiān)督學習方法為單詞學習一個好的特征表示,所謂的自監(jiān)督學習是指在沒有人工標注的數(shù)據(jù)上運行的監(jiān)督學習。在特定的NLP任務中,可以直接使用BERT的特征表示作為該任務的詞嵌入特征。所以BERT提供的是一個供其他任務遷移學習的模型,該模型可以根據(jù)任務微調或者固定之后作為特征提取器。

BERT的預訓練階段包括兩個任務:一是掩蓋語言模型(Masked Language Model,MLM);二是下一個句子預測(Next Sentence Prediction,NSP)。簡單描述為:在一句話中mask掉幾個單詞然后對mask掉的單詞做預測、判斷兩句話是否為上下文的關系,而這兩個訓練任務是同時進行的。MLM使得BERT能夠從文本中進行雙向學習,也就是說這種方式允許模型從單詞的前后單詞中學習其上下文關系。只要把對應的標簽輸入BERT,每一層Transformer層輸出相應數(shù)量的隱藏向量,如此一層層傳遞下去,直到最后輸出。

圖1是BERT執(zhí)行文本分類時的模型。BERT是一個句子級別的語言模型,可以直接獲得整個句子的唯一向量表示。BERT的輸入表示的設計應能夠在一個標記序列中表示單個文本句子和一對文本句子。每個標記的輸入由標記嵌入(Token Embeddings),片段嵌入(Segment Embeddings)和位置嵌入(Position Embeddings)的總和構成。Token Embeddings是在每個輸入前面加的一個特殊的標簽[CLS],可以使用Transformer對[CLS]進行深度編碼,由于Transformer是可以無視空間和距離,把全局信息編碼進每一個位置的,而[CLS]的最高隱藏層作為句子/句對的表示直接跟softmax的輸出層連接,因此其作為梯度反向傳播路徑上的“關卡”,可以學到整個輸入的上層特征;Segment Embeddings是使用[SEP]將兩個句子分開,從而實現(xiàn)以兩個句子作為輸入的分類任務;Position Embeddings是用來表示輸入句子向量中每個字詞所對應的位置,由于Transformer無法像RNN一樣獲取句子的時序信息,所以需要Position Embeddings表示自此在句子中的先后順序。

圖1 Bert 文本分類結構

連接標簽嵌入、分段嵌入和位置嵌入的向量通過框中的多層自注意力機制(變壓器編碼器),可以將輸入語句映射到不同的子空間中,能夠更好地理解到語句所包含的信息。對于每個輸入標簽,都有對應的輸出值。其中,C是整個文本的表示形式,因為C獲得了所有單詞的信息。最后,將C輸入到softmax層以獲得分類結果。實際上C注重文本中每個單詞的重要性,并且每個單詞都是平等且獨立的,但它不注意文本中某些片段或短語的信息。

1.2 卷積神經網(wǎng)絡

近年來,深度神經網(wǎng)絡在自然語言處理中取得了良好的效果。卷積神經網(wǎng)絡(Convolutional Neural Network, CNN)[18]是由動物視覺的局部感受野原理啟發(fā)而提出的,是深度學習技術中極具代表性的網(wǎng)絡結構之一,在圖像分析和處理領域取得了眾多突破性的進展,在學術界常用的標準圖像標注集ImageNet上,基于卷積神經網(wǎng)絡的模型取得了很多成就,包括圖像特征提取分類、場景識別等。卷積神經網(wǎng)絡相較于傳統(tǒng)的圖像處理算法的優(yōu)點之一在于避免了對圖像復雜的前期預處理過程,尤其是人工參與圖像預處理過程,卷積神經網(wǎng)絡可以直接輸入原始圖像進行一系列工作,至今已經廣泛應用于各類圖像相關的應用中。最近的一些研究者也將CNN應用到自然語言處理領域,并取得了一些引人注目的成果。

卷積神經網(wǎng)絡豐富的卷積核可以用于提取各類特征,盡管這些特征大多數(shù)都是不可解釋的,但卻是非常有效的,因此通過不斷的卷積,CNN 能夠自動發(fā)現(xiàn)一些文本中隱含的隱性特征。CNN的網(wǎng)絡結構如圖2所示。

圖2 CNN結構圖

CNN的本質是輸入到輸出的映射,它能夠學習大量的輸入與輸出之間的映射關系,而不需要任何輸入和輸出之間的精確的數(shù)學表達式,只要用已知的模式對卷積網(wǎng)絡進行訓練,網(wǎng)絡就具有輸入和輸出的映射關系。CNN通常是由數(shù)據(jù)輸入層、卷積計算層、池化層、全連接層組成。

卷積層是CNN最重要的一個層次,一般會有一個或多個卷積層。卷積層中有兩個關鍵操作:局部關聯(lián),把每個神經元看作一個濾波器(filter);窗口滑動,使用過濾器對局部數(shù)據(jù)集逆行計算。卷積的主要作用就是提取特征,因為一次卷積可能提取的特征比較粗糙,多次卷積,可以提取每一層特征,使得提取的特征更加精細;池化層也叫降采樣層,夾在連續(xù)的卷積層中間,用于降低數(shù)據(jù)的維度,避免過擬合,從而提升特征提取魯棒性,提高計算速度;全連接層通常在卷積神經網(wǎng)絡的尾部,其作用主要是對特征進行整合,池化層的輸出以全連接的形式傳遞給全連接層,通過分類器得到分類(預測結果),再將預測的結果與實際的結果進行比較,通過損失函數(shù)梯度下降反向傳播的方式更新網(wǎng)絡參數(shù)。

2 R-BERT-CNN模型

為了更好地獲得文本和兩個目標實體的語義信息,本文提出了用于關系抽取任務的R-BERT-CNN模型。模型主要分為五個部分:輸入層、預訓練層、語義提取層、全連接層和輸出層。構建的模型結構如圖3所示。模型進行實體關系抽取任務的流程為:

圖3 R-BERT-CNN模型

Step1數(shù)據(jù)預處理,將數(shù)據(jù)添加[CLS]、[SEP]標簽和一些特殊的規(guī)范字符。

Step2將處理好的數(shù)據(jù)輸出到BERT模型中進行預訓練。

Step3BERT預訓練完成后,對實體向量取平均并激活,再分別使用CNN和全連接神經網(wǎng)絡提取句子和兩個目標實體中的語義信息。

Step4將提取的標簽語義,句子語義和實體語義信息進行全連接。

Step5通過Softmax分類器對實體關系進行抽取,輸出兩個目標實體的關系。

2.1 輸入層

模型的輸入是一個具有兩個目標實體e1、e2的標簽序列s。其中s={x1,x2,…,xn},xi為句子的第i個詞向量,n為模型設置的輸入句子的最大長度。為了使BERT模塊更好地捕獲兩個實體的位置信息,在第一個實體的開頭和結尾,插入一個特殊的規(guī)范字符“＄”,在第二個實體的開始和結束位置,插入一個特殊的規(guī)范字符“#”。同時還在每個句子的開頭和結尾分別添加了[CLS]和[SEP]標簽。例如,在插入特殊的標記后,對于目標實體為“audits”和“waste”的句子,輸入格式為:[CLS]The most common＄audits＄were about # waste # and recycling.[SEP]。

輸入處理模塊將每個xi編碼成一個包含兩個目標實體和特殊標簽符號的向量ei的公式為:

ei=Etoken(xi)+Eseg(xi)+Epos(xi)

(1)

式中:Etoken(xi)表示詞嵌入;Eseg(xi)表示片段嵌入;Epos(xi)表示位置嵌入。

2.2 預訓練層

輸入處理模塊通過BERT中的Transformer預訓練后輸出相應數(shù)量的隱藏向量,一層層傳遞下去,直到最后輸出。設經過預訓練BERT后最終輸出的隱藏向量是H={H0,H1,…,Hn}。其中包含了[CLS]標簽向量,實體e1最終的隱藏狀態(tài)向量,實體e2最終的隱藏狀態(tài)向量和其他字向量的隱藏向量。假設[CLS]標簽向量為H0,向量Hi到Hj是實體e1的BERT的最終隱藏狀態(tài)向量,而Hk到Hm是實體e2的BERT的最終隱藏狀態(tài)向量。

2.3 語義提取層

語義提取分為標簽語義提取,實體語義提取和句子語義提取。標簽語義主要提取[CLS]標簽信息;實體語義提取主要是提取實體標簽信息并平均兩個實體向量;句子語義提取為使用CNN提取句子級別的信息。

2.3.1 標簽語義提取

[CLS]標簽向量可以作為整篇文本的語義表示。通過預訓練處理后得到[CLS]標簽向量,直接輸入全連接層并添加激活函數(shù)(tanh)獲得整個句子的標簽信息。輸出H′0的過程可以表示為:

H′0=W0(tanh(H0))+b0

(2)

式中:W0是參數(shù)矩陣,且W0∈Rd×d,d是BERT的隱藏狀態(tài)大小;b0是偏差向量。

2.3.2 實體語義提取

(3)

(4)

式中:W1、W2是參數(shù)矩陣,具有相同的維度,即W1∈Rd×d,W2∈Rd×d,d是BERT的隱藏狀態(tài)大小;b1、b2是偏差向量,且W1=W2,b1=b2。

2.3.3 句子語義提取

為了使文本的表現(xiàn)更好地集中在句子中的局部信息上,如一個簡短的句子和短語,我們使用卷積神經網(wǎng)絡對BERT層的輸出矩陣H={H0,H1,…,Hn}進行卷積、降采樣操作,然后通過一層拼接層,提取文本特征。假設卷積核長度為k,即每次對k個分詞向量進行卷積操作,卷積核滑動的步長一般設為1,對文本矩陣進行上下滑動,則H可以分成{H0:k,H1:k+1,H2:k+2,…,Hn-k+1:n},其中Hi:j表示向量Hi到Hj的所有向量的級聯(lián),對于每一個分量執(zhí)行卷積操作后得到向量C={C0,C1,…,Cn-k+1},而Ci是對分量Hi:i+k-1執(zhí)行卷積操作后得到的值,稱為一個局部特征映射,計算公式為:

Ci=W3THi:i + k-1+b3

(5)

式中:W3是卷積核的參數(shù),按照均勻分布隨機初始化,并在模型訓練過程中不斷學習;b3是偏差向量。

接著對卷積捕獲的文本特征映射向量C進行池化操作,采用最大池化操作,公式為:

(6)

則對于q個卷積核得到的結果為:

(7)

卷積操作實質上完成了對文本特征中表示局部重要信息的捕獲,池化操作則完成了局部重要特征的提取。經過全連接后CNN的輸出向量為最終的向量C′。

2.4 全連接和輸出

(8)

p=softmax(h″)

(9)

式中:W4∈RL×4d,L是關系類型的個數(shù),b4是偏差向量,p是概率輸出。

Softmax輸出的是一個概率值,根據(jù)概率值可以預測兩個目標實體的關系并輸出。

3 實驗與分析

3.1 實驗環(huán)境

模型實驗環(huán)境為:Windows 10操作系統(tǒng),i7-9570H處理器,16 GB內存,GTX1060 Ti 6 GB顯卡,Python 3.7編程語言,PyTorch深度學習框架,PyCharm開發(fā)環(huán)境。

3.2 實驗數(shù)據(jù)

在SemEval-2010 Task 8數(shù)據(jù)集上評估本文模型,它是關系抽取的常用基準,并將實驗結果與該領域最先進的模型進行比較。數(shù)據(jù)集中包含10種關系,每種關系及其數(shù)量如表1所示。其中前9個關系是有序的,Other沒有方向。關系的方向性有效地使關系的數(shù)量加倍,因為只有當順序也正確時,才認為實體對被正確標記,所以最終存在19個關系(2×9+1)。該數(shù)據(jù)集包含10 717個標注的句子,8 000個樣本用于訓練,2 717個樣本用于測試。

表1 數(shù)據(jù)集

3.3 評價標準

對于實驗效果的評估主要采用SemEval-2010 Task 8的官方評估指標,該指標基于宏觀平均F1得分(不包括Other),并考慮了方向性。另外,一些實驗還使用精確率(P)、召回率(R)作為實驗的評估指標,其計算公式為:

(10)

(11)

(12)

式中:TP表示屬于關系r的樣本被正確識別為關系r;TN表示為屬于關系r的樣本被錯誤識別為其他關系;FP表示不屬于關系r的樣本被錯誤識別為關系r;FN表示不屬于關系r的樣本被正確識別為對應的關系。

3.4 實驗參數(shù)設置

用交叉熵作為損失函數(shù)。訓練期間在每個完全連接的層之前應用dropout方法,防止過擬合。并采用Adam優(yōu)化器,關于預先訓練的BERT模型的參數(shù),參考[15]中的配置。本文實驗主要的參數(shù)設置見表2。

表2 參數(shù)設置

3.5 實驗結果分析

3.5.1 單個關系實驗結果

為了驗證本文提出的R-BERT-CNN模型的有效性,在SemEval-2010 Task 8數(shù)據(jù)集進行實驗,表3的結果顯示了針對每種關系類型和總體關系在測試集上模型的性能。總體關系Overall不包括Other。

實驗結果顯示,除Other關系,Instrument-Agency關系的準確率、召回率和F1值最低,原因是在數(shù)據(jù)集中這個關系類別數(shù)量少,在訓練過程中不能更好地學習,導致模型輸出這種關系的概率較小;其次性能比較差的是Component-Whole和Member-Collection關系,因為這兩種關系在關系清單種類中是兩種相近的關系,都是Part-Whole的特殊情況。其余的關系類型在測試集上模型的性能和總體關系各項評價指標相差不大。

3.5.2 對比實驗

本組實驗使用官方評價標準宏平均F1值比較了本文提出的模型與最近發(fā)布的SemEval-2010 Task 8數(shù)據(jù)集的多個模型,模型的實驗結果來自對應的論文。各模型的F1值的實驗結果如表4所示。

表4 實驗結果對比

支持向量機(SVM)[19]是一種非神經網(wǎng)絡模型,使用SVM分類器捕獲上下文,語義角色從屬關系以及名詞可能存在的關系的功能來執(zhí)行分類,在SemEval比賽中獲得了最佳結果;Attention-CNN[20]是基于注意力的卷積神經網(wǎng)絡架構,充分利用了詞嵌入,詞性標簽嵌入和位置嵌入信息;Att-Pooling-CNN[21]是一個基于多Attention機制CNN網(wǎng)絡的實體關系抽取模型;C-GCN[22]是一種圖卷積網(wǎng)絡,它能夠有效地并行存儲任意依賴結構的信息;Entity Attention Bi-LSTM[23]是一種端到端循環(huán)神經模型,結合了具有潛在實體類型(LET)方法的感知實體的注意力機制。

實驗結果表明,本文R-BERT-CNN模型,相較于基準模型,有了明顯的提高,F1值達到了89.51%。支持向量機SVM的性能最差,因為該模型依賴于人工設置的語義關系分類,從而造成誤差的積累傳播;改進CNN的神經網(wǎng)絡Attention-CNN,Att-Pooling-CNN,C-GCN模型也都獲得了不錯的效果,但它們依賴于NLP工具的高級詞匯和句法功能,本文R-BERT-CNN模型在沒有使用任何NLP的工具下相較于C-GCN,Attention-CNN,Att-Pooling-CNN,其F1值分別提高了4.71、3.61和1.51百分點;Entity Attention Bi-LSTM可以有效地利用實體及其潛在類型,但沒有利用句子級別的信息,而R-BERT-CNN模型可以充分利用句子級和實體級別的信息,相較于Entity Attention Bi-LSTM模型F1值提高了1.51百分點。

3.5.3 消融實驗

為了解實體級信息和句子級信息分別對關系抽取結果的影響,分別創(chuàng)建了單獨獲取句子信息(BERT-CNN)和單獨獲取實體信息(R-BERT)的模型,并進行實驗結果對比。

BERT-CNN模型是沒有將實體級信息融入預訓練模型的純BERT與CNN的結合,即丟棄圍繞句子中的兩個實體的特殊單獨標注(即“＄”和“#”),但保持兩個實體的隱藏向量輸出,換句話說,只在句子的開頭添加“ [CLS]”,并將帶有兩個實體的句子輸入BERT模塊,然后使用BERT預訓練后第一個輸出向量H直接輸入CNN后添加全連接層和softmax層進行抽取。

在本組實驗中,使用BERT預訓練模型的實驗結果值均由本文的實驗環(huán)境運行得出。表5是消融實驗的結果。

表5 消融實驗結果(%)

表5表明了本文提出的R-BERT-CNN模型綜合評價指標優(yōu)于其他兩個模型。在準確率上,比BERT-CNN和R-BERT分別提高了2.87百分點和1.78百分點。在召回率上,與R-BERT模型結果相當,比BERT-CNN模型提高了2.34百分點。在F1值上,比BERT-CNN和R-BERT分別提高了2.61百分點和0.97百分點。分析其原因,BERT-CNN模型只考慮了句子級別的語義關系,沒有使用特殊標記字符,無法定位目標實體,造成實體信息丟失;R-BERT模型只在預訓練階段融入了實體信息,沒有考慮到文本句子的上下文語義。

為了分析模型的時間性能,本文比較了三種模型的在SemEval-2010 Task 8數(shù)據(jù)集上完成五次迭代需要的時間,實驗結果如圖4所示。

圖4 模型訓練時間對比

圖4顯示本文提出的模型相較于其他兩個模型訓練時間分別縮短了15、19 min,這是因為句子語義和實體語義是并行提取的,模型在訓練過程中能夠獲取到所需要的各種數(shù)據(jù),所以同時獲取文本中的兩種語義,并沒有增加訓練時間,反而提高了訓練速度。

綜上可以表明,實體語義和句子語義對關系抽取任務有著至關重要的作用,本文提出的R-BERT-CNN模型能夠充分利用文本數(shù)據(jù)的信息,在提高關系抽取任務的各項性能的同時縮短了模型的訓練時間。

3.5.4 優(yōu)化器對關系抽取的影響

優(yōu)化器對實體關系抽取的效果有很大的影響,因此選用合適的優(yōu)化器對模型的性能有至關重要的作用。本組實驗對比了不同的優(yōu)化器的性能,分別選用自適應矩估計(Adam)、自適應梯度下降(AdaGrad)和隨機梯度下降(SGD)三種優(yōu)化器,對其實驗重復十次,每次實驗迭代五次取平均的結果如圖5所示。

圖5 不同優(yōu)化器對實驗結果的影響

由圖可知,使用SGD優(yōu)化器的模型效果最差,可能是因為SGD更新比較頻繁,造成損失函數(shù)有嚴重的動蕩,從而陷入局部最優(yōu)解;AdaGrad優(yōu)化器使用梯度平方和作為分母,比較適合稀疏的數(shù)據(jù);Adam優(yōu)化器可以計算每個參數(shù)的自適應學習率,使得模型達到最高的結果,比其他適應性學習方法效果要好。

4 結 語

本文提出了一種R-BERT-CNN模型,用于抽取實體之間的關系。該模型將實體級信息納入預先訓練的模型,并使用CNN提取句子級的信息,能夠更好地捕捉句子和兩個目標實體的語義,提升了實體關系抽取任務的性能。模型能夠并行提取句子語義和實體語義,提高了訓練速度,減少了收斂時間。采用SemEval 2010 Task 8數(shù)據(jù)集的實驗結果驗證了該模型在關系抽取任務上在沒有依賴任何自然語言處理工具情況下,不僅能夠獲得較好的評價指標,還縮短了訓練時間,在實體關系抽取任務上有重要的應用價值。

本文只考慮了在特定關系類別下的關系抽取,在以后的研究中,將考慮無監(jiān)督情況下的關系抽取任務,得出文本中豐富的語義關系。