劉 暢，潘理虎

(1.天津工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，天津 300387；2.太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，太原 030024)

實(shí)體關(guān)系抽取是信息抽取工作中十分重要的步驟，其目的是挖掘文本中存在的實(shí)體關(guān)系信息。簡(jiǎn)單來(lái)講，就是在給定一個(gè)句子后，關(guān)系抽取任務(wù)會(huì)抽取其中出現(xiàn)的實(shí)體，并根據(jù)句子的信息來(lái)推測(cè)實(shí)體之間的關(guān)系。處理海量數(shù)據(jù)時(shí)關(guān)系抽取模型能夠表現(xiàn)出優(yōu)越的性能，其不僅有利于理論探討，也有利于大規(guī)模實(shí)際應(yīng)用。

早期的關(guān)系抽取工作主要基于特征工程方法[1]、基于核方法[2]和基于嵌入方法[3]，這些都曾被廣泛地應(yīng)用于關(guān)系抽取任務(wù)中，并取得了階段性的成果，但它們通常依賴于大量的人工特征構(gòu)建，需要大量時(shí)間成本與專業(yè)化知識(shí)。最近隨著深度學(xué)習(xí)的發(fā)展，研究人員開始構(gòu)建沒(méi)有復(fù)雜特征工程的關(guān)系抽取模型,許多學(xué)者開始關(guān)注神經(jīng)關(guān)系抽取 (NRE) ，它試圖使用神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)語(yǔ)義特征，而現(xiàn)在大量的神經(jīng)網(wǎng)絡(luò)模型已經(jīng)被廣泛應(yīng)用于關(guān)系抽取，如卷積神經(jīng)網(wǎng)絡(luò)(CNN)[4]，遞歸神經(jīng)網(wǎng)絡(luò)(RNN)[5]等，這些都取得了令人印象深刻的成果，在特征提取的深度和模型的精度上已經(jīng)超過(guò)了傳統(tǒng)基于特征的方法。

相比英文領(lǐng)域，中文關(guān)系抽取發(fā)展緩慢。目前還沒(méi)有一個(gè)完整的、帶注釋的大規(guī)模漢語(yǔ)知識(shí)庫(kù)可以用來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)和遠(yuǎn)程監(jiān)督模型，而且漢語(yǔ)語(yǔ)法比英語(yǔ)更加復(fù)雜多變。此外，自然語(yǔ)言處理工具仍然存在一定的缺陷，極大地影響了現(xiàn)有的中文抽取系統(tǒng)或方法。漢語(yǔ)句子詞數(shù)不固定、無(wú)標(biāo)準(zhǔn)格式、語(yǔ)法復(fù)雜等特點(diǎn)，給依存分析提取實(shí)體關(guān)系帶來(lái)了困難。越來(lái)越多的研究也表明，現(xiàn)有的中文關(guān)系抽取系統(tǒng)很難處理開放域中的復(fù)雜文本抽取問(wèn)題。

本文提出基于多特征融合的詞級(jí)注意中文關(guān)系抽取網(wǎng)絡(luò)模型，該模型除文本詞嵌入外，添加字形特征、拼音特征和句法依存特征等輔助特征，通過(guò)特征融合方式充分的挖掘中文漢字文本所包含的語(yǔ)義信息與上下文特征，并添加一個(gè)詞級(jí)注意模塊，對(duì)融合后的文本特征進(jìn)行權(quán)重分配，盡可能利用文本中的關(guān)鍵詞對(duì)關(guān)系類別進(jìn)行最終分類。

1 相關(guān)工作

關(guān)系抽取在深度學(xué)習(xí)的發(fā)展下取得了長(zhǎng)足的進(jìn)步?；谏疃葘W(xué)習(xí)的技術(shù)主要包括有監(jiān)督[6]和遠(yuǎn)程監(jiān)督[7]模型。Liu等人[8]從因果關(guān)系的角度審視了開放關(guān)系抽取工作，并對(duì)實(shí)體和上下文進(jìn)行了一定的人工干預(yù)，獲取文本中潛在的因果關(guān)系，并以無(wú)監(jiān)督的方式取得了優(yōu)秀的效果。大多數(shù)關(guān)系抽取模型為實(shí)體檢測(cè)與關(guān)系抽取兩個(gè)子任務(wù)，Wang等人[9]則應(yīng)用了統(tǒng)一的分類器預(yù)測(cè)每個(gè)單元的標(biāo)簽，統(tǒng)一了兩個(gè)子任務(wù)的學(xué)習(xí)。Huang等人[10]針對(duì)文檔級(jí)關(guān)系抽取的挑戰(zhàn)，通過(guò)使用注意力概率作為證據(jù)預(yù)測(cè)的附加特征來(lái)引導(dǎo)預(yù)訓(xùn)練語(yǔ)言模型的注意力機(jī)制關(guān)注相關(guān)上下文，提高了預(yù)測(cè)效率。Hu等人[11]提出了一個(gè)范式定量評(píng)估了注意力和知識(shí)圖譜對(duì)袋級(jí)關(guān)系抽取性能的影響，證明了注意力在很大程度上受數(shù)據(jù)噪聲影響，得到了可信的實(shí)驗(yàn)數(shù)據(jù)。

基于漢字的復(fù)雜性及多變性，中文關(guān)系抽取工作的進(jìn)展相對(duì)發(fā)展緩慢，之前工作主要針對(duì)文本特征進(jìn)行研究，邢等人[12]在CCL會(huì)議上首次進(jìn)行了中文關(guān)系抽取任務(wù)探究，他們分析了深度模型在處理中文關(guān)系抽取過(guò)程中所做的特征提取工作，通過(guò)比較中文關(guān)系抽取中探究任務(wù)實(shí)驗(yàn)結(jié)果與英文的不同點(diǎn)，進(jìn)一步理解了中文信息中更加重要的特征。清華大學(xué)實(shí)驗(yàn)室[13]提出了一種用于中文關(guān)系提取的多粒度格框架，利用多粒度語(yǔ)言信息和外部語(yǔ)言知識(shí)對(duì)多義詞的多義進(jìn)行建模，以減輕多義詞的歧義。Qi等人[14]提出了一種基于中文語(yǔ)法和依存解析特征的無(wú)監(jiān)督方法，用于處理復(fù)雜句子，可以在降低句子復(fù)雜度的同時(shí)保持句子的完整性。Meng等人[15]通過(guò)生成字形特征來(lái)解決中文字形中缺乏豐富的象形證據(jù)問(wèn)題，有效利用了字形信息，且在NLP任務(wù)中取得了廣泛優(yōu)秀的效果。

近年來(lái)注意力機(jī)制也被應(yīng)用在各個(gè)領(lǐng)域，它可以提高特征學(xué)習(xí)過(guò)程中底層單元的權(quán)重[16]，對(duì)每句話和每個(gè)單詞都可以進(jìn)行清楚的權(quán)重表示，因此在分類預(yù)測(cè)任務(wù)中受到了越來(lái)越多研究人員的青睞。Qu等人[17]為了區(qū)分一個(gè)句子中不同單詞的重要程度，開發(fā)了一個(gè)詞注意力機(jī)制，用來(lái)提高某些關(guān)鍵詞的注意力權(quán)重，它從目標(biāo)實(shí)體的詞嵌入中研究語(yǔ)義信息，將其開發(fā)為抽取器的補(bǔ)充特征。Zhang等人[18]轉(zhuǎn)移了上下文字符串嵌入，為了提高因果關(guān)系提取的性能，在模型中引入了多頭自注意力機(jī)制來(lái)學(xué)習(xí)因果詞之間的依賴關(guān)系。

基于以上研究，本文在當(dāng)前關(guān)系抽取取得的工作基礎(chǔ)上構(gòu)建了一個(gè)多特征融合的卷積神經(jīng)網(wǎng)絡(luò)，添加字形、拼音及句法依存等輔助特征，提高模型的語(yǔ)義學(xué)習(xí)能力，并加入一個(gè)詞級(jí)注意機(jī)制充分利用文本中的關(guān)鍵詞信息提高關(guān)系抽取性能。

2 MFAN模型

模型對(duì)輸入實(shí)例進(jìn)行預(yù)處理后，將文本的信息以及其他輔助特征進(jìn)行向量化表示，融合嵌入模型，并輔以詞級(jí)注意模塊。在本文中，除句子特征Sw外，還包括字形特征Sg、拼音特征Sp以及句法依存特征Sd.模型結(jié)構(gòu)如圖1.

圖1 MFAN結(jié)構(gòu)圖Fig.1 Overview of MFAN structure

2.1 嵌入層

2.1.1 詞向量

詞嵌入是指將詞語(yǔ)轉(zhuǎn)化為數(shù)值向量，即將每個(gè)高維空間的單詞或詞組映射到低維空間的實(shí)數(shù)域上。

本文使用開源word2vec模型[19]進(jìn)行詞向量映射，該模型的詞向量非常豐富，經(jīng)過(guò)了多種語(yǔ)料進(jìn)行訓(xùn)練，涵蓋各領(lǐng)域，能夠較好地表達(dá)中文文本的語(yǔ)義知識(shí)。

設(shè)句子S由n個(gè)單詞組成，即S=[w1w2，…，wn]，wi為第i個(gè)單詞。使用word2vec對(duì)輸入文本S向量化得到Sw=[e1，e2，…，en]∈Rn×d，d為詞向量的維度，ei為第i個(gè)單詞的特征表示。

2.1.2 字形向量

漢語(yǔ)是一種符號(hào)語(yǔ)言。漢字的符號(hào)編碼了豐富的意義信息，因此，中文NLP任務(wù)能夠直觀的從字形信息中獲取有價(jià)值的編碼信息。文獻(xiàn)[15]首先提出了用于漢字表示的字形向量GLYCE，利用田字格-CNN結(jié)構(gòu)為漢字建模。

對(duì)輸入句子序列S=[w1w2，…，wn]，將輸入中的每個(gè)中文字符視為圖像，通過(guò)glyce-bert，使用神經(jīng)系統(tǒng)獲得他們的表示，得到Sg=[Ge1，Ge2，…，Gen]∈Rn×d1，d1為字形向量的維度。

2.1.3 拼音向量

為了更好的獲取句子中文本的語(yǔ)義信息，將文本拼音特征加入表示。通過(guò)漢字拼音特點(diǎn)，構(gòu)建文本拼音字符序列進(jìn)行特征擴(kuò)展。預(yù)處理階段，對(duì)輸入的語(yǔ)句進(jìn)行劃分，以字符為依據(jù)將其分成漢字和符號(hào)，然后用拼音來(lái)處理文本，再將拼音表示的文本按照字符進(jìn)行特征表示。通過(guò)構(gòu)建拼音特征，可以擴(kuò)展輸入文本的語(yǔ)義特征，降低同音、多音等異常條件下的錯(cuò)誤影響。

輸入句子序列S=[w1w2，…，wn]，經(jīng)拼音表示和向量映射后得到Sp=[Pe1，Pe2，…，Pen]∈Rn×d2，Pei表示句子中第i個(gè)字符的拼音特征向量，d2為拼音特征向量的維度。

2.1.4 句法依存向量

依存句法分析形式化定義合法句子的語(yǔ)法結(jié)構(gòu)，同時(shí)根據(jù)語(yǔ)法體系，生成輸入句子的句法結(jié)構(gòu)，從而分析出句子中存在的單位及關(guān)系。

對(duì)輸入實(shí)例S=[w1w2，…，wn]，通過(guò)Stanford nlp 中的dependency_parse，生成表示輸入句子中單詞之間依存關(guān)系的三元組序列L，通過(guò)parse生成句子解析樹，更能表示句子的句子結(jié)構(gòu)，如圖2.

圖2 語(yǔ)義依存樹Fig.2 Semantic dependency tree

通過(guò)依存三元組得到句子序列的特征實(shí)數(shù)Lr=[R1，R2，…，Rn]，n為句子S長(zhǎng)度。對(duì)其進(jìn)行矩陣轉(zhuǎn)換得到依存句法特征向量Sd=[De1，De2，…，Den]∈Rn×d3，d3為依存特征向量維度。

嵌入層通過(guò)詞向量和其他輔助特征獲取到豐富的文本語(yǔ)義和上下文特征，最后進(jìn)行特征融合操作。設(shè)n個(gè)單詞的句子為S=[w1，w2，…，wn]，將詞向量與輔助向量矩陣進(jìn)行拼接V=Sw⊕Sg⊕Sp⊕Sd，⊕為向量拼接操作，得到V=[x1，x2，…，xn]，xi為第n個(gè)詞特征融合后的向量表示。

2.2 詞級(jí)注意力模塊

在關(guān)系抽取工作中，輸入實(shí)例的復(fù)雜性和異質(zhì)性一直是一個(gè)難題。通常一個(gè)句子中所有的詞在表示利益實(shí)體對(duì)之間的關(guān)系事實(shí)方面，并不都扮演著同樣重要的角色。為了更準(zhǔn)確地捕捉這些關(guān)鍵詞來(lái)預(yù)測(cè)關(guān)系，添加一個(gè)基于詞級(jí)注意的機(jī)制。

給出包含實(shí)體對(duì)(e1，e2)和單詞序列(w1，w2，w3，…)的句子S.構(gòu)成S的向量表示為VSwa，可以通過(guò)相應(yīng)的詞向量ei的加權(quán)和計(jì)算得到：

(1)

其中ai表示單詞wi的注意力權(quán)重，在訓(xùn)練過(guò)程中，會(huì)根據(jù)當(dāng)前的參數(shù)對(duì)αi進(jìn)行調(diào)整，使模型逐漸增加關(guān)鍵字的權(quán)值，同時(shí)減少不重要字的權(quán)值。為此進(jìn)一步定義αi如下:

(2)

其中，qi可以作為一個(gè)查詢，用來(lái)對(duì)單詞wi和預(yù)測(cè)關(guān)系r之間的相關(guān)性進(jìn)行評(píng)分。但問(wèn)題是，通常不知道需要提前預(yù)測(cè)的關(guān)系標(biāo)簽的任何信息，因此，在不使用任何上下文描述的情況下提供一些關(guān)于目標(biāo)實(shí)體對(duì)之間關(guān)系的線索是非常重要的。使用[e2-e1]近似表示要預(yù)測(cè)的關(guān)系r的向量。利用現(xiàn)有的詞嵌入方法，可以獲得e1和e2的向量表示。然后給出以下公式計(jì)算qi:

qi=Wd([wi;r])qi=Wd([wi:r])

(3)

其中[wi;r]∈R2dw×1表示單詞wi和關(guān)系r之間的垂直連接。Wd∈R1×2dw是一個(gè)中間矩陣，它將wi和r的嵌入表示與它們之間的關(guān)聯(lián)值聯(lián)系起來(lái)，并給出了qi和[wi;r]之間的線性關(guān)系。

2.3 卷積層

在關(guān)系分類任務(wù)中,語(yǔ)義表示是有價(jià)值的特征，卷積運(yùn)算可以通過(guò)在固定窗口中組合詞表示來(lái)捕獲這些信息。針對(duì)一個(gè)例句x= (x1，x2,…，xn) 與上下文窗口大小k，在這個(gè)窗口大小中連續(xù)單詞的連接可以定義為：

(4)

也可以重新格式化為：

X=(x1:k,...,xn-k+1:n)

(5)

然后將輸入X送入卷積層以生成局部特征。Wconv作為權(quán)重矩陣，B1作為線性偏置，計(jì)算線性變換后跟非線性函數(shù)：

Z=f(Wconv·X+B1)

(6)

f為非線性激活函數(shù)Relu.

2.4 最大池化

在經(jīng)過(guò)卷積層提取特征后，使用最大池化來(lái)進(jìn)一步聚合每個(gè)過(guò)濾器的卷積結(jié)果，并從特征圖中提取最重要或最相關(guān)的特征。每個(gè)特征圖的最大池化操作用等式表示：

Zout=max(m)=max{z1,z2,...,zn-k+1}

(7)

2.5 Softmax

P=softmax(WpZout+bp)P=

softmax(Wpzout+bp)

(8)

Wp和bp為 權(quán) 重參數(shù)和偏置參數(shù),Zout為池化輸出。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)準(zhǔn)備

3.1.1 數(shù)據(jù)集

采用百度DuIE及人物關(guān)系抽取數(shù)據(jù)集IPRE進(jìn)行實(shí)驗(yàn)。DuIE的內(nèi)容主要來(lái)自于百度百科和百度新聞，包含超過(guò)45萬(wàn)個(gè)三元組數(shù)據(jù)實(shí)例、21萬(wàn)條中文文本以及50個(gè)已定義的關(guān)系類型集合；IPRE包含來(lái)自互聯(lián)網(wǎng)文本的34個(gè)人物關(guān)系集合。

3.1.2 基線模型

SVM:在特征空間上的一類經(jīng)典機(jī)器學(xué)習(xí)分類模型，是對(duì)數(shù)據(jù)進(jìn)行劃分的線性分類器。

CNN:是一類前饋網(wǎng)絡(luò)，可以卷積計(jì)算，具有平移不變性，使用卷積核，最大的應(yīng)用了局部信息，保留了平面結(jié)構(gòu)信息。

BiGRU:是一個(gè)由兩個(gè)GRU組成的神經(jīng)網(wǎng)絡(luò)，其中兩個(gè)GRU均是單向的，且方向互逆，其可以保證當(dāng)前時(shí)刻的輸出由前后的狀態(tài)共同決定。

Lstm:用LSTM獲取句子中每個(gè)單詞的隱藏狀態(tài)，然后利用LSTM中最后一個(gè)隱藏狀態(tài)進(jìn)行關(guān)系抽取。

Attention-bilstm[20]：利用該神經(jīng)網(wǎng)絡(luò)模型可以獲得更高級(jí)別的句子特征向量，然后根據(jù)這些進(jìn)行關(guān)系抽取。

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)中，實(shí)例最大長(zhǎng)度為40，詞向量維度為50，輔助特征維度為5，使用隨機(jī)梯度下降法(SGD)進(jìn)行參數(shù)優(yōu)化，momentum設(shè)置為0.5.模型訓(xùn)練50個(gè)epoch，batch size為32，learning rate為10-3.

評(píng)價(jià)指標(biāo)：

選取準(zhǔn)確率P，查全率R和F1值作為任務(wù)評(píng)估指標(biāo)。

3.3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證在對(duì)中文文本關(guān)系抽取時(shí)，各輔助特征的有效性，進(jìn)行了消融對(duì)比實(shí)驗(yàn)，在參數(shù)保持一致的情況下，字形特征表示為Gcy，拼音特征為Pho，句法依存特征為Dep，詞級(jí)注意力機(jī)制為Att，實(shí)驗(yàn)的效果以準(zhǔn)確率P(Precision)作為主要的評(píng)價(jià)指標(biāo)，其他指標(biāo)作為輔助。實(shí)驗(yàn)結(jié)果如表1，表2所示。

表1 多特征對(duì)比(DuIE)Tab.1 Multi-feature comparison (DuIE)

表2 多特征對(duì)比(IPRE)Tab.2 Multi-feature comparison(IPRE)

如表1所示，在DuIE和IPRE中，當(dāng)同時(shí)將字形特征、拼音特征、句法依存特征這三個(gè)輔助特征與詞向量結(jié)合時(shí)，準(zhǔn)確率分別為68.4%和73.7%，相比詞向量模型，分別提高了6.3%和5.2%，性能提升明顯，相比較字形特征包含的漢字形態(tài)信息，以及拼音特征對(duì)文本歧義、多義的優(yōu)化，句法依存特征一定程度上增強(qiáng)了文本特征包含的上下文信息，讓模型能夠?qū)W習(xí)到更多的語(yǔ)義特征。最后在輔助特征的基礎(chǔ)上添加了詞級(jí)注意Att，也就是本文方法MFAN，模型最終在DUIE上準(zhǔn)確率為71.9%，召回值61.3%，F(xiàn)1值66.2%，在IPRE上準(zhǔn)確率為76.1%，召回值為59.2%，F(xiàn)1值為66.6%.特征融合模型之間相互比較可以發(fā)現(xiàn)，模型在詞向量的基礎(chǔ)上進(jìn)行不同特征融合均能夠?qū)δＰ推鸬椒e極的作用，同時(shí)結(jié)合多種特征可以進(jìn)一步加深模型的語(yǔ)義理解，實(shí)現(xiàn)多種特征優(yōu)勢(shì)互補(bǔ)。僅輔助特征模塊無(wú)法捕獲異構(gòu)句子中編碼的關(guān)鍵詞，基于詞級(jí)注意力的機(jī)制可以通過(guò)為這些關(guān)鍵單詞分配更大的權(quán)重來(lái)預(yù)測(cè)關(guān)系，從而生成更好的句子編碼，輔助特征模塊與詞注意模塊的集成可以促進(jìn)關(guān)系提取任務(wù)以進(jìn)行準(zhǔn)確預(yù)測(cè)。從模型的實(shí)驗(yàn)結(jié)果可以看出，預(yù)測(cè)效果提升顯著，這表明在詞級(jí)特征的基礎(chǔ)上結(jié)合字形特征、拼音特征和句法依存特征，并輔以詞級(jí)注意力，對(duì)于關(guān)系抽取性能有很大的改善。

使用經(jīng)典關(guān)系抽取方法SVM、LSTM、GRU、BIGRU、CNN及Attention-BiLSTM在DuIE上進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證本文模型的有效性。在對(duì)基線模型進(jìn)行實(shí)驗(yàn)時(shí)，對(duì)文本進(jìn)行預(yù)處理，使用word2vec進(jìn)行向量化，向量的維度為100，對(duì)比實(shí)驗(yàn)相關(guān)參數(shù)設(shè)置如3.2所示，其他保持不變。實(shí)驗(yàn)對(duì)比結(jié)果見表3所示。

表3 基線方法對(duì)比實(shí)驗(yàn)Tab.3 Baseline method comparison experiment

從表3中實(shí)驗(yàn)結(jié)果可以看出，SVM表現(xiàn)最差，本文提出的模型MFAN在準(zhǔn)確率和F1值上表現(xiàn)最為優(yōu)秀，但召回值相比BIGRU效果較差，雙向GRU能夠同時(shí)理解正反上下文信息，能夠獲得更為全面的信息，也能有更好的表現(xiàn)，但因?yàn)樾枰M(jìn)行雙向訓(xùn)練，時(shí)間成本相對(duì)較高。Attention-BiLSTM召回率最低，說(shuō)明這類模型在處理重疊問(wèn)題上存在不足,它依賴于雙向結(jié)構(gòu)對(duì)文本全局信息的獲取，但同時(shí)對(duì)于局部詞特征其無(wú)法有效處理。CNN模型表現(xiàn)較好，其對(duì)文本局部信息的處理較為優(yōu)秀，但全局特征下無(wú)法獲得更多的特征表示。

4 總結(jié)

主要對(duì)中文關(guān)系抽取任務(wù)進(jìn)行了研究，為能夠有效獲取文本信息，提出了基于多特征融合的詞級(jí)注意關(guān)系抽取方法。模型構(gòu)建中，為獲取到語(yǔ)義特征表示，經(jīng)過(guò)文本預(yù)處理工作后，融合了字形特征、拼音特征和句法依存特征，在充分挖掘中文漢字本身語(yǔ)義的基礎(chǔ)上，盡可能獲取到更多的上下文信息，并將多特征表示作為編碼輸入。同時(shí)，為充分利用關(guān)鍵詞所包含的信息，添加一個(gè)詞級(jí)注意力機(jī)制，利用關(guān)鍵詞的特性篩去不可能的關(guān)系類型，提高關(guān)系抽取的性能。并在開源的中文數(shù)據(jù)集上做了豐富實(shí)驗(yàn)，驗(yàn)證了方法的有效性。本文方法也存在一定的不足之處，模型在準(zhǔn)確率上還未達(dá)到更好的程度，仍會(huì)出現(xiàn)一定的錯(cuò)誤結(jié)果，下一步可以在文本處理上進(jìn)行增強(qiáng)，盡量減少中文中無(wú)用信息帶來(lái)的誤差，同時(shí)希望能夠以多通道的方式進(jìn)行改進(jìn)，加深模型的語(yǔ)義理解。