周文燁 劉亮亮 張?jiān)佘S

1. 江蘇科技大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，江蘇 鎮(zhèn)江 212003;

2. 上海對(duì)外經(jīng)貿(mào)大學(xué) 統(tǒng)計(jì)與信息學(xué)院，上海 201620）

摘 要：關(guān)系抽取是構(gòu)建如知識(shí)圖譜等上層自然語(yǔ)言處理應(yīng)用的基礎(chǔ)。針對(duì)目前大多數(shù)關(guān)系抽取模型中忽略部分文本局部特征的問題，設(shè)計(jì)一種結(jié)合實(shí)體位置特征與多層注意力機(jī)制的雙向LSTM網(wǎng)絡(luò)結(jié)構(gòu)。首先根據(jù)位置特征擴(kuò)充字向量特征，并將文本信息向量化，然后將文本向量化信息輸入雙向LSTM模型，通過(guò)多層注意力機(jī)制，提高LSTM模型輸入與輸出之間的相關(guān)性，最后通過(guò)分類器輸出關(guān)系獲取結(jié)果。使用人工標(biāo)注的百科類語(yǔ)料進(jìn)行語(yǔ)義關(guān)系獲取實(shí)驗(yàn)，結(jié)果表明，改進(jìn)方法優(yōu)于傳統(tǒng)基于模式匹配的關(guān)系獲取方法。

關(guān)鍵詞：位置特征;多層注意力機(jī)制;雙向LSTM;關(guān)系抽取

DOI：10. 11907/rjdk. 182763 開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP301文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2019）007-0010-05

Multi-level Attention-based Bidirectional Long Short-Term

Memory Networks for Relation Extract

ZHOU Wen-ye1，LIU Liang-liang2，ZHANG Zai-yue1

（1. College of Computer， Jiangsu University of Science and Technology， Zhenjiang 212003，China;

2. School of Statistics and Information， Shanghai University of International Business and Economics， Shanghai 201620， China）

Abstract：Relational extraction is the basis for constructing upper natural language processing applications such as knowledge graph. Because most of state-of-the-art systems ignore the importance of the local feature， in this paper， we design a bidirectional LSTM network structure which combines position eigenvector and multi-level attention mechanism. Firstly， the model embedded the text information by extending word vector feature which was based on positional features. Secondly， the information was introduced into the bidirectional LSTM model， and multi-level attention was used to improve the probability between the input and output of LSTM model. Finally， it obtained the result by classifier. The proposed method in this paper achieves an better result than the tradition method.

Key Words： position feature; multi-level attention mechanism; bidirectional LSTM; relation extraction

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目（61371114，611170165）;江蘇高校高技術(shù)船舶協(xié)同創(chuàng)新中心/江蘇科技大學(xué)海洋裝備研究院項(xiàng)目（1174871701-9）

作者簡(jiǎn)介：周文燁（1995-），女，江蘇科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院碩士研究生，研究方向?yàn)檐浖こ?、模式識(shí)別與圖像處理;劉亮亮（1979-），男，博士，上海對(duì)外經(jīng)貿(mào)大學(xué)統(tǒng)計(jì)與信息學(xué)院講師，研究方向?yàn)樽匀徽Z(yǔ)言理解、知識(shí)工程與知識(shí)獲取;張?jiān)佘S（1961-），男，江蘇科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院教授，研究方向?yàn)閿?shù)理邏輯與應(yīng)用邏輯、知識(shí)表示與推理、智能信息處理。本文通訊作者：張?jiān)佘S。

0 引言

在信息量快速增長(zhǎng)的今天，如何利用信息抽取技術(shù)快速、有效地獲取準(zhǔn)確信息，一直是自然語(yǔ)言處理領(lǐng)域的重要研究課題，受到了學(xué)術(shù)界與工業(yè)界的廣泛關(guān)注[1]。信息抽取包括概念抽取與關(guān)系抽取兩方面，關(guān)系抽取[2-3]的目標(biāo)是自動(dòng)識(shí)別相關(guān)三元組，該三元組由一對(duì)概念及其之間的關(guān)系構(gòu)成。傳統(tǒng)關(guān)系抽取方法[4-5]通常采用基于手工標(biāo)注語(yǔ)料的模式匹配方法，該方法在提取句子特征時(shí)依賴于命名實(shí)體識(shí)別的NLP系統(tǒng)，容易導(dǎo)致計(jì)算成本和額外傳播錯(cuò)誤增加;另外，手工標(biāo)記特征非常耗時(shí)，而且由于不同訓(xùn)練數(shù)據(jù)集的覆蓋率較低，因而導(dǎo)致通用性較差[6]。近年來(lái)，基于深度學(xué)習(xí)框架的神經(jīng)網(wǎng)絡(luò)模型成為實(shí)體關(guān)系抽取的新方法。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新領(lǐng)域，其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)模型可自動(dòng)學(xué)習(xí)句子特征，而無(wú)需復(fù)雜的特征工程[7-8]。研究過(guò)程中，Socher等[9]提出使用矩陣—遞歸神經(jīng)網(wǎng)絡(luò)模型MV-RNN完成關(guān)系抽取任務(wù)。該方法能夠有效考慮句子的句法結(jié)構(gòu)信息，但無(wú)法很好地考慮兩個(gè)實(shí)體在句子中的位置和句義信息，且方法運(yùn)用準(zhǔn)確率往往受限于句法分析準(zhǔn)確率;Liu等[10]將卷積神經(jīng)網(wǎng)絡(luò)（CNN）引入關(guān)系抽取任務(wù)，用于自動(dòng)學(xué)習(xí)句子特征，但由于卷積神經(jīng)網(wǎng)絡(luò)無(wú)法對(duì)較長(zhǎng)的句子進(jìn)行建模，因而存在兩個(gè)實(shí)體的遠(yuǎn)距離依賴問題。另外，RNN 和CNN 都未充分利用局部特征以及全局特征，使得關(guān)系抽取準(zhǔn)確性較差[11]。

LSTM（Long Short Term Memory）網(wǎng)絡(luò)是由Hochreiter & Schmidhuber[12]在1997年提出的一種RNN改進(jìn)模型，其通過(guò)構(gòu)造專門的記憶單元存儲(chǔ)歷史信息，能夠有效解決兩實(shí)體之間的長(zhǎng)距離依賴問題。Xu等[13]以LSTM為基礎(chǔ)，利用詞向量、詞性標(biāo)注、句法依存等方法對(duì)實(shí)體之間的最短依存路徑信息進(jìn)行學(xué)習(xí);劉燊等[14-15]則提出使用SDP-LSTM模型實(shí)現(xiàn)開放域?qū)嶓w關(guān)系抽取，可以分別處理句子可能出現(xiàn)的多個(gè)依存路徑。以上方法使用LSTM進(jìn)行關(guān)系抽取，然而LSTM無(wú)法對(duì)局部特征與全局特征加以充分利用。

注意力機(jī)制是Treisman & Gelade[16]提出的一種模擬人腦的模型，通過(guò)計(jì)算概率分布，突出關(guān)鍵輸入信息對(duì)模型輸出的影響以優(yōu)化模型。Bahdanau等[17]將注意力機(jī)制應(yīng)用在自然語(yǔ)言處理任務(wù)中，以提升機(jī)器翻譯的準(zhǔn)確性。注意力機(jī)制可以充分利用句子的局部特征及全局特征，通過(guò)賦予重要特征更高權(quán)重，從而減少噪聲，提高關(guān)系抽取的準(zhǔn)確性。因此，本文提出一種基于實(shí)體位置特征與多層注意力機(jī)制的LSTM實(shí)體語(yǔ)義關(guān)系獲取方法，運(yùn)用兩層注意力機(jī)制，分別對(duì)字和句子增加注意力。實(shí)驗(yàn)結(jié)果表明，該方法有利于提升實(shí)體語(yǔ)義關(guān)系獲取效果。

1 LSTM網(wǎng)絡(luò)結(jié)構(gòu)

Long Short Term Memory（LSTM）網(wǎng)絡(luò)是一種RNN的特殊類型，可以對(duì)長(zhǎng)期依賴信息進(jìn)行學(xué)習(xí)[18]。LSTM模型在文本處理領(lǐng)域的很多問題上都取得了很大成功，并得到了廣泛應(yīng)用。

LSTM通過(guò)特殊設(shè)計(jì)以避免長(zhǎng)期依賴問題。LSTM與RNN一樣，具有一種重復(fù)神經(jīng)網(wǎng)絡(luò)模塊的鏈?zhǔn)浇Y(jié)構(gòu)，但LSTM重復(fù)的模塊擁有不同結(jié)構(gòu)。在[t]時(shí)刻，LSTM有3個(gè)輸入：當(dāng)前時(shí)刻網(wǎng)絡(luò)輸入值、上一時(shí)刻LSTM輸出值與上一時(shí)刻單元狀態(tài)，以及2個(gè)輸出：當(dāng)前時(shí)刻LSTM輸出值與當(dāng)前時(shí)刻單元狀態(tài)。LSTM使用3個(gè)控制開關(guān)即3個(gè)門進(jìn)行控制，分別是遺忘門、輸入門和輸出門。LSTM通過(guò)遺忘門決定從細(xì)胞狀態(tài)丟棄什么信息，通過(guò)輸入門決定將什么新信息存放在細(xì)胞狀態(tài)中，并通過(guò)輸出門決定輸出什么值。LSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

其中，公式（1）用于計(jì)算輸入門，[ht-1]表示上一狀態(tài)輸出值，[xt]表示當(dāng)前狀態(tài)輸入值，公式（2）用于計(jì)算遺忘門，公式（3）用于計(jì)算輸出門。[W]表示權(quán)值矩陣，[b]表示偏置量，激活函數(shù)采用sigmoid函數(shù)，[Ct]表示單元狀態(tài)。

LSTM模型的工作機(jī)制是將當(dāng)前記憶與長(zhǎng)期記憶進(jìn)行組合，其最終輸出由輸出門和單元狀態(tài)共同確定。由于將長(zhǎng)短期記憶進(jìn)行了有機(jī)關(guān)聯(lián)，LSTM模型解決了關(guān)系抽取過(guò)程中的長(zhǎng)期依賴問題，但缺乏對(duì)句子中局部特征與全局特征加以利用的環(huán)節(jié)。為此，本文引入多層注意力機(jī)制，對(duì)于相關(guān)字與句子分別賦予相關(guān)權(quán)重，并減少噪聲，以提高關(guān)系獲取的準(zhǔn)確性。

2 改進(jìn)的關(guān)系抽取模型

本文結(jié)合實(shí)體位置特征與多層注意力機(jī)制的雙向LSTM網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建關(guān)系抽取模型，采用位置嵌入、字嵌入相結(jié)合的字向量表示方法，增加語(yǔ)義相關(guān)度，采用LSTM模型以避免傳統(tǒng)深度學(xué)習(xí)方法的長(zhǎng)距離依賴問題，同時(shí)采用多層注意力機(jī)制，充分利用句子的局部特征以及全局特征。該模型框架主要包括以下兩部分：①融合特征的字向量生成。對(duì)語(yǔ)料庫(kù)中的文本信息進(jìn)行向量化處理，提取文本的實(shí)體特征與位置特征，然后將這些特征轉(zhuǎn)換為字向量，得到句子融合特征的字向量表示;②關(guān)系抽取模型構(gòu)建。將文本的字向量表示導(dǎo)入雙向LSTM模型中，采用多層注意力增強(qiáng)文本的局部特征與全局特征，將增強(qiáng)后的特征導(dǎo)入分類器進(jìn)行分類，輸出分類結(jié)果。模型框架如圖2所示。

2.1 融合特征的字向量表示

向量化表示是一種分布式表示，一般使用字向量表示作為神經(jīng)網(wǎng)絡(luò)的輸入，本文將每個(gè)輸入字轉(zhuǎn)換為向量?？紤]到在關(guān)系抽取任務(wù)中，越靠近實(shí)體的字通常越能表示句子中兩個(gè)實(shí)體的關(guān)系，因此本文融合位置信息以擴(kuò)充字向量維度，改進(jìn)后的字向量稱為融合特征的字向量。

（1）字向量：構(gòu)建字向量是將文本信息轉(zhuǎn)換為向量形式。將每個(gè)句子轉(zhuǎn)換成一個(gè)多維矩陣，給定一個(gè)由[T]個(gè)字組成的句子[S=x1，x2，？，xi，？，xT]，對(duì)于句子[S]的每個(gè)字，使用word2vec[19]將每個(gè)字[xi]映射到一個(gè)低維實(shí)值向量空間中，通過(guò)公式（6）對(duì)句子進(jìn)行字向量處理。

其中，[ei]是字[xi]的字向量表示，[vi]是輸入字的one-hot形式，[Wword∈Rdωm]，其中[m]是固定長(zhǎng)度的詞典，[dω]表示字向量維度，[Rdωm]是一個(gè)向量空間，由此得到句子中每個(gè)字的向量化表示[e=e1，e2，？，eT]。

（2）位置向量：在關(guān)系抽取任務(wù)中，越靠近目標(biāo)實(shí)體的字通常更能表示句子中兩個(gè)實(shí)體的關(guān)系。本模型使用位置向量標(biāo)記實(shí)體對(duì)，可以幫助LSTM判斷句中每個(gè)字與實(shí)體對(duì)的位置，將句子中第[i]字分別到[e1]和[e2]相對(duì)距離的組合定義為位置向量。句子實(shí)例如圖3所示。

圖3 句子實(shí)例

其中，“千金”是指“關(guān)系”，其關(guān)聯(lián)實(shí)體是“盧恬兒”（用[e1]表示）和”盧潤(rùn)森”（用[e2]表示）。假設(shè)在句子向量化過(guò)程中，字向量維度為[dw]，位置向量維度為[dp]，則將字向量與位置向量組合在一起，將句子表示成一個(gè)向量[w=][ω1，ω2，？，ωT]，其中[ωi∈Rd（d=dw+dp×2）]。

在圖3實(shí)例中，該句子從關(guān)系“千金”到實(shí)體[e1]“盧恬兒”的距離[s1]為19，從關(guān)系“千金”到實(shí)體[e2] “盧潤(rùn)森”的相對(duì)距離[s2]為5，則“千金”的向量化表示如圖4所示。

圖4 融合特征字向量表示

2.2 注意力機(jī)制

注意力機(jī)制的思想來(lái)自于模仿人們?cè)谧x取句子信息時(shí)注意力的行為。因?yàn)橹形男畔?duì)關(guān)系抽取的影響可能來(lái)源于某個(gè)關(guān)鍵字，所以類似關(guān)鍵字這種局部特征具有重要影響力，本文使用注意力機(jī)制增強(qiáng)局部特征與全局特征。

（1）字級(jí)注意力機(jī)制： 將句子向量[w=ω1，ω2，？，ωT]輸入LSTM模型中，獲得句子初步訓(xùn)練結(jié)果[ht]，并使用公式（7）進(jìn)行處理。

在實(shí)際場(chǎng)景中，并非所有字都對(duì)句子含義的表示具有同等作用，在訓(xùn)練過(guò)程中隨機(jī)初始化并共同學(xué)習(xí)字上下文向量[uω]。因此，引入字級(jí)注意機(jī)制衡量字與關(guān)系的相關(guān)程度，并匯總信息字的表示以形成句子向量。字級(jí)注意力機(jī)制具體公式如下：

在使用字級(jí)注意力機(jī)制時(shí)，[αt]為該字[ut]與單字上下文向量[uω]的歸一化表示，[s]為兩者加權(quán)和。

（2）句級(jí)注意力機(jī)制：將通過(guò)字級(jí)注意力機(jī)制得到的[s]組成的句子輸入LSTM模型得到輸出[hi]。與字級(jí)注意力機(jī)制相似，在訓(xùn)練過(guò)程中隨機(jī)初始化并共同學(xué)習(xí)句子上下文向量[us，v]是所有句子的向量集合，具體公式如下：

2.3 結(jié)果分類

將實(shí)驗(yàn)得到的結(jié)果通過(guò)分類器進(jìn)行關(guān)系分類，輸出分類結(jié)果[S（x）]。

其中，[Wm]表示分類器權(quán)值矩陣，[bm]表示分類器偏置，[s]表示分類器選擇，本文選擇Softmax作為分類器。Softmax一般用于多分類過(guò)程中，其將多個(gè)神經(jīng)元的輸出映射到（0，1）區(qū)間內(nèi)。本模型輸出[S（x）={p1，p2，，p3，？，pi，？，][p12}]是12維向量，第[i]維表示屬于第[i]類的概率[pi]。

2.4 基于多層注意力機(jī)制的雙向LSTM關(guān)系獲取模型

基于多層注意力機(jī)制的LSTM關(guān)系獲取模型構(gòu)建主要包括LSTM構(gòu)建、注意力機(jī)制引入與分類3部分，其模型如圖5所示。

圖5 基于多層注意力機(jī)制的LSTM關(guān)系獲取模型

本模型采用雙向LSTM網(wǎng)絡(luò)結(jié)構(gòu)與雙向LSTM模型，其網(wǎng)絡(luò)包含左右序列上下文的兩個(gè)子網(wǎng)絡(luò)，分別是前向與后向傳遞。將上一節(jié)得到的句子向量化表示作為輸入，以第[i]個(gè)字為例，其輸出為：

綜上所述，基于多層注意力機(jī)制的雙向LSTM關(guān)系獲取模型由兩層LSTM神經(jīng)網(wǎng)絡(luò)與兩層注意力機(jī)制組成。為了對(duì)句子局部與全局特征加以充分利用，本文選擇LSTM輸出層加入注意力機(jī)制，步驟如下：①輸入語(yǔ)料中的句子，對(duì)句子進(jìn)行向量化處理，得到句子的融合特征向量化表示;②將向量化表示后的句子輸入LSTM網(wǎng)絡(luò)中進(jìn)行初步學(xué)習(xí)，然后對(duì)其結(jié)果增加字級(jí)注意力機(jī)制，對(duì)句子局部特征增加權(quán)重;③將步驟②得到的結(jié)果輸入LSTM網(wǎng)絡(luò)中進(jìn)行學(xué)習(xí)，然后對(duì)其結(jié)果增加句級(jí)注意力機(jī)制，并對(duì)全局特征增加權(quán)重;④將步驟③輸出結(jié)果輸入分類器中，得到輸入句子的實(shí)體關(guān)系類別，完成模型訓(xùn)練。

3 實(shí)驗(yàn)

為了驗(yàn)證具有實(shí)體位置關(guān)系與注意力機(jī)制的雙向LSTM關(guān)系獲取模型可以使關(guān)系獲取準(zhǔn)確率更高，使用本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行實(shí)驗(yàn)。首先介紹實(shí)驗(yàn)中使用的數(shù)據(jù)集與評(píng)估指標(biāo)，并使用交叉驗(yàn)證確定模型參數(shù);然后評(píng)估多層注意力的影響，并在不同大小的數(shù)據(jù)上顯示其性能;最后，將設(shè)計(jì)的模型與幾種關(guān)系抽取方法在同一數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)比較。

3.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)采用的數(shù)據(jù)集是以百度百科、互動(dòng)百科等中文類百科的語(yǔ)料為基礎(chǔ)，進(jìn)行人工標(biāo)注后整理生成的。該數(shù)據(jù)集包括18 636個(gè)訓(xùn)練樣本與2 453個(gè)測(cè)試樣本，共包含12種關(guān)系。樣本關(guān)系如表1所示，樣本示例如表2所示。

表1 樣本關(guān)系

表2 數(shù)據(jù)集示例

3.2 實(shí)驗(yàn)指標(biāo)評(píng)價(jià)

本文采用準(zhǔn)確率（[precision]）、召回率（[recall]）和[F1]值作為模型性能評(píng)價(jià)指標(biāo)，指標(biāo)計(jì)算公式如下：

[precision=right_outall_out] （15）

[recall=right_outthis_all] （16）

[F1=2？recall？precisionrecall+precision] （17）

[right_out]表示輸出的判斷正確的個(gè)數(shù)，[all_out]表示輸出的所有關(guān)系個(gè)數(shù)，[this_all]表示測(cè)試集中所有此類關(guān)系的個(gè)數(shù)。

3.3 參數(shù)設(shè)置

本次實(shí)驗(yàn)?zāi)Ｐ图せ詈瘮?shù)選用sigmoid函數(shù)，并采用Softmax作為分類器。為了避免模型在計(jì)算過(guò)程中出現(xiàn)過(guò)擬合現(xiàn)象，采用L2正則化方法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行約束。訓(xùn)練過(guò)程引入dropout策略，采用批量的Adadelta優(yōu)化方法用于模型訓(xùn)練，并采用交叉驗(yàn)證方式進(jìn)行驗(yàn)證，具體參數(shù)設(shè)置如表3所示。

表3 參數(shù)設(shè)置

3.4 實(shí)驗(yàn)結(jié)果分析

將3.1節(jié)語(yǔ)料庫(kù)的訓(xùn)練樣本作為訓(xùn)練集進(jìn)行模型訓(xùn)練，采用測(cè)試樣本對(duì)訓(xùn)練后的模型進(jìn)行測(cè)試。實(shí)驗(yàn)抽取12類關(guān)系的評(píng)價(jià)指標(biāo)如表4所示。

表4 12類關(guān)系評(píng)價(jià)指標(biāo)

由表4可以看出，對(duì)類似于“父母”、“祖孫”等表達(dá)較為簡(jiǎn)單、容易辨別的語(yǔ)義關(guān)系，本模型抽取結(jié)果要比“情侶”、“朋友”等表達(dá)更為復(fù)雜，且容易混淆的語(yǔ)義關(guān)系抽取效果更好。這是由于復(fù)雜的語(yǔ)義關(guān)系在進(jìn)行關(guān)系抽取時(shí)對(duì)上下文語(yǔ)境要求更為嚴(yán)格，抽取難度較高，而簡(jiǎn)單的語(yǔ)義關(guān)系更容易被模型所學(xué)習(xí)，抽取難度較低。

3.5 對(duì)比試驗(yàn)分析

為了體現(xiàn)本文模型在關(guān)系抽取的準(zhǔn)確度和穩(wěn)定性上存在一定優(yōu)勢(shì)，將本模型與傳統(tǒng)基于模式匹配[20-21]的關(guān)系抽取方法進(jìn)行比較。同時(shí)，為了突顯本文模型的優(yōu)勢(shì)，實(shí)驗(yàn)設(shè)定了3個(gè)模型：一是只采用LSTM結(jié)合的模型，二是只采用句級(jí)注意力機(jī)制的模型，三是本文提出的模型，實(shí)驗(yàn)結(jié)果如表5所示。

表5 實(shí)驗(yàn)對(duì)比結(jié)果

由表5可以看出：

（1）LSTM方法相比于傳統(tǒng)基于模式匹配的關(guān)系提取方法，具有更高的召回率，且減少了手工標(biāo)注的繁瑣過(guò)程，提取準(zhǔn)確率更高。

（2）LSTM+句級(jí)注意力機(jī)制方法相比于單純的LSTM方法，對(duì)LSTM模型輸入句子與輸出句子之間的相關(guān)行進(jìn)行權(quán)重計(jì)算，提高了LSTM模型的準(zhǔn)確率，[F1]值更高，性能更好。

（3）本文設(shè)計(jì)的模型對(duì)局部特征進(jìn)行處理，增加了句子中字的位置向量特征與字級(jí)注意力機(jī)制，提高了重要字的權(quán)重，增加了局部特征。相比于LSTM+句級(jí)注意力機(jī)制，該模型在召回范圍內(nèi)精度較高，準(zhǔn)確率也有所提升，表明本文提出的模型是有效的。

4 結(jié)語(yǔ)

本文提出一種新的端對(duì)端神經(jīng)網(wǎng)絡(luò)模型用于實(shí)體關(guān)系獲取，該模型不僅保留了LSTM可避免長(zhǎng)距離依賴問題的優(yōu)勢(shì)，還利用整個(gè)句子的序列信息，增加了位置向量特征與多層注意力機(jī)制，并充分利用了局部特征與全局特征，提高了關(guān)系抽取準(zhǔn)確率。但該方法只能抽取預(yù)先設(shè)定好的關(guān)系集合，而對(duì)于開放領(lǐng)域的自動(dòng)關(guān)系獲取方面仍有待進(jìn)一步研究。

參考文獻(xiàn)：

[1] 郭喜躍，何婷婷. 信息抽取研究綜述[J]. 計(jì)算機(jī)科學(xué)，2015，42（2）：14-17，38.

[2] 郭喜躍，何婷婷，胡小華，等. 基于句法語(yǔ)義特征的中文實(shí)體關(guān)系抽取[J]. 中文信息學(xué)報(bào)，2014，28（6）：183-189.

[3] 臺(tái)麗婷. 基于半監(jiān)督機(jī)器學(xué)習(xí)的實(shí)體關(guān)系抽取算法研究[D]. 北京：北京郵電大學(xué)， 2018.

[4] 陳立瑋，馮巖松，趙東巖. 基于弱監(jiān)督學(xué)習(xí)的海量網(wǎng)絡(luò)數(shù)據(jù)關(guān)系抽取[J]. 計(jì)算機(jī)研究與發(fā)展，2013，50（9）：1825-1835.

[5] 賈真， 何大可， 楊燕，等. 基于弱監(jiān)督學(xué)習(xí)的中文網(wǎng)絡(luò)百科關(guān)系抽取[J]. 智能系統(tǒng)學(xué)報(bào)， 2015（1）：113-119.

[6] 徐健，張智雄，吳振新. 實(shí)體關(guān)系抽取的技術(shù)方法綜述[J]. 現(xiàn)代圖書情報(bào)技術(shù)，2008（8）：18-23.

[7] 李楓林，柯佳. 基于深度學(xué)習(xí)框架的實(shí)體關(guān)系抽取研究進(jìn)展[J]. 情報(bào)科學(xué)，2018，36（3）：169-176.

[8] 劉紹毓， 李弼程， 郭志剛，等.? 實(shí)體關(guān)系抽取研究綜述[J].? 信息工程大學(xué)學(xué)報(bào)， 2016， 17（5）：541-547.

[9] 郭麗，劉磊. 基于關(guān)系相似度計(jì)算的實(shí)體關(guān)系分類研究[J]. 軟件導(dǎo)刊，2013，12（4）：130-131.

[10] SOCHER R，HUVAL B， MANNING C D， et al. Semantic compositionality through recursive matrix-vector spaces[C]. Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning，2012：1201-1211.

[11] LIU C Y， SUN W B， CHAO W H， et al. Convolution neural network for relation extraction[C]. International Conference on Advanced Data Mining and Applications，2013：231-242.

[12] SUNDERMEYER M，SCHLüTER R，NEY H. LSTM neural networks for language modeling[EB/OL]. http：//www-i6.informatik.rwth- aachen.de/publications/download/820/Sundermeyer-2012.pdf.

[13] GERS F A，SCHMIDHUBER J，CUMMINS F. Learning to forget： continual prediction with LSTM[J]. Neural Computation， 2014， 12（10）：2451-2471.

[14] YAN X，MOU L，LI G， et al. Classifying relations via long short term memory networks along shortest dependency path[J].? Computer Science， 2015， 42（1）：56-61.

[15] 劉燊. 面向《大詞林》的中文實(shí)體關(guān)系挖掘[D]. 哈爾濱： 哈爾濱工業(yè)大學(xué)，2016.

[16] TREISMAN A，SYKES M，GELADE G. Selective attention and stimulus integration[J]. Attention and performance VI，1977，333：97-110.

[17] BAHDANAU D，CHO K，BENGIO Y. Neural machine translation by jointly learning to align and translate[J]. Computer Science， 2014.

[18] HOCHREITER S. The vanishing gradient problem during learning recurrent neural nets and problem solutions[J]. International Journal of Uncertainty， Fuzziness and Knowledge-Based， Systems， 1998， 6（2）：107-116.

[19] MIKOLOV T， SUTSKEVER I， CHEN K， et al. Distributed representations of words and phrases and their compositionality[C]. International Conference on Neural Information Processing Systems. Curran Associates Inc， 2013：3111-3119.

[20] BRIN S. Extracting patterns and relations from the World Wide Web[M]. Berlin：Springer Berlin Heidelberg，1998.

[21] 李夢(mèng)瑤，向卓元. 基于語(yǔ)音識(shí)別技術(shù)的移動(dòng)全能秘書平臺(tái)設(shè)計(jì)[J].? 軟件導(dǎo)刊，2015，14（8）：127-129.

（責(zé)任編輯：黃 ?。?/p>