夏鶴瓏 嚴(yán)丹丹

摘要：使用傳統(tǒng)深度學(xué)習(xí)方法來(lái)進(jìn)行信息抽取時(shí)，存在長(zhǎng)距離依賴(lài)問(wèn)題或者梯度彌散問(wèn)題。針對(duì)以上問(wèn)題，提出基于多頭注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型的關(guān)系抽取方法，利用文本向量和位置編碼得到局部特征，將得到的局部特征作為輸入導(dǎo)入到多頭注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型中，得到全局特征，最后使用分類(lèi)器進(jìn)行分類(lèi)。通過(guò)該模型在中文語(yǔ)料庫(kù)上進(jìn)行人物關(guān)系抽取，并與多個(gè)模型進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果表明：基于多頭注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型在效果上有所提高。

關(guān)鍵詞：信息抽取，注意力機(jī)制，深度學(xué)習(xí)，自然語(yǔ)言處理，神經(jīng)網(wǎng)絡(luò)

中圖分類(lèi)號(hào)：TP391?文獻(xiàn)標(biāo)志碼：A?文章編號(hào)：2095-5383（2020）01-0032-05

Abstract：Information extraction is an important part of knowledge mapping，it mainly extracts entities，relationships and other structured information from text information.?At present，traditional deep learning methods are widely used for information extraction，but it also has the problem of long distance dependence or gradients diffusion.?In response to the above problems，a relationship extraction method based on the neural network model of Multiple Attention mechanism was proposed，it used text vector and position coding to obtain local features，and the obtained local features were input into the neural network model of Multiple Attention mechanism to obtain global feature.?Finally，the classifier was applied for classification.?The model was used to extract character relationships from Chinese corpus and compared with multiple models.?The results show that the neural network model based on Multi-Head Attention mechanism is more effective.

Keywords：information extraction，attention mechanism，deep learning，natural language processing，neural network

信息的爆炸式增長(zhǎng)是互聯(lián)網(wǎng)快速發(fā)展的必然結(jié)果，有用的和無(wú)用的信息混雜在一起。無(wú)論是學(xué)術(shù)角度還是商業(yè)角度，如何從中提取有效信息都是一個(gè)重要課題。信息抽取技術(shù)[1]是通過(guò)計(jì)算機(jī)從非結(jié)構(gòu)化的文本中抽取結(jié)構(gòu)化信息，主要分為實(shí)體抽取、實(shí)體關(guān)系抽取和事件抽取。關(guān)系抽取是對(duì)于給定的兩個(gè)或多個(gè)實(shí)體，從劃分好的關(guān)系類(lèi)型表中找到合適的關(guān)系類(lèi)型。目前關(guān)系抽取方法主要分為傳統(tǒng)的基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)方法和近些年來(lái)熱門(mén)的深度學(xué)習(xí)方法。林壓平等[2]利用馬爾科夫模型對(duì)文本進(jìn)行信息抽取，周晶等[3]使用條件隨機(jī)場(chǎng)進(jìn)行文本信息抽取，均取得不錯(cuò)的成績(jī)。但隨著信息的增多，傳統(tǒng)的基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)方法開(kāi)始逐漸顯現(xiàn)弊端，人們必須對(duì)要信息文本中所述的領(lǐng)域非常了解才能制定出合適特征。深度學(xué)習(xí)的興起，使信息抽取技術(shù)有了更好的發(fā)展。Socher等[4]利用遞歸神經(jīng)網(wǎng)絡(luò)（recursive neural network）的方法進(jìn)行信息抽取，但其并未考慮多個(gè)實(shí)體之間的位置關(guān)系。區(qū)別于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)一般需要大量數(shù)據(jù)集，能夠利用標(biāo)記好的數(shù)據(jù)集實(shí)現(xiàn)對(duì)特征權(quán)重的調(diào)整，從而實(shí)現(xiàn)自動(dòng)選取特征。本文以關(guān)系抽取技術(shù)為例，提出以注意力機(jī)制為整體架構(gòu)的神經(jīng)網(wǎng)絡(luò)模型，對(duì)給定的文本通過(guò)位置關(guān)系獲得其位置向量與對(duì)應(yīng)的詞向量作為該文本的輸入特征，應(yīng)用注意力機(jī)制提取輸入特征作為輸出特征，最后對(duì)提取后的特征進(jìn)行分類(lèi)。

1?基于Multi-Head Attention機(jī)制的人物關(guān)系抽取模型

Attention機(jī)制實(shí)質(zhì)是學(xué)習(xí)一種概率分布，能夠聯(lián)系上下文，從而學(xué)習(xí)到更多的文本特征。Multi-Head Attention機(jī)制是Attention機(jī)制的一種變種[5]，是在Attention機(jī)制的基礎(chǔ)上增加了多個(gè)head，每個(gè)head能從不同的表征空間學(xué)習(xí)到不同的信息，從而捕捉到輸入與輸出之間的依賴(lài)性。本文模型框架如圖1所示，主要包括兩部分：1）詞向量和位置編碼。利用分詞工具對(duì)中文語(yǔ)料庫(kù)進(jìn)行分詞，再用Skip-gram模型進(jìn)行Word2Vec訓(xùn)練[6]，得到詞向量。其后利用分詞后的句子中每個(gè)單詞與所要判斷的2個(gè)人名的首位置的距離關(guān)系得到位置編碼，詞向量與位置編碼作為輸入向量進(jìn)行訓(xùn)練。2）構(gòu)建Multi-Head Attention神經(jīng)網(wǎng)絡(luò)模型。利用Multi-Head Attention機(jī)制對(duì)輸入向量計(jì)算概率分布，根據(jù)計(jì)算得到的概率分布與輸入向量進(jìn)行加權(quán)計(jì)算從而獲得文本特征，因?yàn)槠溆卸鄠€(gè)head能從不同表征空間學(xué)習(xí)到不同的信息，所以有多個(gè)特征向量，將多個(gè)特征向量進(jìn)行拼接后再進(jìn)行線(xiàn)性變換，以此作為最后的輸出特征，導(dǎo)入到分類(lèi)器，進(jìn)行分類(lèi)。

2?模型求解

2.1?詞向量的生成

由于計(jì)算機(jī)程序不能直接處理文本數(shù)據(jù)，因此需要將文本數(shù)據(jù)轉(zhuǎn)換成數(shù)字?jǐn)?shù)據(jù)。對(duì)于給定的一個(gè)文本S，其中包含單詞集，n為文本S中的單詞數(shù)。

2.2?位置編碼

位置編碼能反映句中所要判斷關(guān)系的2個(gè)詞語(yǔ)的距離關(guān)系。對(duì)于文本S，有：

將得到的Eword，EPos1，EPos2的各個(gè)詞向量進(jìn)行拼接，得到Econcat∈Rn×3m。

2.3?Multi-Head Attention層

Multi-Head Attention機(jī)制是Attention機(jī)制的一個(gè)變種，在原來(lái)Attention機(jī)制的基礎(chǔ)上，增加了多個(gè)head，使其能在不同表征空間并行地獲取不同文本信息，增加了對(duì)文本信息特征的提取能力。Multi-Head Attention層結(jié)構(gòu)如圖2所示，以下以一個(gè)head為例。

2.3.1?線(xiàn)性變換

對(duì)于給定矩陣Q，V，K，因?yàn)槭褂肧elf-Attention機(jī)制，所以令Q=V=K=X。其中X為上文詞向量拼接后所得到的Econcat。進(jìn)行線(xiàn)性變換：

表示參數(shù)W所屬于headi。得到的Qi，Ki，Vi∈Rn×r，經(jīng)過(guò)線(xiàn)性變換的矩陣保持著維度一致，以方便后面計(jì)算。

2.3.2?縮放點(diǎn)積模型

縮放點(diǎn)積操作是使用點(diǎn)積進(jìn)行相似度計(jì)算，主要是被用于計(jì)算概率分布。其步驟是利用Q對(duì)K進(jìn)行相似度計(jì)算，再利用Soft max函數(shù)得到K關(guān)于Q的注意力分布，最后把其與V進(jìn)行加權(quán)求和。

其中：

Q，K，V均是X進(jìn)行不同線(xiàn)性變換后所得到的矩陣，r為K的維度，除以r是為了把數(shù)值縮放在合適范圍，不至于太大。將得到的多個(gè)head進(jìn)行拼接，得到文本全局特征。Soft max是歸一化函數(shù)，其公式為：

2.3.3?層標(biāo)準(zhǔn)化（Layer Normalization）

Layer Normalization是一種橫向規(guī)范化，是針對(duì)同一層的隱藏單元進(jìn)行計(jì)算，同層的輸入擁有相同的方差與均值，不同的訓(xùn)練樣本則是不同的方差和均值。它能夠改良數(shù)據(jù)的分布，加速訓(xùn)練損失的收斂。

2.3.4?損失函數(shù)

關(guān)系抽取可以看作是多分類(lèi)問(wèn)題，本文使用交叉熵?fù)p失函數(shù)對(duì)分類(lèi)結(jié)果進(jìn)行損失（Loss）計(jì)算，并在訓(xùn)練過(guò)程中以Adam優(yōu)化算法降低損失。交叉熵?fù)p失函數(shù)為：

2.3.5?關(guān)于梯度彌散

隨著網(wǎng)絡(luò)層數(shù)的加深反向傳播時(shí)鏈?zhǔn)角髮?dǎo)項(xiàng)會(huì)變得越長(zhǎng)，同時(shí)選取不當(dāng)?shù)募せ詈瘮?shù)都可能會(huì)造成梯度趨近于0的問(wèn)題[7]。而本文模型能在一定程度緩解梯度彌散問(wèn)題是因?yàn)槟Ｐ途W(wǎng)絡(luò)層簡(jiǎn)單，并不會(huì)使反向傳播鏈很長(zhǎng)，并且選用relu激活函數(shù)，在x正區(qū)間不飽和，緩解了此問(wèn)題，同時(shí)還引入了Layer Normalization層標(biāo)準(zhǔn)化，能把輸入的數(shù)據(jù)拉入relu激活函數(shù)的非飽和區(qū)，同樣能在一定程度上緩解梯度彌散。

3?實(shí)驗(yàn)部分

3.1?實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)在Ubuntu系統(tǒng)下進(jìn)行的，實(shí)驗(yàn)所使用的CPU為i7-7 700 k，內(nèi)存32 GB，顯存8 GB，所使用編

程語(yǔ)言為Python 3.5版本，開(kāi)發(fā)工具為Jupyter Notebook。使用的深度學(xué)習(xí)框架為T(mén)ensorflow 1.9。

3.2?實(shí)驗(yàn)數(shù)據(jù)

本實(shí)驗(yàn)人物關(guān)系數(shù)據(jù)集總共89 183條，劃分的訓(xùn)練集、驗(yàn)證集、測(cè)試集數(shù)量分別為71 346條、8 918條、8 919條。其中包含11類(lèi)人物關(guān)系，如父母、師生、合作、好友等，如表1所示。樣本的示例如表2所示。

3.3?評(píng)判指標(biāo)

本實(shí)驗(yàn)采用精準(zhǔn)率（precision），召回率（recall），F(xiàn)1值作為實(shí)驗(yàn)結(jié)果的評(píng)判標(biāo)準(zhǔn)，其中精準(zhǔn)率P、召回率R、F1值公式為：

其中：TP為預(yù)測(cè)正確的個(gè)數(shù)，F(xiàn)P是實(shí)際為負(fù)但預(yù)測(cè)為正的錯(cuò)誤個(gè)數(shù)，F(xiàn)N是實(shí)際為正但預(yù)測(cè)為負(fù)的錯(cuò)誤個(gè)數(shù)。P值反應(yīng)的是在預(yù)測(cè)為正的樣本中有多少預(yù)測(cè)正確，R值反應(yīng)的是在所有正例中有多少被預(yù)測(cè)出來(lái)。

3.4?實(shí)驗(yàn)設(shè)計(jì)

本文利用中文分詞工具Jieba對(duì)數(shù)據(jù)集進(jìn)行中文分詞，得到分詞后的數(shù)據(jù)集。然后使用Skip-gram模型對(duì)位置編碼和分詞后的數(shù)據(jù)集訓(xùn)練其詞向量，將3個(gè)詞向量拼接后作為模型的輸入。經(jīng)過(guò)多次訓(xùn)練，觀察Loss值的迭代，記錄每次的參數(shù)和性能指標(biāo)，最后從中選取性能最好的一組作為最終數(shù)據(jù)。

3.5?實(shí)驗(yàn)結(jié)果

選取實(shí)驗(yàn)數(shù)據(jù)中的訓(xùn)練集作為訓(xùn)練數(shù)據(jù)，以測(cè)試集作為最終模型結(jié)果的評(píng)判數(shù)據(jù)，其實(shí)驗(yàn)結(jié)果如圖3、表3所示。

可以看出關(guān)系類(lèi)型“夫妻”的精準(zhǔn)率、召回率、F1值均優(yōu)于其他關(guān)系類(lèi)型，關(guān)系類(lèi)型“親戚”的精準(zhǔn)率、召回率、F1值相較于其他關(guān)系類(lèi)型更低。這主要是由于數(shù)據(jù)集樣本的分布不平衡所造成，關(guān)系類(lèi)型為“夫妻”的數(shù)據(jù)量占了整個(gè)數(shù)據(jù)集總量的32%，但關(guān)系類(lèi)型為“親戚”的數(shù)據(jù)量只占有數(shù)據(jù)集總量的1.5%，數(shù)據(jù)量的大小很大程度決定了模型的性能。其次關(guān)系類(lèi)型為夫妻的大部分句子中包含特征鮮明的詞，如“嫁”“娶”“丈夫”等，多頭注意力機(jī)制能分配更多的注意力在類(lèi)似詞語(yǔ)上。

3.6?模型對(duì)比

應(yīng)用在自然語(yǔ)言處理的神經(jīng)網(wǎng)絡(luò)模型有很多，本實(shí)驗(yàn)利用基于多頭注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型與傳統(tǒng)的深度學(xué)習(xí)模型在相同數(shù)據(jù)集上進(jìn)行對(duì)比，如表4所示。

由表4可知，基于Multi-Head Attention的神經(jīng)網(wǎng)絡(luò)模型在性能上優(yōu)于其他3種傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型，其原因是傳統(tǒng)的GRU、LSTM模型無(wú)法捕捉到長(zhǎng)序列之間的依賴(lài)關(guān)系，而Multi-Head Attention機(jī)制能夠緩解長(zhǎng)距離依賴(lài)問(wèn)題，多個(gè)head能獲得文本不同表征空間的更多特征。

4?結(jié)束語(yǔ)

關(guān)系抽取作為信息抽取的其中的一部分，利用傳統(tǒng)的深度學(xué)習(xí)模型不能有效地捕捉到長(zhǎng)距離關(guān)系。針對(duì)所述問(wèn)題，本文提出了基于多頭注意力的神經(jīng)網(wǎng)絡(luò)模型，該模型的優(yōu)點(diǎn)在于多個(gè)head能提取得到更加全面的文本特征，同時(shí)也能夠考慮到輸入與輸出之間的關(guān)系，所以在相同數(shù)據(jù)集的實(shí)驗(yàn)中獲得了相比較而言更好的效果。但其只能應(yīng)用在傳統(tǒng)的信息抽取上，對(duì)于開(kāi)放式實(shí)體關(guān)系抽取，將來(lái)會(huì)做進(jìn)一步研究。

參考文獻(xiàn)：

[1]李楓林，柯佳.基于深度學(xué)習(xí)框架的實(shí)體關(guān)系抽取研究進(jìn)展[J].情報(bào)科學(xué)，2018，36（3）：169-176.

[2]周晶，吳軍華，陳佳，等.基于條件隨機(jī)域CRF模型的文本信息抽取[J].計(jì)算機(jī)工程與設(shè)計(jì)，2008，29（23）：6094-6097.

[3]林亞平，劉云中，周順先，等.基于最大熵的隱馬爾可夫模型文本信息抽取[J].電子學(xué)報(bào)，2005（2）：236-240.

[4]SOCHER R，HUVAL B，MANNING C D，et al.?Semantic compositionality through recursive Matrix-vector spaces[C]// Proceedings of the 2012

Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning，2012.

[5]劉峰，高賽，于碧輝，等.基于Multi-head Attention和Bi-LSTM的實(shí)體關(guān)系分類(lèi)[J].?計(jì)算機(jī)系統(tǒng)應(yīng)用，2019，28（6）：118-124. http：//www.c-s-a.org.cn/1003-3254/6944.html.

[6]MIKOLOV T，CHEN K，CORRADO G，et al.?Efficient estimation of word representations in vector space[J].?Computer Science，2013.?https：//www.researchgate.net/publication/234131319_Efficient_Estimation_of_Word_Representations_in_Vector_Space.

[7]HE K，ZHANG X，REN S，et al.?Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.?IEEE Computer Society，2016.