孫康康

摘? ?要：詞性等特征在句子中扮演著重要的角色，往往能揭示命名實體之間的關(guān)系，而當(dāng)前的實體關(guān)系抽取任務(wù)大多僅基于詞向量進(jìn)行，忽視了詞性等對實體關(guān)系抽取任務(wù)有益的特征。因此，文章采用了一種多特征融合的方式進(jìn)行中文實體關(guān)系抽取模型的訓(xùn)練，在以詞向量作為輸入單元的前提下融合了句子中詞語的詞性、距離實體對的位置、實體標(biāo)注相關(guān)特征，并以雙向長短期記憶網(wǎng)絡(luò)結(jié)合注意力機(jī)制的模型進(jìn)行了中文實體關(guān)系抽取的實驗，實驗結(jié)果表明，基于多特征融合的訓(xùn)練方式提升了中文實體關(guān)系抽取的效果。

關(guān)鍵詞：實體關(guān)系抽取;多特征;雙向長短期記憶網(wǎng)絡(luò);注意力機(jī)制

實體關(guān)系抽?。‥ntity Relation Extraction，ERE）的主要任務(wù)是識別并抽取實體對間存在的語義關(guān)系，本文進(jìn)行的實體關(guān)系抽取工作是為了從文本數(shù)據(jù)中提取實體間的語義關(guān)系作為知識表示的一部分。當(dāng)前國內(nèi)外主流的實體關(guān)系抽取大多采用機(jī)器學(xué)習(xí)的方法，根據(jù)其對標(biāo)注語料庫規(guī)模的不同需求，分為有監(jiān)督學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)等方法[1]。弱監(jiān)督方法中常以遠(yuǎn)程監(jiān)督的方式進(jìn)行實體關(guān)系抽取，是在基于現(xiàn)有知識庫中存在領(lǐng)域知識的前提下進(jìn)行的，而現(xiàn)有知識庫并不能完全涵蓋某些領(lǐng)域的實體關(guān)系。此外，基于無監(jiān)督的實體關(guān)系抽取技術(shù)目前識別效率較低，難以投入實際應(yīng)用。

為此，本文采用了基于有監(jiān)督學(xué)習(xí)方法的BiLSTM-Attention模型，并以人物關(guān)系抽取為例進(jìn)行實體關(guān)系抽取的實驗，其中，針對模型注意力不足的問題，提出了一種多特征融合的改進(jìn)措施。此外，在實驗之初，本文定義了5種人物之間的關(guān)系，分別為祖孫、父母、兄弟姐妹、好友和上下級。

1? ? 數(shù)據(jù)預(yù)處理

本文采用了中國科學(xué)院軟件研究所的劉煥勇[2]及Guan[3]在Github上發(fā)布的人物關(guān)系語料庫，將訓(xùn)練語料的處理主要分為兩部分。

（1）采用分詞工具，通過哈爾濱工業(yè)大學(xué)語言技術(shù)平臺（Language Technology Platform，LTP）對訓(xùn)練語料進(jìn)行分詞處理，為了保證分詞的準(zhǔn)確性，將語料庫中的實體添加到分詞工具的字典中，并采用word2vec對分詞后的語料數(shù)據(jù)進(jìn)行分布式詞向量的訓(xùn)練，訓(xùn)練模型采用Skip-Gram，詞向量的維度為100維。

（2）采用神經(jīng)語言程序?qū)W（Neuro-Linguistic Programming，NLP）工具（哈工大LTP）對訓(xùn)練語料進(jìn)行詞性標(biāo)注，獲得語料庫中各語句的詞性標(biāo)注序列;計算語料庫中各詞與實體對的相對位置，生成各語句的位置標(biāo)簽序列;將語料庫中的實體進(jìn)行標(biāo)注，獲得各語句的實體標(biāo)簽序列。分別對以上序列進(jìn)行Word embedding操作，由于以上序列的相關(guān)特征較少，因此，采用隨機(jī)初始化的方式，序列維度均為10，其中，相對位置標(biāo)注序列可以分為距離實體1和實體2的相對位置，在此分別對其進(jìn)行向量隨機(jī)初始化。

2? ? 多特征融合

使用詞性標(biāo)注工具對句子中的詞語進(jìn)行詞性分析，獲得該句子對應(yīng)的詞性標(biāo)注序列;對句子中各詞距離實體對的相對位置進(jìn)行標(biāo)注，以及對實體的標(biāo)注，獲得該句子的位置標(biāo)注序列和實體標(biāo)注序列。將以上標(biāo)注序列分別采用隨機(jī)初始化向量的操作得到各序列的向量化表示，然后與句子中各詞的向量表示進(jìn)行拼接，通過融合句子的詞性特征、位置特征及命名實體特征，增強(qiáng)句子中對關(guān)系抽取的有益成分，具體做法如下。

以分詞后的語句“母親 章含之 是 對洪晃 影響 最大 的 一個人 ?！睘槔撜Z句中命名實體為“章含之”和“洪晃”，其中語句中各詞對應(yīng)的詞性標(biāo)注序列POS為：

語句中各詞距離實體1和實體2的相對位置標(biāo)注序列RP1和RP2分別為：

語句中各詞對應(yīng)的實體標(biāo)注序列NER為：

語句各詞對應(yīng)的分布式向量Wi表示如下：

最終經(jīng)融合后語句中各詞的向量表示為：

3? ? 實驗結(jié)果及分析

本文采用了BiLSTM-Attention模型對人物關(guān)系進(jìn)行抽取。首先，進(jìn)行參數(shù)調(diào)優(yōu)實驗，分別選擇對模型性能有影響的batch_size、優(yōu)化器、隱藏層節(jié)點(diǎn)數(shù)及學(xué)習(xí)速率進(jìn)行實驗。經(jīng)過參數(shù)調(diào)優(yōu)，最終確定的模型參數(shù)為batch_size：32，優(yōu)化器Adam，隱藏層節(jié)點(diǎn)數(shù)200，學(xué)習(xí)速率0.001。

通過對參數(shù)的選擇實驗，模型最終在測試集上取得了78.5%的F1值，實驗結(jié)果如表1所示。

為了驗證多特征融合的有效性，本文選擇與2016年Zhou等[4]提出的基準(zhǔn)模型進(jìn)行對比，對比結(jié)果如表2所示。該文同樣采用了雙向長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）結(jié)合注意力機(jī)制的模型進(jìn)行實體關(guān)系抽取，但并未采用任何詞性及實體標(biāo)注的信息，在采用與該論文相同數(shù)據(jù)集的情況下，本模型的F1值比其高出1.38%。

4? ? 結(jié)語

本文選擇了BiLSTM-Attention模型對人物關(guān)系進(jìn)行抽取，針對BiLSTM-Attention模型中注意力層不足的問題，提出了多特征融合的改進(jìn)措施，并針對改進(jìn)措施進(jìn)行了模型對比分析，驗證了多特征融合的有效性。

[參考文獻(xiàn)]

[1]胡亞楠，舒佳根，錢龍華，等.基于機(jī)器翻譯的跨語言關(guān)系抽取[J].中文信息學(xué)報，2013（5）：191-197.

[2]LIU H Y.Person relation knowledge graph[EB/OL].（2018-12-15）[2019-05-13].https//github.com/liuhuanyong/person relation knowledge graph.

[3]GUAN W.Small-Chinese-Corpus[EB/OL].（2017-09-13）[2019-05-13].https//github.com/crownpku/Small-Chinese-Corpus/tree/master/relation_multiple_chi.

[4]ZHOU P，SHI W，TIAN J，et al.Attention-based bidirectional long short-term memory networks for relation classification[C].Shanghai：Meeting of the Association for Computational Linguistics，2016.

Abstract：Features such as part of speech play an important role in sentences， and often reveal the relationship between named entities. The current task of extracting entity relationships is mostly based on word vectors， ignoring the characteristics of part-of-speech and other useful tasks for extracting entities. Therefore， this paper adopts a multi-feature fusion method to train Chinese entity relationship extraction model. Under the premise of word vector as input unit， the word part of the sentence， the position of the distance entity pair and the entity labeling related feature are combined. The experiment of Chinese entity relationship extraction is carried out by using the bi-long short-term memory network combined with the attention mechanism model. The experimental results show that the training method based on multi-feature fusion improves the effect of Chinese entity relationship extraction.

Key words：entity relationship extraction; multi-feature; bi-long short-term memory network; attention mechanism