張婷婷， 讓 冉， 張龍波， 邢林林， 蔡紅珍

（1 山東理工大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院， 山東 淄博 255000）； 2 山東理工大學(xué) 農(nóng)業(yè)工程與食品科學(xué)學(xué)院， 山東 淄博 255000）

0 引 言

新興產(chǎn)業(yè)是隨著新的科研成果和新型技術(shù)的誕生，應(yīng)運(yùn)而生的新的經(jīng)濟(jì)部門或行業(yè)，涉及節(jié)能環(huán)保、生物產(chǎn)業(yè)、新能源、新材料等眾多領(lǐng)域。 檢驗(yàn)檢測是指通過專業(yè)技術(shù)手段對動植物、工業(yè)產(chǎn)品、商品、專項(xiàng)技術(shù)、成果及其他需要鑒定的物品所進(jìn)行的檢測、檢驗(yàn)、測試、鑒定等活動。 對新興產(chǎn)業(yè)檢驗(yàn)檢測數(shù)據(jù)研究發(fā)現(xiàn)其中包含了大量有用的信息，包括各檢測機(jī)構(gòu)可提供的檢測范圍及機(jī)構(gòu)地理位置信息等，將這些信息結(jié)構(gòu)化保存，可以為領(lǐng)域內(nèi)的合作關(guān)系提供數(shù)據(jù)指導(dǎo)，有利于后續(xù)的產(chǎn)業(yè)升級。 關(guān)系抽取是自然語言處理（Natural Language Processing，NLP）的基層任務(wù)之一，主要是從文本中識別出實(shí)體，并抽取實(shí)體之間的語義關(guān)系。 在新興產(chǎn)業(yè)領(lǐng)域使用關(guān)系抽取技術(shù)能夠快速發(fā)現(xiàn)機(jī)構(gòu)可提供的檢測項(xiàng)目，繼而構(gòu)建新興產(chǎn)業(yè)檢驗(yàn)檢測關(guān)系集，不僅能夠?yàn)閷で髾z測服務(wù)的機(jī)構(gòu)提供精準(zhǔn)的業(yè)務(wù)推薦，還能總覽行業(yè)整體發(fā)展水平，促進(jìn)新興產(chǎn)業(yè)快速發(fā)展。

新興產(chǎn)業(yè)檢驗(yàn)檢測關(guān)系抽取缺少專業(yè)的實(shí)驗(yàn)數(shù)據(jù)，且數(shù)據(jù)中廣泛存在語義混亂、一個主實(shí)體對應(yīng)多個客實(shí)體的問題，基于此本文構(gòu)建了領(lǐng)域內(nèi)數(shù)據(jù)集并提出了一種適用于新興產(chǎn)業(yè)檢驗(yàn)檢測數(shù)據(jù)的關(guān)系抽取模型，主要工作包括：

（1）在輸入層為每個關(guān)系設(shè)置不同的關(guān)系標(biāo)簽，并與字詞向量、位置向量混合作為神經(jīng)網(wǎng)絡(luò)架構(gòu)模型的輸入，其中位置向量能從主實(shí)體及客實(shí)體兩個層面分析語義位置信息對關(guān)系判定的影響；標(biāo)簽向量可以強(qiáng)化各關(guān)系的界限，有利于后續(xù)充分學(xué)習(xí)各關(guān)系的特征信息，提高分類準(zhǔn)確率；

（2）提出由卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）和雙向長短期記憶網(wǎng)絡(luò)（Long Short Term Memory，LSTM）組成的關(guān)系抽取模型，既能夠利用BiLSTM 兼顧長序列文本的整體信息，又能夠利用CNN 提取文本局部有價值的特征，同時使用選擇性注意力機(jī)制有針對性對字詞賦予不同的權(quán)值大小，提升模型在特征提取方面的準(zhǔn)確率。

1 相關(guān)工作

傳統(tǒng)的關(guān)系抽取主要基于模式匹配和基于機(jī)器學(xué)習(xí)的研究，基于模式匹配的方法需要制定關(guān)系抽取規(guī)則，耗時耗力；基于機(jī)器學(xué)習(xí)的方法利用數(shù)據(jù)訓(xùn)練算法，但是不能充分提取數(shù)據(jù)文本中的語義信息。 深度學(xué)習(xí)最重要的特點(diǎn)就是可以反向傳播學(xué)習(xí)，同時自動學(xué)習(xí)實(shí)驗(yàn)數(shù)據(jù)中的特征。 將深度學(xué)習(xí)應(yīng)用到關(guān)系抽取中是目前計算機(jī)領(lǐng)域的研究重點(diǎn)，主要以CNN、LSTM、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）、雙向門控循環(huán)單元（Gate Recurrent Unit， GRU）等結(jié)構(gòu)來展開。 Liu 等構(gòu)造了一個由輸入層、卷積層、池化層及最后由Softmax 分類器輸出模型的分類結(jié)果的CNN 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，證明了CNN 在提取特征方面有良好的效果，并將其應(yīng)用到自然語言處理領(lǐng)域；Zeng等人將CNN 應(yīng)用到關(guān)系抽取過程中，同時提取了句子文本中的語義特征；Elman 提出了第一個全連接的RNN網(wǎng)絡(luò)結(jié)構(gòu)后，Socher等將RNN 模型用于關(guān)系抽取領(lǐng)域，取得了階段性的進(jìn)展。 但是RNN 在處理長的序列文本時同樣也帶來了嚴(yán)重的問題：梯度消失、梯度爆炸以及可能存在訓(xùn)練時間過長的問題，由此提出了LSTM；Zhang 等人采用BiLSTM 模型結(jié)合文本的前后語義進(jìn)行抽取，提升了模型的準(zhǔn)確率。注意力機(jī)制的目標(biāo)是以概率的形式對文本中的特征進(jìn)行重要性的區(qū)分，Mnih 等將RNN、注意力機(jī)制與張量層相結(jié)合的關(guān)系抽取分類算法，有效提高了分類的結(jié)果；Cai 等以CNN 和LSTM 為基礎(chǔ)，設(shè)計使用雙向CNN，同時從兩個方向?qū)W習(xí)最短依存信息，取得了階段性新進(jìn)展。

不同于英文領(lǐng)域存在大規(guī)模的ACE2004 實(shí)驗(yàn)語料、NYT－FB 數(shù)據(jù)集等專業(yè)語料庫，受限于標(biāo)準(zhǔn)化語料庫的規(guī)模以及數(shù)量，中文關(guān)系抽取還存有很大的進(jìn)步空間。 在中文領(lǐng)域中，生物醫(yī)療的應(yīng)用尤為廣泛，文獻(xiàn)［11］提出一種基于雙向GRU 和CNN 相融合的雙層藥物關(guān)系抽取模型，在醫(yī)藥領(lǐng)域?qū)ｉT數(shù)據(jù)及DDIExtraction2013 中取得了75%的綜合測評率；文獻(xiàn)［12］在面對高密度分布的實(shí)體以及實(shí)體間關(guān)系的交叉互聯(lián)為電子病歷時，提出一種基于多通道自注意力機(jī)制的BiLSTM＋多通道自注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)架構(gòu)，1 值最高提升了23%；其他領(lǐng)域，如文獻(xiàn)［13］利用高質(zhì)量的食品安全事件新聞文本完成領(lǐng)域內(nèi)實(shí)體關(guān)系抽取工作；文獻(xiàn)［14］在社交媒體領(lǐng)域提出了一種基于注意力機(jī)制以及LSTM 的好友關(guān)系預(yù)測模型，實(shí)驗(yàn)結(jié)果的準(zhǔn)確率達(dá)到了77%；文獻(xiàn)［15］針對煤礦領(lǐng)域數(shù)據(jù)存在的術(shù)語嵌套、一詞多義等問題，基于BiLSTM 提出了一種端到端的聯(lián)合學(xué)習(xí)模型，提高了模型的訓(xùn)練速度；文獻(xiàn)［16］根據(jù)老撾語料庫匱乏的特點(diǎn)，結(jié)合“硬匹配”和“軟匹配”的思想，提出了一種基于雙向長短期記憶網(wǎng)絡(luò)和多頭自注意力機(jī)制的軍事領(lǐng)域?qū)嶓w關(guān)系抽取方法，都取得了很好的實(shí)驗(yàn)效果。

2 模型設(shè)計

本文提出了一個面向新興產(chǎn)業(yè)檢驗(yàn)檢測領(lǐng)域的神經(jīng)網(wǎng)絡(luò)架構(gòu)模型，結(jié)構(gòu)如圖1 所示。

圖1 檢驗(yàn)檢測神經(jīng)網(wǎng)絡(luò)架構(gòu)模型圖Fig.1 The architecture of detection neural network model

其核心流程如下：

（1）將數(shù)據(jù)文本中的字詞集合轉(zhuǎn)化為包含字詞信息、位置信息、標(biāo)簽信息的向量表示；

（2）將獲取到的向量傳入由BiLSTM 和CNN 組成的深度神經(jīng)網(wǎng)絡(luò)模型，深度學(xué)習(xí)每個關(guān)系的語義特征信息；

（3）使用注意力機(jī)制削弱無關(guān)特征的影響；

（4）將關(guān)系抽取轉(zhuǎn)化為分類任務(wù)，輸出分類結(jié)果。

2.1 輸入向量

輸入向量主要包括3 部分：詞向量，用來將檢驗(yàn)檢測領(lǐng)域內(nèi)的字詞轉(zhuǎn)化為向量表示；位置向量，根據(jù)文本中字詞相對于主實(shí)體的距離進(jìn)行標(biāo)記；標(biāo)簽向量，根據(jù)句子中實(shí)體間關(guān)系的不同類別，設(shè)置相應(yīng)的標(biāo)簽向量。

2.1.1 詞向量

將實(shí)驗(yàn)所用的領(lǐng)域文本｛，，…，s｝， 通過公式（1）將每個字詞s映射到低維的向量空間中，構(gòu)建出每個字詞特征向量，然后對各個詞向量進(jìn)行拼接，形成此次實(shí)驗(yàn)的字詞向量，式（1）。

其中，w是通過Word2vec 得到的詞向量矩陣，v是詞s的one－h(huán)ot 表示。

2.1.2 位置向量

在關(guān)系抽取領(lǐng)域，一般越是靠近實(shí)體的字詞越能準(zhǔn)確的反映數(shù)據(jù)中實(shí)體之間的關(guān)系。 為了更準(zhǔn)確的描述文本中主實(shí)體的關(guān)系，本文構(gòu)建了位置向量p，分別從前后方向兩個不同的角度來表示每個字到實(shí)體間的距離，式（2）。

圖2 位置向量示意圖Fig.2 Position vector diagram

2.1.3 標(biāo)簽向量化

針對事先定義好的幾種分類結(jié)果，分別建立相應(yīng)的標(biāo)簽，并轉(zhuǎn)化為向量的形式；最后，將標(biāo)簽向量、字詞向量與位置向量拼接在一起形成本次實(shí)驗(yàn)的輸入向量，如公式（3）所示。

2.2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2.2.1 BiLSTM

LSTM 能夠在有效利用長距離信息的同時解決RNN 存在的梯度消失或者梯度爆炸的問題，LSTM結(jié)構(gòu)如圖3 所示。

圖3 LSTM 結(jié)構(gòu)圖Fig.3 LSTM structure diagram

LSTM 由遺忘門f、輸入門i和輸出門o以及一個記憶單元組成，其中遺忘門決定什么樣的信息應(yīng)該被神經(jīng)元遺忘，輸入門決定什么樣的信息應(yīng)該被神經(jīng)元輸入，輸出門決定什么樣的信息應(yīng)該被神經(jīng)元輸出，記憶單元用來管理和保存神經(jīng)元中的參數(shù)信息，計算過程如式（4）～式（6）所示：

文本中的每個字詞都蘊(yùn)含著重要的信息，使用BiLSTM 來獲取數(shù)據(jù)中的特征信息。 BiLSTM 均與輸出層相連，分別作用于文本的前后文信息，在長序列文本數(shù)據(jù)集上有很好的表現(xiàn)效果。

2.2.2 CNN

CNN 主要由輸入層、卷積層、池化層和Dropout組成，卷積層通過設(shè)置不同規(guī)模的卷積核提取檢驗(yàn)檢測領(lǐng)域內(nèi)不同的文字特征，且共享卷積核參數(shù)，公式（7）表示其特征的提取過程，得到特征集合（，，，…，f）。

其中，表示偏差，tanh 為雙曲正切函數(shù)。

池化層通過對數(shù)據(jù)進(jìn)行壓縮來實(shí)現(xiàn)數(shù)據(jù)和參數(shù)的降維，從而降低模型過擬合的概率，本次實(shí)驗(yàn)采用最大池化方法，取f中最大的f，挑選最明顯的特征。全連接層主要是把分布式特征映射到樣本標(biāo)記空間中，對之前提取到的特征進(jìn)行分類。 Dropout 在訓(xùn)練模型時按照一定的概率將一部分神經(jīng)網(wǎng)絡(luò)暫時丟棄，不僅能防止模型過擬合還可以提高網(wǎng)絡(luò)的泛化能力。

在本次試驗(yàn)中，通過雙向LSTM 神經(jīng)網(wǎng)絡(luò)從前后兩個方向全面獲取數(shù)據(jù)文本的文本序列信息，然后將向量拼接傳入CNN 中，進(jìn)一步提取文本中的關(guān)鍵特征。

2.2.3 注意力機(jī)制

將預(yù)測關(guān)系轉(zhuǎn)化為文本分類過程中，不同字詞發(fā)揮著不同的作用，使用注意力機(jī)制可以為數(shù)據(jù)中的字詞設(shè)置相應(yīng)的權(quán)重，對分類起正向作用的字詞設(shè)置更高的權(quán)重，增強(qiáng)正向字詞的影響。 將BiLSTM與CNN 模型提取后形成的詞向量矩陣｛，，…，c｝ 經(jīng)過tanh 函數(shù)映射到［－1，1］之間，再將映射結(jié)果傳入softmax 函數(shù)，計算得到每個詞的注意力分?jǐn)?shù)，最后對句子的各個單詞的編碼結(jié)果進(jìn)行加權(quán)求和，其計算過程如式（8）～式（10）所示：

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

在實(shí)驗(yàn)之前，本文對新興產(chǎn)業(yè)檢驗(yàn)檢測數(shù)據(jù)研究發(fā)現(xiàn)，領(lǐng)域內(nèi)的文本實(shí)體數(shù)量相對復(fù)雜，以“無錫檢驗(yàn)檢測中心的檢測業(yè)務(wù)包括節(jié)能環(huán)保、生物醫(yī)藥、新材料、新能源等重要領(lǐng)域”為例，全句共包含5 個實(shí)體，4 種檢測關(guān)系，其中無錫檢驗(yàn)檢測中心同時對應(yīng)著4 個不同的實(shí)體，其關(guān)系如圖4 所示，提升了關(guān)系抽取難度。

圖4 數(shù)據(jù)關(guān)系示意圖Fig.4 Data relationship diagram

本次實(shí)驗(yàn)共選取1 800 條新興檢驗(yàn)檢測語料，按照4 ∶1 的比例劃分為訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)，其中訓(xùn)練語料中包含7 192 個實(shí)體，測試語料中包括1 690個實(shí)體，共計8 882 個實(shí)體。 通過觀察發(fā)現(xiàn)，新興檢驗(yàn)檢測行業(yè)能否達(dá)成合作的關(guān)鍵在于各檢測機(jī)構(gòu)可以提供的檢測服務(wù)類型以及檢測機(jī)構(gòu)的位置?；诖?，本次試驗(yàn)著重抽取“位置”、“檢測”兩大類的數(shù)據(jù)信息，關(guān)系示例見表1。

表1 關(guān)系示意表Tab.1 Relationship diagram

3.2 模型訓(xùn)練與優(yōu)化

為了使模型作用最大化，本文進(jìn)行了一系列實(shí)驗(yàn)來確定最合適的參數(shù)數(shù)值，包括詞隨機(jī)丟棄率、LSTM 隨機(jī)丟棄率、Attention 隨機(jī)丟棄率與學(xué)習(xí)率等，根據(jù)實(shí)驗(yàn)結(jié)果，各參數(shù)的數(shù)值見表2。

表2 參數(shù)示意表Tab.2 Statement of parameters

實(shí)驗(yàn)采用Adam 優(yōu)化器來迭代更新神經(jīng)網(wǎng)絡(luò)的參數(shù)，通過計算梯度的一階矩估計和二階矩估計為不同的參數(shù)設(shè)計獨(dú)立的自適應(yīng)性學(xué)習(xí)率。 以交叉熵作為實(shí)驗(yàn)的損失函數(shù)，熵是對不確定性的度量，交叉熵?fù)p失函數(shù)通過設(shè)置0 或者1 的類別標(biāo)簽來顯示分類的類別結(jié)果，衡量正確值平均起來的不確定性。如果輸出的是期望的結(jié)果，不確定性就會小一點(diǎn)，交叉熵就越小，如公式（11）和公式（12）所示：

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 實(shí)驗(yàn)結(jié)果

本文以平均準(zhǔn)確率（）、平均召回率（） 以及1 值的大小來作為評價模型的標(biāo)準(zhǔn)。 在上述各參數(shù)的配置下，在迭代100 次以后，本次實(shí)驗(yàn)的準(zhǔn)確率、召回率以及1 值的結(jié)果如圖5 所示，可以看出，模型迭代次數(shù)從70 次開始逐漸收斂，模型各指標(biāo)趨于穩(wěn)定。

圖5 實(shí)驗(yàn)結(jié)果Fig.5 Experimental results

3.3.2 輸入實(shí)驗(yàn)對比

為了驗(yàn)證本次實(shí)驗(yàn)所提出的四層輸入的有效性，在本次實(shí)驗(yàn)?zāi)Ｐ图跋嗤年P(guān)系抽取模型的基礎(chǔ)上，與普通的輸入進(jìn)行了實(shí)驗(yàn)結(jié)果對比，見表3。 可以發(fā)現(xiàn)本文提出的四層輸入相較于普通的輸入，準(zhǔn)確率、召回率以及1 值均有所提升，其中召回率與1 值都有19 個百分點(diǎn)的提升。

表3 結(jié)果對比Tab.3 Comparison of results %

3.3.3 實(shí)驗(yàn)?zāi)Ｐ偷倪x擇

分別 以BiLSTM ＋Attention 與LSTM ＋CNN ＋Attention 關(guān)系抽取為實(shí)驗(yàn)對比模型，在新興檢驗(yàn)檢測領(lǐng)域的數(shù)據(jù)上展開關(guān)系抽取實(shí)驗(yàn)，結(jié)果見表4。

表4 結(jié)果對比Tab.4 Comparison of results %

由此，可以得出以下幾個結(jié)論：

（1）在同樣的實(shí)驗(yàn)背景下，雙向LSTM 能夠兼顧前后兩個不同方向的信息，實(shí)驗(yàn)準(zhǔn)確率高于單向的LSTM；

（2）在同樣的實(shí)驗(yàn)背景下，CNN 利用不同規(guī)模的卷積核分別提取實(shí)驗(yàn)數(shù)據(jù)里的特征信息，在BiLSTM＋ATT 模型的基礎(chǔ)上加入CNN 后實(shí)驗(yàn)結(jié)果有小范圍提升；

（3）結(jié)合新興檢驗(yàn)檢測數(shù)據(jù)具有文本序列長、語義混亂的特點(diǎn)，BiLSTM 能夠兼顧長文本中的序列信息，但由于實(shí)體密集，添加引入CNN 之后，通過設(shè)置卷積層能夠提取數(shù)據(jù)中豐富的特征信息，最后利用注意力機(jī)制為各特征賦予合適的權(quán)重，提升了模型整體分類的準(zhǔn)確率。

3.3.4 在人物關(guān)系抽取數(shù)據(jù)集上的驗(yàn)證

為了驗(yàn)證本文所提出的實(shí)體關(guān)系抽取模型在其他領(lǐng)域的表現(xiàn)效果，選擇人物抽取數(shù)據(jù)集作為實(shí)驗(yàn)對照組。 將百度公開人物關(guān)系抽取數(shù)據(jù)集經(jīng)過處理轉(zhuǎn)化為本模型所需要的數(shù)據(jù)形式，共選取了十大類50 000條數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，其中1 的損失率如圖6 所示。 在迭代100 次以后，結(jié)果逐漸趨于穩(wěn)定，損失最低為21.4%，即1 值最高達(dá)78.6%，與本文取得的實(shí)驗(yàn)結(jié)果差別不大。 相較于人物關(guān)系數(shù)據(jù)，無論是從文本的序列長度還是相同句子長度下所含有的實(shí)體數(shù)量，新興檢驗(yàn)檢測數(shù)據(jù)都更為復(fù)雜，而這一點(diǎn)恰恰驗(yàn)證了本文提出的模型在相同單位體量的數(shù)據(jù)集下處理復(fù)雜語句的能力。

圖6 實(shí)驗(yàn)對比結(jié)果Fig.6 Comparison of experimental results

4 結(jié)束語

在新興檢驗(yàn)檢測領(lǐng)域內(nèi)展開關(guān)系抽取可以發(fā)現(xiàn)機(jī)構(gòu)可提供的檢測服務(wù)類型以及檢測機(jī)構(gòu)的位置信息，能夠?yàn)楹罄m(xù)機(jī)構(gòu)之間的合作提供數(shù)據(jù)支持，加速機(jī)構(gòu)之間的合作化進(jìn)程。 根據(jù)新興產(chǎn)業(yè)檢驗(yàn)檢測領(lǐng)域數(shù)據(jù)的特點(diǎn)，本文提出了一種將BiLSTM 與CNN 結(jié)合起來的領(lǐng)域關(guān)系抽取模型。 實(shí)驗(yàn)結(jié)果證明LSTM在長序列文本中有較好的表現(xiàn)效果，對于特征混亂且多的句子，加入CNN 能顯著提升特征提取的效果。

未來，隨著深度學(xué)習(xí)的發(fā)展，NLP 領(lǐng)域內(nèi)也會出現(xiàn)更多更簡潔、高效的關(guān)系抽取算法模型，也可以從模型自身及其他方面進(jìn)行下一步有針對性的研究，如深入利用字詞之間的依存關(guān)系或在模型中加入最短依賴或進(jìn)行遷移學(xué)習(xí)等等。