劉合兵，賈笑笑，時 雷，熊蜀峰，馬新明，席 磊+

(1.河南農(nóng)業(yè)大學(xué) 信息與管理科學(xué)學(xué)院，河南 鄭州 450046；2.河南農(nóng)業(yè)大學(xué) 河南省農(nóng)田環(huán)境監(jiān)測與控制工程實驗室，河南 鄭州 450002)

0 引 言

由于小麥種質(zhì)數(shù)據(jù)包含大量非結(jié)構(gòu)化文本數(shù)據(jù)，使其在存儲、檢索和利用方面變得困難復(fù)雜。實體關(guān)系聯(lián)合抽取作為信息抽取領(lǐng)域的重要子任務(wù)，旨在同時提取非結(jié)構(gòu)化數(shù)據(jù)中的實體與實體間的關(guān)系[1，2]，為知識管理、檢索及應(yīng)用提供關(guān)鍵性支撐[3，4]。

因此，為解決小麥種質(zhì)信息實體關(guān)系聯(lián)合抽取任務(wù)面臨的實體邊界模糊以及關(guān)系重疊問題，本文針對小麥種質(zhì)數(shù)據(jù)開展實體關(guān)系聯(lián)合抽取研究，主要貢獻為以下方面：

(1)使用三輪標(biāo)注方法人工構(gòu)建23類實體，25種關(guān)系的小麥種質(zhì)數(shù)據(jù)集WGD(wheat germplasm dataset)。

(2)提出WGIE-DCWF模型。模型通過BERT的Transformer encoder進行深度字詞融合，并使用BiLSTM雙向提取上下文語義，提高了實體識別能力，同時建立層疊指針網(wǎng)絡(luò)，提升了重疊三元組的抽取能力。

(3)分別在WGD與DuIE上進行測試，WGIE-DCWF的F1值分別達到93.59%和77.73%，驗證了該模型在提高小麥種質(zhì)信息數(shù)據(jù)實體關(guān)系抽取效果的同時擁有較好的泛化性。

1 相關(guān)工作

目前主流的基于深度學(xué)習(xí)的實體關(guān)系抽取按照實體識別與關(guān)系抽取任務(wù)的順序分為流水線抽取和聯(lián)合抽取，雖然流水線抽取方法[5，6]簡單靈活，但是容易帶來誤差傳播以及實體冗余等問題，目前研究者們逐漸聚焦于聯(lián)合抽取方法研究。

ZHENG等[7]首先提出將聯(lián)合抽取轉(zhuǎn)化為序列標(biāo)注的方法，然而由于標(biāo)簽就近匹配，不能抽取重疊關(guān)系三元組。唐曉波等[8]提出了VOE標(biāo)簽，雖解決部分關(guān)系重疊問題，但需要設(shè)計復(fù)雜的標(biāo)注方案。ZENG等[9]設(shè)計了Seq2Seq的CopyRE模型，通過引入復(fù)制機制將實體復(fù)制多次以解決關(guān)系重疊問題，但由于解碼結(jié)構(gòu)復(fù)雜導(dǎo)致局部信息抽取效果較差。文獻[10，11]通過關(guān)系直接獲取頭實體和尾實體，但識別候選關(guān)系類別難度較大。WANG等[12]統(tǒng)一了標(biāo)注抽取框架，并通過單階段解碼解決了曝光偏差問題，但句子過長容易出現(xiàn)矩陣混淆問題。WEI等[13]提出了層疊指針標(biāo)注模型，將關(guān)系視為頭實體到尾實體的映射，較好地解決關(guān)系重疊問題，但語義信息獲取不充分。為此，文獻[14-16]分別對WEI方法進行改進，添加CLN網(wǎng)絡(luò)層、雙向語義信息以及實體類型提升三元組抽取效果。雖然上述文獻能較好地解決關(guān)系重疊問題，但是僅使用字符語義信息，未充分結(jié)合字符與詞匯信息。

在文本向量表示中，字符向量不能表示豐富的語義信息，而詞匯向量存儲了詞的邊界信息和語義信息，因此字詞混合向量表示有利于實體邊界模糊問題的解決。ZHANG等[17]使用Lattice LSTM將詞匯信息嵌入到字符的表示中，較好地緩解分詞錯誤，但計算性能較低。Li等[18]基于Transformer融合詞匯信息，加快了運行速度。葛軍偉等[19]將詞匯信息與BERT字符信息混合應(yīng)用到實體關(guān)系聯(lián)合抽取任務(wù)中，較好地解決實體邊界模糊問題。以上任務(wù)將詞匯信息與字符信息融合，雖然提高了實體識別效果，但是僅在模型級別融合詞匯信息與字符信息，屬于淺層字詞融合，沒有充分利用BERT的表示能力進行詞匯語義信息與字符信息的深層次利用。本文將詞匯信息集成到BERT底層，在BERT內(nèi)部使詞匯信息與字符信息進行深度知識交互，以豐富字符編碼特征信息。

近年來，相關(guān)研究者將實體關(guān)系聯(lián)合抽取技術(shù)應(yīng)用到農(nóng)業(yè)領(lǐng)域，促進了農(nóng)業(yè)信息化的進步。李林等[20]使用多源信息融合以豐富字符向量，但只初步實現(xiàn)了農(nóng)作物病蟲害領(lǐng)域的命名實體識別。武錫夢等[21]采用流水線方法，提取我國珍稀動植物與分布區(qū)域和瀕危等級之間的聯(lián)系，但是存在實體冗余現(xiàn)象。吳賽賽等[22]提出主實體概念，以解決小麥病蟲害領(lǐng)域關(guān)系重疊問題，但標(biāo)注方案復(fù)雜。周俊等[23]對WEI方法進行改進，使用單位標(biāo)注器和隱藏層提高模型的性能，較好地解決了水稻施肥領(lǐng)域的重疊三元組問題。

針對小麥種質(zhì)信息數(shù)據(jù)抽取時面臨的實體邊界模糊與關(guān)系重疊的問題，本文引入詞匯信息，提出深度字詞融合，并采用層疊指針網(wǎng)絡(luò)，構(gòu)建小麥種質(zhì)信息實體關(guān)系聯(lián)合抽取模型，以實現(xiàn)小麥品種表型和遺傳描述自動信息提取。

2 小麥種質(zhì)數(shù)據(jù)集

2.1 小麥種質(zhì)信息本體建模

為了細粒度刻畫小麥種質(zhì)數(shù)據(jù)蘊含的農(nóng)藝性狀、形態(tài)學(xué)性狀、抗性以及親緣關(guān)系等信息，本文在《小麥種質(zhì)資源描述規(guī)范》和小麥專家的指導(dǎo)下，自上而下地構(gòu)建小麥種質(zhì)信息本體，包括小麥品種名稱、株高、千粒重等23類實體和25種關(guān)系如圖1所示。

圖1 小麥種質(zhì)信息本體

2.2 小麥種質(zhì)信息語料采集與標(biāo)注

本研究的數(shù)據(jù)主要來源于中國種業(yè)大數(shù)據(jù)平臺，通過爬蟲抓取小麥品種審定數(shù)據(jù)，為避免噪聲問題，進行人工刪除無效和重復(fù)數(shù)據(jù)，最終構(gòu)建了包含3063個小麥品種的小麥信息語料，約46萬字符。

小麥種質(zhì)信息語料標(biāo)注采用頭尾實體分離的“01”標(biāo)記方案。實體關(guān)系抽取的標(biāo)注策略包括序列標(biāo)注法和指針網(wǎng)絡(luò)標(biāo)注法。其中，序列標(biāo)注法采用就近原則標(biāo)注實體關(guān)系，難以有效應(yīng)對關(guān)系重疊問題。指針網(wǎng)絡(luò)標(biāo)注法采用頭尾實體分離的“01”標(biāo)記方案，即實體的開始token和結(jié)束token標(biāo)注為“1”，其余token標(biāo)注為“0”，并將開始 token和結(jié)束token拼接輸出實體，可以有效解決關(guān)系重疊問題，并且標(biāo)簽使用少，降低了預(yù)測時的復(fù)雜性。標(biāo)注方案如圖2所示。

圖2 頭尾實體分離的“01”標(biāo)注方案

基于小麥種質(zhì)信息本體構(gòu)建的23類實體和25種關(guān)系，利用doccano在線標(biāo)注平臺(https：//github.com/doccano)對小麥種質(zhì)信息語料進行標(biāo)注，doccano的標(biāo)注界面如圖3所示。為了獲得高質(zhì)量小麥種質(zhì)數(shù)據(jù)集，通過3次迭代的人工標(biāo)注與糾錯模式確保標(biāo)注數(shù)據(jù)的準(zhǔn)確性。最終構(gòu)建了小麥種質(zhì)數(shù)據(jù)集WGD，其中包含11 681條數(shù)據(jù)、76 587個實體和73 446個關(guān)系。

圖3 doccano 標(biāo)注界面

3 基于深度字詞融合的小麥種質(zhì)信息實體關(guān)系聯(lián)合抽取模型

基于深度字詞融合的小麥種質(zhì)信息實體關(guān)系聯(lián)合抽取模型WGIE-DCWF由編碼層和三元組抽取層構(gòu)成。其中，深度字詞融合和上下文語義特征融合兩個模塊組成編碼層；抽取頭實體和聯(lián)合抽取尾實體與關(guān)系兩個模塊組成三元組抽取層。模型總體結(jié)構(gòu)如圖4所示。

圖4 基于深度字詞融合的小麥種質(zhì)信息實體關(guān)系聯(lián)合抽取模型

3.1 編碼層

3.1.1 深度字詞融合模塊

深度字詞融合模塊DCWFE(deep character and word fusion encoder)實現(xiàn)將詞匯知識集成到BERT預(yù)訓(xùn)練語言模型內(nèi)部，緩解了由于邊界模糊導(dǎo)致實體識別性能較低的問題。對于輸入句子s={z1，z2，…，zn} 的每個字zi在經(jīng)過BERT的Embedding 輸送進Transformer提取特征時，DCWFE模塊在Transformer之間集成字zi對應(yīng)的候選詞向量，并通過多層Transformer encoder，得到深度混合字詞表示。該模塊由小麥種質(zhì)詞向量表、候選詞表示、字詞融合向量表示和深層字詞融合向量表示構(gòu)成，其結(jié)構(gòu)如圖5所示。

圖5 深度字詞融合編碼層

(1)小麥種質(zhì)詞向量表

為了更好地對小麥種質(zhì)信息進行統(tǒng)一的知識表示，本文基于通用領(lǐng)域詞匯數(shù)據(jù)和小麥種質(zhì)領(lǐng)域詞匯數(shù)據(jù)，建立小麥種質(zhì)詞向量表。其中通用領(lǐng)域詞匯采用騰訊詞向量[24]，小麥種質(zhì)領(lǐng)域詞匯使用fastText[25]進行詞嵌入計算訓(xùn)練獲得，最終形成包含20 300個詞匯，維度為200的小麥種質(zhì)詞向量表。

(2)候選詞表示

對于輸入句子s={z1，z2，…，zn}， 遍歷句子s的每個字zi，并查找其在小麥種質(zhì)詞向量匹配的所有候選詞，組成字詞對，表示為s={(z1，c1)，(z2，c2)，…，(zn，cn)} 其中ci為字zi在詞向量表中匹配到的所有詞，例如：“深”字通過小麥種質(zhì)詞向量匹配到的字詞對為(深，[色深，深綠，深綠色])。

(3)字詞融合向量表示

(1)

(2)

(3)

(4)深度字詞融合向量表示

3.1.2 上下文語義特征融合模塊

在實體關(guān)系聯(lián)合抽取任務(wù)中文本的前向和后向信息都至關(guān)重要，如：小麥品種名稱實體“中麥159”，“麥”不僅應(yīng)該包含前向信息的“中”字特征，也應(yīng)考慮到了后向“159”的語義信息。針對上述問題，選擇BiLSTM對深度融合的字詞向量進一步提取特征，以深度字詞混合向量M1作為輸入，以拼接前向信息和后向信息的M2作為輸出。

3.2 三元組抽取層

3.2.1 頭實體抽取模塊

頭實體抽取旨在獲取輸入文本中可能存在的所有實體。其直接對經(jīng)過字詞深度融合和雙向語義編碼后的向量M2進行解碼，確定實體開始和結(jié)束位置，具體如式(4)、式(5)所示

(4)

(5)

候選頭實體提取使用“就近匹配原則”。如圖6所示，輸入文本的候選實體的開始位置為“中”、“8”和“1”，結(jié)束位置為“9”、“升”和“%”，“8”作為頭實體的開始位置，根據(jù)就近匹配原則，將位于“8”后面且距離“8”最近的頭實體結(jié)束位置“升”與“8”配對，因此“827克/升”為候選實體。

圖6 頭實體抽取過程

3.2.2 聯(lián)合抽取關(guān)系與尾實體模塊

關(guān)系和尾實體抽取任務(wù)是找尋所有候選頭實體在每一個特定關(guān)系下的尾實體。例如語料“中麥159，容重827克/升，粗蛋白含量(干基)14.8%”在頭實體抽取任務(wù)獲取“中麥159”、“827克/升”、“14.8%”這3個候選頭實體，首先為3個候選頭實體分別建立“濕面筋含量”、“容重值”、“粗蛋白質(zhì)含量”等23類關(guān)系，其次檢測候選頭實體在不同關(guān)系下的尾實體。具體如式(6)、式(7)所示

(6)

(7)

4 實驗設(shè)計與結(jié)果分析

4.1 數(shù)據(jù)集與評價指標(biāo)

本文實驗分別在WGD和DuIE兩個數(shù)據(jù)集上進行，其中DuIE[26]數(shù)據(jù)集是百度大規(guī)模人工標(biāo)注且被廣泛使用的信息抽取數(shù)據(jù)集。兩個數(shù)據(jù)集的訓(xùn)練集、驗證集、測試集以及關(guān)系類別數(shù)量見表1。

表1 數(shù)據(jù)集劃分統(tǒng)計

通過準(zhǔn)確率(Precision，P)、召回率(Recall，R)和F1值計算三元組抽取結(jié)果，驗證模型的有效性。評價指標(biāo)具體計算如式(8)～式(10)所示。Npred、Npredright、Ngold分別為預(yù)測的三元組數(shù)量、預(yù)測正確的三元組數(shù)量以及數(shù)據(jù)集中含有的三元組數(shù)量

(8)

(9)

(10)

4.2 實驗環(huán)境與參數(shù)設(shè)置

本實驗的硬件環(huán)境：處理器為Intel(R) Xeon(R) Silver4116 CPU@2.10 GHz，運行內(nèi)存191 GB；運行環(huán)境：Pytroch1.10.0和Python3.6。使用Adam優(yōu)化器，模型參數(shù)設(shè)置見表2。

表2 模型參數(shù)值

4.3 實驗結(jié)果及分析

4.3.1 深度字詞融合位置設(shè)置分析

為了驗證深度字詞融合位置對模型的影響，實驗分別將深度字詞融合位置設(shè)置在BERT的第N個Transformer encoder之后，N={1，3，6，9，12}， F1值變化趨勢如圖7所示。

圖7 深度字詞融合位置分析

當(dāng)深度字詞融合位置在第1層Transformer encoder之后模型達到最優(yōu)性能，F(xiàn)1值為93.59%，并且隨著字詞融合位置后移，模型的性能逐漸變差，當(dāng)在第12層Transformer encoder之后進行字詞融合，即淺層字詞融合，F(xiàn)1值最低，為92.23%。說明在第一層后融合字詞向量，充分利用了BERT結(jié)構(gòu)，可以更好地深度交互詞匯信息和字符信息，進而緩解實體邊界模糊問題，提升了語義表征能力。

4.3.2 匹配詞數(shù)量閾值設(shè)置分析

經(jīng)統(tǒng)計，WGD數(shù)據(jù)集每個字可匹配的詞數(shù)量眾數(shù)為2，平均數(shù)為3，最大值為5。因此，實驗將字匹配詞數(shù)量閾值設(shè)置為N，N={2，3，4，5}， F1值如圖8所示。

圖8 字匹配詞數(shù)量參數(shù)設(shè)置分析

字的匹配詞數(shù)量值為3時，模型的性能最佳。當(dāng)閾值從2升為3時，模型獲取更多的詞向量信息，從而提升其性能。但是當(dāng)字匹配詞數(shù)量繼續(xù)提高，引入的“PAD”填充信息會干擾模型提取特征的能力，F(xiàn)1值逐漸降低。

4.3.3 對比實驗結(jié)果分析

為了評估WGIE-DCWF方法的有效性，本文選用BERT+BiLSTM、CopyMTL[27]、TPLinker[12]、BERT+CASREL[13]模型與WGIE-DCWF在WGD和DuIE兩個數(shù)據(jù)集進行對比實驗。模型的實驗結(jié)果見表3。

表3 模型綜合性能評估

(1)BERT+BiLSTM：基于序列標(biāo)注的流水線抽取方法，使用BERT字嵌入表示。

(2)CopyMTL：基于復(fù)制機制的聯(lián)合抽取方法，為CopyRE的改進[9]，使用word2vec字嵌入表示。

(3)TPLinker：基于統(tǒng)一標(biāo)注抽取框架的聯(lián)合抽取方法，使用BERT字嵌入表示。

(4)BERT+CASREL：基于層疊指針網(wǎng)絡(luò)的聯(lián)合抽取方法，使用BERT字嵌入表示。

(5)WGIE-DCWF：基于層疊指針網(wǎng)絡(luò)的聯(lián)合抽取方法，使用深度字詞融合嵌入表示，深度字詞融合位置為第1層Transformer encoder之后，字匹配詞數(shù)量閾值為3。

實驗結(jié)果表明，本文模型WGIE-DCWF在WGD和DuIE兩個數(shù)據(jù)集的F1值分別為93.59%和77.73%，較其它基線模型取得了最優(yōu)效果。通過對比發(fā)現(xiàn)，實體關(guān)系聯(lián)合抽取模型整體優(yōu)于流水線抽取模型，主要原因是流水方法可能存在實體冗余和錯誤傳播。同時，BERT+CASREL模型的準(zhǔn)確率、召回率和F1值評價指標(biāo)均高于CopyMTL和TPLinker模型，表明同為聯(lián)合抽取模型，BERT+CASREL模型性能更佳，其原因為BERT+CASREL通過層疊指針網(wǎng)絡(luò)能夠更好地解決關(guān)系重疊問題。因此，本文模型WGIE-DCWF正是通過建立層疊指針網(wǎng)絡(luò)，提升重疊三元組的抽取能力，同時進行深度字詞融合和上下文語義特征融合，解決小麥種質(zhì)信息領(lǐng)域?qū)嶓w邊界模糊問題，使模型三元組抽取性能整體得到提高。此外，需要指出的是在DuIE數(shù)據(jù)集上進行實驗，WGIE-DCWF模型的召回率低于BERT+CASREL模型，分析其原因為在深度字詞融合編碼模塊引入小麥種質(zhì)詞向量會帶來冗余信息，影響了模型在通用數(shù)據(jù)集的聯(lián)合抽取性能。

4.3.4 細粒度關(guān)系實驗結(jié)果分析

為分析WGIE-DCWF模型在不同關(guān)系類別粒度上的實驗結(jié)果，統(tǒng)計了WGD數(shù)據(jù)集上23類關(guān)系類別的F1值，如圖9所示。“穩(wěn)定時間”、“粗蛋白質(zhì)含量”關(guān)系類別F1值較高，推測原因為關(guān)系類別樣本量充足，使得模型能夠充分學(xué)習(xí)其特征。反觀樣本量僅占0.87%和1.14%的“籽粒形狀”和“熟性”關(guān)系類別，F(xiàn)1值低于其它關(guān)系類別，說明較少的樣本量在模型訓(xùn)練中容易被忽略，導(dǎo)致其抽取效果低于樣本量高的關(guān)系類別?！袄烀娣e”、“芒長短”、“冬春性”以及“殼顏色”關(guān)系類別抽取效果較好，其原因為其語境較為簡單。“播種量”、“播種日期”、“感病”以及“籽粒硬度”關(guān)系類別抽取F1值低于平均水平的原因為頭實體與尾實體距離較遠，存在長距離依賴問題，并且語境較為復(fù)雜，例如：小麥品種名稱實體和畝播種量、高肥水條件下播種量以及基本苗數(shù)量等實體均可以產(chǎn)生播種量關(guān)系類別。因此，樣本量是否均衡分布以及語境復(fù)雜程度影響實體關(guān)系聯(lián)合抽取效果。

圖9 細粒度關(guān)系抽取F1值

4.3.5 消融實驗結(jié)果分析

為了探索WGIE-DWCF方法中深度字詞融合模塊(DWCFE)、上下文語義特征融合模塊(BiLSTM)以及小麥種質(zhì)詞向量表對模型的影響，設(shè)計消融實驗，實驗結(jié)果見表4。其中DWCFE*為小麥種質(zhì)詞向量表中僅保留通用詞匯，去除領(lǐng)域詞匯的深度字詞融合。

表4 消融實驗結(jié)果

實驗結(jié)果分析可以發(fā)現(xiàn)，引入深度字詞融合模塊和上下文語義特征融合模塊，F(xiàn)1值分別提高10.09個百分點和9.8個百分點，說明兩個模塊單獨使用均能提高實體識別能力，進而提升模型整體性能，并且說明深度字詞融合與上下文語義特征融合的作用同等重要，相較而言深度字詞融合對模型性能的貢獻更多。為探明領(lǐng)域詞向量在模型中的作用，可以發(fā)現(xiàn)DCWFE*+BiLSTM+CASREL模型F1值下降了0.74個百分點，表明引入領(lǐng)域詞向量可以提高實體識別能力，從而輔助三元組抽取。

5 結(jié)束語

為了獲得結(jié)構(gòu)化的小麥品種表型和遺傳描述，本文構(gòu)建了細粒度小麥種質(zhì)數(shù)據(jù)集，解決小麥種質(zhì)信息領(lǐng)域數(shù)據(jù)匱乏問題，提出了基于深度字詞融合的小麥種質(zhì)信息實體關(guān)系聯(lián)合抽取模型。模型通過深度字詞融合與上下文語義特征融合，提升實體識別能力，建立層疊指針網(wǎng)絡(luò)，提升重疊三元組抽取能力。實驗結(jié)果表明，本文模型優(yōu)于其它模型，可以緩解實體邊界模糊與關(guān)系重疊問題的影響，有效改善小麥種質(zhì)領(lǐng)域復(fù)雜場景的實體關(guān)系抽取效果，可以為小麥種質(zhì)信息知識庫構(gòu)建提供技術(shù)支撐。