季 豐，周樂樂，張彩麗，任 竹，劉楠楠，陳 磊

(安徽省農(nóng)業(yè)科學(xué)院農(nóng)業(yè)經(jīng)濟(jì)與信息研究所，安徽合肥 230001)

在農(nóng)業(yè)生產(chǎn)的過程中，準(zhǔn)確、迅速地獲取土壤肥力相關(guān)數(shù)據(jù)，進(jìn)行綜合評估與分析，對精準(zhǔn)農(nóng)業(yè)生產(chǎn)具有重要的意義。隨著時代的進(jìn)步，計算機(jī)技術(shù)在農(nóng)業(yè)生產(chǎn)領(lǐng)域得到了普遍的應(yīng)用。利用知識圖譜構(gòu)建土壤肥力知識問答系統(tǒng)，能夠有效、快速獲取土壤肥力的相關(guān)數(shù)據(jù)，有助于開展精細(xì)化農(nóng)業(yè)生產(chǎn)。

關(guān)系抽取(Relation Extraction，RE)是知識圖譜構(gòu)建中的重要環(huán)節(jié)，具有關(guān)鍵的理論意義和豐富的應(yīng)用前景，為多種應(yīng)用提供重要的支持。關(guān)系抽取主要負(fù)責(zé)在命名實(shí)體識別的基礎(chǔ)上，抽取實(shí)體間的語義關(guān)系，組成實(shí)體A、關(guān)系、實(shí)體B的結(jié)構(gòu)形式。一個完整的RE系統(tǒng)包含3部分：實(shí)體識別(用于抽取文本中的實(shí)體)、實(shí)體鏈接(將抽取的實(shí)體和已有的知識圖譜關(guān)聯(lián))、關(guān)系分類(根據(jù)上下文對實(shí)體關(guān)系進(jìn)行分類)。

在中文土壤肥力相關(guān)的文本中，存在“一個文本中存在多種指標(biāo)類型”“有些存在關(guān)系的實(shí)體之間距離較遠(yuǎn)，抽取困難”“文本中對同一種指標(biāo)的描述方式不一樣”等問題，傳統(tǒng)的關(guān)系抽取方法效果一般，針對這類問題，筆者提出了一種基于PCNN-Attention的土壤肥力關(guān)系抽取方法，能夠較好適用于土壤肥力領(lǐng)域的文本，滿足土壤肥力知識圖譜系統(tǒng)構(gòu)建的需求。

1 相關(guān)研究

關(guān)系抽取的方法大致有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)及無監(jiān)督學(xué)習(xí)3類。其中監(jiān)督學(xué)習(xí)使用的數(shù)據(jù)集通常經(jīng)過完全正確的標(biāo)注，因此只需要對關(guān)系進(jìn)行分類即可。半監(jiān)督學(xué)習(xí)是通過人工部分標(biāo)注文本，從而構(gòu)建模板，通過模板選取實(shí)力組成訓(xùn)練集，這種方法受到模板構(gòu)建和規(guī)則的影響，會產(chǎn)生噪聲影響結(jié)果，從而使數(shù)據(jù)精確度較低。 無監(jiān)督學(xué)習(xí)不需要進(jìn)行人工標(biāo)注，而是利用語料中的冗余信息進(jìn)行聚類，通過結(jié)果判斷關(guān)系，但由于聚類方法對關(guān)系的描述不夠準(zhǔn)確，無監(jiān)督學(xué)習(xí)通常無法取得精確的關(guān)系抽取效果。

監(jiān)督學(xué)習(xí)方面，2013年Liu等提出了使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行關(guān)系抽取。與傳統(tǒng)方法相比，提高了準(zhǔn)確度。 2014年Zeng等改良此方法，對輸入的詞向量進(jìn)行預(yù)處理，同時加入了實(shí)體的詞匯特征，優(yōu)化了關(guān)系分類的效果。之后，Zhang等提出使用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行關(guān)系分類，效果顯著優(yōu)于卷積神經(jīng)網(wǎng)絡(luò)。Zhou 等借助長短期記憶人工神經(jīng)網(wǎng)絡(luò)，并添加注意力機(jī)制，提高了分類的準(zhǔn)確度。Zhu等嘗試將注意力機(jī)制與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，在英文數(shù)據(jù)集中取得了不錯的效果。在半監(jiān)督學(xué)習(xí)方面。2015年Zeng等借助多示例學(xué)習(xí)方法降低噪聲，并優(yōu)化了遠(yuǎn)程自動標(biāo)注導(dǎo)致的數(shù)據(jù)錯誤問題。雖然降低了噪聲對于關(guān)系分類的干擾，但也遺失了部分?jǐn)?shù)據(jù)。Lin等在此基礎(chǔ)上添加注意力機(jī)制，在降低噪聲影響的同時，提高了數(shù)據(jù)的利用率。

目前英文數(shù)據(jù)集上的關(guān)系抽取研究較為成熟，而因?yàn)橹形臄?shù)據(jù)集的缺失，中文關(guān)系抽取領(lǐng)域研究較薄弱。Wu等結(jié)合注意力機(jī)制和卷積神經(jīng)網(wǎng)絡(luò)嘗試進(jìn)行中文關(guān)系抽取，在中文文本數(shù)據(jù)上提升了準(zhǔn)確性。丁澤源等利用結(jié)合注意力機(jī)制的雙向長短期記憶網(wǎng)絡(luò)實(shí)現(xiàn)關(guān)系抽取，在中文生物醫(yī)學(xué)領(lǐng)域得到了不錯的結(jié)果。姚博文等針對中文人物關(guān)系領(lǐng)域的文本中語法結(jié)構(gòu)復(fù)雜，文本語義特征不明顯的問題，通過預(yù)訓(xùn)練模型較強(qiáng)的語義表征能力生成詞向量，并將文本句子分層次進(jìn)行特征提取，在中文人物關(guān)系數(shù)據(jù)集上驗(yàn)證了較好的準(zhǔn)確性。

從早期基于模式匹配的關(guān)系抽取到后來基于機(jī)器學(xué)習(xí)的關(guān)系抽取，實(shí)體關(guān)系抽取得到了廣泛的關(guān)注。目前隨著以深度學(xué)習(xí)為基礎(chǔ)的人工智能潮流席卷全球，自然語言處理也取得了突破進(jìn)展。深度學(xué)習(xí)下實(shí)體關(guān)系抽取有效改善了傳統(tǒng)標(biāo)注工具的自身缺陷，取得了良好的效果，并成為近些年研究的熱點(diǎn)與關(guān)鍵。然而實(shí)體關(guān)系抽取至今仍面臨許多挑戰(zhàn)，如實(shí)體語義關(guān)系的復(fù)雜性、句與句之間實(shí)體關(guān)系的模糊性、數(shù)據(jù)規(guī)模不足與模型學(xué)習(xí)能力的沖突等都制約著實(shí)體關(guān)系抽取的發(fā)展。

2 基于PCNN-Attention的關(guān)系抽取

采用PCNN-Attention模型實(shí)現(xiàn)關(guān)系抽取，模型結(jié)構(gòu)如圖1所示，包括BERT預(yù)訓(xùn)練語言模型、卷積層、分段池化層以及Softmax分類層。

圖1 模型結(jié)構(gòu)Fig.1 Model structure

本層的作用是對文本進(jìn)行向量化，與其他模型有所區(qū)別的是，該研究使用的PCNN模型同時考慮單個實(shí)體詞語義信息和每個實(shí)體詞與其他詞的相對位置，因此需要分為詞向量化和位置向量化2步，從而將輸入的文本轉(zhuǎn)化為向量形式，以便于計算機(jī)進(jìn)行處理。

訓(xùn)練數(shù)據(jù)集為中文土壤肥力領(lǐng)域文本，為了便于計算機(jī)的處理，利用BERT預(yù)訓(xùn)練語言模型進(jìn)行詞向量化，訓(xùn)練得到每個詞對應(yīng)的向量。

通過以下方法對句子向量化：首先，將句子拆分為數(shù)個單詞，并將2個實(shí)體詞作為基準(zhǔn)詞，將其在句子中的位置視為0，分別計算其他詞相對于基準(zhǔn)詞的位置。例如，“五蓮縣土壤全氮含量為0.82 g/kg”，可以分為“五蓮縣”“土壤”“全氮”“含量” “為”“0.82 g/kg”6個詞，其中“五蓮縣”和“0.82 g/kg”為實(shí)體詞，則其他詞關(guān)于“五蓮縣”的相對位置為[1，2，3，4，5]，關(guān)于“0.82 g/kg”的相對位置為[-5，-4，-3，-2，-1]。

首先將經(jīng)過BERT預(yù)訓(xùn)練語言模型處理的數(shù)據(jù)輸入本層進(jìn)行卷積，本層設(shè)計了3個卷積，每個卷積包含100個卷積核，卷積核的大小為1*3，1*5，1*7。

依據(jù)中文土壤肥力領(lǐng)域文本的特征，本層采用了GELU激活函數(shù)。設(shè)輸入為，公式為式(1)所示：

(1)

本層功能是將卷積層輸出結(jié)果進(jìn)行分段，再分別池化。由圖2可知，模型將句子按照實(shí)體詞的位置分段，分別為句首～實(shí)體1、實(shí)體1～實(shí)體2、實(shí)體2～句末，再分別進(jìn)行池化。

圖2 分段池化Fig.2 Segmented pooling

句子分段完成后，對3部分分別進(jìn)行填充，按照其中最長的1個分句的長度為基準(zhǔn)，分別對另外2部分進(jìn)行填充，并將填充的位置標(biāo)注為1，未填充的位置標(biāo)注為0。

由于句子被2個實(shí)體詞分為3段，每個卷積核的輸出同樣為3份，若設(shè)卷積核的數(shù)量是，本層的輸出向量是一個長度為3的向量，如式(2)所示：

(2)

為了防止模型過擬合，提高魯棒性，模型在分類前經(jīng)過Dropout層、ReLU層以及線性層處理池化層的輸出，然后對數(shù)據(jù)進(jìn)行降維操作，借助線性層將維度降到維，為關(guān)系類別。最后采用Softmax進(jìn)行關(guān)系的分類，通過輸入數(shù)組中第個節(jié)點(diǎn)的值和節(jié)點(diǎn)的個數(shù)，即分類的類別數(shù)，得到Softmax函數(shù)的輸出值，如式(3)所示：

(3)

注意力機(jī)制(Attention Mechanism)是深度學(xué)習(xí)的核心技術(shù)之一，該技術(shù)參考了人類視覺系統(tǒng)的選擇性注意機(jī)制，人類視覺可以快速掃描目標(biāo)，從而獲取目標(biāo)中的重點(diǎn)區(qū)域，對其投入更多注意力資源，以獲得更多關(guān)注目標(biāo)的細(xì)節(jié)，而抑制其他無用信息，提高了視覺信息處理的效率與準(zhǔn)確性。借助此機(jī)制，在文本數(shù)據(jù)中可對數(shù)據(jù)進(jìn)行權(quán)重分配，通過信息的重要性來確定權(quán)重，給予重要信息更高的權(quán)重分配，導(dǎo)致其對關(guān)系抽取產(chǎn)生更大的影響，從而提升關(guān)系抽取效果，具體過程如式(4)、(5)、(6)：

=()

(4)

(5)

(6)

式中，為輸入狀態(tài)序列，是學(xué)習(xí)函數(shù)，受到的影響。通過該公式，可以視為計算的加權(quán)平均，從而確定權(quán)值，將其視為注意力。最后，通過該注意力權(quán)值對序列的隱含向量進(jìn)行加權(quán)，從而計算出關(guān)系向量。該向量則為通過注意力機(jī)制優(yōu)化的輸出向量。

3 結(jié)果與分析

通過中國知網(wǎng)精確檢索土壤肥力相關(guān)文獻(xiàn)構(gòu)建實(shí)驗(yàn)數(shù)據(jù)集，檢索式為SU=(土壤)*(肥力+測土配方+土壤養(yǎng)分+全氮+全磷+全鉀+pH+有效磷+有效氮+有機(jī)質(zhì)+黏粒+砂粒+粉粒)NOT TI=(訂閱+訂購+征文+征稿+稿約+聲明+啟事+通知+須知+通訊+論文索引)，選取下載1980年至2021年土壤肥力相關(guān)文獻(xiàn)共計1 036篇，并對文獻(xiàn)中土壤肥力水平十大指標(biāo)(pH、全氮、全磷、全鉀、有效氮、有效磷、有機(jī)質(zhì)、粉粒、黏粒、砂粒)進(jìn)行標(biāo)注，從而形成文本數(shù)據(jù)集。其中訓(xùn)練集725篇，測試集311篇。

試驗(yàn)環(huán)境如下：操作系統(tǒng)為Windows 10；CPU為Intel(R)Xeon(R)Bronze 3106 CPU @1.70 GHz；GPU為NVIDIA GeForce RTX 2080 Ti(11G)；Python為3.7.3；TensorFlow為1.14.0；內(nèi)存為32 G。參數(shù)設(shè)置如表1所示。

表1 參數(shù)設(shè)置Table 1 Parameter setting

分別采用準(zhǔn)確率、召回率以及值3組數(shù)據(jù)評價模型性能，具體公式如式(7)、(8)、(9)：

(7)

(8)

(9)

式中，為被正確地劃分為正例的樣本數(shù)，為被錯誤地劃分為負(fù)例的樣本數(shù)，被錯誤地劃分為正例的樣本數(shù)。

在上述試驗(yàn)設(shè)置下，通過PCNN-Attention模型對7種關(guān)系進(jìn)行提取，具體結(jié)果如表2所示。從結(jié)果數(shù)據(jù)中可以看出，準(zhǔn)確率、召回率、值的宏平均值分別達(dá)到了85%、78%、80%，加權(quán)平均值分別達(dá)到了89%、89%、88%，證明該模型能夠有效提取土壤肥力相關(guān)的7種關(guān)系，能夠滿足土壤肥力知識圖譜系統(tǒng)構(gòu)建的需求。

4 結(jié)語

針對中文土壤肥力文本中指標(biāo)類型較多，語法結(jié)構(gòu)較為復(fù)雜，同一指標(biāo)描述方式不同等問題，提出一種基于PCNN-Attention的土壤肥力關(guān)系抽取模型，該模型先結(jié)合BERT預(yù)訓(xùn)練語言模型進(jìn)行文本的向量化，再利用分段卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)關(guān)系抽取，并在此基礎(chǔ)上添加了注意力機(jī)制，以提高關(guān)系分類的準(zhǔn)確性。在中文土壤肥力相關(guān)文獻(xiàn)數(shù)據(jù)集上對模型進(jìn)行試驗(yàn)，試驗(yàn)結(jié)果數(shù)據(jù)顯示，該模型在中文土壤肥力領(lǐng)域，對土壤肥力相關(guān)數(shù)據(jù)指標(biāo)能夠有效進(jìn)行關(guān)系抽取，具有較為可靠的準(zhǔn)確率，能夠滿足土壤肥力知識圖譜系統(tǒng)構(gòu)建的需求。

表2 不同指標(biāo)準(zhǔn)確率和召回率的比較Table 2 Comparison of accuracies and recall rates of different indexes %