任 媛，于 紅，楊 鶴，劉巨升，楊惠寧，孫哲濤，張思佳，劉明劍，孫 華

融合注意力機制與BERT+BiLSTM+CRF模型的漁業(yè)標準定量指標識別

任 媛，于 紅※，楊 鶴，劉巨升，楊惠寧，孫哲濤，張思佳，劉明劍，孫 華

（1. 大連海洋大學信息工程學院，大連 116023；2. 設施漁業(yè)教育部重點實驗室，大連 116023；3. 遼寧省海洋信息技術重點實驗室，大連 116023）

在漁業(yè)標準文本中，定量指標識別對標準內(nèi)容服務具有重要的意義，針對目前常用的命名實體識別方法對漁業(yè)標準定量指標識別準確率不高的問題，該研究提出了融合注意力機制與BERT+BiLSTM+CRF（Bidirectional Encoder Representations from Transformers + Bi-directional Long Short-Term Memory + Conditional Random Field，來自轉換器的雙向編碼器表征量+雙向長短時記憶網(wǎng)絡+條件隨機場）模型的漁業(yè)標準定量指標識別方法，該方法將漁業(yè)標準中定量指標拆分為指標名、指標值、單位、限制詞4類實體，通過分析漁業(yè)標準語料的特點發(fā)現(xiàn)位置信息對指標名等實體識別效果具有重要影響，首先利用BERT模型中位置向量信息提高指標名等實體的識別效果，其次采用BiLSTM（Bi-directional Long Short-Term Memory，雙向長短時記憶網(wǎng)絡）模型學習漁業(yè)標準文本定量指標中長序列語義特征，然后再將注意力機制與BERT+BiLSTM模型進行融合以解決長序列語義稀釋問題，最后利用CRF（Conditional Random Field，條件隨機場）層得到預測序列標簽。試驗結果表明，融合注意力機制與BERT+BiLSTM+CRF模型的漁業(yè)標準定量指標識別準確率為94.51%、召回率為96.37%、1值為95.43%，研究表明，該方法解決了漁業(yè)標準定量指標識別準確率不高的問題，可以比較準確地識別由指標名、指標值、單位、限制詞組成的漁業(yè)標準定量指標，是一種有效的漁業(yè)標準定量指標識別方法，可為農(nóng)業(yè)、醫(yī)學、生物等其他領域定量指標命名實體識別提供新思路。

漁業(yè)；標準；模型；定量指標；BERT；注意力機制；BiLSTM；命名實體識別

0 引 言

漁業(yè)標準信息服務是實現(xiàn)漁業(yè)標準化生產(chǎn)的基礎，基于標準內(nèi)容服務的漁業(yè)標準精準服務是提高漁業(yè)生產(chǎn)效益、提升漁業(yè)管理能力和決策水平的有效手段[1-3]。但目前漁業(yè)標準服務主要通過關鍵字匹配方式進行，無法實現(xiàn)基于內(nèi)容的標準服務，因此不能滿足精準服務需求?；谥R圖譜的領域信息服務是領域知識精準服務的主流方法，在農(nóng)業(yè)、醫(yī)學等領域得到了廣泛應用[4-6]。要實現(xiàn)漁業(yè)標準信息精準服務，需要構建漁業(yè)標準知識圖譜，漁業(yè)標準命名實體識別是漁業(yè)標準知識圖譜構建的基礎[7]。漁業(yè)標準指標是漁業(yè)標準命名實體的重要組成部分，定量指標是其中最重要內(nèi)容之一，定量指標識別的準確性直接影響漁業(yè)標準命名實體的識別效果，進而影響漁業(yè)標準知識圖譜的構建質(zhì)量。因此，需要研究有效的漁業(yè)標準定量指標識別算法，以實現(xiàn)漁業(yè)標準定量指標的自動提取，為基于標準內(nèi)容服務的標準信息精準服務提供數(shù)據(jù)支撐。

早期命名實體識別主要是基于規(guī)則和詞典的方法，王沖等利用敏感詞規(guī)則方法對用戶的真實對話意圖進行識別，解決了分詞結果不準確帶來的錯誤傳導問題，取得較好的效果[8]。該類方法主要依賴于專家制定規(guī)則，對語料庫要求較高，對詞典和規(guī)則依賴性較強，對詞典中存在的或規(guī)則中涵蓋的實體識別效果較好，但不能識別復雜實體。為解決復雜實體識別效果不好的問題，向曉雯等采用統(tǒng)計與規(guī)則結合的方法進行實體識別，利用隱馬爾可夫模型進行實體識別，效果有明顯提升，但無法有效解決實體歧義問題[9]。深度學習具有自主學習特征的能力，自2006年被提出以來，已被廣泛應用于命名實體識別[10]。Majtner等采用深度學習方法對醫(yī)學領域的黑色腫瘤類別實體進行識別，解決了人工提取特征效率不高的問題，取得了較好的識別效果，但是該方法無法有效解決復雜實體識別和實體嵌套問題[11]；賀琳等提出使用CNN+BiGRU+CRF（Convolutional Neural Network+ Bi- directional Gated Recurrent Unit+Conditional Random Field，卷積神經(jīng)網(wǎng)絡+雙向門控循環(huán)網(wǎng)絡+條件隨機場）模型對外來海洋生物實體進行識別，解決了外來海洋生物領域?qū)嶓w復雜且實體間存在嵌套導致實體識別效果較差的問題[12]；BERT（Bidirectional Encoder Representations from Transformers，來自轉換器的雙向編碼器表征量）模型被提出之后[13]，杜琳等利用BERT與BiLSTM（Bi-directional Long Short-Term Memory，雙向長短時記憶網(wǎng)絡）融合注意力機制對中醫(yī)藥文本進行識別，解決了中醫(yī)文本利用率低、識別有效信息效果差的問題[14]。文獻[11-14]中的方法對實體類別數(shù)量較少情況的效果較好，但是漁業(yè)領域?qū)嶓w類別較多，不能直接上述方法使用。

為解決漁業(yè)領域命名實體識別問題，孫娟娟等提出基于深度學習的漁業(yè)領域命名實體識別方法，在漁業(yè)領域命名實體識別任務中取得了較好的效果，但該方法主要針對較寬范圍的漁業(yè)領域命名實體識別，沒考慮漁業(yè)標準命名實體存在的實體特征不明顯、語義序列較長等問題[15]。程名等提出了融合注意力機制和BiLSTM+CRF漁業(yè)標準命名實體識別方法，該方法對漁業(yè)標準號和漁業(yè)標準定性指標識別取得了較好的效果[7]。但對具有特殊結構的定量指標識別效果不夠好，存在準確率和召回率偏低的問題。因此，需要在研究漁業(yè)標準定量指標命名實體結構特點的基礎上，研究有效的漁業(yè)標準定量指標實體識別方法。

針對以上問題，本研究在分析漁業(yè)標準定量指標結構特性的基礎上，研究漁業(yè)標準定量指標實體分解方法和語料標注方法，將漁業(yè)標準定量指標分解為指標名、指標值、單位、限制詞等4類實體，提出了融合注意力機制與BERT+BiLSTM+CRF模型的漁業(yè)標準定量指標識別方法，并進行試驗驗證，以實現(xiàn)對漁業(yè)標準定量指標有效識別。

1 材料和方法

1.1 數(shù)據(jù)來源與特點分析

1.1.1 數(shù)據(jù)來源

試驗數(shù)據(jù)來源于漁業(yè)領域真實生產(chǎn)中采用的標準，從“大連市漁業(yè)標準體系化服務與決策系統(tǒng)平臺”漁業(yè)標準數(shù)據(jù)庫中下載了300余篇涵蓋國標、行標、地標的水產(chǎn)養(yǎng)殖種質(zhì)、育苗、養(yǎng)殖等漁業(yè)標準，語料庫約36萬余字符。

1.1.2 漁業(yè)標準定量指標結構特性分析

1）漁業(yè)標準定量指標的組成元素及分布特性

對300多篇漁業(yè)標準進行分析發(fā)現(xiàn)，在漁業(yè)標準中，存在很多定量描述內(nèi)容，例如：“溫度不高于18 ℃”、“孔徑40 mm-80 mm”等，通過對這些定量描述分析發(fā)現(xiàn)：漁業(yè)標準定量指標不是由單一實體構成，而是由幾個不同類別實體構成，主要包括指標名、指標值、單位、限制詞4個部分，例如上例中“溫度”是指標名、“不高于”是限制詞、“18”是指標值、“℃”是單位，因為定量指標中既包含文字又包含數(shù)字和單位，并且組合方式也不同，很難找到固定模式，將漁業(yè)標準定量指標作為一個整體進行識別準確率和召回率較低，因此需要將漁業(yè)標準定量指標進行拆分。

通過對36余萬字符的漁業(yè)標準語料庫數(shù)據(jù)進行統(tǒng)計分析發(fā)現(xiàn)，漁業(yè)標準定量指標的基礎實體包含指標名、指標值、限制詞和單位4個類別，其中每一類基礎實體在漁業(yè)標準文本中出現(xiàn)的頻率都較高，上述4類實體字符占文本總量約10.7%，其中各類別實體數(shù)量及分布如表1所示。

表1 實體數(shù)據(jù)分布

從以上統(tǒng)計結果可以看出，雖然不能將漁業(yè)標準定量指標作為一個整體進行實體識別，但是只要能識別出其中的基礎實體以及基礎實體之間的位置關系，就可以把這一個定量指標實體識別出來。因此，將漁業(yè)標準定量指標分解為指標名、指標值、單位、限制詞4類基礎實體，然后分別把這4類實體作為單獨的實體進行識別，這樣每一類標簽都有明顯特征，可以提高每一類實體的識別準確率，進而提高定量指標的識別準確率。

2）漁業(yè)標準定量指標的結構形態(tài)

雖然漁業(yè)標準定量指標主要由指標名、指標值、限制詞和單位等4種基礎實體構成，但是它們的結構形態(tài)存在差異，要想準確識別每一類實體，需要了解它們的結構形態(tài)，通過對36余萬字符漁業(yè)標準語料庫數(shù)據(jù)進行分析發(fā)現(xiàn)，漁業(yè)標準定量指標的結構形態(tài)主要包括5種典型的形態(tài)，具體形態(tài)如表2所示。每一類形態(tài)中，這4類實體都具有固定的位置關系，因此，位置信息對漁業(yè)標準定量指標實體識別具有重要的作用。

表2 實體結構特征實例

1.1.3 漁業(yè)標準定量指標標注方法

語料標注是命名實體識別的重要步驟，不同特點的語料需要采用不同的標注方法。命名實體識別一般采用BIO（Begin Inside Other，開始中間其他）方法進行語料標注[16]，但漁業(yè)標準定量指標由4部分組成，基本的BIO方法無法表達漁業(yè)標準定量指標，因此需要根據(jù)定量指標命名實體的結構特點設計一種有效的標注方法。本研究借鑒并擴展了BIO標注方法的基本思想[17]，在BIO基礎上擴展類別信息，與其他標注類別不同的是根據(jù)漁業(yè)標準定量指標的組成元素和結構形態(tài)給出了標簽類別定義。標簽類別定義如表3所示。指標名、指標值、單位、限制詞的表現(xiàn)形式分別用NAM、FIG、UUU、LIM表示。

表3 標簽類別定義

1.2 融合注意力機制與BERT+BiLSTM+CRF的漁業(yè)標準定量指標識別模型

1.2.1 模型總體架構設計

由1.1.2的漁業(yè)標準定量指標命名實體具有結構差異性和形態(tài)多樣性等特點，如果將定量指標作為整體進行識別，可能會因為由多個部分組合起來的定量指標在語料中出現(xiàn)頻率較低導致識別效果不好，因此，提出將定量指標進行拆分識別的方法。由于漁業(yè)標準定量指標中各類實體出現(xiàn)的位置有一定的規(guī)律性，因此位置信息對拆分后的實體識別至關重要；此外，由于與漁業(yè)標準定量指標識別相關的字符序列較長，因此實體識別時需要進行長序列語義特征學習；而長序列語義特征學習可能會帶來語義稀釋問題，因此需要采用有效的方法解決該問題；沒有規(guī)范性約束的實體標簽中可能由于不規(guī)范標簽的存在導致識別效果不好，因此需要進行標簽規(guī)范性約束。綜合上述分析，在設計漁業(yè)標準定量指標識別模型時需綜合考慮位置信息利用、長序列語義特征學習、語義稀釋問題解決、標簽規(guī)范性約束等因素。

對常用的深度學習模型進行綜合研究發(fā)現(xiàn)，BERT模型具有預測推斷位置向量和結構信息的能力；BiLSTM在確保短序列語義學習效果的基礎上增加了學習長序列語義的能力；注意力機制增強特征詞的權重，可以解決特征詞語義稀釋問題；CRF具備對標簽進行約束的能力。因此設計了融合注意力機制與BERT+BiLSTM+CRF的漁業(yè)標準定量指標識別模型。

模型總體架構如圖1所示。共分為4層網(wǎng)絡模型，從表 2可以看出，實體組合方式不同，存在指標名在指標值前，和指標名在指標值后的情況，需要學習表示實體之間相互關系的位置向量，為后面的語義理解打下基礎，因此將BERT層作為第一層，先利用預訓練的BERT模型對語料進行初始化，然后將BERT層與BiLSTM結合，將BERT模型輸出位置和結構信息向量作為雙向長短時記憶神經(jīng)網(wǎng)絡各個時間點的輸入，送入BiLSTM模型中，為了強化位置信息作用，同時將位置向量和字向量輸入BiLSTM模型，經(jīng)過雙向處理后，輸出結果同時具備長時記憶和短時記憶。此時，由于長時記憶和短時記憶權重不同，可能引起長序列語義稀釋問題，用注意力層處理BiLSTM模型的輸出結果可以提升重點詞語在句子中的權重，使模型將注意力集中在目標實體上，降低其他無關詞作用。CRF層計算注意力層的輸出得到最優(yōu)結果，轉化成序列標簽得到最終預測結果。

1.2.2 BERT層

BERT是一個預訓練模型[18-21]，具有預測上下文信息、提供位置信息的作用。在漁業(yè)標準定量指標命名實體識別任務中，位置和語義信息起到關鍵作用，而一般的語言模型不能很好理解句子之間的關系，漁業(yè)標準定量指標需要模型學習上下文信息和結構特征，所以采用BERT模型進行漁業(yè)標準定量指標識別。

BERT能夠計算詞語之間的相互聯(lián)系，利用計算到的權重提取出文本關鍵特征，并且利用自注意力機制進行預訓練，相比于其他預訓練模型，可以深層次理解上下文信息，捕捉到文本的結構特點。

BERT模型輸入的是字向量和位置向量的總和[22]。字向量可以表示模型中關于字的主要信息，因為自注意力機制不能記住時序信息，所以加入位置向量可以提升識別的準確性。BERT模型輸入實例如圖2所示，輸入向量由字向量與位置向量的和構成。

1.2.3 BiLSTM模型

通過對漁業(yè)標準定量指標分析發(fā)現(xiàn)，漁業(yè)標準定量指標中指標名實體長短不一，最長實體可達8個字符，上下文存在較強的依賴關系，基于循環(huán)神經(jīng)網(wǎng)絡的LSTM可以把長依賴轉化成短依賴并且計算出依賴的概率[23]，可以有效利用上一時刻特征判斷下一時刻特征，所以LSTM網(wǎng)絡實現(xiàn)了漁業(yè)標準定量指標識別任務的長序列記憶功能。在漁業(yè)標準定量指標中，例如“大腸桿菌含量小于230 MPN/100 g”其中“大腸桿菌含量”是指標名，“小于”是限制詞，“230”是指標值，“MPN/100 g”是單位，此時指標名字符較長，而LSTM網(wǎng)絡可以解決長序列的問題。

但后一時刻詞權重大于當前時刻詞權重是LSTM網(wǎng)絡存在的問題[24]。所以采取雙向長短時記憶網(wǎng)絡BiLSTM（正向LSTM與反向LSTM結合）對漁業(yè)標準定量指標進行識別，不僅可以解決長期依賴問題，還可以解決后一時刻權重大于當前時刻權重問題。

1.2.4 注意力機制

注意力機制的靈感來源于人類觀察事物時的狀態(tài)，當人觀察事物時，會將注意力集中在某些具有特殊特征事物上，忽略特殊特征外的其他事物。注意力機制利用這一原理可以精準、快速地學習漁業(yè)標準文本信息，BiLSTM模型存在長序列前端語義稀釋問題，輸出的特征向量信息不夠準確，導致識別的實體標簽信息錯誤。

注意力機制本質(zhì)是權重分配，通過計算詞與詞之間的關聯(lián)程度，獲取詞語結構信息。在漁業(yè)標準定量指標識別模型中引入注意力機制，可以生成不斷變化的語義向量使模型關注重點詞，抑制無用詞，可以有效解決BiLSTM網(wǎng)絡生成固定的語義向量導致長序列前端語義稀釋的問題。

注意力層用來獲取句子級別信息[25]，可以提取長距離依賴信息，并對編碼層信息進行整合。注意力層主要計算注意力權重向量r，其定義如式（1）所示。

式中y表示BiLSTM 層輸出的特征序列，b表示文檔中詞語之間的相關性概率分布，其定義如式（2）所示。

式中w和w表示文檔中的第個詞和第個詞,是文檔中詞的個數(shù)，( w，w)表示采用詞w與詞w 的相似性得分，( w，w)表示詞w與文檔中任意詞w的相似性得分。

例如：想要判斷“池塘的面積”中的指標名實體，需要根據(jù)公式計算注意力權重向量，假設模型計算結果為：“池塘”權重為0.2，“的”權重為0.1，“面積”權重為0.7，選擇最大權重實體，因此“面積”被選為指標名實體。

通過注意力層處理BiLSTM層輸出的特征序列，得到當前詞與序列中其他詞的相關性，獲取全局特征表示，然后將加入注意力機制的特征序列送入CRF中進行標簽的預測。

1.2.5 CRF層

經(jīng)過BERT層、BiLSTM層以及注意力層處理后向量需要進行序列標注，無約束的標注可能給出錯誤的標簽，為了解決這一問題，加入CRF層對標簽進行約束。CRF層能從訓練數(shù)據(jù)中獲得約束性規(guī)則，可以為最后預測的標簽添加約束，保證預測標簽合法性[26]。在訓練過程中，這些約束可以通過CRF層自動學習，具體約束有兩點。

1）句子中第一個詞總是以標簽“B-”或“O”開始，而不是“I-”。

2）標簽“B-L1 I-L2 I-L3 I-…”，其中L1、L2、L3實體標簽類型是一樣的。例如“B-LIM I-LIM I-LIM”是合法序列標簽，“B-UUU I-FIG”就是不合法序列標簽。定義這些約束條件，使預測不合法的序列標簽出現(xiàn)概率降低，可以提升整體識別的準確率。

2 試驗設計與結果分析

2.1 試驗設計

1）試驗環(huán)境

研究試驗的硬件環(huán)境為intel xeon E5-2630 v3 2.4 GHZ處理器，6 GB內(nèi)存，操作系統(tǒng)為 Ubuntu 16.04 LTS 64 bit，GPU為GTX2080Ti。搭建依賴環(huán)境為python3+tensorflow1.12。

2）試驗數(shù)據(jù)

試驗將36余萬字符分為兩部分，將試驗數(shù)據(jù)80%作為訓練集，20%的數(shù)據(jù)作為測試集進行試驗。

3）試驗方案

首先，BiLSTM+CRF模型是命名實體識別領域的基線（baseline）模型，一般的命名實體識別算法都與該模型進行比較，因此設計了與BiLSTM+CRF模型的比較試驗；其次，此前程名等對漁業(yè)標準指標進行了識別，取得了一定效果，但是未能有效識別漁業(yè)標準定量指標[7]，本研究是為了解決程名等提出的模型不能有效識別漁業(yè)標準定量指標這一問題而提出的，因此設計了與程名等提出的融合注意力與BiLSTM+CRF模型的比較試驗；最后，為了比較注意力機制對識別結果的影響，分別設計了BERT+BiLSTM+CRF模型試驗以及融合注意力與BERT+BiLSTM+CRF模型試驗，因此總共設計了4個模型試驗。此外，因為漁業(yè)標準定量指標中包括4類實體，每類實體具有不同特點，為了比較不同實體的識別效果，設計了不同類別實體識別效果比較試驗。

4）試驗結果評價方法

目前，在命名實體識別任務中，評價模型效果的指標主要包括準確率、召回率和1值[27]，因為漁業(yè)標準命名實體識別任務的目標是自動識別文本中的命名實體，為知識圖譜構建提供數(shù)據(jù)，命名實體識別的準確率、召回率將直接影響知識圖譜的構建質(zhì)量，因此選擇準確率、召回率和1值作為漁業(yè)標準命名實體識別任務的性能評價指標。

2.2 試驗步驟

在試驗過程中，參數(shù)優(yōu)化是關鍵步驟。需要依次改變模型中某個參數(shù)，其余參數(shù)固定不變，對測試集進行訓練進行最優(yōu)化探索，最終獲得實體識別效果較好的模型參數(shù)。主要修改學習率、迭代次數(shù)（Epoch）、失活率（Dropout）、隨機初始化向量和優(yōu)化器。學習率越大，損失函數(shù)越大，識別效果越差，但學習率過小會使收斂速率降低，導致識別速率減慢；完成1次完整模型訓練就是1次迭代，但是由于1次迭代并不能保證學習效果最好所以需要多次迭代，迭代次數(shù)表示模型學習效果最好的次數(shù)；失活率過大則導致模型不收斂，過小則導致模型收斂特別慢或者無法學習，因此需要設置合適的失活率；初始化向量就是將數(shù)據(jù)分為數(shù)據(jù)塊，且固定大小的數(shù)據(jù)塊；優(yōu)化器用來更新和計算影響模型訓練和模型輸出的網(wǎng)絡參數(shù)，使其逼近或達到最優(yōu)值[28]。

通過對訓練集的數(shù)據(jù)進行參數(shù)訓練，得到最優(yōu)訓練參數(shù)如下：學習率為0.001，迭代次數(shù)為40，失活率為0.5，向量維為300，優(yōu)化器為Adam。

2.3 試驗結果與分析

2.3.1 模型綜合性能比較試驗

對BiLSTM+CRF模型、融合注意力+BiLSTM+CRF模型、BERT+BiLSTM+CRF模型和融合注意力與BERT+ BiLSTM+CRF模型進行了試驗，所有模型試驗的訓練數(shù)據(jù)、測試數(shù)據(jù)均采用同一數(shù)據(jù)集，試驗結果如表4所示。

表4 不同模型試驗結果對比

從表4可以看出，無論是BiLSTM+CRF模型還是BERT+BiLSTM+CRF模型，加入注意力機制后，識別的準確率、召回率、1值分別為91.73%、89.64%、90.78%和94.51%、96.37%、95.43%，說明用注意力機制增加對漁業(yè)標準定量指標中各類實體的權重可以有效提升識別效果；在BiLSTM+CRF模型的基礎上加入BERT模型后，識別效果顯著提升，準確率、召回率、1值分別為92.89%、96.08%、94.46%，說明位置信息在漁業(yè)標準定量指標識別過程中具有重要作用，加入BERT預訓練語言模型后，增加了表達位置的信息，使得識別效果提升幅度較大。提出的融合注意力機制與BERT+BiLSTM+CRF模型識別結果優(yōu)于其他模型，與融合注意力+BiLSTM+CRF模型相比，準確率、召回率、1值分別提升2.78、6.73、4.65個百分點，與BERT+BiLSTM+CRF模型相比，準確率、召回率和1值分別提升1.62、0.25和0.97個百分點，說明位置信息和實體權重信息同樣重要，在BiLSTM+CRF模型的基礎上，加入注意力機制和BERT模型既提供實體自身權重，又突出了位置信息權重，使模型更準確地識別定量指標。

2.3.2 不同類別實體識別效果比較試驗

為進一步評價各類定量指標實體的識別效果，將4組模型進行對比試驗，分別對指標名、指標值、單位、限制詞4類不同實體進行識別，試驗結果如表5所示。

從試驗結果可知，4類實體的識別結果中，指標值、單位、限制詞的識別結果較好，而指標名的識別結果較差，因為這3類實體大多是由數(shù)字以及特殊符號構成，與上下文的文字相比，實體特征較為明顯，結合位置信息進行識別，識別的準確率、召回率較高；而指標名完全由文字構成，與上下文的文字相似度較高，需要先進行與上下文之間的邊界劃分，再進行實體識別，邊界劃分導致的錯誤會傳遞給實體識別任務，進而降低識別的準確性，因此整體識別效果不好。

綜合上述試驗，融合注意力機制與BERT+ BiLSTM+CRF模型的識別效果優(yōu)于其他3個模型，識別的準確率接近95%，召回率、1值均超過95%，與BERT+BiLSTM+CRF命名實體識別模型相比，采用注意力機制可以高效分配注意力資源，有選擇地關注相關信息，更精準地學習特征信息，注意力機制通過計算時序向量進行加權，將權重作為特征向量的方法，解決了BiLSTM模型梯度消失問題，1值有明顯提升。與程名等[7]采用融合注意力機制和BiLSTM+CRF的漁業(yè)標準命名實體識別模型相比，提出的模型結合字向量、位置向量、句子特征進行識別，并使用BERT模型的自注意力機制進行預訓練，BERT模型中的Transformer層采用雙向編碼器表示能夠很好地增強文本上下文記憶[29]，使準確率、召回率、1值均有提升，經(jīng)試驗證明，該模型在漁業(yè)標準定量指標命名實體識別結果有較大提升。

表5 不同模型類別結果對比

3 結 論

1）本研究針對漁業(yè)標準定量指標由多個基礎實體組成且實體結構差異性大等問題，提出了實體拆分的方法，將定量指標拆分為指標名、指標值、單位、限制詞4類基礎實體進行識別，有效解決了漁業(yè)標準定量指標實體識別困難的問題。

2）針對漁業(yè)標準文本中定量指標識別準確率不高的問題，設計了融合注意力機制與BERT+BiLSTM+CRF模型的漁業(yè)標準定量指標識別方法，與程名等提出的融合注意力機制和BiLSTM+CRF模型的漁業(yè)標準命名實體識別方法相比，提出的模型結合字向量、位置向量、句子特征進行識別，并使用BERT模型的自注意力機制進行預訓練，采用雙向編碼器方式增強了文本上下文記憶，識別效果得到了明顯提升，識別的準確率為94.51%、召回率為96.37%、1值為95.43%，解決了漁業(yè)標準定量指標識別準確率不高的問題，是一種有效的漁業(yè)標準定量指標識別方法，也為農(nóng)業(yè)、醫(yī)學、生物等其他領域的定量指標命名實體識別提供了新思路。

雖然本研究已經(jīng)提升了漁業(yè)標準定量指標實體識別問題，但由于實體邊界不清晰導致指標名類別實體的識別效果依然不夠理想，下一步需要研究一種方法有效解決實體邊界不清晰導致錯誤傳遞的問題。

[1] 任酉貴. 遼寧省海洋漁業(yè)綜合管理數(shù)據(jù)服務平臺建設概述[J]. 海洋信息，2019，34(2)：57-61.

Ren Yougui. The construction of liaoning oceans and fisheries management data service platform based on big spatial data[J]. Ocean Information, 2019, 34(2): 57-61. (in Chinese with English abstract)

[2] 于紅，馮艷紅，李晗，等. 漁業(yè)標準體系化服務與決策系統(tǒng)研究[J]. 大連海洋大學學報，2019，34(2)：260-266.

Yu Hong, Feng Yanhong, Li Han, et al. Establishment of a systematic service and assistant decision-making system for fishery standard[J]. Journal of Dalian Ocean University, 2019, 34(2): 260-266. (in Chinese with English abstract)

[3] 劉亞迪，余連祥，冷華南. 鄉(xiāng)村振興戰(zhàn)略背景下現(xiàn)代漁業(yè)發(fā)展優(yōu)勢、問題及政策分析：以浙江省湖州市南潯區(qū)漁業(yè)發(fā)展為例[J]. 海洋湖沼通報，2020(5)：155-163.

Liu Yadi, Yu Lianxiang, Leng Huanan. Analysis of advantages, problems and policies of modern fishery development in the context of rural revitalization strategy: Take Nanxun District, Huzhou, Zhejiang Province as an example[J]. Bulletin of Oceans and Lakes, 2020(5): 155-163. (in Chinese with English abstract)

[4] 吳賽賽，周愛蓮，謝能付，等. 基于深度學習的作物病蟲害可視化知識圖譜構建[J]. 農(nóng)業(yè)工程學報，2020，36(24)：177-185.

Wu Saisai, Zhou Ailian, Xie Nengfu, et al. Construction of visual knowledge graph of crop diseases and insect pests based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(24): 177-185. (in Chinese with English abstract)

[5] 張善文，王振，王祖良. 結合知識圖譜與雙向長短時記憶網(wǎng)絡的小麥條銹病預測[J]. 農(nóng)業(yè)工程學報，2020，36(12)：172-178.

Zhang Shanwen, Wang Zhen, Wang Zuliang. Prediction of wheat srtipe rust disease by combining knowledge graph and bidirectional long short-term memory network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(12): 172-178. (in Chinese with English abstract)

[6] 奧德瑪，楊云飛，穗志方，等. 中文醫(yī)學知識圖譜 CMeKG構建初探[J]. 中文信息學報，2019，33(10)：1-9.

Ao Dema, Yang Yunfei, Sui Zhifang, et al. Preliminary study on the construction of Chinese medical knowledge graph[J]. Journal of Chinese Information Processing, 2019, 33(10): 1-9. (in Chinese with English abstract)

[7] 程名，于紅，馮艷紅，等. 融合注意力機制和BiLSTM+CRF的漁業(yè)標準命名實體識別[J]. 大連海洋大學學報，2020，35(2)：296-301.

Cheng Ming, Yu Hong, Feng Yanhong, et al. Research on named entity labeling and recognition of fishery standards[J]. Journal of Dalian Ocean University, 2020, 35(2): 296-301. (in Chinese with English abstract)

[8] 王沖，張虎，王鑫，等. 融合敏感詞規(guī)則和字符級RCNN模型的用戶意圖識別[J]. 計算機應用與軟件，2020，37(3)：160-165.

Wang Chong, Zhang Hu, Wang Xin, et al. User intention recognition based on sensitive word rules and character-level RCNN model[J]. Computer Applications and Software, 2020, 37(3): 160-165. (in Chinese with English abstract)

[9] 向曉雯，史曉東，曾華琳. 一個統(tǒng)計與規(guī)則相結合的中文命名實體識別系統(tǒng)[J]. 計算機應用，2005(10)：2404-2406.

Xiang Xiaowen, Shi Xiaodong, Zeng Hualin. A Chinese named entity recognition system using statistics-based and rules-based method[J]. Computer Applications, 2005(10): 2404-2406. (in Chinese with English abstract)

[10] Li Lishuang, Jiang Yuxin. Integrating language model and reading control gate in BLSTM-CRF for biomedical named entity recognition[J]. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 2020, 17(3): 841-846.

[11] Majtner T, Yildirim-Yayilgan S, Hardeberg J Y . Combining deep learning and hand-crafted features for skin lesion classification[C]// 2016 Sixth International Conference on Image Processing Theory, Tools and Applications (IPTA). IEEE, 2017(10): 12-15.

[12] 賀琳，張雨，巴韓飛. 基于CNN-BiGRU-CRF模型的外來海洋生物實體識別[J]. 大連海洋大學學報，2020，194：1-10.

He Lin, Zhang Yu, Ba Hanfei. Recognition of alien marine organisms based on CNN-BiGRU-CRF model[J]. Journal of Dalian Ocean University, 2020, 194: 1-10. (in Chinese with English abstract)

[13] 毛明毅，吳晨，鐘義信，等. 加入自注意力機制的BERT命名實體識別模型[J]. 智能系統(tǒng)學報，2020，84(4)：146-153.

Mao Mingyi, Wu Chen, Zhong Yixin, et al. BERT named entity recognition model with self-attention mechanism[J]. Journal of Intelligent Systems, 2020, 84(4): 146-153. (in Chinese with English abstract)

[14] 杜琳，曹東，林樹元，等. 基于BERT與Bi-LSTM融合注意力機制的中醫(yī)病歷文本的提取與自動分類[J]. 計算機科學，2020，47(S2)：416-420.

Du Lin, Cao Dong, Lin Shuyuan, et al. Extraction and automatic classification of TCM medical records based on attention mechanism of BERT and Bi-LSTM[J]. Computer Science, 2020, 47(S2): 416-420. (in Chinese with English abstract)

[15] 孫娟娟，于紅，馮艷紅，等. 基于深度學習的漁業(yè)領域命名實體識別[J]. 大連海洋大學學報，2018，33(2)：265-269.

Sun Juanjuan, Yu Hong, Feng Yanhong, et al. Recognition of nominated fishery domain entity based on deep learning architectures[J]. Journal of Dalian Ocean University, 2018, 33(2): 265-269. (in Chinese with English abstract)

[16] 秦穎，王小捷，鐘義信. 級聯(lián)中文組塊識別[J]. 北京郵電大學學報，2008，31(1)：14-17.

Qin Ying, Wang Xiaojie, Zhong Yixin. Cascaded Chinese chunk recognition[J]. Journal of Beijing University of Posts and Telecommunications, 2008. 31(1): 14-17. (in Chinese with English abstract)

[17] 計峰，邱錫鵬. 基于序列標注的中文依存句法分析方法[J]. 計算機應用與軟件，2009，26(10)：133-135.

Ji Feng, Qiu Xipeng. A new Chinese dependency analysis method based on sequence labeling model[J]. Computer Applications and Software, 2009, 26(10): 133-135. (in Chinese with English abstract)

[18] Francis S, Landeghem J V, Moens M F. Transfer learning for named entity recognition in financial and biomedical documents[J]. Information (Switzerland), 2019, 10(8): 248.

[19] 謝騰，楊俊安，劉輝. 基于BERT-BiLSTM-CRF模型的中文實體識別[J]. 計算機系統(tǒng)應用，2020(7)：48-55.

Xie Teng, Yang Junan, Liu Hui. Chinese entity recognition based on BERT-BiLSTM-CRF model[J]. Computer Systems & Applications, 2020(7): 48-55. (in Chinese with English abstract)

[20] 趙平，孫連英，萬瑩，等. 基于BERT+BiLSTM+CRF的中文景點命名實體識別[J]. 計算機系統(tǒng)應用，2020，29(6)：169-174.

Zhao Ping, Sun Lianying, Wan Ying, et al. Chinese scenic spots named entity recognition based on BERT+BiLSTM+CRF[J]. Computer Systems & Applications, 2020, 29(6): 169-174. (in Chinese with English abstract)

[21] 王月，王孟軒，張勝，等. 基于BERT的警情文本命名實體識別[J]. 計算機應用，2020，40(2)：535-540.

Wang Yue, Wang Mengxuan, Zhang Sheng, et al. Alarm text named entity recognition based on BERT[J]. Journal of Computer Applications, 2020, 40(2): 535-540. (in Chinese with English abstract)

[22] Liu H, Perl Y, Geller J. Concept placement using BERT trained by transforming and summarizing biomedical ontology structure[J]. Journal of Biomedical Informatics, 2020, 112: 103607.

[23] Gers F, Schmidhuber J, Cummins F, et al. Learning to forget: Continual prediction with LSTM[J]. Neural Computation, 2000, 12(10): 2451-2471.

[24] Cho M, Ha J, Park C, et al. Combinatorial feature embedding based on CNN and LSTM for biomedical named entity recognition[J]. Journal of Biomedical Informatics, 2020, 103: 1532-1539

[25] Zhao B, Wu X, Feng J, et al. Diversified visual attention networks for fine-grained object classification[J]. IEEE Transactions on Multimedia, 2017(18): 149-157.

[26] Wegner J, Montoyazegarra J, Schindler K. A higher-order CRF model for road network extraction[J]. IEEE, 2013. 1: 1698-1705

[27] 宋楓溪，高林. 文本分類器性能評估指標[J]. 計算機工程，2004(13)：107-109.

Song Fengxi, Gao Lin. Performance evaluation metric of text classifier[J]. Computer Engineering, 2004 (13): 107-109. (in Chinese with English abstract)

[28] 仝衛(wèi)國，李敏霞，張一可. 深度學習優(yōu)化算法研究[J]. 計算機科學， 2018， 45(2)：155-159.

Tong Weiguo, Li Minxia, Zhang Yike. Research optimization algorithms of deep learning[J]. Computer Science, 2018, 45(2):155-159. (in Chinese with English abstract)

[29] Qin H, Wang Y. Enhancing named entity recognition from military news with bert[J]. Journal of Physics Conference Series, 2020, 1453:012132

Recognition of quantitative indicator of fishery standard using attention mechanism and the BERT+BiLSTM+CRF model

Ren Yuan, Yu Hong※, Yang He, Liu Jusheng , Yang Huining, Sun Zhetao, Zhang Sijia, Liu Mingjian, Sun Hua

(1.,,116023,; 2.,,116023,; 3.,116023,)

Fishery information service is a vital component to realize data analysis, feature extraction, and fishing forecasting, particularly for a high comprehensive production capacity and modernized management in fishery. The commonly-used keyword matching without standard contents cannot meet the high demand for accurate service in the current information system of fishery. The standard quantitative indicators in fishery have become one of the most important tasks in the information service. Therefore, it is very necessary to accurately identify the effective standard quantitative indicators for the automatic extraction of fishery. Combining the attention mechanism and the BERT+BiLSTM+CRF (Bidirectional Encoder Representations from Transformers + Bi-directional Long Short-Term Memory + Conditional Random Field) model, this study aims to propose a highly accurate recognition method of standard quantitative indicators in fishery, further to replace the commonly-used entity recognition. The quantitative indicators were firstly divided into four types of entities: the indicator name, indicator value, unit, and qualified words for identification. This operation effectively dealt with the difficult identification of fishery standard quantitative indicator entities. It was found that the location information behaved a significant impact on the recognition of indicator names and other entities. Vector data was also utilized to improve the recognition of indicator names. Secondly, the BiLSTM model was used to learn the semantic features of long sequences in the fishery standard text quantitative indicators. The attention mechanism was then integrated to treat the long-sequence semantic dilution. Finally, all sequence tags were obtained through the CRF layer. The test results showed that the accuracy rate was 94.51%, the recall rate was 96.37%, and the1 value was 95.43% for the fusion attention mechanism and the BERT+BiLSTM+CRF model. Compared with the fusion attention + BiLSTM + CRF (named entity recognition model), the accuracy, recall rate, and F1 value increased by 2.78, 6.73, and 4.65 percentage points, respectively. The word vectors, position vectors, and sentence features were combined for better recognition in the model. The self-attention mechanism of the BERT model was pre-trained, where a bidirectional encoder was used for the transformer layer in the BERT model, indicating a better performance on the text context memory. Compared with the BERT+BiLSTM+CRF model, the accuracy, recall, and1 value increased by 1.62, 0.25, and 0.97 percentage points, respectively, indicating that the attention mechanism contributed to the greater weight of the target entity in the long- and short-term memory network. The features were then weighted to make the model more accurately identify quantitative indicators. The proposed model can be expected to more accurately identify the fishery standard quantitative indicators, especially the indicator names, indicator values, units, qualifiers. This investigation can provide promising data support to accurate information using standard content services. The effective fishery standard quantitative index can also offer new ideas for the identification of quantitative indicator named entities in agricultural, medical, and biological fields

fisheries; standards; models; quantitative index; BERT; attention mechanism; BiLSTM; named entity recognition

10.11975/j.issn.1002-6819.2021.10.016

TP391

A

1002-6819(2021)-10-0135-07

任媛，于紅，楊鶴，等. 融合注意力機制與BERT+BiLSTM+CRF模型的漁業(yè)標準定量指標識別[J]. 農(nóng)業(yè)工程學報，2021，37(10)：135-141.doi：10.11975/j.issn.1002-6819.2021.10.016 http://www.tcsae.org

Ren Yuan, Yu Hong, Yang He, et al. Recognition of quantitative indicator of fishery standard using attention mechanism and the BERT+BiLSTM+CRF model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(10): 135-141. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.10.016 http://www.tcsae.org

2020-12-14

2021-04-14

設施漁業(yè)教育部重點實驗室開放課題（2021-MOEKLECA-KF-05）；遼寧省教育廳研究項目（JL201917）；國家自然科學基金項目（61802046）

任媛，研究方向為自然語言處理。Email：971457354@qq.com

于紅，博士，教授，研究方向為數(shù)據(jù)集成、漁業(yè)知識圖譜等。Email：yuhong@dlou.edu.cn