張 毅，王爽勝，何 彬，葉培明，李克強

（重慶郵電大學通信與信息工程學院，重慶 400065）

0 引言

隨著互聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)的發(fā)展，信息化技術(shù)被廣泛應(yīng)用于教育領(lǐng)域，當前有很多線上題庫網(wǎng)站，能輔助學生進行課外學習。但是，一方面這些平臺的運營和維護需要耗費大量的人工成本，同時存在人為主觀因素的影響。因此如何讓計算機去閱讀并理解知識，實現(xiàn)教育資源的自動化整合和管理是目前的研究熱點。另一方面題庫中的試題一般以章節(jié)知識點進行分類，比較粗糙，用戶很難準確找到符合自身需求的試題，因而對初等數(shù)學試題文本進行自動化的細致知識點標注顯得十分重要。

命名實體識別（Named Entity Recognition，NER）是自然語言處理領(lǐng)域的基本任務(wù)之一，它能識別出文本中體現(xiàn)概念的實例，即實體。對試題文本進行命名實體識別是進行細致化知識點標注的基礎(chǔ)，同時也能為試題平臺節(jié)省人力成本，并為后續(xù)領(lǐng)域知識圖譜的構(gòu)建、試題推薦等應(yīng)用打下基礎(chǔ)，基于上述需求，本文通過爬取題庫網(wǎng)站中的試題文本構(gòu)造數(shù)據(jù)集，并在此數(shù)據(jù)集的基礎(chǔ)上對初等數(shù)學領(lǐng)域的實體識別展開研究。

1 命名實體識別相關(guān)研究

對于命名實體識別的研究主要經(jīng)歷了以下幾個階段：

第一個階段是采用基于詞典和規(guī)則的方法，這種方法的缺點是太依賴于專家的手工構(gòu)造的規(guī)則模板，不僅耗費人工，且存在主觀因素，容易產(chǎn)生錯誤，可移植性差。

第二個階段主要是基于統(tǒng)計機器學習的方法，例如樂娟等［1］將隱馬爾可夫模型應(yīng)用到京劇領(lǐng)域進行命名實體識別；程健一等［2］利用支持向量機（Support Vector Machine，SVM）與條件隨機場（Conditional Random Field，CRF）結(jié)合的分類器對電子病歷中的隱私信息進行判別；何彬等［3］利用字符級別的CRF 構(gòu)建了醫(yī)學實體的識別模型，避免了因為分詞而帶來的錯誤積累?；诮y(tǒng)計機器學習的方法盡管不需要手工構(gòu)造規(guī)則模板，但是繁瑣的特征工程依然需要大量人工參與。

第三階段，隨著深度的發(fā)展，由于深度學習的方法避免了繁瑣的特征工程，同時擁有較強的泛化能力，使其在NER任務(wù)上得到很好的應(yīng)用。例如，單向長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)，因其較強的序列特征提取能力，被廣泛用于NER 任務(wù)中，且常與CRF 結(jié)合（LSTM-CRF）［4］，以得到更好的識別效果。由于單向長短期記憶網(wǎng)絡(luò)只能提取單向的文本特征，因此Lample 等［5］在此基礎(chǔ)上提出了雙向長短期記憶（Bidirectional LSTM，BiLSTM）網(wǎng)絡(luò)，以提取全局的上下文特征，并與CRF 結(jié)合組成BiLSTM-CRF 神經(jīng)網(wǎng)絡(luò)模型，使得識別效果進一步提升，此后該模型逐漸成為深度學習解決各個領(lǐng)域NER 問題的主流模型。例如Tang 等［6］采用BiLSTM-CRF 方法進行司法領(lǐng)域的命名實體識別；肖瑞等［7］將BiLSTM-CRF 模型，應(yīng)用到中醫(yī)領(lǐng)域，對中草藥、疾病以及癥狀進行實體識別，取得了較好的效果。

同時有很多學者在BiLSTM-CRF 模型的基礎(chǔ)上對其進行了改進。例如李麗雙等［8］首先利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）訓練出字符級向量，然后輸入到BiLSTM-CRF 中，以解決人工特征的依賴性問題；在化學領(lǐng)域上，Luo 等［9］在BiLSTM-CRF 模型的基礎(chǔ)上引入了注意力機制（Attention），以達到文檔級別的標注能力；張晗等［10］將生成對抗網(wǎng)絡(luò)與基于注意力機制的BiLSTM-CRF 模型結(jié)合解決由于實體名稱多樣性導致標注不一致的問題，以提高識別效果。

此外Strubell 等［11］首次采用迭代膨脹卷積神經(jīng)網(wǎng)絡(luò)（Iterated Dilated Convolutional Neural Network，IDCNN）進行命名實體識別，由于IDCNN 較傳統(tǒng)CNN 具有更大的接受域，因此在提取序列特征時能夠很好地兼顧到局部特征；呂江海等［12］在IDCNN-CRF 模型的基礎(chǔ)上引入注意力機制，該模型采用特殊步長的膨脹卷積對文本特征進行提取，同時引入注意力機制使得文本特征更加精確。

另一方面，為了使詞向量能夠表征豐富的語義特征，有學者提出了預(yù)訓練語言模型，即通過在較大規(guī)模無標注數(shù)據(jù)上做無監(jiān)督訓練，以提取豐富的語境及語義特征，服務(wù)于下層的自然語言處理任務(wù)。

當前，在自然語言處理領(lǐng)域，使用較為廣泛的預(yù)訓練語言模型是word2vec，但是它訓練出來的詞向量屬于靜態(tài)的詞嵌入，無法表示一詞多義［13］。針對此問題，Peters 等［14］提出一種基于BiLSTM 結(jié)構(gòu)的預(yù)訓練語言模型ELMo（Embedding from Language Models），該模型能提取雙向的文本特征。此外，Radford 等［15］將提出了一種基于單向Transformer 編碼器結(jié)構(gòu)的預(yù)訓練模型GPT（Generative Pre-Training），Transformer編碼器相較于LSTM 能夠提取更遠的語義信息，但是由于GPT 模型是單向的，無法提取到全局的上下文信息，因此谷歌團隊Devlin 等［16］提出雙向Transformer 編碼器結(jié)構(gòu)的預(yù)訓練語言模型BERT（Bidirectional Encoder Representation from Transformers），進一步提升了詞向量的語義表征能力，使其在下游的命名識別任務(wù)上獲得了較大的提升。例如Souza等［17］將BERT-CRF 模型應(yīng)用到葡萄牙語的命名實體識別上，取得了較好的識別效果；張秋穎等［18］提出一種基于BERT 的BiLSTM-CRF 模型用于學者主頁信息抽取，結(jié)合BERT 模型后，模型的識別效果得到了較大提升；王月等［19］在BERTBiLSTM-CRF 模型的基礎(chǔ)上引入注意力機制，進行警情文本的命名實體識別，進一步提升了模型的性能。

考慮到BERT 預(yù)訓練語言模型具有表征一詞多義的能力，以及IDCNN 模型能夠兼顧局部特征的優(yōu)勢，本文在基礎(chǔ)模型BiLSTM-CRF 上提出了一種命名實體識別方法BERTBiLSTM-IDCNN-CRF。該方法首先利用BERT 模型進行預(yù)訓練獲取詞向量表示，然后將詞向量輸入到BiLSTM 與IDCNN中進行特征提取，并將兩者提取到的特征向量進行拼接，以彌補BiLSTM 忽略掉局部特征的缺點，最后通過CRF 進行修正后輸出。同時為了捕捉對于分類起關(guān)鍵作用的特征，本文在所提方法的基礎(chǔ)上引入了注意力機制，即在BiLSTM 與IDCNN 提取特征后，通過注意力機制對所提取到的特征進行權(quán)重分配以強化關(guān)鍵特征的作用。本文將所提出的方法應(yīng)用到教育領(lǐng)域，即對初等數(shù)學語料進行命名實體識別，實驗結(jié)果表明，該方法在初等數(shù)學語料中達到了93.91%的F1值，相較于基準方法BiLSTM-CRF 有較大的提升，引入注意力機制后該方法的實體識別效果無顯著變化。

2 BERT-BiLSTM-IDCNN-CRF模型

2.1 模型整體架構(gòu)

本文提出的基于BERT 的初等數(shù)學文本的命名實體識別方法的核心是BERT-BiLSTM-IDCNN-CRF 神經(jīng)網(wǎng)絡(luò)模型的構(gòu)造。圖1 為結(jié)合注意力機制后的BERT-BiLSTM-IDCNNCRF 神經(jīng)網(wǎng)絡(luò)模型的整體結(jié)構(gòu)，該模型主要由四層組成：BERT 預(yù)訓練層、BiLSTM 與IDCNN 融合層、注意力機制層和CRF 推理層。BERT 預(yù)訓練層主要是通過無監(jiān)督方式在大規(guī)模未標注數(shù)據(jù)上做訓練，以提取豐富的語法及語義特征，得到詞向量表示；BiLSTM 與IDCNN 主要是完成下層的特征提取任務(wù)，并將BiLSTM 和IDCNN 模塊的輸出的特征向量進行拼接，以保留BiLSTM 和IDCNN 兩者提取到的特征，實現(xiàn)特征融合，并將融合的特征向量傳遞給注意力機制層；注意力機制層主要是提取對于分類起關(guān)鍵作用的特征；最后利用CRF 層對Attention 層的輸出進行解碼，得到一個預(yù)測標注序列，從而完成識別任務(wù)。

圖1 融合Attention的BERT-BiLSTM-IDCNN-CRF神經(jīng)網(wǎng)絡(luò)模型的整體結(jié)構(gòu)Fig.1 Overall structure of BERT-BiLSTM-IDCNN-CRF neural network model with attention mechanism

本文模型主要優(yōu)勢在于三個方面：1）BERT 語言預(yù)處理模型能自動提取出序列中豐富的詞級特征、語法結(jié)構(gòu)特征和語義特征；2）BiLSTM 模型能夠提取到全局的上下文特征，但是會忽略掉部分局部特征，本文將IDCNN 模型提取到的局部信息與BiLSTM 模型的輸出進行融合，能進一步提高模型特征提取能力；3）注意力機制對提取到的特征進行權(quán)重分配，能強化關(guān)鍵特征，弱化對于識別不起作用的特征。

2.2 BERT模型

BERT 模型的結(jié)構(gòu)如圖2 所示，其中模型的輸入向量為E1、E2、…、En，并通過在大規(guī)模無標注數(shù)據(jù)上進行訓練，得到相應(yīng)的參數(shù)，推理輸出輸入序列的詞向量表示，即T1、T2、…、Tn，使得詞向量具有較強的語義表征能力，圖2 中Trm 代表Transformer 編碼結(jié)構(gòu)。

圖2 BERT結(jié)構(gòu)Fig.2 Structure of BERT

BERT 預(yù)訓練模型的主要由雙向Transformer 編碼結(jié)構(gòu)組成，其中Transformer［20］由自注意機制和前饋神經(jīng)網(wǎng)絡(luò)組成，相較于LSTM 能捕捉更遠距離的序列特征。Transformer 編碼結(jié)構(gòu)如圖3 所示。

圖3 Transformer編碼結(jié)構(gòu)Fig.3 Encoding structure of Transformer

自注意力機制的工作原理主要是計算文本序列中詞與詞之間的關(guān)聯(lián)程度，并根據(jù)關(guān)聯(lián)程度的大小來調(diào)整權(quán)重系數(shù)的大小，這樣訓練出來的詞向量是一種動態(tài)的詞嵌入，能夠提取到遠距離的序列特征。其中關(guān)聯(lián)程度大小的計算方法如式（1）所示：

其中：Q表示查詢向量；K表示鍵向量；V表示值向量。同時為了使Q、V的內(nèi)積不至于過大，引入了懲罰因子，其中dk表示輸入向量維度。

從Transformer 編碼結(jié)構(gòu)中可以看出，它使用的是多頭注意力機制，相較于一頭注意力機制可以捕捉多個維度的信息，以提升詞向量的表征能力。它的主要實現(xiàn)方式是將Q、K、V進行多次不同的線性映射，并將得到的新的Q、K、V重新計算得到不同的Attention（Q，K，V）并將它們進行拼接，具體方法如式（2）～（3）所示：

其中：W是權(quán)重矩陣。在Transformer 結(jié)構(gòu)中如果多頭注意力機制的輸出表示為Z，b是偏置向量，則全鏈接前饋網(wǎng)絡(luò)（Feed-Forward Network，F(xiàn)FN）可以表示為式（4）：

由于注意力機制不能捕捉詞的位置信息，于是引入位置向量與詞向量作和作為模型的輸入。同時為了解決神經(jīng)網(wǎng)絡(luò)訓練過程中出現(xiàn)梯度消失的問題，Transformer 將上一層的輸入信息直接傳送給下一層［21］，如圖3 中求和與歸一化這一層的輸入就包含上一層的輸入和輸出。為了提高神經(jīng)網(wǎng)絡(luò)的訓練速度，Transformer 將每一層的激活值進行了歸一化處理，以加快收斂［22］。

此外BERT 模型進行無監(jiān)督訓練時采用的是遮蔽語言模型（Masked Language Model，MLM）和下一句預(yù)測的方法，相較于ELMO 和GPT 單向的訓練方式能更好地捕捉到詞語級和句子級的特征。其中：遮蔽語言模型的實現(xiàn)方法是隨機遮蔽少部分的詞，讓訓練模型預(yù)測遮蔽部分的原始詞匯，以提取更多的上下文特征；下一句預(yù)測訓練方法是指訓練模型判斷兩個句子之間是否具有上下文關(guān)系，并用標簽進行標注，該方法能讓詞向量表征更豐富的句子級特征。

2.3 BiLSTM神經(jīng)網(wǎng)絡(luò)模型

BiLSTM 由兩層方向相反的LSTM 組成，以提取全局的上下文特征。LSTM 是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN），相較于傳統(tǒng)的RNN，LSTM 神經(jīng)元結(jié)構(gòu)創(chuàng)新地采用了三個門控制單元：輸入門、輸出門和遺忘門，其中輸入門控制當前信息，輸出門決定輸出信息，遺忘門決定遺忘神經(jīng)元中的哪些信息。通過三個門的控制，使得LSTM 具有長序列特征的記憶功能，同時解決了傳統(tǒng)RNN 訓練過程中出現(xiàn)的梯度消失及梯度爆炸問題［23］。三個門的狀態(tài)更新方式如式（5）～（9）所示：

其中：ft、it、ot分別表示t時刻遺忘門、輸入門、輸出門的狀態(tài)；σ表示sigmoid 激活函數(shù)；W表示權(quán)重矩陣；b為偏執(zhí)項；ct為LSTM 神經(jīng)元中的記憶信息；ht為隱藏層狀態(tài)信息，最后神經(jīng)元之間傳遞的是記憶信息和隱藏層狀態(tài)信息。

2.4 IDCNN

迭代膨脹卷積神經(jīng)網(wǎng)絡(luò)是由多層不同膨脹寬度的膨脹卷積神經(jīng)網(wǎng)絡(luò)（Dilated Convolutional Neural Network，DCNN）［24］組成，DCNN 相較于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，其卷積核作了膨脹處理，因此增加了感受野。如圖4（a）所示為常規(guī)的卷積操作，膨脹寬度為1，卷積核大小為3×3，其感受野也為同樣大小的3×3，而圖4（b）所示為膨脹寬度為2 的3×3大小的卷積核，但是其感受野擴展為7×7。DCNN 的好處在于不改變卷積核大小的情況下，使卷積輸出包含更大視野的信息，因此能夠較好地捕捉長序列特征，同時也能兼顧到局部特征［25］。

圖4 膨脹卷積示意圖Fig.4 Schematic diagram of dilated convolution

2.5 注意力機制

注意力機制層的主要作用是在BiLSTM 和IDCNN 融合層提取的特征中提取出對實體識別起關(guān)鍵作用的特征，其主要思想是通過對上層輸出的特征向量中的特征進行權(quán)重分配，突出對分類起關(guān)鍵作用的特征，弱化甚至忽略無關(guān)特征。對于i時刻模型經(jīng)過注意力機制加權(quán)后的輸出如式（10）所示：

其中：wi表示利用注意力機制加權(quán)后的字特征向量；hj為BiLSTM 和IDCNN 融合層輸出的特征向量；n表示模型輸入的字符數(shù)；權(quán)重λij是由前一時刻字特征向量wi-1與hj通過式（11）～（12）計算得到。

其中：vλ、uλ、ub為權(quán)重。注意力機制層即對所有時刻的輸出乘上對應(yīng)的權(quán)重相加作為輸出。

2.6 CRF推理層

CRF 的作用是對識別結(jié)果進行進一步的修正，即提取標簽之間的依賴關(guān)系，使得識別的實體滿足標注規(guī)則，其主要的實現(xiàn)方法是對于一個輸入序列X=x1，x2，…，xn，其對應(yīng)的預(yù)測序列為Y=y1，y2，…，yn，通過計算Y的評分函數(shù)，得到預(yù)測序列Y產(chǎn)生的概率，最后計算當預(yù)測序列產(chǎn)生概率的似然函數(shù)為最大時的預(yù)測標注序列作為輸出。其中預(yù)測序列Y的評分函數(shù)的計算方法如式（13）所示：

其中：A表示轉(zhuǎn)移分數(shù)矩陣；Ai，j代表標簽i轉(zhuǎn)移為標簽j的分數(shù)；P是上層輸出的得分矩陣，Pi，j表示第i個詞在第j個標簽下的輸出得分。在得到序列Y的評分后，預(yù)測序列Y產(chǎn)生的概率，如式（14）所示：

3 數(shù)據(jù)標注及評估方案

本文采用爬蟲的方式從在題庫網(wǎng)中爬取出10 萬字左右的初等數(shù)學試題文本，并對試題文本進行標注，實體類別有13 種：角、圓、椎體、方程、函數(shù)、線、點、四邊形、數(shù)列、集合、面、三角形、向量。部分實體的描述和示例如表1 所示。

表1 部分實體表述與示例Tab.1 Representation and examples of some entities

3.1 標注規(guī)范

在命名實體識別任務(wù)中，對于數(shù)據(jù)中實體的標注主流的方法有兩種，分別為BIO 三段標記法和BIOES 五段標記法。本文采用的是BIO 標注方法，即B 表示實體的第一個字符，I表示實體的中間字符，O 表示與所有實體都不相關(guān)的字符。

3.2 評估標準

本文采用準確率P、召回率R和F1 值對實體識別效果進行評價，其計算方法如式（16）～（18）所示：

其中：TP為模型識別正確的實體個數(shù)；FP為模型識別到的不相關(guān)實體個數(shù)；FN為模型沒有檢測到的相關(guān)實體個數(shù)。

4 實驗與結(jié)果分析

4.1 實驗環(huán)境與模型參數(shù)設(shè)置

實驗基于TensorFlow 框架搭建神經(jīng)網(wǎng)絡(luò)模型，詳細實驗環(huán)境配置如表2 所示。

表2 實驗環(huán)境Tab.2 Experimental environment

實驗涉及的訓練參數(shù)主要有BERT 預(yù)訓練模型用到的Transformer 結(jié)構(gòu)為12 層，然后是Lstm_dim 為128；DCNN 塊中3 層卷積的膨脹寬度分別為1、1、2，attention_size 為128；同時，使用了梯度裁剪技術(shù)，以緩解梯度消失和爆炸的影響，clip 設(shè)置為5。詳細的訓練參數(shù)如表3 所示。

表3 模型參數(shù)Tab.3 Model parameters

4.2 實驗結(jié)果與分析

為了驗證本文所提出的BERT-BiLSTM-IDCNN-CRF 以及結(jié)合注意力機制后的BERT-BiLSTM-IDCNN-CRF 模型對于初等數(shù)學實體識別的性能，在同一實驗環(huán)境下，與CRF、IDCNN-CRF、BiLSTM-CRF、BiLSTM-Attention-CRF BERTBiLSTM-CRF 等六種命名實體識別模型在準確率、召回率以及F1 值三項指標上進行了對比，實驗結(jié)果如表4 所示。

表4 不同模型的命名實體識別結(jié)果對比 單位：%Tab.4 Comparison of named entity recognition results of different models unit：%

從表4 中可以看出，與只使用CRF 相比，IDCNN-CRF 模型的識別效果有了較大的提升，這是因為IDCNN 具有提取局部和上下文特征的能力；而BiLSTM-CRF 模型相較于IDCNN-CRF 模型的準確率和召回率均有一定提升，這是因為BiLSTM 相較于IDCNN 具有更強的全局上下特征提取能力，在BiLSTM-CRF 模型的基礎(chǔ)上引入注意力機制后，模型的召回率有所提升，整體F1 值變化不明顯；此外BiLSTMIDCNN-CRF 和BERT-BiLSTM-CRF 模型的F1 值相較于基準模型BiLSTM-CRF 均有一定提升，這是因為BiLSTM 模型在提取全局的上下文特征時，會丟失掉局部信息，而引入IDCNN 能夠提取到局部特征，能有效改善這一缺點，同時BERT 預(yù)訓練模型具有較強的語義表征能力，能讓下層的識別任務(wù)表現(xiàn)得更優(yōu)秀。從實驗結(jié)果中可以看出，本文提出的BERT-BiLSTM-IDCNN-CRF 模型，利用了BERT 模型較強的表征能力，同時通過BiLSTM 與IDCNN 的融合，改善了BiLSTM 模型忽略局部特征的缺點，在準確率、召回率、F1 值三項指標上較前四種模型均有一定提升，F(xiàn)1 值為93.91%，相較于基準模型BiLSTM-CRF 的F1 值提升了4.29 個百分點，相較于BERT-BiLSTM-CRF 模型的F1 值提高了1.23 個百分點。在BERT-BiLSTM-IDCNN-CRF 模型上引入注意力機制后，F(xiàn)1 值僅提升了0.05 個百分點，注意力機制的引入對所提方法的識別效果提升不大。

為了更加直觀展現(xiàn)各個實體識別的效果，圖5 為BiLSTM-IDCNN-CRF、BERT-BiLSTM-CRF 和BERT-BiLSTMIDCNN-CRF 三種模型在初等數(shù)學文本上各個實體的F1 值。從圖5 可以看出：BiLSTM-IDCNN-CRF 在線和四邊形的F1 值較BERT-BiLSTM-CRF 模型要高，但是在其他實體的識別效果上比BERT-BiLSTM-CRF 模型低，而本文模型BERTBiLSTM-IDCNN-CRF 結(jié)合了兩者的優(yōu)勢，在大部分實體的識別效果上較兩種對比模型要好。

圖5 三種模型各個實體上的F1值Fig.5 F1 score of three models on each entity

本文利用BERT-BiLSTM-IDCNN-CRF 模型得到的各個實體識別結(jié)果如表5 所示。從表5 可以看出：本文采用的BERT-BiLSTM-IDCNN-CRF 模型在大部分實體上取得了不錯的識別效果，如對線、角、面、數(shù)列等實體識別的F1 值均高于91%，部分實體類別如角、向量、數(shù)列等識別準確率能達到94%以上，其主要原因是這些實體類別的周圍往往有一些明顯的特征，如角的前面一般都有關(guān)鍵字∠，向量的后面一般會有關(guān)鍵字→，數(shù)列的前后一般會有｛｝，且一般這些實體之前都會有提示詞，因此可以讓模型捕捉到明顯的特征信息進行正確的標注；需要說明的是這些關(guān)鍵詞和提示詞并不總是存在，且其他實體類別周圍往往沒有這些明顯的特征。此外，從圖5 和表5 可以看出：實體圓和方程的標注結(jié)果較其他實體的效果差，其主要原因是圓和方程會出現(xiàn)實體嵌套情況，如圓的坐標表示會用到方程，使得識別效果變差。

表5 BERT-BiLSTM-IDCNN-CRF對各個實體的識別結(jié)果 單位：%Tab.5 Recognition results of BERT-BiLSTM-IDCNN-CRF to each entity unit：%

5 結(jié)語

本文對初等數(shù)學領(lǐng)域的命名實體識別進行了研究，提出了一種基于BERT 的初等數(shù)學文本命名實體識別方法，該方法利用BERT 預(yù)訓練模型獲得詞的向量化表示，然后輸入到BiLSTM 和IDCNN 模型中進行特征提取，并將兩者的輸出的特征向量進行融合，最后通過CRF 對初等數(shù)學試題文本中的點、線、面、向量等實體進行標注。實驗結(jié)果表明，本文方法的識別效果明顯好于傳統(tǒng)的CRF 方法，且相較于其他幾種主流命名實體識別方法也有一定的提升。同時在所提方法的基礎(chǔ)上引入注意力機制后，該方法的召回率下降，但是準確率有所上升。部分實體之間存在實體嵌套的情況，導致識別率偏低。本文實現(xiàn)的初等數(shù)學命名實體識別為后續(xù)相關(guān)領(lǐng)域知識圖譜的構(gòu)建打下基礎(chǔ)，而且與傳統(tǒng)機器學習方法相比，本文方法不依賴于特定領(lǐng)域的人工特征，因此可以很容易地應(yīng)用到其他領(lǐng)域。后續(xù)將進一步擴大數(shù)據(jù)集的規(guī)模，并針對實驗過程中出現(xiàn)的實體嵌套問題展開研究，以達到更好的識別效果。