黃銘，劉捷，戴齊

（西南交通大學(xué)計(jì)算機(jī)與人工智能學(xué)院，成都 611756）

0 引言

隨著數(shù)據(jù)挖掘與人工智能的發(fā)展，人們對(duì)數(shù)據(jù)潛在價(jià)值的重視程度日益提升。作為知識(shí)抽取的重要組成部分，命名實(shí)體識(shí)別成為當(dāng)下研究熱點(diǎn)之一。命名實(shí)體識(shí)別常作為序列標(biāo)注任務(wù)處理，需要同時(shí)預(yù)測(cè)實(shí)體的邊界及實(shí)體的類別。目前，命名實(shí)體識(shí)別常采用Bi-LSTM作為文本特征提取器，并使用CRF（conditional random fields）對(duì)標(biāo)簽的相對(duì)關(guān)系進(jìn)行約束，組合形成Bi-LSTMCRF［1］作為模型進(jìn)行訓(xùn)練。此外，針對(duì)訓(xùn)練文本的詞嵌入，采用單詞的字符特征與預(yù)訓(xùn)練的詞向量結(jié)合的形式，常用的字符特征提取方法包括CNN［2-3］（convolutional neural networks）、LSTM［4］（long short-term memory）等。不同于英文命名實(shí)體識(shí)別，中文命名實(shí)體識(shí)別的訓(xùn)練文本沒有明確的詞邊界，需要進(jìn)行分詞處理。因此，中文命名實(shí)體識(shí)別常伴隨錯(cuò)誤傳播問題，分詞錯(cuò)誤將直接導(dǎo)致命名實(shí)體識(shí)別錯(cuò)誤，且不同的分詞方法分詞結(jié)果不同可能導(dǎo)致詞嵌入時(shí)OOV（out of vocabu?lary）。

研究表明，針對(duì)命名實(shí)體識(shí)別任務(wù)，基于字粒度的詞嵌入方法性能要優(yōu)于基于詞粒度的詞嵌入方法［5-6］。然而，基于字粒度的詞嵌入方法同樣存在問題。首先，基于字粒度的詞嵌入方法能夠傳遞的信息有限，會(huì)忽略文本中許多隱含信息。此外，相同字在不同詞語中表達(dá)的含義也可能不同。例如，在鐵路領(lǐng)域，“正線”和“到發(fā)線”中的“線”指鐵路中的軌道線路，而“接地線”中的線表示電路中的電纜。這使得基于字粒度的詞嵌入方法的文本特征提取難度變大，而LSTM雖然能夠?qū)W習(xí)上下文信息，但對(duì)局部特征的提取能力不足，僅使用Bi-LSTM存在對(duì)潛在特征的提取能力不足的問題。此外，命名實(shí)體中常伴有實(shí)體嵌套，CRF結(jié)合常規(guī)的BIOES或BIO編碼方式無法完成對(duì)嵌套實(shí)體的標(biāo)注。

針對(duì)上述兩個(gè)問題，本文采取基于字的詞向量嵌入方法，使用ANN對(duì)詞向量進(jìn)行學(xué)習(xí)，并使用CNN提取局部的詞匯特征，通過結(jié)合字詞特征并使用Bi-LSTM學(xué)習(xí)文本上下文信息，并采用合并標(biāo)簽標(biāo)注方法解決實(shí)體嵌套問題。最后，本文在多個(gè)數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證了模型的有效性。

1 相關(guān)工作

命名實(shí)體識(shí)別指從文本中識(shí)別出特定類型實(shí)體的過程，常作為序列標(biāo)注問題。根據(jù)使用方法不同可將其分為兩類：統(tǒng)計(jì)學(xué)習(xí)方法和深度學(xué)習(xí)方法。統(tǒng)計(jì)學(xué)習(xí)方法的常用模型包括HMM（hid?den markov models）和CRF。Ratinov等人［7］使用BIOES標(biāo)注結(jié)合詞典與詞性標(biāo)注特征在CoNLL03等數(shù)據(jù)集上取得當(dāng)時(shí)最優(yōu)效果。Zhou等人［8］利用手工提取特征結(jié)合HMM在多個(gè)數(shù)據(jù)集上取得改進(jìn)。王蓬輝等人［9］使用生成對(duì)抗網(wǎng)絡(luò)自動(dòng)生成大量數(shù)據(jù)標(biāo)注，并將其應(yīng)用于醫(yī)療實(shí)體識(shí)別并展現(xiàn)出良好的效果。雖然統(tǒng)計(jì)學(xué)習(xí)方法在過去的工作中展現(xiàn)出良好的效果，但此類方法需要結(jié)合領(lǐng)域知識(shí)和大量特征工程，需要消耗大量的人力資源，且普適性較差。隨著深度學(xué)習(xí)的發(fā)展，神經(jīng)網(wǎng)絡(luò)模型在序列標(biāo)注任務(wù)中展現(xiàn)出良好的效果，基于深度學(xué)習(xí)的命名實(shí)體識(shí)別方法應(yīng)運(yùn)而生，許多學(xué)者提出基于神經(jīng)網(wǎng)絡(luò)的自動(dòng)學(xué)習(xí)方法。Huang等人［1］提出使用LSTM-CRF模型進(jìn)行命名實(shí)體識(shí)別，并取得當(dāng)時(shí)最優(yōu)效果。張應(yīng)成等人［10］使用LSTM-CRF進(jìn)行商情實(shí)體識(shí)別。Chiu等人［2］和Ma等人［3］使用CNN提取字符特征，結(jié)合LSTM-CRF模型提出LSTM-CNNs-CRF模型。買買提阿依甫等人［11］將LSTM-CNNs-CRF模型應(yīng)用于維吾爾文命名實(shí)體識(shí)別。羅熹等人［12］使用結(jié)合多頭自注意力機(jī)制與Bi-LSTM-CRF模型，對(duì)中文臨床文本進(jìn)行命名實(shí)體識(shí)別。Yang等人［13］提出使用nbest策略改進(jìn)CRF，并整合各類表征學(xué)習(xí)方法提出NCRFpp開源框架。隨著BERT等的預(yù)訓(xùn)練模型出現(xiàn)，許多學(xué)者基于BERT模型提出了許多高性能模型。Emelyanov等人［14］整合Bert、Bi-LSTM、多頭注意力機(jī)制及NCRF，在命名實(shí)體識(shí)別任務(wù)及文本分類任務(wù)中取得良好效果。此外，由于中文文本的特殊性，針對(duì)中文命名實(shí)體識(shí)別的研究亦層出不窮。例如，Liu等人［5］和Li等人［6］針對(duì)中文命名實(shí)體識(shí)別的詞嵌入粒度進(jìn)行研究，證明了基于字的詞嵌入方法具有更好的性能。Zhang等人［15］通過使用Lattice LSTM進(jìn)行表征學(xué)習(xí)，同時(shí)使用了基于字的詞向量嵌入和基于詞的詞向量嵌入方法，并多個(gè)數(shù)據(jù)集上證明有效。

命名實(shí)體識(shí)別常伴有實(shí)體嵌套問題，如圖1所示。

圖1 嵌套實(shí)體示意圖

實(shí)體嵌套問題在各個(gè)領(lǐng)域普遍存在，如生物［16-17］、醫(yī)療［18］等。針對(duì)命名實(shí)體識(shí)別中的實(shí)體嵌套問題，國內(nèi)外許多學(xué)者提出了解決方案。目前，現(xiàn)有的嵌套實(shí)體識(shí)別的處理方法可分為四種。第一種方法將命名實(shí)體識(shí)別任務(wù)作為序列標(biāo)注任務(wù)，使用多層的扁平實(shí)體識(shí)別模型識(shí)別嵌套實(shí)體。Alex等人［16］提出使用多層CRF進(jìn)行嵌套命名實(shí)體識(shí)別，每層CRF負(fù)責(zé)標(biāo)注特定類型的實(shí)體。Ju等人［17］通過動(dòng)態(tài)堆疊扁平實(shí)體識(shí)別網(wǎng)絡(luò)，動(dòng)態(tài)識(shí)別大實(shí)體中的小實(shí)體，直至沒有實(shí)體被識(shí)別出為止，有效解決實(shí)體嵌套識(shí)別問題。第二種為基于超圖的命名實(shí)體識(shí)別方法。Lu等人［19］及Muis等人［20］先后提出基于超圖的嵌套實(shí)體識(shí)別模型。第三種為Wang等人［21］采用的Shift-Reduce系統(tǒng)，Shift-Reduce系統(tǒng)將嵌套實(shí)體識(shí)別任務(wù)轉(zhuǎn)換為Action序列預(yù)測(cè)任務(wù)，結(jié)合Stack-LSTM取得了良好的識(shí)別效果。最后一種為基于MRC（machine reading comprehension）的方法，Li等人［22］提出將命名實(shí)體識(shí)別任務(wù)轉(zhuǎn)換為MRC問題，針對(duì)每種類型實(shí)體，通過問答的方式分別提取文本中的句子類型。文中提出的實(shí)體頭尾指針標(biāo)注方法目前在多個(gè)領(lǐng)域得到了廣泛應(yīng)用。

雖然許多學(xué)者提出了針對(duì)命名實(shí)體識(shí)別的解決方案，但針對(duì)中文命名實(shí)體識(shí)別基于字進(jìn)行詞嵌入潛在問題的研究較少，結(jié)合字詞向量進(jìn)行文本表征的Latice LSTM在訓(xùn)練時(shí)需要查找詞表，導(dǎo)致訓(xùn)練效果較慢。本文針對(duì)中文命名實(shí)體識(shí)別的字嵌入特征提取困難問題，提出使用ANN、CNN及Bi-LSTM的組合網(wǎng)絡(luò)CACL（Combination of ANN CNN and LSTM）作為文本表征學(xué)習(xí)的方法，增強(qiáng)了神經(jīng)網(wǎng)絡(luò)特征提取能力。此外，針對(duì)命名實(shí)體識(shí)別的嵌套實(shí)體問題，本文采用經(jīng)典的序列標(biāo)注方法，通過使用合并序列標(biāo)簽結(jié)合CRF的形式進(jìn)行嵌套實(shí)體的標(biāo)注。

2 模型

本文模型由表征學(xué)習(xí)方法及實(shí)體識(shí)別方法組成，模型示意圖如圖2所示。

圖2 模型示意圖

如圖2所示，模型共包括5個(gè)部分：詞嵌入層、ANN、CNN、Bi-LSTM與CRF。其中，詞嵌入層、ANN、CNN及Bi-LSTM為模型的表征學(xué)習(xí)方法。其中，Bi-LSTM層數(shù)可根據(jù)實(shí)際情況增減。為實(shí)現(xiàn)嵌套實(shí)體識(shí)別，模型最后一部分使用合并標(biāo)簽標(biāo)注方法結(jié)合CRF進(jìn)行實(shí)體標(biāo)注。

2.1 表征學(xué)習(xí)方法

2.1.1 詞嵌入層

詞嵌入層旨在將原始文本轉(zhuǎn)換為分布式的向量表示。給定長(zhǎng)度為n的句子S={w1,w2,w3,…,wn}，其中wi表示原始文本中的第i個(gè)字。通過查找預(yù)訓(xùn)練的詞向量，詞嵌入層將原始文本S轉(zhuǎn)換為分布式的向量表示S={w1,w2,w3,…,wn}，其中未找到對(duì)應(yīng)詞向量的字通過隨機(jī)初始化的詞向量進(jìn)行嵌入。

2.1.2 ANN

ANN是一種淺層的全連接神經(jīng)網(wǎng)絡(luò)，通過連接大量神經(jīng)元的加權(quán)運(yùn)算與激活函數(shù)構(gòu)成。本文利用ANN對(duì)文本的詞向量進(jìn)行進(jìn)一步學(xué)習(xí)，使其能夠更準(zhǔn)確表示原始文本特征，其運(yùn)算公式如式（1）所示。

其中anni為ANN的輸出向量，wi為詞嵌入后獲取的文本的向量表示；Wa和b a為神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)參數(shù)，Wa為權(quán)重矩陣，ba為偏移量矩陣；tanh為激活函數(shù)。

2.1.3 CNN

CNN是一類包含卷積運(yùn)算的神經(jīng)網(wǎng)絡(luò)，通過使用卷積核平移進(jìn)行輸入向量的局部加權(quán)求和進(jìn)行表征學(xué)習(xí)，對(duì)局部特征提取能力較強(qiáng)。由于本文是針對(duì)文本進(jìn)行卷積操作，因此此處使用一維卷積進(jìn)行特征提取，計(jì)算公式如式（2）所示。

其中l(wèi)為卷積核長(zhǎng)度ωm為卷積核中第m個(gè)待學(xué)習(xí)參數(shù)。此外，為保證卷積后文本長(zhǎng)度不變，卷積核長(zhǎng)度應(yīng)設(shè)置為單數(shù)，并使用長(zhǎng)度為（l-1）/2的空值對(duì)文本前后進(jìn)行填充。

2.1.4 Bi-LSTM

Bi-LSTM是LSTM的變體，由一層前向LSTM和一層后向LSTM組成，通過連接兩層LSTM的輸出，可以有效學(xué)習(xí)序列前后的關(guān)聯(lián)關(guān)系，其計(jì)算公式如式（3）所示。

2.2 解碼層

如上文所述，本文采用合并標(biāo)簽標(biāo)注方法結(jié)合CRF進(jìn)行嵌套實(shí)體標(biāo)注，以下將對(duì)方法進(jìn)行詳細(xì)介紹。

2.2.1 合并標(biāo)簽方法

合并標(biāo)簽方法通過將嵌套實(shí)體單個(gè)字符的多個(gè)標(biāo)簽合并形成新的標(biāo)簽，解決了單層標(biāo)簽無法標(biāo)注嵌套實(shí)體的問題，如圖3所示。

圖3 合并標(biāo)簽示意圖

如圖3所示，“隧道”中心臟為“build”類型實(shí)體，“隧道襯砌”為“struct”類型實(shí)體。若通過常規(guī)的BIOES標(biāo)注，“隧”和“道”都需要兩個(gè)標(biāo)簽才能完成標(biāo)注，CRF無法進(jìn)行解碼。因此，本文通過合并標(biāo)簽形成新的標(biāo)簽，再使用CRF對(duì)其進(jìn)行解碼。

2.2.2 CRF

CRF是一個(gè)概率模型，通過給定輸入x與前一時(shí)刻的狀態(tài)yt-1預(yù)測(cè)當(dāng)前狀態(tài)yt。其概率計(jì)算公式如式（4）所示。

其中φt和φp為特征函數(shù)，用于預(yù)測(cè)輸入x與y之間的關(guān)聯(lián)概率，用于表示當(dāng)前狀態(tài)與前一個(gè)狀態(tài)的轉(zhuǎn)換概率。x為模型輸入，yt為當(dāng)前狀態(tài)，yt-1表示前一時(shí)刻狀態(tài)。最終，我們選用概率最大的狀態(tài)作為當(dāng)前狀態(tài)預(yù)測(cè)值。此外，為了使CRF的輸入維度與標(biāo)簽類別數(shù)保持一致，本文通過一個(gè)全連接層對(duì)Bi-LSTM的輸出進(jìn)行降維，計(jì)算公式如式（5）所示。

其中Wl與b l為神經(jīng)網(wǎng)絡(luò)待學(xué)習(xí)矩陣，oi為i時(shí)刻Bi-LSTM的輸出向量。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)概述

3.1.1 實(shí)驗(yàn)方案及評(píng)價(jià)指標(biāo)

本文實(shí)驗(yàn)主要涉及5種文本表征方法，包括Bi-LSTM、IDs-CNN、Bi-GRU、CACL及Lattice LSTM［15］。其中，Bi-LSTM、IDs-CNN、Bi-GRU為序列數(shù)據(jù)表征常用的表征方法，CNN-LSTM為本文模型，而Lattice LSTM為Zhang等人提出的另一種融合字詞特征的表征網(wǎng)絡(luò)。此外，為驗(yàn)證模型參數(shù)對(duì)模型性能影響，本文對(duì)模型中涉及的超參數(shù)進(jìn)行實(shí)驗(yàn)，并分析其對(duì)模型性能的影響，模型各參數(shù)如表1所示。

表1 實(shí)驗(yàn)?zāi)Ｐ蛥?shù)

其中，學(xué)習(xí)率及詞嵌入維度選用中文自然語言處理中常用的學(xué)習(xí)率0.001及詞嵌入維度300。詞向量采用Python gensim庫中的word2vec模型針對(duì)WIKI百科中文語料庫訓(xùn)練獲取。神經(jīng)網(wǎng)絡(luò)神經(jīng)元數(shù)量取100-500，變化梯度為100。Dropou取［0.1-0.9］，變化梯度為0.2。CNN的卷積核大小kernel size設(shè)為［3，5］，并將填充長(zhǎng)度padding分別設(shè)為［1，2］以保證卷積后句子長(zhǎng)度不變，IDs-CNN的層數(shù)設(shè)置為4層。

實(shí)驗(yàn)評(píng)價(jià)指標(biāo)采用精確率（Precision）、召回率（Recall）及F1值，計(jì)算公式如式（6）、式（7）及式（8）所示。

其中TP表示將正類預(yù)測(cè)為正類數(shù)，即識(shí)別出的正確的實(shí)體數(shù)量；FP表示將負(fù)類預(yù)測(cè)為正類數(shù)，即識(shí)別出的錯(cuò)誤的實(shí)體數(shù)量；F N表示將正類預(yù)測(cè)為負(fù)類數(shù)，即未識(shí)別出的實(shí)體的數(shù)量。

3.1.2 實(shí)驗(yàn)環(huán)境設(shè)置

本文實(shí)驗(yàn)主要針對(duì)鐵路領(lǐng)域文本，使用《城際鐵路設(shè)計(jì)規(guī)范》TB10623-2014（以下簡(jiǎn)稱TB10623）進(jìn)行標(biāo)注獲取訓(xùn)練數(shù)據(jù)。此外，為進(jìn)一步驗(yàn)證模型有效性，本文選用第六屆中國健康信息處理會(huì)議（CHIP2020）命名實(shí)體識(shí)別子任務(wù)的公開數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，以下簡(jiǎn)稱CHIP2020。數(shù)據(jù)集的簡(jiǎn)介如表2所示。

表2 數(shù)據(jù)集簡(jiǎn)介

如表2所示，CHIP訓(xùn)練集中包含15000條訓(xùn)練數(shù)據(jù)及5000條驗(yàn)證數(shù)據(jù)，包含疾病、臨床表現(xiàn)等9類實(shí)體；TB10623數(shù)據(jù)集包含895條訓(xùn)練數(shù)據(jù)和228條驗(yàn)證數(shù)據(jù)，包含電氣設(shè)備、設(shè)計(jì)參數(shù)等6類實(shí)體。此外，由于CHIP2020數(shù)據(jù)集的測(cè)試集不包含標(biāo)注，本文將訓(xùn)練集按照8∶2的比例進(jìn)行切分，分為訓(xùn)練集和測(cè)試集。

此外，本文采用的實(shí)驗(yàn)環(huán)境如表3所示。

表3 實(shí)驗(yàn)環(huán)境設(shè)置

3.2 參數(shù)驗(yàn)證實(shí)驗(yàn)

為驗(yàn)證模型參數(shù)對(duì)模型性能影響，并選取最優(yōu)實(shí)驗(yàn)參數(shù)，本部分實(shí)驗(yàn)使用CHIP2020數(shù)據(jù)集，針對(duì)模型的隱藏神經(jīng)元數(shù)量、Dropout參數(shù)及卷積神經(jīng)網(wǎng)絡(luò)卷積核大小進(jìn)行分別進(jìn)行梯度取值對(duì)比。

3.2.1 隱藏神經(jīng)元數(shù)量參數(shù)驗(yàn)證

模型的隱藏神經(jīng)元數(shù)量表示神經(jīng)網(wǎng)絡(luò)中每一層中包含的神經(jīng)元數(shù)量，增加模型的隱藏神經(jīng)元數(shù)量可以有效增強(qiáng)模型的學(xué)習(xí)能力，但神經(jīng)元數(shù)量過多會(huì)導(dǎo)致計(jì)算量增加和過擬合現(xiàn)象。本文對(duì)模型中的隱藏神經(jīng)元數(shù)量分別取100-500，變化梯度為100進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 隱藏神經(jīng)元數(shù)量對(duì)模型性能影響

當(dāng)隱藏神經(jīng)元數(shù)量為200—400時(shí)，模型性能趨于較好，且趨于穩(wěn)定。因此，出于對(duì)模型性能考慮，本文取200為隱藏神經(jīng)元數(shù)量。

3.2.2 Dropout參數(shù)驗(yàn)證

Dropout表示模型訓(xùn)練時(shí)的丟失率，是Hinton等人［23］于2012年提出的防止過擬合的方法，過高的Dropout參數(shù)會(huì)導(dǎo)致模型學(xué)習(xí)能力下降，且收斂速度下降，而過低的Dropout參數(shù)將導(dǎo)致其效果不明顯。因此，本文選用0.1—0.9區(qū)間對(duì)其進(jìn)行實(shí)驗(yàn)，變化梯度為0.2。其實(shí)驗(yàn)結(jié)果如圖5所示。

如圖5所示，當(dāng)Dropout取0.5時(shí)模型取得最優(yōu)性能。因此，本文選用0.5為最終的Dropout參數(shù)。

圖5 Dropout對(duì)模型性能影響

3.2.3 卷積核大小驗(yàn)證

CNN卷積核大小設(shè)置直接決定卷積計(jì)算范圍，由于本文使用CNN對(duì)局部的詞匯特征進(jìn)行學(xué)習(xí)。因此，僅選用大小為3和5的卷積核進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表4所示。

表4 卷積核大小對(duì)模型影響

當(dāng)卷積核大小為3時(shí)，模型效果最佳。因此，本文選用3為卷積核大小。

3.3 有效性驗(yàn)證實(shí)驗(yàn)

本部分實(shí)驗(yàn)采用合并標(biāo)簽方法作為嵌套實(shí)體識(shí)別方法，并使用Bi-LSTM、Bi-GRU、IDs-CNN及Lattice LSTM作為基線模型驗(yàn)證CACL作為表征學(xué)習(xí)方法有效性。其中，模型參數(shù)取各模型多次實(shí)驗(yàn)結(jié)果平均后最佳參數(shù)，實(shí)驗(yàn)結(jié)果如表5所示。

由表5可知，CACL作為表征學(xué)習(xí)方法的模型在兩個(gè)數(shù)據(jù)集上展現(xiàn)出最優(yōu)效果。

表5 有效性驗(yàn)證實(shí)驗(yàn)結(jié)果

在CHIP2020數(shù)據(jù)集實(shí)驗(yàn)中，CACL的F1值比次優(yōu)模型的F1值分別高出1.21%和1.82%，同時(shí)模型的Precis i on和Recall均高于其他基線模型。而Lattice LSTM作為融合字詞特征的另一模型，其F1值略高于除CACL外其他模型，且除驗(yàn)證集Recall指標(biāo)略低于Bi-LSTM外，其他指標(biāo)皆高于其他模型。此外，Bi-LSTM的訓(xùn)練效果略高于IDs-CNN及Bi-GRU。

在TB10632數(shù)據(jù)集的實(shí)驗(yàn)中，CACL的F1值在Dev及Test數(shù)據(jù)集中比次優(yōu)模型分別高出1.82%和1.59%，且除Test數(shù)據(jù)集中的Recall指標(biāo)外，模型Precis i on及Recall指標(biāo)均高于其他基線模型。而Lattice LSTM的各項(xiàng)指標(biāo)均同樣高于除CACL外的其他模型。此外，與CHIP2020數(shù)據(jù)集不同，優(yōu)于TB10632數(shù)據(jù)集中文本較短，因此IDs-CNN的訓(xùn)練效果略優(yōu)于Bi-LSTM及Bi-GRU。

以上結(jié)果表明，融合字詞特征可以有效提高命名實(shí)體識(shí)別能力，且CACL具有更好的文本表征效果。

4 結(jié)語

本文針對(duì)中文命名實(shí)體識(shí)別字向量嵌入方法文本表征學(xué)習(xí)困難問題，提出使用CACL作為文本表征學(xué)習(xí)方法，并對(duì)比現(xiàn)有嵌套實(shí)體識(shí)別方法，提出一種新穎的中文嵌套命名實(shí)體識(shí)別模型。實(shí)驗(yàn)結(jié)果表明，ANN-Bi-LSTM作為中文命名實(shí)體識(shí)別表征學(xué)習(xí)方法是有效的。此外，嵌套實(shí)體識(shí)別方法對(duì)比實(shí)驗(yàn)，本文選用Shift-Reduce系統(tǒng)作為嵌套實(shí)體識(shí)別方法，并與基線模型進(jìn)行對(duì)比，證明本文模型的有效性。

當(dāng)然，本文工作也具有一定的局限性。一方面，除了本文使用的本團(tuán)隊(duì)標(biāo)注的鐵路相關(guān)實(shí)驗(yàn)數(shù)據(jù)外，本文模型僅在CHIP2020數(shù)據(jù)集進(jìn)行驗(yàn)證，針對(duì)其他領(lǐng)域數(shù)據(jù)集的有效性仍需進(jìn)一步驗(yàn)證。此外，針對(duì)TB10632數(shù)據(jù)集的實(shí)驗(yàn)效果較差，需要進(jìn)一步調(diào)整才能應(yīng)用于實(shí)際應(yīng)用場(chǎng)景。在未來工作中，我們將對(duì)模型做進(jìn)一步改進(jìn)并使用更多其他領(lǐng)域數(shù)據(jù)來驗(yàn)證模型。