顧亦然，霍建霖，楊海根，盧逸飛，郭玉雯

（1.南京郵電大學(xué) 自動(dòng)化學(xué)院 人工智能學(xué)院，南京 210023；2.南京郵電大學(xué)寬帶無線通信技術(shù)教育部工程研究中心，南京 210003）

0 概述

自然語言處理（Nature Language Processing，NLP）是人工智能領(lǐng)域的熱點(diǎn)研究方向，廣泛應(yīng)用于機(jī)器翻譯、語音識別、情感分析、問答系統(tǒng)、文本分類、知識圖譜等任務(wù)。命名實(shí)體識別（Named Entity Recognition，NER）作為自然語言處理的一項(xiàng)基本任務(wù)，旨在從非結(jié)構(gòu)化文本中識別出特定意義和類型的實(shí)體［1］。深度學(xué)習(xí)模型是一種不依賴人工特征的端到端模型，利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)文本的特征信息，將實(shí)體識別任務(wù)當(dāng)作序列標(biāo)注任務(wù)［2］，主要包括卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）、長短期記憶神經(jīng)（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)、門控循環(huán)單元（Gated Recurrent Unit，GRU）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）等［3-5］模型。HAMMERTON 等［6］將LSTM 神經(jīng)網(wǎng)絡(luò)用于命名實(shí)體識別任務(wù)。COLLOBERT 等［7］提出CNNCRF 神經(jīng)網(wǎng)絡(luò)模型。LAMPLE 等［8］采用字符級的單詞表示，并利用LSTM 和CRF 提取實(shí)體。HUANG等［9］通過BiLSTM-CRF 模型識別CONNLL2003 數(shù)據(jù)集中的英文實(shí)體，F(xiàn)1 值達(dá)到88.83%。買買提阿依甫等［10］根據(jù)維吾爾文的特點(diǎn)，構(gòu)建基于BiLSTM-CNNCRF 的實(shí)體識別模型。李健龍 等［11］利用CNN 對字向量進(jìn)行處理，并使用融合自注意力機(jī)制的BiLSTM 模型進(jìn)行軍事領(lǐng)域的實(shí)體識別，取得了87.38%的F1 值。李明浩等［12］使用LSTM 和CRF 相結(jié)合的方法提取中醫(yī)臨床癥狀中的實(shí)體。ZHANG等［13］提出Lattice LSTM 模型，利用改進(jìn)的LSTM 獲取特征信息，在MSRA 數(shù)據(jù)集中取得了93.18%的F1 值。

為使詞語能包含豐富的語義信息及句法特征，研究人員陸續(xù)提出使用預(yù)訓(xùn)練語言模型來獲取詞語的表示。PETERS 等［14］提出ELMo 模型，采用雙向LSTM 進(jìn)行拼接，可在一定程度上解決模型只能學(xué)習(xí)單向信息的問題。RADFORD 等［15］提出OpenAI GPT 模型，使用Transformer 編碼代替LSTM 來捕捉長距離信息，但其只能從左到右獲取單向語義信息。DEVLIN 等［16］提出 BERT 模型，采用雙向Transformer 編碼器和自注意力機(jī)制對大規(guī)模公開數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，從而得到表征能力更強(qiáng)的預(yù)訓(xùn)練字向量。

目前，研究人員對于通用領(lǐng)域的命名實(shí)體識別已取得了一定的成果，F(xiàn)1 值可達(dá)90%以上［17］，但在專業(yè)領(lǐng)域中由于缺乏領(lǐng)域標(biāo)注數(shù)據(jù)，且人工標(biāo)注成本高，實(shí)體識別難度大，因此利用遷移學(xué)習(xí)、遠(yuǎn)程監(jiān)督學(xué)習(xí)等方法解決專業(yè)領(lǐng)域的命名實(shí)體識別成為近年來的研究熱點(diǎn)。電機(jī)領(lǐng)域的實(shí)體識別與通用領(lǐng)域不同，具有該領(lǐng)域?qū)嶓w的特殊性。一方面，電機(jī)相關(guān)文本中涉及的術(shù)語專業(yè)性強(qiáng)，同時(shí)缺乏統(tǒng)一的規(guī)范和標(biāo)準(zhǔn)，在通用詞庫中一般不包含這些術(shù)語。另一方面，電機(jī)領(lǐng)域中通常存在名詞簡寫、實(shí)體之間相互包含、多層嵌套的情況，實(shí)體組成復(fù)雜，傳統(tǒng)方法對于這些實(shí)體的識別正確率和覆蓋率較低［18］。經(jīng)統(tǒng)計(jì)發(fā)現(xiàn)，目前尚沒有有關(guān)電機(jī)領(lǐng)域的命名實(shí)體識別的研究，同時(shí)電機(jī)領(lǐng)域也沒有公開的大規(guī)模標(biāo)記數(shù)據(jù)集。因此，如何有效利用小規(guī)模且具有少量標(biāo)注的領(lǐng)域數(shù)據(jù)集提高實(shí)體識別效果并減少標(biāo)注成本顯得尤為重要。

針對電機(jī)領(lǐng)域的專業(yè)名詞，本文設(shè)計(jì)一種基于BERT-BiLSTM-CRF 的電機(jī)領(lǐng)域?qū)嶓w識別方法，將BERT 預(yù)訓(xùn)練語言模型作為特征表示層，提取實(shí)物、特性描述、問題/故障、方法/技術(shù)4 個(gè)類別實(shí)體，并在自建數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證。

1 基于BERT-BiLSTM-CRF 的電機(jī)領(lǐng)域?qū)嶓w識別

1.1 BERT-BiLSTM-CRF 模型整體結(jié)構(gòu)

BERT-BiLSTM-CRF 模型主要由BERT 特征表示層、BiLSTM 網(wǎng)絡(luò)層、CRF 推理層3 個(gè)部分構(gòu)成。首先，將字符序列輸入到BERT 特征表示層，對每個(gè)字符進(jìn)行編碼得到對應(yīng)字符的字向量表示；接著，利用BiLSTM 層對字向量序列進(jìn)行雙向編碼；最后，利用CRF 推理層輸出概率最大的標(biāo)簽序列，并將其作為模型最終的預(yù)測標(biāo)簽。BERT-BiLSTM-CRF 模型整體結(jié)構(gòu)如圖1 所示，其中，電、機(jī)、的、結(jié)、構(gòu)為模型輸入的字符序列，h1、h2、h3、h4、h5表示BiLSTM 隱含層的輸出，B-N、I-N、O 表示模型的輸出標(biāo)簽，0.1、0.2、0.6、0.9 表示模型預(yù)測為某種標(biāo)簽的概率值。

圖1 BERT-BiLSTM-CRF 模型整體結(jié)構(gòu)Fig.1 The overall structure of BERT-BiLSTM-CRF model

1.2 BERT 特征表示層

在NLP 領(lǐng)域中，利用詞嵌入（word embedding）方式將一個(gè)詞映射到一個(gè)低維稠密的語義空間，可有效解決傳統(tǒng)機(jī)器學(xué)習(xí)方法存在的文本特征稀疏問題，從而使得語義空間上相似的詞具有更近的距離。利用Word2vec、GloVe 等神經(jīng)網(wǎng)絡(luò)模型生成的詞向量多數(shù)與上下文無關(guān)或者難以學(xué)習(xí)到更多的上下文信息來表征字詞的多義性。BERT 模型在很多NLP任務(wù)中均取得了較優(yōu)的效果，通過無監(jiān)督方式從大規(guī)模無標(biāo)簽數(shù)據(jù)集中學(xué)習(xí)得到，并充分考慮字符級、詞語級、句字級和句間的關(guān)系特征，增強(qiáng)字向量的語義表示，同時(shí)將這些語義知識通過遷移學(xué)習(xí)應(yīng)用在數(shù)據(jù)規(guī)模和標(biāo)注量較少的電機(jī)領(lǐng)域的命名實(shí)體識別任務(wù)上，能使模型更好地挖掘電機(jī)領(lǐng)域文本的特征信息。

BERT 模型使用多個(gè)Transformer 雙向編碼器對字符進(jìn)行編碼。BERT 網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，其中，E1，E2，…，EN為模型的輸入向量，T1，T2，…，TN為模型的輸出向量，Trm 為Transformer 編碼器。

圖2 BERT 預(yù)訓(xùn)練語言模型結(jié)構(gòu)Fig.2 BERT pre-training language model structure

1.2.1 Transformer 結(jié)構(gòu)

BERT 預(yù)訓(xùn)練模型采用多層雙向Transformer 編碼結(jié)構(gòu)［19］，每個(gè)單元主要由自注意力機(jī)制（Self-Attention）和前饋神經(jīng)網(wǎng)絡(luò)（Feed Forward）組成，如圖3 所示，其中，X1、X2表示輸入詞向量。

圖3 Transformer 編碼結(jié)構(gòu)Fig.3 Transformer coding structure

Transformer 的關(guān)鍵部分是使用自注意力機(jī)制代替?zhèn)鹘y(tǒng)CNN 和RNN，解決了NLP 長期依賴問題［20］。具體方法是將輸入句子中的每一個(gè)詞都和句中的所有詞做Attention 計(jì)算，目的是為了獲得詞與詞之間的相互關(guān)系，并捕獲句子的內(nèi)部結(jié)構(gòu)，在一定程度上反映了不同詞語之間存在的關(guān)聯(lián)和重要程度，計(jì)算公式如下：

其中：Q、K、V為編碼器的輸入字向量矩陣；dk為輸入向量的維度。

1.2.2 輸入表示

BERT 的輸入是由詞嵌入、句子嵌入和位置嵌入3 個(gè)部分疊加來表示一個(gè)輸入的文本序列。如圖4所示，Token Embeddings 表示詞向量，并且第一個(gè)單詞是CLS 標(biāo)志，可用于后續(xù)NLP 的下游任務(wù)分類，Segment Embeddings 表示句子向量，用于區(qū)分兩個(gè)句子，Position Embeddings 表示BERT 模型所學(xué)習(xí)到的位置向量。

圖4 BERT 輸入向量表示Fig.4 BERT input vector representation

1.2.3 預(yù)訓(xùn)練任務(wù)

BERT 包括Masked 語言模型和下一句預(yù)測兩個(gè)無監(jiān)督預(yù)訓(xùn)練任務(wù)，目標(biāo)是獲取詞語級和句子級的特征表示：

1）Masked 語言模型。Masked 語言模型是為了使模型學(xué)習(xí)并融合左右兩側(cè)的上下文信息。具體方法為隨機(jī)遮蓋15%的詞，使訓(xùn)練模型預(yù)測并掩蓋部分的原始詞匯，其中，80%被遮擋詞用masked token代替，10%被遮擋詞用一個(gè)隨機(jī)詞匯代替，10%被遮擋詞保持該詞不變。

2）下一句預(yù)測。下一句預(yù)測是為了使模型學(xué)習(xí)兩個(gè)句子之間的關(guān)聯(lián)關(guān)系，并在模型中預(yù)訓(xùn)練一個(gè)二分類模型。在該任務(wù)中有50%的概率從語料庫中抽取上下文連續(xù)的兩句句子，然后利用模型預(yù)測抽取的兩個(gè)句子之間的關(guān)系，并用IsNext/NotNest 標(biāo)簽進(jìn)行標(biāo)記。

1.3 BiLSTM 網(wǎng)絡(luò)層

在NER 任務(wù)中，通常使用RNN 來處理這類序列標(biāo)注問題，但是當(dāng)序列長度過長時(shí)會(huì)出現(xiàn)梯度消失問題［1］，難以學(xué)習(xí)到中間的長期依賴特征。LSTM 對傳統(tǒng)RNN 作了較大改進(jìn)，引入記憶單元和門限機(jī)制來捕捉長距離信息并解決了梯度消失的問題，在命名實(shí)體識別任務(wù)中取得了較好的效果。LSTM 單元結(jié)構(gòu)如圖5 所示，包含了遺忘門、輸入門和輸出門3 種門結(jié)構(gòu)，通過保持和更新網(wǎng)絡(luò)的狀態(tài)來實(shí)現(xiàn)長期記憶功能。

圖5 LSTM 單元結(jié)構(gòu)Fig.5 LSTM unit structure

LSTM 網(wǎng)絡(luò)隱藏層的輸出表示如式（2）～式（6）所示：

其中：W、b分別表示連接兩層的權(quán)重矩陣和偏置向量；σ表示sigmoid 激活函數(shù)；?表示點(diǎn)乘運(yùn)算；xt表示t時(shí)刻的輸入向量；it、ft和ot分別表示t時(shí)刻的輸入門、遺忘門和輸出門；表示t時(shí)刻的狀態(tài)；ht表示t時(shí)刻的輸出。

BiLSTM 神經(jīng)網(wǎng)絡(luò)是由前向LSTM 和后向LSTM 組合而成，它對輸入序列分別采用順序和逆序計(jì)算后得到兩種不同的隱含層表示，然后通過向量拼接的方式得到最終的隱含層特征表示。由于BiLSTM 神經(jīng)網(wǎng)絡(luò)能較好地捕捉雙向的語義信息，學(xué)習(xí)上下文關(guān)系，有效提升命名實(shí)體識別效果，因此在當(dāng)前的序列標(biāo)注任務(wù)中成為主流模型。

1.4 CRF 推理層

為使模型學(xué)習(xí)到標(biāo)簽之間的約束信息，在BiLSTM 網(wǎng)絡(luò)層后加入了CRF 推理層。CRF 通過考慮相鄰標(biāo)簽之間的關(guān)系對前面模型的輸出結(jié)果加以限制來保證預(yù)測標(biāo)簽的合理性［21］。CRF 算法步驟具體如下：

1）對于輸入序列x=(x1，x2，…，xn)，其對給定的標(biāo)簽序列y=(y1，y2，…，yn)的評分如式（7）所示：

其中：A表示轉(zhuǎn)移得分矩陣且A∈R(k+2)×(k+2)，Aij表示由標(biāo)簽i轉(zhuǎn)移到標(biāo)簽j的轉(zhuǎn)移得分；y0和yn+1表示句中起始和終止標(biāo)簽；矩陣P為BiLSTM 層的輸出且P∈?n×k，Pij表示第i個(gè)詞在第j個(gè)標(biāo)簽下的輸出得分，n表示序列長度，k表示標(biāo)簽個(gè)數(shù)。

2）使用softmax 函數(shù)歸一化得到序列y標(biāo)簽的最大概率，如式（8）所示：

3）利用Viterbi 算法求得所有序列上預(yù)測總得分最高的序列作為最優(yōu)序列，即最終電機(jī)領(lǐng)域?qū)嶓w識別的標(biāo)注結(jié)果，如式（10）所示：

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)預(yù)處理

采用爬蟲方式從百度學(xué)術(shù)獲取電機(jī)相關(guān)文獻(xiàn)，對獲取的文獻(xiàn)進(jìn)行清洗和去重，結(jié)合領(lǐng)域?qū)＜乙庖娺x取500 篇文獻(xiàn)構(gòu)成領(lǐng)域文本，并對文獻(xiàn)摘要部分做人工標(biāo)注，作為實(shí)驗(yàn)數(shù)據(jù)集。電機(jī)領(lǐng)域?qū)嶓w類別定義如下：

1）標(biāo)志符號為N，實(shí)體類別為實(shí)物（OBJECT），類別定義為包括各種類型的電機(jī)及其內(nèi)部結(jié)構(gòu)，示例為流電機(jī)、永磁無刷電機(jī)、同步電動(dòng)機(jī)、電樞、定子、轉(zhuǎn)子等。

2）標(biāo)志符號為C，實(shí)體類別為特性描述（CHARACTERISTIC），類別定義為電機(jī)領(lǐng)域所涉及的特性描述，示例為漏抗、電感、渦流、感應(yīng)電動(dòng)勢、磁導(dǎo)率等。

3）標(biāo)志符號為P，實(shí)體類別為問題/故障（PROBLEM），類別定義為與電機(jī)相關(guān)的故障類型，示例為小齒輪松弛、匝間短路、短路故障等。

4）標(biāo)志符號為M，實(shí)體類別為方法/技術(shù)（METHOD），類別定義為解決電機(jī)領(lǐng)域問題的分析方法，示例為單相勵(lì)磁法、負(fù)載法、應(yīng)力張量法、磁路法等。

實(shí)驗(yàn)在自建數(shù)據(jù)集上進(jìn)行分句處理得到1 657 個(gè)句子，將數(shù)據(jù)集按7∶3 劃分為訓(xùn)練集和測試集，其中各類別實(shí)體數(shù)量統(tǒng)計(jì)如表1 所示。

表1 電機(jī)數(shù)據(jù)集標(biāo)注實(shí)體統(tǒng)計(jì)Table 1 Annotated entity statistics of motor dataset

2.2 標(biāo)注體系

在命名實(shí)體識別任務(wù)中，常用的標(biāo)注體系有BIOES 和BIO 兩種模式。實(shí)驗(yàn)中數(shù)據(jù)標(biāo)注采用BIO標(biāo)注模式：B（Begin）表示實(shí)體開始，I（Intermediate）表示實(shí)體中間，O（Other）表示非實(shí)體的其他部分。本文定義電機(jī)領(lǐng)域的4 種實(shí)體，將第1 個(gè)字符標(biāo)記為“B-（實(shí)體類別）”，后續(xù)字符標(biāo)記為“I-（實(shí)體類別）”，與該領(lǐng)域無關(guān)的其他字符統(tǒng)一標(biāo)記為O。本文識別的電機(jī)領(lǐng)域文本數(shù)據(jù)標(biāo)注示例如表2 所示。

表2 電機(jī)領(lǐng)域文本標(biāo)注示例Table 2 Text annotation examples in motor field

2.3 評價(jià)指標(biāo)

本文采用準(zhǔn)確率（P）、召回率（R）以及F1 值（F）作為模型性能的評價(jià)指標(biāo)，對電機(jī)領(lǐng)域的實(shí)體識別結(jié)果進(jìn)行評估，計(jì)算公式如下：

其中：TTP表示模型正確識別出的實(shí)體個(gè)數(shù)；FFP表示模型識別出的不相關(guān)實(shí)體個(gè)數(shù)；FFN表示實(shí)際為相關(guān)實(shí)體但模型并未識別出的實(shí)體個(gè)數(shù)。

2.4 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

本文提出的 BERT-BiLSTM-CRF 模型在Python 3.7 和Tensorflow 1.14.0 環(huán)境下進(jìn)行實(shí)驗(yàn)，訓(xùn)練集和測試集的batch_size 為16，epoch 為50，sequence_length 為100，為防止神經(jīng)網(wǎng)絡(luò)模型過擬合設(shè)置dropout 為0.4。由于BERT 模型的預(yù)訓(xùn)練過程需要大量的算力才能實(shí)現(xiàn)，因此Google 使用64 塊TPU 組成16 個(gè)TPU 集群對其進(jìn)行預(yù)訓(xùn)練并發(fā)布了多種BERT 模型版本，其常用的兩種模型參數(shù)設(shè)置如表3 所示。本文選取BERT-Base-Chinese 模型進(jìn)行實(shí)驗(yàn)。

表3 BERT 模型參數(shù)設(shè)置Table 3 Setting of parameters for BERT model

2.5 結(jié)果分析

為驗(yàn)證本文提出的BERT-BiLSTM-CRF 模型對于電機(jī)領(lǐng)域?qū)嶓w的識別性能，在同一實(shí)驗(yàn)環(huán)境下，在實(shí)驗(yàn)過程中加入BiLSTM-CRF［11］、BiLSTM-CNN［22］、BiGRU［23］3 種神經(jīng)網(wǎng)絡(luò)模型作為對比模型，對實(shí)物、特性描述、問題/故障、方法/技術(shù)4 類實(shí)體進(jìn)行識別，采用準(zhǔn)確率、召回率以及F1 值對模型識別效果進(jìn)行評估。4 種模型對不同實(shí)體的識別結(jié)果如表4所示。

表4 4 種模型對不同實(shí)體的識別結(jié)果Table 4 Recognition results of different entities by four models %

從表4 可以看出，BERT-BiLSTM-CRF 模型在對于數(shù)據(jù)集中標(biāo)注數(shù)量較多的實(shí)物、特性描述類實(shí)體有較好的識別效果，實(shí)物類F1 值達(dá)到87.21%，特性描述類達(dá)到74.02%，而對于數(shù)據(jù)集中標(biāo)注數(shù)量較少的問題/故障類和方法/技術(shù)類實(shí)體的識別效果稍差于上述兩類實(shí)體。在BiLSTM-CRF、BiLSTM-CNN和BiGRU 這3 種模型中，BiLSTM-CRF 模型在各項(xiàng)指標(biāo)中均取得了較好的結(jié)果，本文在BiLSTM-CRF模型中加入BERT 預(yù)訓(xùn)練模型，從實(shí)驗(yàn)結(jié)果可以看出：實(shí)物類在3 項(xiàng)評價(jià)指標(biāo)上均有一定的性能提升；問題/故障、方法/技術(shù)這2 類實(shí)體提升更為明顯，遠(yuǎn)優(yōu)于其他模型。這說明BERT 預(yù)訓(xùn)練語言模型能使BERT-BiLSTM-CRF 模型具有更好的詞語表征能力，能充分學(xué)習(xí)文本的特征信息，尤其對于數(shù)據(jù)規(guī)模較小的特定領(lǐng)域?qū)嶓w，可以有效提升識別性能。

2.6 應(yīng)用分析

在自建的電機(jī)領(lǐng)域數(shù)據(jù)集中，實(shí)物類的實(shí)體多數(shù)包含領(lǐng)域內(nèi)的各種電機(jī)類型和電機(jī)內(nèi)部零件，特性描述類主要包含領(lǐng)域中的電氣描述，本文自建的電機(jī)領(lǐng)域數(shù)據(jù)集的標(biāo)注參考《GB/T 2900.1—2008 電工術(shù)語、基本術(shù)語》國家標(biāo)準(zhǔn)和相關(guān)從業(yè)人員的意見，因此具有一定的應(yīng)用參考價(jià)值。對于問題/故障以及方法/技術(shù)類實(shí)體，所涉及的數(shù)量和定義還有待擴(kuò)充，可根據(jù)實(shí)際電機(jī)領(lǐng)域的生產(chǎn)規(guī)范、最新學(xué)術(shù)研究成果等做進(jìn)一步完善。

3 結(jié)束語

本文提出一種基于BERT-BiLSTM-CRF 的電機(jī)領(lǐng)域中文命名實(shí)體識別方法，將字符序列輸入到BERT 特征表示層，對每個(gè)字符進(jìn)行編碼得到對應(yīng)字符的字向量表示，同時(shí)利用BiLSTM 網(wǎng)絡(luò)層將字向量序列進(jìn)行雙向編碼，通過CRF 推理層輸出概率最大的標(biāo)簽序列并將其作為模型最終的預(yù)測標(biāo)簽。在自制數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該方法相比目前主流的實(shí)體識別方法具有更高的準(zhǔn)確率、召回率和F1 值，且整體識別性能更優(yōu)。但由于實(shí)驗(yàn)在規(guī)模小且標(biāo)注量較少的自制數(shù)據(jù)集上進(jìn)行，模型對于數(shù)據(jù)集中標(biāo)注量較多的實(shí)體類別具有更好的識別效果，而對于標(biāo)注量較少的實(shí)體類別的識別能力有待提升，因此后續(xù)將拓展電機(jī)數(shù)據(jù)集規(guī)模，增加稀缺實(shí)體標(biāo)注數(shù)量，并對電機(jī)領(lǐng)域中的實(shí)體做更細(xì)致的類別劃分，以提高模型對于稀缺實(shí)體類別的識別率。