王 棟，李業(yè)剛，張 曉，蒲相忠

(山東理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山東 淄博 255049)

0 引 言

信息檢索、機(jī)器翻譯、問答系統(tǒng)等自然語言處理任務(wù)是目前人工智能領(lǐng)域的熱門研究方向[1-3]。然而，命名實(shí)體識(shí)別、短語識(shí)別[4]和文本匹配[5]等基礎(chǔ)任務(wù)對(duì)于上述熱門研究方向來說則是重要的組成部分[6,7]。

傳統(tǒng)的命名實(shí)體識(shí)別多采用基于規(guī)則和統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法，例如，最大熵模型(maximum entropy，ME)[8]、條件隨機(jī)場(chǎng)模型(conditional random fields，CRF)[9]、支持向量機(jī)模型(support vector machine，SVM)[10]等。雖然上述方法在命名實(shí)體識(shí)別任務(wù)中取得了不錯(cuò)的成績，但是識(shí)別效果很依賴特征模板的設(shè)計(jì)。相較于傳統(tǒng)方法，利用深度學(xué)習(xí)技術(shù)處理序列任務(wù)可以直接通過神經(jīng)網(wǎng)絡(luò)模型自動(dòng)獲得序列數(shù)據(jù)的特征信息，更精確地描述命名實(shí)體識(shí)別問題。

為了獲得更好的識(shí)別性能和系統(tǒng)運(yùn)行速度。本文提出了融合雙向準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)(BQRNN)與條件隨機(jī)場(chǎng)(CRF)的中文命名實(shí)體識(shí)別模型。該模型中的BQRNN網(wǎng)絡(luò)首先將待標(biāo)注對(duì)象和各標(biāo)簽序列所對(duì)應(yīng)的得分輸出給CRF模型，由CRF依據(jù)標(biāo)簽之間的約束關(guān)系對(duì)標(biāo)簽序列進(jìn)行選取。并且在模型中引入了Attention機(jī)制，進(jìn)一步增強(qiáng)了BQRNN網(wǎng)絡(luò)所獲取的特征信息。

1 相關(guān)工作

近年來，深度學(xué)習(xí)技術(shù)大量的應(yīng)用在自然語言處理領(lǐng)域。命名實(shí)體識(shí)別在深度學(xué)習(xí)中常常被定義為序列標(biāo)注任務(wù)。文獻(xiàn)[11]通過深度神經(jīng)網(wǎng)絡(luò)(deep neural networks，DNN)獲取文本序列的特征信息，對(duì)中文新聞內(nèi)容進(jìn)行命名實(shí)體識(shí)別。但是由于深度神經(jīng)網(wǎng)絡(luò)模型的窗口固定，導(dǎo)致模型并不能充分地獲取全文信息。于是，具有強(qiáng)大序列建模能力的循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural networks，RNN)受到了大量研究者的關(guān)注，該網(wǎng)絡(luò)的特點(diǎn)在于當(dāng)前時(shí)刻的計(jì)算依賴于前一時(shí)刻的輸出信息,信息可以在網(wǎng)絡(luò)內(nèi)傳遞,這樣的特點(diǎn)使得模型不再需要使用固定長度的窗口獲取全文信息。不過由于RNN記憶單元的結(jié)構(gòu)相對(duì)簡單，并且存在長距離依賴的問題，在使用隨時(shí)間進(jìn)行的反向傳播算法(backpropagation through time，BPTT)時(shí)，經(jīng)常會(huì)面臨梯度消失的問題，這樣就導(dǎo)致網(wǎng)絡(luò)只能學(xué)習(xí)到距離當(dāng)前時(shí)刻相對(duì)較近的信息。文獻(xiàn)[12]提出了基于長短期記憶網(wǎng)絡(luò)(long-short term memory，LSTM)的命名實(shí)體識(shí)別方法，該方法所應(yīng)用的LSTM網(wǎng)絡(luò)成功地解決了RNN網(wǎng)絡(luò)存在的梯度爆炸和消失的問題。LSTM網(wǎng)絡(luò)通過增加細(xì)胞狀態(tài)來存儲(chǔ)記憶，避免了使用單一隱藏層的局限性。

基于上述研究的命名實(shí)體識(shí)別取得了長足的進(jìn)展。具有門限機(jī)制的LSTM網(wǎng)絡(luò)逐漸成為利用深度學(xué)習(xí)技術(shù)處理該任務(wù)的標(biāo)準(zhǔn)模型結(jié)構(gòu)。在英文命名實(shí)體識(shí)別中，文獻(xiàn)[13]提出了一種具有混合神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的命名實(shí)體識(shí)別模型，該模型使用BLSTM網(wǎng)絡(luò)和CNN網(wǎng)絡(luò)分別抽取詞級(jí)別和字符級(jí)別的特征，避免了對(duì)特征工程的需要。文獻(xiàn)[14]基于文獻(xiàn)[13]的研究在模型中引入了CRF層，利用序列層面的標(biāo)注信息提高標(biāo)注的性能。相較于英文命名實(shí)體識(shí)別，中文詞語缺少明顯的詞邊界和大小寫信息，使得中文命名實(shí)體識(shí)別更加具有挑戰(zhàn)性。文獻(xiàn)[15]提出了一種基于漢字的中文命名實(shí)體識(shí)別模型，通過BLSTM網(wǎng)絡(luò)提取中文漢字的特征信息，避免引入分詞錯(cuò)誤影響識(shí)別質(zhì)量，并且在特征向量中加入了漢字的字形信息，其性能明顯優(yōu)于基于詞的識(shí)別模型。但是，該模型中的LSTM網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，網(wǎng)絡(luò)的訓(xùn)練參數(shù)較多，使得模型在處理較長的序列化文本時(shí)，會(huì)因?yàn)樾蛄袛?shù)據(jù)不同部分的狀態(tài)不能并行運(yùn)算而消耗大量的時(shí)間，降低了系統(tǒng)的整體性能。

針對(duì)LSTM網(wǎng)絡(luò)缺乏并行性的問題，本文提出融合雙向準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)(BQRNN)與條件隨機(jī)場(chǎng)(CRF)的中文命名實(shí)體識(shí)別模型(BQRNN-CRF)。該模型使用相較于LSTM網(wǎng)絡(luò)性能更好的準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)(quasi-recurrent neural networks，QRNN)[16]作為基本模型，獲取序列化文本中的特征信息。QRNN訓(xùn)練參數(shù)更少，網(wǎng)絡(luò)結(jié)構(gòu)更簡單，并且具有良好的并行計(jì)算能力，更適用于處理長序列文本。CRF模型可以基于序列前后的標(biāo)簽信息進(jìn)行標(biāo)注，減少了不合理的輸出標(biāo)簽組合，并且在模型中添加了Attention機(jī)制增強(qiáng)模型對(duì)關(guān)鍵字信息的利用，更好地改善了BQRNN網(wǎng)絡(luò)的輸出，從而實(shí)現(xiàn)了端到端的中文命名實(shí)體識(shí)別。

2 模 型

2.1 QRNN

準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)(QRNN)是一種具有交替卷積層的神經(jīng)序列建模方法，可以實(shí)現(xiàn)數(shù)據(jù)的并行處理，并且在輸出時(shí)有效地利用了輸入序列的順序信息。QRNN網(wǎng)絡(luò)由卷積層和池化層兩部分組成。

假設(shè)QRNN網(wǎng)絡(luò)的卷積層使用數(shù)量為m的濾波器進(jìn)行卷積運(yùn)算。對(duì)于一個(gè)輸入序列X=(x1,x2,…,xT)， 通過卷積操作得到序列Z=(z1,z2,…,zT)。 其中，序列X中每個(gè)向量的維度為n， 序列Z中每個(gè)向量的維度為m。 如果t時(shí)刻時(shí)，濾波器的寬度為k， 則卷積的范圍為xt-k+1到xt。 卷積層如式(1)～式(3)所示

Z=tanh(Wz*X)

(1)

F=σ(Wf*X)

(2)

O=σ(Wo*X)

(3)

式中：Wz，Wf，Wo為卷積濾波器，σ為激活函數(shù)，*表示在時(shí)間順序上的卷積運(yùn)算。當(dāng)濾波器的寬度k增大時(shí)，模型可以計(jì)算更多的n-gram特征。本文選擇k為2的設(shè)置，此時(shí)，QRNN的卷積層如式(4)～式(6)所示

(4)

(5)

(6)

QRNN的池化層用于提取卷積層輸出的特征信息，減少特征數(shù)目。池化層的計(jì)算是在動(dòng)態(tài)平均池化的基礎(chǔ)上，增加了輸出門和遺忘門。這樣的結(jié)構(gòu)與LSTM的門結(jié)構(gòu)非常類似，池化層如式(7)、式(8)所示

ct=ft⊙ct-1+it⊙zt

(7)

ht=ot⊙ct

(8)

式中：f，i，o分別表示遺忘門、輸入門、輸出門，ct表示t時(shí)刻時(shí)的細(xì)胞狀態(tài)，h，c的狀態(tài)初始化為0，⊙表示向量之間的點(diǎn)乘運(yùn)算。在文本序列處理的每一時(shí)刻，池化函數(shù)都需要運(yùn)算，但是運(yùn)算的過程具有并行性，所以對(duì)于較長的文本序列，運(yùn)算增加的時(shí)間是可以忽略的。池化時(shí)QRNN的結(jié)構(gòu)如圖1所示。

圖1 池化時(shí)QRNN的結(jié)構(gòu)

2.2 條件隨機(jī)場(chǎng)

條件隨機(jī)場(chǎng)模型(CRF)是一種判別式概率無向圖學(xué)習(xí)模型，主要用于序列數(shù)據(jù)的標(biāo)注和切分，現(xiàn)已成功應(yīng)用在自然語言處理、生物信息學(xué)和機(jī)器視覺等領(lǐng)域。在命名實(shí)體識(shí)別任務(wù)中，識(shí)別模型的輸出標(biāo)簽并不是任意出現(xiàn)的，它們之間有很強(qiáng)的約束關(guān)系，一個(gè)字的輸出標(biāo)簽不僅受到全文信息和字本身含義的影響，并且還受到前后輸出標(biāo)簽的影響，例如，標(biāo)簽I-PER不能在B-ORG之后出現(xiàn)，這樣便限制了B-ORG之后的輸出標(biāo)簽。所以，如果僅僅使用BQRNN網(wǎng)絡(luò)構(gòu)建命名實(shí)體識(shí)別模型并沒有考慮這種約束關(guān)系，模型在輸出標(biāo)簽的類別判斷上僅僅考慮了字本身含義的，而沒有考慮與前后的輸出標(biāo)簽的邏輯關(guān)系。因此，本文在BQRNN模型后引入CRF模型，可以對(duì)BQRNN網(wǎng)絡(luò)的輸出序列在句子層面進(jìn)行標(biāo)注，以達(dá)到提高識(shí)別質(zhì)量的目的。

2.3 Attention機(jī)制

Attention機(jī)制的核心是一種資源分配思想，旨在模擬人腦的注意力機(jī)制，選擇性地關(guān)注某些重要的特征信息，例如：人在進(jìn)行閱讀活動(dòng)時(shí)，并不是關(guān)注文本的所有內(nèi)容，而是根據(jù)需求集中閱讀特定的內(nèi)容。本文利用Attention機(jī)制的特點(diǎn)將較大的權(quán)值分配給序列化文本中的關(guān)鍵字，將較小的權(quán)值分給其它的漢字。在這里，Attention機(jī)制的注意力權(quán)重αi的計(jì)算如式(9)、式(10)所示

ui=tanh(Wuht+b)

(9)

(10)

其中，Wu為權(quán)重矩陣，b為偏置項(xiàng)，M為上下文矩陣，ui為ht的隱藏層表示。

2.4 基于BQRNN-CRF的中文命名實(shí)體識(shí)別模型

圖2給出了本文提出的BQRNN-CRF模型框架。

(11)

圖2 基于BQRNN-CRF的中文命名實(shí)體識(shí)別模型

BQRNN網(wǎng)絡(luò)的輸出ht經(jīng)過Attention的處理后，便獲得到第i個(gè)字的注意力權(quán)重αi， 利用注意力權(quán)重αi對(duì)ht進(jìn)行加權(quán)計(jì)算得到輸出表示Ht， 如式(12)所示

(12)

此時(shí)，使用CRF模型進(jìn)一步提取句子前后的標(biāo)簽信息，達(dá)到提高標(biāo)注性能的目的。假定目標(biāo)序列為Y=(y1,y2,…,yn)， 其分值如式(13)所示

(13)

其中，P是BQRNN網(wǎng)絡(luò)輸出的分?jǐn)?shù)矩陣；A為標(biāo)簽轉(zhuǎn)移矩陣，表示時(shí)間順序上從第yi個(gè)標(biāo)簽轉(zhuǎn)移到第yi+1個(gè)標(biāo)簽的概率。進(jìn)而可以利用softmax得到序列Y的概率，如式(14)所示

(14)

模型訓(xùn)練時(shí)，采用最大似然估計(jì)訓(xùn)練模型參數(shù)，其計(jì)算公式如式(15)所示

logP(y|x)=s(X,Y)-log∑Y′exp(s(X,Y′))

(15)

模型訓(xùn)練結(jié)束后使用Viterbi算法獲得最終的標(biāo)簽序列，其中，Y′表示所有可能的標(biāo)簽序列，在預(yù)測(cè)標(biāo)簽序列時(shí)，輸出預(yù)測(cè)分?jǐn)?shù)最大的序列，如式(16)所示

(16)

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

本文實(shí)驗(yàn)使用Bakeoff-3用于評(píng)測(cè)中文命名實(shí)體識(shí)別技術(shù)的MSRA數(shù)據(jù)集。該數(shù)據(jù)集是由微軟亞洲研究院為中文命名實(shí)體識(shí)別任務(wù)提供的簡體漢字?jǐn)?shù)據(jù)集，是一個(gè)經(jīng)典公開的中文命名實(shí)體識(shí)別數(shù)據(jù)集。語料包含了3種類型的命名實(shí)體，包括：地名、人名、組織機(jī)構(gòu)名。MSRA數(shù)據(jù)集的詳細(xì)劃分信息見表1。

3.2 預(yù)訓(xùn)練字向量

在基于深度學(xué)習(xí)技術(shù)的命名實(shí)體識(shí)別中，序列化文本不能直接輸入到神經(jīng)網(wǎng)絡(luò)中，需要預(yù)先轉(zhuǎn)化為向量的形式。由于QRNN網(wǎng)絡(luò)非常適用于長序列任務(wù)的處理，例如，字符級(jí)別的文本數(shù)據(jù)處理。所以本文采用字向量作為模型的輸入，避免分詞錯(cuò)誤影響模型的性能，同時(shí)也可以減少文本中的未登錄詞對(duì)識(shí)別效果的影響。在本文的實(shí)驗(yàn)中，采用[-0.25，0.25]區(qū)間內(nèi)隨機(jī)初始化的方式得到字向量。

3.3 標(biāo)注策略和評(píng)價(jià)指標(biāo)

在對(duì)語料進(jìn)行標(biāo)注時(shí)，命名實(shí)體通常不是由一個(gè)詞組成，而是由多個(gè)詞組成，因此需要為文本中的每個(gè)字分配一個(gè)命名實(shí)體標(biāo)簽。本文采用BIO的標(biāo)注策略，其中，O表示非實(shí)體，B表示實(shí)體起始邊界，I表示實(shí)體起始邊界后的部分。這樣便可以將命名實(shí)體識(shí)別作為在類別標(biāo)簽上進(jìn)行類別判斷的分類問題。本文實(shí)驗(yàn)的性能評(píng)價(jià)指標(biāo)使用精確率P、 召回率R、F1值，其計(jì)算公式如式(17)～式(19)所示

(17)

(18)

(19)

3.4 模型超參數(shù)選擇

模型超參數(shù)設(shè)置不僅決定了整個(gè)模型訓(xùn)練過程中的運(yùn)行速度，而且影響了模型的識(shí)別性能。在實(shí)驗(yàn)的過程中發(fā)現(xiàn)，batch_size、網(wǎng)絡(luò)的隱藏層單元數(shù)(Hidden units)、dropout的設(shè)置對(duì)模型的運(yùn)行速度和識(shí)別性能具有重要的意義。其中，較大的QRNN隱藏層單元數(shù)會(huì)增加模型的復(fù)雜程度，降低模型的泛化能力。較小的隱藏層單元數(shù)會(huì)導(dǎo)致特征提取的效果不佳；使用dropout可以有效地防止模型過擬合，保存序列信息，提高模型的泛化能力；采用適合的batch_size設(shè)置可以提高內(nèi)存的利用率和模型訓(xùn)練的速度，并且使得梯度下降的方向更加準(zhǔn)確。

為了獲得模型的最佳性能，本文對(duì)模型batch_size、隱藏層單元數(shù)、dropout這3種參數(shù)的選取進(jìn)行了實(shí)驗(yàn)分析，實(shí)驗(yàn)結(jié)果如圖3、圖4所示。首先考察了在不同dropout設(shè)置的情況下，QRNN隱藏層單元數(shù)對(duì)模型性能的影響。實(shí)驗(yàn)中QRNN隱藏層單元數(shù)選取的范圍是100～500，間隔為100。dropout的設(shè)置分別選取0.2、0.3、0.4、0.5。圖3為采用4種dropout設(shè)置時(shí)，QRNN隱藏層單元數(shù)對(duì)模型識(shí)別效果的影響趨勢(shì)圖。

圖3 Hidden units和dropout的影響

圖4 batch_size的影響

通過圖3所示的實(shí)驗(yàn)結(jié)果可知，本文模型在隱藏層單元數(shù)取400，dropout取0.2時(shí)系統(tǒng)性能達(dá)到了最優(yōu)的效果。圖4所示的實(shí)驗(yàn)結(jié)果為不同的batch_size大小對(duì)模型性能的影響。

從圖4所示的結(jié)果可以看出，采用不同的batch_size數(shù)值，模型性能有一定程度的變化，當(dāng)batch_size數(shù)值過大時(shí)，會(huì)降低模型的泛化能力，導(dǎo)致識(shí)別效果不佳。當(dāng)batch_size數(shù)值為32時(shí)，模型達(dá)到了最佳的性能。

綜合以上參數(shù)實(shí)驗(yàn)，選取了模型的隱藏層單元數(shù)為400，dropout為0.2，batch_size為32的超參數(shù)設(shè)置。并且采用了Adam算法優(yōu)化模型，提高模型的收斂速度。具體的參數(shù)設(shè)置見表2。

3.5 對(duì)比實(shí)驗(yàn)

為了評(píng)估本文模型在MSRA數(shù)據(jù)集上的模型性能，本文設(shè)計(jì)了6組實(shí)驗(yàn)來進(jìn)行對(duì)比和分析，包括長短期記憶網(wǎng)絡(luò)(LSTM)模型實(shí)驗(yàn)、雙向長短期記憶網(wǎng)絡(luò)(BLSTM)模型實(shí)驗(yàn)、雙向準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)(BQRNN)模型實(shí)驗(yàn)、BLSTM-CRF模型實(shí)驗(yàn)、BQRNN-CRF模型實(shí)驗(yàn)和BQRNN-CRF+Attention模型實(shí)驗(yàn)。以下是對(duì)上述6組模型實(shí)驗(yàn)的簡介：

表2 模型超參數(shù)統(tǒng)計(jì)

(1)LSTM

該模型使用字向量作為輸入，采用長短期記憶網(wǎng)絡(luò)LSTM構(gòu)建中文命名實(shí)體識(shí)別模型。

(2)BLSTM

在實(shí)驗(yàn)(1)的基礎(chǔ)上，采用雙向長短期記憶網(wǎng)絡(luò)BLSTM構(gòu)建模型。

(3)BQRNN

在實(shí)驗(yàn)(1)的基礎(chǔ)上，采用雙向準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)BQRNN構(gòu)建模型。

(4)BLSTM-CRF

該模型是文獻(xiàn)[14]和文獻(xiàn)[15]的主干模型，是應(yīng)用最為廣泛的基本模型結(jié)構(gòu)。這里采用文獻(xiàn)[15]中基于漢字的BLSTM-CRF模型進(jìn)行實(shí)驗(yàn)。

(5)BQRNN-CRF

本文提出的BQRNN-CRF模型，使用字向量作為輸入，未添加Attention機(jī)制。

(6)BQRNN-CRF+Attention

在實(shí)驗(yàn)(5)的基礎(chǔ)上，加入了Attention機(jī)制。

3.6 實(shí)驗(yàn)結(jié)果與分析

表3給出了6種模型的中文命名實(shí)體識(shí)別實(shí)驗(yàn)結(jié)果比較。

表3 實(shí)驗(yàn)結(jié)果對(duì)比

根據(jù)表3中前3組模型的實(shí)驗(yàn)結(jié)果可以看出，BLSTM網(wǎng)絡(luò)能夠綜合考慮序列化文本的上下文信息，與單向的LSTM網(wǎng)絡(luò)相比系統(tǒng)性能有了較明顯的提升，F(xiàn)1值達(dá)到了85.84%。BQRNN模型實(shí)驗(yàn)的F1值比BLSTM模型提高了0.42%。與此同時(shí)，通過BLSTM模型、BLSTM-CRF模型、BQRNN模型和BQRNN-CRF模型的實(shí)驗(yàn)結(jié)果對(duì)比可以看出，CRF模型與神經(jīng)網(wǎng)絡(luò)所構(gòu)成的聯(lián)合模型可以明顯地提高命名實(shí)體識(shí)別的性能。究其原因，聯(lián)合模型在考慮上下文信息的同時(shí)，通過CRF模型獲得了序列級(jí)別的標(biāo)簽信息，所以標(biāo)注的性能得到了進(jìn)一步的提高。相較于BLSTM-CRF模型，未添加Attention機(jī)制的BQRNN-CRF模型的F1值有了0.45%的提高，其主要原因是QRNN可以基于序列數(shù)據(jù)并行運(yùn)算，具有較高的吞吐量和長序列縮放性。BQRNN-CRF模型添加了Attention機(jī)制后，模型的F1值達(dá)到了90.12%，相比未添加Attention機(jī)制的模型F1值提高了1.36%。

本文在MSRA數(shù)據(jù)集上進(jìn)行了BLSTM-CRF和BQRNN-CRF兩種模型的運(yùn)行時(shí)間對(duì)比實(shí)驗(yàn)，統(tǒng)計(jì)了兩種模型的運(yùn)行時(shí)間。實(shí)驗(yàn)過程中，兩組模型采用了相同的參數(shù)設(shè)置。實(shí)驗(yàn)結(jié)果見表4。

表4 兩種模型運(yùn)行時(shí)間的對(duì)比

從兩種模型運(yùn)行時(shí)間對(duì)比實(shí)驗(yàn)的結(jié)果可以看出，BQRNN-CRF模型的訓(xùn)練時(shí)間比BLSTM-CRF模型減少了約40%。綜合實(shí)驗(yàn)結(jié)果，驗(yàn)證了本文提出的BQRNN-CRF模型與BLSTM-CRF模型相比具有更快的系統(tǒng)運(yùn)行速度，模型的整體性能得到了有效的提升。

4 結(jié)束語

提高命名實(shí)體識(shí)別的速度和性能，對(duì)于推動(dòng)命名實(shí)體識(shí)別的發(fā)展具有重要的應(yīng)用價(jià)值，本文提出的基于BQRNN-CRF的中文命名實(shí)體識(shí)別模型，具有良好的識(shí)別效果，運(yùn)行速度的提升最為明顯，顯著優(yōu)于BLSTM-CRF模型。隨著大數(shù)據(jù)時(shí)代的到來，跨領(lǐng)域的命名實(shí)體識(shí)別需求越來越大，下一步的研究方向會(huì)嘗試從解決命名實(shí)體識(shí)別領(lǐng)域適應(yīng)性的角度出發(fā)，構(gòu)建能夠處理多領(lǐng)域文本的命名實(shí)體識(shí)別模型。