雷樹(shù)杰 邢富坤 王聞慧

1(戰(zhàn)略支援部隊(duì)信息工程大學(xué)洛陽(yáng)校區(qū) 河南 洛陽(yáng) 471003)2(青島大學(xué)外語(yǔ)學(xué)院 山東 青島 266000)

0 引 言

命名實(shí)體識(shí)別(Named Entity Recognition，NER)是自然語(yǔ)言處理的一項(xiàng)基礎(chǔ)性任務(wù)，可以為關(guān)系抽取(Relation Extraction)、機(jī)器翻譯(Machine Translation)、自動(dòng)文摘(Automatic Summarization)等更復(fù)雜的自然語(yǔ)言處理任務(wù)提供支持。在軍事領(lǐng)域的信息處理中，軍事類(lèi)命名實(shí)體的識(shí)別同樣起著基礎(chǔ)性的作用，武器裝備名就是非常重要的軍事類(lèi)命名實(shí)體。

對(duì)于傳統(tǒng)統(tǒng)計(jì)模型而言，命名實(shí)體識(shí)別任務(wù)的完成需要相應(yīng)的特征輸入，從詞形、詞性、句法特征等一般語(yǔ)言學(xué)特征到由領(lǐng)域?qū)＜铱偨Y(jié)出來(lái)的領(lǐng)域特征，都在命名實(shí)體識(shí)別任務(wù)中發(fā)揮著重大作用。隨著深度學(xué)習(xí)的出現(xiàn)，機(jī)器可以自己從大規(guī)模數(shù)據(jù)集中學(xué)習(xí)到抽象特征并在該抽象特征的支持下完成命名實(shí)體識(shí)別任務(wù)，進(jìn)而可以一定程度上擺脫專(zhuān)家特征(通用特征+領(lǐng)域特征)，其中應(yīng)用最廣泛的就是詞向量[1]。在深度學(xué)習(xí)框架下，研究者的主要研究?jī)?nèi)容也轉(zhuǎn)到對(duì)深度學(xué)習(xí)模型本身的研究和應(yīng)用上來(lái)，而對(duì)專(zhuān)家特征的研究和應(yīng)用不再是提升模型識(shí)別效果的主要方法。為此，本文主要探討在深度學(xué)習(xí)框架下不同專(zhuān)家特征的有效性、必要性以及在模型中呈現(xiàn)出的不同特點(diǎn)。

本文以英文武器裝備名識(shí)別為任務(wù)，對(duì)比模型在加入多類(lèi)型專(zhuān)家特征前后的表現(xiàn)，探索了專(zhuān)家特征在深度學(xué)習(xí)框架下的效果。通過(guò)設(shè)計(jì)多種指標(biāo)對(duì)多類(lèi)型特征在語(yǔ)料中的分布進(jìn)行定量統(tǒng)計(jì)并在不同語(yǔ)料規(guī)模下進(jìn)行實(shí)驗(yàn)，揭示了多類(lèi)型專(zhuān)家特征在分布上的異同點(diǎn)并分析了這些異同點(diǎn)對(duì)模型識(shí)別效果的影響。

1 相關(guān)工作

在研究領(lǐng)域上，命名實(shí)體識(shí)別任務(wù)主要受到了如CoNLL(Conference on Computational Natural Language Learning)等評(píng)測(cè)會(huì)議的影響，這使得現(xiàn)有的命名實(shí)體識(shí)別研究主要集中在對(duì)人名、地名、組織機(jī)構(gòu)名、時(shí)間表達(dá)式等通用命名實(shí)體的識(shí)別上，缺乏對(duì)領(lǐng)域?qū)嶓w的識(shí)別研究。

在研究?jī)?nèi)容上，命名實(shí)體識(shí)別方法經(jīng)歷了從早期的規(guī)則識(shí)別方法，到后來(lái)傳統(tǒng)的統(tǒng)計(jì)識(shí)別方法，再到近些年的深度學(xué)習(xí)方法的轉(zhuǎn)變，而對(duì)命名實(shí)體識(shí)別的效果也得到了逐步提升。文獻(xiàn)[2]采用自助取樣方法(Bootstrapping Method)，通過(guò)對(duì)統(tǒng)計(jì)模型識(shí)別出的時(shí)間表達(dá)式進(jìn)行迭代、拓展和篩選，在識(shí)別準(zhǔn)確率和召回率上都取得很大的提升；文獻(xiàn)[3]利用支持向量機(jī)(Support Vector Machine，SVM)來(lái)對(duì)命名實(shí)體進(jìn)行識(shí)別，該方法將詞向量融入模型，獲得了很好的效果；文獻(xiàn)[4]采用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Bidirectional Long-Short-Term Memory，Bi-LSTM)與條件隨機(jī)場(chǎng)(Conditional Random Fields，CRF)的聯(lián)合模型對(duì)社交媒體上的命名實(shí)體進(jìn)行識(shí)別，該模型采用預(yù)訓(xùn)練的詞向量、基于字符的詞向量和句法特征向量作為模型輸入，有效克服了社交媒體信息噪音多、句子過(guò)短的不利因素；文獻(xiàn)[5]提出了循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，Parallel RNN)的概念，該方法通過(guò)將一個(gè)LSTM單元分成多個(gè)更小的LSTM單元，使得網(wǎng)絡(luò)由全連接網(wǎng)絡(luò)為局部連接網(wǎng)絡(luò)，從而減少整個(gè)神經(jīng)網(wǎng)絡(luò)架構(gòu)的參數(shù)數(shù)目并提升訓(xùn)練效率。實(shí)驗(yàn)結(jié)果表明，該方法能夠在減少模型規(guī)模的基礎(chǔ)上達(dá)到與目前最好的模型相當(dāng)?shù)淖R(shí)別效果。中文命名實(shí)體研究方面，文獻(xiàn)[6]在中文上訓(xùn)練了基于字的詞向量，并與基于上下文的詞向量一起作為神經(jīng)網(wǎng)絡(luò)模型的輸入，得到了優(yōu)于SVM模型和CRF模型的識(shí)別效果。

綜合分析，目前命名實(shí)體識(shí)別任務(wù)的開(kāi)展主要采用深度學(xué)習(xí)的方法，研究重點(diǎn)也集中在對(duì)模型本身架構(gòu)的優(yōu)化和參數(shù)的調(diào)整上，對(duì)專(zhuān)家特征(通用特征+領(lǐng)域特征)所能起到的作用不足。為此，本文將多類(lèi)型特征加入到了模型當(dāng)中，通過(guò)對(duì)多類(lèi)型專(zhuān)家特征在語(yǔ)料中的分布特點(diǎn)進(jìn)行定量統(tǒng)計(jì)，以分析不同類(lèi)型的專(zhuān)家特征對(duì)模型識(shí)別效果的影響，從而論證專(zhuān)家特征在深度學(xué)習(xí)框架下的有效性和必要性并揭示影響專(zhuān)家特征對(duì)模型支持效率的關(guān)鍵因素。

2 Bi-LSTM+CRF模型

Bi-LSTM+CRF模型在2015年被正式提出后[7]，廣泛應(yīng)用于線性序列標(biāo)注任務(wù)中。Bi-LSTM+CRF模型整體上由輸入層，雙向LSTM層，輸出層和CRF層組成，模型的整體架構(gòu)如圖1所示。

圖1 模型整體框架

LSTM是RNN的一種變體，其在RNN模型的基礎(chǔ)上增加了記憶單元和門(mén)限機(jī)制，從而可以一定程度上避免梯度彌散和梯度爆炸問(wèn)題，并在處理長(zhǎng)序依賴(lài)問(wèn)題上有著出色的表現(xiàn)。一個(gè)LSTM單元的架構(gòu)如圖2所示。Bi-LSTM模型則采用了正序與反序兩個(gè)方向的LSTM網(wǎng)絡(luò)，從而可以將正反兩個(gè)序列方向上的信息考慮進(jìn)來(lái)，更好地處理線性序列標(biāo)注問(wèn)題。

通過(guò)在Bi-LSTM模塊之上增加CRF層來(lái)接受Bi-LSTM模型的輸出，可以彌補(bǔ)Bi-LSTM模型在線性序列標(biāo)注任務(wù)上沒(méi)有考慮輸出值之間轉(zhuǎn)移概率的缺陷，以此來(lái)提高模型在命名實(shí)體識(shí)別任務(wù)中的性能。

3 多類(lèi)型專(zhuān)家特征及對(duì)比

專(zhuān)家特征可以分為通用特征和領(lǐng)域特征。其中通用特征是指在任何領(lǐng)域都存在的特征，如詞性、句法特征等普通語(yǔ)言學(xué)特征，領(lǐng)域特征則是指某一領(lǐng)域特有的特征，如英文武器裝備名的構(gòu)造特征就是一種領(lǐng)域特征，其只存在于英文武器裝備名這一領(lǐng)域?qū)嶓w當(dāng)中。

3.1 英文武器裝備名構(gòu)造特征與獲取

英文武器裝備名內(nèi)部構(gòu)成成分類(lèi)型有限，具有很強(qiáng)的領(lǐng)域特征。雷樹(shù)杰等[8]在2019年對(duì)英文武器裝備名的內(nèi)部構(gòu)造模式和特征做了專(zhuān)門(mén)研究。根據(jù)其研究成果，英文武器裝備名可以用兩層體系來(lái)描述：第一層是對(duì)武器裝備名的總體性描述；第二層是對(duì)各總體性描述要素的具體劃分。第一層分類(lèi)將武器裝備名分為型號(hào)(A)、別稱(chēng)(N)、描述(P)和縮寫(xiě)(R)四類(lèi)。第二層分類(lèi)將第一層分類(lèi)中的型號(hào)(A)做進(jìn)一步區(qū)分，區(qū)分為系列E和具體型號(hào)V；第二層分類(lèi)對(duì)第一層分類(lèi)中的描述(P)也做了具體區(qū)分，如表1所示。

依據(jù)英文武器裝備名內(nèi)部構(gòu)成成分的分類(lèi)體系，本文對(duì)來(lái)自維基百科詞條的6 402條英文武器裝備名的內(nèi)部構(gòu)成進(jìn)行人工特征標(biāo)注，并構(gòu)造了規(guī)模為8 714的武器裝備名領(lǐng)域特征集，部分內(nèi)容如表2所示。表中第一列是武器裝備名構(gòu)成成分，第二列是該成分所屬構(gòu)成類(lèi)型。該特征集作為領(lǐng)域知識(shí)參與到對(duì)武器裝備名的識(shí)別當(dāng)中。

表2 領(lǐng)域特征集

3.2 詞性、句法特征與獲取

詞性是一個(gè)語(yǔ)言學(xué)術(shù)語(yǔ)，其以句法特征為主要依據(jù)、兼顧詞匯意義對(duì)一種自然語(yǔ)言中的詞進(jìn)行分類(lèi)，詞性能夠一定程度上反映一個(gè)詞在句子中的句法作用和含義。由此可見(jiàn)，與英文武器裝備名的構(gòu)造特征不同，詞性是一種通用特征，在一種自然語(yǔ)言中任何領(lǐng)域的文本中都會(huì)出現(xiàn)。本文使用賓州樹(shù)庫(kù)的詞性標(biāo)注集作為模型使用的詞性特征集。

句法以句子為研究單位，分析句子的組成成分及它們之間的排列順序。不同流派對(duì)句法有著不同的看法，本文則選擇了依存句法作為模型用句法特征。依存句法由法國(guó)語(yǔ)言學(xué)家L.Tesniere提出，其指出了句子各個(gè)詞匯之間的依存關(guān)系，從而將一個(gè)句子分析為一棵依存句法樹(shù)。與詞性一樣，依存句法特征也是一種普通語(yǔ)言學(xué)特征，是一種通用特征，存在于一種自然語(yǔ)言的各個(gè)領(lǐng)域當(dāng)中。本文使用賓州樹(shù)庫(kù)的依存句法標(biāo)注體系作為模型使用的依存句法特征集。

命名實(shí)體在文本中一般屬于名詞性成分，這使得命名實(shí)體內(nèi)部組成成分的詞性與承擔(dān)的句法成分較為有限。從理論上分析，詞性與句法特征可以為武器裝備名識(shí)別提供幫助，這是本文選擇詞性與句法特征作為模型所用通用特征的依據(jù)所在。

本文通過(guò)斯坦福大學(xué)的斯坦福詞性標(biāo)注器來(lái)獲取語(yǔ)料中每一個(gè)詞所對(duì)應(yīng)的詞性，并通過(guò)斯坦福句法分析器[9]獲取語(yǔ)料中每個(gè)詞匯相對(duì)應(yīng)的依存句法特征。

3.3 特征向量獲取與使用

本文采取預(yù)訓(xùn)練的詞向量和特征向量作為神經(jīng)網(wǎng)絡(luò)模型的輸入，并使用Python的開(kāi)源工具包Gensim對(duì)詞向量和特征向量進(jìn)行訓(xùn)練。

word2vec[1]是神經(jīng)概率語(yǔ)言模型(Neural Probabilistic Language Model)的一種實(shí)現(xiàn)，其中包含了CBOW與Skip-gram兩種模型。word2vec可以在構(gòu)建神經(jīng)概率語(yǔ)言模型的同時(shí)得到詞的嵌入式表示(Word Embedding)。其中，CBOW模型是通過(guò)上下文來(lái)預(yù)測(cè)當(dāng)前詞，而Skip-gram則是通過(guò)當(dāng)前詞來(lái)預(yù)測(cè)上下文。來(lái)斯惟[9]在2016年證明：當(dāng)用于訓(xùn)練詞向量的語(yǔ)料規(guī)模達(dá)到百兆級(jí)時(shí)，CBOW模型要好于Skip-gram模型。本文用于訓(xùn)練詞向量的語(yǔ)料來(lái)自于維基百科，其規(guī)模超過(guò)了600 MB，為此，采取CBOW模型來(lái)訓(xùn)練詞向量。

特征向量方面，本文共選取了詞性、句法信息和英文武器裝備名的構(gòu)造特征共三種類(lèi)型的特征。其中詞性特征通過(guò)Stanford POS Tagger獲取，句法特征通過(guò)Stanford Parser[10]獲取，英文武器裝備名的構(gòu)造特征則通過(guò)本文前期構(gòu)造的英文武器裝備名構(gòu)造特征集獲取。通過(guò)將訓(xùn)練詞向量的維基百科語(yǔ)料轉(zhuǎn)化為相對(duì)應(yīng)的詞性語(yǔ)料、句法特征語(yǔ)料、英文武器裝備名構(gòu)造特征語(yǔ)料，并使用word2vec來(lái)進(jìn)行訓(xùn)練，本文得到了詞性特征向量，句法特征向量與領(lǐng)域特征向量。

通過(guò)將預(yù)訓(xùn)練的詞向量與特征向量首尾相連，形成聯(lián)合向量作為神經(jīng)網(wǎng)絡(luò)的輸入。本文的輸入層結(jié)構(gòu)如圖3所示。

圖3 模型的輸入層：詞向量+特征向量

4 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

4.1 實(shí)驗(yàn)語(yǔ)料與標(biāo)注集

本文收集了美國(guó)國(guó)防部網(wǎng)站2017年度110篇新聞報(bào)道與美國(guó)2018年武器裝備采購(gòu)書(shū)中的部分文本共120篇語(yǔ)料作為待標(biāo)注語(yǔ)料，并對(duì)其中的武器裝備名進(jìn)行了人工標(biāo)注與校對(duì)。本文選取其中90篇作為訓(xùn)練語(yǔ)料，30篇作為測(cè)試語(yǔ)料。

本文采用了BIO標(biāo)注集。其中，“B-MILEQP”表示一個(gè)英文武器裝備名的起始部分，“I-MILIQP”表示英文武器裝備名的非起始部分，“O”表示非英文武器裝備名成分。只有將一個(gè)武器裝備名的各部分全部識(shí)別出且邊界界定正確才視為模型成功識(shí)別該武器裝備名。

4.2 評(píng)測(cè)標(biāo)準(zhǔn)

為了全面評(píng)價(jià)模型在對(duì)多類(lèi)型特征利用方面的異同點(diǎn)，本文設(shè)計(jì)了六個(gè)評(píng)價(jià)指標(biāo)來(lái)評(píng)價(jià)模型的識(shí)別效果，如表3所示。

表3 評(píng)價(jià)指標(biāo)

其中：整體標(biāo)注的正確率Pw用來(lái)評(píng)價(jià)模型對(duì)整體文本的標(biāo)注情況；武器裝備名識(shí)別的準(zhǔn)確率Pm與召回率Rm用來(lái)評(píng)價(jià)模型對(duì)武器裝備名的識(shí)別情況；F值則用來(lái)綜合評(píng)價(jià)模型對(duì)武器裝備名的識(shí)別情況；為了排除模型對(duì)某一特定武器裝備名多次識(shí)別成功或失敗所造成的對(duì)總體評(píng)價(jià)指標(biāo)的影響，本文設(shè)置了武器裝備名type識(shí)別的召回率Rtype這一指標(biāo)，在這一指標(biāo)下，對(duì)同一武器裝備名的多次識(shí)別成功只計(jì)算一次；而未登錄詞識(shí)別的召回率Ruk則用來(lái)評(píng)價(jià)模型對(duì)未登錄詞的泛化能力。

4.3 實(shí)驗(yàn)設(shè)計(jì)

為了驗(yàn)證專(zhuān)家特征(通用特征+領(lǐng)域特征)在深度學(xué)習(xí)框架下的有效性和必要性，本文分別將詞性特征、依存句法特征與領(lǐng)域特征加入到了神經(jīng)網(wǎng)絡(luò)當(dāng)中，對(duì)在各特征支持下英文武器裝備名的識(shí)別效果進(jìn)行了實(shí)驗(yàn)。

為了探究語(yǔ)料規(guī)模對(duì)不同專(zhuān)家特征的影響，本文將訓(xùn)練語(yǔ)料依次減為80篇、70篇、60篇，并在同一測(cè)試集上進(jìn)行測(cè)試，從而更好地揭示不同專(zhuān)家特征對(duì)Bi-LSTM+CRF模型產(chǎn)生不同支持作用的背后原因。

4.4 實(shí)驗(yàn)結(jié)果

在90篇訓(xùn)練語(yǔ)料上，Bi-LSTM+CRF模型分別在詞性特征、依存句法特征與領(lǐng)域特征支持下的實(shí)驗(yàn)結(jié)果如表4所示。

表4 多類(lèi)型特征加入Bi-LSTM+CRF模型中的識(shí)別結(jié)果(90篇訓(xùn)練語(yǔ)料)

從表4可以看出，在加入領(lǐng)域特征向量后，模型對(duì)武器裝備名的識(shí)別效果得到了很大的提升，其中在整體標(biāo)注準(zhǔn)確率上提升了0.85%，對(duì)武器裝備名的識(shí)別準(zhǔn)確率提升了9.1%，召回率提升了9.57%，從而在對(duì)武器裝備名識(shí)別的F值上提升了9.5%。隨著領(lǐng)域特征的加入，對(duì)未登錄武器裝備名的識(shí)別提升了8.19%，這表明領(lǐng)域特征增強(qiáng)了模型的泛化能力，使得通過(guò)詞向量識(shí)別不出的未登錄武器裝備名在領(lǐng)域特征的幫助下成功地被識(shí)別了出來(lái)。這樣的例子有“P-8A”,“Bradley fighting vehicles”等。同時(shí)，模型的約束能力也得到增強(qiáng)，僅使用詞向量會(huì)錯(cuò)誤識(shí)別為武器裝備名的一些非武器裝備名也在領(lǐng)域特征向量的幫助下沒(méi)有被錯(cuò)誤識(shí)別出，如“stealthy”等。這表明，在深度學(xué)習(xí)框架下，領(lǐng)域特征的作用依然非常突出，其依然具有不可替代的作用。

在加入詞性特征向量后，與只使用詞向量相比，模型對(duì)武器裝備名的識(shí)別效果得到了提升，其中整體識(shí)別準(zhǔn)確率提升了0.23%，武器裝備名識(shí)別的F值提升了0.97%，對(duì)武器裝備名類(lèi)型的召回率提升了0.6%，對(duì)未登錄武器裝備名識(shí)別的召回率提升了1.79%。這些數(shù)據(jù)表明，在加入詞性特征后，模型的泛化能力得到增強(qiáng)，詞性特征在深度學(xué)習(xí)框架下仍有其價(jià)值。

在加入句法特征向量后，相對(duì)于只使用詞向量，模型的識(shí)別效果產(chǎn)生了下降，其中在整體識(shí)別準(zhǔn)確率上下降了0.5%。武器裝備名識(shí)別準(zhǔn)確率與召回率都產(chǎn)生了下降，使得武器裝備名識(shí)別的F值下降了9.9%。而武器裝備名類(lèi)型的召回率與未登錄武器裝備名召回率分別下降了7.24%與9.27%。這表明，在加入句法特征后，模型對(duì)武器裝備名的識(shí)別效果產(chǎn)生了下降。然而，考慮到詞性特征、領(lǐng)域特征對(duì)模型識(shí)別效果的提升作用，不能就此否認(rèn)專(zhuān)家特征或通用特征在深度學(xué)習(xí)框架下的有效性和必要性，而應(yīng)該從特征本身的層面去分析導(dǎo)致詞性與句法特征在深度學(xué)習(xí)框架下產(chǎn)生不同效果的原因，以更好地指導(dǎo)模型和特征的使用。

為了探究造成上述結(jié)果的原因，本文將訓(xùn)練語(yǔ)料規(guī)模依次減少為80篇、70篇、60篇。在不同語(yǔ)料規(guī)模下，Bi-LSTM+CRF模型在不同特征支持下的識(shí)別結(jié)果分別如表5、表6、表7所示。

表5 多類(lèi)型特征加入Bi-LSTM+CRF模型中的識(shí)別結(jié)果(80篇訓(xùn)練語(yǔ)料)

表6 多類(lèi)型特征加入Bi-LSTM+CRF模型中的識(shí)別結(jié)果(70篇訓(xùn)練語(yǔ)料)

表7 多類(lèi)型特征加入Bi-LSTM+CRF模型中的識(shí)別結(jié)果(60篇訓(xùn)練語(yǔ)料)

對(duì)比表5、表6、表7可以看出，隨著語(yǔ)料規(guī)模的減少，模型在不同特征支持下的識(shí)別效果逐步下降，這顯示了語(yǔ)料規(guī)模在Bi-LSTM+CRF模型中的重要性。此外，有一個(gè)非常值得注意的現(xiàn)象是，隨著訓(xùn)練語(yǔ)料規(guī)模減少至80篇、70篇、60篇，以詞向量加詞性向量為輸入的模型的識(shí)別效果開(kāi)始低于以詞向量為輸入的模型的識(shí)別效果。這意味著，隨著語(yǔ)料規(guī)模的下降，詞性特征開(kāi)始干擾模型對(duì)武器裝備名的識(shí)別，這一點(diǎn)與表4中句法特征表現(xiàn)出的識(shí)別效果相一致。但詞性特征與句法特征表現(xiàn)出的對(duì)模型識(shí)別效果的反向作用在領(lǐng)域特征上沒(méi)有出現(xiàn)，隨著語(yǔ)料規(guī)模的減少，領(lǐng)域特征仍然表現(xiàn)出對(duì)模型識(shí)別效果的正向作用。

綜上所述，要使專(zhuān)家特征對(duì)模型的識(shí)別產(chǎn)生正向作用，單靠相應(yīng)的特征向量還不夠，特征向量需要與之相對(duì)應(yīng)的語(yǔ)料規(guī)模才能對(duì)模型產(chǎn)生正向作用。

4.5 特征分布與實(shí)驗(yàn)結(jié)果分析

隨著語(yǔ)料規(guī)模的減少，在加入不同類(lèi)型專(zhuān)家特征后，Bi-LSTM+CRF模型表現(xiàn)出了不同的識(shí)別效果，在訓(xùn)練語(yǔ)料、測(cè)試語(yǔ)料、預(yù)訓(xùn)練詞向量與所用模型都相同的情況下，這只能是特征本身造成的。對(duì)于機(jī)器而言，不同的特征只是符號(hào)形式上的不同，對(duì)模型真正造成影響的是隱藏在特征符號(hào)形式背后的特征分布特點(diǎn)。因此，本文對(duì)詞形、詞性、句法特征與武器裝備名領(lǐng)域特征在測(cè)試與訓(xùn)練語(yǔ)料中的分布進(jìn)行了統(tǒng)計(jì)，并以此為依據(jù)分析造成4.4中識(shí)別結(jié)果的原因。

4.5.1評(píng)價(jià)指標(biāo)

詞性、依存句法特征與英文武器裝備名的構(gòu)造特征是三種類(lèi)型的特征，其在語(yǔ)料中的分布特點(diǎn)也各不相同，而這種分布上的不同很大程度上影響了該特征對(duì)模型的支持效果。為了定量地描述多類(lèi)型特征分布上的不同，本文設(shè)計(jì)了四個(gè)評(píng)價(jià)指標(biāo)，如表8所示。

表8 特征分布評(píng)價(jià)指標(biāo)

表中，特征覆蓋率Cf用于描述特征在語(yǔ)料中的稠密程度；特征準(zhǔn)確率Pf與特征召回率Rf用于評(píng)價(jià)語(yǔ)料中特征的領(lǐng)域性，即特征對(duì)武器裝備名的判斷能力，其中特征準(zhǔn)確率Pf可以評(píng)價(jià)特征內(nèi)武器裝備名的集中程度，特征召回率Rf可以評(píng)價(jià)語(yǔ)料中武器裝備名內(nèi)特征的集中程度；特征F值Ff則用于綜合評(píng)價(jià)語(yǔ)料中武器裝備名與該特征類(lèi)型的關(guān)聯(lián)程度，即該特征的領(lǐng)域性。

4.5.2統(tǒng)計(jì)結(jié)果與分析

本文對(duì)訓(xùn)練語(yǔ)料與測(cè)試語(yǔ)料中三種類(lèi)型的專(zhuān)家特征的分布情況進(jìn)行了統(tǒng)計(jì)調(diào)查，統(tǒng)計(jì)結(jié)果如表9所示。

表9 不同類(lèi)型特征在語(yǔ)料中分布情況統(tǒng)計(jì)

從表9中可以看出，在特征覆蓋率Cf這一指標(biāo)上，詞性特征與句法特征的特征覆蓋率都為100%，而英文武器裝備名構(gòu)造特征的特征覆蓋率只有29.78%。這顯示領(lǐng)域特征在文本中的分布較為稀疏，并不是所有詞匯都有其對(duì)應(yīng)的領(lǐng)域特征，這是領(lǐng)域特征與通用特征的重要區(qū)別點(diǎn)。從特征分布的稠密程度上可以解釋領(lǐng)域特征對(duì)模型的提升效果要強(qiáng)于通用特征的現(xiàn)象，其分布更為稀疏，特征性更為明顯。

在特征準(zhǔn)確率Pf與特征召回率Rf兩個(gè)指標(biāo)上，詞性特征與句法特征的表現(xiàn)一致，都表現(xiàn)為在特征召回率Rf上達(dá)到了100%，即所有武器裝備名都擁有相應(yīng)的通用特征，而在特征準(zhǔn)確率Pf上的指標(biāo)卻很低，只有6.52%，即在擁有該特征的所有詞匯中，武器裝備名的占比很低，這是由于通用特征在語(yǔ)料中的全分布所導(dǎo)致的。而英文武器裝備名構(gòu)造特征在這兩個(gè)指標(biāo)上顯示出不同于詞性、句法特征的特點(diǎn)，其在特征召回率Rf上達(dá)到了93.32%，這表明，絕大部分武器裝備名都擁有相應(yīng)的領(lǐng)域特征，在特征準(zhǔn)確率Pf上的指標(biāo)也較高，達(dá)到了20.44%，即在擁有英文武器裝備名構(gòu)造特征的詞匯中，有20.44%的詞匯屬于武器裝備名稱(chēng)。綜合兩個(gè)指標(biāo)，從特征F值Ff上看，英文武器裝備名構(gòu)造特征要高出詞性與句法特征21.29%。從上述統(tǒng)計(jì)指標(biāo)上看，相對(duì)于通用特征，英文武器裝備名構(gòu)造特征的領(lǐng)域性要強(qiáng)很多，其與武器裝備名這個(gè)領(lǐng)域?qū)嶓w的關(guān)聯(lián)程度也要較通用特征高很多，具體表現(xiàn)為有相應(yīng)領(lǐng)域特征的武器裝備名占比高，而在有相應(yīng)領(lǐng)域特征的詞匯內(nèi)，武器裝備名占比高。從這三個(gè)指標(biāo)上也可以解釋領(lǐng)域特征對(duì)模型的支持作用要高于通用特征的現(xiàn)象。

從特征類(lèi)別覆蓋率Ct來(lái)看，詞性特征為54.84%，即54.84%的詞性類(lèi)別在英文武器裝備名中出現(xiàn)過(guò)；句法特征為61.30%，即61.30%的句法特征類(lèi)別在英文武器裝備名中出現(xiàn)過(guò)。而作為通用特征，有更多比例的句法特征類(lèi)別在武器裝備名中出現(xiàn)，這表明句法特征比詞性特征在武器裝備名中的分布更為分散。

此外，特征的不同也反映在不同特征與詞形之間的具體組合類(lèi)型數(shù)目上。對(duì)于神經(jīng)網(wǎng)絡(luò)而言，不同特征與詞形之間的具體組合類(lèi)型數(shù)目決定了模型輸入向量的種類(lèi)數(shù)。從模型的角度講，模型輸入向量的種類(lèi)數(shù)越多，模型就需要越多的語(yǔ)料來(lái)進(jìn)行模型的參數(shù)訓(xùn)練。在模型輸入向量種類(lèi)數(shù)增多，而語(yǔ)料規(guī)模不變的情況下，模型就有可能出現(xiàn)欠擬合現(xiàn)象。本文在不同特征組合下，具體組合類(lèi)型的數(shù)目如表10所示。

表10 不同特征組合的具體組合類(lèi)型數(shù)目

可以看出，在詞形特征與句法特征組合下，具體組合類(lèi)型數(shù)目比詞形特征多出了87.86%；在詞形特征與詞性特征組合下，具體組合類(lèi)型數(shù)目比詞形特征多出了26.27%；而在詞形特征與領(lǐng)域特征組合下，具體組合類(lèi)型數(shù)目相較于詞形特征保持不變。這一方面反映了句法特征比詞性特征在語(yǔ)料中的分布更為分散，另一方面也可以驗(yàn)證4.4中的實(shí)驗(yàn)結(jié)果。

本文實(shí)驗(yàn)是在小規(guī)模語(yǔ)料庫(kù)下進(jìn)行的，因此對(duì)于句法特征而言，隨著句法特征向量的加入，模型輸入向量的種類(lèi)數(shù)也提升了87.86%，因此也需要更多的語(yǔ)料來(lái)進(jìn)行模型訓(xùn)練。受限于語(yǔ)料規(guī)模，在詞向量加句法特征向量的支持下，Bi-LSTM+CRF模型不能很好地收斂，從而使得句法特征向量產(chǎn)生了干擾模型識(shí)別效果的現(xiàn)象。對(duì)于詞性特征而言，隨著詞性特征的加入，模型輸入向量的種類(lèi)增加了26.27%。由表4可知，在90篇語(yǔ)料上，詞性向量顯示出了對(duì)模型識(shí)別效果的正向作用，但隨著語(yǔ)料規(guī)模減少到80篇、70篇、60篇，詞向量加詞性向量的識(shí)別效果開(kāi)始低于詞向量的識(shí)別效果，詞性向量對(duì)武器裝備名的識(shí)別產(chǎn)生反向作用。這是由于語(yǔ)料規(guī)模減少造成詞向量與詞性向量組成的聯(lián)合向量種類(lèi)數(shù)的相對(duì)增加，從而使得Bi-LSTM+CRF模型不能很好的收斂，產(chǎn)生了干擾識(shí)別的情況。由于句法特征造成模型輸入向量種類(lèi)的增加要遠(yuǎn)遠(yuǎn)大于詞性，因此句法特征對(duì)模型產(chǎn)生正向作用所需要的語(yǔ)料規(guī)模也要遠(yuǎn)遠(yuǎn)大于詞性特征。除此之外，造成句法特征向量對(duì)模型產(chǎn)生干擾的另一個(gè)重要原因是，目前句法分析的準(zhǔn)確率相對(duì)于詞性標(biāo)注而言要低很多，句法特征沒(méi)有得到正確分析也是造成即使在90篇語(yǔ)料下，句法特征對(duì)模型依然產(chǎn)生反向作用的重要原因。

不同于詞性特征與句法特征，本文的領(lǐng)域特征對(duì)模型輸入向量的種類(lèi)數(shù)目沒(méi)有產(chǎn)生影響，因此即使語(yǔ)料規(guī)模在不斷減少，由于領(lǐng)域特征向量給模型帶來(lái)了詞向量不包含的新信息，模型的識(shí)別效果依然得到了提升。

5 結(jié) 語(yǔ)

本文以英文武器裝備名識(shí)別為任務(wù)，使用Bi-LSTM+CRF模型，在深度學(xué)習(xí)框架下對(duì)詞性、句法特征與英文武器裝備名構(gòu)造特征對(duì)模型的有效性和必要性進(jìn)行了實(shí)證研究。通過(guò)定量統(tǒng)計(jì)上述專(zhuān)家特征在語(yǔ)料中的分布并在不同語(yǔ)料規(guī)模下進(jìn)行實(shí)驗(yàn)，比較了不同專(zhuān)家特征在語(yǔ)料中分布的異同點(diǎn)以及討論分析了這些異同點(diǎn)對(duì)深度學(xué)習(xí)框架下模型識(shí)別效果的影響。通過(guò)實(shí)驗(yàn)，本文總結(jié)了幾點(diǎn)結(jié)論：(1) 在深度學(xué)習(xí)框架下，普通語(yǔ)言學(xué)特征與領(lǐng)域特征對(duì)提升模型識(shí)別效果有正向作用，其有存在的必要性與有效性。(2) 對(duì)于特定領(lǐng)域的任務(wù)而言，在深度學(xué)習(xí)框架下，領(lǐng)域特征對(duì)模型的提升作用強(qiáng)于普通語(yǔ)言學(xué)特征，領(lǐng)域特征研究仍然必不可少。(3) 詞性特征、句法特征與領(lǐng)域特征在語(yǔ)料中有著不同的分布特點(diǎn)，不同的分布特點(diǎn)決定了其對(duì)模型的作用效果不同。領(lǐng)域特征由于其分布上的集中性，對(duì)模型提升作用最大，而句法特征與詞性特征的分布則較為分散，且這兩種特征對(duì)模型產(chǎn)生正向作用對(duì)語(yǔ)料規(guī)模有要求。句法特征對(duì)語(yǔ)料規(guī)模的要求要高于詞性特征。

本文不僅有助于研究者更好地了解深度學(xué)習(xí)模型，而且對(duì)不同特征在深度學(xué)習(xí)框架下對(duì)模型支持效果的不同特點(diǎn)進(jìn)行了探索。此外，本文還可以為研究者如何根據(jù)任務(wù)的不同來(lái)評(píng)價(jià)特征與選擇特征提供參考，具有很強(qiáng)的實(shí)踐意義。