王 娟，王志紅，曹樹金

0 引言

人工智能正逐漸走向數(shù)據(jù)和知識雙驅(qū)動的認(rèn)知智能[1]。命名實(shí)體作為基本信息元素，是正確理解文本的基礎(chǔ)，也是實(shí)現(xiàn)認(rèn)知智能的知識引擎[2]。此外，隨著通用領(lǐng)域和特定領(lǐng)域網(wǎng)絡(luò)信息資源的豐富，從海量、非結(jié)構(gòu)化的文本中識別出相應(yīng)的命名實(shí)體，對網(wǎng)絡(luò)信息資源的序化和有效利用具有重要價(jià)值。相比于通用命名實(shí)體，領(lǐng)域命名實(shí)體的數(shù)據(jù)來源更偏向于垂直領(lǐng)域，語料的構(gòu)建也更加嚴(yán)密，這為實(shí)體識別帶來兩個(gè)挑戰(zhàn)。首先，領(lǐng)域命名實(shí)體的名稱、指代內(nèi)容及對應(yīng)的類別等會隨著技術(shù)的快速更新而不斷變化，很難快速有效地根據(jù)特定領(lǐng)域或任務(wù)場景設(shè)計(jì)相應(yīng)特征；其次，面向垂直領(lǐng)域的實(shí)體識別需要具有一定領(lǐng)域知識的人員進(jìn)行語料標(biāo)注，增加了語料構(gòu)建的難度和成本。圖情領(lǐng)域具有高度跨學(xué)科性[3]，面向圖情領(lǐng)域的實(shí)體識別具有較好的代表性以及較大的難度。因此，為滿足在領(lǐng)域數(shù)據(jù)量小、人工標(biāo)注成本高的情況下提升實(shí)體識別效果的要求，本文提出基于ERNIE(Enhanced Representation through Knowledge Integration，知識增強(qiáng)的語義表示)[4]的LISERNIE模型，以及面向命名實(shí)體識別的LISERNIE+BiGRU(Bi-directional Gated Recurrent Unit，雙向門控循環(huán)單元)+CRF(Conditional Random Fields，條件隨機(jī)場)模型。提出的LISERNIE 模型通過在ERNIE預(yù)訓(xùn)練階段注入圖情領(lǐng)域知識，增強(qiáng)模型對領(lǐng)域文本的語義理解能力，從而解決通用預(yù)訓(xùn)練模型因缺乏下游特定領(lǐng)域知識而效果不佳的問題[5]。在命名實(shí)體識別和開放域關(guān)系抽取對比實(shí)驗(yàn)中，本文提出的LISERNIE+BiGRU+CRF模型的實(shí)驗(yàn)性能均優(yōu)于對比模型，驗(yàn)證了該模型的有效性和可行性，也為下游任務(wù)如知識圖譜構(gòu)建、語義檢索、問答系統(tǒng)等提供可借鑒的思路。

1 相關(guān)研究

不同研究對實(shí)體的定義不同，主要體現(xiàn)在實(shí)體類型的粒度上，如醫(yī)療領(lǐng)域?qū)膊　⑺幤?、治療方法等的識別[6-7]，軍事領(lǐng)域?qū)娐氒娿?、軍事裝備、軍用物資等的識別[8-9]。在圖情領(lǐng)域，現(xiàn)有研究[10-13]主要針對可公開獲取的文摘或論文全文數(shù)據(jù)集上的情報(bào)分析方法和情報(bào)學(xué)研究方法等單一類別實(shí)體的識別；也有文獻(xiàn)[14-15]面向中文古籍構(gòu)建歷史事件實(shí)體的識別任務(wù)。實(shí)際上，圖情領(lǐng)域?qū)嶓w復(fù)雜多樣，圖書館、情報(bào)機(jī)構(gòu)配置或使用的設(shè)備、不同角色的人才組成、各種會議等都是很有價(jià)值的實(shí)體類別。因此，根據(jù)圖情領(lǐng)域的特點(diǎn)，合理劃分命名實(shí)體的類別，并基于開源數(shù)據(jù)構(gòu)建標(biāo)注語料，是實(shí)現(xiàn)圖情領(lǐng)域命名實(shí)體識別的關(guān)鍵步驟，也為進(jìn)一步構(gòu)建知識圖譜等提供數(shù)據(jù)支撐。

由于中文命名實(shí)體結(jié)構(gòu)復(fù)雜、形式多樣，有效的實(shí)體識別方法仍然非常重要且具有挑戰(zhàn)性。隨著深度學(xué)習(xí)的興起，無需復(fù)雜特征工程的深度學(xué)習(xí)方法成為命名實(shí)體識別研究的主流。Huang等[16]提出將人工設(shè)計(jì)的拼寫特征和BiLSTM(Bidirectional Long Short-Term Memory，雙向長短期記憶網(wǎng)絡(luò))與CRF 融合起來進(jìn)行實(shí)體識別；李麗雙等[17]利用CNN(Convolutional Neural Network，卷積神經(jīng)網(wǎng)絡(luò))訓(xùn)練得到字符級向量，并輸入到BiLSTM+CRF 模型中進(jìn)行生物醫(yī)學(xué)命名實(shí)體識別；楊培等[18]結(jié)合注意力機(jī)制、BiLSTM 和CRF 來識別化學(xué)藥物命名實(shí)體。然而，這些方法主要采用傳統(tǒng)的Word2Vec[19-20]靜態(tài)詞向量來表示模型，對不同語境的適應(yīng)能力較差。2018 年Google 推出BERT 模型(Bidirectional Encoder Representations from Transformer，基于Transformer的雙向編碼器表示)，隨后出現(xiàn)越來越多的動態(tài)預(yù)訓(xùn)練語言模型(Pretrained Language Models，PLM)，并逐漸得到廣泛應(yīng)用。這種動態(tài)PLM利用大規(guī)模無標(biāo)注的文本語料進(jìn)行預(yù)訓(xùn)練以獲得通用特征表示，再通過微調(diào)將學(xué)習(xí)到的語義關(guān)系傳遞到下游任務(wù)中。但由于學(xué)習(xí)到的通用特征表示太泛化，導(dǎo)致模型往往在垂直領(lǐng)域表現(xiàn)不佳，尤其當(dāng)訓(xùn)練的源任務(wù)領(lǐng)域文本和目標(biāo)任務(wù)領(lǐng)域文本所對應(yīng)的領(lǐng)域不同時(shí)，模型效果下降非常明顯[21]。為增強(qiáng)PLM在垂直領(lǐng)域的應(yīng)用效果，研究人員開始對如何使用領(lǐng)域知識來增強(qiáng)PLM進(jìn)行探索[22-25]。結(jié)果表明，這種在預(yù)訓(xùn)練階段注入知識來提升PLM性能的方法具有有效性。

目前圖情領(lǐng)域語料還十分稀少，因此如何為PLM注入領(lǐng)域知識，增強(qiáng)模型在垂直領(lǐng)域的應(yīng)用效果是本文的研究重點(diǎn)。本文將根據(jù)圖情領(lǐng)域特征，對其實(shí)體分類、識別和應(yīng)用展開一些基礎(chǔ)性研究，旨在通過同時(shí)利用知識、數(shù)據(jù)、算法和算力4個(gè)要素來構(gòu)造更強(qiáng)大的人工智能[26]。

2 圖情領(lǐng)域?qū)嶓w分類

不同領(lǐng)域文本具有不同的文本特征。為比較圖情領(lǐng)域文本和其他領(lǐng)域文本的差異性，本文選取3個(gè)特定領(lǐng)域語料庫，分別是醫(yī)療、司法和金融領(lǐng)域的預(yù)訓(xùn)練數(shù)據(jù)集，如表1所示。圖情領(lǐng)域數(shù)據(jù)集是通過自主采集圖情領(lǐng)域相關(guān)的百科、新聞網(wǎng)、高校網(wǎng)、協(xié)會網(wǎng)以及博客整理得到的，其他3個(gè)領(lǐng)域的數(shù)據(jù)集均為網(wǎng)上公開的實(shí)體識別數(shù)據(jù)集。

表1 4個(gè)特定領(lǐng)域文本數(shù)據(jù)集說明

本文對這4個(gè)領(lǐng)域做了詞匯重疊度分析[21]：隨機(jī)抽取4個(gè)領(lǐng)域各1，000條數(shù)據(jù)，使用Python的jieba庫對數(shù)據(jù)進(jìn)行分詞處理，并過濾掉停用詞，對各領(lǐng)域剩下的詞統(tǒng)計(jì)前500個(gè)高頻詞，然后進(jìn)行重合比對分析。從圖1可看出，圖情領(lǐng)域文本和其他3個(gè)領(lǐng)域的文本重合度不高，與醫(yī)療文本的領(lǐng)域相似度最低，只有0.033，與金融領(lǐng)域相似度稍高，達(dá)到0.26，這主要是因?yàn)閳D情和金融領(lǐng)域文本中都有一些比較通用的詞匯，如“公司”“傳統(tǒng)”“共同”“保障”。不同領(lǐng)域詞分布的不同會導(dǎo)致語言模型在相應(yīng)領(lǐng)域語料中獲取到的語言表征不同，因此，針對不同領(lǐng)域特點(diǎn)需要設(shè)計(jì)不同的命名實(shí)體分類和識別方法。

圖1 不同領(lǐng)域間的詞匯重疊度

領(lǐng)域命名實(shí)體的分類一般是利用標(biāo)注數(shù)據(jù)集中實(shí)體內(nèi)部的結(jié)構(gòu)特征[27]或者知識庫定義來描述類別[28-29]。對第一種方法，有學(xué)者[30]認(rèn)為實(shí)體的類別往往會以短詞的方式直接出現(xiàn)在實(shí)體的末尾，但本文通過統(tǒng)計(jì)清華大學(xué)推出的通用知識圖譜XLORE[31]中出現(xiàn)的圖情領(lǐng)域相關(guān)實(shí)體，發(fā)現(xiàn)這種依靠實(shí)體結(jié)構(gòu)特征來獲取實(shí)體類別的方法并不可行。如表2所示，在1，602個(gè)實(shí)體中，只有17.8%的實(shí)體內(nèi)部包含類別指示詞。據(jù)此，本文采用第二種方法，即基于知識圖譜定義的類別描述方法。具體而言，利用XLORE中高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)來擴(kuò)展圖情領(lǐng)域的命名實(shí)體類別。通過解析XLORE發(fā)現(xiàn)，其層級結(jié)構(gòu)關(guān)系中主要包含實(shí)體和類目兩類節(jié)點(diǎn)，以及類目之間的上下位關(guān)系subclass-of 和實(shí)體、類目之間的從屬關(guān)系instance-of。由于一個(gè)節(jié)點(diǎn)可以包含多個(gè)上位節(jié)點(diǎn)和下位節(jié)點(diǎn)，使得這個(gè)類別層級結(jié)構(gòu)不是嚴(yán)格意義的樹形結(jié)構(gòu)。為了把XLORE中圖情領(lǐng)域相關(guān)的實(shí)體節(jié)點(diǎn)及其對應(yīng)的類目節(jié)點(diǎn)一一聯(lián)系起來，本文借鑒廣度優(yōu)先遍歷算法(Breadth First Search，BFS)的思想，指定類目節(jié)點(diǎn)“圖書資訊科學(xué)”作為類別路徑[32]的起始位置，并標(biāo)記為已訪問；然后從該節(jié)點(diǎn)出發(fā)，沿著subclass-of和instance-of 這兩類關(guān)系，訪問下位節(jié)點(diǎn)c1，c2，……和實(shí)體節(jié)點(diǎn)e1，e2，……，并均標(biāo)記為已訪問；再按c1，c2，……的次序，訪問這些類目節(jié)點(diǎn)的所有未被訪問的下位節(jié)點(diǎn)和實(shí)例節(jié)點(diǎn)；如此循環(huán)，直到所有與(其他)節(jié)點(diǎn)有路徑相通的節(jié)點(diǎn)均被訪問為止。至此，一個(gè)沒有多余路徑和回路的類別層級結(jié)構(gòu)形成。該層級結(jié)構(gòu)共10層，包含75 個(gè)類目節(jié)點(diǎn)和1，584 個(gè)實(shí)體節(jié)點(diǎn)，部分示例見圖2[1]。

圖2 類別路徑示例（部分）

表2 樣本數(shù)據(jù)中類別指示詞的統(tǒng)計(jì)結(jié)果

在類別路徑構(gòu)建過程中，筆者發(fā)現(xiàn)部分實(shí)體和其上位詞的語義關(guān)系較弱。比如，實(shí)體“圖書館員”“儲存裝置”“博物館資訊交換聯(lián)盟”的上位詞是“圖書資訊科學(xué)”，“國際博物館日”的上位詞是“博物館學(xué)”，這些實(shí)體和其上位詞之間都沒有遵從嚴(yán)格的上下位語義關(guān)系，無法從中獲得實(shí)體所屬類別的有效信息。為了彌補(bǔ)在構(gòu)建嚴(yán)格意義的類別層級結(jié)構(gòu)時(shí)可能誤刪掉的與實(shí)體節(jié)點(diǎn)更相關(guān)的類目節(jié)點(diǎn)，對類別路徑上的1，584個(gè)實(shí)體找出其在XLORE中所有的直接上位詞，共計(jì)3，005個(gè)。部分實(shí)體及其所有直接上位詞如表3所示。分析表3發(fā)現(xiàn)，相對于類目“圖書資訊科學(xué)”和“博物館學(xué)”，類目“職業(yè)”與實(shí)體“圖書館員”、類目“國際紀(jì)念活動”與實(shí)體“國際博物館日”更具有語義相關(guān)性。這樣，通過對3，005個(gè)類目進(jìn)行人工修改無效類目、合并相似類目，最終形成9大類圖情領(lǐng)域命名實(shí)體，分別是：人(Person，Per)、組織(Organization，Org)、圖書館(Library，Lib)、技術(shù)(Technology，Tec)、設(shè)備(Device，Dev)、文檔(Document，Doc)、職位(Job)、事件(Event，Eve)以及地點(diǎn)(Location，Loc)。這些實(shí)體類別在本文LISNER數(shù)據(jù)集的標(biāo)注如圖3所示。

圖3 圖情領(lǐng)域命名實(shí)體類別示例

表3 實(shí)體節(jié)點(diǎn)及其直接上位詞(部分)

3 基于LISERNIE的命名實(shí)體識別模型

動態(tài)PLM一般被劃分為兩階段：第一階段的預(yù)訓(xùn)練過程主要包含遮蔽語言建模(Masked Language Modeling，MLM)和下一句預(yù)測(Next Sentence Prediction，NSP)兩個(gè)基本任務(wù)；第二階段使用微調(diào)處理下游任務(wù)。ERNIE預(yù)訓(xùn)練的語料集主要來自中文百科類網(wǎng)站，這種基于通用語料上的預(yù)訓(xùn)練并不能很好地適配特定領(lǐng)域的NLP任務(wù)。為此，本文提出基于LISERNIE的命名實(shí)體識別模型，通過在ERNIE預(yù)訓(xùn)練階段注入圖情領(lǐng)域知識，來提升ERNIE對圖情領(lǐng)域文本的語義理解能力。

3.1 LISERNIE預(yù)訓(xùn)練模型

總結(jié)已有模型在知識注入時(shí)所用策略，發(fā)現(xiàn)大部分模型或多或少修改了傳統(tǒng)PLM 的結(jié)構(gòu)。例如，K-BERT[22]在BERT 嵌入層增加可視層；ERNIE-THU[26]使用K-Encoder 模塊將字嵌入和來自知識圖譜的實(shí)體嵌入進(jìn)行融合。與上述模型不同，本文提出的LISERNIE模型不需要改變ERNIE原有結(jié)構(gòu)，僅在預(yù)訓(xùn)練和微調(diào)之間引入一個(gè)中間階段，以便使用領(lǐng)域知識對ERNIE進(jìn)行繼續(xù)預(yù)訓(xùn)練。如圖4所示，PLM“預(yù)訓(xùn)練+微調(diào)”兩階段被調(diào)整為“基于通用語料的預(yù)訓(xùn)練+基于圖情領(lǐng)域知識的預(yù)訓(xùn)練+在命名實(shí)體識別任務(wù)上的微調(diào)”三階段。第一階段使用大量無標(biāo)注的通用文本語料進(jìn)行預(yù)訓(xùn)練，訓(xùn)練任務(wù)為MLM和NSP。第二階段直接加載第一階段預(yù)訓(xùn)練好的模型，基于圖情領(lǐng)域知識進(jìn)行無監(jiān)督訓(xùn)練，訓(xùn)練任務(wù)仍為MLM和NSP。第三階段利用自建的小規(guī)模標(biāo)注領(lǐng)域文本集，針對命名實(shí)體識別任務(wù)進(jìn)行微調(diào)。兩階段流程被調(diào)整為三階段流程，需要消耗一定的預(yù)訓(xùn)練資源，但獲得的知識是全局性的[33]，能讓預(yù)訓(xùn)練模型更好地應(yīng)用于語義理解任務(wù)。

圖4 基于LISERNIE的命名實(shí)體識別模型

預(yù)訓(xùn)練模型主要從非結(jié)構(gòu)化的文本信息中獲取知識，然而目前主流的知識注入方法是將知識圖譜信息注入PLM中。相對于非結(jié)構(gòu)化的文本信息，形如三元組或有向圖的知識圖譜所蘊(yùn)含的是結(jié)構(gòu)化的信息，需要對其進(jìn)行轉(zhuǎn)換以融入預(yù)訓(xùn)練模型中。如果無法進(jìn)行良好的融合，所融入的知識圖譜信息不僅不會提升性能，反而會降低預(yù)訓(xùn)練模型的效果?；诖耍疚倪x擇從CNKI下載圖情相關(guān)的期刊論文作為第二階段使用的圖情領(lǐng)域知識來源。學(xué)術(shù)期刊是科學(xué)知識的主要載體之一，蘊(yùn)含著大量專業(yè)知識且比較新穎，將特定領(lǐng)域文獻(xiàn)作為語料引入到預(yù)訓(xùn)練過程中也是最近的一個(gè)研究方向。SCIBERT的預(yù)訓(xùn)練語料來自Semantic Scholar上的110萬篇文章[34]，BioBERT則在PubMed摘要和PubMed Central全文文章上進(jìn)行預(yù)訓(xùn)練[5]。因此，本文使用易獲取的圖情相關(guān)文獻(xiàn)來進(jìn)行后續(xù)預(yù)訓(xùn)練。首先，在CNKI中檢索2007-2021年與“圖書情報(bào)”主題相關(guān)的中文期刊論文，并對結(jié)果中含有“HTML閱讀”的7，329篇論文的文本內(nèi)容進(jìn)行采集。然后，將作者、摘要、關(guān)鍵詞、參考文獻(xiàn)等信息剔除，只保留題名和全文文本內(nèi)容?？紤]到訓(xùn)練代價(jià)大，本文僅隨機(jī)選取1，000篇進(jìn)行分句處理，共切分出114，513個(gè)句子組成二次預(yù)訓(xùn)練的數(shù)據(jù)集。由于注入的是與ERNIE訓(xùn)練數(shù)據(jù)形式相同的同構(gòu)知識，不需要考慮外部知識與原有的非結(jié)構(gòu)化文本信息融合的問題，使用起來比較便捷。

3.2 面向命名實(shí)體識別任務(wù)的三層模型

本文將實(shí)體識別作為一個(gè)序列標(biāo)注任務(wù)，模型輸入字序列X={x1，x2…xn}，其中n代表句子中包含的字?jǐn)?shù)，xn表示第n個(gè)字，輸出為對應(yīng)的實(shí)體標(biāo)簽序列Y={y1，y2…yn}。整個(gè)命名實(shí)體識別模型由輸入表示層、上下文編碼層和輸出解碼層3 個(gè)模塊組成。字序列的輸入向量如圖5 所示，由字嵌入、句嵌入和位置嵌入3部分求和而成。

圖5 模型輸入示例

將相加后得到的嵌入表示E={e1，e2…en}輸入到LISERNIE層。LISERNIE層中最重要的結(jié)構(gòu)單元就是Transformer(Trm)編碼器。通過Trm編碼器計(jì)算得到的字的表征，既蘊(yùn)含字本身的含義，也蘊(yùn)含該字與其他字的關(guān)系，更具全局表達(dá)能力。為了進(jìn)一步提取文本的語義特征，可以在LISERNIE 層后接入RNN(Recurrent Neural Network，循環(huán)神經(jīng)網(wǎng)絡(luò))或者LSTM(Long Short-Term Memory，長短期記憶網(wǎng)絡(luò))、GRU(Gated Recurrent Unit，門控循環(huán)單元)等RNN改進(jìn)模型。與LSTM相比，GRU具有更低的模型復(fù)雜度和更高的訓(xùn)練效率。因此，本文采用由前向和后向GRU組合得到的BiGRU獲取范圍更廣的上下文依賴特征。

對于序列標(biāo)注問題，需要在獲取文本特征后預(yù)測當(dāng)前輸入序列的標(biāo)簽。雖然BiGRU層也能預(yù)測當(dāng)前序列的標(biāo)簽，但它只考慮字詞自身特征，忽略了標(biāo)簽之間的約束關(guān)系。因此，本文在BiGRU的輸出后面接入CRF層，以有效約束預(yù)測標(biāo)簽之間的依賴關(guān)系，對標(biāo)簽序列進(jìn)行建模，從而獲取全局最優(yōu)序列。

4 實(shí)驗(yàn)和結(jié)果分析

4.1 小規(guī)模標(biāo)注數(shù)據(jù)集

本文標(biāo)注數(shù)據(jù)來自自建的LISNER數(shù)據(jù)集中的228篇文檔，共7，537個(gè)句子。采用半自動化標(biāo)注方法，首先通過文本標(biāo)注工具BRAT進(jìn)行標(biāo)注。由于本文采用BIO標(biāo)記法，對于每個(gè)實(shí)體，首個(gè)字標(biāo)記為“B-實(shí)體類別”，中間字或結(jié)尾字標(biāo)記為“I-實(shí)體類別”，其他非實(shí)體標(biāo)記為“O”，所以預(yù)處理標(biāo)注后的數(shù)據(jù)就被分成9 類實(shí)體19 種標(biāo)簽。然后，通過人工審查并修正標(biāo)注結(jié)果，生成實(shí)驗(yàn)用的小規(guī)模標(biāo)注數(shù)據(jù)集，部分?jǐn)?shù)據(jù)展示見表4。將數(shù)據(jù)集按“6∶2∶2”拆分成訓(xùn)練集、測試集和驗(yàn)證集，這些實(shí)體在評測數(shù)據(jù)上的分布見表5。

表4 圖情領(lǐng)域的小規(guī)模標(biāo)注數(shù)據(jù)集

表5 實(shí)體在評測數(shù)據(jù)中的分布

4.2 模型搭建和參數(shù)設(shè)置

實(shí)驗(yàn)采用Tesla V100 的GPU，32GB 的Video Mem，實(shí)驗(yàn)語言為Python3.7，實(shí)驗(yàn)?zāi)Ｐ筒捎肞addlePaddle2.1.2搭建。預(yù)訓(xùn)練階段，模型超參設(shè)置如下：LISERNIE隱藏層維度為768維，batch size為64，學(xué)習(xí)率采用自定義算法，范圍為[1×10-5，1×10-4]，dropout設(shè)置為0.1，優(yōu)化算法使用AdamW[35]。微調(diào)階段，BiGRU隱藏層維度為256維，模型由15個(gè)Epoch進(jìn)行訓(xùn)練，學(xué)習(xí)率范圍設(shè)置為[6×10-5，1×10-4]，其余參數(shù)的設(shè)置與預(yù)訓(xùn)練階段保持一致。

4.3 評價(jià)指標(biāo)

本文使用實(shí)體級別的準(zhǔn)確率(Precision，P)、召回率(Recall，R)及其調(diào)和平均數(shù)F1來評價(jià)模型效果，具體計(jì)算公式如下：

4.4 實(shí)驗(yàn)設(shè)計(jì)與分析

為了驗(yàn)證基于LISERNIE的圖情領(lǐng)域命名實(shí)體識別模型的有效性，本文設(shè)計(jì)了4組實(shí)驗(yàn)。第一組為使用不同PLM 的實(shí)體識別效果對比實(shí)驗(yàn)，用來檢驗(yàn)注入領(lǐng)域知識的PLM相比其他PLM 是否取得更好的性能；第二組為不同類別的實(shí)體在不同規(guī)模數(shù)據(jù)集上的識別效果對比實(shí)驗(yàn)，用來檢驗(yàn)本文模型在小規(guī)模標(biāo)注數(shù)據(jù)集上的性能是否穩(wěn)定；第三組為消融實(shí)驗(yàn)，用來驗(yàn)證本文模型中各個(gè)模塊的有效性；第四組實(shí)驗(yàn)將模型應(yīng)用到實(shí)體關(guān)系抽取中，以驗(yàn)證模型的可行性。

(1)不同PLM的對比實(shí)驗(yàn)。分別使用Word2Vec、BERT[36]、ERNIE、RoBERTa[37]、ALBERT[38]及本文的LISERNIE等PLM得到句子的語義表示向量，再接入BiGRU和CRF兩層，實(shí)體識別結(jié)果見表6。本文提出的基于LISERNIE的識別模型效果最好，F(xiàn)1 值達(dá)到75.46%，相較于基于ERNIE的模型，提高了1.08%，表明為預(yù)訓(xùn)練模型注入領(lǐng)域知識能夠提升實(shí)體識別效果。而ERNIE的F1值又略高于BERT，這是由于在預(yù)訓(xùn)練語料方面，ERNIE不僅使用百科類語料，還使用新聞資訊類、論壇對話類語料來訓(xùn)練模型；相比于BERT僅使用百科類語料，ERNIE可獲得更好的語言表征，也進(jìn)一步驗(yàn)證了注入外部知識有利于提高模型的語義表示能力。基于傳統(tǒng)Word2Vec 的效果最差，可見“預(yù)訓(xùn)練+微調(diào)”的動態(tài)PLM比靜態(tài)PLM具有更大優(yōu)勢。此外，從運(yùn)行時(shí)間來看，各個(gè)模型相差不大，對于可以離線計(jì)算的任務(wù)而言是可接受的。

表6 不同PLM的識別效果對比

(2)不同類別的實(shí)體在不同規(guī)模語料(數(shù)據(jù)集)上的對比實(shí)驗(yàn)。將數(shù)據(jù)集規(guī)模劃分為四分之一、三分之一、二分之一、三分之二、四分之三和全部數(shù)據(jù)集，基于LISERNIE+BiGRU+CRF的命名實(shí)體識別模型在不同規(guī)模數(shù)據(jù)集上的識別效果如圖6所示?？梢钥吹?，同一個(gè)模型對不同類別實(shí)體的識別效果也有一定的差距，但總體上，實(shí)體的F1值和數(shù)據(jù)集的規(guī)模呈現(xiàn)一定的正相關(guān)。隨著語料規(guī)模的減少，實(shí)體的識別效果下降較為平緩，說明本文模型在小規(guī)模數(shù)據(jù)集上的性能比較穩(wěn)定。Person實(shí)體的F1值基本在85%以上，主要原因是對于Person這類通用命名實(shí)體，預(yù)訓(xùn)練階段已經(jīng)取得很好的效果，即使在標(biāo)注數(shù)據(jù)很少的情況下，識別性能也不會受到很大影響。但占比較少的Document、Device、Technology和Event這4類實(shí)體識別效果都出現(xiàn)急劇下降情況，說明測試數(shù)據(jù)太少還是會導(dǎo)致深度學(xué)習(xí)模型難以有效學(xué)習(xí)，識別效果大打折扣。

圖6 不同類別實(shí)體在不同規(guī)模數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

(3)消融實(shí)驗(yàn)。為更好地分析模型各個(gè)部分的作用，本文還進(jìn)行了模型消融實(shí)驗(yàn)，即在原始模型基礎(chǔ)上分別去掉BiGRU層、CRF層，以及同時(shí)去掉這兩層。另外，為了檢驗(yàn)BiGRU層的效果，還采用BiLSTM作為替換模型進(jìn)行了實(shí)驗(yàn)。觀察表7 可以看到，模型各個(gè)部分都起到了作用，模型1、2、3 的F1 值分別比本文模型低2.1%、1.19%和1.09%，說明去掉BiGRU層和CRF層的任何一層都會造成性能下降，并且同時(shí)去掉BiGRU層和CRF層，比單獨(dú)去掉其中一層效果下降更加明顯。比較模型2和4以及本文模型和模型5，發(fā)現(xiàn)用BiGRU替換BiLSTM后的效果和運(yùn)行速度均有所提升。可見，相對BiLSTM模型，BiGRU 模型參數(shù)更少、網(wǎng)絡(luò)結(jié)構(gòu)更加簡單，使得整個(gè)模型計(jì)算速度更快，在小數(shù)據(jù)集上的泛化效果也更好。

表7 不同模型的識別效果對比

(4)基于LISERNIE的實(shí)體關(guān)系抽取實(shí)驗(yàn)。面向開放域的關(guān)系抽取可以掙脫預(yù)定義關(guān)系的束縛，識別句子中實(shí)體與實(shí)體之間的關(guān)系，抽取出實(shí)體關(guān)系三元組。為分析LISERNIE模型對其他NLP 下游任務(wù)性能提升起到的積極作用，從LISNER數(shù)據(jù)集中隨機(jī)取出166個(gè)句子，將基于LISERNIE實(shí)現(xiàn)的關(guān)系抽取方法和現(xiàn)有的CORE(Chinese Open Relation Extraction，中文開放關(guān)系抽取)[39]系統(tǒng)進(jìn)行對比。CORE系統(tǒng)共抽取出22個(gè)句子中的38個(gè)三元組，經(jīng)人工校對，3個(gè)正確，準(zhǔn)確率為7.89%。本文方法共抽取出134個(gè)句子中的277個(gè)三元組，85個(gè)正確，準(zhǔn)確率為30.69%，部分抽取結(jié)果如表8所示。

表8 抽取結(jié)果對比（部分）

CORE系統(tǒng)采用基于依存句法分析的關(guān)系抽取方法，只抽取由動詞或名詞引導(dǎo)的介導(dǎo)關(guān)系，大量有用的關(guān)系實(shí)例被過濾掉，導(dǎo)致準(zhǔn)確率大大降低。本文采用流水線方法，首先基于LISERNIE+BiGRU+CRF模型對句子中的實(shí)體進(jìn)行識別，接著過濾掉句中“實(shí)體數(shù)＜2”的句子，最后抽取句子中實(shí)體對之間的文本作為關(guān)系。例如，句子“國家古籍保護(hù)中心在組織開展古籍?dāng)?shù)字資源發(fā)布的同時(shí)，全國古籍‘摸家底’工作也取得重要進(jìn)展。”經(jīng)過模型識別出一個(gè)Org實(shí)體“國家古籍保護(hù)中心”，但因?yàn)榫渥又械摹皩?shí)體數(shù)＜2”，該句被過濾掉。又如，表8中的句子1經(jīng)過本文模型識別出Eve實(shí)體“中華古籍保護(hù)計(jì)劃”、Tec實(shí)體“中華古籍資源庫”和“全國古籍普查登記基本數(shù)據(jù)庫”以及Lib實(shí)體“國家圖書館”，所以實(shí)體“中華古籍保護(hù)計(jì)劃”和實(shí)體“中華古籍資源庫”之間的文本被抽取出來，形成三元組["中華古籍保護(hù)計(jì)劃"，"重要階段成果"，"中華古籍資源庫"]。這種抽取處理簡單，不受限于限定模式，準(zhǔn)確率較CORE系統(tǒng)有較大的提高。

當(dāng)然，本實(shí)驗(yàn)主要是為了驗(yàn)證LISERNIE+BiGRU+CRF模型在關(guān)系抽取中的可行性。實(shí)現(xiàn)方法僅是在Riedel等[40]假設(shè)的基礎(chǔ)上放松抽取限制，認(rèn)為如果實(shí)體對存在某種關(guān)系，那么存在該實(shí)體對的句子反映了該關(guān)系，并針對每一個(gè)實(shí)體對進(jìn)行關(guān)系抽取，這樣會造成大量信息冗余，降低準(zhǔn)確率。但本文方法無需預(yù)先定義實(shí)體關(guān)系類型，只需少量標(biāo)注實(shí)體的預(yù)訓(xùn)練語料，對于后續(xù)開展開放域的實(shí)體關(guān)系抽取研究具有一定的借鑒意義。

5 結(jié)語

針對圖情領(lǐng)域內(nèi)標(biāo)注數(shù)據(jù)少、相關(guān)知識庫缺失等問題，本文利用知識圖譜中的實(shí)體節(jié)點(diǎn)及其類別層級結(jié)構(gòu)，科學(xué)確定了圖情領(lǐng)域的實(shí)體類別，并構(gòu)建了一個(gè)基于領(lǐng)域知識注入的預(yù)訓(xùn)練語言模型LISERNIE。在隨后開展的命名實(shí)體識別實(shí)驗(yàn)和開放域關(guān)系抽取實(shí)驗(yàn)中，相比于基線模型，本文提出的基于LISERNIE+BiGRU+CRF的命名實(shí)體識別模型能更有效地識別出實(shí)體及其關(guān)系，可以更好地支撐后續(xù)諸如知識圖譜構(gòu)建、問答系統(tǒng)、機(jī)器閱讀等自然語言應(yīng)用的開展。未來可關(guān)注：一是在預(yù)訓(xùn)練階段，過多的知識注入可能帶來噪聲，造成模型損失，但注入的知識不足則對于提高模型對文本的語義理解力幫助不大，后續(xù)研究可探討把什么樣的知識以什么樣的方式注入預(yù)訓(xùn)練模型中，使模型在下游任務(wù)上有更好的表現(xiàn)；二是采用流水線方法進(jìn)行開放域關(guān)系抽取會產(chǎn)生大量冗余信息，今后可以嘗試結(jié)合語義、語法信息實(shí)現(xiàn)實(shí)體關(guān)系的有效抽?。蝗菍⒅R驅(qū)動的人工智能和數(shù)據(jù)驅(qū)動的人工智能兩種范式結(jié)合起來，是人工智能發(fā)展的必經(jīng)之路[26]，后續(xù)研究可以思考如何將數(shù)據(jù)和知識融合，以實(shí)現(xiàn)更好的效果。