葛亮， 張藝璇， 李偉平

(1.中國科學(xué)技術(shù)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，安徽 合肥 230027；2.北京大學(xué) 軟件與微電子學(xué)院， 北京 100871)

知識圖譜是一種用圖模型來描述知識和建模世界萬物之間關(guān)聯(lián)的技術(shù)方法[1]，可以高效描述海量實(shí)體、實(shí)體屬性及實(shí)體間的關(guān)系，將非結(jié)構(gòu)化的知識組織起來[2]。數(shù)據(jù)整合成知識圖譜并使用圖數(shù)據(jù)庫存儲能大幅提高數(shù)據(jù)查詢速度[3]。知識圖譜在語義檢索[4-5]、智能問答[6-7]、自然語言理解[8-9]、輔助大數(shù)據(jù)分析[10-11]等方面表現(xiàn)出很高的應(yīng)用價值，還可以實(shí)現(xiàn)知識的圖形化展示。知識圖譜最早的概念來自Berners[12]提出語義網(wǎng)，已經(jīng)出現(xiàn)了許多知識圖譜項(xiàng)目，知識圖譜項(xiàng)目可分為通用知識圖譜和垂直領(lǐng)域知識圖譜2種，通用知識圖譜有Google的FreeBase、德國馬普研究所研制的Yago、FreeBase、Carnegie Mellum大學(xué)開發(fā)的NELL系統(tǒng)，微軟的ConceptGraph等。FreeBase[13]做為開放的大規(guī)模鏈接數(shù)據(jù)庫，基于RDF三元組模型，采用社區(qū)成員協(xié)作方式構(gòu)建。Yago[14]是一個集成了維基百科、WordNet、GeoNames3種數(shù)據(jù)庫的鏈接數(shù)據(jù)庫。NELL[15]通過自學(xué)習(xí)地互聯(lián)網(wǎng)挖掘自動從Web中抽取三元組知識。微軟的ConceptGraph是以概念層次體系為中心的知識圖譜，主要儲存概念定義和概念之間的IsA關(guān)系。相對于通用知識圖譜而言，垂直領(lǐng)域的知識圖譜只收集特定領(lǐng)域的知識，比如醫(yī)療、金融和電商領(lǐng)域。垂直領(lǐng)域的知識結(jié)構(gòu)可能更加復(fù)雜，比如醫(yī)療知識圖譜GeneOnto[16]包含了復(fù)雜的類層次結(jié)構(gòu)。同時，垂直領(lǐng)域知識圖譜的專業(yè)性強(qiáng)，而且語料難以獲得，給垂直領(lǐng)域知識圖譜構(gòu)建帶來了挑戰(zhàn)。通常需要通過專業(yè)人士構(gòu)建出專業(yè)領(lǐng)域的本體庫，然后利用本體來抽取實(shí)體構(gòu)建知識圖譜。這種方法需要的標(biāo)注工作量較大，消耗時間長。降低領(lǐng)域知識圖譜所需的人工標(biāo)注數(shù)據(jù)量，以此減少圖譜構(gòu)建時間，降低圖譜構(gòu)建的難度。

本文提出了一種基于遠(yuǎn)程監(jiān)督和深度學(xué)習(xí)的自適應(yīng)實(shí)體抽取方法，設(shè)計(jì)領(lǐng)域相關(guān)知識的本體，并以糧油保管領(lǐng)域?yàn)槔瑢ⅰ都Z油儲藏學(xué)》[17]、《糧油保管員教材》[18]等文獻(xiàn)作為語料，使用雙向長短期記憶網(wǎng)絡(luò)(BiLSTM)和全連接神經(jīng)網(wǎng)絡(luò)方法進(jìn)行了實(shí)體抽取，形成RDF三元組，并進(jìn)行了對比實(shí)驗(yàn)，最后構(gòu)建了糧油保管領(lǐng)域的知識圖譜。

1 知識圖譜構(gòu)建方法和過程

知識圖譜構(gòu)建流程如圖1所示。通過和相關(guān)領(lǐng)域?qū)＜覝贤?，利用領(lǐng)域知識構(gòu)建領(lǐng)域本體庫，作為知識圖譜構(gòu)建的依據(jù)，再使用遠(yuǎn)程監(jiān)督實(shí)體抽取算法抽取實(shí)體。

圖1 知識圖譜構(gòu)建流程

實(shí)體抽取首先需進(jìn)行文本預(yù)處理。將領(lǐng)域相關(guān)知識的教材、文件去除圖片等非文本信息，進(jìn)行分詞、去除停用詞，然后通過查閱相關(guān)資料構(gòu)建初始實(shí)體詞典，使用貪心算法對語料進(jìn)行標(biāo)注，得到數(shù)據(jù)集，最后使用基于遠(yuǎn)程監(jiān)督和深度神經(jīng)網(wǎng)絡(luò)抽取實(shí)體[19-20]。

實(shí)體抽取算法在PU學(xué)習(xí)(positive unlabeled learning，PU)框架下，使用基于BiLSTM和全連接網(wǎng)絡(luò)的方法進(jìn)實(shí)體的判定和分類，利用AdaSampling[21]機(jī)制對實(shí)體詞典進(jìn)行更新。抽取到實(shí)體后，按照本體庫中定義的關(guān)系，使用Neo4j[22]圖數(shù)據(jù)庫構(gòu)建知識圖譜。

本體是對領(lǐng)域知識進(jìn)行建模的規(guī)范，是描述現(xiàn)實(shí)世界的抽象模型，通過樹狀結(jié)構(gòu)組織，以形式化方式對領(lǐng)域的概念及他們之間的關(guān)系給出明確定義,相鄰層次的概念之間具有嚴(yán)格的“IsA”關(guān)系。在知識圖譜中，本體屬于模式層，用于描述概念層次體系，是知識庫中知識的概念模板[23-24]。本文根據(jù)專家知識，利用人工編輯的方式手動構(gòu)建了糧油存儲領(lǐng)域本體。圖2展示部分本體，本體以糧油存儲為根節(jié)點(diǎn)，包括糧油作物種類、儲糧環(huán)境、有害生物和防治措施4類概念，每一類概念下細(xì)分成若干子類，比如在有害生物類別下，按照生物學(xué)分類將害蟲分為了不同的類別。

圖2 本體設(shè)計(jì)圖

2 實(shí)體抽取算法

PU學(xué)習(xí)在只有正類數(shù)據(jù)和無標(biāo)記數(shù)據(jù)的情況下訓(xùn)練分類，目標(biāo)是使風(fēng)險函數(shù)R最小[25]。

R=EX,Y(f(x),yx)

(1)

其中，在實(shí)體抽取任務(wù)中，R為：

R=πnEX|Y=0(f(x),0)+πpEX|Y=1(f(x),1)

(2)

其中，πp=P(Y=1)，πn=P(Y=0)。

本文假設(shè)語料中包含足夠多的正例，正例的損失EX|Y=1(f(x),1)能被有效估計(jì)。因此，PU學(xué)習(xí)的主要問題是在沒有負(fù)例標(biāo)注數(shù)據(jù)的情況下如何估計(jì)EX|Y=0(f(x),0)。由

P(Y=0)P(X|Y=0)=

P(X)-P(Y=1)P(X|Y=1)

(3)

可知：

EX|Y=0(f(x),0)=

EXl(f(x),0)-πpEX|Y=1l(f(x),0)

(4)

為此，進(jìn)一步規(guī)定：

R=EX(f(x),0)+πpEX|Y=1((f(x),1)-

(5)

根據(jù)式(5)，可以只使用標(biāo)注的正例和未標(biāo)注數(shù)據(jù)估計(jì)R。

本文PU學(xué)習(xí)中的分類器通過 LSTM和全連接神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，損失函數(shù)為交叉熵，先使用LSTM抽取出所有類型的實(shí)體，再通過全連接神經(jīng)網(wǎng)絡(luò)判斷實(shí)體的類型。本文還采用了AdaSampling方法，此方法可以隨著訓(xùn)練的進(jìn)行自適應(yīng)的擴(kuò)展字典。

2.1 語料預(yù)處理和預(yù)訓(xùn)練詞向量

本文使用的原始語料均為公開的官方教材、指導(dǎo)文件等。去除文本中的圖片等非文本信息，進(jìn)行分詞和去除停用詞，在人工篩選之后進(jìn)行分句儲存，作為數(shù)據(jù)標(biāo)注和詞向量訓(xùn)練的語料。根據(jù)圖2中構(gòu)建的本體，本文定義了4種基本的實(shí)體類型，如表1所示。語料中的實(shí)體都屬于這4種實(shí)體類型。

表1 實(shí)體類型定義

2.2 基于PU學(xué)習(xí)的實(shí)體抽取算法

本文提出的實(shí)體抽取算法包括2部分，分別為實(shí)體判定算法和實(shí)體分類算法。在PU學(xué)習(xí)框架內(nèi)，本文同時采用了基于BiLSTM和全連接深度神經(jīng)網(wǎng)絡(luò)來進(jìn)行實(shí)體類型的分類。將文本使用Bert預(yù)訓(xùn)練模型[26]轉(zhuǎn)換為向量表示，再采用了BiLSTM網(wǎng)絡(luò)進(jìn)行二分類判定目標(biāo)詞是否為實(shí)體，然后對判定為正類的詞使用全連接網(wǎng)絡(luò)進(jìn)行多分類運(yùn)算，得到最終的實(shí)體類型，同時使用AdaSampling機(jī)制發(fā)現(xiàn)新的實(shí)體。

模型最先是BiLSTM判定層，將由Bert預(yù)訓(xùn)練模型得到的字向量輸入雙向LSTM層生成隱層特征，再通過Sigmoid函數(shù)作為激活函數(shù)的全連接層，對目標(biāo)詞語是否為實(shí)體進(jìn)行二分類判定。若該詞判定為實(shí)體，則進(jìn)入全連接神經(jīng)網(wǎng)絡(luò)分類層；在全連接神經(jīng)網(wǎng)絡(luò)分類層中，首先使用目標(biāo)詞的上下文詞作為輸入，接著使用了128個神經(jīng)元，之后使用Softmax激活函數(shù)進(jìn)行多分類。

(6)

語句中字符w的字嵌入為e(w)。引入了關(guān)于的w的唯一稠密向量表示e(w)，該向量使用Bert預(yù)訓(xùn)練模型初始化。

基于Bert預(yù)訓(xùn)練字向量，應(yīng)用雙向LSTM(BiLSTM)網(wǎng)絡(luò)，以e(w)，wt∈s作為輸入，對給定句子s的wt的上下文信息進(jìn)行建模，記作context(wt)。將第t步向前LSTM的隱藏狀態(tài)ht和向后LSTM的隱藏狀態(tài)h′t串聯(lián)在一起:

e(wt|s)=[ht⊕h′t]

(7)

形成給定s的wt為：

(8)

式中：σ表示Sigmoid函數(shù)；wp是可訓(xùn)練的參數(shù)向量；b是偏置項(xiàng)。H為使用交叉熵計(jì)算字符預(yù)測類別與標(biāo)簽的差異。

給定標(biāo)簽y(y∈{0,1})時，字符的預(yù)測風(fēng)險為：

(9)

2.3 自適應(yīng)實(shí)體詞典擴(kuò)充算法

根據(jù)2.1節(jié)中定義的4種實(shí)體類型，結(jié)合本領(lǐng)域?qū)I(yè)知識和互聯(lián)網(wǎng)調(diào)研選取常見的農(nóng)業(yè)實(shí)體，構(gòu)建了基本的實(shí)體詞典。特別對于詞典中的詞不采用分詞進(jìn)行處理，如“日本蛛甲”整體保存在“有害生物”這個實(shí)體類別中。實(shí)體詞典初始的大小為50+20+50+20=140個實(shí)體。

本文在訓(xùn)練過程中用AdaSampling機(jī)制不斷擴(kuò)充實(shí)體詞典。在每次epoch完成之后，若某字符被分類為實(shí)體，且其未在實(shí)體詞典中，便計(jì)算其為實(shí)體的可信度。定義字符的可信度pc為:

pc=count(f(xc)∈L+)/p

(10)

式中：L+是實(shí)體標(biāo)簽集合；p是訓(xùn)練輪數(shù)。

若可信度大于η，則將其擴(kuò)充至實(shí)體詞典的相應(yīng)類別。若相鄰的字符都被標(biāo)記為實(shí)體，合并成一個詞，擴(kuò)充方法如算法1所示。詞典擴(kuò)充算法可以發(fā)現(xiàn)預(yù)料中未標(biāo)記成正例的新實(shí)體。新實(shí)體修正訓(xùn)練語料的標(biāo)記，可以增加訓(xùn)練語料中的正例比例，使標(biāo)記語料的正負(fù)例分布更接近實(shí)際情況。

算法1 基于AdaSampling的詞典擴(kuò)充算法1:Input:標(biāo)記出實(shí)體的正例數(shù)據(jù)集合L,未標(biāo)記的數(shù)據(jù)集合U。初始狀態(tài)下認(rèn)為U中的數(shù)據(jù)都是負(fù)例,實(shí)體集合dict。2:Output:識別出集合D中的實(shí)體加入詞典。3:Initialize:p0←1//初始化所有語料的概率向量4://從U中采樣負(fù)例得到負(fù)例集合S0。S0←sampling(U,p0U)5://初始化標(biāo)簽 [D0,y]←[L,y=1]∪[S0,y=0]6:i=07:do8: epoh=epoh+19: //訓(xùn)練分類器對所有數(shù)據(jù)進(jìn)行實(shí)體抽取predicted(f(x;[Di,y]),L∪U10: //更新詞典if pc≥η:dict=dict∪celse if pc<η and c in dict:dict.remove(c)12: //更新U中樣本的概率并采樣si=sampling(U,PiU)13: [Di,y]←[L,y=1]∪[Si,y=0]14:while R^l<ε;

3 糧油存儲領(lǐng)域的遠(yuǎn)程監(jiān)督自適應(yīng)實(shí)體抽取實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備

對原始文本去除圖片等非文本信息，分詞和去除停用詞，人工篩選后得到23 184句有效數(shù)據(jù)。使用原始實(shí)體詞典進(jìn)行自動標(biāo)注，實(shí)體的位置標(biāo)簽為BIO。使用Bert預(yù)訓(xùn)練中文詞向量將每個字符轉(zhuǎn)化為長度為768維的稠密特征向量。實(shí)體的類型為糧油作物種類、儲量環(huán)境、有害生物、防治措施。實(shí)體詞典初始的大小為50+20+50+20=140個實(shí)體。經(jīng)過標(biāo)注后共有6 093個句子及11 502個詞語有標(biāo)注。語料字符中的實(shí)體字符比例為0.087。設(shè)正例的標(biāo)記比例為ρ,ρ∈{0.2,0.4,0.6,0.8}。為了模擬真實(shí)語料中實(shí)體詞出現(xiàn)的規(guī)律，采樣標(biāo)記數(shù)據(jù)時使用貪心的采樣算法，如果實(shí)體字符的位置標(biāo)簽B被采樣標(biāo)記數(shù)據(jù)，此實(shí)體包含的所有字符都被采樣為標(biāo)記數(shù)據(jù)。

3.2 實(shí)驗(yàn)所用算法及結(jié)果

本實(shí)驗(yàn)采用了PU學(xué)習(xí)與自適應(yīng)實(shí)體構(gòu)建相結(jié)合的算法。使用Bert預(yù)訓(xùn)練的中文詞向量作為BiLSTM神經(jīng)網(wǎng)絡(luò)的輸入，在PU學(xué)習(xí)定義的損失函數(shù)框架下判斷字符是否是實(shí)體的一部分。將判定是實(shí)體的字符送入全連接神經(jīng)網(wǎng)絡(luò)中判定實(shí)體的類型。將預(yù)測出且未在預(yù)料中標(biāo)記過的實(shí)體加入新實(shí)體詞典中。實(shí)驗(yàn)所用算法結(jié)構(gòu)如圖3所示。實(shí)驗(yàn)所用神經(jīng)網(wǎng)絡(luò)LSTM為300，訓(xùn)練批量32，Bert隱單元為768，全連接層隱單元為64。

圖3 實(shí)體抽取算法

本實(shí)驗(yàn)使用的語料樣例圖4所示，語料分詞后插入空格，每個字符對應(yīng)一個標(biāo)簽。正例的標(biāo)簽為“B-L”、“I-L”；其中“B”、“I”表示此字符在實(shí)體詞語中的位置，位置分為開始、中間?！癓”表實(shí)實(shí)體的類型?！癘”表實(shí)此字符不是實(shí)體。

圖4 實(shí)驗(yàn)使用的語料樣例

取20%的語料為標(biāo)記數(shù)據(jù)，剩下的語料作為未標(biāo)記數(shù)據(jù)，此時語料中的實(shí)體字符比例為0.017。在同樣使用BIO標(biāo)注的情況下，將PU學(xué)習(xí)的實(shí)驗(yàn)結(jié)果分別與BiLSTM、BiLSTM-CRF[27]對比,實(shí)驗(yàn)結(jié)果如表2所示。BiLSTM的正例召回率較低，說明正例較少時BiLSTM方法傾向于將正例分類為負(fù)例。由于CRF的全局路徑中學(xué)到了額外的約束，BiLSTM-CRF的效果比僅用BiLSTM提高了約11%。但是在同等情況下，PU學(xué)習(xí)的精確率略高于BiLSTM，低于BiLSTM-CRF，召回率則約是BiLSTM和BiLSTM-CRF的2倍。這說明PU學(xué)習(xí)在正例很少時也能很好地從負(fù)例中區(qū)分出正例。

表2 取20%數(shù)據(jù)作為標(biāo)記語料時不同實(shí)驗(yàn)方法的結(jié)果

PU學(xué)習(xí)模型在每輪訓(xùn)練后自動擴(kuò)充實(shí)體詞典，訓(xùn)練前后實(shí)體詞典的大小對比如表3所示。在4種實(shí)體中，有害生物實(shí)體的新詞數(shù)最少，可能原因有：1)有害生物實(shí)體字符數(shù)較多，而模型在多字符實(shí)體上性能下降；2)有害生物名稱多為生僻字，屬于預(yù)訓(xùn)練模型中的未登錄詞，被替換成未登錄詞標(biāo)識符。

表3 訓(xùn)練前后實(shí)體詞典對比

3.3 語料規(guī)模對算法的影響

為了探究語料規(guī)模對算法的影響，本文分別取標(biāo)記數(shù)據(jù)占比為全部數(shù)據(jù)的0.2、0.4、0.6、0.8進(jìn)行實(shí)驗(yàn)，PU學(xué)習(xí)模型和BiLSTM、BiLSTM-CRF的宏平均F1值變化如實(shí)驗(yàn)結(jié)果圖5所示，PU學(xué)習(xí)和BiLSTM、BiLSTM-CRF達(dá)到最佳性能所需訓(xùn)練輪數(shù)如圖5所示。隨著訓(xùn)練集中標(biāo)記語料比例增大，PU學(xué)習(xí)的分類效果和BiLSTM、BiLSTM-CRF逐漸接近。標(biāo)記語料占比等于60%時，PU學(xué)習(xí)BiLSTM-CRF的效果接近。標(biāo)記語料占比大于60%時，BiLSTM-CRF的效果最佳。這說明PU學(xué)習(xí)只需要傳統(tǒng)實(shí)體抽取方法1/3的標(biāo)注語料，就能得到與傳統(tǒng)實(shí)體抽取方法持平的分類效果，是一種有效的遠(yuǎn)程監(jiān)督實(shí)體抽取方法。

圖5 PU學(xué)習(xí)和BiLSTM、BiLSTM-CRF的F1值隨著標(biāo)記數(shù)據(jù)比例的變化

從圖6可以看出，標(biāo)記語料較少時，PU學(xué)習(xí)能顯著減少模型達(dá)到分類效果所需的訓(xùn)練時間。BiLSTM、BiLSTM-CRF方法需要訓(xùn)練70輪以上才能達(dá)到最佳效果，但PU學(xué)習(xí)在30輪以內(nèi)就能達(dá)到最佳效果。隨著訓(xùn)練集中標(biāo)記語料比例增大，BiLSTM、BiLSTM-CRF和PU學(xué)習(xí)達(dá)到最佳分類效果所需訓(xùn)練輪數(shù)逐漸接近。

圖6 PU學(xué)習(xí)和BiLSTM、BiLSTM-CRF達(dá)到最佳性能所需訓(xùn)練輪數(shù)

本文根據(jù)抽取的實(shí)體和本體庫構(gòu)建了知識圖譜,圖7中展示了圖譜的部分節(jié)點(diǎn)和關(guān)系。圖譜包括糧油作物種類，儲糧環(huán)境，有害生物，防治措施4類共205個節(jié)點(diǎn)。

圖7 知識圖譜示例

4 結(jié)論

1)本文提出的基于遠(yuǎn)程監(jiān)督和深度學(xué)習(xí)的實(shí)體抽取的方法，以及基于AdaSampling機(jī)制的自適應(yīng)詞典構(gòu)建方法與傳統(tǒng)實(shí)體抽取方法取訓(xùn)練集的60%數(shù)據(jù)作為標(biāo)記語料時，分類效果相當(dāng)。

2)PU學(xué)習(xí)是一種有效的遠(yuǎn)程監(jiān)督實(shí)體抽取方法。在標(biāo)記語料占全部語料的比例小于60%時，本文算法進(jìn)行實(shí)體抽取準(zhǔn)確率和召回率均高于BiLSTM-CRF算法。因此本文算法可一定程度上彌補(bǔ)標(biāo)記數(shù)據(jù)不夠帶來的實(shí)體抽取效果下降。本文算法能減少分類模型的訓(xùn)練語料需求量，從而減人工標(biāo)注的工作量。

3)本文算法可縮短模型訓(xùn)練時間，并可發(fā)現(xiàn)訓(xùn)練語料中的新實(shí)體。

4)本文構(gòu)建的知識圖譜將用于糧油領(lǐng)域?qū)I(yè)知識的建設(shè)和梳理，可以提高知識檢索效率、用于語義檢索、知識問答、知識圖譜推理等，有效支持了糧油科學(xué)保管工作。