王梓銘 張思佳，2 安宗詩(shī)

（1.大連海洋大學(xué)信息工程學(xué)院遼寧省海洋信息技術(shù)重點(diǎn)實(shí)驗(yàn)室 大連 116023）

（2.設(shè)施漁業(yè)教育部重點(diǎn)試驗(yàn)室（大連海洋大學(xué)） 大連 116023）

1 引言

知識(shí)圖譜的基本存儲(chǔ)單元是三元組，三元組由頭部實(shí)體、關(guān)系和尾部實(shí)體組成。三元組之間通過關(guān)系聯(lián)系在一起從而構(gòu)成一張巨大的有向圖。DBpedia［1］、NELL［2］等大型知識(shí)庫(kù)均是從多個(gè)網(wǎng)站上爬取，清洗制作得到的，其復(fù)雜的知識(shí)結(jié)構(gòu)往往難以有效的進(jìn)行質(zhì)檢和分析。制作知識(shí)圖譜過程中往往會(huì)引入一些噪聲數(shù)據(jù)，如虛假的關(guān)系，錯(cuò)誤的實(shí)體，甚至無中生有的三元組。由于制作知識(shí)圖譜過程各種不可避免引入噪聲三元組，這些三元組破壞了知識(shí)圖譜的網(wǎng)絡(luò)結(jié)構(gòu)，使得知識(shí)難以得到有效的展示，基于知識(shí)圖譜的知識(shí)推薦和搜索會(huì)產(chǎn)生致命錯(cuò)誤。

為對(duì)知識(shí)圖譜進(jìn)行有效質(zhì)檢，Ruobing Xie［3］等提出的三元組置信度算法，三元組的置信度可在圖譜構(gòu)建前后進(jìn)行，置信度計(jì)算的結(jié)果隱含了知識(shí)圖譜的內(nèi)部特征和三元組之間的隱含信息。Shengbin Jia［4］等基于深度學(xué)習(xí)模型將三元組的內(nèi)部語(yǔ)義特征、節(jié)點(diǎn)的全局語(yǔ)義依賴信息、以及三元組組成要素之間的可信度整合在一起，構(gòu)建強(qiáng)魯棒性的噪聲三元組質(zhì)檢算法，其性能遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)的TransE［5］、TransR［6］等算法。Yu Zhao［7］等將頭尾結(jié)點(diǎn)實(shí)體詞向量表示進(jìn)行了一定的擴(kuò)充，主要是考慮到實(shí)體本就包含了豐富的語(yǔ)義信息。Shengbin Jia和Yu Zhao等均將Trans系列算法作為基礎(chǔ)算法，在多個(gè)層次上對(duì)實(shí)體和關(guān)系向量進(jìn)行整合達(dá)到較好的結(jié)果。但是目前的知識(shí)圖譜質(zhì)檢存在如下問題：1）大多數(shù)學(xué)者均是基于常見的開源知識(shí)圖譜設(shè)計(jì)質(zhì)檢算法，人為構(gòu)建噪聲數(shù)據(jù)集，將知識(shí)圖譜的質(zhì)檢轉(zhuǎn)換成常見的分類任務(wù)，噪聲數(shù)據(jù)集的構(gòu)建缺乏有效的方法；2）復(fù)雜的知識(shí)圖譜如FB15K-237 知識(shí)圖譜包含237 種關(guān)系，三元組之間具有復(fù)雜的關(guān)系傳遞［8］，僅以孤立的三元組作為正樣本，會(huì)極大削弱知識(shí)圖譜包含的知識(shí)。本文提出的算法能夠有效解決以上問題，主要?jiǎng)?chuàng)新點(diǎn)如下：

1）提出基于搜索深度的關(guān)系強(qiáng)弱表征方法。復(fù)雜知識(shí)圖譜節(jié)點(diǎn)之間通過關(guān)系進(jìn)行鏈接，基于鏈接深度，本文將每個(gè)三元組賦予預(yù)置權(quán)重，表征三元組為真實(shí)的置信度；

2）使用基于有向圖的深度搜索算法，搜索所有可能的路徑，基于搜索路徑構(gòu)建新的三元組，用以擴(kuò)充源三元組的規(guī)模；

3）基于擴(kuò)充的三元組構(gòu)建噪聲三元組，本文構(gòu)建的噪聲三元組有三種，分別是替換頭實(shí)體<？，r，t＞、替換關(guān)系

4）本文使用基于TransR 對(duì)擴(kuò)充后的真實(shí)三元組進(jìn)行預(yù)訓(xùn)練，得到實(shí)體和關(guān)系的初始表達(dá)，然后使用多種深度學(xué)習(xí)算法對(duì)三元組建模，特征融合最后完成質(zhì)檢。

2 隱含三元組

本文中隱含三元組是指復(fù)雜知識(shí)圖譜中，實(shí)體之間的關(guān)系傳遞導(dǎo)致實(shí)體之間存在間接關(guān)系，基于關(guān)系傳遞構(gòu)建的新三元組被稱為隱含三元組。為更準(zhǔn)確的挖掘知識(shí)圖譜節(jié)點(diǎn)之間的隱含語(yǔ)義關(guān)系，本文首先對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，得到隱含三元組數(shù)據(jù)集，對(duì)源圖譜中的三元組進(jìn)行擴(kuò)充。

首先基于FB15K-237 數(shù)據(jù)集構(gòu)建Neo4J 數(shù)據(jù)庫(kù)。以實(shí)體為搜索起點(diǎn)，搜索以該實(shí)體為起點(diǎn)的最長(zhǎng)有向路徑。遍歷數(shù)據(jù)集的所有實(shí)體，得到所有搜索路徑，然后刪除被包含的子路徑，最終得到互不包含的所有路徑，并構(gòu)建實(shí)體-關(guān)系矩陣E?；趯?shí)體關(guān)系矩陣?yán)藐P(guān)系傳遞方向構(gòu)建隱含三元組。實(shí)體-關(guān)系矩陣E如式（1）所示。

其中，sigi，j={0，1}，D 是數(shù)據(jù)集中不重復(fù)實(shí)體的數(shù)目，sigi，j是實(shí)體Eni與Enj之間的關(guān)系，sigi，j=0，表示這兩個(gè)實(shí)體之間無關(guān)聯(lián)，sigi，j=1，表示這兩個(gè)實(shí)體之間有關(guān)聯(lián)。由于該矩陣是基于有向圖搜索得到的，三元組

由于每一條搜索路徑均要求相鄰節(jié)點(diǎn)之間存在有向邊，且由頭部實(shí)體指向尾部實(shí)體，故本文基于有向搜索路徑構(gòu)建基于搜索深度的三元組置信度矩陣，該置信度矩陣用來標(biāo)識(shí)每一個(gè)三元組中頭部和尾部實(shí)體關(guān)聯(lián)強(qiáng)弱?？紤]到某些實(shí)體可能同時(shí)包含于多條搜索路徑，且由于深度不同造成置信度計(jì)算混亂，為解決這個(gè)問題，本文只以矩陣E 標(biāo)識(shí)的最長(zhǎng)搜索路徑為基準(zhǔn)計(jì)算構(gòu)建的隱含三元組的置信度，每條最長(zhǎng)搜索路徑之間相互獨(dú)立。置信度計(jì)算方式如式（3）所示。

其中，F(xiàn) 指包含三元組＜Eni，sigi，j，Enj＞的最長(zhǎng)搜索路徑個(gè)數(shù)，dk指當(dāng)前三元組在當(dāng)前所屬三元組中的搜索深度，pk是當(dāng)前搜索路徑總長(zhǎng)度，即包含三元組的個(gè)數(shù)，L 是所有最長(zhǎng)搜索路徑的最大長(zhǎng)度，通過參數(shù)L將所有的置信度進(jìn)行歸一化。

3 ITQI算法

3.1 三元組構(gòu)建及初始化

正三元組。本文中，正三元組指頭部和尾部實(shí)體間存在直接或傳遞關(guān)系而構(gòu)成的三元組。正三元組的來源有兩種：1）訓(xùn)練集提供的原始三元組；2）基于式（1）生成的隱含三元組。

噪聲三元組。噪聲三元組是指不與正三元組有交集，并且不包含于擴(kuò)充的知識(shí)圖譜的假三元組。為充分檢驗(yàn)本文算法對(duì)知識(shí)圖譜的質(zhì)檢效果，本文集每個(gè)原始數(shù)據(jù)集構(gòu)建三套噪聲數(shù)據(jù)集，分別是 HR_FAKE_T、 H_FAKER_T、 FAKEH_R_T。HR_FAKE_T是在正三元組基礎(chǔ)上隨機(jī)替換尾部實(shí)體、H_FAKER_T 是在正三元組基礎(chǔ)上隨機(jī)替換關(guān)系、FAKEH_R_T 是在正三元組基礎(chǔ)上隨機(jī)替換頭部實(shí)體。三套噪聲數(shù)據(jù)集的構(gòu)建過程如算法1 所示。

算法1 噪聲數(shù)據(jù)集構(gòu)建

//假設(shè)關(guān)系集合OR，正三元組集合OP，不重復(fù)三元組集合OT，不重復(fù)實(shí)體集合OE

//假設(shè)原始數(shù)據(jù)集搜索路徑集合OS，3套噪聲數(shù)據(jù)集規(guī)模分別是j1，j2，j3

1）輸入：OR、OP、OT、OS、OE、j1、j2、j3

2）輸出：HR_FAKE_T、H_FAKER_T、FAKEH_R_T

3）For k in random（OP）/**Work in OP**/

4） If length HR_FAKE_T

5） temp=Check（k.h，random（OE），k.t，0）

6）HR_FAKE_T←temp

7） Else pass

8） If length FAKEH_R_T

9） temp=Check（random（OE），k.r，k.t，1）

10）FAKEH_R_T←temp

11）Else pass

12）If length H_FAKER_T

13） temp=Check（k.h，random（OR），k.t，2）

14）H_FAKER_T←temp

15）Else pass

算法1 中，Check 函數(shù)分別實(shí)現(xiàn)對(duì)三種噪聲三元組的選擇，偽代碼如算法2所示。

算法2 Check（選擇噪聲三元組）

1）輸入：RTRIP、OR、OE、OS、find=True/**RTRIP 是傳進(jìn)來的隨機(jī)三元組**/

2）輸出：噪聲三元組

3）While

4） For triplets in OS

5） If

6） find=False Break

7） If find is True

8） Return

9） Else

10） If RTRIP.flag==0

11） RTRIP=（RTRIP.h，random（OE），RTRIP.t，0）

12） If RTRIP.flag==1

13） RTRIP=（random（OE），RTRIP.r，RTRIP.t，1）

14） If RTRIP.flag==2

15） RTRIP=（RTRIP.h，random（OR），RTRIP.t，2）

算法1和算法2實(shí)現(xiàn)了三種類型噪聲數(shù)據(jù)集的選擇和過濾，過濾條件包含兩個(gè)：1）新產(chǎn)生的噪聲三元組不應(yīng)出現(xiàn)在經(jīng)擴(kuò)展的正三元組集合；2）新產(chǎn)生的噪聲三元組不應(yīng)出現(xiàn)在實(shí)體-關(guān)系關(guān)聯(lián)矩陣E中。通過以上兩種過濾方法，能夠極大地避免噪聲三元組的頭部和尾部實(shí)體之間不存在傳遞關(guān)系。將正三元組和噪聲三元組合并得到新的數(shù)據(jù)集。

由于FB15K-237 數(shù)據(jù)集內(nèi)存在大量的1∶N 和N∶N 的關(guān)系，本文基于TransR 算法訓(xùn)練正三元組，得到實(shí)體和關(guān)系的向量表示，然后遍歷三個(gè)數(shù)據(jù)集的噪聲三元組，使用TransR 訓(xùn)練好的模型參數(shù)初始化所有的噪聲三元組。所有正三元組的嵌入與其置信度進(jìn)行內(nèi)積，得到加權(quán)特征向量。

3.2 ITQI算法基本框架

ITQI 算法的基本框架如圖1 所示。其中，Po-TransR 表示基于TransR 算法初始化的正三元組，N-Random 表示噪聲三元組。噪聲三元組和正三元組均使用相同的維度的向量進(jìn)行初始化。DeepPath是基于實(shí)體-關(guān)系矩陣構(gòu)建的搜索路徑。

圖1 算法的基本框架

ITQI算法包含兩個(gè)主要分支：當(dāng)前批次樣本的搜索路徑矩陣建模和三元組質(zhì)檢分類建模。

當(dāng)前批次樣本的搜索路徑矩陣建模。此分支的輸入是經(jīng)向量化的三元組，輸出是當(dāng)前批次三元組中每個(gè)實(shí)體與其他實(shí)體之間的關(guān)聯(lián)關(guān)系矩陣。一個(gè)批次樣本中，每個(gè)實(shí)體與其他實(shí)體間均在在兩種互斥關(guān)聯(lián)：存在間接關(guān)系或直接關(guān)系；不存在任何關(guān)系。ITQI 算法采用TextCNN 以及多層BiLSTM構(gòu)成實(shí)體間互斥關(guān)系預(yù)測(cè)模型，學(xué)習(xí)實(shí)體間的直接關(guān)聯(lián)和間接關(guān)聯(lián)關(guān)系。

三元組質(zhì)檢分類建模。此分支的輸入仍然是經(jīng)向量化的三元組，輸出是當(dāng)前批次三元組的質(zhì)檢結(jié)果：真三元組、假三元組。

考慮到本文對(duì)知識(shí)圖譜進(jìn)行深度預(yù)處理時(shí)已經(jīng)得到了一定規(guī)模的有向搜索路徑，實(shí)體間的時(shí)空語(yǔ)義關(guān)聯(lián)對(duì)實(shí)體向量的深層表示具有一定意義。王斌［9］等人使用TransE 訓(xùn)練三元組得到三元組的向量表示，基于三元組的向量分布及有向子圖直接求解三元組的局部特征、全局特征以及包含語(yǔ)義的路徑特征。本文使用多層BiLSTM實(shí)現(xiàn)對(duì)原始輸入的空間語(yǔ)義關(guān)系進(jìn)行建模，學(xué)習(xí)實(shí)體之間的局部關(guān)聯(lián)關(guān)系；然后使用BiLSTM提取三元組的內(nèi)部特征，最后使用局部損失和內(nèi)部損失共同優(yōu)化網(wǎng)絡(luò)參數(shù)。局部特征建模輸入如式（4）所示。

其中，B 指BatchSize，及當(dāng)前訓(xùn)練的輸入批次大小，a 是所有批次樣本的關(guān)聯(lián)深度，且a≤B，局部特征建模的目標(biāo)輸出標(biāo)簽如式（5）所示，標(biāo)簽含義如式（6）所示。

符號(hào)?表示實(shí)體Eni和實(shí)體Enj之間不存在關(guān)聯(lián)關(guān)系，兩者的關(guān)聯(lián)標(biāo)簽為0，符號(hào)→表示實(shí)體Eni和實(shí)體Enj之間存在關(guān)聯(lián)關(guān)系，兩者的關(guān)聯(lián)標(biāo)簽為1。

本文算法中，局部特征建模過程中，通過多標(biāo)簽分類算法實(shí)體間關(guān)聯(lián)關(guān)系的訓(xùn)練和預(yù)測(cè)，將不存在關(guān)聯(lián)關(guān)系的實(shí)體進(jìn)行區(qū)分，使用二分類方式實(shí)現(xiàn)真假三元組的質(zhì)檢。將兩者的損失進(jìn)行聚合共同優(yōu)化網(wǎng)絡(luò)參數(shù)。局部特征建模過程中實(shí)體關(guān)聯(lián)關(guān)系損失如式（7）所示。

三元組質(zhì)檢為常見的二分類交叉熵?fù)p失［10～11］，與式（7）合并之后得到總損失，見式（8）所示。

其中，y-表示三元組質(zhì)檢標(biāo)簽表示神經(jīng)網(wǎng)絡(luò)對(duì)每個(gè)三元組質(zhì)檢分類概率；yj表示局部特征建模過程中實(shí)體關(guān)聯(lián)關(guān)系標(biāo)簽，pj表示神經(jīng)網(wǎng)絡(luò)對(duì)每個(gè)實(shí)體關(guān)聯(lián)關(guān)系預(yù)測(cè)概率。

4 ITQI算法對(duì)比實(shí)驗(yàn)

4.1 實(shí)驗(yàn)環(huán)境

本文提出的ITQI 算法可在GPU 快速部署運(yùn)行，與其他算法在CPU 上進(jìn)行對(duì)比實(shí)驗(yàn)，對(duì)比實(shí)驗(yàn)的配置如表1所示。實(shí)驗(yàn)基本設(shè)置如表2所示。

表1 實(shí)驗(yàn)硬件條件

表2 實(shí)驗(yàn)條件設(shè)置

4.2 數(shù)據(jù)集

本文使用FB15K-237 數(shù)據(jù)集共有14541 種實(shí)體類別、237個(gè)關(guān)系、訓(xùn)練集272115組數(shù)據(jù)、驗(yàn)證集17535組數(shù)據(jù)和測(cè)試集20466組數(shù)據(jù)。

本文第3.2節(jié)使用基于有向最長(zhǎng)路徑搜索算法將所有實(shí)體之間有無關(guān)聯(lián)關(guān)系映射至實(shí)體關(guān)系關(guān)聯(lián)矩陣E，實(shí)體之間有直接關(guān)系或間接關(guān)系的均被認(rèn)為能夠構(gòu)建為正三元組，基于矩陣E，極大的擴(kuò)展了原有的正三元組，拓展后訓(xùn)練集的數(shù)據(jù)規(guī)模增加75179個(gè)三元組。

噪聲三元組依據(jù)算法1 和算法2 進(jìn)行構(gòu)建，其三元組規(guī)模分別與各數(shù)據(jù)集的訓(xùn)練集、測(cè)試集和驗(yàn)證集規(guī)?；鞠嗤?。

本文實(shí)驗(yàn)所使用的對(duì)比算法如表5 所示。評(píng)估指標(biāo)分別是：Accuracy、Precision、Recall-Score、F1-Score、Quality。這四個(gè)評(píng)估指標(biāo)的計(jì)算公式直接調(diào)用Sklearn.metrics封裝好的計(jì)算公式計(jì)算這四個(gè)指標(biāo)值。Quality 指標(biāo)時(shí)衡量三元組質(zhì)檢質(zhì)量的評(píng)估指標(biāo)，本文借鑒Shengbin Jia 等提出的計(jì)算Quality指標(biāo)公式，將0.5作為三元組質(zhì)檢的分界線，即預(yù)測(cè)為正的三元組其概率如果小于0.5則認(rèn)為預(yù)測(cè)錯(cuò)誤，預(yù)測(cè)為正的三元組其概率如果大于0.5 則認(rèn)為預(yù)測(cè)錯(cuò)誤。對(duì)比試驗(yàn)與現(xiàn)有的較好模型TransE、TransR、TransD［12］、TransH［13］、PTransE［14］、KGTtm［15］、MLP和Bilinear［16］進(jìn)行對(duì)比。

4.3 實(shí)驗(yàn)

本文算法首先在FB15K-237 數(shù)據(jù)集上進(jìn)行質(zhì)檢實(shí)驗(yàn)，實(shí)驗(yàn)對(duì)象分別如下：

1）正三元組+HR_FAKE_T；

2）正三元組+H_FAKER_T；

3）正三元組+FAKEH_R_T。

其 中HR_FAKE_T、H_FAKER_T 及FAKEH_R_T 等三個(gè)噪聲數(shù)據(jù)集的創(chuàng)建已在前文進(jìn)行詳細(xì)介紹，三組實(shí)驗(yàn)的評(píng)估指標(biāo)分別是Accuracy、F-Score、Precision、Recall 實(shí)驗(yàn)結(jié)果如圖2 所示，實(shí)驗(yàn)結(jié)果匯總?cè)绫?所示。

表6 三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

從本文算法在三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果可看出，本文實(shí)驗(yàn)具有較好的魯棒性，四種評(píng)估指標(biāo)下的實(shí)驗(yàn)結(jié)果均較高。為驗(yàn)證本文提出的ITQI 算法對(duì)實(shí)體間隱含關(guān)系學(xué)習(xí)的有效性以及對(duì)隱含三元組識(shí)別的準(zhǔn)確性，ITQI 算法與Shengbin Jia 等提出的算法及其對(duì)比試驗(yàn)結(jié)果進(jìn)行對(duì)比，評(píng)估指標(biāo)為Recall 及Quality，ITQI 算法與對(duì)比算法實(shí)驗(yàn)結(jié)果如表7所示。

表7 對(duì)比實(shí)驗(yàn)結(jié)果

從表7 可看出，本文所提算法ITQI 在FB15K-237 數(shù)據(jù)集的三個(gè)擴(kuò)展集上的實(shí)驗(yàn)結(jié)果優(yōu)于其它算法在原始數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。相對(duì)于其它對(duì)比算法的平均召回率和質(zhì)檢質(zhì)量均值而言，本文算法在三個(gè)拓展集的召回率最大提升6.09%、最小提升2.92%；Quality 指標(biāo)下的最大提升15.09%，最小提升12.09%；和KGTtm-、PTransE-以及TransR-相比，本文算法召回率最大提升7.275%，最小提升0.201%；Quality 指標(biāo)上最大提升14.98%，最小提升1.251%?；谝陨蠈?duì)比結(jié)果，本文算法在兩個(gè)對(duì)比指標(biāo)上的平均提升率和在單個(gè)對(duì)比算法上的提升率均為正，實(shí)驗(yàn)表明本文算法具有一定的優(yōu)勢(shì)。

5 結(jié)語(yǔ)

針對(duì)現(xiàn)有三元組質(zhì)檢算法極少考慮到知識(shí)圖譜中由于關(guān)系轉(zhuǎn)遞存在的大量隱含三元組對(duì)質(zhì)檢效果的影響，本文提出基于帶噪聲數(shù)據(jù)集的強(qiáng)魯棒性隱含三元組質(zhì)檢算法ITQI，首先對(duì)FB15K-237數(shù)據(jù)集進(jìn)行了擴(kuò)充得到更大規(guī)模的三元組，并使用算法1和算法2分別生成三組噪聲數(shù)據(jù)集。通過本文算法與對(duì)比算法在數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文算法具有更高的準(zhǔn)確率，且優(yōu)于其它算法。從評(píng)估指標(biāo)對(duì)比結(jié)果來看，本文算法在正三元組+FAKEH_R_T 這類數(shù)據(jù)集上有更高的召回率，三元組的質(zhì)檢質(zhì)量更高。