彭 敏，姚亞蘭，謝倩倩，高 望

(武漢大學(xué) 計算機學(xué)院，湖北 武漢 430072)

0 引言

目前，知識庫在智能問答及個性推薦等人工智能領(lǐng)域應(yīng)用前景廣泛。知識庫通常表示成網(wǎng)絡(luò)結(jié)構(gòu)，使用三元組(頭實體，關(guān)系，尾實體)來表示知識。然而，基于網(wǎng)絡(luò)的知識表示面臨以下挑戰(zhàn)： ①計算效率低。知識推理時往往要設(shè)計專門的圖算法，計算復(fù)雜度高且拓展性差。②嚴(yán)重的數(shù)據(jù)稀疏。知識庫存在一些關(guān)聯(lián)知識較少的罕見實體，其語義計算準(zhǔn)確率極低?；谝陨咸魬?zhàn)，學(xué)界提出了以深度學(xué)習(xí)為基礎(chǔ)的知識表示學(xué)習(xí)方法，TransE[1]便是其中應(yīng)用最為廣泛的模型。然而，TransE及其大部分拓展模型僅利用知識庫的結(jié)構(gòu)化信息，很難處理好知識庫外的新實體或相關(guān)知識極少的罕見實體。

為解決以上問題，一些工作[2-4]開始引入文本信息來改善知識表示，面對新實體或罕見實體，利用文本來補充其缺失的語義信息，不僅提供了新的表示方法，還能有效緩解數(shù)據(jù)稀疏問題。然而，它們?nèi)源嬖谝恍┎蛔悖?①尚未提出聯(lián)合文本和結(jié)構(gòu)化信息的有效方法。許多工作只在單詞的層次或得分函數(shù)上做了對齊。②未篩選文本信息。例如，實體描述可能包含實體在多種情況下的信息，并非對所有的文本都有用。

針對已有工作的不足，Xu等提出基于雙向LSTM的聯(lián)合知識表示模型[5]。該模型利用注意力機制來篩選描述文本里的信息，提出了門機制來聯(lián)合文本和結(jié)構(gòu)表示，在鏈路預(yù)測及三元組分類等經(jīng)典任務(wù)里達到了目前最好的水平。然而，雙向LSTM模型需要輸入上一個隱藏狀態(tài)和位置來產(chǎn)生下一個隱藏狀態(tài)，這種固有順序的性質(zhì)使得訓(xùn)練過程無法并行化，在處理更長的序列時，還會因內(nèi)存限制而制約訓(xùn)練集的跨批次處理[6]。

基于以上問題及面臨的挑戰(zhàn)，為聯(lián)合文本信息來緩解知識庫稀疏問題，準(zhǔn)確捕捉文本中最相關(guān)的語義，同時考慮到卷積核可并行化及高效計算的優(yōu)勢，本文提出了基于帶注意力機制CNN的聯(lián)合知識表示模型JA-CNN。首先，本文提出了基于CNN的文本編碼器，并設(shè)計了專門的注意力機制來選擇描述文本中與情景最相關(guān)的語義信息；其次，本文采用TransE模型來編碼知識庫的結(jié)構(gòu)化信息；最后，本文引入門機制來控制多源信息傳遞到聯(lián)合表示的權(quán)重，形成最終的表示。此外，本文還提出了基于JA-CNN的改進模型JPA-CNN。該模型嘗試在輸入端引入位置向量，使編碼器也具備捕捉句子詞位置信息的能力。鏈路預(yù)測及三元組分類任務(wù)的實驗表明，本文的模型能顯著改善知識庫稀疏問題，各項指標(biāo)與最先進的方法相比都有很強的競爭性，尤其在關(guān)系分類任務(wù)下有明顯優(yōu)勢。

本文的主要貢獻：

① 本文提出了聯(lián)合實體描述和結(jié)構(gòu)化信息的聯(lián)合知識表示模型JA-CNN。該模型設(shè)計專門的注意力機制來捕捉描述文本中的最相關(guān)信息，幫助提高實體表示的區(qū)分度。

② 本文提出了基于JA-CNN的拓展模型JPA-CNN。該模型引入位置向量，使CNN能捕捉描述句子中的位置信息。

③ 實驗結(jié)果表明，本文的模型與目前最好的模型性能相近，還擁有可并行化及高效計算的優(yōu)勢。

1 相關(guān)工作

1.1 知識表示學(xué)習(xí)

近年來，知識表示學(xué)習(xí)在知識獲取、融合及推理等多種任務(wù)里均表現(xiàn)優(yōu)異，一度成為研究熱點。

Bordes等提出非結(jié)構(gòu)化模型(unstructured model)[7]，該模型假設(shè)頭、尾實體向量相似，在得分函數(shù)里將關(guān)系向量設(shè)置為零，因此無法區(qū)分不同關(guān)系。Bordes等提出結(jié)構(gòu)化模型(structured embedding, SE)[8]，該模型假定頭、尾實體向量只在相關(guān)關(guān)系的語義空間內(nèi)相似。此外，Bordes等提出語義匹配能量模型(semantic matching energy, SME)[9]，利用投影矩陣表示實體與關(guān)系，根據(jù)得分函數(shù)分為線性形式(linear)和雙線性形式(Bilinear)。之后，Bordes等提出TransE模型[1]，該模型簡單、高效、易拓展，逐漸成為最受關(guān)注的知識表示模型。

TransE模型將關(guān)系表示為從頭實體到尾實體的平移向量，旨在將知識庫中的實體和關(guān)系投影到同一個低維向量空間。Wang等提出TransH模型[10]，將關(guān)系建模為超平面，并將頭、尾實體投影到關(guān)系特定的超平面，解決了TransE的實體在不同關(guān)系下無法有不同表示的問題。Lin等提出TransR模型[11]，在不同語義空間內(nèi)表示實體和關(guān)系，并將實體投影到對應(yīng)的關(guān)系空間。Lin等進一步提出了CTransR模型[11]，利用聚類劃分關(guān)系，為每個關(guān)系分別學(xué)習(xí)表示向量。Ji等提出TransD模型[12]，利用投影矩陣將頭實體和尾實體分別投影到關(guān)系空間，解決了TransR參數(shù)過多的問題。Ji等還提出TranSparse模型[13]，將TransR模型中的稠密矩陣換成稀疏矩陣，頭、尾實體都有投影矩陣，其中矩陣的稀疏度由關(guān)系連接實體的數(shù)量決定。Xiao等提出TransA模型[14]，使用馬氏距離替換得分函數(shù)中的距離。He等提出KG2E模型[15]，利用高斯分布來表示實體及關(guān)系。Xiao等提出TransG模型[16]，使用高斯混合模型表示關(guān)系，使關(guān)系能包含多種語義。

這些工作僅利用知識庫的結(jié)構(gòu)信息，未能有效利用與知識庫相關(guān)的其他信息，如實體描述等?？紤]到多源信息能緩解數(shù)據(jù)稀疏問題，提高知識表示的區(qū)分度，研究者們開始嘗試融合多源信息來改善知識表示。

1.2 引入文本信息的知識表示

目前，已有許多研究工作使用文本信息來改善知識表示。

Socher等提出NTN模型[17]，使用實體名稱的詞向量平均值來表示實體。Wang等通過對齊實體名稱和維基百科錨點，將知識和文本投影到同一空間，提高了事實預(yù)測的準(zhǔn)確性[2]。Zhong等在Wang等工作的基礎(chǔ)上拓展模型[3]，將實體描述中的知識和詞匯關(guān)聯(lián)起來。然而，這兩份工作都在詞級別上做了對齊，導(dǎo)致其丟失短語或句子層面的語義信息。Zhang等使用實體名稱或者實體描述中詞向量的平均值[18]，該方法忽略了句子中的詞序信息。

Xie等提出了DKRL模型[4]，利用實體描述來表示實體向量。該模型使用連續(xù)詞袋模型和卷積神經(jīng)網(wǎng)絡(luò)來編碼實體描述的語義，并將得分函數(shù)分成基于結(jié)構(gòu)和基于描述兩部分。盡管該模型也使用CNN編碼文本信息，但它的CNN只包括卷積層、非線性層和池化層，與本文的CNN結(jié)構(gòu)有一定差別。此外，該方法尚未考慮文本信息的篩選及聯(lián)合兩種表示的有效方式。Xu等提出了基于雙向LSTM的聯(lián)合表示模型[5]，利用注意力機制選擇實體描述中的相關(guān)文本，同時設(shè)計門機制來控制結(jié)構(gòu)信息和文本信息的權(quán)重。該方法相比先前的模型性能顯著提高，但雙向LSTM模型的隱狀態(tài)需要按序生成，訓(xùn)練時無法并行處理，制約了面對長序列的計算效率。

除了實體描述外，還有一些工作[19-21]將文本關(guān)系和知識庫關(guān)系映射到相同的向量空間并獲得顯著改進。

2 模型介紹

本文的聯(lián)合模型主要分為三部分：基于TransE的結(jié)構(gòu)表示、基于CNN/A-CNN/PA-CNN的文本表示和基于門機制的多源信息融合。首先，本文利用TransE來編碼三元組的結(jié)構(gòu)信息；然后設(shè)計了三種編碼實體描述的文本編碼器：CNN、引入注意力機制的A-CNN和在A-CNN的基礎(chǔ)上引入位置信息的PA-CNN；最后利用門機制決定結(jié)構(gòu)表示和文本表示構(gòu)成聯(lián)合表示的權(quán)重。圖1展示了聯(lián)合知識表示的整體框架。下面將對模型的每個層次的功能進行詳細闡述。

圖1 聯(lián)合知識表示的整體框架

2.1 基于TransE的結(jié)構(gòu)表示

基于TransE的表示模型在知識推理、關(guān)系抽取等任務(wù)里表現(xiàn)優(yōu)異，也成為知識表示的研究熱點。

給定三元組(頭實體，關(guān)系，尾實體)，將其表示為(h,r,t)。三元組(h,r,t)對應(yīng)的向量表示為(h,r,t)。TransE旨在將實體和關(guān)系表示成低維連續(xù)的向量。合法的三元組的向量應(yīng)該滿足公式h+r≈t，錯誤的三元組則不滿足。因此，TransE定義了如下得分函數(shù)來衡量三元組的質(zhì)量，如式(1)所示。

(1)

式(1)即向量h+r和t的L1或L2距離。對于合理的得分函數(shù)，合法三元組的得分要比錯誤三元組的得分更低。

2.2 基于CNN/A-CNN/PA-CNN的文本表示

目前，大型知識庫中的實體通常都有其對應(yīng)的實體描述信息。實體描述包含實體在各種情景下的語義信息，有助于改善實體表示，使其區(qū)分度更強，同時也能緩解數(shù)據(jù)稀疏問題。

本文需從不定長的實體描述中編碼文本信息?？紤]到卷積核能捕捉文本信息的局部特征，擁有可并行化、運行速度快等優(yōu)點，本文最終選擇基于CNN的文本編碼方式。

2.2.1 基于CNN的文本表示

文本預(yù)處理：本文先去除實體描述里的標(biāo)點符號，然后使用Word2Vec預(yù)先訓(xùn)練好的詞向量[22]初始化詞序列，以此作為CNN的輸入。

卷積層：卷積層的輸入是預(yù)處理后長度為n的詞序列x，本文定義為x1:n=x1,x2,…,xn，其中xi∈d表示句子中第i個詞語的d維詞向量。

對詞序列x，卷積層選取大小為k的滑動窗口內(nèi)的詞序列進行卷積操作，輸出特征映射c。詞序列的長度不固定，本文以詞序列的最大長度n為標(biāo)準(zhǔn)，在所有長度不符合的詞序列末尾填充零向量，得到定長輸入。

滑動窗口處理的詞序列定義如式(2)所示。

xi:i+k-1=xi,xi+1,…,xi+k-1

(2)

窗口內(nèi)詞序列卷積后輸出的第i個向量如式(3)所示。

ci=f(w·xi:i+k-1+b)

(3)

其中，w∈k×d是濾波器，b∈是偏置項，f是激活函數(shù)，本文選取線性整流函數(shù)ReLU作為激活函數(shù)。

卷積的邊界處理(padding)設(shè)置為SAME，即用零填充。卷積層的輸出如式(4)所示。

c=[c1,…,cn]

(4)

池化層：本文采用最大池化，對每個窗口內(nèi)的輸入向量選取最大值構(gòu)成新向量。

窗口大小為np的池化層輸出的第i個向量如式(5)所示。

pi=max(cnp·i,…,cnp·(i+1)-1)

(5)

濾波器的數(shù)量為m，池化層的輸出為p=[p1,…,pm]。

Dropout層的輸出定義如式(6)所示。

*p

(6)

其中，Bernoulli函數(shù)是以概率ρ隨機生成0或1的向量，用于移除神經(jīng)元。

全連接層：對輸入進行矩陣向量乘積操作得到網(wǎng)絡(luò)的最終輸出向量。

CNN的輸出定義如式(7)所示。

(7)

其中，wo是參數(shù)矩陣，bo是可選偏置。

2.2.2 基于CNN的文本表示

CNN對整體描述文本進行語義編碼，沒有考慮描述信息包含實體在多種關(guān)系下的不同語義。這意味著給定三元組后關(guān)系特定，描述里包含的其他關(guān)系的信息會造成一定干擾。因此，本文基于CNN提出文本編碼器A-CNN，設(shè)計了相應(yīng)的注意力機制，通過三元組的關(guān)系來捕捉描述中與其最相關(guān)的信息。

對實體描述的詞序列x1:n=x1,x2,…,xn，給定關(guān)系r∈d，r拓展一維后得到矩陣d×1，該描述的注意力定義如式(8)所示。

(8)

(9)

2.2.3 基于PA-CNN的文本表示

考慮到CNN編碼文本時未包括詞的順序特征，可能會丟失部分語義，本文引入詞的位置編碼作為補充信息。本文基于A-CNN提出了文本編碼器PA-CNN，采用Sukhbaatar等人提出的方法[23]來編碼位置信息。輸入向量I的第j個分量Ij由位置向量的分量lj和詞向量的分量xj構(gòu)成。

位置向量lj是一個列向量，擁有以下結(jié)構(gòu)，如式(10)所示。

lkj=(1-j/J)-(k/d)(1-2j/J)

(10)

其中，J是句子中詞的個數(shù)，d是位置向量的維度，k是lj的第k個分量。這里位置編碼采用和詞向量同樣的維度，方便將兩者相加。

給定長度為n的詞序列x1:n=(x1,…,xn)，其位置向量為l1:n=(l1,…,ln)，加入位置信息后編碼器的新輸入為I1:n=(x1+l1,…,xn+ln)。

2.3 基于門機制的多源信息融合

結(jié)構(gòu)信息和文本描述都提供了實體的有效信息，本文采用Xu等提出的門機制[5]將兩種信息源整合成聯(lián)合表示，即將聯(lián)合表示ej當(dāng)作結(jié)構(gòu)表示es和文本表示ed加權(quán)求和的結(jié)果。

聯(lián)合表示ej定義如式(11)所示。

(11)

其中，gs和gd是平衡兩種信息源的門，⊙是元素乘法。

門g定義如式(12)所示。

(12)

類似TransE，聯(lián)合表示的得分函數(shù)定義如式(13)所示。

(13)

其中，ghs,ghd分別是頭實體的門，gts,gtd分別是尾實體的門。

2.4 訓(xùn)練

與TransE相似，本文也采用最大間隔方法[1]訓(xùn)練模型。本文使用得分函數(shù)fr(h,t)來評估三元組的質(zhì)量。合法三元組擁有較低得分，錯誤三元組擁有較高得分，則對應(yīng)的優(yōu)化目標(biāo)函數(shù)如式(14)所示。

(14)

知識庫里的三元組都是正樣本，負樣本需要自行生成。本文采用Wang等提出的方法[10]，設(shè)置不同的概率來替換頭實體或尾實體。該方法將關(guān)系按照兩端連接實體的數(shù)目分為1-1、1-N、N-1和N-N四種，如果是1-N關(guān)系則增大替換頭實體的機會，如果是N-1關(guān)系則增大替換尾實體的機會。該方法能降低產(chǎn)生錯誤負樣本的概率。

訓(xùn)練集中的錯誤三元組由式(15)產(chǎn)生：

(15)

3 實驗結(jié)果及分析

本文在鏈路預(yù)測和三元組分類兩個常規(guī)任務(wù)上評估模型的性能。

3.1 實驗數(shù)據(jù)

本文使用兩個最常用的數(shù)據(jù)集，分別是語言知識庫WordNet[24]的子集WN18和世界知識庫Freebase[25]的子集FB15k。表1展示了數(shù)據(jù)集的相關(guān)屬性。

表1 數(shù)據(jù)集的統(tǒng)計屬性

對于FB15k的描述數(shù)據(jù)集，每段描述的平均詞長為69，最長描述包含343個詞。對于WN18的描述數(shù)據(jù)集，每段描述的平均詞長為13，最長描述包含96個詞。

3.2 實驗設(shè)置

3.2.1 對比模型

對比模型分為三類： ①本文提出的模型：J-CNN、JA-CNN和JPA-CNN； ②僅利用結(jié)構(gòu)信息的知識表示模型：TransE[1]、Unstructured[7]、SME(linear)[9]、SME(Bilinear)[9]、TransH[10]、TransR[11]、CTransR[11]、TransD[12]和TranSparse[13]； ③引入文本信息的表示模型：CNN+TransE[4]、Jointly(LSTM)[5]和Jointly(A-LSTM)[5]。

3.2.2 參數(shù)設(shè)置

最大間隔γ∈{0.1,1,2,5,10}，向量維度d∈{50,100}，學(xué)習(xí)率λ∈{0.000001,0.0001,0.01,0.1,1}，卷積層的窗口大小k∈{1,2,3,4,5}，濾波器的數(shù)量nf∈{16,64,128}，Dropout層的丟棄率統(tǒng)一設(shè)置為0.5，不相似性度量L設(shè)置為L1或L2。為加速收斂，本文使用TransE的結(jié)果來初始化實體和關(guān)系的向量。

實驗中，J-CNN、JA-CNN和JPA-CNN共享同一組最優(yōu)參數(shù)。在鏈路預(yù)測任務(wù)中，模型的最優(yōu)參數(shù)為：γ=2，d=100，λ=0.000 1，k=4，nf=64，L=L1。針對WN18數(shù)據(jù)，模型的最優(yōu)參數(shù)為：γ=5，d=50，λ=0.000 1，k=4，nf=64，L=L1。在三元組分類任務(wù)中，針對FB15k數(shù)據(jù)，模型的最優(yōu)參數(shù)為：γ=1，d=100，λ=0.1，k=1，nf=16，L=L1。針對WN18數(shù)據(jù)，模型的最優(yōu)參數(shù)為：γ=0.1，d=50，λ=0.000 1，k=4，nf=64，L=L1。

本文與Xu等提出的模型[5]在同樣的任務(wù)上使用相同的數(shù)據(jù)集和對比模型，因此本文直接使用該論文里對比模型的最優(yōu)結(jié)果進行比較。

3.3 鏈路預(yù)測

鏈路預(yù)測任務(wù)旨在預(yù)測三元組中缺失的頭實體或尾實體。對每個合法三元組，本文會先破壞它的頭或者尾實體，依次替換成實體集中的其他實體，然后計算被破壞的三元組的得分，對得分進行升序排序，最后記錄三元組的排名。類似TransE，本文采用兩種評估指標(biāo)： ①mean rank：所有合法三元組里實體排名的平均值； ②hits@10：所有合法三元組里實體排名小于10的比例。好的表示模型在該任務(wù)下應(yīng)擁有較低的mean rank和較高的hits@10。

評估設(shè)置分為兩種：“原始”(Raw)和“過濾”(Filt)。三元組替換了頭或者尾實體后也可能合法，排序時這類破壞的三元組可能會排在合法三元組前面，這并不合理，所以應(yīng)在排序前刪除訓(xùn)練集、測試集和驗證集里這類錯誤三元組，該設(shè)置稱為“過濾”。本文會展示這兩種設(shè)置的評估結(jié)果。在數(shù)據(jù)集WN18和FB15k的實驗結(jié)果如表2所示。

表2 鏈路預(yù)測的結(jié)果

在所有數(shù)據(jù)集上，本文的模型JA-CNN在各項指標(biāo)都與目前最好的模型Jointly(A-LSTM)水平相近，并在mean rank指標(biāo)上達到目前最好的效果，這表明JA-CNN能有效捕捉文本的語義信息，在融合多源信息方面有一定優(yōu)勢。

與同樣基于CNN編碼文本的模型CNN+TransE相比，本文提出的三個模型在所有指標(biāo)上都有明顯提高，可能原因在于：本文選取的CNN結(jié)構(gòu)更適應(yīng)于編碼描述的語義信息；本文引入了門機制，加強了兩種信息源間的語義聯(lián)系，比單純的加權(quán)效果要更好；本文設(shè)計的注意力機制篩選文本的有效信息，增強了實體表示的區(qū)分度。

與僅利用結(jié)構(gòu)信息里最好的模型TransD相比，本文的模型在mean rank指標(biāo)上取得了大幅度的提升，這表明引入文本信息確實有效緩解了數(shù)據(jù)稀疏問題，但可能會影響訓(xùn)練過程中的頻繁實體，導(dǎo)致hits@10指標(biāo)變差。雖然hits@10比TransD的表現(xiàn)更差，但考慮到本文是基于TransE的改進而不是TransD，若基于其他優(yōu)秀的表示模型如TransD等進行拓展，應(yīng)該能進一步提升模型性能。

本文的三種模型互相對比，JA-CNN的性能優(yōu)于J-CNN，這表明注意力機制的引入加強文本表示的語義區(qū)別，進一步提高了實體表示的區(qū)分度。在FB15k數(shù)據(jù)集上，JPA-CNN比JA-CNN表現(xiàn)要遜色許多，這可能是因為在該數(shù)據(jù)集上句子的長度長短分化嚴(yán)重，固定的位置編碼沒法有效擬合出這種差異，反而在一定程度上成為干擾信息。在WN18數(shù)據(jù)集上，JPA-CNN與JA-CNN效果相近，比在FB15k上表現(xiàn)更好，這可能是因為該數(shù)據(jù)集的句子整體偏短，長度差異較小，本文的位置編碼更適用于擬合該數(shù)據(jù)集。

為進一步展示模型的性能，本文把關(guān)系劃分成1-1、1-N、N-1和N-N四種類型，并比較不同類型關(guān)系下模型在數(shù)據(jù)集FB15k上hits@10(Filt)的結(jié)果。

表3的結(jié)果表明，面對所有類型的關(guān)系，本文的模型JA-CNN都比對比模型展現(xiàn)了更好的性能，尤其在N-1和N-N關(guān)系下的頭實體預(yù)測以及1-N和N-N的尾實體預(yù)測上有明顯的提高，這表明JA-CNN面對知識庫的復(fù)雜關(guān)系時有一定優(yōu)勢。

3.4 三元組分類

三元組分類旨在判斷給定的三元組是否合法。本文使用FB15k和WN18的數(shù)據(jù)集來評估模型的性能。由于數(shù)據(jù)集只有正樣本，本文按照Socher等的方法[17]來構(gòu)造負樣本。該方法隨機替換合法三元組的頭實體來構(gòu)成負樣本，替換的實體只能從該三元組的關(guān)系對應(yīng)的實體集中選擇。該方法使負例集合里不會出現(xiàn)明顯的無關(guān)系三元組，使負例與正例的語義差別更小，進而增加評估任務(wù)的難度。

表3 關(guān)系分類的結(jié)果

本文使用準(zhǔn)確率作為該任務(wù)的評估指標(biāo)。任務(wù)先達到驗證集的最大準(zhǔn)確率，獲得每個關(guān)系r的閾值δr；接著對測試集的每個三元組(h,r,t)計算得分，若三元組的得分小于δr，會歸為合法三元組，否則歸為錯誤三元組。在FB15k數(shù)據(jù)集上，有部分關(guān)系出現(xiàn)在驗證集卻沒有出現(xiàn)在測試集中，本文會采用驗證集中出現(xiàn)過的關(guān)系的閾值的平均值來補充缺失的閾值。表4展示了三元組分類的結(jié)果。

表4 三元組分類的結(jié)果

結(jié)果表明，本文的聯(lián)合模型相比TransE在三元組分類性能上有大幅度提高，其中，JPA-CNN與最好的模型性能相近，這表明本文的文本編碼方法能有效編碼語義信息，并能很好地融合到實體表示中，進而增強了三元組的語義區(qū)分度。

本文的三種模型相比，JPA-CNN均達到了最佳性能，這表明引入位置信息后，面對復(fù)雜關(guān)系能找到更精準(zhǔn)的閾值，同時增強正負樣本得分的差距。在FB15k上，JA-CNN比J-CNN效果稍差，但在WN18中，JA-CNN比J-CNN效果更好，這可能是因為FB15k數(shù)據(jù)集里描述的句子整體偏長，且關(guān)系的種類遠大于WN18，本文的注意力機制在模擬這種語義信息時，一定程度上弱化了三元組得分的差異。

4 總結(jié)

本文提出了基于帶注意力機制CNN的聯(lián)合知識表示模型，并通過引入實體描述信息來改善知識表示。首先，本文提出了基于CNN的文本編碼器；然后，設(shè)計相應(yīng)的注意力機制來篩選與關(guān)系最相關(guān)的文本信息；接著，又引入位置信息拓展該模型；最后，利用門機制聯(lián)合文本信息和結(jié)構(gòu)信息獲得最終的聯(lián)合表示。實驗證明，本文的模型在鏈路預(yù)測和三元組分類任務(wù)上與目前最好的模型水平相近，在關(guān)系分類任務(wù)上表現(xiàn)更好，這表明本文的方法能有效融合多源數(shù)據(jù)，緩解知識庫稀疏問題，也為改善實體表示提供了新思路。

未來，本文將考慮從以下方向來改進模型：

① 本文采用了基于TransE的得分函數(shù)，未來可以考慮基于其他優(yōu)秀的知識表示模型如TransD等進行模型拓展。

② 考慮融合更多其他信息，例如實體的類別信息。未來會嘗試拓展模型來編碼類別信息，也考慮使用類別作為實體的約束信息。