楊瑞達(dá) 林 欣 楊 燕* 賀 樑 竇 亮

1(華東師范大學(xué)計(jì)算機(jī)科學(xué)與軟件工程學(xué)院 上海 200062)2(國(guó)家新聞出版署出版融合發(fā)展(華東師大社)重點(diǎn)實(shí)驗(yàn)室 上海 200062)

0 引 言

近幾年，知識(shí)圖譜被廣泛應(yīng)用在各個(gè)領(lǐng)域，例如，問(wèn)答系統(tǒng)[1]、推薦系統(tǒng)[2-3]和精準(zhǔn)醫(yī)療系統(tǒng)[4]等。知識(shí)圖譜本身的準(zhǔn)確性和知識(shí)覆蓋率將會(huì)對(duì)上層的應(yīng)用造成很大的影響并可能成為制約應(yīng)用表現(xiàn)的瓶頸。而單純通過(guò)人工構(gòu)建高準(zhǔn)確度的知識(shí)圖譜的方式已經(jīng)無(wú)法滿足海量規(guī)模知識(shí)圖譜的需求。因此，許多人使用知識(shí)圖譜推理來(lái)補(bǔ)充缺失的知識(shí)，旨在通過(guò)自動(dòng)化的方式來(lái)提升知識(shí)圖譜的覆蓋度。

目前，對(duì)于知識(shí)圖譜推理的方法大體上可以分為兩種類型，即基于知識(shí)圖譜嵌入的方法與基于隨機(jī)游走模型的方法。前者的代表有TransE[5]，它將知識(shí)圖譜中的實(shí)體和關(guān)系嵌入成為某個(gè)空間中的向量，再通過(guò)向量之間的運(yùn)算來(lái)表示實(shí)體與關(guān)系之間的聯(lián)系。此類方法在公開(kāi)數(shù)據(jù)上有較好的表現(xiàn)，但當(dāng)知識(shí)圖譜中出現(xiàn)“一對(duì)多(某個(gè)實(shí)體通過(guò)某個(gè)關(guān)系鏈接到多個(gè)相關(guān)實(shí)體，例如‘美國(guó)，總統(tǒng)’將對(duì)應(yīng)到‘特朗普’、‘奧巴馬’等多個(gè)實(shí)體)”等復(fù)雜聯(lián)系時(shí)存在較大的局限。另外，基于知識(shí)圖譜嵌入的方法在可解釋性上有所欠缺。路徑排序算法PRA(Path Ranking Algorithm)作為隨機(jī)游走模型的代表，將兩個(gè)實(shí)體之間存在的路徑作為特征，再利用該特征判斷兩個(gè)實(shí)體之間是否存在某個(gè)關(guān)系。這種方法具有更好的可解釋性，但它作用在離散的特征空間中，導(dǎo)致難以評(píng)估實(shí)體和關(guān)系之間的相似性。

針對(duì)上述問(wèn)題，本文提出一種基于混合增強(qiáng)智能的知識(shí)圖譜推理方法，利用強(qiáng)化學(xué)習(xí)模型進(jìn)行知識(shí)圖譜推理，并高效地加入了人的判斷信息來(lái)獲得更加準(zhǔn)確的知識(shí)圖譜推理結(jié)果。首先，本文以TransE訓(xùn)練獲得的知識(shí)圖譜嵌入向量為基礎(chǔ)，搭建強(qiáng)化學(xué)習(xí)模型。然后，訓(xùn)練強(qiáng)化學(xué)習(xí)智能體(agent)，使其在一對(duì)實(shí)體之間尋找可用作推理的有效路徑(path)。本文不僅在強(qiáng)化學(xué)習(xí)的回報(bào)函數(shù)設(shè)計(jì)時(shí)考慮到了“路徑是否可達(dá)”，“路徑長(zhǎng)度”等因素，還將人的知識(shí)信息加入到回報(bào)函數(shù)中。最后，為了評(píng)估混合增強(qiáng)學(xué)習(xí)方法的表現(xiàn)，本文在公開(kāi)數(shù)據(jù)集NELL(Never End Language Learning)上進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，本文提出的方法有利于提高知識(shí)圖譜推理的精度。

本文的主要貢獻(xiàn)如下：1) 本文將強(qiáng)化學(xué)習(xí)模型應(yīng)用于知識(shí)圖譜推理領(lǐng)域，相比于現(xiàn)有的模型框架，設(shè)計(jì)了更加有效、合理的回報(bào)函數(shù)；2) 本文將人的知識(shí)信息準(zhǔn)確高效地加入到模型中。在強(qiáng)化學(xué)習(xí)模型訓(xùn)練的過(guò)程中，同時(shí)考慮“重要性”和“不確定性”兩個(gè)因素，將部分機(jī)器決策結(jié)果拋出給人進(jìn)行判斷。3) 本文在公開(kāi)數(shù)據(jù)集NELL上進(jìn)行了實(shí)驗(yàn)。與多種類型的算法進(jìn)行了對(duì)比，證明了本文的框架的有效性。

1 相關(guān)工作

目前，對(duì)于知識(shí)圖譜的關(guān)系推理問(wèn)題，一類方法是采用將知識(shí)圖譜嵌入到向量空間中來(lái)進(jìn)行計(jì)算的方法[5-10]。最早的基于平移的知識(shí)圖譜嵌入方法是文獻(xiàn)[5]提出的TransE方法，該方法將知識(shí)圖譜中的實(shí)體和關(guān)系均嵌入到同一個(gè)向量空間中，并且通過(guò)訓(xùn)練使得它們之間存在如下關(guān)系：頭實(shí)體向量加關(guān)系向量約等于尾實(shí)體向量。該方法在數(shù)據(jù)集上有較好表現(xiàn)，但無(wú)法準(zhǔn)確處理“一對(duì)多”的情況。在此基礎(chǔ)上，文獻(xiàn)[6]提出了TransD的方法，將實(shí)體和關(guān)系分別投影到了不同的空間，并且由實(shí)體和關(guān)系共同來(lái)確定投影矩陣，由此更好地解決了“一對(duì)多”的問(wèn)題。在知識(shí)圖譜嵌入的基礎(chǔ)上，有些研究的方法加入了其他信息的考慮[11-13]。其中，文獻(xiàn)[11]提出利用知識(shí)圖譜中路徑的信息結(jié)合知識(shí)圖譜嵌入來(lái)進(jìn)行知識(shí)圖譜預(yù)測(cè)。在嵌入兩個(gè)實(shí)體之間關(guān)系的基礎(chǔ)上，將實(shí)體之間的路徑嵌入為向量。

除此之外，另一類方法是基于發(fā)現(xiàn)路徑來(lái)進(jìn)行知識(shí)圖譜的預(yù)測(cè)。文獻(xiàn)[14]率先提出了這類方法，通過(guò)隨機(jī)游走的方法來(lái)發(fā)現(xiàn)路徑從而進(jìn)行關(guān)系推理。此后，文獻(xiàn)[15]提出了基于遞歸隨機(jī)游走的方法，同時(shí)利用了知識(shí)圖譜信息和文本信息來(lái)進(jìn)行知識(shí)圖譜的推理。但此類使用隨機(jī)游走的方法會(huì)尋找到過(guò)量的推理路徑而對(duì)推理結(jié)果造成影響。文獻(xiàn)[16]將強(qiáng)化學(xué)習(xí)框架運(yùn)用到了知識(shí)圖譜推理當(dāng)中，并且結(jié)合了知識(shí)圖譜嵌入的信息，獲得了更好的推理表現(xiàn)。

本文采用了強(qiáng)化學(xué)習(xí)為基礎(chǔ)進(jìn)行推理路徑的尋找，與上述研究有所區(qū)別的是，本文重新設(shè)計(jì)了強(qiáng)化學(xué)習(xí)的回報(bào)函數(shù)。此外，本文提出將人的知識(shí)信息融入模型的訓(xùn)練，以此提高知識(shí)圖譜推理的效果。

2 基于混合增強(qiáng)智能的知識(shí)圖譜推理

2.1 基于強(qiáng)化學(xué)習(xí)的推理模型

本文采用文獻(xiàn)[16]的底層框架，即馬爾科夫決策過(guò)程來(lái)作為強(qiáng)化學(xué)習(xí)的基礎(chǔ)模型?！碨,A,P,R〉可以用來(lái)表示馬爾科夫決策過(guò)程的四個(gè)要素。其中S表示當(dāng)前模型Agent所處的狀態(tài)(State)；A表示模型進(jìn)行的行為(action)的選擇；P表示從當(dāng)前狀態(tài)到下一個(gè)狀態(tài)的概率矩陣；R表示當(dāng)前狀態(tài)下，進(jìn)行某一個(gè)或某一系列行為選擇的回報(bào)函數(shù)。此外，本文使用一個(gè)策略網(wǎng)絡(luò)πθ(st,a)=p(a|s;θ)來(lái)表示強(qiáng)化學(xué)習(xí)的Agent。具體介紹如下：

狀態(tài)(state)：強(qiáng)化學(xué)習(xí)的重要組成部分，它表征了當(dāng)前Agent所處的環(huán)境，并影響到行為的選擇。在狀態(tài)向量的設(shè)定中考慮到了知識(shí)圖譜中隱藏的語(yǔ)義信息，使用TransE模型將知識(shí)圖譜中的實(shí)體嵌入到連續(xù)的向量空間中。在強(qiáng)化學(xué)習(xí)模型中，狀態(tài)表征了當(dāng)前模型在知識(shí)圖譜中的實(shí)體位置。當(dāng)選擇一個(gè)行為之后，模型通過(guò)關(guān)系移動(dòng)到了下一個(gè)實(shí)體位置上。給定一個(gè)當(dāng)前位置n的實(shí)體en與一個(gè)目標(biāo)實(shí)體etarget，狀態(tài)的定義如下：

sn=(en,etarget)

式中：en表示當(dāng)前實(shí)體嵌入的向量，etarget表示目標(biāo)實(shí)體嵌入的向量。當(dāng)表示起始實(shí)體esource所處的狀態(tài)時(shí)，en=esource。

行動(dòng)(action)：在確定的某一關(guān)系下，對(duì)于給定的一對(duì)實(shí)體對(duì)(ei,ej)，本文通過(guò)模型去尋找用于知識(shí)圖譜的推理的有效路徑。對(duì)于一個(gè)實(shí)體e，本文將強(qiáng)化學(xué)習(xí)的行為定義為選擇一個(gè)“關(guān)系”，使當(dāng)前的實(shí)體鏈接到下一個(gè)實(shí)體。以此類推，多個(gè)行為選擇的關(guān)系即能構(gòu)成某一條從頭實(shí)體esource到達(dá)尾實(shí)體etarget的路徑。

回報(bào)函數(shù)(Reward)：回報(bào)函數(shù)是對(duì)于模型采取一系列行為的反饋值。本文在回報(bào)函數(shù)設(shè)計(jì)時(shí)，考慮到了可達(dá)性、路徑長(zhǎng)度、路徑區(qū)分度等因素。具體的定義如下：

1) 可達(dá)性：在一個(gè)復(fù)雜的知識(shí)圖譜中，每一個(gè)實(shí)體通過(guò)多個(gè)關(guān)系與其他實(shí)體相連。因此，從起始實(shí)體開(kāi)始，可選擇的路徑數(shù)量隨著路徑長(zhǎng)度的增長(zhǎng)而指數(shù)增加。在眾多的路徑中選擇出可用于推理的有效路徑是強(qiáng)化學(xué)習(xí)模型的任務(wù)。本文首先將可達(dá)性這一因素考慮到回報(bào)函數(shù)中，即從頭實(shí)體esource出發(fā)通過(guò)該條路徑能夠達(dá)到目標(biāo)實(shí)體etarget?？蛇_(dá)性的具體定義如下：

(1)

若當(dāng)前的路徑能夠到達(dá)目標(biāo)實(shí)體，給該條路徑的回報(bào)是1，否則為-1。

2) 路徑長(zhǎng)度：一個(gè)關(guān)系能夠表示一對(duì)實(shí)體之間的信息聯(lián)系。隨著路徑長(zhǎng)度的增加，即路徑包含的關(guān)系數(shù)量的增加，信息的聯(lián)系也在逐漸減弱。在訓(xùn)練模型尋找有效路徑的過(guò)程中，本文更傾向?qū)ふ议L(zhǎng)度更短的路徑來(lái)進(jìn)行推理。因此，在回報(bào)函數(shù)中加入了考量路徑長(zhǎng)度的項(xiàng)，具體定義如下：

(2)

式中：lpath表示當(dāng)前路徑的長(zhǎng)度，即其中包含的關(guān)系的數(shù)量。

3) 路徑區(qū)分度：對(duì)于某一個(gè)關(guān)系而言，由于樣本中頭尾實(shí)體的表達(dá)均為固定向量，模型在學(xué)習(xí)過(guò)程中，將會(huì)傾向于尋找語(yǔ)義相似的路徑。以上情況可能導(dǎo)致尋找得到的路徑存在著一定程度的信息冗余。因此，在回報(bào)函數(shù)中加入“路徑獨(dú)立性”的考慮，訓(xùn)練模型尋找更多數(shù)量且彼此不同的路徑。具體定義如下：

(3)

式中：cos(p,pi)表示兩條路徑之間的余弦距離。路徑向量p=r1+r2+…表示組成該路徑的關(guān)系向量之和。P表示已發(fā)現(xiàn)的所有推理路徑的集合。

2.2 基于混合增強(qiáng)智能的推理模型

強(qiáng)化學(xué)習(xí)模型訓(xùn)練過(guò)程中，回報(bào)函數(shù)引導(dǎo)了每一次模型進(jìn)行行為選擇。因此，回報(bào)函數(shù)的設(shè)定對(duì)于強(qiáng)化學(xué)習(xí)模型的最終表現(xiàn)有非常重要的影響。在2.1節(jié)的基礎(chǔ)模型中，回報(bào)函數(shù)的設(shè)計(jì)考慮到了知識(shí)圖譜結(jié)構(gòu)上的特征，但沒(méi)有融入常識(shí)信息和語(yǔ)義信息特征。而常識(shí)信息和語(yǔ)義信息通常難以準(zhǔn)確獲取并加入到回報(bào)函數(shù)中。為改善這一問(wèn)題，本文提出了混合增強(qiáng)智能的推理模型，即利用人的知識(shí)信息來(lái)優(yōu)化模型。

考慮到人工的資源稀缺并且價(jià)格高昂，將人的知識(shí)信息融入強(qiáng)化學(xué)習(xí)的模型中需要保證信息利用的高效性。具體來(lái)說(shuō)，混合智能模型需要考慮兩個(gè)關(guān)鍵問(wèn)題：1) 如何將最需要進(jìn)行人工判斷的信息返回給人；2) 人工的判斷結(jié)果如何返回給機(jī)器進(jìn)行處理。在本文的應(yīng)用場(chǎng)景下，由于模型進(jìn)行行為選擇的次數(shù)多，并且人工難以直觀判斷每一步行為選擇是否合理，本文將以路徑為粒度，將需要判斷的路徑拋出給人工進(jìn)行處理。

1) 不確定性：文獻(xiàn)[17]在判斷兩個(gè)實(shí)體之間是否存在某一個(gè)關(guān)系時(shí)，給出屬于[0,1]的概率值，并且認(rèn)為當(dāng)概率值更接近兩端時(shí)(0或1)，給出的結(jié)論更加準(zhǔn)確。在本文的問(wèn)題場(chǎng)景下，當(dāng)強(qiáng)化學(xué)習(xí)中的模型面對(duì)行為的選擇時(shí)，給出的是選擇各個(gè)行為的概率分布，最終擴(kuò)展成為選擇路徑的概率分布。受到文獻(xiàn)[17]的啟發(fā)，本文認(rèn)為模型在進(jìn)行路徑選擇時(shí)，其概率分布應(yīng)當(dāng)更加有差異性，即機(jī)器對(duì)選擇或不選擇某一路徑更加具有把握。反之，對(duì)于各個(gè)路徑的概率分布趨于平均的情況，可以認(rèn)為機(jī)器難以區(qū)分其中哪一條路徑為更佳選擇。本文通過(guò)計(jì)算熵的方式來(lái)評(píng)估路徑選擇的概率分布情況。在路徑的概率分布越平均時(shí)，熵的值越大，反之則越小。本文中熵的計(jì)算公式定義如下：

(4)

式中：p(ti)表示選擇路徑ti的概率。

2) 重要性：除了不確定性之外，本文將“重要性”也作為“是否將路徑拋出給人判斷”的衡量維度。對(duì)于某一個(gè)關(guān)系而言，在模型的學(xué)習(xí)過(guò)程中，某一條路徑可能會(huì)被選中多次，從而在關(guān)系預(yù)測(cè)時(shí)它將提供更大的推理權(quán)重。如果該條路徑能夠提供的推理信息量并不能和上述權(quán)重相匹配，則可能對(duì)最終的推理結(jié)果造成影響，而且這種影響將會(huì)比小權(quán)重的路徑發(fā)生匹配錯(cuò)誤的后果更加嚴(yán)重。因此，本文將此類重要路徑拋出，交給人工判斷，以保證它們能夠提供更加準(zhǔn)確的推理信息量。具體來(lái)說(shuō)，給定一個(gè)關(guān)系r，通過(guò)模型獲得多個(gè)推理路徑ti∈T，重要性的評(píng)估方式為計(jì)算其中累積概率的最大值：

tselected=max(∑p(ti))

(5)

最后，綜合不確定性和重要性兩個(gè)維度的考慮，本文選擇拋出給人工判斷的路徑的規(guī)則為：對(duì)于每一個(gè)關(guān)系，若H(T)>c，則選擇該關(guān)系推理路徑中的tselected提供給人進(jìn)行判斷，其中c為常數(shù)。

上文中提到，在人工進(jìn)行判斷時(shí)，人更容易理解路徑和關(guān)系之間的推理關(guān)系并且給出判斷。因此，本文設(shè)計(jì)了用于路徑展示和推理評(píng)分的人機(jī)交互的界面。例如，當(dāng)推理的目標(biāo)關(guān)系為“運(yùn)動(dòng)員的主場(chǎng)”時(shí)，給出路徑(“運(yùn)動(dòng)員在某隊(duì)服役”，“隊(duì)伍的主場(chǎng)” )供人工判斷以下推理是否成立：“運(yùn)動(dòng)員在某隊(duì)服役”(A，B)∧“隊(duì)伍的主場(chǎng)”(B，C)?“運(yùn)動(dòng)員的主場(chǎng)”(A，C)。具體的判斷過(guò)程為，人對(duì)于當(dāng)前的推理是否合理來(lái)給出1到5的評(píng)分。為保證人工判斷的準(zhǔn)確性，某一組待判斷的推理路徑可能分配給1～3個(gè)人進(jìn)行判斷，最終取其平均分并將結(jié)果反饋給機(jī)器模型。

在獲得人工判斷的評(píng)分結(jié)果后，本文將其加入到該路徑的回報(bào)函數(shù)中，并重新訓(xùn)練模型的參數(shù)。具體來(lái)說(shuō)，對(duì)于人工判斷完成的路徑，本文在2.1節(jié)基礎(chǔ)的回報(bào)函數(shù)上加入人工反饋?lái)?xiàng)Rhuman。人工反饋?lái)?xiàng)的定義如下：

Rhuman=(score-3)3

(6)

式中：score表示人對(duì)于該條推理路徑的評(píng)分。對(duì)于人工判斷完成的路徑，其回報(bào)函數(shù)的定義如下：

RsumH=Rsum+λ4Rhuman

(7)

式中：Rsum=λ1Rreachability+λ2Rlength+λ3Rdiversity表示除人工反饋以外的回報(bào)函數(shù)。若該條路徑被模型重復(fù)選中，則不再拋出給人工進(jìn)行判斷，而直接使用前一次的人工判斷結(jié)果。最后，本文計(jì)算該條路徑綜合的回報(bào)函數(shù)，并將其用于更新模型的參數(shù)。

2.3 推理模型的訓(xùn)練過(guò)程

在實(shí)際訓(xùn)練過(guò)程中，強(qiáng)化學(xué)習(xí)的模型面臨選擇的路徑數(shù)量是巨大的，從而導(dǎo)致訓(xùn)練難以進(jìn)行。這是由于常用的知識(shí)圖譜結(jié)構(gòu)復(fù)雜，每個(gè)實(shí)體都與多個(gè)實(shí)體相連。在模型進(jìn)行路徑尋找時(shí)，路徑的選擇空間會(huì)隨著路徑長(zhǎng)度的增加而呈指數(shù)型增長(zhǎng)，而其中能夠用作關(guān)系推理的路徑數(shù)量只占極小的一部分。進(jìn)而導(dǎo)致模型在訓(xùn)練過(guò)程中，只接收到大量的負(fù)反饋，使得訓(xùn)練難以繼續(xù)。

受文獻(xiàn)[16]和文獻(xiàn)[18]的啟發(fā)，本文采用預(yù)訓(xùn)練方法來(lái)解決這一問(wèn)題。具體來(lái)說(shuō)，對(duì)于每一個(gè)關(guān)系，在知識(shí)圖譜中獲取到存在該關(guān)系的實(shí)體對(duì)集合。對(duì)于每一對(duì)實(shí)體對(duì)(ei,ej)，搜索獲取x跳(即包含x個(gè)關(guān)系)內(nèi)的所有路徑T(ei,ej)。然后，獲取各個(gè)實(shí)體對(duì)之間的共有路徑。最后，使用這些路徑來(lái)對(duì)強(qiáng)化學(xué)習(xí)模型進(jìn)行預(yù)訓(xùn)練，來(lái)初步更新模型中的參數(shù)。

之后，本文對(duì)混合強(qiáng)化學(xué)習(xí)模型進(jìn)行訓(xùn)練。訓(xùn)練過(guò)程使用蒙特卡洛策略梯度來(lái)更新參數(shù)。目標(biāo)函數(shù)為模型累積行為選擇獲得的回報(bào)函數(shù)最大化，具體定義如下：

(8)

式中：R根據(jù)發(fā)現(xiàn)的路徑所屬的不同情況發(fā)生而變化。給定某一個(gè)關(guān)系與實(shí)體對(duì)(esource,etarget)，從頭實(shí)體esource開(kāi)始，通過(guò)強(qiáng)化學(xué)習(xí)模型來(lái)尋找能夠到達(dá)etarget的路徑。由于模型在行為選擇時(shí)可能選擇到與當(dāng)前實(shí)體無(wú)連接的“關(guān)系”，這種情況下使用回報(bào)函數(shù)給予懲罰。此外，本文還設(shè)置了最大路徑閾值lmax，即模型在搜索路徑時(shí)，若路徑長(zhǎng)度達(dá)到閾值則停止搜索。除上述情況外，更新策略如下：

1) 對(duì)于路徑長(zhǎng)度達(dá)到閾值而未到達(dá)etarget的路徑，本文通過(guò)Rreachability來(lái)對(duì)該路徑進(jìn)行懲罰；

2) 對(duì)于在長(zhǎng)度閾值內(nèi)到達(dá)etarget的路徑，本文進(jìn)行是否拋出給人的判斷。若不必拋出給人工進(jìn)行判斷，則直接通過(guò)回報(bào)函數(shù)Rsum來(lái)更新模型參數(shù)。若需要拋出給人工判斷，待人工判斷結(jié)果返回后，對(duì)于該條路徑通過(guò)回報(bào)函數(shù)RsumH進(jìn)行二次更新參數(shù)。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證混合增強(qiáng)智能方法的有效性，本文選擇知識(shí)圖譜推理中常用的兩大任務(wù)進(jìn)行評(píng)估，即鏈接預(yù)測(cè)和事實(shí)預(yù)測(cè)。鏈接預(yù)測(cè)任務(wù)為給定一組頭實(shí)體與關(guān)系來(lái)預(yù)測(cè)尾實(shí)體。事實(shí)預(yù)測(cè)任務(wù)為判斷“三元組事實(shí)”的正誤。本文采用NELL的子數(shù)據(jù)集來(lái)進(jìn)行實(shí)驗(yàn)評(píng)估。該數(shù)據(jù)集的基本信息如表1所示。

表1 數(shù)據(jù)集基本信息

NELL數(shù)據(jù)集是從無(wú)結(jié)構(gòu)的網(wǎng)頁(yè)中抽取到有效信息并構(gòu)成結(jié)構(gòu)化的全科知識(shí)圖譜。NELL的機(jī)器模型經(jīng)歷了數(shù)年時(shí)間的持續(xù)迭代，到如今已經(jīng)積累了2 810 379個(gè)高可信度的三元組信息。在迭代的過(guò)程中，NELL模型還采用了人工對(duì)于三元組的可信程度的評(píng)分信息，用于提高模型的表現(xiàn)和結(jié)構(gòu)化知識(shí)的質(zhì)量。

3.2 實(shí)驗(yàn)設(shè)置

本文選擇了常用的NELL-995數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，即從NELL模型的第995次迭代結(jié)果中獲取數(shù)據(jù)。在知識(shí)圖譜關(guān)系的選擇上，本文選擇了Top 200的關(guān)系作為實(shí)驗(yàn)的候選關(guān)系。此外，本文在兩個(gè)任務(wù)上橫向?qū)Ρ攘爽F(xiàn)有的數(shù)個(gè)方法。這些方法是知識(shí)圖譜嵌入類方法(TransE，TransR[10])與強(qiáng)化學(xué)習(xí)類方法(DeepPath[16])。本文方法簡(jiǎn)稱為HAI (Hybrid-Augmented Intelligence)。

混合增強(qiáng)智能模型的相關(guān)參數(shù)設(shè)置為：H(T)的閾值常數(shù)為c=0.07；知識(shí)圖譜的嵌入維度為100維，狀態(tài)的維度為200維；最大路徑閾值lmax=20；λ1、λ2、λ3、λ4四個(gè)參數(shù)分別為0.05、0.45、0.1、0.4。

本文采用平均精度均值MAP(Mean Average Precision)來(lái)作為知識(shí)圖譜推理的評(píng)價(jià)指標(biāo)。在實(shí)際計(jì)算時(shí)，機(jī)器模型將輸出排序的結(jié)果，再根據(jù)公式來(lái)評(píng)估MAP值。具體計(jì)算公式如下：

(9)

式中：Ωu為實(shí)際正確的結(jié)果集合。pui表示某結(jié)果所處的排序中的位置。h(puj

3.3 實(shí)驗(yàn)結(jié)果

本文在鏈接預(yù)測(cè)和事實(shí)預(yù)測(cè)兩個(gè)任務(wù)下進(jìn)行了對(duì)比實(shí)驗(yàn)。表2展示了在鏈接預(yù)測(cè)任務(wù)中幾種方法對(duì)于不同關(guān)系的預(yù)測(cè)結(jié)果。從實(shí)驗(yàn)結(jié)果來(lái)看，基于強(qiáng)化學(xué)習(xí)的方法整體上能夠優(yōu)于基于知識(shí)圖譜嵌入的方法。這是由于基于強(qiáng)化學(xué)習(xí)的方法在模型搭建時(shí)利用到了知識(shí)圖譜嵌入的向量，其中蘊(yùn)含了隱藏的語(yǔ)義信息。在此基礎(chǔ)上通過(guò)強(qiáng)化學(xué)習(xí)的訓(xùn)練，能夠更加精準(zhǔn)地尋找路徑從而提升推理的效果。

表2 鏈接預(yù)測(cè)任務(wù)結(jié)果對(duì)比

對(duì)于部分關(guān)系的預(yù)測(cè)結(jié)果，混合增強(qiáng)智能模型與強(qiáng)化學(xué)習(xí)模型方法的實(shí)驗(yàn)結(jié)果相差較小。這是由于在返回結(jié)果供人工進(jìn)行判斷時(shí)，人工的評(píng)分接近中性(3分)，因此未對(duì)模型的訓(xùn)練過(guò)程造成較大的影響。對(duì)于個(gè)別關(guān)系，基于混合增強(qiáng)智能模型的結(jié)果相較于DeepPath方法的MAP值更低，可能造成的原因是：人工評(píng)分路徑的數(shù)量有限，在降低某一個(gè)路徑的權(quán)重后，另一個(gè)低質(zhì)量路徑的權(quán)重占比相對(duì)提升，從而導(dǎo)致對(duì)推理結(jié)果造成影響。在單一關(guān)系下，混合增強(qiáng)智能模型相對(duì)強(qiáng)化學(xué)習(xí)模型最高提升約8%。這是由于混合增強(qiáng)智能模型在強(qiáng)化學(xué)習(xí)模型的基礎(chǔ)上額外融入了人的知識(shí)信息，使得模型更好地尋找推理路徑。具體分析發(fā)現(xiàn)，在該關(guān)系下，人工評(píng)分對(duì)于某一高權(quán)重的低質(zhì)量路徑進(jìn)行了降權(quán)，從而優(yōu)化了推理結(jié)果。

此外，本文還在事實(shí)預(yù)測(cè)任務(wù)中進(jìn)行了實(shí)驗(yàn)，結(jié)果如表3所示。事實(shí)預(yù)測(cè)任務(wù)直接評(píng)估某一個(gè)關(guān)系下，正三元組樣本到負(fù)樣本的降分排序。混合增強(qiáng)智能方法在融入人的知識(shí)信息后，相比于其他方法表現(xiàn)出更高的精度。

表3 事實(shí)預(yù)測(cè)任務(wù)結(jié)果對(duì)比

表4展示了人工對(duì)于部分推理路徑的評(píng)分。例如，“A實(shí)體和組織B實(shí)體合作”無(wú)法直接推理出“A實(shí)體屬于組織實(shí)體B”，因此給以2分的評(píng)分?！癆實(shí)體服役于隊(duì)伍實(shí)體B 且 隊(duì)伍實(shí)體B的主場(chǎng)是地點(diǎn)實(shí)體C”可以推理出“A實(shí)體的主場(chǎng)是地點(diǎn)實(shí)體C”，因此給以高分反饋。

表4 人工對(duì)于部分推理路徑的評(píng)分

4 結(jié) 語(yǔ)

本文提出了一種基于混合增強(qiáng)智能的知識(shí)圖譜推理方法，該方法在強(qiáng)化學(xué)習(xí)的基礎(chǔ)模型上加入了混合智能模型，并利用了知識(shí)圖譜嵌入信息。其特色在于：一方面將人的知識(shí)信息高效地融入到機(jī)器模型的訓(xùn)練中，其中包含了機(jī)器難以獲取的豐富常識(shí)信息，這些信息能夠幫助機(jī)器更加準(zhǔn)確地尋找推理的路徑。另一方面，強(qiáng)化學(xué)習(xí)模型的搭建利用到了知識(shí)圖譜嵌入的知識(shí)，在一定程度上能夠挖掘知識(shí)圖譜上的語(yǔ)義信息。實(shí)驗(yàn)結(jié)果表明本文提出的基于混合增強(qiáng)智能的知識(shí)圖譜推理方法在公開(kāi)數(shù)據(jù)集上的效果，與現(xiàn)有的知識(shí)圖譜嵌入方法、強(qiáng)化學(xué)習(xí)方法相比有一定程度的提升。

在接下來(lái)的工作中，將考慮在強(qiáng)化學(xué)習(xí)中設(shè)置更加全面的回報(bào)函數(shù)。同時(shí)，在考慮 “何時(shí)拋出需要人工判斷的路徑”的問(wèn)題時(shí)，設(shè)計(jì)更加準(zhǔn)確的模型來(lái)執(zhí)行判斷。