韓 路,尹子都,王鈺杰,胡 礦,岳 昆+
1.云南大學(xué) 信息學(xué)院,昆明 650504
2.云南大學(xué) 信息技術(shù)中心,昆明 650504
基于貝葉斯網(wǎng)的知識(shí)圖譜鏈接預(yù)測(cè)*
韓 路1,尹子都1,王鈺杰1,胡 礦2,岳 昆1+
1.云南大學(xué) 信息學(xué)院,昆明 650504
2.云南大學(xué) 信息技術(shù)中心,昆明 650504
結(jié)合外部知識(shí),使用特定方法進(jìn)行知識(shí)圖譜的鏈接預(yù)測(cè),即知識(shí)圖譜中缺失信息的發(fā)現(xiàn)和還原,是目前知識(shí)圖譜領(lǐng)域研究的熱點(diǎn)和關(guān)鍵。以電子商務(wù)應(yīng)用為背景,基于已經(jīng)構(gòu)建好的描述用戶興趣的知識(shí)圖譜,結(jié)合外部數(shù)據(jù)集,以貝葉斯網(wǎng)這一重要概率圖模型作為不同商品之間相似性及其不確定性的表示和推理框架,通過(guò)對(duì)商品屬性進(jìn)行統(tǒng)計(jì)計(jì)算,構(gòu)建反映商品之間相似關(guān)系的貝葉斯網(wǎng),進(jìn)而基于概率推理機(jī)制,定量地判斷商品節(jié)點(diǎn)與用戶節(jié)點(diǎn)之間存在鏈接的真實(shí)性,得到真實(shí)和完整的知識(shí)圖譜,為個(gè)性化推薦和關(guān)聯(lián)查詢提供依據(jù)。建立在真實(shí)數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明,提出的模型和算法是有效的。
知識(shí)圖譜;鏈接預(yù)測(cè);貝葉斯網(wǎng);相似性;概率推理
隨著信息技術(shù)的不斷發(fā)展和成熟,Web技術(shù)正在從網(wǎng)頁(yè)之間的鏈接向包含各種實(shí)體以及實(shí)體之間關(guān)系的數(shù)據(jù)鏈接轉(zhuǎn)變,傳統(tǒng)的文本萬(wàn)維網(wǎng)逐步發(fā)展成為數(shù)據(jù)萬(wàn)維網(wǎng),互聯(lián)網(wǎng)公司逐步開始以此為基礎(chǔ)構(gòu)建知識(shí)圖譜(knowledge graph,KG)[1]。借助KG,人們可以從過(guò)去單一的網(wǎng)頁(yè)鏈接轉(zhuǎn)向?qū)嶓w鏈接:基于KG的搜索引擎,通過(guò)圖結(jié)構(gòu)反饋知識(shí),幫助用戶簡(jiǎn)單精確地實(shí)現(xiàn)知識(shí)的獲取和定位,從而實(shí)現(xiàn)真正意義上的語(yǔ)義搜索[2]。KG是一種由節(jié)點(diǎn)和邊組成的圖結(jié)構(gòu),本質(zhì)上是由數(shù)據(jù)構(gòu)成的語(yǔ)義網(wǎng)[3]。KG中的節(jié)點(diǎn)對(duì)應(yīng)現(xiàn)實(shí)世界中存在的實(shí)體,節(jié)點(diǎn)之間的邊代表實(shí)體之間的關(guān)系。KG的研究涉及自然語(yǔ)言處理、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等多個(gè)領(lǐng)域的知識(shí),基于KG的數(shù)據(jù)挖掘是未來(lái)相關(guān)研究的趨勢(shì)[4]。
網(wǎng)絡(luò)關(guān)系的鏈接預(yù)測(cè)是數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域中一個(gè)新興的課題[5],它是指如何通過(guò)網(wǎng)絡(luò)中已知的節(jié)點(diǎn)以及網(wǎng)絡(luò)結(jié)構(gòu)等信息來(lái)預(yù)測(cè)網(wǎng)絡(luò)中無(wú)邊相連的兩個(gè)節(jié)點(diǎn)之間產(chǎn)生鏈接關(guān)系的可能性,能為缺失信息還原和錯(cuò)誤信息檢測(cè)提供支撐技術(shù)[6]。
目前,KG研究主要包括如下兩方面:(1)KG的構(gòu)建,其中包含信息抽取、知識(shí)融合等多個(gè)過(guò)程[7]。(2)KG中知識(shí)的推理,KG上的規(guī)則主要是針對(duì)關(guān)系的,即通過(guò)規(guī)則(一般為鏈?zhǔn)揭?guī)則)發(fā)現(xiàn)實(shí)體之間隱含的關(guān)系[1]。
KG鏈接預(yù)測(cè)是KG推理領(lǐng)域的研究方向之一[8],由于數(shù)據(jù)來(lái)源廣泛,尤其是Web數(shù)據(jù)更加雜亂,構(gòu)建KG的源數(shù)據(jù)中往往存在大量錯(cuò)誤及缺失信息。對(duì)于存儲(chǔ)KG的知識(shí)庫(kù)而言,盡管擁有大規(guī)模的數(shù)據(jù),但許多數(shù)據(jù)庫(kù)仍然不完整,例如,Google Knowledge Vault項(xiàng)目[9]中的核心元素Freebase[10]中,71%的個(gè)人信息缺失“出生地”,75%缺失“國(guó)籍說(shuō)明”等。通過(guò)鏈接預(yù)測(cè),可以發(fā)現(xiàn)現(xiàn)有KG中缺失和錯(cuò)誤的信息,得到更為完整和真實(shí)的KG,進(jìn)而更新知識(shí)庫(kù)。具體而言,KG鏈接預(yù)測(cè)主要涉及如下兩方面的任務(wù)[5]:
(1)預(yù)測(cè)異常鏈接。由于數(shù)據(jù)來(lái)源的復(fù)雜性,現(xiàn)有KG存在部分錯(cuò)誤邊的情況,通過(guò)鏈接預(yù)測(cè)可以發(fā)現(xiàn)異常鏈接,進(jìn)而得到更為真實(shí)的KG。
(2)預(yù)測(cè)未知鏈接。針對(duì)預(yù)測(cè)查詢或搜索服務(wù),來(lái)預(yù)測(cè)KG中尚未包含的鏈接。
例如,圖1所示的KG描述了用戶對(duì)電影興趣的KG,未知鏈接預(yù)測(cè)的任務(wù)是判斷圖中虛線邊是否真實(shí)存在,異常鏈接預(yù)測(cè)旨在發(fā)現(xiàn)已經(jīng)存在,但其存在概率很低且可能需要?jiǎng)h除的鏈接關(guān)系。
近年來(lái),對(duì)于鏈接預(yù)測(cè)相關(guān)問(wèn)題,國(guó)內(nèi)外學(xué)者開展了較為全面和系統(tǒng)的研究。例如,Getoor等人[11]系統(tǒng)地綜述了鏈接挖掘的相關(guān)概念和研究領(lǐng)域,介紹了鏈接預(yù)測(cè)的問(wèn)題、定義和經(jīng)典模型。對(duì)于KG中的鏈接預(yù)測(cè),目前大多數(shù)方法都是基于組成KG的RDF(resource description framework)三元組進(jìn)行,而基于KG圖結(jié)構(gòu)的鏈接預(yù)測(cè)方法仍有待進(jìn)一步深入研究。Bordes等人[12]提出了TransE模型,將KG中的關(guān)系看作實(shí)體間的某種向量;Drumond等人[13]利用張量分解對(duì)不完整KG中的RDF三元組進(jìn)行預(yù)測(cè),從而支持KG的更新;Socher等人[14]提出了基于神經(jīng)網(wǎng)絡(luò)的方法,應(yīng)用于鏈接預(yù)測(cè),但方法的復(fù)雜性和模型訓(xùn)練及參數(shù)調(diào)優(yōu)是其主要缺點(diǎn);Richardson等人[15]定義了馬爾科夫邏輯網(wǎng),基于邏輯準(zhǔn)則定義KG潛在函數(shù)語(yǔ)言的方法,從而進(jìn)行鏈接預(yù)測(cè),但規(guī)則學(xué)習(xí)以及參數(shù)估計(jì)成為其應(yīng)用中的瓶頸。同時(shí),現(xiàn)有方法對(duì)于KG中尚未描述但又必須的知識(shí)獲取及融合還有許多不足之處,且對(duì)于鏈接關(guān)系存在的可能性或不確定性不能較好地進(jìn)行定量計(jì)算。
Fig.1 KG of user interest on movies圖1 用戶對(duì)電影興趣的KG
貝葉斯網(wǎng)(Bayesian network,BN)[16]是典型的概率圖模型[17],同時(shí)考慮了網(wǎng)絡(luò)結(jié)構(gòu)和節(jié)點(diǎn)屬性信息,具有堅(jiān)實(shí)的概率論理論基礎(chǔ)和廣泛應(yīng)用[18]。適用于表達(dá)和分析不確定性知識(shí),能夠?qū)Σ淮_定性知識(shí)做出有效的推理,是目前不確定知識(shí)表達(dá)和推理領(lǐng)域最有效的模型之一[19]。KG中實(shí)體之間的相互關(guān)系存在不確定性,通過(guò)BN的概率推理可以發(fā)現(xiàn)這種不確定性。同時(shí),KG中鏈接預(yù)測(cè)的實(shí)質(zhì)是通過(guò)KG中已有的鏈接對(duì)未知鏈接進(jìn)行判斷,這是BN的優(yōu)勢(shì)所在。
事實(shí)上,除了KG中描述的知識(shí)外,現(xiàn)實(shí)世界中存在許多與KG相關(guān)聯(lián)的外部知識(shí)(例如描述商品類型的標(biāo)簽數(shù)據(jù)集),這些知識(shí)中存在大量人們已經(jīng)構(gòu)建好的豐富的先驗(yàn)知識(shí),可以提供更為全面和真實(shí)的信息,KG中提供的數(shù)據(jù)與外部知識(shí)結(jié)合,可提高KG鏈接預(yù)測(cè)的準(zhǔn)確性。
本文從已有KG出發(fā),結(jié)合標(biāo)簽數(shù)據(jù)集外部知識(shí),構(gòu)建鏈接貝葉斯網(wǎng)(link Bayesian network,LBN)模型,基于LBN進(jìn)行概率推理,從而完成KG鏈接預(yù)測(cè)的任務(wù)。
具體而言,本文的研究主要包括如下幾方面:
(1)針對(duì)KG中屬性節(jié)點(diǎn)單一,數(shù)據(jù)量不夠充分的特點(diǎn),引入與KG相關(guān)聯(lián)的描述商品類別的標(biāo)簽數(shù)據(jù)集這一外部知識(shí),以便實(shí)現(xiàn)將KG中數(shù)據(jù)和外部數(shù)據(jù)集結(jié)合。標(biāo)簽數(shù)據(jù)中對(duì)應(yīng)描述KG中商品實(shí)體的標(biāo)簽,可以充分用于表達(dá)商品之間的相似性,提高鏈接預(yù)測(cè)的準(zhǔn)確性。
(2)為了描述商品節(jié)點(diǎn)之間的相似性,利用商品屬性,構(gòu)建針對(duì)KG鏈接預(yù)測(cè)的LBN。將KG和標(biāo)簽數(shù)據(jù)集相結(jié)合而構(gòu)成的商品屬性,構(gòu)建描述商品之間相關(guān)性的LBN,作為BN概率推理及鏈接預(yù)測(cè)的基礎(chǔ)。
(3)針對(duì)KG的鏈接預(yù)測(cè),當(dāng)KG中節(jié)點(diǎn)較多且鏈接比較緊密時(shí),構(gòu)建的LBN的規(guī)模也會(huì)隨之增大。Gibbs采樣是應(yīng)用最廣泛的馬爾科夫鏈蒙特卡羅(Markov chain Monte Carlo,MCMC)概率算法,可有效地獲取一系列近似等于指定多維概率分布的觀察樣本[20-21]。為了實(shí)現(xiàn)基于LBN的高效鏈接預(yù)測(cè),本文基于Gibbs采樣給出了LBN的概率推理算法,量化了未知鏈接真實(shí)存在的可能性,基于此實(shí)現(xiàn)了KG的鏈接預(yù)測(cè)。
(4)基于MovieLens站點(diǎn)數(shù)據(jù)(http://grouplens. org/),本文實(shí)現(xiàn)并測(cè)試了LBN的構(gòu)建、近似推理和鏈接預(yù)測(cè)方法的有效性。
本文組織結(jié)構(gòu)如下:第2章描述KG鏈接預(yù)測(cè)問(wèn)題,并給出LBN的定義;第3章討論構(gòu)建LBN模型的方法;第4章研究基于LBN的近似推理算法和KG鏈接預(yù)測(cè)方法;第5章給出實(shí)驗(yàn)結(jié)果和性能分析;第6章總結(jié)全文并展望將來(lái)的工作。
根據(jù)用戶瀏覽信息可以針對(duì)特定用戶構(gòu)建個(gè)性化的用戶興趣KG,通過(guò)鏈接預(yù)測(cè),可以獲得更加完整的KG,進(jìn)一步應(yīng)用于查詢和個(gè)性化推薦等,從而實(shí)現(xiàn)KG對(duì)于用戶的核心價(jià)值。對(duì)于描述用戶興趣的KG,用戶和商品之間的聯(lián)系是研究的重點(diǎn):為了進(jìn)行鏈接預(yù)測(cè),借助已有的聯(lián)系以及商品屬性,發(fā)現(xiàn)用戶和不存在鏈接商品之間的關(guān)系,是本文研究的核心。KG本質(zhì)上是一種基于圖的數(shù)據(jù)結(jié)構(gòu),首先給出KG的形式化定義。
定義1(KG)KG用Gk=(V,E)表示,其中V={v1, v2,…,vn}表示KG中實(shí)體對(duì)應(yīng)節(jié)點(diǎn)的集合,E={e1, e2,…,en}表示實(shí)體之間邊的集合。任意一條邊對(duì)應(yīng)一個(gè)節(jié)點(diǎn)二元組ex={vi,vj},節(jié)點(diǎn)vi稱為始點(diǎn),節(jié)點(diǎn)vj稱為終點(diǎn)。
用戶興趣KG主要包括用戶、商品和商品屬性信息3類實(shí)體。KG中的節(jié)點(diǎn)分別代表不同實(shí)體,與實(shí)體類型對(duì)應(yīng),集合V中節(jié)點(diǎn)也對(duì)應(yīng)這3種類型。
對(duì)于Gk的節(jié)點(diǎn)集合V,用U表示其中的用戶節(jié)點(diǎn),O={O1,O2,…,Om}表示商品節(jié)點(diǎn)集合,Si={s1,s2,…,sk} (1≤i≤m)表示商品節(jié)點(diǎn)Oi在Gk中對(duì)應(yīng)的屬性節(jié)點(diǎn)集。
例1圖1為用戶電影興趣KG,圖中節(jié)點(diǎn)分為用戶、電影以及電影屬性3類,該KG中的電影屬性主要包括演員和導(dǎo)演等。其中,用戶節(jié)點(diǎn)為U,電影實(shí)體集合為O={M1,M2,M3}。M1對(duì)應(yīng)的屬性信息集合S1= {A1,A2,A3}。
此外,KG中實(shí)體之間的相互關(guān)系存在不確定性,這種不確定性體現(xiàn)在Gk對(duì)應(yīng)邊上,即Gk中的邊以一定的概率真實(shí)存在。需要對(duì)這種不確定性進(jìn)行量化,作為鏈接預(yù)測(cè)的依據(jù),為此引出可信度的概念。
定義2(可信度)KG圖結(jié)構(gòu)Gk中的邊真實(shí)存在的概率值稱為可信度。對(duì)于有向邊{vi,vj},用Wij表示其可信度。
可信度越大,表示對(duì)應(yīng)鏈接存在的可能性越大。給定閾值ε,對(duì)應(yīng)特定的鏈接進(jìn)行可信度計(jì)算,可信度大于等于ε的認(rèn)為其真實(shí)存在,若可信度小于閾值ε,則忽略。Gk中已有邊的可信度都大于等于ε,是本文討論的前提。
BN是一個(gè)DAG(directed acyclic graph)Gb=(V, E),其中V代表隨機(jī)變量節(jié)點(diǎn)集,每一個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)隨機(jī)變量,E中的有向邊用來(lái)表示節(jié)點(diǎn)之間的條件依賴關(guān)系。V中的每一個(gè)變量都有一個(gè)條件概率表(conditional probability table,CPT),用來(lái)表示已知父親節(jié)點(diǎn)狀態(tài)來(lái)計(jì)算當(dāng)前狀態(tài)的概率。基于BN的基本概念,提出LBN模型,作為鏈接預(yù)測(cè)的模型基礎(chǔ)。下面給出LBN的定義。
定義3(LBN)LBN用一個(gè)二元組G=(Gl,P)表示,其中:
(1)Gl=(Ol,El)為L(zhǎng)BN的DAG結(jié)構(gòu),Ol={O1,O2,…, Om}為節(jié)點(diǎn)集合,每個(gè)節(jié)點(diǎn)對(duì)應(yīng)KG中的一個(gè)商品節(jié)點(diǎn),有向邊集El為節(jié)點(diǎn)之間相似關(guān)系的集合。Oi(1≤i≤m)取值為1或0,分別表示Oi在Gk中是否和用戶節(jié)點(diǎn)U之間存在鏈接。若存在有向邊{Oi,Oj},則稱Oi為Oj的一個(gè)父節(jié)點(diǎn),Oj的父節(jié)點(diǎn)集記為Pa(Oi)。
(2)P={p(Oi|Pa(Oi)|Oi∈O)}為條件概率分布的集合,由各節(jié)點(diǎn)CPT中概率參數(shù)值構(gòu)成,p(Oi|Pa(Oi))表示節(jié)點(diǎn)Oi在其父節(jié)點(diǎn)的影響下的條件概率,用來(lái)描述Pa(Oi)的狀態(tài)對(duì)Oi的影響。
本文構(gòu)建商品屬性之間相似關(guān)系的LBN。對(duì)于圖1中的用戶興趣KG而言,描述商品屬性的信息較少,而且比較單一,無(wú)法充分表達(dá)商品節(jié)點(diǎn)之間的相似性。本文引入標(biāo)簽數(shù)據(jù)集D(所謂標(biāo)簽即商品所對(duì)應(yīng)的類型)這一“外部知識(shí)”。D中主要描述的是KG中集合O的商品實(shí)體對(duì)應(yīng)的標(biāo)簽類型信息:數(shù)據(jù)集D中一條商品的標(biāo)簽類型記錄Item可以表示為{Oi,Ti,Li},其中Oi(1≤i≤m)用以標(biāo)識(shí)KG中商品集合O中的實(shí)體,Ti表示Oi對(duì)應(yīng)商品的名稱,Li={l1,l2,…, ln}表示Oi所對(duì)應(yīng)的標(biāo)簽。
圖1中KG對(duì)應(yīng)的數(shù)據(jù)集D如表1所示。商品節(jié)點(diǎn)Oi(1≤i≤m)的屬性內(nèi)容可表示為一個(gè)二元組Ci=<Oi,Bi>,其中屬性Bi由KG中的節(jié)點(diǎn)集合Si和數(shù)據(jù)集D中的Li共同組成,即Bi=Si?Li(1≤i≤n)。
Table 1 Data of labels表1 標(biāo)簽數(shù)據(jù)集
例2對(duì)于商品節(jié)點(diǎn)M2而言,KG中對(duì)應(yīng)的節(jié)點(diǎn)集合S2={D1,A3},數(shù)據(jù)集D對(duì)應(yīng)的標(biāo)簽為L(zhǎng)2={l1,l4,l5, l8},則C2=<M2,{l1,l4,l5,l8,D1,A3}>。
構(gòu)建LBN,首先構(gòu)建其DAG?;跇?gòu)建的DAG,可以發(fā)現(xiàn)商品節(jié)點(diǎn)之間的相似關(guān)系,從而基于此進(jìn)行概率推理。以下討論基于Gk和標(biāo)簽數(shù)據(jù)集D來(lái)構(gòu)建LBN的DAG的方法。
3.1 節(jié)點(diǎn)選取
LBN的Gl基于KG中商品節(jié)點(diǎn)之間的相似性而構(gòu)建,因此Ol由KG中的商品節(jié)點(diǎn)組成。構(gòu)建DAG的第一步是選取商品節(jié)點(diǎn),對(duì)于Gk中的商品節(jié)點(diǎn),與其相關(guān)聯(lián)的邊數(shù)多于其余類型的節(jié)點(diǎn)。為此,引入節(jié)點(diǎn)度的概念,作為選取特定節(jié)點(diǎn)的重要依據(jù)之一。
定義4(節(jié)點(diǎn)度)節(jié)點(diǎn)度d是指和該節(jié)點(diǎn)相關(guān)聯(lián)的邊的條數(shù)。對(duì)于類似KG的有向圖而言,節(jié)點(diǎn)Oi的入度dp(Oi)是指進(jìn)入該節(jié)點(diǎn)的邊的條數(shù),節(jié)點(diǎn)的出度do(Oi)是指從該節(jié)點(diǎn)出發(fā)的邊的條數(shù),d(Oi)為入度和出度之和。
本文通過(guò)判斷節(jié)點(diǎn)度的大小來(lái)獲取集合O中的節(jié)點(diǎn),對(duì)于給定的KG,設(shè)置節(jié)點(diǎn)度d,遍歷KG中的所有節(jié)點(diǎn),依次求節(jié)點(diǎn)的節(jié)點(diǎn)度,對(duì)于節(jié)點(diǎn)度不小于d的節(jié)點(diǎn),加入到集合Ol中,直到遍歷結(jié)束,輸出集合Ol。
例3由圖1可知,“電影”節(jié)點(diǎn)對(duì)應(yīng)的最小節(jié)點(diǎn)度d=3,依次遍歷Gk節(jié)點(diǎn)集V中的所有節(jié)點(diǎn),將節(jié)點(diǎn)度不小于d的節(jié)點(diǎn)添加到集合Ol中,然后輸出Ol,從而可以得到Ol={M1,M2,M3}。
3.2 DAG的構(gòu)建
LBN中有向邊的集合El描述節(jié)點(diǎn)間的相似關(guān)系,DAG的構(gòu)建包括如下三方面的問(wèn)題:(1)確定商品對(duì)應(yīng)節(jié)點(diǎn)間是否存在邊,即判斷商品是否相似;(2)若商品之間存在相似關(guān)系,則要確定對(duì)應(yīng)節(jié)點(diǎn)之間邊的方向;(3)構(gòu)建DAG的過(guò)程中保證不出現(xiàn)環(huán)。
針對(duì)問(wèn)題(1),對(duì)于任意兩個(gè)商品,考慮這兩個(gè)商品同時(shí)具有的屬性占它們所具有全部屬性的比例,該比例越高,則這兩個(gè)商品相似度越高;若該值高于相似度閾值ε,則在這兩個(gè)商品對(duì)應(yīng)節(jié)點(diǎn)之間存在一條無(wú)向邊。下面給出基于對(duì)商品屬性信息統(tǒng)計(jì)計(jì)算得到的用戶間相似度計(jì)算方法,商品節(jié)點(diǎn)Oi和Oj的相似度用sim(Oi,Oj)表示:
其中,Bi?Bj描述兩個(gè)商品同時(shí)具有的屬性,N(Bi?Bj)表示屬性個(gè)數(shù);Bi?Bj表示兩個(gè)商品共同具有的屬性,N(Bi?Bj)為屬性個(gè)數(shù);N(Bi?Bj)和N(Bi?Bj)可基于簡(jiǎn)單的統(tǒng)計(jì)計(jì)算得到。
設(shè)ε為給定相似度閾值,當(dāng)Oi和Oj的相似度sim(Oi,Oj)>ε時(shí),認(rèn)為兩個(gè)商品是相似的,即商品Oi和Oj對(duì)應(yīng)節(jié)點(diǎn)之間存在一條無(wú)向邊。
針對(duì)問(wèn)題(2),考慮任意兩個(gè)有邊相連的節(jié)點(diǎn),這兩個(gè)商品的共同屬性占各自屬性的比例反映了它們的共同屬性所占各自屬性的比例,該比例值高的商品吸引的用戶對(duì)于該比例值較低者也可能會(huì)感興趣;基于此可確定相似關(guān)系的指向,從而確定圖中邊的方向。下面給出基于對(duì)商品屬性信息統(tǒng)計(jì)計(jì)算來(lái)判斷商品間指向關(guān)系的方法,商品Oi對(duì)Oj的依賴度用D(Oi|Oj)表示,商品Oj對(duì)Oi的依賴度用D(Oj|Oi)表示:
若D(Oi|Oj)>D(Oj|Oi),則表示Oi對(duì)Oj的依賴程度高于Oj對(duì)Oi的依賴程度,即Oj對(duì)Oi之間的有向邊應(yīng)由Oj指向Oi。
針對(duì)問(wèn)題(3),首先建立一個(gè)已處理節(jié)點(diǎn)集合,用于存放處理后的節(jié)點(diǎn)。接著選取一個(gè)節(jié)點(diǎn)作為初始節(jié)點(diǎn),分別通過(guò)相似性計(jì)算方法確定與其他節(jié)點(diǎn)之間的鏈接關(guān)系,當(dāng)此鏈接關(guān)系指向的節(jié)點(diǎn)已有指向已處理集合中節(jié)點(diǎn)的邊時(shí),就忽略此鏈接關(guān)系,否則就保留此鏈接關(guān)系;處理完所有節(jié)點(diǎn),就得到了目標(biāo)結(jié)構(gòu)。
算法1描述了上述思想。
算法1構(gòu)建LBN的DAG
基于以上相似度和興趣依賴度兩個(gè)度量標(biāo)準(zhǔn),可以得到LBN的DAG結(jié)構(gòu)。然后,本文采用似然估計(jì)的方法[22]來(lái)計(jì)算貝葉斯網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)的概率參數(shù)表,從而最終得到LBN。
例4對(duì)于圖1中KG,構(gòu)建LBN的節(jié)點(diǎn)集Ol={M1, M2,M3},其中S1={A1,A2,A3},S2={D1,A3},S3={A2,D2, A4},再結(jié)合數(shù)據(jù)集D便可得到屬性集。按照式(1),計(jì)算每?jī)蓚€(gè)電影節(jié)點(diǎn)之間的相似度,得到結(jié)果為sim(M1, M2)=0.66,sim(M1,M3)=0.35,sim(M3,M2)=0.54。假設(shè)ε的值預(yù)先設(shè)定為0.50,那么大于該值的兩個(gè)節(jié)點(diǎn)之間應(yīng)該有一條無(wú)向邊。通過(guò)式(2)、式(3),計(jì)算每條邊的方向,例如D(M2|M3)=0.42,D(M3|M2)=0.50,則兩個(gè)節(jié)點(diǎn)之間的邊應(yīng)由節(jié)點(diǎn)M2指向節(jié)點(diǎn)M3。基于似然估計(jì),計(jì)算各個(gè)節(jié)點(diǎn)的條件概率表CPT。最終得到的LBN如圖2所示。
Fig.2 Asimple LBN圖2 簡(jiǎn)單的LBN
BN推理是指利用BN結(jié)構(gòu)及其條件概率表,在給定證據(jù)后進(jìn)行某些節(jié)點(diǎn)取值概率的計(jì)算。然而,BN的精確推理具有指數(shù)時(shí)間[23]。隨著節(jié)點(diǎn)數(shù)的增加,推理的時(shí)間復(fù)雜度也會(huì)大幅度增加,尤其對(duì)于較大規(guī)模的KG而言,精確推理并不適用。因此,本文選擇BN的近似推理算法。馬爾科夫鏈蒙特卡羅算法[20-21]是目前被廣泛應(yīng)用的一種貝葉斯近似推理方法,Gibbs采樣是MCMC方法中應(yīng)用最廣泛的一種。
本文基于Gibbs采樣,利用已經(jīng)和用戶存在鏈接的商品節(jié)點(diǎn)作為證據(jù)節(jié)點(diǎn),根據(jù)證據(jù)節(jié)點(diǎn)的取值來(lái)計(jì)算其他非證據(jù)節(jié)點(diǎn)在不同狀態(tài)下的概率值?;诖擞?jì)算用戶和商品節(jié)點(diǎn)之間的邊的可信度,作為KG鏈接預(yù)測(cè)的依據(jù)。為了便于計(jì)算,同時(shí)保證方法的普遍性,對(duì)于當(dāng)前采樣節(jié)點(diǎn),本文僅考慮其馬爾科夫覆蓋(X的馬爾科夫覆蓋是包括X的直接孩子節(jié)點(diǎn)、直接父親節(jié)點(diǎn)以及直接孩子其他父親節(jié)點(diǎn)的節(jié)點(diǎn)集合,記為MB(X))中的節(jié)點(diǎn)對(duì)它的影響[24]。算法2給出了具體的描述。
算法2基于Gibbs采樣的LBN近似推理
利用算法2,可以得到 p(Oj=1|Oi=1)的值,即在給定證據(jù)變量Oi=1的情況下,非證據(jù)變量Oj=1的概率。由定義4可知,Oj的取值決定節(jié)點(diǎn)Oj與用戶節(jié)點(diǎn)U之間是否存在鏈接。因此,p(Oj=1|Oi=1)的值為{Oi,U}已經(jīng)存在的情況下{Oj,U}的可信度W。由上述可知,若W≥ε,則該鏈接真實(shí)存在。
例5對(duì)于圖2中的LBN,{M2,U}已經(jīng)存在,因此選擇M2為證據(jù)節(jié)點(diǎn),然后計(jì)算 p(M1=1|M2=1),即{M1,U}的可信度。假設(shè)當(dāng)前節(jié)點(diǎn)的狀態(tài)是[M1=1,M2= 1,M3=0]。在當(dāng)前狀態(tài)下,通過(guò)M3馬爾科夫覆蓋中變量在當(dāng)前狀態(tài)下的值來(lái)對(duì)非證據(jù)節(jié)點(diǎn)M3進(jìn)行采樣,經(jīng)過(guò)計(jì)算便可以得到p(M3=1|M1=1,M2=1)=1和p(M3=0|M1=1,M2=1)=0。假設(shè)生成的隨機(jī)數(shù)r3=0.5,那么采樣結(jié)果為M3=0,同時(shí)生成新的狀態(tài)[M1= 1,M2=1,M3=0]。若采樣次數(shù)為300,其中M1=1的次數(shù)為240,則p(M1=1|M2=1)=0.6,即未知鏈接{M1,U}的可信度為0.6。若ε=0.5,則該未知鏈接真實(shí)存在。
利用基于Gibbs采樣的LBN推理算法,通過(guò)設(shè)定Ol中不同節(jié)點(diǎn)為非證據(jù)變量,可以依次獲得該節(jié)點(diǎn)取值為1的概率,即該節(jié)點(diǎn)在Gk中與用戶節(jié)點(diǎn)U之間未知鏈接的可信度,然后與給定閾值進(jìn)行比較,則可判斷該未知鏈接的真實(shí)存在性,從而發(fā)現(xiàn)用戶和未存在鏈接商品之間是否存在關(guān)系。針對(duì)KG的鏈路預(yù)測(cè),需要將真實(shí)存在的鏈接關(guān)系反映在KG的邊上。對(duì)于描述用戶興趣的KG,若用戶和商品之間存在關(guān)系,統(tǒng)一用“fondof”對(duì)其進(jìn)行標(biāo)注,實(shí)現(xiàn)用戶興趣KG中對(duì)于未知鏈接的預(yù)測(cè)。
本文測(cè)試了LBN構(gòu)建和LBN近似推理算法的效率以及KG鏈接預(yù)測(cè)的有效性。實(shí)驗(yàn)環(huán)境如下:Intel?CoreTMi5 2.40 GHz處理器,4 GB內(nèi)存,Windows7操作系統(tǒng),以Eclipse為開發(fā)平臺(tái),MySQL存儲(chǔ)LBN的CPT,使用Java語(yǔ)言編寫程序。實(shí)驗(yàn)中,針對(duì)形如圖1的描述用戶對(duì)電影興趣的KG,將MovieLens站點(diǎn)數(shù)據(jù)與KG中原有數(shù)據(jù)結(jié)合,作為本文的測(cè)試數(shù)據(jù)。MovieLens數(shù)據(jù)集中包含6 040個(gè)用戶對(duì)3 900部電影的1 000 209條評(píng)價(jià)數(shù)據(jù),數(shù)據(jù)集格式為UserId::MovieId::Title::Genres::Rating,依次為用戶Id、電影Id、電影名稱、電影標(biāo)簽類型和電影評(píng)分,每個(gè)用戶至少為20部電影評(píng)分,其中MovieId::Title::Genres構(gòu)成了本文的外部數(shù)據(jù)集D。
5.1 LBN的構(gòu)建效率
為了測(cè)試構(gòu)建LBN算法的時(shí)間開銷,選取包含10,20,…,100個(gè)節(jié)點(diǎn)的LBN,并分別測(cè)試了是否包含數(shù)據(jù)庫(kù)I/O開銷的LBN構(gòu)建時(shí)間,如圖3所示。可以看出,構(gòu)建LBN的時(shí)間隨著節(jié)點(diǎn)數(shù)的增加基本呈線性增長(zhǎng)趨勢(shì)。
Fig.3 Efficiency of LBN construction圖3 構(gòu)建LBN的效率
5.2 LBN推理效率和收斂性測(cè)試
本文測(cè)試了基于Gibbs采樣的LBN近似推理算法的效率。圖4和圖5分別給出了在不同節(jié)點(diǎn)數(shù)目情況下,隨著采樣次數(shù)的不斷增加,算法2返回結(jié)果的收斂性和時(shí)間開銷。從圖4中可以看出,隨著采樣次數(shù)的增加,不同節(jié)點(diǎn)數(shù)目情形下LBN推理結(jié)果均能較快收斂到一個(gè)穩(wěn)定的值(即靜態(tài)分布),這從一定程度上說(shuō)明了算法2的有效性。從圖5中可以看出,不同節(jié)點(diǎn)數(shù)目情形下算法2的執(zhí)行時(shí)間都隨著采樣時(shí)間呈線性趨勢(shì)增加,這說(shuō)明了LBN近似推理算法的高效性。
5.3 KG鏈接預(yù)測(cè)有效性測(cè)試
KG中的用戶和商品節(jié)點(diǎn)之間的鏈接表示用戶對(duì)于商品的偏好,因此通過(guò)判斷預(yù)測(cè)用戶偏好的準(zhǔn)確性作為本文KG鏈接預(yù)測(cè)有效性的衡量標(biāo)準(zhǔn)。從MovieLens數(shù)據(jù)集中隨機(jī)地選擇某一個(gè)用戶評(píng)分較高的5部電影,將其作為KG中的已知鏈接,再選取5部該用戶未評(píng)過(guò)分的電影作為KG中的未知鏈接。給定預(yù)測(cè)閾值,高于閾值,則鏈接預(yù)測(cè)成功。為了測(cè)試基于LBN的概率推理進(jìn)行KG鏈路預(yù)測(cè)方法的有效性,將已知邊分為訓(xùn)練集和測(cè)試集兩類。本文實(shí)驗(yàn)中,選擇AUC(area under the receiver operating characteristic curve)、準(zhǔn)確率(precision)和召回率(recall)作為衡量鏈接預(yù)測(cè)算法的指標(biāo)。
Fig.4 Convergence of LBN approximate inference圖4 LBN近似推理結(jié)果的收斂性
Fig.5 Efficiency of LBN approximate inference圖5 LBN近似推理算法的效率
實(shí)驗(yàn)中,測(cè)試不同迭代次數(shù)、不同訓(xùn)練集比例下3個(gè)指標(biāo)的結(jié)果。從圖6、圖7和圖8中可以看出,迭代次數(shù)的不同對(duì)于結(jié)果影響較小,而訓(xùn)練集比例的不同結(jié)果也會(huì)受到影響。對(duì)于AUC而言,AUC高于0.5的程度反映了算法在多大程度上比隨機(jī)選擇的方法精確[6]。由圖6可以看出,在不同比例的訓(xùn)練集情況下,AUC的值都大于0.5,且隨著訓(xùn)練集比例的增加,AUC的值不斷增加。實(shí)驗(yàn)結(jié)果在一定程度上說(shuō)明了本文提出的KG鏈路預(yù)測(cè)方法的有效性。
Fig.6 AUC of KG link prediction圖6KG鏈路預(yù)測(cè)方法的AUC
Fig.7 Precision of KG link prediction圖7 KG鏈路預(yù)測(cè)方法的準(zhǔn)確率
Fig.8 Recall of KG link prediction圖8 KG鏈路預(yù)測(cè)方法的召回率
同時(shí),測(cè)試了不同迭代次數(shù)、不同訓(xùn)練集比例下的F值,如圖9所示。F值綜合了準(zhǔn)確率和召回率,普遍在0.45以上,整體上說(shuō)明了本文方法的準(zhǔn)確性。
Fig.9 F-measure of KG link prediction圖9KG鏈路預(yù)測(cè)方法的F值
綜上,實(shí)驗(yàn)結(jié)果表明,本文基于LBN的KG鏈路預(yù)測(cè)方法在模型構(gòu)建和鏈路預(yù)測(cè)方面都有較好的性能,也從一定程度上證明了本文方法的可行性。
本文以電子商務(wù)應(yīng)用為背景,針對(duì)描述用戶興趣的KG,提出將KG與標(biāo)簽數(shù)據(jù)集結(jié)合,充分描述商品節(jié)點(diǎn)的屬性,并構(gòu)建了描述各屬性間關(guān)聯(lián)關(guān)系及其不確定性的LBN。然后基于BN的近似推理算法實(shí)現(xiàn)了對(duì)于未知鏈接不確定性的高效量化計(jì)算,從而發(fā)現(xiàn)KG中缺失的信息。通過(guò)建立在真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn),測(cè)試了本文方法的有效性,實(shí)驗(yàn)結(jié)果在一定程度上驗(yàn)證了所提出思路的可行性。
本文從用戶和商品之間的關(guān)聯(lián)度出發(fā),為KG中未知鏈接的預(yù)測(cè)提供了一種新的思路,但仍是KG鏈路預(yù)測(cè)的初步探索。從KG鏈路預(yù)測(cè)問(wèn)題的特點(diǎn)和應(yīng)用來(lái)看,如何處理大規(guī)模的KG和海量的標(biāo)簽數(shù)據(jù)集,合理實(shí)現(xiàn)與現(xiàn)有思路的實(shí)驗(yàn)對(duì)比,將未知鏈路預(yù)測(cè)方法擴(kuò)展到異常鏈路預(yù)測(cè),是今后將要開展的工作。
[1]Wang Haofen.semantic search on large scale RDF data[D]. Shanghai:Shanghai Jiao Tong University,2013.
[2]Liu Qiao,Li Yang,Duan Hong,at el.Knowledge graph construction techniques[J].Journal of Computer Research and Development,2016,53(3):582-600.
[3]Doan A H,Madhavan J,Dhamankar R,et al.Learning to match ontologies on the semantic Web[J].The VLDB Journal,2003,12(4):303-319.
[4]Liu Ye,Zhu Weiheng,Pan Yan,et al.Multiple sources fusion for link prediction via low-rank and sparse matrix decomposition[J].Journal of Computer Research and Development,2015,52(2):423-436.
[5]Nickel M,Murphy K,Tresp V,et al.A review of relational machine learning for knowledge graphs[J].Proceedings of the IEEE,2016,104(1):11-33.
[6]Lv Linyuan,Zhou Tao.Link prediction in complex networks: a survey[J].Physica A:Statistical Mechanics and Its Applications,2011,390(6):1150-1170.
[7]Meng Xiaofeng,Du Zhijuan.Research on the big data fusion: issues and challenges[J].Journal of Computer Research and Development,2016,53(2):231-246.
[8]Bordes A,Gabrilovich E.Constructing and mining Web-scale knowledge graphs:KDD 2014 tutorial[C]//Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining,New York,Aug 24-27, 2014.New York:ACM,2014:1967-1967.
[9]Dong Xin,Gabrilovich E,Heitz G,et al.Knowledge vault: a Web-scale approach to probabilistic knowledge fusion[C]// Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining,New York,Aug 24-27,2014.New York:ACM,2014:601-610.
[10]Bollacker K,Evans C,Paritosh P,et al.Freebase:a collaboratively created graph database for structuring human knowledge[C]//Proceedings of the 2008 ACM SIGMOD International Conference on Management of Data,Vancouver,Canada, Jun 9-12,2008.New York:ACM,2008:1247-1250.
[11]Getoor L,Diehl C P.Link mining:a survey[J].ACM SIGKDD Explorations Newsletter,2005,7(2):3-12.
[12]BordesA,Usunier N,Garcia-DuranA,et al.Translating embeddings for modeling multi-relational data[C]//Proceedings of the 27th Annual Conference on Neural Information Processing Systems,Lake Tahoe,USA,Dec 5-8,2013.Cambridge,USA:MIT Press,2013:2787-2795.
[13]Drumond L,Rendle S,Schmidt-Thieme L.Predicting RDF triples in incomplete knowledge bases with tensor factorization[C]//Proceedings of the 27th Annual ACM Symposium on Applied Computing,Trento,Italy,Mar 26-30,2012.New York:ACM,2012:326-331.
[14]Socher R,Chen D,Manning C D,et al.Reasoning with neural tensor networks for knowledge base completion[C]//Proceedings of the 27th Annual Conference on Neural Information Processing Systems,Lake Tahoe,USA,Dec 5-8,2013. Cambridge,USA:MIT Press,2013:926-934.
[15]Richardson M,Domingos P.Hybrid Markov logic networks [C]//Proceedings of the 23rd National Conference on Artificial Intelligence,Chicago,USA,Jul 13-17,2008.Menlo Park, USA:AAAI,2008:1106-1111.
[16]Heckerman D,Dan G,Chickering D M.Learning Bayesian networks:the combination of knowledge and statistical data [J].Machine Learning,1995,20(3):197-243.
[17]Koller D,Friedman N.Probabilistic graphical models:principles and techniques adaptive computation and machine learning[M]//Probabilistic Graphical Models:Principles and Techniques.Cambridge,USA:MIT Press,2009:161-168.
[18]Zhang Hongyi,Wang Liwei,Chen Yuxi.Research progressof probabilistic graphical models:a survery[J].Journal of Software,2013,24(11):2476-2497.
[19]Zhang Lianwen,Guo Haipeng.Introduction to Bayesian networks[M].Beijing:Science Press,2006.
[20]Mcculloch E,Variable selection via Gibbs sampling[J].Journal of theAmerican StatisticalAssociation,1993,88(423):881-889.
[21]Bayarri M J,Castellanos M E,Morales J.MCMC methods to approximate conditional predictive distributions[J].Computational Statistics&DataAnalysis,2015,51(2):621-640.
[22]Wang Tianren,Sayre E C.Maximum likelihood estimation (MLE)of students'understanding of vector subtraction[J]. American Institute of Physics Conference Series,2010,1289 (1):329-332.
[23]Pearl J.Probabilistic reasoning in intelligent systems[J].Computer ScienceArtificial Intelligence,1988,70(14):521-538.
[24]Zhu Zexuan,Ong Y S,Dash M.Markov blanket-embedded genetic algorithm for gene selection[J].Pattern Recognition,2007,40(11):3236-3248.
附中文參考文獻(xiàn):
[1]王昊奮.面向大規(guī)模RDF數(shù)據(jù)的語(yǔ)義搜索[D].上海:上海交通大學(xué),2013.
[2]劉嶠,李楊,段宏,等.知識(shí)圖譜構(gòu)建技術(shù)綜述[J].計(jì)算機(jī)研究與發(fā)展,2016,53(3):582-600.
[4]劉冶,朱蔚恒,潘炎,等.基于低秩和稀疏矩陣分解的多源融合鏈接預(yù)測(cè)算法[J].計(jì)算機(jī)研究與發(fā)展,2015,52(2): 423-436.
[7]孟小峰,杜治娟.大數(shù)據(jù)融合研究:問(wèn)題與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展,2016,53(2):231-246.
[18]張宏毅,王立威,陳瑜希.概率圖模型研究進(jìn)展綜述[J].軟件學(xué)報(bào),2013,24(11):2476-2497.
[19]張連文,郭海鵬.貝葉斯網(wǎng)引論[M].北京:科學(xué)出版社,2006.
HAN Lu was born in 1990.He is an M.S.candidate at Yunnan University.His research interests include data analysis and knowledge discovery.
韓路(1990—),男,河北邯鄲人,云南大學(xué)碩士研究生,主要研究領(lǐng)域?yàn)閿?shù)據(jù)分析,知識(shí)發(fā)現(xiàn)。
YIN Zidu was born in 1990.He is a Ph.D.candidate at Yunnan University.His research interests include knowledge engineering,massive data analysis and services.
尹子都(1990—),男,甘肅天水人,云南大學(xué)博士研究生,主要研究領(lǐng)域?yàn)橹R(shí)工程,海量數(shù)據(jù)分析與服務(wù)。
WANG Yujie was born in 1990.He is an M.S.candidate at Yunnan University.His research interests include knowledge engineering,massive data analysis and services.
王鈺杰(1990—),男,河北唐山人,云南大學(xué)碩士研究生,主要研究領(lǐng)域?yàn)橹R(shí)工程,海量數(shù)據(jù)分析與服務(wù)。
HU Kuang was born in 1982.He received the M.S.degree in software engineering from Yunnan University in 2009.Now he is a research associate at Information Technology Center,Yunnan University.He is working on Internet data center,and his research interest is container-based virtualization.
胡礦(1982—),男,云南楚雄人,2009年于云南大學(xué)軟件工程專業(yè)獲得碩士學(xué)位,現(xiàn)為云南大學(xué)信息技術(shù)中心助理研究員,主要從事數(shù)據(jù)中心建設(shè)工作,主要研究基于容器的虛擬化。
YUE Kun was born in 1979.He received the M.S.degree from Fudan University in 2004,and the Ph.D.degree from Yunnan University in 2009.Now he is a professor and Ph.D.supervisor at Yunnan University,and the member of CCF.His research interests include knowledge engineering,massive data analysis and services.
岳昆(1979—),男,云南曲靖人,2004年于復(fù)旦大學(xué)獲得碩士學(xué)位,2009年于云南大學(xué)獲得博士學(xué)位,現(xiàn)為云南大學(xué)教授、博士生導(dǎo)師,CCF會(huì)員,主要研究領(lǐng)域?yàn)橹R(shí)工程,海量數(shù)據(jù)分析與服務(wù)。
Link Prediction of Knowledge Graph Based on Bayesian Network*
HAN Lu1,YIN Zidu1,WANG Yujie1,HU Kuang2,YUE Kun1+
1.School of Information Science and Engineering,Yunnan University,Kunming 650504,China
2.Information Technology Center,Yunnan University,Kunming 650504,China
+Corresponding author:E-mail:kyue@ynu.edu.cn
HAN Lu,YIN Zidu,WANG Yujie,et al.Link prediction of knowledge graph based on Bayesian network. Journal of Frontiers of Computer Science and Technology,2017,11(5):742-751.
Link prediction is to discover and recover missing information in a knowledge graph(KG).Combining external knowledge and employing some specified methods to fulfill link prediction is the topic with great attention and key problem in KG research.Taking e-commerce application as the background,this paper combines the KG that has been constructed to describe user interest with external data,and adopts Bayesian network(BN),an important probabilistic graphical model,as the framework for representing and inferring the similarities among commodities as well as corresponding uncertainties.This paper constructs the BN to reflect the similarities by statistic computations upon commodity properties,and evaluates the authenticity of the links between commodity and user nodes based on the probabilistic inference mechanism of BN.Consequently,the real and complete KG can be obtained,as the basis of personalized recommendation and correlation query processing.The experimental results established onreal data show the effectiveness of the model and algorithms proposed in this paper.
knowledge graph;link prediction;Bayesian network;similarity;probabilistic inference
10.3778/j.issn.1673-9418.1608042
A
TP391
*The National Natural Science Foundation of China under Grant Nos.61472345,61562090,61402398(國(guó)家自然科學(xué)基金);the Applied Basic Research Project of Yunnan Province under Grant No.2014FA023(云南省應(yīng)用基礎(chǔ)研究計(jì)劃);the Program for Innovative Research Team in Yunnan University under Grant No.XT412011(云南大學(xué)創(chuàng)新團(tuán)隊(duì)培育計(jì)劃);the Program for Excellent Young Talents in Yunnan University under Grant No.WX173602(云南大學(xué)青年英才培養(yǎng)計(jì)劃);the Innovative Research Foundation for Graduate Students of Yunnan University(云南大學(xué)研究生科研創(chuàng)新基金項(xiàng)目).
Received 2016-08,Accepted 2016-10.
CNKI網(wǎng)絡(luò)優(yōu)先出版:2016-10-31,http://www.cnki.net/kcms/detail/11.5602.TP.20161031.1650.012.html