常新功，王金玨

（山西財經(jīng)大學(xué) 信息學(xué)院，山西 太原 030006）

近年來，基于網(wǎng)絡(luò)數(shù)據(jù)結(jié)構(gòu)的深度學(xué)習十分流行，廣泛應(yīng)用于學(xué)術(shù)領(lǐng)域和工業(yè)領(lǐng)域。網(wǎng)絡(luò)包括節(jié)點和邊，其中節(jié)點表示實體，邊表示節(jié)點之間的關(guān)系?，F(xiàn)實世界中很多數(shù)據(jù)都可以表示為網(wǎng)絡(luò)，例如社交網(wǎng)絡(luò)[1-2]、生物-蛋白網(wǎng)絡(luò)[3]等。利用網(wǎng)絡(luò)分析挖掘有價值的信息備受關(guān)注，因為高效的網(wǎng)絡(luò)分析不僅處理節(jié)點分類[1]、鏈路預(yù)測[2]、網(wǎng)絡(luò)可視化[4-5]等下游任務(wù)時有著很好的效果，而且在金融欺詐、推薦系統(tǒng)等場景下都有實際的應(yīng)用價值。例如，在社交網(wǎng)絡(luò)中通過節(jié)點分類可以對不同的用戶推薦不同的物品；在生物網(wǎng)絡(luò)中，可以通過分析已知的疾病與基因關(guān)系預(yù)測潛在的致病基因等。

由于網(wǎng)絡(luò)數(shù)據(jù)的非歐幾里得結(jié)構(gòu)，大多數(shù)傳統(tǒng)的網(wǎng)絡(luò)分析方法不適合使用機器學(xué)習技術(shù)解決。網(wǎng)絡(luò)表示學(xué)習[6-8]很好地解決了上述問題，通過將節(jié)點映射到低維空間中，節(jié)點用學(xué)習生成的低維、稠密的向量重新表示，同時盡可能保留網(wǎng)絡(luò)中包含的結(jié)構(gòu)信息。因此，網(wǎng)絡(luò)被映射到向量空間中就可以使用經(jīng)典的機器學(xué)習技術(shù)處理很多網(wǎng)絡(luò)分析問題。現(xiàn)有的網(wǎng)絡(luò)表示學(xué)習方法主要分為以下3 類：

1)基于矩陣分解的網(wǎng)絡(luò)表示學(xué)習。Roweis 等[9]提出的局部線性表示算法(locally linear embeding,LLE)假設(shè)節(jié)點和它的鄰居節(jié)點都處于同一流形區(qū)域，通過它的鄰居節(jié)點表示的線性組合近似得到節(jié)點表示；He 等[10]提出的保留局部映射算法(locality preserving projections,LPP)通過對非線性的拉普拉斯特征映射方法進行線性的近似得到節(jié)點表示；Tu 等[11]提出的圖形分解算法(max margin deep walk,MMDW)通過對鄰接矩陣分解得到節(jié)點表示。Cao 等[12]提出的GraRep 算法通過保留節(jié)點的k階鄰近性保留全局網(wǎng)絡(luò)結(jié)構(gòu)。

2)基于淺層神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)表示學(xué)習。Perozzi等[13]提出的DeepWalk 算法通過隨機游走遍歷網(wǎng)絡(luò)中的節(jié)點得到有序的節(jié)點序列，然后利用Skip-Gram 模型預(yù)測節(jié)點的前后序列學(xué)習得到節(jié)點的向量表示；Grover 等[14]提出的Node2Vec 改進了DeepWalk 的隨機游走過程，通過引進兩個參數(shù)p和q控制深度優(yōu)先搜索和廣度優(yōu)先搜索；Tang等[15]提出的Line 算法能夠處理任意類型的大規(guī)模網(wǎng)絡(luò)，包括有向和無向、有權(quán)重和無權(quán)重，該算法保留了網(wǎng)絡(luò)中節(jié)點的一階鄰近性和二階鄰近性。

3)基于深度學(xué)習的網(wǎng)絡(luò)表示學(xué)習。Wang 等[16]提出的SDNE 算法利用深度神經(jīng)網(wǎng)絡(luò)對網(wǎng)絡(luò)表示學(xué)習進行建模，將輸入節(jié)點映射到高度非線性空間中獲取網(wǎng)絡(luò)結(jié)構(gòu)信息。Hamilton 等[17]提出的GraphSAGE 是一種適用于大規(guī)模網(wǎng)絡(luò)的歸納式學(xué)習方法，通過聚集采樣到的鄰居節(jié)點表示更新當前節(jié)點的特征表示。Wang 等[18]提出的Graph-GAN 引入對抗生成網(wǎng)絡(luò)進行網(wǎng)絡(luò)表示學(xué)習。上述研究方法大多是設(shè)計一種有效的模型分別應(yīng)用不同的數(shù)據(jù)集學(xué)習得到高質(zhì)量的網(wǎng)絡(luò)表示，但是單一模型的泛化能力較弱。為了解決此問題，目前有學(xué)者提出使用集成思想學(xué)習網(wǎng)絡(luò)表示，Zhang等[19]提出的基于集成學(xué)習的網(wǎng)絡(luò)表示學(xué)習，其中stacking 集成分別將GCN 和GAE 作為初級模型，得到兩部分節(jié)點嵌入拼接后作為節(jié)點特征，其與原始圖數(shù)據(jù)構(gòu)成新數(shù)據(jù)集，最后將三層GCN 作為次級模型處理新數(shù)據(jù)集，使用部分節(jié)點標簽進行半監(jiān)督訓(xùn)練。

本文引入了stacking 集成方法學(xué)習網(wǎng)絡(luò)表示。集成方法是對于同一網(wǎng)絡(luò)并行訓(xùn)練多個較弱的個體學(xué)習器，每個個體學(xué)習器的輸出都是網(wǎng)絡(luò)表示，然后采用某種結(jié)合策略集成這些輸出進而得到更好的網(wǎng)絡(luò)表示。stacking 集成方法是集成方法的一種，結(jié)合策略是學(xué)習法，即選用次級學(xué)習器集成個體學(xué)習器的輸出。次級學(xué)習器的選擇是影響結(jié)果的重要因素，現(xiàn)有工作證明Kipf 等[20]提出的圖卷積神經(jīng)網(wǎng)絡(luò)[21](graph convolutional network,GCN)在提升網(wǎng)絡(luò)分析性能上有著顯著的效果，GCN 通過卷積層聚合網(wǎng)絡(luò)中節(jié)點及鄰居的信息，根據(jù)歸一化拉普拉斯矩陣的性質(zhì)向鄰居分配權(quán)重，中心節(jié)點及鄰居信息加權(quán)后更新中心節(jié)點的特征表示。

綜上所述，本文的貢獻有以下幾點：

1)提出了基于stacking 集成學(xué)習的網(wǎng)絡(luò)表示學(xué)習，并行訓(xùn)練多個較弱的初級學(xué)習器，并將它們的網(wǎng)絡(luò)表示拼接，選用GCN 作為次級學(xué)習器，聚合中心節(jié)點及鄰居信息得到最終的網(wǎng)絡(luò)表示，這樣可得到更好的網(wǎng)絡(luò)表示。

2)利用網(wǎng)絡(luò)的一階鄰近性設(shè)計了損失函數(shù)；

3)設(shè)計了評價指標MRR、Hit@1、Hit@3、Hit@10，分別評價初級學(xué)習器和集成后的網(wǎng)絡(luò)表示，驗證了提出的算法具有較好的網(wǎng)絡(luò)表示性能，各評價指標平均提升了1.47～2.97 倍。

1 問題定義

定義1給定網(wǎng)絡(luò)G=，其中V表示節(jié)點集合，E表示節(jié)點之間的邊集合，記vi∈V表示一個節(jié)點，ei,j=(vi,vj)∈E表示一條邊，由E構(gòu)建鄰接矩陣A∈Rn×n表示網(wǎng)絡(luò)的拓撲結(jié)構(gòu)，n=|V|，若ei,j∈E，則Ai,j>0，若ei,j?E，則Ai,j=0。

定義2[6]給定網(wǎng)絡(luò)G，每個節(jié)點的屬性特征是m維，G有n個節(jié)點，則網(wǎng)絡(luò)G對應(yīng)的節(jié)點特征矩陣H∈Rn×m。網(wǎng)絡(luò)表示學(xué)習的目標是根據(jù)網(wǎng)絡(luò)中任意節(jié)點vi∈V學(xué)習得到低維向量Z∈Rn×d，其中d?n。學(xué)習到的低維向量表示可客觀反映節(jié)點在原始網(wǎng)絡(luò)中的結(jié)構(gòu)特性。例如，相似的節(jié)點應(yīng)相互靠近，不相似的節(jié)點應(yīng)相互遠離。

定義3一階鄰近性[15]。網(wǎng)絡(luò)中的一階鄰近性是指兩個節(jié)點之間存在邊，若節(jié)點vi和vj之間存在邊，這條邊的權(quán)重wi,j表示vi和vj之間的一階鄰近性，若節(jié)點vi和vj之間沒有邊，則vi和vj之間的一階鄰近性為0。

定義4二階鄰近性[15]。網(wǎng)絡(luò)中一對節(jié)點vi和vj之間的二階鄰近性是指它們的鄰域網(wǎng)絡(luò)結(jié)構(gòu)之間的相似性，令li=(wi,1,wi,2,···,wi,|V|)表示節(jié)點vi與其他所有節(jié)點的一階鄰近性，vi和vj的二階鄰近性由li和lj的相似性決定。

定義5集成學(xué)習[22]。集成學(xué)習是構(gòu)建多個個體學(xué)習器 ?1，?2，…，?n，再用某種結(jié)合策略將它們的輸出結(jié)合起來，結(jié)合策略有平均法、投票法和學(xué)習法。給定網(wǎng)絡(luò)G，定義2 中的網(wǎng)絡(luò)表示學(xué)習方法可作為個體學(xué)習器，其結(jié)構(gòu)如圖1。若個體學(xué)習器是同種則是同質(zhì)集成，否則是異質(zhì)集成。

圖1 集成學(xué)習結(jié)構(gòu)Fig.1 Structure of ensemble learning

定義6stacking 集成學(xué)習[22]。stacking 集成學(xué)習的結(jié)合策略是學(xué)習法，對于同一網(wǎng)絡(luò)通過k個初級學(xué)習器 ?1，?2，…，?k學(xué)習得到k部分節(jié)點嵌入的特征向量z0，z1，…，zk?1，其嵌入維度均為d維，然后按節(jié)點將zi，i∈[0,k?1]對應(yīng)拼接得到嵌入z，其嵌入維度是k×d維，最后使用次級學(xué)習器?得到最終的嵌入z'，為了方便對比設(shè)置其嵌入維度也是d維。

2 基于GCN 集成的網(wǎng)絡(luò)表示學(xué)習方法

本文將stacking 集成思想引入網(wǎng)絡(luò)表示學(xué)習，對于同一網(wǎng)絡(luò)數(shù)據(jù)基于3 個初級學(xué)習器生成3 部分嵌入并將其拼接，然后選取GCN 作為次級學(xué)習器得到最終的嵌入，最后使用評價指標進行評價，具體流程如圖2 所示。

圖2 基于GCN 集成的網(wǎng)絡(luò)表示學(xué)習結(jié)構(gòu)Fig.2 Network representation learning structure based on GCN ensemble method

2.1 初級學(xué)習器

初級學(xué)習器選擇DeepWalk[13]、Node2Vec[14]和Line[15]。DeepWalk[13]發(fā)現(xiàn)在短的隨機游走中出現(xiàn)的節(jié)點分布類似于自然語言中的單詞分布，于是采用廣泛使用的單詞表示學(xué)習模型Skip-Gram模型學(xué)習節(jié)點表示；Node2Vec[14]認為DeepWalk的表達能力不足以捕捉網(wǎng)絡(luò)中連接的多樣性，所以設(shè)計了一個靈活的網(wǎng)絡(luò)鄰域概念，并設(shè)計隨機游走策略對鄰域節(jié)點采樣，該策略能平滑地在廣度優(yōu)先采樣(BFS)和深度優(yōu)先采樣(DFS)之間進行插值；Line[15]是針對大規(guī)模的網(wǎng)絡(luò)嵌入，可以保持一階和二階鄰近性。圖3 給出了一個說明示例，節(jié)點6 和節(jié)點7 之間邊的權(quán)重較大，即節(jié)點6 和節(jié)點7 有較高的一階鄰近性，它們在嵌入空間的距離應(yīng)很近；雖然節(jié)點5 和節(jié)點6 沒有直接相連的邊，但是它們有很多共同的鄰居，所以它們有較高的二階鄰近性，在嵌入空間中距離也應(yīng)很近。一階鄰近性和二階鄰近性都很重要，一階鄰近性可以用兩個節(jié)點之間的聯(lián)合概率分布度量，vi和vj的一階鄰近性如式(1)：

圖3 網(wǎng)絡(luò)簡單示例Fig.3 Simple example of network

二階鄰近性通過節(jié)點vi的上下文節(jié)點vj的概率建模，即

條件分布意味著在上下文中具有相似分布的節(jié)點彼此相似，通過最小化兩種分布和經(jīng)驗分布的KL 散度，可以得到既保持一階鄰近性又保持二階鄰近性的節(jié)點表示。

2.2 次級學(xué)習器

引入stacking 集成方法學(xué)習網(wǎng)絡(luò)表示，選擇DeepWalk[13]、Node2Vec[14]和Line[15]作為初級學(xué)習器。若初級學(xué)習器是同種的則為同質(zhì)集成，否則為異質(zhì)集成。3 個初級學(xué)習器學(xué)習得到的嵌入分別是z1、z2、z3，且維數(shù)均設(shè)為d，并將z1、z2、z3拼接得到嵌入z'，維數(shù)為3×d。這個過程中不使用節(jié)點的輔助信息，僅利用網(wǎng)絡(luò)的拓撲結(jié)構(gòu)學(xué)習節(jié)點的特征表示。選用GCN 圖卷積網(wǎng)絡(luò)模型[21]作為stacking 的次級學(xué)習器，學(xué)習得到最終的嵌入z，維數(shù)是d。

GCN 模型的輸入有兩部分，若網(wǎng)絡(luò)G有N個節(jié)點，則一部分是嵌入z'，每個節(jié)點有H維，其大小為N×H，另一部分是網(wǎng)絡(luò)G的鄰接矩陣A，其大小為N×N。首先，通過計算得到歸一化矩陣∈Rn×n，如式(2)：

圖4 拉普拉斯矩陣示例Fig.4 Example of Laplacian matrix

然后，GCN 的整體結(jié)構(gòu)如圖5 所示，用式(3)、(4)描述：

圖5 圖卷積集成網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.5 Structure of GCN ensemble model

2.3 損失函數(shù)

利用網(wǎng)絡(luò)的一階鄰近性設(shè)計損失函數(shù)，根據(jù)噪聲分布對邊采樣負邊，任意邊的損失函數(shù)為

式中：第一項是根據(jù)觀測到的邊即正例的loss；第二項是為正例采樣的負例的loss；K是負邊的個數(shù)；σ(x)=1/(1+exp(?x))是 sigmoid 函數(shù)；設(shè)置Pn(v)∝，其在文獻[23]中提出，dv是節(jié)點v的出度。

邊采樣根據(jù)邊的權(quán)重選用alias table[15]方法進行，從alias table 中采樣一條邊的時間復(fù)雜度是O(1)，負采樣的時間復(fù)雜度是O(d(K+1))，d表示出度，K表示K條負邊，所以每步的時間復(fù)雜度是O(dK)，步數(shù)的多少取決于邊的數(shù)量 |E|，因此計算損失的時間復(fù)雜度為O(dK|E|)，與節(jié)點數(shù)量N無關(guān)。此邊采樣策略在不影響準確性的情況下提高了效率。

2.4 評價指標

通過2.3 節(jié)損失函數(shù)影響模型的訓(xùn)練學(xué)習，得到最終的網(wǎng)絡(luò)嵌入表示z，對于網(wǎng)絡(luò)表示學(xué)習的無監(jiān)督性，設(shè)計評價指標[24]評價網(wǎng)絡(luò)表示學(xué)習的好壞。對于節(jié)點vi和vj之間的邊即一個正例，由一對節(jié)點(vi,vj)表示，一個正例對應(yīng)采樣K條負邊，即采樣K個點(n1,n2,···,nk)，其中i,j?(1,K)，構(gòu)成負例集合{(vi,n1),(vi,n2),···,(vi,nk)}。

衡量一對節(jié)點的相似度可計算它們網(wǎng)絡(luò)表示的內(nèi)積，正例(vi,vj)的相似度s=，負例的相似度sp=，p=(1,2,···,K)，相似值越大越好，所以將sp的值由大到小排序，記錄s插入{sp}的索引ranking，索引是從0 開始的，衡量指標需要的是排名位置，所以令ranking=ranking+1，ranking 越小說明網(wǎng)絡(luò)表示學(xué)習的嵌入越有效。

上文針對一個正例計算得到了一個ranking，對于整個網(wǎng)絡(luò)設(shè)計指標如表1 所示。

表1 評價指標Table 1 Evaluating indicator

評價數(shù)據(jù)邊的數(shù)量為 |E’|，時間復(fù)雜度為O(K|E’|)。

2.5 算法描述

基于圖卷積集成的網(wǎng)絡(luò)表示主要包括3 個步驟，首先得到初級學(xué)習器的網(wǎng)絡(luò)表示，然后用stacking 集成，其中次級學(xué)習器選用GCN。對于網(wǎng)絡(luò)表示學(xué)習的無監(jiān)督性在GCN 模型中設(shè)計了損失函數(shù)，也設(shè)計了其測試指標，相關(guān)算法如算法1所示。

訓(xùn)練階段進行模型計算和損失計算，所以訓(xùn)練階段的時間復(fù)雜度是O(|E|HTF+dK|E|)，測試階段的時間復(fù)雜度是O(K|E′|)，其中H是特征輸入維數(shù)384，T為中間層維數(shù)256，F(xiàn)為輸出層維數(shù)128，數(shù)據(jù)邊的數(shù)量是 |E|，測試數(shù)據(jù)邊的數(shù)量是 |E′|。綜上所述，總體時間復(fù)雜度是O(|E|HTF+dK|E|)。

3 實驗和結(jié)果分析

在6 個數(shù)據(jù)集上分別對比DeepWalk、Node 2Vec、Line 這3 個經(jīng)典的網(wǎng)絡(luò)表示學(xué)習方法和stacking 集成后的實驗效果，驗證GCN 作為stacking 集成次級學(xué)習器的有效性。實驗環(huán)境為：Windows10 操作系統(tǒng)，Intel i7-6 700 2.6 GHz CPU，nvidia GeForce GTX 950M GPU，8 GB 內(nèi)存。編寫Python 和Pytorch 實現(xiàn)。

3.1 實驗設(shè)定

1)數(shù)據(jù)集

實驗使用6 個真實數(shù)據(jù)集，即Cora、Citeseer、Pubmed、Wiki-Vote、P2P-Gnutella05 和Email-Enron，詳細信息見表2。Cora 是引文網(wǎng)絡(luò)，由機器學(xué)習論文組成，每個節(jié)點代表一篇論文，論文根據(jù)論文的主題分為7 類，邊代表論文間的引用關(guān)系。Citeseer 也是引文網(wǎng)絡(luò)，是從Citeseer 數(shù)字論文圖書館中選取的一部分論文，該網(wǎng)絡(luò)被分為6 類，邊代表論文間的引用關(guān)系。Pubmed 數(shù)據(jù)集包括來自Pubmed 數(shù)據(jù)庫的關(guān)于糖尿病的科學(xué)出版物，被分為3 類。Wiki-Vote 是社交網(wǎng)絡(luò)，數(shù)據(jù)集包含從Wikipedia 創(chuàng)建到2008 年1 月的所有Wikipedia 投票數(shù)據(jù)。網(wǎng)絡(luò)中的節(jié)點表示W(wǎng)ikipedia 用戶，從節(jié)點i到節(jié)點j的定向邊表示用戶i給用戶j的投票。P2P-Gnutella05 是因特網(wǎng)點對點網(wǎng)絡(luò)，數(shù)據(jù)集是從2002 年8 月開始的Gnutella 點對點文件共享網(wǎng)絡(luò)的一系列快照，共收集了9 個Gnutella 網(wǎng)絡(luò)快照。節(jié)點表示Gnutella 網(wǎng)絡(luò)拓撲中的主機，邊表示Gnutella 主機之間的連接。Email-Enron 是安然公司管理人員的電子郵件通信網(wǎng)絡(luò)，覆蓋了大約50 萬封電子郵件數(shù)據(jù)集中的所有電子郵件通信，這些數(shù)據(jù)最初是由聯(lián)邦能源管理委員會在調(diào)查期間公布在網(wǎng)上的，網(wǎng)絡(luò)的節(jié)點是電子郵件地址，邊表示電子郵件地址之間的通信。

表2 數(shù)據(jù)集信息Table 2 Dataset information

2)參數(shù)設(shè)定

對于stacking 集成方法中的GCN 模型，使用RMSProp 優(yōu)化器更新訓(xùn)練參數(shù)，學(xué)習率設(shè)為0.001，訓(xùn)練次數(shù)設(shè)為200，卷積層為2 層。對于Deep-Walk 和Node2Vec 共同參數(shù)，節(jié)點游走次數(shù)設(shè)為10，窗口大小設(shè)為 10，隨機游走的長度設(shè)為40。Node2Vec 的超參數(shù)p=0.25、q=4。對于Line，負采樣數(shù)設(shè)為10，學(xué)習率設(shè)為 0.025。為了方便比較，上述方法的節(jié)點表示維度均設(shè)為128。

3.2 異質(zhì)集成實驗結(jié)果

實驗選擇4 個領(lǐng)域的數(shù)據(jù)集，包括Cora、Citeseer、Pubmed、Wiki-Vote、P2P-Gnutella05 和Email-Enron。對于同一數(shù)據(jù)集，對比各初級學(xué)習器、GCN和stacking 異質(zhì)GCN 集成的特征表示的質(zhì)量。GCN的參數(shù)設(shè)定同stacking 集成方法中的GCN 模型參數(shù)。GCN 集成過程中僅使用網(wǎng)絡(luò)結(jié)構(gòu)，GCN 使用網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)集的屬性特征，數(shù)據(jù)集沒有的使用單位陣代替屬性特征。圖6 展示了各數(shù)據(jù)集上的評價指標MRR、Hit@1、Hit@3、Hit@10 的比較，各評價指標平均提升了1.47～2.97 倍。

圖6 各數(shù)據(jù)集異質(zhì)集成評價指標結(jié)果Fig.6 Heterogeneous integration of evaluation index results of all datasets

實驗結(jié)果顯示，在各數(shù)據(jù)集上stacking 集成后的效果明顯優(yōu)于各初級學(xué)習器，僅使用網(wǎng)絡(luò)結(jié)構(gòu)的GCN 集成與使用網(wǎng)絡(luò)結(jié)構(gòu)和屬性特征的GCN效果相當。這一方面歸功于初級學(xué)習器的“好而不同”，即初級學(xué)習器有一定的網(wǎng)絡(luò)表示學(xué)習能力，并且學(xué)習器之間具有差異性，會有互補作用；另一方面歸功于GCN 作為stacking 集成次級學(xué)習器的有效性，GCN 根據(jù)對稱歸一化拉普拉斯矩陣的性質(zhì)為鄰居分配權(quán)重，然后聚合鄰居信息。

3.3 損失函數(shù)有效性驗證

本文根據(jù)網(wǎng)絡(luò)的一階鄰近性設(shè)計了損失函數(shù)，通過設(shè)計使用損失函數(shù)和未使用損失函數(shù)的實驗來驗證損失函數(shù)的有效性。表3 展示了各數(shù)據(jù)集評價指標的比較，圖中數(shù)據(jù)集名稱的表示未使用損失函數(shù)，數(shù)據(jù)集名稱中的“-loss”表示使用了損失函數(shù)。實驗結(jié)果表明，使用損失函數(shù)的評價指標與未使用損失函數(shù)的相比平均提升了0.44～1.79 倍，驗證了本文損失函數(shù)的有效性。

表3 損失函數(shù)有效性驗證指標結(jié)果Table 3 Results of validation index of loss function

3.4 同質(zhì)集成實驗對比

本節(jié)對比算法分別進行同質(zhì)stacking，對比設(shè)計如表4 所示，第1～3 行是同質(zhì)集成，第4 行是3.2 節(jié)的實驗設(shè)定。圖7 展示了Cora、Citeseer和P2P-Gnutella05 數(shù)據(jù)集同質(zhì)、異質(zhì)集成及3 個初級學(xué)習器對比的實驗結(jié)果。

表4 對比算法設(shè)計Table 4 Design of contrast algorithms

圖7 各數(shù)據(jù)集同質(zhì)/異質(zhì)集成對比Fig.7 Comparison of homogeneous/ heterogeneous integration among datasets

實驗結(jié)果表明，在不同數(shù)據(jù)集上不同的同質(zhì)集成各評價指標的表現(xiàn)不同。但是同質(zhì)集成效果均明顯優(yōu)于初級學(xué)習器的效果，平均提升了1.46～1.91 倍，所以異質(zhì)集成的效果平均優(yōu)于同質(zhì)集成。在Cora 數(shù)據(jù)集上，DeepWalk 和Node2Vec 同質(zhì)集成的效果略差于異質(zhì)集成，Line 同質(zhì)集成略好于異質(zhì)集成；在Citeseer 數(shù)據(jù)集上，DeepWalk 同質(zhì)集成效果與異質(zhì)集成相當，Line 和Node2Vec同質(zhì)集成略好于異質(zhì)集成；在P2P-Gnutella05 數(shù)據(jù)集上，Line 同質(zhì)集成效果與異質(zhì)集成相當，Node-2Vec 和DeepWalk 同質(zhì)集成略好于異質(zhì)集成。因為數(shù)據(jù)集網(wǎng)絡(luò)結(jié)構(gòu)具有多樣性和復(fù)雜性，所以在不同數(shù)據(jù)集上表現(xiàn)效果不同，有的同質(zhì)集成效果略優(yōu)于異質(zhì)集成。GCN 不僅可以作為集成器，本身也是學(xué)習器，有一定的學(xué)習能力。

3.5 參數(shù)敏感性分析

本節(jié)進行參數(shù)敏感性實驗，主要分析不同特征維度對性能的影響。實驗選用Cora 數(shù)據(jù)集，圖8 分別展示了MRR 和Hit@1、Hit@3、Hit@10 的實驗結(jié)果。

圖8 參數(shù)敏感性分析Fig.8 Parametric sensitivity analysis

實驗結(jié)果表明，節(jié)點特征向量維度增加到128 時，初級學(xué)習器的效果沒有明顯提升；但是GCN 異質(zhì)集成的效果卻沒有大幅受節(jié)點特征向量維度的影響，說明節(jié)點特征維度不是實驗結(jié)果的重要影響因素。

4 結(jié)束語

在網(wǎng)絡(luò)表示學(xué)習中，如何設(shè)計算法學(xué)習到高質(zhì)量的節(jié)點表示仍是一個重要的研究課題。本文引入了stacking 集成方法學(xué)習網(wǎng)絡(luò)表示。首先并行訓(xùn)練多個簡單的初級學(xué)習器，并將它們的嵌入拼接，選用GCN 作為次級學(xué)習器，聚合得到最終的網(wǎng)絡(luò)表示，然后對網(wǎng)絡(luò)表示學(xué)習的無監(jiān)督性，利用網(wǎng)絡(luò)的一階鄰近性設(shè)計損失函數(shù)；最后改進了評價指標MRR、Hit@1、Hit@3、Hit@10，分別測試初級學(xué)習器和集成后的節(jié)點特征向量表示，驗證了提出算法具有較好的網(wǎng)絡(luò)表示性能。

在6 個數(shù)據(jù)集上進行實驗，在各數(shù)據(jù)集上stacking 集成后的效果明顯優(yōu)于各初級學(xué)習器，因為GCN 作為stacking 異質(zhì)集成次級學(xué)習器的有效性及初級學(xué)習器的“好而不同”。對比算法選擇stacking 同質(zhì)集成進行比較，實驗結(jié)果表明同質(zhì)集成的效果均明顯優(yōu)于初級學(xué)習器，且異質(zhì)集成的效果平均優(yōu)于同質(zhì)集成，有的數(shù)據(jù)集同質(zhì)集成效果由于異質(zhì)集成是由于GCN 不僅是集成器，更是學(xué)習器，有一定的學(xué)習能力。對于參數(shù)敏感性分析，實驗結(jié)果表明節(jié)點向量維度不是實驗結(jié)果的重要影響因素。

未來研究工作包括探索其他算法作為初級學(xué)習器、次級學(xué)習器對集成的影響和探索如何提高不同網(wǎng)絡(luò)結(jié)構(gòu)的適應(yīng)性去處理歸納性任務(wù)。