摘 要：近年來，圖神經(jīng)網(wǎng)絡(luò)由于其豐富的表征和推理能力受到廣泛的關(guān)注，然而，目前的研究聚焦于卷積策略和網(wǎng)絡(luò)結(jié)構(gòu)的調(diào)整以獲得更高的性能，不可避免地面臨單一模型局限性的約束。受到集成學(xué)習(xí)思想的啟發(fā)，面向圖神經(jīng)網(wǎng)絡(luò)創(chuàng)新性地提出一套集成學(xué)習(xí)框架（EL-GNN）。不同于常規(guī)的文本和圖像數(shù)據(jù)，圖數(shù)據(jù)除了特征信息外還包括了豐富的拓?fù)浣Y(jié)構(gòu)信息。因此，EL-GNN不僅將不同基分類器的預(yù)測結(jié)果進(jìn)行融合，還在集成階段額外補(bǔ)充了結(jié)構(gòu)信息。此外，基于特征相似或結(jié)構(gòu)鄰居節(jié)點(diǎn)通常具有相似標(biāo)簽的先驗(yàn)假設(shè)，借助特征圖重構(gòu)，進(jìn)一步優(yōu)化集成策略，充分平衡了節(jié)點(diǎn)的特征和結(jié)構(gòu)信息。大量實(shí)驗(yàn)表明，提出的集成策略取得了良好的成效，并EL-GNN在節(jié)點(diǎn)分類任務(wù)上顯著優(yōu)于現(xiàn)有模型。

關(guān)鍵詞：圖神經(jīng)網(wǎng)絡(luò)；集成學(xué)習(xí)；特征相似圖；節(jié)點(diǎn)分類

中圖分類號：TP181 文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695（2022）03-004-0668-07

doi：10.19734/j.issn.1001-3695.2021.09.0352

基金項(xiàng)目：國家重點(diǎn)研發(fā)計(jì)劃資助項(xiàng)目（2018YFC0807105）；國家自然科學(xué)基金資助項(xiàng)目（61462073）；上海市科學(xué)技術(shù)委員會科研計(jì)劃項(xiàng)目（17DZ1101003，18511106602，18DZ2252300）

作者簡介：張嘉杰（1999-），男，河南焦作人，碩士研究生，主要研究方向?yàn)閳D神經(jīng)網(wǎng)絡(luò)、數(shù)據(jù)挖掘；過弋（1975-），男（通信作者），江蘇無錫人，教授，博導(dǎo)，博士，主要研究方向?yàn)槲谋就诰?、圖神經(jīng)網(wǎng)絡(luò)（guoyi@ecust.edu.cn）；王家輝（1995-），男，上海寶山人，博士研究生，主要研究方向?yàn)楫惓z測、圖深度學(xué)習(xí)；王雨（1998-），女，山東泰安人，碩士研究生，主要研究方向?yàn)槲谋就诰?、對話情感分析?/p>

Ensemble learning framework for graph neural network with feature and structure enhancement

Zhang Jiajie¹，Guo Yi^{1，2，3?}，Wang Jiahui¹，Wang Yu¹

（1.Dept.of Computer Science amp; Engineering，East China University of Science amp; Technology，Shanghai 200237，China；2.Business Intelligence amp; Visualization Research Center，National Engineering Laboratory for Big Data Distribution amp; Exchange Technologies，Shanghai 200436，China；3.Shanghai Engineering Research Center of Big Data amp; Internet Audience，Shanghai 200072，China）

Abstract：Recently，graph neural networks receive widespread attention due to their rich representation and reasoning capabilities.To best knowledge，current research mainly focuses on amending the convolutional strategy and network structure for higher performance，so the performance will be inevitably constrained by the limitations of the single model.Inspired by the idea of ensemble learning，this paper innovatively proposed an ensemble learning framework for graph neural network（EL-GNN）.Unlike regular" text and images，graph data not only had features but also had rich topology information.Therefore，EL-GNN additionally supplemented the structure information during the ensemble stage rather than merely integrating the prediction results of independent classifiers.Besides，this paper further revised the ensemble strategy through reconstructing a feature-level similarity graph for subsequent assembling，which balanced the feature and structure information on the basis of the assumptions of those nodes with the similar feature or easy reachability of high probability to share the same labels.The comprehensive experiments indicate that the proposed ensemble strategy achieves an impressive performance and EL-GNN is superior to other off-the-shelf models on the node classification task.

Key words：graph neural network；ensemble learning；feature similarity graph；node classification

0 引言

互聯(lián)網(wǎng)時代的來臨催生了諸多新的復(fù)雜業(yè)務(wù)應(yīng)用場景，例如社交媒體中的用戶興趣挖掘、引文網(wǎng)絡(luò)中的異常引用檢測、電商網(wǎng)絡(luò)中的欺詐檢測、生化網(wǎng)絡(luò)中的藥物性質(zhì)預(yù)測等。在這些場景中的各數(shù)據(jù)對象除了自身信息外，還存在著大量的關(guān)聯(lián)關(guān)系，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫因其結(jié)構(gòu)化的特點(diǎn)，每條數(shù)據(jù)都被視做獨(dú)立的個體進(jìn)行存儲，難以刻畫數(shù)據(jù)對象之間的關(guān)系^［1］。圖數(shù)據(jù)庫應(yīng)用圖形理論存儲實(shí)體之間的關(guān)系信息可以更好地描述各數(shù)據(jù)對象間的拓?fù)浣Y(jié)構(gòu)信息，近年來受到了廣泛的應(yīng)用。與此同時，從海量圖數(shù)據(jù)中挖掘出有效信息，進(jìn)而賦能產(chǎn)業(yè)發(fā)展成為了當(dāng)下的研究焦點(diǎn)。

深度學(xué)習(xí)在圖像和文本領(lǐng)域已經(jīng)取得了顯著的成效，但是在圖數(shù)據(jù)領(lǐng)域仍處于起步階段。2017年，Kipf等人^［2］首次將深度學(xué)習(xí)遷移到了圖領(lǐng)域，并擁有了強(qiáng)大的表征能力，打破了諸多圖計(jì)算任務(wù)的瓶頸，同時也為后續(xù)的圖深度學(xué)習(xí)領(lǐng)域奠定了相應(yīng)的理論基礎(chǔ)。在那之后，圖卷積神經(jīng)網(wǎng)絡(luò)的研究方興未艾，大量學(xué)者從不同的視角出發(fā)對原始的第一代圖卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)優(yōu)化。但是現(xiàn)有圖神經(jīng)網(wǎng)絡(luò)的研究主要集中于卷積聚合層的重定義和網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化，鮮有模型從集成的角度融合單一分類器的學(xué)習(xí)能力來提升最終模型的泛化能力。

集成學(xué)習(xí)可以捕捉到不同模型的優(yōu)劣。傳統(tǒng)面向結(jié)構(gòu)化數(shù)據(jù)的模型集成方法通常是依據(jù)不同的集成策略，將不同基礎(chǔ)模型的輸出結(jié)果進(jìn)行融合，但是對于圖數(shù)據(jù)來講，還有豐富的拓?fù)浣Y(jié)構(gòu)信息，僅僅對節(jié)點(diǎn)的預(yù)測結(jié)果進(jìn)行簡單集成，而忽略了節(jié)點(diǎn)間的關(guān)聯(lián)關(guān)系，可能會存在一定的局限性，進(jìn)而影響模型的表征能力。

圖神經(jīng)網(wǎng)絡(luò)補(bǔ)充了節(jié)點(diǎn)之間的拓?fù)潢P(guān)系，豐富了模型的表征能力，在各類任務(wù)中取得了顯著的成效。其本質(zhì)可以看做鄰域節(jié)點(diǎn)的聚合過程，依托于圖上相鄰的節(jié)點(diǎn)通常具有相同標(biāo)簽的先驗(yàn)假設(shè)，當(dāng)在圖上呈現(xiàn)出孤立節(jié)點(diǎn)或者群體的狀態(tài)時，圖神經(jīng)網(wǎng)絡(luò)難以有效地對其進(jìn)行表征和預(yù)測。在這種場景下，其結(jié)構(gòu)信息很少，弱化結(jié)構(gòu)信息并增強(qiáng)節(jié)點(diǎn)特征信息可以更好地提升模型的整體效果。

基于上述問題，本文旨在探索融合集成思想提高現(xiàn)有模型在圖上節(jié)點(diǎn)分類的性能，并結(jié)合圖數(shù)據(jù)結(jié)構(gòu)的特點(diǎn)，在模型預(yù)測結(jié)果集成的基礎(chǔ)上，補(bǔ)充節(jié)點(diǎn)間的拓?fù)浣Y(jié)構(gòu)信息。此外，將節(jié)點(diǎn)的結(jié)構(gòu)和特征信息進(jìn)行統(tǒng)一融合，提出一套融合結(jié)構(gòu)和特征信息的圖神經(jīng)網(wǎng)絡(luò)集成模型（ensemble learning framework for graph neural networks，EL-GNN）。EL-GNN的集成策略中涉及了節(jié)點(diǎn)自身、結(jié)構(gòu)信息和特征信息的融合?？紤]到不同模型在聚合策略和網(wǎng)絡(luò)結(jié)構(gòu)上的差異，EL-GNN根據(jù)其特點(diǎn)選取了一系列不同的基分類器進(jìn)行節(jié)點(diǎn)自身和結(jié)構(gòu)信息集成。進(jìn)一步，通過特征相似度計(jì)算和特征圖重構(gòu)來捕捉特征相似節(jié)點(diǎn)之間的關(guān)系，進(jìn)而在集成策略中增強(qiáng)特征和結(jié)構(gòu)信息。實(shí)驗(yàn)證明，本文提出的集成策略可以有效地提高節(jié)點(diǎn)分類的準(zhǔn)確率。

本文面向圖數(shù)據(jù)設(shè)計(jì)了一套通用的集成學(xué)習(xí)框架來優(yōu)化現(xiàn)有的圖神經(jīng)網(wǎng)絡(luò)模型，其融合不同模型卷積聚合策略的優(yōu)劣，進(jìn)而打破單一模型的瓶頸。針對圖數(shù)據(jù)的特點(diǎn)，設(shè)計(jì)了一套新的集成策略，在傳統(tǒng)模型預(yù)測結(jié)果集成的基礎(chǔ)上疊加了節(jié)點(diǎn)拓?fù)浣Y(jié)構(gòu)信息，弱化孤立節(jié)點(diǎn)的結(jié)構(gòu)信息，通過構(gòu)造特征相似圖增強(qiáng)其特征信息，并在集成過程中促進(jìn)圖上特征相似節(jié)點(diǎn)的信息聚合。

1 基礎(chǔ)知識

1.1 圖神經(jīng)網(wǎng)絡(luò)

隨著深度學(xué)習(xí)的快速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在圖像和自然語言處理領(lǐng)域取得空前的成功。為了應(yīng)對不規(guī)則圖數(shù)據(jù)結(jié)構(gòu)中的各類場景并將卷積神經(jīng)網(wǎng)絡(luò)擴(kuò)展到圖結(jié)構(gòu)數(shù)據(jù)中去，研究人員提出了兩種廣泛的策略，分別是譜卷積和空間卷積神經(jīng)網(wǎng)絡(luò)。

譜卷積神經(jīng)網(wǎng)絡(luò)主要依托于譜圖理論^［3～5］將卷積核直接作用在譜空間的輸入信號上。例如文獻(xiàn)［6］從譜空間進(jìn)行突破，將圖的拉普拉斯矩陣進(jìn)行譜分解，并利用得到的特征值和特征向量在譜空間定義卷積操作。Kipf等人^［2］借助一階切比雪夫多項(xiàng)式展開建立了圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolutional network，GCN）。譜方法中會涉及Laplacian矩陣的特征值和特征向量計(jì)算，而特征分解會極大程度地提升模型的復(fù)雜度。

在GCN的基礎(chǔ)上，Wu等人^［7］提出SGC模型，移除了網(wǎng)絡(luò)層中的非線性變換。Klicpera等人^［8］將個性化的PageRank算法和圖神經(jīng)網(wǎng)絡(luò)融合提出PPNP模型，將特征變換和特征傳播進(jìn)行解耦。PPNP和SGC雖然從一階圖卷積神經(jīng)網(wǎng)絡(luò)出發(fā)，但可以看成通過聚合函數(shù)分析節(jié)點(diǎn)特征的傳播，可以看做是譜方法和空間方法的橋梁。

空間卷積神經(jīng)網(wǎng)絡(luò)拋棄了Laplacian矩陣的譜分解操作，直接在圖上定義卷積運(yùn)算，即針對在空間上相近的鄰域進(jìn)行運(yùn)算，極大地降低了模型的計(jì)算復(fù)雜度。Velicˇkovic＇等人^［9］提出圖注意力網(wǎng)絡(luò)（GAT）利用注意力機(jī)制來定義圖卷積；文獻(xiàn)［10］將圖神經(jīng)網(wǎng)絡(luò)從直推式學(xué)習(xí)擴(kuò)展到歸納式學(xué)習(xí)；Xu等人^［11］提出了JK-Net，將k個卷積層輸出結(jié)果拼接在一起緩解過平滑現(xiàn)象，增加了圖神經(jīng)網(wǎng)絡(luò)模型的深度。

現(xiàn)有的研究從不同的視角對聚合策略和網(wǎng)絡(luò)層面進(jìn)行改進(jìn)優(yōu)化，例如GCN、GAT側(cè)重結(jié)構(gòu)層面鄰居聚合，PPNP側(cè)重于特征的變換，JK-Net側(cè)重于遠(yuǎn)距離節(jié)點(diǎn)間的聚合。單一模型的表達(dá)能力受限于其網(wǎng)絡(luò)層設(shè)計(jì)，且不同模型具有天然的偏好和側(cè)重點(diǎn)。單一模型難以全面考慮到所有的因素，因此本文擬探索融合集成學(xué)習(xí)的方式來提升現(xiàn)有模型的表達(dá)能力，消除這種天然偏好給模型帶來的誤差以提高性能。

1.2 集成學(xué)習(xí)

集成學(xué)習(xí)是指使用多種兼容的學(xué)習(xí)算法或模型來執(zhí)行單個任務(wù)的技術(shù)，目的是得到更佳的預(yù)測表現(xiàn)，目前在文本、圖像領(lǐng)域取得了顯著的成功。例如，文獻(xiàn)［12］結(jié)合多種機(jī)器學(xué)習(xí)算法在航空圖像上的結(jié)果進(jìn)而提高了土地利用識別率。文獻(xiàn)［13］集成多個深度卷積神經(jīng)網(wǎng)絡(luò)在人臉識別領(lǐng)域取得了更好的性能。除了圖像領(lǐng)域外，在自然語言處理領(lǐng)域中，文獻(xiàn)［14］系統(tǒng)地比較了Transformer架構(gòu)的多個變體模型在自然問答數(shù)據(jù)集上的性能，將現(xiàn)有變體模型組合為問答系統(tǒng)構(gòu)建更準(zhǔn)確的堆疊集成模型，顯著地提高了問答任務(wù)的性能。文獻(xiàn)［15］通過集成對抗訓(xùn)練避免自然語言推理中的假設(shè)偏差。

雖然集成學(xué)習(xí)在其他領(lǐng)域應(yīng)用廣泛，但是在圖領(lǐng)域還沒有用集成學(xué)習(xí)的思想去提高圖上計(jì)算任務(wù)。同時，考慮到不同的圖神經(jīng)網(wǎng)絡(luò)具有不同的側(cè)重，單一模型的分類準(zhǔn)確率受限于模型自身的設(shè)計(jì)和圖數(shù)據(jù)豐富的拓?fù)浣Y(jié)構(gòu)信息。此外，考慮到圖數(shù)據(jù)上的節(jié)點(diǎn)分類任務(wù)，通常采用半監(jiān)督的訓(xùn)練方式，本文擬采用Stacking集成的思想，將多模型的預(yù)測結(jié)果進(jìn)行堆疊，并針對圖數(shù)據(jù)的特點(diǎn)在傳統(tǒng)模型預(yù)測結(jié)果集成的基礎(chǔ)上疊加了節(jié)點(diǎn)拓?fù)浣Y(jié)構(gòu)信息。同時考慮到圖上孤立節(jié)點(diǎn)或者群體的結(jié)構(gòu)信息不足，通過構(gòu)造特征圖來增強(qiáng)其特征信息，在集成學(xué)習(xí)過程中促進(jìn)圖上特征相似節(jié)點(diǎn)的信息聚合。

2 模型設(shè)計(jì)

圖神經(jīng)網(wǎng)絡(luò)誕生之后備受關(guān)注，吸引了大量的學(xué)者對其進(jìn)行優(yōu)化改進(jìn)。然而，現(xiàn)有的研究大多關(guān)注于對網(wǎng)絡(luò)結(jié)構(gòu)和鄰域聚合策略的調(diào)整，以獲取更精準(zhǔn)有效的節(jié)點(diǎn)嵌入表示，進(jìn)而提升節(jié)點(diǎn)級分類任務(wù)的有效性。不同模型從不同的視角進(jìn)行了優(yōu)化改進(jìn)，但是單一的模型難以全面地考慮到各個方面的影響因素，存在一定的局限性。因此，本文致力于面向圖數(shù)據(jù)設(shè)計(jì)一套通用的集成學(xué)習(xí)框架，融合不同模型在節(jié)點(diǎn)表示上的優(yōu)勢，進(jìn)而打破現(xiàn)有模型的瓶頸。圖數(shù)據(jù)在特征的維度上補(bǔ)充了結(jié)構(gòu)信息，因而本文所提出的EL-GNN集成框架中，除了對不同基分類器預(yù)測結(jié)果的集成外，還融合了結(jié)構(gòu)信息的聚合。進(jìn)一步，針對卷積過程導(dǎo)致的過平滑現(xiàn)象，EL-GNN通過特征圖重構(gòu)和集成，進(jìn)一步對模型進(jìn)行了優(yōu)化。EL-GNN整體流程如圖1所示，主要包括了基分類器設(shè)計(jì)、特征圖重構(gòu)和集成策略等步驟。首先根據(jù)各類圖節(jié)點(diǎn)分類模型的差異選取合適的基分類器；通過節(jié)點(diǎn)相似度計(jì)算和特征圖重構(gòu)來增強(qiáng)特征信息的融合；最后結(jié)合圖數(shù)據(jù)的特點(diǎn)，在傳統(tǒng)預(yù)測結(jié)果集成的基礎(chǔ)上融合了原始圖結(jié)構(gòu)和特征圖信息，提出了一套高效的集成策略。

2.1 基分類器設(shè)計(jì)

在模型集成的過程前，首先需要構(gòu)造一系列的基分類器，以獲取初步的分類標(biāo)簽，然后再根據(jù)一定的集成策略，將不同基分類器的預(yù)測結(jié)果進(jìn)行融合，進(jìn)而獲得最終的預(yù)測結(jié)果。在集成學(xué)習(xí)的模式下，將一系列的弱分類器融合后就可以獲得一個強(qiáng)分類器。現(xiàn)有面向節(jié)點(diǎn)級分類任務(wù)的圖模型其本質(zhì)為鄰域節(jié)點(diǎn)的特征聚合，在相似的聚合策略下模型傾向于給出相似的預(yù)測結(jié)果。因此，綜合考慮到不同模型在聚合策略和網(wǎng)絡(luò)結(jié)構(gòu)上的差異，本文選定了GCN、GAT、PPNP和SGC模型作為四種基礎(chǔ)分類器，其具體定義如下。

2.2 結(jié)構(gòu)和特征信息集成

不同于傳統(tǒng)面向結(jié)構(gòu)化數(shù)據(jù)的模型集成，圖數(shù)據(jù)除了特征維度外，還疊加了結(jié)構(gòu)信息，如圖2所示。因此本文擬根據(jù)圖數(shù)據(jù)的特點(diǎn)在集成過程中融合結(jié)構(gòu)信息的集成。此外，各類圖神經(jīng)網(wǎng)絡(luò)均面臨著過平滑的問題，即隨著卷積的進(jìn)行，節(jié)點(diǎn)表示會逐漸收斂到全圖表示。為解決上述問題，EL-GNN通過特征相度計(jì)算、特征圖重構(gòu)、特征信息集成等步驟對模型作進(jìn)一步優(yōu)化。結(jié)構(gòu)和特征信息集成如圖2所示。

2.2.2 特征信息集成

基于假設(shè)1這條先驗(yàn)信息，圖卷積神經(jīng)網(wǎng)絡(luò)的鄰域節(jié)點(diǎn)特征聚合過程補(bǔ)充節(jié)點(diǎn)之間的拓?fù)浣Y(jié)構(gòu)信息，提高了各圖任務(wù)的準(zhǔn)確度。但是，在真實(shí)的業(yè)務(wù)場景中，有些節(jié)點(diǎn)沒有鄰居，或者鄰居很少，對于這些孤立節(jié)點(diǎn)使用圖卷積網(wǎng)絡(luò)則會產(chǎn)生局部過平滑現(xiàn)象，從而導(dǎo)致節(jié)點(diǎn)分類性能下降，因此這些孤立節(jié)點(diǎn)的圖結(jié)構(gòu)是沒有太大的價值。

如圖2（左上）中的原始圖結(jié)構(gòu)，圖上節(jié)點(diǎn)x₁₀和x₁₁隸屬于不同的類別，在一個具有兩層圖卷積神經(jīng)網(wǎng)絡(luò)層的作用下，10和11號節(jié)點(diǎn)的最終表征可以用式（8）（9）表示。

從上面兩個公式可以看出來，這兩個節(jié)點(diǎn)經(jīng)過圖卷積變換后，節(jié)點(diǎn)的特征趨于一致，產(chǎn)生局部過平滑現(xiàn)象，從而無法區(qū)分其真實(shí)標(biāo)簽。直覺上，在這種場景下，弱化結(jié)構(gòu)信息并增強(qiáng)節(jié)點(diǎn)特征信息可以更好地提升模型的整體效果。因此針對這類有效結(jié)構(gòu)信息很少的孤立節(jié)點(diǎn)，本文依托于另一個先驗(yàn)假設(shè)2，即具有高特征相似度的節(jié)點(diǎn)通常具有相同的標(biāo)簽。

假設(shè)2：if sim（x_i，x_j）gt;threshold→Label（i）=Label（j）

利用節(jié)點(diǎn)的特征，重新構(gòu)造了一張?zhí)卣鲌D，如圖2（左下）所示，在重構(gòu)后的圖結(jié)構(gòu)中，10和11號節(jié)點(diǎn)的局部結(jié)構(gòu)發(fā)生改變，其鄰域節(jié)點(diǎn)的標(biāo)簽大多屬于同一類別。在先驗(yàn)假設(shè)2的前提下，10和11號節(jié)點(diǎn)被分類正確的置信度變大，從而提高了模型的性能。

特征圖的構(gòu)建皆在捕捉特征相似的節(jié)點(diǎn)之間的關(guān)系，增強(qiáng)孤立節(jié)點(diǎn)的特征信息，從而改善其分類效果。特征圖的構(gòu)建首先計(jì)算出兩兩節(jié)點(diǎn)之間的特征相似度，對于離散型數(shù)據(jù)采用Jaccard相似度，即兩個節(jié)點(diǎn)具有相同集合的數(shù)量，對于連續(xù)型數(shù)據(jù)使用閔氏距離計(jì)算相似度，計(jì)算方式如式（10）所示。

sim（x_i，x_j）=|x_i ∩x_j||x_i ∪x_j|x_i，x_j∈{0，1}

（∑|x_i-x_j|^p）^1/p其他（10）

計(jì)算完節(jié)點(diǎn)間的相似度之后，設(shè)定閾值d，遍歷圖上所有節(jié)點(diǎn)，對于每一個節(jié)點(diǎn)選取那些節(jié)點(diǎn)相似度大于閾值的節(jié)點(diǎn)對進(jìn)行連邊操作，進(jìn)而完成特征圖的重構(gòu)工作，如式（11）所示。其中A_f表示重構(gòu)后特征圖G_f（V，E_f）的鄰接矩陣。

A_f（i，j）=1sim（x_i，x_j）gt;d

0其他（11）

基于上述定義，將節(jié)點(diǎn)v_i在特征圖G_f（V，E_f）中的鄰居R_f（v_i）={v_k|（v_i，v_k）∈E_f}作為節(jié)點(diǎn)的特征信息進(jìn)行融合。

2.3 集成策略

針對圖數(shù)據(jù)的特點(diǎn)，EL-GNN在節(jié)點(diǎn)自身的基礎(chǔ)上疊加了結(jié)構(gòu)和特征信息，提出一套新的集成策略，如圖3所示。借助已標(biāo)注的訓(xùn)練數(shù)據(jù){（x_i，y_i）|y_i=known}，訓(xùn)練獲得M個基分類器，分類器k對數(shù)據(jù)對象x_i的預(yù)測結(jié)果即為P_ki。根據(jù)2.2節(jié)中結(jié)構(gòu)和特征信息的定義，節(jié)點(diǎn)v_i在原始圖結(jié)構(gòu)和特征圖結(jié)構(gòu)中的鄰居分別記為R_s（v_i）和R_f（v_i）。

R_s（v_i）={v_k|（v_i，v_k）∈E_s}={S_i1，S_i2，…，S_ij}

R_f（v_i）={v_k|（v_i，v_k）∈E_f}={F_i1，F(xiàn)_i2，…，F(xiàn)_ij}（12）

傳統(tǒng)的集成模型通常是根據(jù)一定的集成策略，針對每條數(shù)據(jù)對象x_i在M個不同基分類器的分類結(jié)果P_k（x_i）=P_ki（k≤M）進(jìn)行加權(quán)平均，可以表示為

z（i）=Ensemble（P₁（v_i），P₂（v_i），…，P_M（v_i））（13）

上述集成方式中，每個節(jié)點(diǎn)被當(dāng)做獨(dú)立存在的個體進(jìn)行研究，而圖數(shù)據(jù)中除了節(jié)點(diǎn)的特征外還包括了節(jié)點(diǎn)與節(jié)點(diǎn)之間的拓?fù)浣Y(jié)構(gòu)信息，基于2.2節(jié)中假設(shè)1、2：在圖上緊密相連或者具有高特征相似度的節(jié)點(diǎn)均有很大的概率具有相同的標(biāo)簽。因此，在設(shè)計(jì)集成策略時不僅僅對節(jié)點(diǎn)自身的分類結(jié)果進(jìn)行融合，還充分考慮了其在原始圖中的鄰居R_s（x）和特征圖中鄰居R_f（x）的概率分布，最終的預(yù)測結(jié)果可以表示為

其中：K（v_i）是節(jié)點(diǎn)集合，包含了節(jié)點(diǎn)本身和其原始圖結(jié)構(gòu)及特征圖的一階鄰居節(jié)點(diǎn)。節(jié)點(diǎn)v_i最終的預(yù)測結(jié)果是基分類器在K（v_i）集合上的集成結(jié)果，充分考慮了結(jié)構(gòu)和特征信息，進(jìn)而提升現(xiàn)有模型的分類準(zhǔn)確率。

集成的整個過程可以用圖2右下角的圖表示，節(jié)點(diǎn)1為中心節(jié)點(diǎn)，虛線左邊是重構(gòu)后特征圖中節(jié)點(diǎn)1的局部結(jié)構(gòu)，其鄰居可以表示為R_f（1）={3，11}，右邊是節(jié)點(diǎn)1的原始圖局部結(jié)構(gòu)，其鄰居可以表示為R_s（1）={2，3，4，5，7}。下方是上述節(jié)點(diǎn)在基分類器下的結(jié)果展示。原始圖結(jié)構(gòu)下方的矩形分別代表著特征和結(jié)構(gòu)角度的集成結(jié)果。如果簡單地使用傳統(tǒng)的集成策略，四個基分類器在節(jié)點(diǎn)1上分類結(jié)果均勻分布，從而影響性能，在這種情況下，通過融合結(jié)構(gòu)和特征信息顯著改善了分布情況。在本例中，雖然從結(jié)構(gòu)角度出發(fā)，各類別C0～C5的頻次分布為［2，4，4，3，3，4］，則節(jié)點(diǎn)1可能被分為C1，C2或C5，但是通過特征圖節(jié)點(diǎn)信息的聚合，并合并兩者的結(jié)果得到最終的類別概率分布為［2，8，5，4，5，4］，使得節(jié)點(diǎn)1被分為C1的概率顯著高于其他類別，因此最終選擇節(jié)點(diǎn)1的分類結(jié)果為C1。

其偽代碼如算法1所示。首先用sim_f存儲了節(jié)點(diǎn)之間的特征相似度，接下來遍歷每一個節(jié)點(diǎn)，選取節(jié)點(diǎn)相似度大于閾值的節(jié)點(diǎn)對并令A(yù)^f_ij=1。完成特征圖構(gòu)建后，temp是一個臨時變量，保存著多模型從結(jié)構(gòu)和特征角度在當(dāng)前節(jié)點(diǎn)的得分統(tǒng)計(jì)，內(nèi)層的第一個for循環(huán)從結(jié)構(gòu)信息角度聚合節(jié)點(diǎn)的預(yù)測結(jié)果，第二個for循環(huán)從特征信息角度聚合節(jié)點(diǎn)的預(yù)測結(jié)果，內(nèi)層循環(huán)結(jié)束后得到該節(jié)點(diǎn)的預(yù)測結(jié)果。最終返回多模型融合的預(yù)測結(jié)果predFinal。

算法1 集成模型算法

輸入：圖特征矩陣X，圖鄰接矩陣A^s，閾值d，節(jié)點(diǎn)數(shù)N。

輸出：節(jié)點(diǎn)預(yù)測結(jié)果。

sim_f=XX^T //特征相似度計(jì)算

A_f（i，j）=zeros（N，N） //特征圖重構(gòu)

for i in N

for j in N

if sim_f（i，j）gt;d

A_f（i，j）=1

else

A_f（i，j）=0

predFinal=［］

for i in N

temp=［］

for index，j in enumerate（A^s_i）

if j==1

for each in pred*

temp［each［index］］+=1

for index，j in enumerate（A^f_i）

if j==1

for each in pred*

temp［each［index］］+=1

predFinal［i］=argmax（temp）

return predFinal

3 實(shí)驗(yàn)分析

3.1 數(shù)據(jù)集描述

本文選取了三種常見的引文網(wǎng)絡(luò)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)來驗(yàn)證所提出模型的有效性，其具體信息如表1所示。在引文網(wǎng)絡(luò)中，節(jié)點(diǎn)表示一篇論文，節(jié)點(diǎn)之間的邊表示論文之間的引用關(guān)系。參照文獻(xiàn)［16］中的劃分方式，從每個類別的數(shù)據(jù)中選取20條數(shù)據(jù)進(jìn)行訓(xùn)練，并對1 000條數(shù)據(jù)進(jìn)行測試，數(shù)據(jù)集的標(biāo)注比例為0.3%～5%，因此模型面臨著缺乏有效標(biāo)注的挑戰(zhàn)。數(shù)據(jù)集的劃分方式包括了public和random兩種，在public劃分方式中，數(shù)據(jù)集的劃分方式為固定的，即每輪實(shí)驗(yàn)中所采用的訓(xùn)練節(jié)點(diǎn)和測試節(jié)點(diǎn)均為固定的，而random模式下則全部為隨機(jī)。

3.2 模型效果對比

首先，將本文將所提出的EL-GNN與各類主流的模型進(jìn)行了對比。實(shí)驗(yàn)結(jié)果如表2所示，標(biāo)注*部分表示采用PyG框架對四種基分類復(fù)現(xiàn)后的結(jié)果，其余實(shí)驗(yàn)結(jié)果摘自其他論文。為了消除深度學(xué)習(xí)訓(xùn)練過程中引入的隨機(jī)性，所有實(shí)驗(yàn)均重復(fù)了10次，進(jìn)而更客觀地對模型結(jié)果進(jìn)行描述。

從表2結(jié)果中可以看到，在Cora和Citeseer數(shù)據(jù)集中的固定劃分模式下，EL-GNN比目前最優(yōu)的模型準(zhǔn)確率分別提高了0.65%和0.16%。與單一的分類器相比，EL-GNN集成模型通過融合不同模型的優(yōu)勢，比單一分類器的效果要更優(yōu)。此外，在隨機(jī)劃分模式下，EL-GNN在Citeseer數(shù)據(jù)集上提升了1.34%，幅度顯著高于固定模式。相比于固定劃分模式，隨機(jī)劃分的模式可以更加客觀準(zhǔn)確地描述模型的性能，因此，EL-GNN采用集成學(xué)習(xí)的思想，有效打破了單一模型的瓶頸。

EL-GNN模型在集成策略中除了節(jié)點(diǎn)自身信息的集成外，額外疊加了結(jié)構(gòu)和特征信息。根據(jù)統(tǒng)計(jì)Citeseer、Core孤立節(jié)點(diǎn)部分所占比例分別為33.7%，8.5%。由于EL-GNN可以增強(qiáng)孤立節(jié)點(diǎn)的特征信息，所以其在Citeseer上提升更顯著，而因?yàn)镻ubMed數(shù)據(jù)集中沒有孤立部分，且SGC基分類器在 PubMed數(shù)據(jù)集上的效果顯著低于其他分類器，因而模型效果不佳。除此之外PubMed數(shù)據(jù)集只有三個類別，分別為糖尿病實(shí)驗(yàn)和Ⅰ/Ⅱ型糖尿病理論論文，這三類引文之間本身存在著非常緊密的聯(lián)系，因此在模型融合過程中，節(jié)點(diǎn)每個類別的概率分布較平均，以至于分錯概率增大，導(dǎo)致效果并不明顯。此外，EL-GNN實(shí)驗(yàn)結(jié)果的方差略低于其他模型，從側(cè)面說明模型的穩(wěn)定性更好。

3.3 集成組合效果分析

3.2節(jié)中EL-GNN模型將四種基分類器全部進(jìn)行了集成，進(jìn)一步，本文探索了其他集成組合的效果。表3列舉了六種2階組合EL-GNN-2和四種3階組合EL-GNN-3的實(shí)驗(yàn)結(jié)果。根據(jù)表3的結(jié)果可以看出，多模型的集成后，削弱了各模型的劣勢，并極大程度地發(fā)揮了各模型的優(yōu)勢，進(jìn)而集成后的效果均高于所使用的單一基分類器，并且模型的方差更小，實(shí)驗(yàn)結(jié)果更穩(wěn)定?？v使單一的SGC模型性能并不那么出色，采用EL-GNN框架與其他模型進(jìn)行集成后，依舊可以得到顯著的提升。

此外，隨著基分類器組合數(shù)量的提升，模型的效果呈現(xiàn)遞增的趨勢。在Cora數(shù)據(jù)中，六種EL-GNN-2模型的極差為1.54，而四種EL-GNN-3的極差降低為0.66，因而隨著分類器的增加，各類基分類器通過互補(bǔ)，EL-GNN集成模型的效果也逐漸趨于穩(wěn)定。

在考慮模型泛化能力時，通常情況下隨機(jī)劃分方式更能表示模型的泛化能力，而從實(shí)驗(yàn)效果中看，本文提出的集成策略在隨機(jī)劃分方式的數(shù)據(jù)集上效果提升更加明顯，說明了其集成策略的有效性。

綜合來看，在所有EL-GNN-2和EL-GNN-3組合中，GCN+PPNP和GCN+GAT+PPNP的效果更優(yōu)，且分類效果基本一致。因此，在EL-GNN框架下，僅需要選取很少合適的基分類器，就可以取得較高的準(zhǔn)確率，這進(jìn)一步降低了模型的計(jì)算需求。

3.4 案例學(xué)習(xí)

為了進(jìn)一步論證本文提出的EL-GNN模型所設(shè)計(jì)的結(jié)構(gòu)和特征信息集成的有效性，從Cora數(shù)據(jù)集中選取了部分案例節(jié)點(diǎn)進(jìn)行深入探索，如表4所示。其中第1 844號節(jié)點(diǎn)，四種基分類器分類結(jié)果都是C0，但其真實(shí)標(biāo)簽卻為C3。通過本文提出的特征圖重構(gòu)策略，該節(jié)點(diǎn)在多個集成模型下的結(jié)果如表4所示。通過選擇該節(jié)點(diǎn)的類別分布的最大值作為預(yù)測的結(jié)果，可以發(fā)現(xiàn)該節(jié)點(diǎn)預(yù)測結(jié)果在集成學(xué)習(xí)的策略下得到修正。第1918號節(jié)點(diǎn)，四個基分類器的分類結(jié)果分別是C0、C6、C0和C1，而真實(shí)的標(biāo)簽為C6。通過本文提出的集成學(xué)習(xí)策略，可以得到該節(jié)點(diǎn)各模型下的類別分布，進(jìn)而得到預(yù)測結(jié)果，從分布中可以看出，雖然只有一個基分類器的結(jié)果是正確的，但在本文提出的集成學(xué)習(xí)策略下，集成模型可以學(xué)習(xí)到模型的優(yōu)點(diǎn)，得到正確的預(yù)測結(jié)果，從而提高模型的準(zhǔn)確率。

3.5 集成與單一模型對比

進(jìn)一步，為了更直觀地說明本文提出的集成策略的有效性，本節(jié)選取了EL-GNN-2和EL-GNN-3中兩組最優(yōu)的組合策略模型，皆在分析集成模型和其對應(yīng)基分類器的性能，并用折線圖的方式進(jìn)行可視化展示，如圖4所示。其中，第一行和第二行分別展示的是GCN+APPNP和GCN+GAT+APPNP模型在Cora和Citeseer數(shù)據(jù)集上的結(jié)果，紅色折線代表著EL-GNN模型的效果（見電子版）。從圖中可以看出，在10次實(shí)驗(yàn)過程中，EL-GNN的效果始終要比任何一個基分類器效果高，且其折線的波動范圍比基分類器的波動范圍小，表明了EL-GNN模型更加穩(wěn)定。

3.6 不同集成策略對比

為了進(jìn)一步驗(yàn)證本文提出的集成策略的有效性，在3.3節(jié)實(shí)驗(yàn)的基礎(chǔ)上，本節(jié)從EL-GNN-2和EL-GNN-3各選取了兩個組合模型在集成的過程中僅考慮結(jié)構(gòu)或者特征信息。實(shí)驗(yàn)結(jié)果如圖5、6所示。圖中每組柱狀圖從左到右分別表示考慮結(jié)構(gòu)+特征，僅結(jié)構(gòu)和僅特征信息的結(jié)果。從圖中可以看出，結(jié)構(gòu)和特征融合的集成策略比單獨(dú)考慮結(jié)構(gòu)或者特征的效果要好，這也說明了本文提出的集成策略可以有效地融合特征和結(jié)構(gòu)信息，從而提高模型的性能。同時，從圖中可以看出，僅用特征的集成策略的效果比僅用結(jié)構(gòu)的效果要好，這是因?yàn)橥ㄟ^本文提出的特征圖重構(gòu)策略可以有效緩解孤立節(jié)點(diǎn)的過平滑問題。

3.7 特征相似度閾值對模型集成的影響

在本文提出的集成策略中，特征圖的重構(gòu)起著重要作用。為了得到一個良好的特征圖用于后續(xù)的任務(wù)中。本節(jié)在Cora和Citeseer數(shù)據(jù)集上探究了特征相似度閾值對模型集成的影響。圖7和8是不同的集成模型在Cora和Citeseer數(shù)據(jù)集上根據(jù)不同的特征相似度閾值得到的曲線圖。關(guān)于特征相似度閾值的范圍設(shè)定，由于這兩個數(shù)據(jù)集是離散的詞袋模型表示的節(jié)點(diǎn)特征，所以采用Jaccard相似度計(jì)算，并認(rèn)為相似度大于3兩個節(jié)點(diǎn)特征才相似。從圖中可以看出，對于Cora數(shù)據(jù)集來說，模型的性能隨著閾值的變化有著相似的變化趨勢，曲線呈現(xiàn)出先增后減，再趨于平穩(wěn)，當(dāng)閾值設(shè)定為5時構(gòu)建的特征圖是最優(yōu)的。對于Citeseer數(shù)據(jù)集來說，由于特征維度比Cora多，所以當(dāng)閾值為8時，所有模型均達(dá)到最佳的性能。

4 結(jié)束語

本文提出了一種基于圖模型的集成學(xué)習(xí)策略。與傳統(tǒng)的模型集成策略不同，本文提出的集成策略充分考慮到了圖數(shù)據(jù)既包含特征信息又有豐富的結(jié)構(gòu)信息，以及在相鄰節(jié)點(diǎn)和特征相似節(jié)點(diǎn)具有相同標(biāo)簽的先驗(yàn)假設(shè)基礎(chǔ)上，充分融合了圖的結(jié)構(gòu)和特征信息。有針對地對過平滑現(xiàn)象導(dǎo)致容易分錯的孤立節(jié)點(diǎn)或者群體采取特征增強(qiáng)的策略，從而緩解了過平滑現(xiàn)象，提高了模型的性能。在引文網(wǎng)絡(luò)上的實(shí)驗(yàn)證明了本文策略的有效性。通過本文選取的四種基分類器的組合實(shí)驗(yàn)可以看出，所有的組合模型性能相較于其組合中的任何一個基分類器得到提升。但是，當(dāng)基分類器預(yù)測準(zhǔn)確率差距較大時，模型提升并不顯著。此外，當(dāng)數(shù)據(jù)集中孤立節(jié)點(diǎn)比例較低時，特征相似度的集成提升幅度非常有限。

在接下來的工作中，本文計(jì)劃針對不同的模型對結(jié)構(gòu)和特征的側(cè)重，研究在集成過程中的模型結(jié)構(gòu)和特征信息的權(quán)重分配問題和如何充分挖掘數(shù)據(jù)集的結(jié)構(gòu)和特征信息，為具體的數(shù)據(jù)集選擇合適的基分類器提出選擇標(biāo)準(zhǔn)，有的放矢地選擇基分類器，提高集成模型的準(zhǔn)確率，以及通過特征相似圖改善孤立節(jié)點(diǎn)預(yù)測結(jié)果，深入探索節(jié)點(diǎn)位置信息對預(yù)測結(jié)果的影響，并針對不同的節(jié)點(diǎn)位置信息設(shè)計(jì)不同的集成策略，進(jìn)一步探索集成學(xué)習(xí)在圖卷積神經(jīng)網(wǎng)絡(luò)方面的作用。

參考文獻(xiàn)：

［1］徐冰冰，岑科延，黃俊杰，等.圖卷積神經(jīng)網(wǎng)絡(luò)綜述［J］.計(jì)算機(jī)學(xué)報(bào)，2020，43（5）：755-780.（Xu Bingbing，Cen Keting，Huang Junjie，et al.A survey on graph convolutional neural network［J］.Chinese Journal of Computers，2020，43（5）：755-780.）

［2］Kipf T N，Welling M.Semi-supervised classification with graph convolutional networks［C］//Proc of the 5th International Conference on Learning Representations.2017.

［3］Ng A Y，Jordan M I，Weiss Y.On spectral clustering：analysis and an algorithm［C］//Proc of the 14th International Conference on Neural Information Processing Systems：Natural and Synthetic.Cambridge，MA：MIT Press，2001：849-856.

［4］Mercado P，Tudisco F，Hein M，et al.Spectral clustering of signed graphs via matrix power means［C］//Proc of the 36th International Conference on Machine Learning.2019：4526-4536.

［5］Habashi S，Ghanem N M，Ismail M A，et al.Enhanced community detection in social networks using active spectral clustering［C］//Proc of the 31st ACM Symposium on Applied Computing.New York：ACM Press，2016：1178-1181.

［6］Bruna J，Zaremba W，Szlam A，et al.Spectral networks and locally connected networks on graphs［C］//Proc of the 2nd International Conference on Learning Representations.2014.

［7］Wu F，Zhang Tianyi，Souza A H，et al.Simplifying graph convolutional networks［C］//Proc of the 36th International Conference on Machine Learning.2019：6861-6871.

［8］Klicpera J，Bojchevski A，Günnemann S.Predict then propagate：graph neural networks meet personalized PageRank［C］//Proc of the 7th International Conference on Learning Representations.2019.

［9］Velicˇkovic＇ P，Cucurull G，Casanova A，et al.Graph attention networks［C］//Proc of the 5th International Conference on Learning Representations.2017.

［10］Hamilton W，Ying Z，Leskovec J.Inductive representation learning on large graphs［C］//Advances in Neural Information Processing Systems.2017：1024-1034.

［11］Xu Keyulu，Li Chengtao，Tian Yonglong，et al.Representation learning on graphs with jumping knowledge networks［C］//Proc of the 35th International Conference on Machine Learning.2018：5449-5458.

［12］Thepade S D，Chaudhari P R.Land usage identification with fusion of Thepade SBTC and Sauvola thresholding features of aerial images using ensemble of machine learning algorithms［J］.Applied Artificial Intelligence，2021，35（2）：154-170.

［13］Choi J Y，Lee B.Ensemble of deep convolutional neural networks with Gabor face representations for face recognition［J］.IEEE Trans on Image Processing，2020，29：3270-3281.

［14］Pranesh R R，Shekhar A，Pallavi S.QuesBELM：a BERT based ensemble language model for natural questions［C］//Proc of the 5th International Conference on Computing，Communication and Security.Piscataway，NJ：IEEE Press，2020：1-5.

［15］Stacey J，Minervini P，Dubossarsky H，et al.Avoiding the hypothesis-only bias in natural language inference via ensemble adversarial trai-ning［C］//Proc of Conference on Empirical Methods in Natural Language Processing.2020：8281-8291.

［16］Yang Zhilin，Cohen W，Salakhudinov R.Revisiting semi-supervised learning with graph embeddings［C］//Proc of the 33rd International Conference on Machine Learning.2016：40-48.

［17］Zhu Xiaojin，Ghahramani Z，Lafferty J.Semi-supervised learning using Gaussian fields and harmonic functions［C］//Proc of the 20th International Conference on Machine Learning.2003：912-919.

［18］Yu Shaowei，Yang Xuebing，Zhang Wensheng.PKGCN：prior know-ledge enhanced graph convolutional network for graph-based semi-supervised learning［J］.International Journal of Machine Learning and Cybernetics，2019，10（11）：3115-3127.

［19］Zhan Kun，Niu Chaoxi.Mutual teaching for graph convolutional networks［J］.Future Generation Computer Systems，2021，115（2）：837-843.

［20］Lei Fangyuan，Liu Xun，Dai Qingyun，et al.Hybrid low-order and higher-order graph convolutional networks［EB/OL］.（2019-08-02）.https：//arxiv.org/abs/1908.00673.