摘要：圖卷積網(wǎng)絡(luò)由于能夠直接處理圖結(jié)構(gòu)數(shù)據(jù)的優(yōu)點(diǎn)而受到廣泛研究。當(dāng)前的多數(shù)圖卷積網(wǎng)絡(luò)是基于圖信號的平滑性（低頻信息），且不能根據(jù)各節(jié)點(diǎn)適合的接受域生成對應(yīng)的節(jié)點(diǎn)嵌入，隨著網(wǎng)絡(luò)層數(shù)的增加，易出現(xiàn)圖卷積網(wǎng)絡(luò)特有的過平滑問題而導(dǎo)致性能下降。為此，提出了基于自適應(yīng)頻率和動(dòng)態(tài)節(jié)點(diǎn)嵌入的圖卷積網(wǎng)絡(luò)模型（adaptive frequency and dynamic node embedding based graph convolutional network，F(xiàn)DGCN）。FDGCN模型能夠自適應(yīng)聚合不同頻率的信息，同時(shí)利用每層網(wǎng)絡(luò)的輸出，平衡每個(gè)節(jié)點(diǎn)來自全局和局部領(lǐng)域的信息，動(dòng)態(tài)地調(diào)節(jié)節(jié)點(diǎn)嵌入。通過在4個(gè)公共數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，對比了6個(gè)現(xiàn)有模型，證明了FDGCN模型的有效性。

關(guān)鍵詞：圖神經(jīng)網(wǎng)絡(luò)；圖卷積神經(jīng)網(wǎng)絡(luò)；過平滑；節(jié)點(diǎn)分類；頻率自適應(yīng)

中圖分類號：TP18

文獻(xiàn)標(biāo)志碼：A 文章編號：1672-4348（2023）01-0078-06

An adaptive frequency and dynamic node embedding based graph convolutional network

CHEN Linkai¹， MAO Guojun^{1， 2}

（1. School of Computer Science and Mathematics， Fujian University of Technology， Fuzhou 350118， China;

2. Fujian Provincial Key Laboratory of Big Data Mining and Applications， Fuzhou 350118， China）

Abstract： Graph convolutional networks have been extensively studied due to their advantages of being able to directly handle graph-structured data. Most of the current graph convolutional networks are based on the smoothness of the graph signal （low frequency information） and cannot generate corresponding node embedding according to the suitable acceptance domain of each node. However， as the number of network layers increases， the problem of over-smoothing unique to graph convolutional networks is prone to occur， resulting in performance degradation. Therefore， an adaptive frequency and dynamic node embedding based graph convolutional network （FDGCN） was proposed. FDGCN model is capable of adaptively aggregating information at different frequencies; meanwhile， it dynamically adjusts node embedding by using the output of each network layer to balance the information from the global and local domains of each node. Experiments were conducted on four public datasets comparing six existing models to demonstrate the effectiveness of the FDGCN model.

Keywords： graph neural networks; graph convolutional neural networks; over-smoothing; node classification; frequency adaptation

收稿日期：2022-10-15

基金項(xiàng)目：國家重點(diǎn)研發(fā)項(xiàng)目（2019YFD0900805）

第一作者簡介：陳林凱（1996—），男，廣東揭陽人，碩士研究生，研究方向：圖神經(jīng)網(wǎng)絡(luò)。

近年來，學(xué)術(shù)界對圖卷積網(wǎng)絡(luò)的研究取得了一定的進(jìn)展，但是在實(shí)踐中發(fā)現(xiàn)，堆疊多層的圖卷積網(wǎng)絡(luò)的性能比少層的性能明顯下降，文獻(xiàn)[1]表明重復(fù)堆疊許多層可能導(dǎo)致無法區(qū)分來自不同類別的節(jié)點(diǎn)的表示，從而使模型出現(xiàn)過平滑現(xiàn)象。圖卷積網(wǎng)絡(luò)（graph convolutional network， GCN）的過平滑問題使得目前較為成功的GCN基本都是淺層結(jié)構(gòu)，即在2～4層就幾乎收斂到某個(gè)固定狀態(tài)。但是，僅使用2～4層卷積層的圖卷積網(wǎng)絡(luò)模型很難完成大型網(wǎng)絡(luò)的處理任務(wù)。因此，如何緩解圖卷積網(wǎng)絡(luò)的過平滑問題、改善圖卷積網(wǎng)絡(luò)學(xué)習(xí)能力受到廣泛關(guān)注。

2020年，Chen等^[2]將殘差卷積、恒等映射融入GCN，提出了基于初始?xì)埐詈秃愕扔成涞膱D卷積網(wǎng)絡(luò) （graph convolutional network via initial residual and identity mapping， GCNII）模型。2021年，Bo等^[3]的實(shí)驗(yàn)結(jié)果表明低頻信息和高頻信息都有助于學(xué)習(xí)節(jié)點(diǎn)的表示。Xu等^[4]提出了跳越知識網(wǎng)絡(luò) （jumping knowledge networks， JKNet）模型，證明了跳躍鏈接對于提高圖卷積神經(jīng)網(wǎng)絡(luò)性能的作用。DropEdge^[5]在每個(gè)訓(xùn)練階段之前隨機(jī)刪除一定比例的邊，以緩解過平滑問題。

文獻(xiàn)[6]表明，信號的平滑性即低頻信息，是GCN成功的關(guān)鍵。多數(shù)圖神經(jīng)網(wǎng)絡(luò)模型在學(xué)習(xí)中保留節(jié)點(diǎn)特征的共性（低頻信息），這種機(jī)制適用于協(xié)調(diào)性網(wǎng)絡(luò)，即同類別節(jié)點(diǎn)傾向于相互連接的圖數(shù)據(jù)。然而，僅利用低頻信息不可避免會忽略節(jié)點(diǎn)特征信息之間的差異。此外，每個(gè)節(jié)點(diǎn)適合的接受域，即節(jié)點(diǎn)能聚合到其他節(jié)點(diǎn)信息的范圍，是不一樣的，不合適的節(jié)點(diǎn)接受域?qū)?dǎo)致模型性能下降^[7]。

為了緩解圖學(xué)習(xí)中產(chǎn)生的過平滑問題，本研究引入自適應(yīng)頻率和動(dòng)態(tài)節(jié)點(diǎn)嵌入機(jī)制，使得模型可以合理利用圖信號的低頻信息和高頻信息；同時(shí)根據(jù)每個(gè)節(jié)點(diǎn)適合的接受域，動(dòng)態(tài)地平衡每個(gè)節(jié)點(diǎn)來自全局和局部領(lǐng)域的信息，生成更具區(qū)別性的節(jié)點(diǎn)嵌入。

1 FDGCN模型設(shè)計(jì)

1.1 自適應(yīng)頻率聚合函數(shù)

圖卷積網(wǎng)絡(luò)模型可以看成特殊形式的濾波器，根據(jù)聚合函數(shù)的不同，可以分為低通濾波器、高通濾波器等。若給定輸入節(jié)點(diǎn)特征矩陣Z={z₁，z₂，…，z_N}∈R^N×P，N為節(jié)點(diǎn)個(gè)數(shù)，P為節(jié)點(diǎn)特征的維度，則特征矩陣經(jīng)過FDGCN的聚合函數(shù)的節(jié)點(diǎn)嵌入更新如公式（1）：

其中，z^k_i表示第k層節(jié)點(diǎn)i的節(jié)點(diǎn)嵌入，V_i為節(jié)點(diǎn)i的一階鄰居節(jié)點(diǎn)集，d_i為節(jié)點(diǎn)i的度，a^L_ij和a^H_ij分別表示節(jié)點(diǎn)i聚合節(jié)點(diǎn)j的低頻和高頻信息的比例系數(shù)，μ∈[0，1]是一個(gè)超參數(shù)。a^G_ij數(shù)學(xué)表達(dá)式如公式（2）：

式中，g是可學(xué)習(xí)的映射向量，[·||·]表示拼接操作，tanh（·）是激活函數(shù)。a^G_ij∈[-1，1]是一個(gè)門控系數(shù)，用于控制低頻信息和高頻信息的比例。F_H代表高通濾波器，用于提取高頻信息，F(xiàn)_L低通濾波器用于提取低頻信號，如公式（3）、公式（4）所示：

A、D和I分別為鄰接矩陣、度矩陣及單位矩陣，拉普拉斯矩陣L=D-A。此外，z⁰_i=MLP（z_i）∈R^1×P，MLP（multilayer perceptron）為多層感知機(jī)，即將原始特征先進(jìn)行線性變換，傳播過程中不再進(jìn)行特征變換。

1.2 動(dòng)態(tài)節(jié)點(diǎn)嵌入調(diào)節(jié)機(jī)制

節(jié)點(diǎn)的接受域隨著網(wǎng)絡(luò)層數(shù)的增加而增大，但每個(gè)節(jié)點(diǎn)的最佳接受域都不一樣。為此，本研究在進(jìn)行特征傳播后引入動(dòng)態(tài)節(jié)點(diǎn)嵌入機(jī)制。即利用一個(gè)可學(xué)習(xí)的映射向量來生成比例系數(shù)，該映射向量通過Xavier初始化方法進(jìn)行初始化操作并由所有節(jié)點(diǎn)共享。其中隨著模型訓(xùn)練的迭代更新為公式（5），l=[ylog?+（1-y）log（1-?）]表示含有可學(xué)習(xí)映射向量t（t∈R^P×1）的交叉熵?fù)p失函數(shù)，lr表示學(xué)習(xí)率。

1.3 FDGCN模型

圖1為FDGCN的結(jié)構(gòu)示意圖。輸入鄰接矩陣A、節(jié)點(diǎn)特征矩陣Z。首先將節(jié)點(diǎn)特征矩陣Z經(jīng)過多層感知機(jī)進(jìn)行特征變換，壓縮特征維度生成原始節(jié)點(diǎn)嵌入Z⁰再根據(jù)輸入的鄰接矩陣A得到每個(gè)節(jié)點(diǎn)的鄰居集合進(jìn)行特征傳播，傳播過程中每次聚合保留一定比例的原始節(jié)點(diǎn)嵌入μZ⁰，生成K層節(jié)點(diǎn)嵌入Z^k（k=1，…，K）。然后將K+1層的節(jié)點(diǎn)嵌入（包含原始節(jié)點(diǎn)嵌入Z⁰）與映射向量t運(yùn)算生成系數(shù)矩陣S=（S₀，…，S_K）。根據(jù)系數(shù)矩陣S與K+1層節(jié)點(diǎn)嵌入的運(yùn)算，生成每個(gè)節(jié)點(diǎn)最佳的節(jié)點(diǎn)嵌入。最后再經(jīng)過多層感知機(jī)和softmax激活函數(shù)輸出Z_out，根據(jù)輸出Z_out進(jìn)行節(jié)點(diǎn)分類等下游任務(wù)。

算法1給出了利用FDGCN網(wǎng)絡(luò)對圖的節(jié)點(diǎn)進(jìn)行概率分類的具體流程。

其中，stack（·）、squeeze（·）操作為數(shù)據(jù)維度進(jìn)行重新排列，以便在計(jì)算過程中進(jìn)行維度匹配；σ（·）為激活函數(shù)；t∈R^P×1為可訓(xùn)練的映射向量，通過映射向量t與不同的網(wǎng)絡(luò)層的節(jié)點(diǎn)特征嵌入Z^k（k=0，…，K）進(jìn)行運(yùn)算生成系數(shù)矩陣S，系數(shù)矩陣S用于調(diào)節(jié)來自不同網(wǎng)絡(luò)層的每個(gè)節(jié)點(diǎn)嵌入表示的比例，動(dòng)態(tài)地衡量每個(gè)節(jié)點(diǎn)在不同接受域范圍下生成的節(jié)點(diǎn)特征嵌入的重要性。

2 實(shí)驗(yàn)分析

2.1 實(shí)驗(yàn)環(huán)境配置

實(shí)驗(yàn)在NVIDIA RTX 3060Ti服務(wù)器上進(jìn)行，Python版本為3.7，PyTorch版本為1.7，CUDA版本為11.0。

2.2 數(shù)據(jù)集

本研究使用3個(gè)標(biāo)準(zhǔn)的引文網(wǎng)絡(luò)數(shù)據(jù)集Cora、Citeseer和Pubmed^[8]以及1個(gè)來自維基百科的網(wǎng)絡(luò)數(shù)據(jù)集Squirrel^[9]來進(jìn)行半監(jiān)督節(jié)點(diǎn)分類，其中Cora、Citeseer和Pubmed為協(xié)調(diào)性數(shù)據(jù)集，而Squirrel為非協(xié)調(diào)性數(shù)據(jù)集。實(shí)驗(yàn)對所有數(shù)據(jù)集均按照無向圖處理。

引文網(wǎng)絡(luò)數(shù)據(jù)集Cora、Citeseer和Pubmed中的節(jié)點(diǎn)對應(yīng)于文檔，邊代表了兩篇論文之間的引文關(guān)系（無向的），節(jié)點(diǎn)特征是論文的詞袋向量，標(biāo)簽（類別）是論文的領(lǐng)域。在每個(gè)網(wǎng)絡(luò)中，使用每個(gè)類別20個(gè)標(biāo)記節(jié)點(diǎn)進(jìn)行訓(xùn)練，500個(gè)節(jié)點(diǎn)用于驗(yàn)證，1 000個(gè)節(jié)點(diǎn)用于測試。

維基百科的網(wǎng)絡(luò)數(shù)據(jù)集Squirrel的節(jié)點(diǎn)代表網(wǎng)頁，邊表示兩個(gè)頁面之間的超鏈接，節(jié)點(diǎn)特征是頁面中的一些關(guān)鍵信息名詞，標(biāo)簽對應(yīng)于頁面的流量級別。在數(shù)據(jù)集Squirrel中，使用20%作為驗(yàn)證集，20%為測試集，訓(xùn)練集比例為60%。

表1包含Cora、Citeseer、Pubmed和Squirrel數(shù)據(jù)集的協(xié)調(diào)性、節(jié)點(diǎn)數(shù)、邊數(shù)等相關(guān)信息，協(xié)調(diào)性的數(shù)值越高，數(shù)據(jù)集同類節(jié)點(diǎn)趨向相連的特性越顯著。在本研究的實(shí)驗(yàn)中，Cora、Citeseer和Pubmed數(shù)據(jù)集學(xué)習(xí)率lr設(shè)為0.01，剪輸出系數(shù)設(shè)為dropout 0.6，原始特征比例μ分別設(shè)為0.2、0.2、0.3，權(quán)重衰減β設(shè)為1e-3；對于Squirrel數(shù)據(jù)集學(xué)習(xí)率lr設(shè)為0.01，剪輸出系數(shù)dropout設(shè)為0.5，原始特征比例μ設(shè)為0.3，權(quán)重衰減β設(shè)為5e-5。

2.3 模型對比實(shí)驗(yàn)

為驗(yàn)證模型的有效性，將FDGCN與目前現(xiàn)有的模型作對比，進(jìn)行節(jié)點(diǎn)分類精度實(shí)驗(yàn)。對比模型包括基于譜域的圖神經(jīng)網(wǎng)絡(luò)模型，如SGC（simplifying graph convolutional networks）^[10]、切比雪夫網(wǎng)絡(luò)（ChebNet）^[11]，基于空域的圖神經(jīng)網(wǎng)絡(luò)模型，如圖同構(gòu)網(wǎng)絡(luò)（graph isomorphism network， GIN） ^[12]、圖注意力網(wǎng)絡(luò) （graph attention network， GAT）^[13]、APPNP（approximate personalized propagation of neural predictions）^[14]、GraphSAGE（sample and aggregate）^[15]。表2為不同模型在不同數(shù)據(jù)集上的對比實(shí)驗(yàn)結(jié)果（實(shí)驗(yàn)結(jié)果采用30次平均值）。

在Cora、Citeseer、Pubmed和Squirrel數(shù)據(jù)集上，F(xiàn)DGCN模型的實(shí)驗(yàn)精度分別達(dá)到84.7%、72.7%、79.4%、65.3%。實(shí)驗(yàn)結(jié)果表明，與對比的模型相比，F(xiàn)DGCN模型在協(xié)調(diào)性網(wǎng)絡(luò)和非協(xié)調(diào)性網(wǎng)絡(luò)上都具有更高的性能，獲得的精度更高，分類效果更好。而且，相對于在協(xié)調(diào)性網(wǎng)絡(luò)上的提升，F(xiàn)DGCN模型在非協(xié)調(diào)性網(wǎng)絡(luò)上獲得更為顯著的效果。

訓(xùn)練時(shí)長也是評價(jià)模型優(yōu)劣的重要指標(biāo)之一。在相同的實(shí)驗(yàn)參數(shù)下，每個(gè)對比模型訓(xùn)練300個(gè)epoch，圖2展示了在4個(gè)數(shù)據(jù)集上每個(gè)對比模型的平均訓(xùn)練時(shí)長。從圖2可以看出：在不同數(shù)據(jù)集上SGC和GraphSAGE模型的訓(xùn)練效率優(yōu)于其他模型；對比GAT、APPNP模型，F(xiàn)DGCN模型的訓(xùn)練時(shí)長更少；在不同數(shù)據(jù)集上，F(xiàn)DGCN與ChebNet、GIN模型的訓(xùn)練效率各有高低。

SGC是通過移除GCN層之間的非線性，達(dá)到減少參數(shù)量簡化GCN的目的；而GraphSAGE是對鄰居節(jié)點(diǎn)進(jìn)行采樣，再聚合采樣鄰居的節(jié)點(diǎn)信息更新節(jié)點(diǎn)表示。SGC和GraphSAGE獲得較高訓(xùn)練效率，但模型精度會有所不足。與其他模型相比，F(xiàn)DGCN在訓(xùn)練效率相差不大的情況下，取得了較大的精度提升。

2.4 自適應(yīng)頻率和動(dòng)態(tài)節(jié)點(diǎn)嵌入的有效性分析

為驗(yàn)證技術(shù)融合的有效性，根據(jù)本研究使用的自適應(yīng)頻率 （簡稱F）、動(dòng)態(tài)節(jié)點(diǎn)嵌入（簡稱D）技術(shù)，在不同的網(wǎng)絡(luò)層數(shù)k下，對使用不同技術(shù)的FDGCN模型在Cora、Citeseer、Pubmed及Squirrel數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，其節(jié)點(diǎn)分類精度結(jié)果如表3～表6所示，實(shí)驗(yàn)結(jié)果采用30次平均值。

從表3～表6可以看出，各個(gè)模型在隨著網(wǎng)絡(luò)層數(shù)增加時(shí)，不會出現(xiàn)性能急劇下降的情況；僅使用自適應(yīng)頻率技術(shù)的模型在Cora、Citeseer和Pubmed數(shù)據(jù)集上性能較弱；僅使用動(dòng)態(tài)節(jié)點(diǎn)嵌入技術(shù)的模型在Squirrel數(shù)據(jù)集上性能較弱；融合了自適應(yīng)頻率和動(dòng)態(tài)節(jié)點(diǎn)嵌入技術(shù)的模型在4個(gè)數(shù)據(jù)集上均獲得最高的精度。

為了更直觀地展示使用自適應(yīng)頻率的有效性，驗(yàn)證FDGCN是否可以學(xué)習(xí)不同的系數(shù)來適應(yīng)不同的網(wǎng)絡(luò)，將FDGCN最后一層中的系數(shù)a^G_ij提取并進(jìn)行可視化操作。圖3展示了在不同數(shù)據(jù)集上系數(shù)a^G_ij的變化，在3個(gè)引文網(wǎng)絡(luò)數(shù)據(jù)集Cora、Citeseer和Pubmed上，系數(shù)a^G_ij的數(shù)值集中在0.8～1.0之間。而在維基百科的網(wǎng)絡(luò)數(shù)據(jù)集Squirrel上，系數(shù)a^G_ij的數(shù)值多為負(fù)值。即在協(xié)調(diào)性數(shù)據(jù)集Cora、Citeseer和Pubmed上，低頻信息起到主要作用，模型著重學(xué)習(xí)節(jié)點(diǎn)之間的共性。而在非協(xié)調(diào)性數(shù)據(jù)集Squirrel上，高頻信息起到主要作用，模型著重學(xué)習(xí)節(jié)點(diǎn)之間的差異。

3 結(jié)語

隨著對圖學(xué)習(xí)的研究不斷深入，過平滑問題在一定程度上影響著圖神經(jīng)網(wǎng)絡(luò)的發(fā)展。本研究提出的網(wǎng)絡(luò)模型FDGCN可以自適應(yīng)地聚合不同頻率信息，再利用動(dòng)態(tài)節(jié)點(diǎn)嵌入機(jī)制平衡來自每個(gè)節(jié)點(diǎn)的局部和全局鄰域的信息，生成更具鑒別性的節(jié)點(diǎn)嵌入。實(shí)驗(yàn)結(jié)果明，F(xiàn)DGCN模型在Cora、Citeseer、Pubmed及Squirrel數(shù)據(jù)集上的精度獲得不同程度提升。FDGCN模型為緩解圖卷積神經(jīng)網(wǎng)絡(luò)中的過平滑問題提供了一個(gè)有效途徑。

參考文獻(xiàn)：

[1]LI Q M，HAN Z C，WU X M. Deeper insights into graph convolutional networks for semi-supervised learning[J]. Proceedings of the AAAI Conference on Artificial Intelligence，2018，32（1）：3538-3545.

[2]CHEN M，WEI Z W，HUANG Z F，et al. Simple and deep graph convolutional networks[EB/OL]. 2020：arXiv：2007.02133[cs.LG]. https：∥arxiv.org/abs/2007.02133.

[3]BO D Y，WANG X，SHI C，et al. Beyond low-frequency information in graph convolutional networks[J]. Proceedings of the AAAI Conference on Artificial Intelligence，2021，35（5）：3950-3957.

[4]XU K， LI C， TIAN Y， et al. Representation learning on graphs with jumping knowledge networks[C]∥ International Conference on Machine Learning. New York： ACM， 2018： 5453-5462.

[5]RONG Y， HUANG W， XU T， et al. DropEdge： towards deep graph convolutional networks on node classification[C]∥International Conference on Learning Representations. Addis Ababa， Ethiopia： OpenReview.net， 2019.

[6]XU B B，SHEN H W，CAO Q，et al. Graph convolutional networks using heat kernel for semi-supervised learning[C]∥Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence. California：International Joint Conferences on Artificial Intelligence Organization，2019：1928-1934.

[7]LIU M，GAO H Y，JI S W. Towards deeper graph neural networks[C]∥Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. New York：ACM，2020：338-348.

[8]SEN P，NAMATA G，BILGIC M，et al. Collective classification in network data[J]. AI Magazine，2008，29（3）：93.

[9]TANG J，SUN J M，WANG C，et al. Social influence analysis in large-scale networks[C]∥Proceedings of the 15th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining-KDD’09. New York：ACM Press，2009：807-816.

[10]WU F， SOUZA A， ZHANG T， et al. Simplifying graph convolutional networks[C]∥International Conference on Machine Learning. California， 2019： 6861-6871.

[11]DEFFERRARD M，BRESSON X，VANDERGHEYNST P. Convolutional neural networks on graphs with fast localized spectral filtering[C]∥NIPS’16：Proceedings of the 30th International Conference on Neural Information Processing Systems， 2016：3844-3852.

[12]XU K， HU W， LESKOVEC J， et al. How powerful are graph neural networks？[C]∥International Conference on Learning Representations. New Orleans， 2019.

[13]VELI?KOVI? P， CUCURULL G， CASANOVA A， et al. Graph Attention Networks[C]∥International Conference on Learning Representations， Vancouver， 2018.

[14]GASTEIGER J， BOJCHEVSKI A， GüNNEMANN S. Predict then propagate： graph neural networks meet personalized PageRank[C]∥International Conference on Learning Representations， 2018.

[15]HAMILTON W L，YING R，LESKOVEC J. Inductive representation learning on large graphs[EB/OL]. 2017：arXiv：1706.02216[cs.SI]. https：∥arxiv.org/abs/1706.02216.

（責(zé)任編輯：方素華）