摘" 要： 為解決傳統(tǒng)圖卷積網(wǎng)絡(luò)在處理節(jié)點間復(fù)雜關(guān)系時存在的局限性，提出一種基于自適應(yīng)差異化圖卷積的圖注意力網(wǎng)絡(luò)表示學(xué)習(xí)算法。采用差異化圖卷積網(wǎng)絡(luò)，依據(jù)每個節(jié)點自身特征和鄰居信息進行差異化采樣，捕捉節(jié)點間的復(fù)雜關(guān)系；再結(jié)合二階段關(guān)鍵相鄰采樣方式優(yōu)先挖掘重要節(jié)點并保留隨機性，完成關(guān)鍵鄰居節(jié)點的采樣；然后結(jié)合圖注意力網(wǎng)絡(luò)，通過局部關(guān)注和自適應(yīng)學(xué)習(xí)權(quán)重分配將關(guān)鍵鄰居節(jié)點特征聚合到自身節(jié)點上，增強節(jié)點的特征表示；最后經(jīng)網(wǎng)絡(luò)訓(xùn)練，進一步增強網(wǎng)絡(luò)表示學(xué)習(xí)能力。實驗結(jié)果表明，所提出的算法優(yōu)化了節(jié)點聚合程度和邊界清晰度，提高了節(jié)點分類的準(zhǔn)確性和可視化效果，并且通過關(guān)注二階鄰居和使用雙頭注意力，在網(wǎng)絡(luò)表示學(xué)習(xí)上也展現(xiàn)出了優(yōu)越性能。

關(guān)鍵詞： 網(wǎng)絡(luò)表示學(xué)習(xí)； 圖卷積網(wǎng)絡(luò)； 自適應(yīng)差異化機制； 節(jié)點采樣； 特征聚合； 網(wǎng)絡(luò)訓(xùn)練； 圖注意力網(wǎng)絡(luò)

中圖分類號： TN912?34； TP391" " " " " " " " " "文獻標(biāo)識碼： A" " " " " " " " " " " 文章編號： 1004?373X（2025）02?0051?04

Graph attention network representation learning algorithm based on adaptive differentiation graph convolution

WU Yulan1， SHU Jianwen2

（1. School of Science and Technology， Nanchang Hangkong University， Jiujiang 332020， China; 2. Nanchang Hangkong University， Nanchang 330063， China）

Abstract： In order to solve the limitation of traditional graph convolution network in dealing with complex relationships between nodes， a graph attention network representation learning algorithm based on adaptive differentiation graph convolution network is proposed. The differentiation graph convolution network is used to conduct differential sampling according to each node's own characteristics and neighbor information， so as to capture the complex relationships between nodes. The two?stage key neighbor sampling method is used to mine important nodes first and retain randomness to complete the sampling of key neighbor nodes. In combination with graph attention network， the key neighbor node features are aggregated to their own nodes by means of local attention and adaptive learning weight distribution， so as to enhance the node feature representation. After training the network， the learning ability of network representation is enhanced further. The experimental results show that the proposed algorithm can optimize the degree of node aggregation and boundary clarity， and improve the accuracy and visualization of node classification. The algorithm also shows superior performance in network representation learning by paying attention to second?order neighbors and using double attention.

Keywords： network representation learning; graph convolution network; adaptive differentiation mechanism; node sampling; feature aggregation; network training; graph attention network

網(wǎng)絡(luò)表示學(xué)習(xí)可以確保學(xué)習(xí)節(jié)點獲取其低維向量描述[1]，確保相似節(jié)點在向量空間內(nèi)的距離最小化。通過學(xué)習(xí)節(jié)點表示[2]可以更好地理解圖的內(nèi)在結(jié)構(gòu)和模式，從而為相關(guān)任務(wù)提供有力的支持。圖數(shù)據(jù)在各個領(lǐng)域的應(yīng)用越來越廣泛，如社交網(wǎng)絡(luò)、推薦系統(tǒng)、生物信息學(xué)等，這些領(lǐng)域中的圖數(shù)據(jù)通常具有復(fù)雜的結(jié)構(gòu)和豐富的信息，如何有效地表示和處理這些圖數(shù)據(jù)成為一個亟待解決的問題。

網(wǎng)絡(luò)表示學(xué)習(xí)作為一種新型的圖數(shù)據(jù)學(xué)習(xí)方法，越來越受到研究者的關(guān)注，如文獻[3]提出一種網(wǎng)絡(luò)表示學(xué)習(xí)算法，該方法基于結(jié)構(gòu)平衡理論和高階互信息，通過網(wǎng)絡(luò)中的正負關(guān)系生成負圖，獲取隱含的高階互信息，并利用節(jié)點局部嵌入、網(wǎng)絡(luò)全局結(jié)構(gòu)和節(jié)點特征之間的高階互信息，得到網(wǎng)絡(luò)特性的節(jié)點表示；但是該方法需要進行反轉(zhuǎn)操作和挖掘高階互信息，時間復(fù)雜度很高。文獻[4]提出一種雙視角的網(wǎng)絡(luò)表示學(xué)習(xí)算法，該方法分別在邊與節(jié)點下完成不同的采樣結(jié)果，再對其采樣結(jié)果進行融合并訓(xùn)練，實現(xiàn)節(jié)點和邊的表示學(xué)習(xí)；但是該方法無法完全捕捉到網(wǎng)絡(luò)中的復(fù)雜結(jié)構(gòu)和模式，需要進行進一步的改進和優(yōu)化。文獻[5]提出一種基于社區(qū)折疊策略的網(wǎng)絡(luò)表示學(xué)習(xí)算法，利用社區(qū)折疊策略，將目標(biāo)網(wǎng)絡(luò)的每個社區(qū)視為一個折疊單元，使用網(wǎng)絡(luò)表示學(xué)習(xí)算法分別學(xué)習(xí)折疊網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)上節(jié)點的向量表示，最后將這些向量表示拼接起來，形成最終的節(jié)點表示；然而，該方法對節(jié)點向量較為敏感，存在一定的弊端。文獻[1]提出一種融合社區(qū)結(jié)構(gòu)信息的網(wǎng)絡(luò)表示學(xué)習(xí)算法，通過借鑒模塊度思想，融合鄰近性信息和節(jié)點的屬性信息，完成網(wǎng)絡(luò)表示學(xué)習(xí)；但是，該方法面臨著數(shù)據(jù)稀疏性的挑戰(zhàn)。傳統(tǒng)的圖數(shù)據(jù)處理方法往往只關(guān)注節(jié)點的標(biāo)簽或?qū)傩?，忽略了?jié)點間的復(fù)雜關(guān)系和差異性。然而，在許多實際應(yīng)用中，節(jié)點間的關(guān)系對于理解圖的模式和規(guī)律至關(guān)重要。自適應(yīng)差異化機制能夠根據(jù)節(jié)點的特征和鄰居信息動態(tài)調(diào)整節(jié)點的表示，通過自適應(yīng)差異化機制能夠更好地捕捉節(jié)點間的復(fù)雜關(guān)系和差異性。本文將自適應(yīng)差異化圖卷積的圖注意力應(yīng)用于網(wǎng)絡(luò)表示學(xué)習(xí)算法，能夠提高節(jié)點表示的準(zhǔn)確性和穩(wěn)定性，更全面地理解圖的模式和規(guī)律，為圖數(shù)據(jù)的學(xué)習(xí)和處理提供新的思路和方法。

1" 圖注意力網(wǎng)絡(luò)表示學(xué)習(xí)算法

1.1" 基于自適應(yīng)差異化圖卷積的鄰居節(jié)點采樣

在差異化圖卷積網(wǎng)絡(luò)[6]中，每個節(jié)點根據(jù)其自身的特征和鄰居節(jié)點的信息進行差異化采樣，不同節(jié)點具有不同的鄰居采樣策略，能夠更好地捕捉各節(jié)點間的復(fù)雜關(guān)系和差異性。為了優(yōu)化此過程，并充分考慮到鄰居之間的差異，將結(jié)合優(yōu)先采樣與隨機采樣形成一種二階段關(guān)鍵相鄰采樣方式，融合圖的結(jié)構(gòu)特征，使節(jié)點能夠更全面地表示其狀態(tài)和屬性，提高節(jié)點表示的準(zhǔn)確性和穩(wěn)定性。二階段關(guān)鍵相鄰采樣方式中的優(yōu)先采樣階段是對節(jié)點的鄰居差異性進行挖掘，優(yōu)先對具有高重要性的節(jié)點進行采樣，同時為了防止采樣方式存在較大的偏差，需結(jié)合隨機采樣階段使采樣過程保留隨機性。

將節(jié)點[u]的全部相鄰節(jié)點按照重要程度進行排序并采樣，相鄰節(jié)點的重要程度則是根據(jù)節(jié)點特征向量間的余弦相似度衡量，公式表達如下：

[Pcos（i，j）=xi?xjxi?xj]" " " " （1）

式中：[xi]和[xj]表示節(jié)點[i]和節(jié)點[j]的特征向量；[·]表示向量的模。由于節(jié)點的單向鄰居優(yōu)先級低于雙向鄰居，需分別求出節(jié)點[ui]與[Nuniu]和[Nbiu]的相似性，進行排序并合并后得到相似性序列，公式表達為：

[Pcos（u）=" " " "Pcos（u，v1），…，Pcos（u，vm），Pcos（u，vm+1），…，Pcos（u，vn）]" " （2）

式中：[Pcos（u，v1）]到[Pcos（u，vm）]和[Pcos（u，vm+1）]到[Pcos（u，vn）]為降序排列。將節(jié)點按照優(yōu)先級順序加入優(yōu)先采樣序列[SampleList（u）]，如果鄰居節(jié)點的數(shù)量少于采樣數(shù)量，需一直重復(fù)該過程，直到采樣數(shù)量符合要求為止；再通過隨機采樣方法按照一定的概率對鄰居節(jié)點進行采樣，形成采樣序列[SampleList（r）]。最后合并優(yōu)先采樣序列和隨機采樣序列，完成鄰居節(jié)點的采樣，公式為：

[S（ur）=SampleListpri（u）?SampleListrand（r）]" "（3）

1.2" 基于圖注意力網(wǎng)絡(luò)的差異化特征聚合

基于1.1節(jié)獲取了鄰居節(jié)點的信息后，將其特征聚合到自身節(jié)點上，使節(jié)點能夠更全面地表示特征屬性。然而針對一階鄰居采樣存在一定的局限性，為了進一步提高節(jié)點表示的準(zhǔn)確性和穩(wěn)定性，將通過節(jié)點的一階鄰居和二階鄰居共同完成其特征聚合。獲取節(jié)點一階鄰居[N1（u）]后，再利用該鄰居節(jié)點通過1.1節(jié)的鄰居節(jié)點采樣方法獲取二階鄰居節(jié)點[N2（u）]，則有：

[N1（u）=Pcos（i，j）·Pcos（u）·Sur]" " （4）

[N2（u）=SampleList（vi），" vi∈N1（u）]" " " "（5）

在傳統(tǒng)的圖卷積神經(jīng)網(wǎng)絡(luò)[7]中，從二階鄰居到一階鄰居，最終到中心節(jié)點，完成特征聚合，這種層次化聚合方式會導(dǎo)致信息損失。因此，為了避免信息損失，將[N1（u）]和[N2（u）]合并，提升二階鄰居節(jié)點信息的利用率，更有效地利用和傳遞外層節(jié)點的特征信息。節(jié)點[u]的鄰居序列[N（u）]可表示為：

[N（u）=N1（u）?N2（u）] （6）

圖注意力網(wǎng)絡(luò)（Graph Attention Network， GAT）是在圖卷積網(wǎng)絡(luò)中引入注意力機制[8]，為了調(diào)整節(jié)點特征，需要通過GAT聚合節(jié)點及關(guān)鍵鄰居節(jié)點的特征。通過關(guān)注局部鄰居節(jié)點，避免全局計算，從而提高算法的泛化能力；同時，通過注意力機制設(shè)置鄰居節(jié)點的學(xué)習(xí)權(quán)重，該權(quán)重可體現(xiàn)鄰居節(jié)點的重要度，從而能夠更好地理解和表示圖的內(nèi)在結(jié)構(gòu)和模式。

依據(jù)注意力權(quán)重，GAT會放大和縮小重要性高以及低的鄰居節(jié)點特征，通過自適應(yīng)地調(diào)整特征聚合方式，獲取更新后的節(jié)點特征表示[H]，計算公式為：

[H=σ·Nu]" （7）

式中[σ]表示權(quán)重系數(shù)。通過雙頭圖注意力機制和均值描述節(jié)點特征，獲取網(wǎng)絡(luò)節(jié)點的特征矩陣，計算公式為：

[Xu=GAT·Fu·Au·H]" （8）

式中：[Fu]表示[u]特征矩陣；[Au]為[u]相鄰節(jié)點矩陣；[GAT]表示均值組合方式的雙頭圖注意力網(wǎng)絡(luò)。

GAT為了提取更豐富、更具代表性的特征表示[9]，將特征向量[h=h1，h2，…，hN，hu∈RF]進行線性變換后轉(zhuǎn)換為高級特征，學(xué)習(xí)節(jié)點特征之間的關(guān)聯(lián)，從而更好地理解圖的內(nèi)在結(jié)構(gòu)和模式，再采用注意力機制確定節(jié)點間的信息交互。根據(jù)節(jié)點間的關(guān)系自適應(yīng)地調(diào)整注意力權(quán)重，從而更準(zhǔn)確地捕獲重要信息。為了增強其非線性表達能力，注意力機制引入了非線性激活函數(shù)，學(xué)習(xí)復(fù)雜的特征表示，從而更好地處理圖數(shù)據(jù)中的非線性關(guān)系。通過歸一化處理，GAT進一步調(diào)整注意力權(quán)重，確保它們在合理的范圍內(nèi)，提高網(wǎng)絡(luò)的穩(wěn)定性和可解釋性，使得注意力權(quán)重更具代表性，實現(xiàn)了對圖數(shù)據(jù)的深入理解和有效特征提取。[αuj]公式為：

[αuj=aT·W·Nuαuj] （9）

式中：[aT∈R2F']表示權(quán)值向量；[W]表示節(jié)點均可使用矩陣；[Nu]表示鄰居節(jié)點集；[αuj]表示歸一化的節(jié)點[u]和其相鄰節(jié)點[j]的權(quán)重。

1.3" 網(wǎng)絡(luò)訓(xùn)練

為了訓(xùn)練網(wǎng)絡(luò)，將通過有監(jiān)督的網(wǎng)絡(luò)表示學(xué)習(xí)方法構(gòu)建節(jié)點分類能力的目標(biāo)函數(shù)。在1.2節(jié)實現(xiàn)節(jié)點特征的聚合后，獲取了節(jié)點特征矩陣[Xu]，將[Xu]輸入到1.1節(jié)的圖卷積網(wǎng)絡(luò)中，完成不同類別節(jié)點的分類，公式表達為：

[Xnode=ω（D·A·Xnode·Wc）]" " " " "（10）

式中：[ω]表示激活函數(shù)（非線性）；[A]表示鄰居節(jié)點特征矩陣；[D]表示[A]的對角矩陣；[Wc]表示可以學(xué)習(xí)的參數(shù)矩陣；[Xnode]表示節(jié)點類別數(shù)量。以全部節(jié)點的交叉熵損失最小為目標(biāo)進行訓(xùn)練，實現(xiàn)節(jié)點分類的準(zhǔn)確性，從而提升網(wǎng)絡(luò)表示學(xué)習(xí)能力，訓(xùn)練公式表達為：

[k=Xnode·Ylc·Xnodelc·αuj]" " " " " （11）

式中：[Ylc]表示第[l]個節(jié)點類型的真實性以及節(jié)點類型集；[Xnodelc]表示第[l]個節(jié)點的圖卷積層輸出的第c個類別。

2" 實驗分析

為了驗證本文方法的有效性，進行實驗分析。實驗數(shù)據(jù)集是兩個引文網(wǎng)絡(luò)Cora和ACM、一個社交網(wǎng)絡(luò)BlogCatalog，詳細情況如表1所示。數(shù)據(jù)集中的文檔用節(jié)點表示，文檔之間的聯(lián)系用邊表示。每個數(shù)據(jù)集中選取600個節(jié)點用于測試，在其中選取300個節(jié)點用于驗證，不同類別中含有20個節(jié)點。通過Adam優(yōu)化器對本文算法的圖卷積神經(jīng)網(wǎng)絡(luò)進行優(yōu)化，以實現(xiàn)節(jié)點交叉熵損失最小。設(shè)置訓(xùn)練次數(shù)不高于1 000次，數(shù)據(jù)集Cora、ACM和BlogCatalog的學(xué)習(xí)率分別為0.003、0.005和0.007，設(shè)置權(quán)重分別為0.002、0.01和0.002，迭代次數(shù)為5次，當(dāng)測試的數(shù)據(jù)集節(jié)點交叉熵損失在連續(xù)80個節(jié)點上均不降低時，完成訓(xùn)練，并對3個數(shù)據(jù)集進行10次測試后取平均值。

節(jié)點可視化是圖數(shù)據(jù)領(lǐng)域的一個重要任務(wù)，目的是將圖中的節(jié)點在低維空間中進行表示，以便更好地理解節(jié)點的屬性和關(guān)系。分別在數(shù)據(jù)集Cora、ACM和BlogCatalog的各類別上隨機抽取3個節(jié)點進行可視化展示。同時，為了確保展示結(jié)果的準(zhǔn)確性，采取多次實驗并取平均準(zhǔn)確率的方法進行測試，驗證結(jié)果見圖1。

圖1中每一個圖形都表示一個節(jié)點，橫、縱坐標(biāo)軸均表示節(jié)點在空間中的兩個維度值，節(jié)點的形狀表示節(jié)點的類別，通過各節(jié)點的形狀可以直觀地分辨出不同類別的節(jié)點。由圖可知：針對3個數(shù)據(jù)集，本文算法確保了可視化空間中各類節(jié)點能夠達到最佳的聚合程度；同時，不同類別之間的邊界清晰度也得到了優(yōu)化，使得不同類別的節(jié)點能夠明確區(qū)分開來，提高節(jié)點分類的準(zhǔn)確性和可視化效果的可讀性，能夠更好地理解數(shù)據(jù)集的結(jié)構(gòu)和模式。分析本文算法中圖卷積網(wǎng)絡(luò)的k取值不同時，本文算法對3種數(shù)據(jù)集的分類準(zhǔn)確率情況，結(jié)果見表2。

從表2中3個數(shù)據(jù)集上得出的結(jié)果可以清晰地看出，當(dāng)[k]值從1增加到2時，網(wǎng)絡(luò)在節(jié)點分類任務(wù)上的準(zhǔn)確率有所提升。然而，隨著[k]值繼續(xù)增加，節(jié)點分類的準(zhǔn)確率開始逐漸下降。這主要是因為當(dāng)[k]值過大時，網(wǎng)絡(luò)會受到大量不相關(guān)鄰居的影響，導(dǎo)致無法有效地學(xué)習(xí)到每個節(jié)點的合適表示。本文算法特別關(guān)注二階鄰居，可實現(xiàn)網(wǎng)絡(luò)節(jié)點的有效分類。

為了進一步驗證本文算法的網(wǎng)絡(luò)表示學(xué)習(xí)性能，通過設(shè)置不同注意力頭的數(shù)量，分別在數(shù)據(jù)集Cora、ACM和BlogCatalog上進行實驗，注意力頭的數(shù)量需要與每個注意力頭輸出的特征表示維度相乘，以保持維度相同。不同數(shù)量注意力頭時分類準(zhǔn)確率如表3所示。

由表3可知，在數(shù)據(jù)集Cora、ACM和BlogCatalog上，均使用雙頭注意力時的節(jié)點分類準(zhǔn)確率較高，與只使用單個注意力頭和多個注意力頭相比，雙頭注意力機制確實能夠提升網(wǎng)絡(luò)的分類準(zhǔn)確率。說明通過本文算法能夠更好地捕捉節(jié)點之間的復(fù)雜模式和關(guān)系，從而提取更豐富、更有針對性的特征表示。

3" 結(jié)" 論

本文結(jié)合自適應(yīng)差異化圖卷積和圖注意力網(wǎng)絡(luò)，有效地解決了傳統(tǒng)圖卷積網(wǎng)絡(luò)在處理節(jié)點間復(fù)雜關(guān)系時的局限性。通過差異化采樣和關(guān)鍵相鄰節(jié)點挖掘，增強了節(jié)點特征表示，提高了節(jié)點分類的準(zhǔn)確性和可視化效果。本文方法關(guān)注二階鄰居和使用雙頭注意力，進一步驗證了該方法的優(yōu)越性能，為解決復(fù)雜圖數(shù)據(jù)問題提供了更多且有效的工具。

注：本文通訊作者為舒建文。

參考文獻

[1] 劉彥北，劉金新，耿磊，等.一種融合社區(qū)結(jié)構(gòu)信息的網(wǎng)絡(luò)表示學(xué)習(xí)算法[J].天津工業(yè)大學(xué)學(xué)報，2022，41（2）：53?59.

[2] 王巖，任浩，王喆.動態(tài)連續(xù)時間網(wǎng)絡(luò)表示學(xué)習(xí)[J].計算機工程與應(yīng)用，2022，58（12）：163?169.

[3] 郁湧，錢天宇，高悅，等.基于結(jié)構(gòu)平衡理論和高階互信息的符號網(wǎng)絡(luò)表示學(xué)習(xí)算法[J].電子科技大學(xué)學(xué)報，2023，52（5）：780?788.

[4] 倪琦瑄，張霞，卜湛.基于雙視角的耦合網(wǎng)絡(luò)表示學(xué)習(xí)算法[J].計算機系統(tǒng)應(yīng)用，2021，30（9）：247?255.

[5] CHEN D， NIE M， YAN J， et al. Network representation learning algorithm based on community folding [J]. Journal of internet technology， 2022， 23（2）： 415?423.

[6] 劉鵬飛，李偉彤.基于時空自適應(yīng)圖卷積網(wǎng)絡(luò)的跌倒檢測算法[J].電子測量技術(shù)，2023，46（3）：150?156.

[7] 劉寬，奚小冰，周明東.基于自適應(yīng)多尺度圖卷積網(wǎng)絡(luò)的骨架動作識別[J].計算機工程，2023，49（10）：264?271.

[8] 李績鵬，陳穎，王東振.融合雙注意力與深度神經(jīng)網(wǎng)絡(luò)的遙感圖像配準(zhǔn)[J].計算機仿真，2022，39（7）：42?47.

[9] 康世澤，吉立新，張建朋.一種基于圖注意力網(wǎng)絡(luò)的異質(zhì)信息網(wǎng)絡(luò)表示學(xué)習(xí)框架[J].電子與信息學(xué)報，2021，43（4）：915?922.

[10] 凌雨婷.面向多任務(wù)的網(wǎng)絡(luò)表示學(xué)習(xí)方法研究與應(yīng)用[D].濟南：山東師范大學(xué)，2023.

[11] 吳正昊，曾國蓀.基于自適應(yīng)差異化圖卷積的社交網(wǎng)絡(luò)新增惡意用戶檢測[J].計算機應(yīng)用研究，2023，40（9）：2820?2825.

[12] 劉冬帥.基于多關(guān)系圖注意力網(wǎng)絡(luò)的知識表示學(xué)習(xí)[D].大連：大連海事大學(xué)，2023.

[13] 劉錦濤，謝穎華.基于圖注意力網(wǎng)絡(luò)表示學(xué)習(xí)的協(xié)同過濾推薦算法[J].計算機系統(tǒng)應(yīng)用，2022，31（4）：273?280.