摘 要：圖注意力網(wǎng)絡(luò)（GAT）通過(guò)注意力機(jī)制聚合節(jié)點(diǎn)的鄰居信息以提取節(jié)點(diǎn)的結(jié)構(gòu)特征，然而并沒(méi)有考慮網(wǎng)絡(luò)中潛在的節(jié)點(diǎn)相似性特征。針對(duì)以上問(wèn)題，提出了一種考慮網(wǎng)絡(luò)中相似節(jié)點(diǎn)的網(wǎng)絡(luò)表示學(xué)習(xí)方法NSGAN。首先，在節(jié)點(diǎn)層面上，通過(guò)圖注意力機(jī)制分別學(xué)習(xí)相似網(wǎng)絡(luò)和原始網(wǎng)絡(luò)的結(jié)構(gòu)特征；其次，在圖層面上，將兩個(gè)網(wǎng)絡(luò)對(duì)應(yīng)的節(jié)點(diǎn)嵌入通過(guò)基于圖層面的注意力機(jī)制聚合在一起，生成節(jié)點(diǎn)最終的嵌入表示。在三個(gè)數(shù)據(jù)集上進(jìn)行節(jié)點(diǎn)分類實(shí)驗(yàn)，NSGAN比傳統(tǒng)的圖注意力網(wǎng)絡(luò)方法的準(zhǔn)確率提高了約2%。

關(guān)鍵詞：圖注意力網(wǎng)絡(luò)； 網(wǎng)絡(luò)表示學(xué)習(xí)； 節(jié)點(diǎn)分類； 節(jié)點(diǎn)相似性； 注意力機(jī)制

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2023）03-029-0822-06

doi： 10.19734/j.issn.1001-3695.2022.07.0403

Graph attention network representation learning with node similarity

Liu Yuan1， Zhao Zijuan2， Yang Kai1

（1.College of Information Engineering， Yangzhou University， Yangzhou Jiangsu 225127， China; 2.Business School， University of Shanghai for Science amp; Technology， Shanghai 200093， China）

Abstract：Graph attention network（GAT） aggregates the information of neighbor nodes to extract the structural features of nodes through the attention mechanism， however， it doesn’t consider the potential node similarity features in the network. To address these problems， this paper proposed a network representation learning method that considered similar nodes in the network（NSGAN）. Firstly， at the node level， the NSGAN learned the structural features of the similar network and the original network separately through the graph attention mechanism. Secondly， it aggregated the node embeddings corresponding to the two networks together through the graph-based attention mechanism to generate the final embedding representation at the graph level. In the node classification experiments on the three datasets， the NSGAN improves the accuracy by about 2% over the traditional graph attention network approach，which demonstrates the effectiveness of the NSGAN model.

Key words：graph attention network; network representation learning; node classification; node similarity; attention mechanism

0 引言

隨著對(duì)圖神經(jīng)網(wǎng)絡(luò)（GNN）［1］的研究不斷加深，許多經(jīng)典的圖神經(jīng)網(wǎng)絡(luò)方法，如圖卷積網(wǎng)絡(luò)（GCN）［2］、圖注意力網(wǎng)絡(luò)（GAT）［3］等在各種下游任務(wù)中取得了令人矚目的成果。圖神經(jīng)網(wǎng)絡(luò)逐漸成為推薦系統(tǒng)［4］、自然語(yǔ)言處理［5］和生物醫(yī)療［6］等領(lǐng)域中一種非常受歡迎的研究方法。其中，GAT以不依賴圖的整體結(jié)構(gòu)且可解釋性強(qiáng)等優(yōu)勢(shì)在不同領(lǐng)域中得到了廣泛應(yīng)用。GAT模型的主要思想是使用注意力機(jī)制學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)特征和節(jié)點(diǎn)的屬性信息，即通過(guò)聚合一階鄰居節(jié)點(diǎn)的特征信息作為節(jié)點(diǎn)的結(jié)構(gòu)信息，然后通過(guò)多層線性變換和非線性激活得到每一個(gè)節(jié)點(diǎn)在低維嵌入空間中的向量表示，最后將GAT模型生成的節(jié)點(diǎn)嵌入應(yīng)用到各種機(jī)器學(xué)習(xí)任務(wù)中，如節(jié)點(diǎn)分類、鏈路預(yù)測(cè)［7］、社區(qū)識(shí)別［8］和圖異常檢測(cè)［9］等。本文主要研究節(jié)點(diǎn)分類任務(wù)，即利用給定初始節(jié)點(diǎn)特征和結(jié)構(gòu)信息的一組已知標(biāo)簽的節(jié)點(diǎn)學(xué)習(xí)節(jié)點(diǎn)的嵌入表示與其自身的標(biāo)簽之間的潛在關(guān)聯(lián)性，進(jìn)而對(duì)其他未知標(biāo)簽節(jié)點(diǎn)的類型進(jìn)行預(yù)測(cè)。節(jié)點(diǎn)分類是機(jī)器學(xué)習(xí)領(lǐng)域中常見(jiàn)且重要的下游任務(wù)之一，主要通過(guò)一部分已知標(biāo)簽的節(jié)點(diǎn)信息預(yù)測(cè)網(wǎng)絡(luò)中其他未知節(jié)點(diǎn)的標(biāo)簽［10］，屬于半監(jiān)督學(xué)習(xí)［11］。為了更好地挖掘節(jié)點(diǎn)特征與標(biāo)簽之間的潛在關(guān)聯(lián)，研究人員基于深度學(xué)習(xí)提出圖神經(jīng)網(wǎng)絡(luò)，即通過(guò)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)據(jù)進(jìn)行建模，不僅關(guān)注節(jié)點(diǎn)自身的特征信息，還通過(guò)聚合鄰居節(jié)點(diǎn)的特征信息來(lái)捕獲節(jié)點(diǎn)的結(jié)構(gòu)特征，最后生成節(jié)點(diǎn)在低維嵌入空間中的向量表示［12］。

由于網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)中包含噪聲信息，比如部分節(jié)點(diǎn)對(duì)之間的鏈接可能是不可靠的，而常規(guī)的GNN算法總是平等地對(duì)待每一個(gè)鄰居節(jié)點(diǎn)的特征信息，忽略了不同鄰居節(jié)點(diǎn)的差異性，使得模型學(xué)習(xí)到的結(jié)構(gòu)信息不夠全面和穩(wěn)?。?3］。GAT利用掩飾的注意力機(jī)制［14］來(lái)區(qū)分不同鄰居節(jié)點(diǎn)的重要性，并通過(guò)聚合節(jié)點(diǎn)的一階鄰居節(jié)點(diǎn)的特征信息來(lái)表示該節(jié)點(diǎn)的結(jié)構(gòu)特征，然而GAT模型在關(guān)注節(jié)點(diǎn)的局部結(jié)構(gòu)特征時(shí)忽略了節(jié)點(diǎn)的非局部信息，比如與該節(jié)點(diǎn)最相關(guān)的高階節(jié)點(diǎn)。同時(shí)，SiGraC模型通過(guò)考慮基于節(jié)點(diǎn)相似性指標(biāo)的相似節(jié)點(diǎn)來(lái)捕獲更充分的節(jié)點(diǎn)結(jié)構(gòu)信息［15］，但是SiGraC模型本質(zhì)上還是基于圖卷積的思想進(jìn)行信息傳遞，沒(méi)有考慮鄰居節(jié)點(diǎn)與相似節(jié)點(diǎn)之間的相對(duì)重要性。為了讓模型能夠挖掘更全面的結(jié)構(gòu)特征，CGAT模型提出同時(shí)挖掘節(jié)點(diǎn)的局部特征信息和非局部特征信息，最后將兩者串聯(lián)在一起作為節(jié)點(diǎn)最終的嵌入表示［16］，不過(guò)該模型忽略了不同視角對(duì)應(yīng)的節(jié)點(diǎn)的特征信息在下游任務(wù)中的相對(duì)重要性。MV-GAN模型引進(jìn)基于視角層面的注意力機(jī)制來(lái)聚合該模型學(xué)習(xí)到的不同視角的節(jié)點(diǎn)嵌入表示，最后得到包含更豐富語(yǔ)義信息的節(jié)點(diǎn)嵌入表示［17］。此外，大多數(shù)真實(shí)世界中的網(wǎng)絡(luò)屬于無(wú)標(biāo)度網(wǎng)絡(luò)，即網(wǎng)絡(luò)中大量的節(jié)點(diǎn)具有很少的一階鄰居節(jié)點(diǎn)，僅僅使用這些一階鄰居難于捕獲節(jié)點(diǎn)全面的結(jié)構(gòu)信息［18］。同時(shí)，研究者提出的基于局部信息的節(jié)點(diǎn)相似性［19］認(rèn)為，在網(wǎng)絡(luò)中兩個(gè)節(jié)點(diǎn)之間存在的共同鄰居數(shù)量越多，則這兩個(gè)節(jié)點(diǎn)具有的相似特征越多，即這兩個(gè)節(jié)點(diǎn)屬于同一類型標(biāo)簽的可能性更大［20］。

針對(duì)以上分析，為了進(jìn)一步挖掘網(wǎng)絡(luò)潛在的結(jié)構(gòu)特征，本文針對(duì)目前算法存在的不足提出新的網(wǎng)絡(luò)表示學(xué)習(xí)模型。首先，本文利用注意力機(jī)制學(xué)習(xí)鄰居節(jié)點(diǎn)的特征信息，以區(qū)分不同鄰接節(jié)點(diǎn)的重要性，減少噪聲信息的影響；其次，本文借助多視角學(xué)習(xí)的思想，同時(shí)考慮節(jié)點(diǎn)的局部特征信息和高階特征信息，對(duì)于高階結(jié)構(gòu)信息，本文將傳統(tǒng)的圖注意力網(wǎng)絡(luò)與基于局部信息的節(jié)點(diǎn)相似性指標(biāo)結(jié)合在一起，即使用Jaccard指標(biāo)［21］計(jì)算網(wǎng)絡(luò)中的相似節(jié)點(diǎn)得到相似網(wǎng)絡(luò)，并輸入到圖注意力機(jī)制中進(jìn)行特征學(xué)習(xí)，使得模型可以提取網(wǎng)絡(luò)中高階鄰居的結(jié)構(gòu)信息；為了更好地發(fā)揮基于局部特征信息和高階特征信息兩個(gè)視角的嵌入表示的有效性，并在下游任務(wù)中更好地調(diào)整每一個(gè)視角的節(jié)點(diǎn)嵌入的相對(duì)重要性，本文將兩個(gè)視角對(duì)應(yīng)的節(jié)點(diǎn)嵌入表示通過(guò)一個(gè)圖層面的注意力機(jī)制［22］聚合在一起，以得到更加全面和穩(wěn)健的節(jié)點(diǎn)嵌入表示，并應(yīng)用到具體的節(jié)點(diǎn)分類任務(wù)中。

本文的貢獻(xiàn)如下：a）提出了一個(gè)新的節(jié)點(diǎn)分類模型NSGAN，通過(guò)考慮網(wǎng)絡(luò)中的相似節(jié)點(diǎn)，NSGAN可以提取更全面的網(wǎng)絡(luò)結(jié)構(gòu)信息，并且生成更準(zhǔn)確的節(jié)點(diǎn)嵌入；b） 結(jié)合多個(gè)網(wǎng)絡(luò)生成的節(jié)點(diǎn)嵌入，并利用圖層面的注意力機(jī)制聚合在一起，使得模型可以從不同方法提取網(wǎng)絡(luò)特征，再根據(jù)具體的下游任務(wù)聚合為節(jié)點(diǎn)最終的嵌入表示，增加了模型的可擴(kuò)展性和靈活性，在具體下游任務(wù)中的學(xué)習(xí)能力更強(qiáng)。NSGAN在三個(gè)真實(shí)網(wǎng)絡(luò)中進(jìn)行節(jié)點(diǎn)分類任務(wù)，并與三個(gè)經(jīng)典的對(duì)比算法進(jìn)行比較，取得最佳的節(jié)點(diǎn)分類結(jié)果，體現(xiàn)了本文提出的NSGAN模型的有效性。

1 模型分析

圖神經(jīng)網(wǎng)絡(luò)通過(guò)聚合鄰居節(jié)點(diǎn)的特征信息以捕獲網(wǎng)絡(luò)的結(jié)構(gòu)特征信息和節(jié)點(diǎn)的特征信息，但是常見(jiàn)的GNN模型忽略了網(wǎng)絡(luò)結(jié)構(gòu)中的節(jié)點(diǎn)相似性特征，而節(jié)點(diǎn)相似性在很多下游任務(wù)，如節(jié)點(diǎn)分類、鏈路預(yù)測(cè)中發(fā)揮著重要作用。為了保存網(wǎng)絡(luò)中的節(jié)點(diǎn)相似性特征，Cokun等人［15］基于圖卷積網(wǎng)絡(luò)的思想提出了SiGraC模型，主要是借助節(jié)點(diǎn)相似性指標(biāo)如Jaccard指標(biāo)，根據(jù)網(wǎng)絡(luò)的局部結(jié)構(gòu)特征得到網(wǎng)絡(luò)中每一個(gè)節(jié)點(diǎn)的相似節(jié)點(diǎn)集合，并將相似節(jié)點(diǎn)作為一階鄰居節(jié)點(diǎn)補(bǔ)充到信息聚合過(guò)程中，使模型能夠捕獲更多的結(jié)構(gòu)信息。通過(guò)考慮相似節(jié)點(diǎn)，SiGraC模型在鏈路預(yù)測(cè)任務(wù)中取得了比GAE［23］、DGI［24］等基準(zhǔn)方法更好的實(shí)驗(yàn)結(jié)果。為了驗(yàn)證節(jié)點(diǎn)相似性是否對(duì)緩解網(wǎng)絡(luò)的稀疏性有效，本文對(duì)三個(gè)數(shù)據(jù)集的平均度和網(wǎng)絡(luò)密度進(jìn)行計(jì)算，結(jié)果如表1、2所示。

其中：K1和K2分別表示原始網(wǎng)絡(luò)和最終使用的相似網(wǎng)絡(luò)對(duì)應(yīng)的節(jié)點(diǎn)的平均度；D1和D2分別表示原始網(wǎng)絡(luò)和最終使用的相似網(wǎng)絡(luò)的密度。從表1、2可得，Cora、Citeseer和Pubmed數(shù)據(jù)集對(duì)應(yīng)節(jié)點(diǎn)的平均度從4.0、2.8和4.5分別增加到24.5、10.0和22.6，相應(yīng)的網(wǎng)絡(luò)密度從0.001 48、0.000 86和0.000 23增加到0.018、0.006和0.002。由此判斷，將基于局部信息的節(jié)點(diǎn)相似性指標(biāo)生成的相似節(jié)點(diǎn)集合加入到原始網(wǎng)絡(luò)中，可以有效地提高網(wǎng)絡(luò)密度和節(jié)點(diǎn)的平均度，使得模型能夠挖掘更全面的節(jié)點(diǎn)的結(jié)構(gòu)特征信息。

基于以上分析，本文提出基于節(jié)點(diǎn)相似性的圖注意力網(wǎng)絡(luò)表示學(xué)習(xí)模型。首先，本文模型借助圖注意力網(wǎng)絡(luò)機(jī)制分別挖掘節(jié)點(diǎn)的局部結(jié)構(gòu)信息（一階鄰居節(jié)點(diǎn)）和高階結(jié)構(gòu)信息（基于節(jié)點(diǎn)相似性指標(biāo)得到的相似節(jié)點(diǎn)）；然后將兩個(gè)視角得到的嵌入表示通過(guò)圖層面的注意力機(jī)制聚合在一起，以得到更加全面穩(wěn)健的嵌入表示，并應(yīng)用到節(jié)點(diǎn)分類任務(wù)中。

2 NSGAN模型

NSGAN模型的流程如圖1所示。在圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中，首先要處理的是原始的網(wǎng)絡(luò)數(shù)據(jù)，為了減少噪聲數(shù)據(jù)的影響，靈活地考慮每一個(gè)鄰居節(jié)點(diǎn)的重要性，本文使用圖注意力網(wǎng)絡(luò)機(jī)制進(jìn)行信息聚合，以得到更加穩(wěn)健的特征表示；其次，為了更全面地挖掘節(jié)點(diǎn)的結(jié)構(gòu)特征，本文采用多視角學(xué)習(xí)的思想，從節(jié)點(diǎn)的局部特征信息和節(jié)點(diǎn)的高階鄰居特征信息兩個(gè)角度學(xué)習(xí)節(jié)點(diǎn)的結(jié)構(gòu)特征；最后，為了使模型在下游任務(wù)中能夠動(dòng)態(tài)地調(diào)整每一個(gè)角度的節(jié)點(diǎn)嵌入的重要性，本文使用基于圖層面的注意力機(jī)制對(duì)兩個(gè)角度的節(jié)點(diǎn)嵌入進(jìn)行聚合，進(jìn)而在具體的下游任務(wù)中得到更加穩(wěn)健且全面的節(jié)點(diǎn)嵌入表示。

NSGAN算法主要由三部分構(gòu)成：a）相似網(wǎng)絡(luò)，通過(guò)節(jié)點(diǎn)相似性指標(biāo)計(jì)算網(wǎng)絡(luò)中的相似節(jié)點(diǎn)，在相似度不為零的節(jié)點(diǎn)對(duì)之間構(gòu)建新的邊，得到相似網(wǎng)絡(luò)，將節(jié)點(diǎn)的相似節(jié)點(diǎn)作為一階鄰居的補(bǔ)充，以解決網(wǎng)絡(luò)的稀疏性問(wèn)題；b）節(jié)點(diǎn)層面的圖注意力機(jī)制模塊，通過(guò)使用深度學(xué)習(xí)中常用的注意力機(jī)制分別對(duì)原始網(wǎng)絡(luò)和相似網(wǎng)絡(luò)進(jìn)行特征提取，學(xué)習(xí)節(jié)點(diǎn)的結(jié)構(gòu)特征，得到相應(yīng)網(wǎng)絡(luò)中的節(jié)點(diǎn)在低維嵌入空間中的向量表示；c）圖層面的注意力機(jī)制，為了區(qū)分兩個(gè)網(wǎng)絡(luò)生成的節(jié)點(diǎn)嵌入的重要性，本文設(shè)置一個(gè)圖層面的注意力機(jī)制將兩個(gè)網(wǎng)絡(luò)生成的節(jié)點(diǎn)嵌入聚合在一起，作為節(jié)點(diǎn)最終的嵌入表示。

2.1 構(gòu)建相似網(wǎng)絡(luò)

圖注意力網(wǎng)絡(luò)將深度學(xué)習(xí)中的注意力機(jī)制引入到圖神經(jīng)網(wǎng)絡(luò)領(lǐng)域并在不同任務(wù)上有廣泛應(yīng)用［25］。GAT的核心思想是通過(guò)注意力機(jī)制給節(jié)點(diǎn)的一階鄰居及自身分配一個(gè)權(quán)重系數(shù)來(lái)區(qū)別不同鄰居節(jié)點(diǎn)的重要性，再聚合一階鄰居節(jié)點(diǎn)的特征信息作為該節(jié)點(diǎn)的嵌入表示。但是，很多真實(shí)世界中的網(wǎng)絡(luò)屬于無(wú)標(biāo)度網(wǎng)絡(luò)，網(wǎng)絡(luò)中節(jié)點(diǎn)的度遵循長(zhǎng)尾分布［26］，即存在許多節(jié)點(diǎn)的度很小，僅僅依靠節(jié)點(diǎn)的一階鄰居提取節(jié)點(diǎn)的結(jié)構(gòu)特征具有局限性。此外，基于局部信息的節(jié)點(diǎn)相似性方法認(rèn)為，網(wǎng)絡(luò)中兩節(jié)點(diǎn)之間的共同鄰接節(jié)點(diǎn)的數(shù)量越多，這兩個(gè)節(jié)點(diǎn)之間的相似性越強(qiáng)［27］，那么它們?cè)谇度肟臻g中的嵌入表示應(yīng)該更加接近，即這兩個(gè)節(jié)點(diǎn)屬于同一節(jié)點(diǎn)類型的可能性更大。為了在嵌入空間中保留更多網(wǎng)絡(luò)的結(jié)構(gòu)特性，本文提出將局部信息的相似節(jié)點(diǎn)考慮到信息傳播的過(guò)程中以保留網(wǎng)絡(luò)中節(jié)點(diǎn)的相似性特征，使模型可以充分挖掘節(jié)點(diǎn)的潛在結(jié)構(gòu)信息，生成更加準(zhǔn)確的節(jié)點(diǎn)嵌入表示。

2.3 圖層面的嵌入表示

圖注意力網(wǎng)絡(luò)主要依賴節(jié)點(diǎn)的一階鄰居提取結(jié)構(gòu)特征，但是在無(wú)標(biāo)度網(wǎng)絡(luò)中，網(wǎng)絡(luò)中節(jié)點(diǎn)的度分布屬于冪律分布，一部分節(jié)點(diǎn)的度很大，具有很多鄰接節(jié)點(diǎn)，還有另外很多節(jié)點(diǎn)僅僅具有很少的鄰接節(jié)點(diǎn)，所以當(dāng)使用基于局部信息的Jaccard指標(biāo)計(jì)算節(jié)點(diǎn)的相似節(jié)點(diǎn)時(shí)，度小的節(jié)點(diǎn)將增加一部分相似節(jié)點(diǎn)作為鄰接節(jié)點(diǎn)，使得模型可以提取更充分的結(jié)構(gòu)信息，而度大的節(jié)點(diǎn)將會(huì)增加大量的相似節(jié)點(diǎn)，不利于區(qū)分節(jié)點(diǎn)的結(jié)構(gòu)特征。針對(duì)以上分析，本文采取以下兩種有效的解決策略：

a）為了減少利用Jaccard指標(biāo)生成的相似節(jié)點(diǎn)中可能存在的噪聲節(jié)點(diǎn)，本文通過(guò)設(shè)置一個(gè)閾值對(duì)相似網(wǎng)絡(luò)的鄰接矩陣中的非零元素進(jìn)行篩選，矩陣內(nèi)每一個(gè)值是對(duì)應(yīng)節(jié)點(diǎn)對(duì)的相似度，根據(jù)Jaccard指標(biāo)的定義可知，值越小，兩節(jié)點(diǎn)之間的共同特征越少，即作為噪聲節(jié)點(diǎn)的可能性越大。通過(guò)設(shè)置一個(gè)合適的閾值，可以將相似度較低的節(jié)點(diǎn)對(duì)關(guān)系過(guò)濾，減少噪聲節(jié)點(diǎn)對(duì)模型提取節(jié)點(diǎn)的結(jié)構(gòu)信息的影響。

b）將基于原始網(wǎng)絡(luò)得到的節(jié)點(diǎn)嵌入與基于相似網(wǎng)絡(luò)得到的節(jié)點(diǎn)嵌入通過(guò)一個(gè)圖層面的注意力機(jī)制聚合在一起，根據(jù)兩個(gè)網(wǎng)絡(luò)對(duì)應(yīng)的節(jié)點(diǎn)嵌入在實(shí)際節(jié)點(diǎn)分類任務(wù)中的重要程度，訓(xùn)練兩個(gè)網(wǎng)絡(luò)的權(quán)重系數(shù)。首先將兩個(gè)網(wǎng)絡(luò)對(duì)應(yīng)的節(jié)點(diǎn)嵌入通過(guò)一個(gè)非線性激活函數(shù)進(jìn)行轉(zhuǎn)換，然后將被轉(zhuǎn)換后的節(jié)點(diǎn)嵌入與圖層面的注意力權(quán)重向量的相似度作為該節(jié)點(diǎn)的嵌入表示的重要度，并且平均化處理網(wǎng)絡(luò)中所有的節(jié)點(diǎn)嵌入的重要度作為該網(wǎng)絡(luò)的整體重要度，計(jì)算過(guò)程如式（12）所示。

其中：a∈{1，2}；V是網(wǎng)絡(luò)的節(jié)點(diǎn)集合；q表示圖層面注意力機(jī)制的權(quán)重向量；W是可訓(xùn)練的權(quán)重矩陣；b是偏置向量。在圖層面的注意力機(jī)制中所有參數(shù)在兩個(gè)網(wǎng)絡(luò)上是共享的。

得到每一個(gè)網(wǎng)絡(luò)的重要度之后，本文使用softmax函數(shù)進(jìn)行標(biāo)準(zhǔn)化處理，得到每一個(gè)網(wǎng)絡(luò)對(duì)應(yīng)的權(quán)重參數(shù)βa，表示相應(yīng)的網(wǎng)絡(luò)在具體的節(jié)點(diǎn)分類任務(wù)中的重要性，計(jì)算過(guò)程如式（13）所示。

然后聚合兩個(gè)網(wǎng)絡(luò)的節(jié)點(diǎn)嵌入，得到最終的節(jié)點(diǎn)嵌入表示，節(jié)點(diǎn)i嵌入表示的計(jì)算過(guò)程如式（14）所示。

將本文模型輸出的節(jié)點(diǎn)嵌入應(yīng)用到具體的半監(jiān)督學(xué)習(xí)的節(jié)點(diǎn)分類任務(wù)中計(jì)算損失函數(shù)，最小化訓(xùn)練集中真實(shí)標(biāo)簽與預(yù)測(cè)值之間的交叉熵?fù)p失值，計(jì)算過(guò)程如式（15）所示。

其中：C是分類器的參數(shù)；L是訓(xùn)練集節(jié)點(diǎn)的集合；Yl和Zl表示訓(xùn)練集數(shù)據(jù)對(duì)應(yīng)的真實(shí)標(biāo)簽和該模型生成的預(yù)測(cè)值?；谟?xùn)練集數(shù)據(jù)，本文利用反向傳播方法對(duì)模型進(jìn)行參數(shù)訓(xùn)練，學(xué)習(xí)更加準(zhǔn)確的節(jié)點(diǎn)嵌入表示。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集

本文主要在三個(gè)經(jīng)典的節(jié)點(diǎn)分類數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，分別是Cora數(shù)據(jù)集［31］、Citeseer數(shù)據(jù)集和Pubmed數(shù)據(jù)集［26］，具體參數(shù)如表3所示。

a）Cora數(shù)據(jù)集有2 708個(gè)節(jié)點(diǎn)，5 429條邊，節(jié)點(diǎn)的初始特征維度是1 433，屬于無(wú)向網(wǎng)絡(luò)，每一個(gè)節(jié)點(diǎn)表示一篇科學(xué)論文，每一條邊表示這兩篇論文之間至少有一次引用關(guān)系，節(jié)點(diǎn)類型是7種。

b）Citeseer數(shù)據(jù)集有3 327個(gè)節(jié)點(diǎn)，4 732條邊，節(jié)點(diǎn)的初始特征維度是3 703，屬于無(wú)向網(wǎng)絡(luò)，每一個(gè)節(jié)點(diǎn)表示一篇科學(xué)論文，每一條邊表示兩篇論文之間存在引用關(guān)系，節(jié)點(diǎn)的類型是6種。

c）Pubmed數(shù)據(jù)集有19 717個(gè)節(jié)點(diǎn)，44 338條邊，節(jié)點(diǎn)的特征維度是500，屬于無(wú)向網(wǎng)絡(luò)，每一個(gè)節(jié)點(diǎn)表示一篇關(guān)于糖尿病的科學(xué)出版物，每一條邊表示論文之間存在引用關(guān)系，節(jié)點(diǎn)的類型是3種。

3.2 對(duì)比算法

本文將NSGAN與傳統(tǒng)的圖注意力網(wǎng)絡(luò)方法以及經(jīng)典算法進(jìn)行對(duì)比。主要使用以下對(duì)比算法：

a）DeepWalk算法［32］是經(jīng)典的無(wú)監(jiān)督學(xué)習(xí)方法，將隨機(jī)游走方法與word2vec方法結(jié)合在一起，通過(guò)隨機(jī)選擇一些頂點(diǎn)序列作為句子，將每一個(gè)節(jié)點(diǎn)看做一個(gè)詞語(yǔ)，借助自然語(yǔ)言處理的思路，挖掘網(wǎng)絡(luò)種潛在的結(jié)構(gòu)信息，生成每一個(gè)節(jié)點(diǎn)的嵌入向量。

b）node2vec算法［33］在DeepWalk方法的基礎(chǔ)上進(jìn)行改進(jìn)，通過(guò)調(diào)整隨機(jī)游走權(quán)重的方法使模型在學(xué)習(xí)節(jié)點(diǎn)嵌入時(shí)考慮網(wǎng)絡(luò)的同質(zhì)性和結(jié)構(gòu)性，然后再利用word2vec模型生成節(jié)點(diǎn)的嵌入表示，最后利用生成的節(jié)點(diǎn)嵌入進(jìn)行下游任務(wù)。

c）DGN算法［34］不僅考慮節(jié)點(diǎn)的局部特征，還考慮節(jié)點(diǎn)的全局特征信息。在一個(gè)視角上通過(guò)傳統(tǒng)的圖卷積網(wǎng)絡(luò)（GCN）學(xué)習(xí)節(jié)點(diǎn)的局部特征信息，在另一個(gè)視角下將DeepWalk得到的嵌入表示作為節(jié)點(diǎn)的初始嵌入表示，并通過(guò)GCN模型再次進(jìn)行特征學(xué)習(xí)，最后將兩個(gè)視角的嵌入表示結(jié)合在一起作為節(jié)點(diǎn)的嵌入表示并應(yīng)用到節(jié)點(diǎn)分類任務(wù)中。

d）圖注意力網(wǎng)絡(luò)（GAT）是經(jīng)典的圖神經(jīng)網(wǎng)絡(luò)算法，首次將深度學(xué)習(xí)中的注意力機(jī)制引入到圖神經(jīng)網(wǎng)絡(luò)領(lǐng)域，并在節(jié)點(diǎn)分類等下游任務(wù)中取得令人矚目的結(jié)果。GAT屬于半監(jiān)督學(xué)習(xí)，主要通過(guò)注意力機(jī)制為節(jié)點(diǎn)的一階鄰居節(jié)點(diǎn)分配權(quán)重系數(shù)，將鄰居節(jié)點(diǎn)的特征信息聚合在一起作為節(jié)點(diǎn)的嵌入表示。GAT方法將節(jié)點(diǎn)自身的屬性信息與節(jié)點(diǎn)的結(jié)構(gòu)信息結(jié)合在一起，通過(guò)少量的標(biāo)簽訓(xùn)練后得到節(jié)點(diǎn)在低維嵌入空間中嵌入表示，最后將模型學(xué)習(xí)到的節(jié)點(diǎn)嵌入應(yīng)用于各種下游任務(wù)中。

3.3 實(shí)驗(yàn)設(shè)置

a）本文使用Jaccard指標(biāo)計(jì)算相似網(wǎng)絡(luò)，在三個(gè)數(shù)據(jù)集上，本實(shí)驗(yàn)設(shè)置篩選相似矩陣中的值的閾值都為0.1；b）在節(jié)點(diǎn)層面的圖注意力機(jī)制模塊上，本文設(shè)置兩層注意力網(wǎng)絡(luò)層M=2，多頭注意力機(jī)制的頭數(shù)為8，模型的輸入維度為節(jié)點(diǎn)的初始特征維度，隱藏層嵌入維度為8。在Cora和Citeseer數(shù)據(jù)集上，優(yōu)化器Adam的學(xué)習(xí)率為0.005，衰減系數(shù)為0.000 5，dropout為0.6；在Pubmed數(shù)據(jù)集上，優(yōu)化器Adam的學(xué)習(xí)率為0.01，衰減系數(shù)為0.001，dropout為0.4。因?yàn)楸灸Ｐ蛯儆诎氡O(jiān)督學(xué)習(xí)，訓(xùn)練集的劃分比例分別為0.005、0.1和0.2，驗(yàn)證集的數(shù)量與訓(xùn)練集相同，其余數(shù)據(jù)為測(cè)試集數(shù)據(jù)。實(shí)驗(yàn)過(guò)程中使用了提前停止策略，patience=100，防止模型過(guò)度擬合；每次實(shí)驗(yàn)訓(xùn)練次數(shù)epoch=300，在每一個(gè)數(shù)據(jù)集上重復(fù)十次實(shí)驗(yàn)，保證實(shí)驗(yàn)結(jié)果的有效性。在Python 3.6和PyTorch 1.9.1環(huán)境下對(duì)本文提出的NSGAN模型及對(duì)比算法進(jìn)行實(shí)現(xiàn)。

對(duì)于對(duì)比算法，圖注意力網(wǎng)絡(luò)模型的參數(shù)與NSGAN的參數(shù)保持相同；DeepWalk和node2vec算法的參數(shù)設(shè)置與原始文獻(xiàn)中的相同，由于兩者都是無(wú)監(jiān)督學(xué)習(xí)，本文將兩者學(xué)習(xí)的節(jié)點(diǎn)嵌入輸出到邏輯回歸分類器［35］中進(jìn)行節(jié)點(diǎn)分類實(shí)驗(yàn)，先將訓(xùn)練集數(shù)據(jù)輸入到邏輯回歸分類器中進(jìn)行參數(shù)學(xué)習(xí)，再對(duì)驗(yàn)證集和測(cè)試集中的數(shù)據(jù)進(jìn)行預(yù)測(cè)，測(cè)試節(jié)點(diǎn)嵌入的有效性。DGN算法中將DeepWalk模型部分的參數(shù)調(diào)整為對(duì)比算法的訓(xùn)練集、驗(yàn)證集和測(cè)試集的劃分比例與本文的NSGAT相同，避免其他因素對(duì)實(shí)驗(yàn)結(jié)果的影響。

本實(shí)驗(yàn)選擇的訓(xùn)練集數(shù)據(jù)通過(guò)隨機(jī)抽取得到，每一種類型節(jié)點(diǎn)的比例存在差異，為了更加全面地評(píng)估實(shí)驗(yàn)結(jié)果的準(zhǔn)確性和有效性，本文使用加權(quán)平均處理每一種類型的樣本數(shù)量占總樣本數(shù)量的比例，將n分類問(wèn)題分解為n個(gè)二分類問(wèn)題，再對(duì)模型的預(yù)測(cè)結(jié)果進(jìn)行評(píng)估。本實(shí)驗(yàn)使用accuracy、weighted-precision、weighted-recall和weighted-F1四種評(píng)估指標(biāo)對(duì)模型的實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)估，保證實(shí)驗(yàn)結(jié)果的可靠性和有效性。

3.4 實(shí)驗(yàn)結(jié)果

本文提出的NSGAN在節(jié)點(diǎn)分類任務(wù)中的實(shí)驗(yàn)結(jié)果如圖2所示，每一行表示同一個(gè)數(shù)據(jù)集在不同訓(xùn)練集比例下的分類準(zhǔn)確率，每一列表示在同一訓(xùn)練集劃分比例下，NSGAN在三個(gè)不同數(shù)據(jù)集中的實(shí)驗(yàn)結(jié)果；此外，圖2中NSGAN的實(shí)驗(yàn)結(jié)果是加上閾值之后的實(shí)驗(yàn)結(jié)果。每一個(gè)算法的實(shí)驗(yàn)結(jié)果是十次重復(fù)實(shí)驗(yàn)得到的平均值，保證了實(shí)驗(yàn)的有效性。

從實(shí)驗(yàn)結(jié)果可以看出，對(duì)于Cora數(shù)據(jù)集，當(dāng)訓(xùn)練集比例是0.05時(shí)，NSGAN的準(zhǔn)確率為0.81，而DeepWalk、node2vec、DGN和GAT的準(zhǔn)確率分別為0.69、0.72、0.80和0.78，本文方法比GAT的準(zhǔn)確率提高約3%。當(dāng)訓(xùn)練集比例增加為0.1時(shí)，NSGAN和GAT的實(shí)驗(yàn)結(jié)果的準(zhǔn)確率分別是0.83和0.81;當(dāng)訓(xùn)練集比例增加為0.2時(shí)，NSGAN和GAT的準(zhǔn)確率分別是0.86和0.84。很明顯，隨著訓(xùn)練集樣本的增加，分類準(zhǔn)確率不斷增加，NSGAN的準(zhǔn)確率普遍高于GAT等經(jīng)典的節(jié)點(diǎn)分類算法。在Citeseer和Pubmed數(shù)據(jù)集上，實(shí)驗(yàn)結(jié)果與在Cora數(shù)據(jù)集上的結(jié)果相似，隨著訓(xùn)練集樣本增加，分類準(zhǔn)確率增加。在三個(gè)真實(shí)的網(wǎng)絡(luò)中，通過(guò)隨機(jī)選擇一定比例的訓(xùn)練集數(shù)據(jù)進(jìn)行多次重復(fù)實(shí)驗(yàn)，結(jié)果表明，NSGAN的實(shí)驗(yàn)結(jié)果優(yōu)于傳統(tǒng)的圖注意力網(wǎng)絡(luò)方法及其他經(jīng)典算法。

考慮到評(píng)價(jià)指標(biāo)的影響，本文使用其他三種多分類評(píng)價(jià)指標(biāo)，在三個(gè)數(shù)據(jù)集及對(duì)應(yīng)的訓(xùn)練集比例上的實(shí)驗(yàn)結(jié)果如表4～6所示。

本文將每組實(shí)驗(yàn)的最優(yōu)結(jié)果加粗并加上下畫(huà)線。從表4可以看出，在Cora數(shù)據(jù)集上，當(dāng)訓(xùn)練集比例為0.05時(shí)，NSGAN的weighted-precision值為0.815，weighted-recall值為0.807，weighted-F1為0.806，比GAT等對(duì)比算法的實(shí)驗(yàn)結(jié)果提高了2%左右。在其他兩個(gè)數(shù)據(jù)集中，NSGAN的分類性能普遍高于傳統(tǒng)的GAT等節(jié)點(diǎn)分類算法。

為了進(jìn)一步分析本文NSGAN模型在節(jié)點(diǎn)分類任務(wù)上的實(shí)際效果，將三個(gè)數(shù)據(jù)集對(duì)應(yīng)的節(jié)點(diǎn)的嵌入表示通過(guò)t-SNE方法［36］進(jìn)行降維，轉(zhuǎn)換為二維向量表示，訓(xùn)練集比例為0.2，每一種顏色表示相同標(biāo)簽的節(jié)點(diǎn)，如圖3所示（見(jiàn)電子版）。轉(zhuǎn)換之后的節(jié)點(diǎn)特征表示在投影空間中表現(xiàn)出明顯的聚類現(xiàn)象，驗(yàn)證了NSGAN模型在節(jié)點(diǎn)分類任務(wù)中的有效性和實(shí)用價(jià)值。

3.5 超參數(shù)的分析

本文基于Cora、Citeseer數(shù)據(jù)集對(duì)超參數(shù)的影響進(jìn)行分析?？紤]對(duì)相似網(wǎng)絡(luò)的鄰接矩陣加上一個(gè)閾值進(jìn)行篩選，過(guò)濾掉相似度較低的關(guān)系對(duì)，避免因?yàn)槎却蟮墓?jié)點(diǎn)產(chǎn)生大量的相似節(jié)點(diǎn)而無(wú)法有效地捕獲節(jié)點(diǎn)的結(jié)構(gòu)特征［37］。在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如圖4、5所示。從圖4、5中可以發(fā)現(xiàn)，閾值對(duì)實(shí)驗(yàn)結(jié)果有顯著的影響。在兩個(gè)數(shù)據(jù)集上，當(dāng)閾值從0逐漸增加到0.1時(shí)，在兩個(gè)數(shù)據(jù)集上的節(jié)點(diǎn)分類準(zhǔn)確率也不斷提高。因?yàn)樵谀Ｐ吞崛」?jié)點(diǎn)的結(jié)構(gòu)特征時(shí)，并不是簡(jiǎn)單地增加節(jié)點(diǎn)的鄰接節(jié)點(diǎn)的數(shù)量便可以提取有效的結(jié)構(gòu)特征，必須去掉噪聲節(jié)點(diǎn)，保留相關(guān)的鄰接節(jié)點(diǎn)以有效地捕獲節(jié)點(diǎn)潛在的結(jié)構(gòu)特征。當(dāng)閾值從0.1不斷增加時(shí)，過(guò)濾的相似節(jié)點(diǎn)越來(lái)越多，那么基于局部信息的節(jié)點(diǎn)相似性學(xué)習(xí)節(jié)點(diǎn)的嵌入表示帶來(lái)的有效影響將越來(lái)越小，直到將所有相似節(jié)點(diǎn)全部過(guò)濾，實(shí)驗(yàn)結(jié)果返回到初始的狀態(tài)，圖中的水平線表示在其他參數(shù)相同時(shí)GAT的分類準(zhǔn)確率。隨著閾值增大，NSGAN逐漸趨向于與傳統(tǒng)的GAT模型的實(shí)驗(yàn)結(jié)果一致。

4 結(jié)束語(yǔ)

本文提出了一種新的節(jié)點(diǎn)分類模型，在傳統(tǒng)的圖注意力網(wǎng)絡(luò)的基礎(chǔ)上，考慮如何在嵌入空間中保存節(jié)點(diǎn)的相似性特征，使得模型學(xué)習(xí)到的節(jié)點(diǎn)嵌入更加準(zhǔn)確。NSGAN模型將節(jié)點(diǎn)相似性與圖注意力網(wǎng)絡(luò)結(jié)合在一起，首先通過(guò)基于局部信息的節(jié)點(diǎn)相似性指標(biāo)生成相似網(wǎng)絡(luò)，并在原始網(wǎng)絡(luò)和相似網(wǎng)絡(luò)上分別利用注意力機(jī)制學(xué)習(xí)節(jié)點(diǎn)的結(jié)構(gòu)特征；然后利用一個(gè)圖層次的注意力機(jī)制來(lái)學(xué)習(xí)兩個(gè)網(wǎng)絡(luò)生成的節(jié)點(diǎn)嵌入在具體的節(jié)點(diǎn)分類實(shí)驗(yàn)中的重要性；最后聚合在一起作為節(jié)點(diǎn)最終的嵌入表示。在三個(gè)真實(shí)數(shù)據(jù)集上對(duì)NSGAN進(jìn)行節(jié)點(diǎn)分類實(shí)驗(yàn)，結(jié)果表明，NSGAN比傳統(tǒng)的GAT等節(jié)點(diǎn)分類方法取得了更好的分類結(jié)果，證明了本文模型的有效性。在未來(lái)的研究中可考慮如何應(yīng)用于異質(zhì)網(wǎng)絡(luò)［38］上，將異質(zhì)網(wǎng)絡(luò)按照一定的標(biāo)準(zhǔn)生成多個(gè)同質(zhì)子網(wǎng)絡(luò)［39］，再利用本文提出的NSGAN捕獲網(wǎng)絡(luò)的結(jié)構(gòu)信息，得到更準(zhǔn)確的節(jié)點(diǎn)嵌入。

參考文獻(xiàn)：

［1］Scarselli F， Gori M， Tsoi A C， et al. The graph neural network mo-del［J］. IEEE Trans on Neural Networks， 2009，20（1）： 61-80.

［2］Kipf T N，Welling M. Semi-supervised classification with graph con-volutional networks［EB/OL］. （2017-02-22）. https：//doi.org/10.48550/arxiv.1609.02907.

［3］Velicˇkovic＇P，Cucurull G，Casanova A，et al. Graph attention networks［EB/OL］. （2018-02-04）. https：//doi.org/10.48550/arXiv.1710.10903.

［4］Zhao Jun，Zhou Zhou，Guan Ziyu，et al. IntentGC： a scalable graph convolution framework fusing heterogeneous information for recommendation［C］//Proc of the 25th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press，2019： 2347-2357.

［5］Huang Qingbao，Wei Jielong，Cai Yi，et al. Aligned dual channel graph convolutional network for visual question answering［C］//Proc of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg，PA： Association for Computational Linguistics，2020： 7166-7176.

［6］Sun Mengying，Zhao Sendong，Gilvary C，et al. Graph convolutional networks for computational drug development and discovery［J］. Briefings in Bioinformatics， 2020，21（3）： 919-935.

［7］Zhang Muhan，Chen Yixin. Link prediction based on graph neural networks［C］//Proc of the 32nd International Conference on Neural Information Processing Systems. Red Hook，NY： Curran Associates Inc.，2018： 5171-5181.

［8］Sun Jianyong，Zheng Wei，Zhang Qingfu，et al. Graph neural network encoding for community detection in attribute networks［J］. IEEE Trans on Cybernetics， 2022，52（8）： 7791-7804.

［9］Chaudhary A，Mittal H，Arora A. Anomaly detection using graph neural networks［C］//Proc of International Conference on Machine Learning，Big Data，Cloud and Parallel Computing. Piscataway，NJ： IEEE Press，2019： 346-350.

［10］Xiao Shun，Wang Shiping，Dai Yuanfei，et al. Graph neural networks in node classification： survey and evaluation［J］. Machine Vision and Applications， 2022，33（1）： article No.4.

［11］Zhu Xiaojin，Goldberg A B. Introduction to semi-supervised learning［M］//Synthesis Lectures on Artificial Intelligence and Machine Learning. Cham： Springer，2009.

［12］Wu Zonghan，Pan Shirui，Chen Fengwen，et al. A comprehensive survey on graph neural networks［J］. IEEE Trans on Neural Networks and Learning Systems， 2021，32（1）： 4-24.

［13］Hu Bin，Guo Kehua，Wang Xiaokang，et al. RRL-GAT： graph attention network-driven multilabel image robust representation learning［J］. IEEE Internet of Things Journal， 2022，9（12）： 9167-9178.

［14］Nicolson A，Paliwal K K. Masked multi-head self-attention for causal speech enhancement［J］. Speech Communication， 2020，125（12）： 80-96.

［15］Cokun M，Koyutürk M. Node similarity based graph convolution for link prediction in biological networks［J］. Bioinformatics， 2021，37（23）： 4501-4508.

［16］Liu Yong，Yang Susen，Xu Yonghui，et al. Contextualized graph attention network for recommendation with item knowledge graph［J］. IEEE Trans on Knowledge and Data Engineering， 2023，35（1）：181-195.

［17］Chen Lei，Cao Jie，Wang Youquan，et al. Multi-view graph attention network for travel recommendation［J］. Expert Systems with Applications， 2022，191（4）： 116234.

［18］Leskovec J，Adamic L A，Huberman B A. The dynamics of viral marketing［J］. ACM Trans on the Web， 2007，1（1）： 228-237.

［19］Wang Tao，Yin Liyan，Wang Xiaoxia. A community detection method based on local similarity and degree clustering information［J］. Phy-sica A： Statistical Mechanics and Its Applications， 2018，490（1）： 1344-1354.

［20］Pan Ying，Li Dehua，Liu Jianguo，et al. Detecting community structure in complex networks via node similarity［J］. Physica A： Statistical Mechanics and Its Applications， 2010，389（14）： 2849-2857.

［21］Real R，Vargas J M. The probabilistic basis of Jaccard’s index of similarity［J］. Systematic Biology，1996，45（3）： 380-385.

［22］Wang Xiao，Ji Houye，Shi Chuan，et al. Heterogeneous graph attention network［C］//Proc of World Wide Web Conference. New York： ACM Press，2019： 2022-2032.

［23］Kipf T N，Welling M. Variational graph auto-encoders［EB/OL］. （2016-11-21）. https：//doi.org/10.48550/arxiv.1611.07308.

［24］Velicˇkovic＇ P，F(xiàn)edus W，Hamilton W L，et al. Deep graph infomax［EB/OL］. （2018-12-21）. https：//doi.org/10.48550/arxiv.1809.10341.

［25］Wang Yuke，Lu Ling，Wu Yang，et al. Polymorphic graph attention network for Chinese NER［J］. Expert Systems with Applications， 2022，203（10）： 117467.

［26］Sen P，Namata G，Bilgic M，et al. Collective classification in network data［J］. AI Magazine，2008，29（3）： 93-93.

［27］Li Shibao，Huang Junwei，Zhang Zhigang，et al. Similarity-based future common neighbors model for link prediction in complex networks［J］. Scientific Reports，2018，8（1）：17014.

［28］Totaro S，Hussain A，Scardapane S. A non-parametric softmax for improving neural attention in time-series forecasting［J］. Neurocomputing， 2020，381（3）： 177-185.

［29］Wu Yuchen，Li Weijiang. Aspect-level sentiment classification based on location and hybrid multi attention mechanism［J］. Applied Intelligence，2022，52（10）： 11539-11554.

［30］Xu Keyulu，Hu Weihua，Leskovec J，et al. How powerful are graph neural networks？［EB/OL］. （2019-02-22）. https：//doi.org/10.48550/arXiv.1810.00826.

［31］McCallum A K，Nigam K，Rennie J，et al. Automating the construction of Internet portals with machine learning［J］. Information Retrieval， 2000，3（2）： 127-163.

［32］Perozzi B，Al-Rfou R，Skiena S. DeepWalk： online learning of social representations［C］//Proc of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press，2014： 701-710.

［33］Grover A，Leskovec J. node2vec： scalable feature learning for networks［C］//Proc of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press，2016： 855-864.

［34］Jin Taisong，Dai Huaqiang，Cao Liujuan，et al. DeepWalk-aware graph convolutional networks［J］. Science China Information Sciences，2022，65（5）：152104.

［35］Pranckevicˇius T，Marcinkevicˇius V. Comparison of naive Bayes，random forest，decision tree，support vector machines，and logistic regression classifiers for text reviews classification［J］. Baltic Journal of Modern Computing，2017，5（2）： 221-232.

［36］Van Der Maaten L，Hinton G. Visualizing data using t-SNE［J］. Journal of Machine Learning Research，2008，9（11）： 2579-2605.

［37］Zhao Jianan，Wang Xiao，Shi Chuan，et al. Heterogeneous graph structure learning for graph neural networks［C］//Proc of the 35th AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2021： 4697-4705.

［38］石川，王睿嘉，王嘯. 異質(zhì)信息網(wǎng)絡(luò)分析與應(yīng)用綜述［J］. 軟件學(xué)報(bào)，2022，33（2）：598-621. （Shi Chuan，Wang Ruijia，Wang Xiao. Survey on heterogeneous information networks analysis and applications［J］. Journal of Software，2022，33（2）： 598-621.）

［39］胡寶芳. 融合多語(yǔ)義元路徑的異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)方法研究［D］. 濟(jì)南： 山東師范大學(xué)，2019. （Hu Baofang. Research on heterogeneous network representation learning method fusing multi-semantic meta-paths［D］. Jinan： Shandong Normal University，2019.）

收稿日期：2022-07-29；修回日期：2022-09-25 基金項(xiàng)目：江蘇省高等學(xué)?；A(chǔ)學(xué)科（自然科學(xué)）研究面上項(xiàng)目（22KJD120002）

作者簡(jiǎn)介：劉淵（1997-），男，河南商丘人，碩士研究生，主要研究方向?yàn)閳D神經(jīng)網(wǎng)絡(luò)；趙紫娟（1995-），女，甘肅景泰人，博士研究生，主要研究方向?yàn)槌瑘D神經(jīng)網(wǎng)絡(luò)；楊凱（1987-），男（通信作者），山東泰安人，講師，博士，主要研究方向?yàn)閳D神經(jīng)網(wǎng)絡(luò)、網(wǎng)絡(luò)科學(xué)（yangk@fudan.edu.cn）．