王健宗，孔令煒，黃章成，肖 京

（平安科技（深圳）有限公司聯(lián)邦學(xué)習(xí)技術(shù)部，廣東深圳 518063）

0 概述

近年來，深度學(xué)習(xí)技術(shù)逐漸成為人工智能領(lǐng)域的研究熱點和主流發(fā)展方向，主要應(yīng)用于高維特征規(guī)則分布的非歐幾里德數(shù)據(jù)處理中，并且在圖像處理、語音識別和語義理解［1］等領(lǐng)域取得了顯著成果。圖的概念起源于18 世紀著名的柯尼斯堡七橋問題，到20 世紀中期擬陣理論、超圖理論和極圖理論等研究蓬勃發(fā)展，使得圖論［2］在電子計算誕生前已成為重要的數(shù)學(xué)研究領(lǐng)域。作為一種關(guān)系型數(shù)據(jù)結(jié)構(gòu)，圖在深度學(xué)習(xí)中的應(yīng)用在近年來受到越來越多的關(guān)注，圖的演進歷程被分為數(shù)學(xué)起源、計算應(yīng)用和神經(jīng)網(wǎng)絡(luò)延伸3 個階段。隨著計算機的出現(xiàn)和機器計算時代的到來和發(fā)展，圖作為一種能夠有效且抽象地表達信息和數(shù)據(jù)中的實體以及實體之間關(guān)系的重要數(shù)據(jù)結(jié)構(gòu)得到了廣泛應(yīng)用，圖數(shù)據(jù)庫有效解決了傳統(tǒng)的關(guān)系型數(shù)據(jù)結(jié)構(gòu)面對大量復(fù)雜數(shù)據(jù)存在的建模缺陷多、計算速度慢等問題，圖數(shù)據(jù)庫也成為熱門的研究方向。圖結(jié)構(gòu)［3］可以將結(jié)構(gòu)化數(shù)據(jù)點通過邊的形式，依照數(shù)據(jù)間的關(guān)系將不同類型和結(jié)構(gòu)的數(shù)據(jù)節(jié)點相連接，因此被廣泛地應(yīng)用在數(shù)據(jù)存儲、檢索以及計算中?；趫D結(jié)構(gòu)數(shù)據(jù)，知識圖譜［4-7］可以通過點和邊的語義關(guān)系精確地描述現(xiàn)實世界中實體之間的關(guān)聯(lián)關(guān)系，包括知識抽取、知識推理、知識圖譜可視化等研究方向。圖計算具有數(shù)據(jù)規(guī)模量大、局部性低、計算性能高等特性，圖計算算法［8-9］主要分為路徑搜索算法、中心性算法、社群發(fā)現(xiàn)算法3 類，其在關(guān)系復(fù)雜的大規(guī)模數(shù)據(jù)上具有時效性強和準確度高的性能表現(xiàn)，并且在社交網(wǎng)絡(luò)、團體反欺詐和用戶推薦等領(lǐng)域具有重要的應(yīng)用。

圖神經(jīng)網(wǎng)絡(luò)的研究主要集中于相鄰節(jié)點信息的傳播與聚合。2013 年，BRUNA 等人提出的基于圖論的圖神經(jīng)網(wǎng)絡(luò)［10］和DEFFERRARD 等人提出的頻域圖卷積神經(jīng)網(wǎng)絡(luò)［11］受到了業(yè)界的廣泛關(guān)注。2018年，BATTAGLIA 等人［12］在關(guān)系歸納偏置和深度學(xué)習(xí)技術(shù)的基礎(chǔ)上，提出面向關(guān)系推理的圖網(wǎng)絡(luò)概念，以期將深度學(xué)習(xí)的端到端學(xué)習(xí)方式與圖結(jié)構(gòu)的關(guān)系歸納推理理論相結(jié)合，解決深度學(xué)習(xí)無法處理的關(guān)系推理問題。2019 年，ZHANG 等人［13］從半監(jiān)督和無監(jiān)督角度對基于圖結(jié)構(gòu)的深度學(xué)習(xí)技術(shù)進行綜述，ZHOU 等人［14］從傳播規(guī)則和網(wǎng)絡(luò)結(jié)構(gòu)等角度分析圖神經(jīng)網(wǎng)絡(luò)模型及其應(yīng)用，WU 等人［15］對比了時域和空間域的圖卷神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。針對圖神經(jīng)網(wǎng)絡(luò)存在的其他問題，研究人員給出了很多解決方案，隨著對圖神經(jīng)網(wǎng)絡(luò)領(lǐng)域更加深入的研究與探索，人工智能領(lǐng)域的版圖將得到更大擴展。本文分析并比較6 種圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)劣，重點討論基于不同信息聚合方式的圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及5 種圖神經(jīng)網(wǎng)絡(luò)的研究領(lǐng)域，并對未來的發(fā)展方向進行展望。

1 圖結(jié)構(gòu)

1.1 圖結(jié)構(gòu)定義

圖神經(jīng)網(wǎng)絡(luò)處理的數(shù)據(jù)是在歐氏空間內(nèi)特征表示為不規(guī)則網(wǎng)絡(luò)的圖結(jié)構(gòu)數(shù)據(jù)，基本的圖結(jié)構(gòu)定義為：

其中，圖G由數(shù)據(jù)節(jié)點集合vi∈V、連接節(jié)點集合eij=(vi,vj)∈E組成，其映射到高維特征空間fG→f*所得到的鄰接矩陣表示為AN×N。

1.2 圖結(jié)構(gòu)分類

對于圖的構(gòu)成而言，可以從空間和時間兩個角度出發(fā)進行分析。從空間角度，圖結(jié)構(gòu)的變化可以通過節(jié)點和邊進行區(qū)分，如邊異構(gòu)的有向圖、權(quán)重圖、邊信息圖及節(jié)點異構(gòu)圖。從時間角度，引入節(jié)點在時序變化中的差異形成時空圖結(jié)構(gòu)。5 種典型的圖結(jié)構(gòu)示例如圖1 所示，不同圖結(jié)構(gòu)的結(jié)構(gòu)特征、圖模型和應(yīng)用場景如表1 所示，具體描述如下：

1）有向圖是指在圖結(jié)構(gòu)中連接節(jié)點之間的邊包含指向性關(guān)系，即節(jié)點之間的關(guān)聯(lián)就包含了方向的傳遞性關(guān)系，對于圖神經(jīng)網(wǎng)絡(luò)而言，這種傳遞關(guān)系和基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)神經(jīng)元中信號傳遞的結(jié)構(gòu)近似，有向圖的輸入是各個節(jié)點所對應(yīng)的參數(shù)。針對單向圖的處理方式，MATHIAS 等人［16］提出適用于單向圖的無監(jiān)督節(jié)點標簽判斷方式。對于有向圖中可能存在的雙向關(guān)系，KAMPFFMEYER 等人［17］提出通過雙向權(quán)重對應(yīng)的雙向鄰接矩陣表示雙向關(guān)系的模型ADGPM，利用知識圖譜解決零樣本學(xué)習(xí)問題，實現(xiàn)對神經(jīng)網(wǎng)絡(luò)傳遞更多的信息。

2）權(quán)重圖是指圖結(jié)構(gòu)中的邊包含權(quán)重信息，可以有效地描述節(jié)點之間相互作用的可靠程度，定量表示關(guān)系的連接程度。對于權(quán)重圖的處理，DUAN 等人［18］通過對動態(tài)權(quán)重有向圖進行歸一化處理，利用節(jié)點之間的關(guān)聯(lián)關(guān)系權(quán)重動態(tài)實現(xiàn)信息挖掘。

3）邊信息圖是指對于存在不同結(jié)構(gòu)邊的圖結(jié)構(gòu)，節(jié)點之間的關(guān)聯(lián)關(guān)系可以包含權(quán)重、方向以及異構(gòu)的關(guān)系，如在一個復(fù)雜的社交網(wǎng)絡(luò)圖中，節(jié)點之間的關(guān)聯(lián)關(guān)系既可以是單向的關(guān)注關(guān)系，也可以是雙向的朋友關(guān)系。對于包含復(fù)雜邊信息的圖結(jié)構(gòu)而言，復(fù)雜的關(guān)聯(lián)關(guān)系不能直接通過簡單的權(quán)重約束來表示，BECK 等人［19］提出一種將原始圖轉(zhuǎn)換成二分圖的模型G2S，在處理自然語言處理任務(wù)時，將每一個詞節(jié)點之間的關(guān)聯(lián)關(guān)系采用獨立編碼方式，大幅提升了語義理解效率。

4）節(jié)點異構(gòu)圖是指在圖G中的節(jié)點屬于多個不同類型的圖結(jié)構(gòu)，這種圖結(jié)構(gòu)通常根據(jù)異構(gòu)節(jié)點類型對節(jié)點進行向量表示，也可以通過獨熱編碼等編碼方式實現(xiàn)節(jié)點的向量表示。ZHANG 等人［20］提出一種通過元路徑對異構(gòu)圖結(jié)構(gòu)的文本進行編碼的方法，該方法根據(jù)異構(gòu)節(jié)點類型對鄰居節(jié)點進行分組，適用于節(jié)點分類［21］、文本向量化表示以及相似度搜索等任務(wù)。

5）時空圖是一種屬性圖結(jié)構(gòu)，其特點是高維特征空間f*中的特征矩陣X會隨時間變化，本文將其定義為G*=(V，E，A，X)。圖結(jié)構(gòu)隨著時間序列的引入，可以有效處理包含動態(tài)和時序關(guān)系類型的任務(wù)，YAN 等人［22］提出一種基于時空圖卷積神經(jīng)網(wǎng)絡(luò)的骨架運動檢測方法，YOU 等人［23］基于視頻標簽節(jié)點之間鄰接關(guān)系的相似度，提出一種利用多標簽視頻分類的圖神經(jīng)網(wǎng)絡(luò)方法。

圖1 5 種典型的圖結(jié)構(gòu)示例圖Fig.1 Example graphs of five typical graph structures

表1 5 種典型的圖結(jié)構(gòu)對比Table 1 Comparison of five typical graph structures

2 圖神經(jīng)網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)對于非歐幾里德數(shù)據(jù)在深度學(xué)習(xí)中的應(yīng)用具有重要作用，尤其是利用圖結(jié)構(gòu)在傳統(tǒng)貝葉斯因果網(wǎng)絡(luò)上可解釋的特點，對于定義深度神經(jīng)網(wǎng)絡(luò)關(guān)系可推理、因果可解釋的問題有較大的研究意義，因此如何利用深度學(xué)習(xí)技術(shù)對圖結(jié)構(gòu)的數(shù)據(jù)進行分析和推理引起了學(xué)者們的廣泛關(guān)注。本文對現(xiàn)有的圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進行總結(jié)與歸納，給出一個通用的圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如圖2 所示，將圖神經(jīng)網(wǎng)絡(luò)推理過程通過圖節(jié)點預(yù)表示、圖節(jié)點采樣、子圖提取、子圖特征融合、圖神經(jīng)網(wǎng)絡(luò)的生成和訓(xùn)練子過程進行表示，具體步驟如下：

1）圖節(jié)點預(yù)表示：通過圖嵌入方式對圖中每一個節(jié)點進行嵌入表示。

2）圖節(jié)點采樣：對圖中每個節(jié)點或存在的節(jié)點對的正負樣本進行采樣。

3）子圖提?。禾崛D中每一個節(jié)點的鄰節(jié)點構(gòu)建n階子圖，其中n表示第n層的鄰節(jié)點，從而形成通用的子圖結(jié)構(gòu)。

4）子圖特征融合：對每一個輸入神經(jīng)網(wǎng)絡(luò)的子圖進行局部或全局的特征提取。

5）圖神經(jīng)網(wǎng)絡(luò)生成和訓(xùn)練：定義網(wǎng)絡(luò)層數(shù)和輸入輸出參數(shù)，并對圖數(shù)據(jù)進行網(wǎng)絡(luò)訓(xùn)練。

圖2 圖神經(jīng)網(wǎng)絡(luò)通用結(jié)構(gòu)Fig.2 General structure of graph neural networks

本文將從頻域和空間域角度研究圖卷積網(wǎng)絡(luò)（Graph Convolutional Network，GCN），對比多種圖卷積神經(jīng)網(wǎng)絡(luò)［21］的發(fā)展歷程，介紹門控圖神經(jīng)網(wǎng)絡(luò)［24］、圖注意力網(wǎng)絡(luò)［25］、圖自動編碼器網(wǎng)絡(luò)［26］、空圖神經(jīng)網(wǎng)絡(luò)［27］和圖嵌入網(wǎng)絡(luò)［28］的模型結(jié)構(gòu)和實現(xiàn)方式，并從聚合方式、網(wǎng)絡(luò)結(jié)構(gòu)和應(yīng)用優(yōu)勢的角度對比分析上述圖神經(jīng)網(wǎng)絡(luò)模型的差異。

2.1 圖卷積神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)技術(shù)的流行與卷積神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用密不可分，圖卷積神經(jīng)網(wǎng)絡(luò)從特征空間來看可以分為頻域和空間域兩類。圖卷積神經(jīng)網(wǎng)絡(luò)將原始圖結(jié)構(gòu)的數(shù)據(jù)G=(V，E)映射到一個新的特征空間fG→f*。以單層前向傳播圖卷積神經(jīng)網(wǎng)絡(luò)為例，第i層神經(jīng)網(wǎng)絡(luò)的特征用ωi表示，在計算圖結(jié)構(gòu)中的每一個節(jié)點vi時，每一層神經(jīng)網(wǎng)絡(luò)的輸出Hl+1都可以通過非線性函數(shù)f(?， ?)表示為Hl+1=f(Hl，A)，其中A為特征鄰接矩陣。通過非線性激活函數(shù)ReLU=σ(?)實現(xiàn)圖卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其分層傳播規(guī)則如下：

2.1.1 基于頻域的圖卷積神經(jīng)網(wǎng)絡(luò)

頻域的圖卷積神經(jīng)網(wǎng)絡(luò)基于圖信號處理［29］，將圖神經(jīng)網(wǎng)絡(luò)的卷積層定義為一個濾波器，即通過濾波器去除噪聲信號從而得到輸入信號的分類結(jié)果。在實際應(yīng)用中只能用于處理無向且邊上無信息的圖結(jié)構(gòu)。將輸入信號的圖定義為可特征分解的拉普拉斯矩陣，進行歸一化和特征分解后可以表示為通用結(jié)構(gòu)UAUT，對角矩陣A由特征值λi按序排列組成。BRUNA 等人［10］提出頻域圖卷積神經(jīng)網(wǎng)絡(luò)，并定義卷積層函數(shù)。假設(shè)頻域圖卷積神經(jīng)網(wǎng)絡(luò)為圖信號處理中的濾波器，特征分解需要至少O(n3)的計算復(fù)雜度和O(n2)的存儲空間，當(dāng)輸入圖數(shù)據(jù)為稀疏矩陣時，可以通過隨機特征分解等方法在保證精度的情況下將時間復(fù)雜度降至O(n2r+r3)，其中r為近似矩陣的秩，遠小于n。

HENAFF 等人［30］提出基于插值內(nèi)核的圖卷積神經(jīng)網(wǎng)絡(luò)。在頻域卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上構(gòu)建無監(jiān)督和有監(jiān)督推理預(yù)測方案，從圖神經(jīng)網(wǎng)絡(luò)通用結(jié)構(gòu)中可以看出，圖節(jié)點預(yù)表示可以根據(jù)數(shù)據(jù)預(yù)測相似性矩陣，該方法也適用于大規(guī)模圖像和文本分類等問題中。

DEFFERRARD 等人［11］提出基于切比雪夫多項式的頻域卷積濾波器ChebNet，其中切比雪夫多項式是由特征值對角矩陣的項所組成，通過將切比雪夫展開式Ti(x)替換原始GCN 中通用頻域卷積濾波器gθ的特征分解部分，從而有效避免特征分解的計算部分，將計算復(fù)雜度從O(n3)降低至O(LE)，其中，E為輸入圖G中邊的數(shù)量，L為多項式階數(shù)且與圖的大小成正比。一階切比雪夫圖卷積神經(jīng)網(wǎng)絡(luò)［27］則是利用一階切比雪夫展開更好地提升了網(wǎng)絡(luò)的計算效率。針對包含復(fù)雜屬性的節(jié)點異構(gòu)圖，可以通過圖卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn)節(jié)點的聚類。為提升屬性圖的信息提取性能和模型效果，ZHANG 等人［31］提出AGC 自適應(yīng)圖卷積方法，利用高階圖卷積獲取全局聚類結(jié)構(gòu)來定義k階圖卷積，從而實現(xiàn)對于復(fù)雜異質(zhì)圖的處理。

2.1.2 基于空間域的圖卷積神經(jīng)網(wǎng)絡(luò)

與深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)對圖像的像素點進行卷積運算類似，基于空間的圖卷積神經(jīng)網(wǎng)絡(luò)通過計算中心單一節(jié)點與鄰節(jié)點之間的卷積來表示鄰節(jié)點間信息的傳遞和聚合，從而生成新的特征域節(jié)點表示。SCARSELLI 等人［32］提出一種利用基于相同圖卷積結(jié)構(gòu)的循環(huán)函數(shù)，遞歸地實現(xiàn)空間圖卷積神經(jīng)網(wǎng)絡(luò)的收斂方法，該方法可以支持節(jié)點和邊上分別包含特定屬性的異構(gòu)圖，是契合傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)基本思想的方法。DAI 等人［33］提出隨機穩(wěn)態(tài)圖神經(jīng)網(wǎng)絡(luò)迭代算法SSE，對于每個擁有不同數(shù)量鄰節(jié)點的節(jié)點，在每次卷積迭代過程中利用雙向權(quán)重矩陣W1、W2更新節(jié)點的特征表示。

隨機穩(wěn)態(tài)圖神經(jīng)網(wǎng)絡(luò)不支持邊上包含的信息，通過兩個權(quán)重函數(shù)分別對全部的節(jié)點集合v∈VN和包含信息的節(jié)點集合v∈VM進行卷積處理，從而使得圖卷積神經(jīng)網(wǎng)絡(luò)的迭代效率得到提升。圖結(jié)構(gòu)數(shù)據(jù)中的節(jié)點存在極多的關(guān)系導(dǎo)致參數(shù)數(shù)量過多，在此情況下，引入基礎(chǔ)分解和塊對角分解兩種方式可以有效解決過擬合問題。關(guān)系圖卷積神經(jīng)網(wǎng)絡(luò)可以應(yīng)用于以節(jié)點為中心的實體分類問題和以邊為中心的鏈接預(yù)測問題中。

ATWOOD 等人［34］提出基于圖結(jié)構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network，DCNN），通過卷積傳播方式擴散性地掃描圖結(jié)構(gòu)中的每一個頂點，替代了一般圖卷積神經(jīng)網(wǎng)絡(luò)基于矩陣特征的卷積形式，DCNN 的參數(shù)是由搜索深度而不是節(jié)點在圖結(jié)構(gòu)中的位置決定，可以用于節(jié)點、邊以及圖結(jié)構(gòu)等多種分類任務(wù)，但由于計算轉(zhuǎn)移概率的時間復(fù)雜度較高，并且不適用于大規(guī)模的圖結(jié)構(gòu)數(shù)據(jù)，因此ZHUANG 等人［35］在傳播和鄰接矩陣兩種卷積結(jié)構(gòu)的基礎(chǔ)上提出一種雙路圖卷積神經(jīng)網(wǎng)絡(luò)，將半監(jiān)督圖卷積［29］和轉(zhuǎn)移概率的正逐點互信息（Positive Pointwise Mutual Information，PPMI）矩陣作為卷積運算鄰接矩陣來更好地提升模型的信息抽取效果［36-37］。

表2 從頻域和空間域角度對圖卷積神經(jīng)網(wǎng)絡(luò)進行分析對比，其中，√表示具備可擴展性，×表示不具備可擴展性。頻域圖卷積神經(jīng)網(wǎng)絡(luò)主要依賴頻域矩陣的特征分解，對比網(wǎng)絡(luò)包括Spectral Network［26］、ChebNet［29］、1stChebNet［20］、AGCN［38］和AGC［31］，而空間域圖卷積神經(jīng)網(wǎng)絡(luò)主要借助鄰節(jié)點特征信息的聚合來定義圖數(shù)據(jù)上的卷積運算，對比網(wǎng)絡(luò)包括GNN［32］、DCNN［34］、MGCN［39］、SSE［33］、DGCN［35］、PinSage［40］、MPNN［37］、GraphSage［36］和Fast-GCN［41］。同時，關(guān)于圖卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化方式的研究也有很多，針對高階圖卷積在空間域圖卷積中性能較差的問題，引入稀疏鄰域來替代頻域圖卷積的MixHop［42］。

表2 圖卷積神經(jīng)網(wǎng)絡(luò)對比Table 2 Comparison of graph convolutional neural networks

2.2 門控圖神經(jīng)網(wǎng)絡(luò)

目前，基于門控機制的遞歸神經(jīng)網(wǎng)絡(luò)的研究也得到學(xué)者們的廣泛關(guān)注，例如基于門控循環(huán)單元（Gated Recurrent Unit，GRU）的門控圖神經(jīng)網(wǎng)絡(luò)（Gated Graph Neural Network，GGNN）［43］通過GRU 控制網(wǎng)絡(luò)傳播過程中固定步數(shù)的迭代循環(huán)來實現(xiàn)GGNN 結(jié)構(gòu)，利用節(jié)點來建立鄰節(jié)點之間的聚合信息，然后基于循環(huán)門控單元實現(xiàn)遞歸過程中每個節(jié)點隱藏狀態(tài)的更新。

TAI 等人［44］提出基于子節(jié)點的樹狀長短時記憶網(wǎng)絡(luò)（Tree-LSTM）用于處理圖神經(jīng)網(wǎng)絡(luò)中的語義表示問題。門控圖神經(jīng)網(wǎng)絡(luò)除了基于門控循環(huán)單元和LSTM 的基礎(chǔ)模型外還有很多變種，例如：YOU 等人［45］利用分層循環(huán)遞歸網(wǎng)絡(luò)分別生成新的節(jié)點和節(jié)點對應(yīng)的邊，從而將圖遞歸神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖生成問題；PENG 等人［46］提出利用不同的權(quán)重矩陣來表示不同標簽的圖長短時神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；MA 等人［47］將時間感知LSTM 與圖神經(jīng)網(wǎng)絡(luò)相結(jié)合，利用LSTM來更新兩個關(guān)聯(lián)節(jié)點和對應(yīng)的鄰居節(jié)點的表示，提出動態(tài)圖神經(jīng)網(wǎng)絡(luò)，更好地解決傳播效應(yīng)問題。

2.3 圖注意力網(wǎng)絡(luò)

對于圖神經(jīng)網(wǎng)絡(luò)中的注意力機制，借助于注意力模塊取代一般圖卷積神經(jīng)網(wǎng)絡(luò)中的卷積激活器，在不同方法中結(jié)合門控信息來提升注意力機制感受域的權(quán)重參數(shù)，達到更好的推理和應(yīng)用性能。

圖卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)了對圖結(jié)構(gòu)數(shù)據(jù)的節(jié)點分類，而注意力機制目前在自然語言處理領(lǐng)域有著非常好的效果和表現(xiàn)。對于圖注意力機制［25，48］而言，鄰居節(jié)點的特征累加求和過程與圖卷積神經(jīng)網(wǎng)絡(luò)完全不同，通過全局注意力機制替代卷積分層傳遞的固化操作，可以有效選擇在圖結(jié)構(gòu)中更為重要的節(jié)點、子圖、模型、路徑分配更大的注意力權(quán)重［48］。

圖注意力網(wǎng)絡(luò)中的注意力權(quán)重被表示為，對于第l層網(wǎng)絡(luò)而言，定義節(jié)點為=Wlhi，其中，hi是注意力模型中的節(jié)點向量，Wl表示為一個可變化的線性變換參數(shù)，那么節(jié)點間的注意力分數(shù)就會根據(jù)注意力權(quán)重的不同進行迭代。與圖卷積神經(jīng)網(wǎng)絡(luò)的分層傳播規(guī)則不同，圖注意力網(wǎng)絡(luò)將原有的常數(shù)參數(shù)替換為表示鄰節(jié)點權(quán)重的注意力參數(shù)。

ZHANG等人［49］提出一種通過卷積子網(wǎng)絡(luò)來控制分配權(quán)重的自我注意力機制，利用循環(huán)門控單元解決流量速度預(yù)測問題。LEE等人［50］提出結(jié)合LSTM與注意力機制的圖節(jié)點分類方法。ABU-EL-HAIJA等人［42］提出一種注意力游走方法，將圖注意力機制應(yīng)用于節(jié)點嵌入中。

在現(xiàn)實世界中信息在被表示成節(jié)點和邊構(gòu)成的拓撲結(jié)構(gòu)時通常是異構(gòu)的，廣義上被定義為異構(gòu)信息網(wǎng)絡(luò)（Heterogeneous Information Network，HIN）［51］，而現(xiàn)階段的圖神經(jīng)網(wǎng)絡(luò)多數(shù)聚焦于同構(gòu)圖的處理分析，對于節(jié)點異構(gòu)和邊異構(gòu)的圖結(jié)構(gòu)而言，巨大的信息量和復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)帶來了更大的挑戰(zhàn)和研究價值。WANG 等人［52］提出一種基于注意力機制的異構(gòu)圖注意力網(wǎng)絡(luò)，將節(jié)點和邊的異構(gòu)性表達為不同類型的語義信息，通過節(jié)點層的注意力來判斷相同屬性鄰節(jié)點的重要性，同時利用語義層的注意力選擇有意義的元路徑，節(jié)點層利用注意力來表示不同節(jié)點的重要性。圖注意力網(wǎng)絡(luò)的研究還集中于圖像語義推理、上下文推理等方面。具體地，YANG 等人［53］在處理利用自然語言來表示圖像中的描述對象問題時，通過抽取圖像中對象之間的語義關(guān)系建立關(guān)聯(lián)圖結(jié)構(gòu)，借助動態(tài)圖注意力網(wǎng)絡(luò)（DGA）來實現(xiàn)更好的語義推理能力。

2.4 圖自動編碼器網(wǎng)絡(luò)

自動編碼器是深度神經(jīng)網(wǎng)絡(luò)中常用的一種無監(jiān)督學(xué)習(xí)方式，對于圖結(jié)構(gòu)數(shù)據(jù)而言，自動編碼器可以有效處理節(jié)點表示問題。最早的圖自動編碼器是由TIAN 等人［26］于2014 年提出的稀疏自動編碼器（SAE），通過將圖結(jié)構(gòu)的鄰接矩陣表示為原始節(jié)點特征，利用自動編碼器將其轉(zhuǎn)化為低維的節(jié)點表示。稀疏自動編碼問題被轉(zhuǎn)化為反向傳播的最優(yōu)解問題，即最小化原始傳輸矩陣和重建矩陣之間的最優(yōu)解問題。在結(jié)構(gòu)深度網(wǎng)絡(luò)嵌入方法［54-55］中，將損失函數(shù)表達為鄰接矩陣的形式，證明了兩個具有相似鄰節(jié)點的節(jié)點有相似的潛在特征表示，并且結(jié)構(gòu)深度網(wǎng)絡(luò)嵌入方法引入類似拉普拉斯特征映射來替代目標函數(shù)。變分圖自動編碼器（VGAE）［56］將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖自動編碼器結(jié)構(gòu)，對于非概率變體的圖自動編碼器，定義由隨機隱藏變量zi組成的矩陣Z，那么編碼器可以表示為Z=GCN(X，A)。結(jié)合結(jié)構(gòu)深度網(wǎng)絡(luò)嵌入的方法，ZHU 等人［57］提出利用高斯分布進行節(jié)點表示的方法，并選擇EM 距離作為目標損失函數(shù)，能夠有效地反映距離信息特征。

2.5 時空圖神經(jīng)網(wǎng)絡(luò)

時空圖神經(jīng)網(wǎng)絡(luò)作為一種引入了時間序列特征的屬性圖網(wǎng)絡(luò)，可以同時獲取圖結(jié)構(gòu)中時間和空間域的特征信息，每一個節(jié)點的特征都會隨著時間的變化而變化。本文主要討論在空間域采用圖卷積來提取空間特征依賴的時空圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，主要分為傳統(tǒng)卷積網(wǎng)絡(luò)、門控循環(huán)網(wǎng)絡(luò)和圖卷積網(wǎng)絡(luò)3 種時域特征獲取方法。圖3 給出了圖卷積神經(jīng)網(wǎng)絡(luò)、圖自動編碼器網(wǎng)絡(luò)（以變分圖卷積自動編碼器為例）和時空圖神經(jīng)網(wǎng)絡(luò)（以1D-CNN+GCN 結(jié)構(gòu)為例）的網(wǎng)絡(luò)結(jié)構(gòu)對比，3 種網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建基礎(chǔ)均為圖卷積計算單元，其中，φ為矩陣Z和ZT之間的元素距離，MLP 全連接表示多層感知機全連接神經(jīng)網(wǎng)絡(luò)。

圖3 圖卷積神經(jīng)網(wǎng)絡(luò)、圖自動編碼器網(wǎng)絡(luò)和時空圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對比Fig.3 Structure comparison of graph convolutional neural network，graph autoencoder network and spatiotemporal graph neural network

YU 等人［58］在實時交通預(yù)測問題中，利用時空圖的特性解決交通流的高度非線性和復(fù)雜性問題，提出一種時空圖神經(jīng)網(wǎng)絡(luò)，采用一維卷積神經(jīng)網(wǎng)絡(luò)（1D-CNN）沿時間序列X[i，：，：]∈?T×N×D傳播聚合時域特征，其中，T為時間步長，N為節(jié)點數(shù)量，D為節(jié)點向量維度。同時圖卷積神經(jīng)網(wǎng)絡(luò)作為每個時間點上的空間信息聚合器，構(gòu)成如圖3（c）所示的時空圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。HUANG 等人［27］提出擴散遞歸卷積神經(jīng)網(wǎng)絡(luò)，采用門控圖神經(jīng)網(wǎng)絡(luò)中的門控遞歸單元獲取時域依賴性。為結(jié)合循環(huán)單元GRU 獲取的時間序列異步信息及圖卷積神經(jīng)網(wǎng)絡(luò)捕獲的空間鄰節(jié)點信息，SIMONYAN 等人［59］設(shè)計一種改進的擴散卷積門控遞歸單元（DCGRU）結(jié)構(gòu)來更好地提升時空特征的依賴性。

YAN 等人［60］將事件流擴展為圖結(jié)構(gòu)中的邊信息，通過圖卷積神經(jīng)網(wǎng)絡(luò)模型同時提取時域和空間域中的信息特征，將運動過程中人體抽象的骨節(jié)作為節(jié)點進行檢測，并且其延續(xù)了文獻［29］的定義，將分層傳播規(guī)則延伸為時空圖神經(jīng)網(wǎng)絡(luò)的輸入和輸出，從而基于邊信息的提取實現(xiàn)時域和空間域信息的提取和學(xué)習(xí)。

2.6 圖嵌入網(wǎng)絡(luò)

圖結(jié)構(gòu)中的每一個節(jié)點和邊對于深度神經(jīng)網(wǎng)絡(luò)而言都是不規(guī)則的抽象數(shù)據(jù)，而通過圖嵌入方法對節(jié)點和邊賦予數(shù)值張量，能將圖結(jié)構(gòu)類比于深度神經(jīng)網(wǎng)絡(luò)所處理的圖像數(shù)據(jù)，賦予的數(shù)值就如同圖像中像素數(shù)量和像素對應(yīng)的值。在實現(xiàn)圖嵌入網(wǎng)絡(luò)的算法中，最基礎(chǔ)的算法就是深度隨機游走算法［61］，其將語言模型的語義理解任務(wù)經(jīng)過文本分詞后得到的詞視為圖結(jié)構(gòu)中的節(jié)點，而連接節(jié)點的邊則通過隨機游走實現(xiàn)。每一次隨機游走所連接的節(jié)點形成的路徑就是由單詞所構(gòu)成的隨機句子，這樣的隨機圖結(jié)構(gòu)網(wǎng)絡(luò)可以通過N維矩陣的形式進行表示。在深度隨機游走網(wǎng)絡(luò)中，隨機游走長度通常是需要人為確定的超參數(shù)，為解決這一問題，ABU-EL-HAIJA 等人［62］基于深度學(xué)習(xí)理念，提出基于反向傳播的可學(xué)習(xí)超參數(shù)，并引入基于轉(zhuǎn)移矩陣冪級數(shù)的圖注意力網(wǎng)絡(luò)結(jié)構(gòu)，通過對上層目標函數(shù)的分析來優(yōu)化超參數(shù)的選擇，從而實現(xiàn)超參數(shù)的可學(xué)習(xí)性。

現(xiàn)階段的空間圖卷積神經(jīng)網(wǎng)絡(luò)受限于網(wǎng)絡(luò)復(fù)雜度和節(jié)點表示效果，一般只能用于處理同構(gòu)圖［15］，而直接將異構(gòu)關(guān)系抽象為同構(gòu)圖后會損失較多的特征信息。對于屬性多元異構(gòu)網(wǎng)絡(luò)嵌入，CHEN 等人［63］提出的HGR 模型有效提取了視頻文本匹配任務(wù)中圖數(shù)據(jù)的全局和局部特征，并且適用于抽象場景圖。

表3 從圖結(jié)構(gòu)和性能優(yōu)劣勢角度，對7 種圖神經(jīng)網(wǎng)絡(luò)進行了分析和對比。

表3 圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對比Table 3 Structure comparison of graph neural networks

3 圖神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域

3.1 圖生成和圖對抗

圖生成的目標是基于一組可觀察圖來生成圖，其中的很多網(wǎng)絡(luò)均為領(lǐng)域特定，例如：在分子圖生成方面，一些研究將分子圖的表征建模為字符串［64-65］；在自然語言處理方面，生成語義圖或知識圖通常需要一個給定的句子［66-67］。最近，研究人員提出了一些通用方法，例如將圖生成過程看成節(jié)點或邊的形成［68］，使用生成對抗網(wǎng)絡(luò)實現(xiàn)生物分子圖的訓(xùn)練［69］和基于隨機游走的圖生成網(wǎng)絡(luò)［70］。

圖對抗網(wǎng)絡(luò)的研究主要集中于圖網(wǎng)絡(luò)的可靠性和安全性方面，盡管圖神經(jīng)網(wǎng)絡(luò)模型取得了一定的研究進展，但通常缺乏可解釋性和穩(wěn)健性，尤其是通過領(lǐng)域特征的聚合方式進行網(wǎng)絡(luò)構(gòu)建時需要利用節(jié)點敏感信息，因此存在被攻擊的風(fēng)險［71-72］。

3.2 圖強化學(xué)習(xí)

在圖強化學(xué)習(xí)中，學(xué)習(xí)控制問題通常采用馬爾科夫決策過程（Markov Decision Process，MDP）［73］估計長期回報問題。根據(jù)圖中節(jié)點所表述的決策狀態(tài)，利用轉(zhuǎn)移概率矩陣表示相似性矩陣。通過使用可學(xué)習(xí)的表示來實現(xiàn)線性逼近值函數(shù)，其近似值函數(shù)為狀態(tài)圖上第一個拉普拉斯特征映射的線性組合。

DONNAT等人［74］提出的方法基于以節(jié)點為中心的譜圖小波的擴散來學(xué)習(xí)節(jié)點表示。MADJIHEUREM等人［75］在表示策略迭代（Representation Policy Iteration，RPI）［76］階段使用原始數(shù)據(jù)集構(gòu)建無向加權(quán)圖。利用有限數(shù)量的樣本構(gòu)造圖結(jié)構(gòu)，其派生的原始值函數(shù)不一定能夠反映基礎(chǔ)狀態(tài)空間，但可以通過函數(shù)來測量圖函數(shù)的全局平滑度。當(dāng)來自平滑函數(shù)的值vi、vj駐留在兩個連接良好的節(jié)點上時，則預(yù)期它們之間的距離較小，即圖函數(shù)具有較高的平滑度。

3.3 圖遷移學(xué)習(xí)

遷移學(xué)習(xí)是運用已有知識對相關(guān)領(lǐng)域問題進行求解的一種機器學(xué)習(xí)方法。BOSCAINI 等人［77］提出的局部SCNN 模型方法可以提取可變形狀的屬性。BRUNA 等人［10］提出的圖卷積結(jié)構(gòu)是廣義SCNN 模型圖遷移學(xué)習(xí)框架的關(guān)鍵組成部分，其借鑒傅里葉變換思想將網(wǎng)格域中的CNN 應(yīng)用于圖結(jié)構(gòu)域。

LEE 等人［78］提出的圖遷移學(xué)習(xí)方法由5 個步驟組成，前3 個步驟根據(jù)輸入生成圖，并從圖結(jié)構(gòu)中識別結(jié)構(gòu)特征，后2 個步驟是基于特征學(xué)習(xí)和圖相似性應(yīng)用遷移學(xué)習(xí)進行分類和推薦等任務(wù)的推理。PAN 等人［79］指出在遷移學(xué)習(xí)環(huán)境中的域由特征空間和概率分布組成，對于給定域可以通過任務(wù)來表示具有標簽的空間和訓(xùn)練數(shù)據(jù)預(yù)測函數(shù)。在兩個圖域相似的情況下，在遷移圖中學(xué)習(xí)到的內(nèi)在幾何信息可以通過快速建立遷移學(xué)習(xí)模型，并利用來自異構(gòu)數(shù)據(jù)集的圖譜特征，大幅提升學(xué)習(xí)效率。

3.4 神經(jīng)任務(wù)圖

任務(wù)圖［80］通過表示任務(wù)的組成與時序來有效執(zhí)行任務(wù)。神經(jīng)任務(wù)圖網(wǎng)絡(luò)［81］將任務(wù)圖與神經(jīng)網(wǎng)絡(luò)相結(jié)合，能夠更加高效地調(diào)度與學(xué)習(xí)任務(wù)。通過視覺模擬學(xué)習(xí)方法，神經(jīng)任務(wù)圖網(wǎng)絡(luò)將組合任務(wù)引入中間任務(wù)的表示和策略中，在照片渲染的模擬環(huán)境和現(xiàn)實世界的視頻數(shù)據(jù)集中，神經(jīng)任務(wù)圖的表現(xiàn)比非結(jié)構(gòu)化表示方法以及人工設(shè)計的分層結(jié)構(gòu)化表示方法效果更好。神經(jīng)任務(wù)圖顯著提高了復(fù)雜任務(wù)的運行效率，通過神經(jīng)任務(wù)圖的組合實現(xiàn)從原始視頻數(shù)據(jù)到復(fù)雜任務(wù)的仿真，并在神經(jīng)任務(wù)圖訓(xùn)練過程中利用節(jié)點的嵌入表示解決動作模擬任務(wù)中缺少訓(xùn)練數(shù)據(jù)的問題。

3.5 圖零樣本學(xué)習(xí)

圖神經(jīng)網(wǎng)絡(luò)在零樣本學(xué)習(xí)的圖像和視頻分類任務(wù)中具有廣泛應(yīng)用，通過借助圖結(jié)構(gòu)中節(jié)點之間的強關(guān)聯(lián)性，可以有效泛化樣本缺乏情況下需要生成預(yù)測新類別的問題?；谥R圖的零樣本學(xué)習(xí)是利用現(xiàn)有知識庫或者知識圖譜中結(jié)構(gòu)化的關(guān)系信息，在未知任何樣本數(shù)據(jù)的情況下進行推理學(xué)習(xí)解決樣本分類的問題。

WANG 等人［82］提出基于圖卷積神經(jīng)網(wǎng)絡(luò)的零樣本圖像分類方法，通過圖卷積處理未知權(quán)重信息的知識圖。對于圖神經(jīng)網(wǎng)絡(luò)而言，在解決零樣本學(xué)習(xí)問題的過程中，當(dāng)知識傳播層數(shù)較高時會降低處理效率。LEE 等人［83］提出同時預(yù)測多個未知標簽的零樣本學(xué)習(xí)方法，有效地解決了多樣本分類問題。

表4 對圖神經(jīng)網(wǎng)絡(luò)的研究領(lǐng)域進行簡要的概述和總結(jié)。

表4 圖神經(jīng)網(wǎng)絡(luò)的研究領(lǐng)域總結(jié)Table 4 Summary of research fields of graph neural networks

4 圖神經(jīng)網(wǎng)絡(luò)應(yīng)用方向

圖神經(jīng)網(wǎng)絡(luò)在不同任務(wù)和所處的時間、空間或頻域中均具有廣泛應(yīng)用，主要分為文本處理、圖像處理、圖系統(tǒng)、動作檢測4 個應(yīng)用方向。

4.1 圖神經(jīng)網(wǎng)絡(luò)在文本處理中的應(yīng)用

對于文本向量化表示而言，圖神經(jīng)網(wǎng)絡(luò)可以對句子和詞級別的文本進行處理，文獻［25］通過密集圖傳播模塊來實現(xiàn)距離較遠的文本節(jié)點的關(guān)聯(lián)關(guān)系表示。文獻［61-62］則通過圖嵌入的方式來實現(xiàn)節(jié)點的向量化表示，用于文本詞向量和句向量的推理。

在文本分類領(lǐng)域，文獻［84］利用基于雙向圖長短時記憶網(wǎng)絡(luò)，實現(xiàn)了每個文本詞向量的雙向狀態(tài)表示，從而達到了更好的文本分類效果。文獻［85］通過遞歸正則化的方式，更有效地獲取非連續(xù)語義和長距離語義。

圖神經(jīng)網(wǎng)絡(luò)也可以應(yīng)用于文本的序列標注。對于文本圖結(jié)構(gòu)的詞節(jié)點而言，每個節(jié)點的序列生成可以通過圖生成網(wǎng)絡(luò)的方式來實現(xiàn)，文獻［83］通過節(jié)點對象強化的圖生成網(wǎng)絡(luò)OR-GAN 進行序列生成。文獻［86］利用圖長短時記憶網(wǎng)絡(luò)對句法信息中文本節(jié)點間的關(guān)聯(lián)關(guān)系進行建模，得到每個詞節(jié)點的潛在特征用于序列標注。

關(guān)系推理［87］是指從復(fù)雜的語義信息中推理出文字節(jié)點之間的關(guān)聯(lián)關(guān)系。文獻［19］通過關(guān)系圖卷積R-GCN 來完成文本實體間關(guān)系的抽取和屬性分類。文獻［46］利用圖長短時記憶網(wǎng)絡(luò)構(gòu)建文本序列中跨多個句子時的N元關(guān)系，通過上下文中文本實體之間的關(guān)系進行任務(wù)推理。

4.2 圖神經(jīng)網(wǎng)絡(luò)在圖像處理中的應(yīng)用

在圖像分類的任務(wù)中，零樣本和少樣本學(xué)習(xí)的任務(wù)通常需要借助知識圖譜的先驗知識來提升識別效果。圖神經(jīng)網(wǎng)絡(luò)有效提升了知識圖譜的推理效率。文獻［17］通過深度圖傳播方法將異構(gòu)圖結(jié)構(gòu)用于知識推理，利用中間節(jié)點的特征信息來優(yōu)化知識的稀疏度。文獻［85］借助圖神經(jīng)網(wǎng)絡(luò)將少樣本學(xué)習(xí)的任務(wù)轉(zhuǎn)化為可以端到端訓(xùn)練的監(jiān)督學(xué)習(xí)任務(wù)。

4.3 圖神經(jīng)網(wǎng)絡(luò)在圖系統(tǒng)中的應(yīng)用

對于推薦系統(tǒng)而言，用戶與項目的關(guān)系可以構(gòu)成二部圖，用戶與用戶之間可以構(gòu)成社交網(wǎng)絡(luò)，項目與項目則可以構(gòu)建知識圖譜和異構(gòu)圖，通過圖神經(jīng)網(wǎng)絡(luò)可以為用戶進行商品推薦。文獻［78］利用基于上下文的圖自注意力網(wǎng)絡(luò)實現(xiàn)了高效的會話推薦。

如何構(gòu)建和提升知識圖譜的應(yīng)用效果一直是圖領(lǐng)域備受關(guān)注的研究方向。文獻［21］利用知識圖譜實現(xiàn)了基于知識遷移的圖小樣本學(xué)習(xí)方法。文獻［82-83］均通過知識圖譜的推理來實現(xiàn)和完成圖零樣本學(xué)習(xí)任務(wù)。文獻［88］介紹了如何挖掘知識圖譜以實現(xiàn)大規(guī)模企業(yè)級應(yīng)用。

作為生物學(xué)的研究領(lǐng)域，分子的構(gòu)成是天然的圖結(jié)構(gòu)。文獻［20］利用端到端的圖卷積網(wǎng)絡(luò)實現(xiàn)了圓形指紋的分子特征提取方法。文獻［39］進一步將圖卷積方法應(yīng)用于生物分子圖領(lǐng)域。文獻［69］提出基于圖生成網(wǎng)絡(luò)的分子圖生成方法，可以有效模擬化學(xué)分子的合成。

4.4 圖神經(jīng)網(wǎng)絡(luò)在動作檢測中的應(yīng)用

通過視頻序列來實現(xiàn)任務(wù)預(yù)測是時序圖領(lǐng)域的重要應(yīng)用方向之一。文獻［77］提出基于共軛任務(wù)圖結(jié)構(gòu)的策略生成方法，實現(xiàn)了基于給定的演示視頻推理完成未知的任務(wù)。文獻［89］提出視覺空間注意力機制的圖卷積方法來完成視覺理解任務(wù)中人與對象交互定位HOI 的任務(wù)。文獻［22］通過時空圖神經(jīng)網(wǎng)絡(luò)實現(xiàn)了基于骨節(jié)運動的動作檢測。

表5 對圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用方向進行簡要的概述和總結(jié)。

表5 圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用方向總結(jié)Table 5 Summary of application directions of graph neural networks

5 未來發(fā)展與展望

隨著圖神經(jīng)網(wǎng)絡(luò)研究和應(yīng)用的不斷深入，其發(fā)展方向主要包括網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化、理論可解釋性強化及數(shù)據(jù)結(jié)構(gòu)豐富化，具體內(nèi)容為：

1）與傳統(tǒng)深度學(xué)習(xí)相比，圖神經(jīng)網(wǎng)絡(luò)的研究和應(yīng)用方向有較大的拓展空間，由于其對于知識圖譜、推薦系統(tǒng)等大規(guī)模系統(tǒng)性應(yīng)用具備遷移性、可強化性等特點，并且對于動態(tài)任務(wù)具有泛化能力，因此能夠?qū)D神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)實現(xiàn)有效關(guān)聯(lián)，更高效地利用圖結(jié)構(gòu)數(shù)據(jù)。

2）深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的本質(zhì)是對數(shù)據(jù)不斷提取高維的抽象特征，將圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的關(guān)聯(lián)性特征與傳統(tǒng)貝葉斯因果關(guān)系網(wǎng)絡(luò)相結(jié)合，以期實現(xiàn)對深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的可解釋性證明。

3）現(xiàn)階段有關(guān)圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的研究多數(shù)受限于關(guān)系型結(jié)構(gòu)在高維空間中的特征可解釋性，而對于提升圖神經(jīng)網(wǎng)絡(luò)深度的研究較少，深度學(xué)習(xí)的巨大成功得益于其深層的網(wǎng)絡(luò)結(jié)構(gòu)能提取更高維度的特征信息。圖神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上對特征信息進行抽象概括的同時，需要探索加深網(wǎng)絡(luò)結(jié)構(gòu)的方式，以增強其對于高維特征信息的提取能力，進一步提高網(wǎng)絡(luò)性能。

4）擴大圖神經(jīng)網(wǎng)絡(luò)的感受野能有效提升圖神經(jīng)網(wǎng)絡(luò)的推理性能。神經(jīng)元感受野可使網(wǎng)絡(luò)輸出的特征值更好地歸納局部和全局特征，從而實現(xiàn)更快的學(xué)習(xí)收斂速度和更好的網(wǎng)絡(luò)預(yù)測效果。

5）在網(wǎng)絡(luò)節(jié)點中引入更多的數(shù)據(jù)類型，突破通過節(jié)點先驗信息決定圖神經(jīng)網(wǎng)絡(luò)的最終學(xué)習(xí)效果。將定性、離散或概率型數(shù)據(jù)以圖的形式引入到圖神經(jīng)網(wǎng)絡(luò)中，增強圖網(wǎng)絡(luò)模型對真實數(shù)據(jù)分布的刻畫能力。

6）提升圖神經(jīng)網(wǎng)絡(luò)的動態(tài)性和異質(zhì)性，對于具有復(fù)雜圖結(jié)構(gòu)的異質(zhì)圖和結(jié)合時序性的動態(tài)圖具有更豐富的應(yīng)用場景。

6 結(jié)束語

本文回顧圖神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程，分析并比較基于不同信息聚合方式的圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，討論圖神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)技術(shù)相結(jié)合的研究領(lǐng)域，并對圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用方向進行闡述。后續(xù)將從圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的深度和復(fù)雜度、異質(zhì)圖的高效分析與處理以及利用節(jié)點和邊信息的傳遞實現(xiàn)圖神經(jīng)網(wǎng)絡(luò)的可解釋性等方面做進一步探索，以期優(yōu)化圖神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)結(jié)構(gòu)、提升算法性能及增強理論可解釋性。