摘要：鏈接預(yù)測旨在推斷網(wǎng)絡(luò)中缺失的邊或預(yù)測未來可能出現(xiàn)的邊. 先前的鏈接預(yù)測研究主要集中在處理靜態(tài)網(wǎng)絡(luò)上，其目標(biāo)是預(yù)測已知網(wǎng)絡(luò)中缺失的邊，然而，現(xiàn)實(shí)世界中許多復(fù)雜網(wǎng)絡(luò)通常是動態(tài)變化的，使得動態(tài)網(wǎng)絡(luò)中的鏈接預(yù)測任務(wù)往往比靜態(tài)網(wǎng)絡(luò)中更為復(fù)雜和困難. 近年來，基于動態(tài)圖表示學(xué)習(xí)的鏈接預(yù)測方法已經(jīng)展現(xiàn)較好的結(jié)果，這類方法利用動態(tài)圖表示學(xué)習(xí)方法學(xué)習(xí)節(jié)點(diǎn)的嵌入表示，以捕捉網(wǎng)絡(luò)的結(jié)構(gòu)和演化信息，從而在動態(tài)網(wǎng)絡(luò)中實(shí)現(xiàn)有效的鏈接預(yù)測. 現(xiàn)有方法主要采用循環(huán)神經(jīng)網(wǎng)絡(luò)或自注意力機(jī)制作為神經(jīng)網(wǎng)絡(luò)架構(gòu)的組件，通過時間序列網(wǎng)絡(luò)學(xué)習(xí)動態(tài)網(wǎng)絡(luò)的演化信息，然而，動態(tài)網(wǎng)絡(luò)的多樣性和演化模式的可變性對基于復(fù)雜時序網(wǎng)絡(luò)的方法提出挑戰(zhàn). 這些方法可能很難適應(yīng)不同動態(tài)網(wǎng)絡(luò)中不斷發(fā)展的演化模式，同時，在圖表示學(xué)習(xí)領(lǐng)域，圖對比學(xué)習(xí)因?yàn)槠鋸?qiáng)大的自監(jiān)督學(xué)習(xí)能力受到廣泛關(guān)注，但是現(xiàn)有方法大多針對靜態(tài)圖，對于動態(tài)圖的研究較少. 為了解決上述問題，提出一種動態(tài)網(wǎng)絡(luò)多視圖對比學(xué)習(xí)的鏈接預(yù)測方法，不依賴額外的時序網(wǎng)絡(luò)參數(shù)，實(shí)現(xiàn)動態(tài)網(wǎng)絡(luò)的表示學(xué)習(xí)和鏈接預(yù)測. 該方法將動態(tài)網(wǎng)絡(luò)快照視為網(wǎng)絡(luò)的多個視圖，擺脫對比學(xué)習(xí)對數(shù)據(jù)增強(qiáng)的依賴. 通過構(gòu)建包含網(wǎng)絡(luò)結(jié)構(gòu)、節(jié)點(diǎn)演化以及拓?fù)溲莼齻€視圖的對比學(xué)習(xí)目標(biāo)函數(shù)，挖掘快照內(nèi)網(wǎng)絡(luò)結(jié)構(gòu)、快照間節(jié)點(diǎn)和網(wǎng)絡(luò)高階結(jié)構(gòu)的演化模式學(xué)習(xí)節(jié)點(diǎn)表示，實(shí)現(xiàn)鏈接預(yù)測任務(wù). 最后，在多個真實(shí)數(shù)據(jù)集上進(jìn)行了多類動態(tài)鏈接預(yù)測實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果顯著優(yōu)于所有基線方法，驗(yàn)證了所提方法的有效性.

關(guān)鍵詞：鏈接預(yù)測，對比學(xué)習(xí)，圖表示學(xué)習(xí)，動態(tài)網(wǎng)絡(luò)，動態(tài)圖嵌入

中圖分類號：TP393 文獻(xiàn)標(biāo)志碼：A

鏈接預(yù)測［1-3］是網(wǎng)絡(luò)中的一項(xiàng)基本任務(wù)，根據(jù)已知的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和節(jié)點(diǎn)屬性信息，預(yù)測網(wǎng)絡(luò)中缺失的邊或未來出現(xiàn)邊的可能性. 通過鏈接預(yù)測，研究者可以推斷網(wǎng)絡(luò)中節(jié)點(diǎn)之間的潛在連接關(guān)系，挖掘網(wǎng)絡(luò)拓?fù)涞慕Y(jié)構(gòu)模式，進(jìn)一步探索網(wǎng)絡(luò)結(jié)構(gòu)的演化規(guī)律. 因此，鏈接預(yù)測在不同領(lǐng)域得到廣泛的應(yīng)用，例如預(yù)測社交網(wǎng)絡(luò)中用戶之間的關(guān)系［4-5］、推斷蛋白質(zhì)網(wǎng)絡(luò)的相互作用關(guān)系［6-8］、發(fā)現(xiàn)推薦系統(tǒng)中用戶的商品傾向等具體應(yīng)用［9］. 以往的鏈接預(yù)測相關(guān)研究主要集中在處理靜態(tài)網(wǎng)絡(luò)中的鏈接預(yù)測［8，10］，即預(yù)測已知網(wǎng)絡(luò)中缺失的邊.然而，現(xiàn)實(shí)世界中大多數(shù)復(fù)雜網(wǎng)絡(luò)，例如社交網(wǎng)絡(luò)，都是動態(tài)變化的，會隨著時間的推移不斷發(fā)展，動態(tài)網(wǎng)絡(luò)中的節(jié)點(diǎn)和邊會隨時間出現(xiàn)或消失，這些變化被定期記錄為獨(dú)立的網(wǎng)絡(luò)快照. 由于動態(tài)網(wǎng)絡(luò)在演化信息學(xué)習(xí)方面的挑戰(zhàn)，動態(tài)網(wǎng)絡(luò)中的鏈接預(yù)測比靜態(tài)網(wǎng)絡(luò)中更為困難. 同時，由于動態(tài)網(wǎng)絡(luò)具有時間特征，鏈接預(yù)測在該類網(wǎng)絡(luò)中呈現(xiàn)更加復(fù)雜的情況. 根據(jù)實(shí)際需求的不同，動態(tài)網(wǎng)絡(luò)鏈接預(yù)測任務(wù)可分為三種主要類型［11］，包括已知邊檢測、未知邊預(yù)測和新邊發(fā)現(xiàn). 已知邊檢測任務(wù)旨在基于部分當(dāng)前網(wǎng)絡(luò)快照中的邊信息預(yù)測當(dāng)前網(wǎng)絡(luò)快照中缺失的邊. 未知邊預(yù)測任務(wù)則是針對下一個網(wǎng)絡(luò)快照，根據(jù)歷史網(wǎng)絡(luò)的信息預(yù)測未知網(wǎng)絡(luò)快照中的邊. 新邊發(fā)現(xiàn)任務(wù)旨在識別當(dāng)前網(wǎng)絡(luò)快照中不存在的且在下一個快照中生成的新邊. 已知邊檢測、未知邊預(yù)測和新邊發(fā)現(xiàn)三類任務(wù)針對不同的研究目標(biāo)和應(yīng)用需求，為動態(tài)網(wǎng)絡(luò)鏈接預(yù)測問題提供了具體的任務(wù)定義和解決方法.

學(xué)術(shù)界已經(jīng)對動態(tài)網(wǎng)絡(luò)鏈接預(yù)測進(jìn)行了一定的研究，其中基于動態(tài)圖表示學(xué)習(xí)的方法取得了較好的結(jié)果［11-14］，受到廣泛關(guān)注. 這類方法利用動態(tài)圖表示學(xué)習(xí)方法學(xué)習(xí)節(jié)點(diǎn)和邊的嵌入表示，以捕捉網(wǎng)絡(luò)的結(jié)構(gòu)和演化信息，實(shí)現(xiàn)鏈接預(yù)測任務(wù). 通常，這類方法基于圖神經(jīng)網(wǎng)絡(luò)（Graph Neu?ral Networks，GNNs）或其變體，通過將動態(tài)網(wǎng)絡(luò)建模為多個網(wǎng)絡(luò)快照，并使用圖嵌入方法學(xué)習(xí)每個快照上節(jié)點(diǎn)的表示. 現(xiàn)有的工作主要基于兩類時序網(wǎng)絡(luò)建模方法作為模型組件來設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)架構(gòu). 第一類方法是基于循環(huán)神經(jīng)網(wǎng)絡(luò)（Recur?rent Neural Networks，RNN）［15-16］. RNN 是一種用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型，通過在網(wǎng)絡(luò)的隱藏層之間傳遞信息以建立記憶和上下文關(guān)系，網(wǎng)絡(luò)可以捕捉序列數(shù)據(jù)中的時間依賴關(guān)系. 這類方法主要采用靜態(tài)圖嵌入模型學(xué)習(xí)每個快照上節(jié)點(diǎn)的初始表示，保留當(dāng)前快照的網(wǎng)絡(luò)拓?fù)浜驼Z義信息，然后將同一節(jié)點(diǎn)在多個快照上的表示作為RNN 模型的輸入，或者用RNN 模型更新模型的部分參數(shù)，得到最終的節(jié)點(diǎn)表示進(jìn)行鏈接預(yù)測.然而，由于RNN 模型本身的限制，這類方法無法有效捕獲動態(tài)網(wǎng)絡(luò)中的長時間依賴關(guān)系. 第二類方法是采用自注意力機(jī)制（Self?Attention Mech?anism，SAM）［17］來捕獲時序信息. 自注意力機(jī)制使模型能考慮同一節(jié)點(diǎn)在所有快照中的表示，并根據(jù)節(jié)點(diǎn)表示之間的相關(guān)性分配權(quán)重，在捕捉長距離依賴關(guān)系的同時，學(xué)習(xí)歷史時間序列中節(jié)點(diǎn)表示對當(dāng)前節(jié)點(diǎn)的重要性. 這兩類方法都采用了神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)動態(tài)網(wǎng)絡(luò)的演化過程，使用大量可學(xué)習(xí)的參數(shù)來擬合網(wǎng)絡(luò)快照間節(jié)點(diǎn)表示的變化. 然而，在現(xiàn)實(shí)世界中，不同復(fù)雜網(wǎng)絡(luò)系統(tǒng)的演化模式往往是多樣的，并且演化模式會隨著時間發(fā)生變化. 這需要RNN 或SAM 在訓(xùn)練過程中不斷學(xué)習(xí)和發(fā)現(xiàn)各類復(fù)雜動態(tài)網(wǎng)絡(luò)中變化的時間依賴關(guān)系，這樣的要求相對苛刻. 不同的時序網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)可能對具有特定規(guī)律的節(jié)點(diǎn)變化更加敏感. 然而，將這些方法應(yīng)用于其他演化模式的動態(tài)網(wǎng)絡(luò)時，由于可能無法準(zhǔn)確捕捉時間依賴關(guān)系，模型性能下降.

近年來，圖表示學(xué)習(xí)領(lǐng)域圖對比學(xué)習(xí)［18］強(qiáng)大的自監(jiān)督學(xué)習(xí)能力受到研究人員的廣泛關(guān)注，將圖對比學(xué)習(xí)運(yùn)用于動態(tài)圖鏈接預(yù)測是非常有潛力的研究方向. 圖對比學(xué)習(xí)采用一種或者多種數(shù)據(jù)增強(qiáng)策略，例如刪除或者增加部分邊、遮蓋部分節(jié)點(diǎn)特征等方式，構(gòu)建同一網(wǎng)絡(luò)的多個視圖. 然后，基于多個網(wǎng)絡(luò)視圖選擇正樣本對和負(fù)樣本對，在嵌入空間中拉近正樣本，推遠(yuǎn)負(fù)樣本，從而挖掘圖數(shù)據(jù)中豐富的語義信息和相互關(guān)聯(lián). 但是，現(xiàn)有的研究主要集中在靜態(tài)圖上，對于動態(tài)圖的相關(guān)研究較少. 同時，圖對比學(xué)習(xí)方法高度依賴于生成視圖的質(zhì)量，數(shù)據(jù)增強(qiáng)策略的選擇會對節(jié)點(diǎn)表示的質(zhì)量產(chǎn)生很大的影響.

綜上，目前的方法存在以下問題：（1）現(xiàn)有基于動態(tài)圖表示學(xué)習(xí)的鏈接預(yù)測方法依賴復(fù)雜時序網(wǎng)絡(luò)學(xué)習(xí)時間信息，無法有效地學(xué)習(xí)各類動態(tài)網(wǎng)絡(luò)中多變的演化模式；（2）現(xiàn)有的圖對比學(xué)習(xí)方法主要集中在靜態(tài)圖，對動態(tài)圖的研究較少. 為了解決這兩個問題，本文提出一種多視圖對比學(xué)習(xí)的動態(tài)網(wǎng)絡(luò)鏈接預(yù)測方法，實(shí)現(xiàn)了不借助額外的時序網(wǎng)絡(luò)參數(shù)，僅利用動態(tài)網(wǎng)絡(luò)數(shù)據(jù)自身特性，學(xué)習(xí)動態(tài)網(wǎng)絡(luò)節(jié)點(diǎn)表示，實(shí)現(xiàn)鏈接預(yù)測. 首先，將動態(tài)網(wǎng)絡(luò)快照視為網(wǎng)絡(luò)的多個視圖，擺脫對比學(xué)習(xí)對數(shù)據(jù)增強(qiáng)的依賴；然后從節(jié)點(diǎn)級、快照間及快照間高階結(jié)構(gòu)三個角度構(gòu)建對比學(xué)習(xí)目標(biāo)函數(shù)，拉近多個視圖的正樣本，推遠(yuǎn)負(fù)樣本，以此學(xué)習(xí)節(jié)點(diǎn)表示. 該模型用對比學(xué)習(xí)代替RNN 或者SAM等方法學(xué)習(xí)時間依賴關(guān)系，避免了練時序神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)絡(luò)演化模式，降低了復(fù)雜網(wǎng)絡(luò)演化模式復(fù)雜性和可變性的影響，以更直觀的方法捕獲動態(tài)網(wǎng)絡(luò)時間依賴關(guān)系. 具體地，對于每個快照，該模型采用兩層圖卷積神經(jīng)網(wǎng)絡(luò)（Graph Convolu?tional Network，GCN）作為編碼器學(xué)習(xí)節(jié)點(diǎn)表示，將相鄰節(jié)點(diǎn)作為正樣本，隨機(jī)采樣節(jié)點(diǎn)作為負(fù)樣本，學(xué)習(xí)快照內(nèi)部的網(wǎng)絡(luò)結(jié)構(gòu)信息和節(jié)點(diǎn)的語義信息. 其次，將在多個快照的同一節(jié)點(diǎn)作為正樣本，其他節(jié)點(diǎn)為負(fù)樣本，對齊多個快照中節(jié)點(diǎn)的表示，學(xué)習(xí)節(jié)點(diǎn)的時間信息. 為了挖掘動態(tài)網(wǎng)絡(luò)高階結(jié)構(gòu)的演化規(guī)律，采樣聚類算法發(fā)現(xiàn)每個快照網(wǎng)絡(luò)社區(qū)，生成節(jié)點(diǎn)偽標(biāo)簽. 然后，節(jié)點(diǎn)在每個網(wǎng)絡(luò)快照社區(qū)的中心向量作為正樣本對，其余社區(qū)的中心向量作為負(fù)樣本對，學(xué)習(xí)社區(qū)演化規(guī)律和節(jié)點(diǎn)與社區(qū)之間的作用關(guān)系. 最后將三個對比損失相加，聯(lián)合優(yōu)化訓(xùn)練模型. 基于訓(xùn)練完成后的節(jié)點(diǎn)表示，實(shí)現(xiàn)鏈接預(yù)測任務(wù). 在多個真實(shí)數(shù)據(jù)集中進(jìn)行三類鏈接預(yù)測任務(wù)，實(shí)驗(yàn)結(jié)果證明本文提出的模型可行且有效. 本文的貢獻(xiàn)如下.

（1）提出面向動態(tài)網(wǎng)絡(luò)的對比學(xué)習(xí)方法學(xué)習(xí)時序信息，避免用額外的參數(shù)去學(xué)習(xí)動態(tài)演化過程，通過設(shè)計(jì)網(wǎng)絡(luò)快照間節(jié)點(diǎn)級別和高階結(jié)構(gòu)的對比學(xué)習(xí)方法挖掘動態(tài)網(wǎng)絡(luò)演化規(guī)律.

（2）提出一種基于多視圖對比學(xué)習(xí)的動態(tài)網(wǎng)絡(luò)鏈接預(yù)測方法，學(xué)習(xí)快照內(nèi)網(wǎng)絡(luò)拓?fù)湫畔⒑凸?jié)點(diǎn)語義特征，通過挖掘網(wǎng)絡(luò)節(jié)點(diǎn)和社區(qū)結(jié)構(gòu)演化關(guān)系以及節(jié)點(diǎn)與社區(qū)結(jié)構(gòu)關(guān)系，實(shí)現(xiàn)模型預(yù)測性能的提升.

（3）在多個真實(shí)數(shù)據(jù)集中進(jìn)行三類動態(tài)網(wǎng)絡(luò)鏈接預(yù)測任務(wù)，實(shí)驗(yàn)結(jié)果表示本文提出的模型可以有效地提高任務(wù)性能.

1 相關(guān)工作

本文主要介紹基于動態(tài)圖表示學(xué)習(xí)的鏈接預(yù)測的研究工作，根據(jù)建模時序關(guān)系技術(shù)不同，主要分為基于RNN 和SAM 的方法，并且將對比學(xué)習(xí)的研究現(xiàn)狀進(jìn)行介紹和總結(jié).

1. 1 基于動態(tài)網(wǎng)絡(luò)圖學(xué)習(xí)的鏈接預(yù)測方法 基于動態(tài)圖表示學(xué)習(xí)的鏈接預(yù)測方法通過動態(tài)圖表示學(xué)習(xí)技術(shù)，學(xué)習(xí)節(jié)點(diǎn)在不同時間步或狀態(tài)下的表示預(yù)測網(wǎng)絡(luò)中節(jié)點(diǎn)之間的鏈接. 該方法融合了圖表示學(xué)習(xí)和時間序列分析的思想，能夠有效地捕捉網(wǎng)絡(luò)結(jié)構(gòu)的時序演化和動態(tài)變化. 具體地，首先將網(wǎng)絡(luò)建模為動態(tài)網(wǎng)絡(luò)快照，通過圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)節(jié)點(diǎn)在每個快照上的低維表示，同一節(jié)點(diǎn)在多個網(wǎng)絡(luò)快照上的不同表示代表在時間維度上的演化，然后利用時序網(wǎng)絡(luò)模型對節(jié)點(diǎn)的演化特征進(jìn)行學(xué)習(xí)和抽取，以捕捉節(jié)點(diǎn)之間的時序依賴關(guān)系. 根據(jù)如何建模動態(tài)網(wǎng)絡(luò)時序信息，現(xiàn)有研究主要為基于RNN 和SAM 的方法. 基于RNN的方法利用循環(huán)結(jié)構(gòu)來捕捉節(jié)點(diǎn)之間的時序關(guān)系，通過對節(jié)點(diǎn)的歷史狀態(tài)進(jìn)行建模，預(yù)測未來的鏈接，RNN 可以自適應(yīng)地學(xué)習(xí)節(jié)點(diǎn)的演化模式和鏈接出現(xiàn)的規(guī)律. GCRN （Graph ConvolutionalRecurrent Network）［19］結(jié)合LSTM （Long Short ?Term Memory）和卷積操作學(xué)習(xí)節(jié)點(diǎn)表示，有兩種變體：堆疊型和圖卷積型. 堆疊型將CNN 層和LSTM 層堆疊，分別用于提取快照內(nèi)的節(jié)點(diǎn)特征和捕獲節(jié)點(diǎn)隨時間變化的行為. 圖卷積型使用圖卷積運(yùn)算替代LSTM［15］中的矩陣乘積運(yùn)算. Dyn?graph2vec［14］采用自編碼器架構(gòu)，在編碼和解碼過程中結(jié)合LSTM 學(xué)習(xí)網(wǎng)絡(luò)演化信息，通過解碼器來預(yù)測未來網(wǎng)絡(luò)快照. 為了建模動態(tài)網(wǎng)絡(luò)在演化過程中節(jié)點(diǎn)的不確定性，VGRNN［11］引入變分圖自編碼器來學(xué)習(xí)節(jié)點(diǎn)表示的分布，通過GCRN 根據(jù)歷史信息獲取節(jié)點(diǎn)在時間維度的潛在表示，生成當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)的先驗(yàn)分布. VGRNN 假設(shè)生成的分布服從高斯分布，然而復(fù)雜動態(tài)圖的分布通常沒有明確的函數(shù)形式. VGRNN 結(jié)合隨機(jī)狀態(tài)來更新迭代過程中的確定性狀態(tài)，噪聲信息在一定程度上影響學(xué)習(xí)的確定性狀態(tài). 為了解決上述問題，SGRNN［20］將隨機(jī)狀態(tài)和確定性狀態(tài)進(jìn)行解耦，抑制迭代過程中兩者之間的相互推斷，通過將先驗(yàn)分布和后驗(yàn)分布設(shè)置為半隱式分布，提高潛在變量的靈活性. 上述方法通常是先學(xué)習(xí)節(jié)點(diǎn)嵌入并使用RNN 來調(diào)節(jié)嵌入和學(xué)習(xí)網(wǎng)絡(luò)動態(tài)信息，需要節(jié)點(diǎn)在整個時間跨度內(nèi)的信息（包括訓(xùn)練集和測試集），這對節(jié)點(diǎn)集頻繁變化的情況不太適用. 在一些極端情況下，不同時間段的節(jié)點(diǎn)集可能完全不同. 為了解決這個問題，EvolveGCN［13］使用RNN 演化GCN 的參數(shù)，以捕獲圖序列的動態(tài)信息，避免了模型無法學(xué)習(xí)動態(tài)網(wǎng)絡(luò)中消失或出現(xiàn)的節(jié)點(diǎn)的問題. 由于RNN 在學(xué)習(xí)歷史信息的過程中，只能維持有限的歷史信息，并且存在順序依賴，較早時間步的信息會逐漸被淡忘，模型難以捕捉較遠(yuǎn)的上下文依賴，限制了基于RNN 的方法在鏈接預(yù)測任務(wù)中的性能.

為了解決上述問題，部分方法提出通過SAM學(xué)習(xí)歷史信息，SAM 可以從所有過去的圖快照中提取上下文，充分考慮同一節(jié)點(diǎn)在多個動態(tài)網(wǎng)絡(luò)快照中的關(guān)系和重要性，靈活地適應(yīng)不同數(shù)據(jù)特征和演化模式，有效地捕獲節(jié)點(diǎn)長距離的時間依賴關(guān)系. DySAT［12］通過在鄰域結(jié)構(gòu)和時間動態(tài)兩個維度的聯(lián)合注意力機(jī)制來學(xué)習(xí)動態(tài)網(wǎng)絡(luò)表示，結(jié)構(gòu)注意力通過自注意力聚合機(jī)制從每個快照中的本地節(jié)點(diǎn)鄰域中提取特征，而時間注意力通過靈活地加權(quán)歷史表示來捕獲多個時間步上的圖演化. Huang et al［21］認(rèn)為大多數(shù)圖表示學(xué)習(xí)方法無法利用節(jié)點(diǎn)的高階鄰近性來捕獲網(wǎng)絡(luò)拓?fù)涞闹匾獙傩裕瑫r處理時間信息時粒度太細(xì)使得模型容易受到噪聲的影響，因此提出了增強(qiáng)型超圖神經(jīng)網(wǎng)絡(luò)框架HyperDNE，引入線圖神經(jīng)網(wǎng)絡(luò)，展現(xiàn)了集群感知的高階接近度，在節(jié)點(diǎn)級和超邊級使用多重注意力機(jī)制，實(shí)現(xiàn)了對不同潛在子空間的聯(lián)合關(guān)注，并且保持了動態(tài)網(wǎng)絡(luò)的一致性，實(shí)現(xiàn)了基于超圖建模的網(wǎng)絡(luò)表示在動態(tài)鏈接預(yù)測任務(wù)中性能的提升. Zhang et al［22］認(rèn)為網(wǎng)絡(luò)在演化過程中時空分布會隨時間發(fā)生變化，提出基于解耦干預(yù)的動態(tài)圖注意網(wǎng)絡(luò)DIDA，通過發(fā)現(xiàn)和利用不變模式（即在分布變化中穩(wěn)定的結(jié)構(gòu)和特征）來處理動態(tài)圖中的時空分布變化. 具體地，DIDA 使用注意力網(wǎng)絡(luò)來解耦動態(tài)網(wǎng)絡(luò)中不變和變化模式，然后提出時空干預(yù)機(jī)制，通過跨鄰域和時間戳采樣和重新組裝變化模式來創(chuàng)建多個干預(yù)分布，消除變化模式造成的負(fù)面影響，最后，通過不變性正則化項(xiàng)來最小化干預(yù)分布中的預(yù)測方差，實(shí)現(xiàn)基于具有穩(wěn)定預(yù)測能力的不變模式進(jìn)行預(yù)測. 此外，HTGN［23］同時使用RNN 和SAM 來學(xué)習(xí)動態(tài)網(wǎng)絡(luò)順序依賴和長距離依賴，它在雙曲空間中通過SAM 學(xué)習(xí)歷史信息生成上下文，通過RNN 模塊接收當(dāng)前時刻的順序輸入和SAM 獲得的隱狀態(tài)輸入，最終得到當(dāng)前時刻的節(jié)點(diǎn)表示.

現(xiàn)有方法旨在通過復(fù)雜的時序網(wǎng)絡(luò)來挖掘動態(tài)網(wǎng)絡(luò)中節(jié)點(diǎn)的時間依賴關(guān)系. 然而，在現(xiàn)實(shí)生活中，不同的動態(tài)網(wǎng)絡(luò)呈現(xiàn)出各種演化模式，并且這些演化模式會隨著時間的推移不斷發(fā)展. 因此，動態(tài)網(wǎng)絡(luò)的多樣性和演化模式的可變性可能導(dǎo)致現(xiàn)有方法無法有效捕捉網(wǎng)絡(luò)的演化信息，導(dǎo)致鏈接預(yù)測的不準(zhǔn)確性.

1. 2 圖對比學(xué)習(xí) 圖對比學(xué)習(xí)作為一種自監(jiān)督學(xué)習(xí)方法，旨在通過最大化正樣本對的互信息和最小化負(fù)樣本對的互信息來學(xué)習(xí)圖表示. 對比學(xué)習(xí)最早在計(jì)算機(jī)視覺領(lǐng)域被提出. DGI［24］是最早將對比學(xué)習(xí)應(yīng)用于圖表示學(xué)習(xí)的方法之一，該方法通過最大化局部與全局的互信息來學(xué)習(xí)節(jié)點(diǎn)表示. 在此基礎(chǔ)上，MVGCL［25］通過圖擴(kuò)散等數(shù)據(jù)增強(qiáng)技術(shù)構(gòu)建多個視圖來學(xué)習(xí)節(jié)點(diǎn)表示. DGI 和MVGRL 著重于挖掘局部與全局的關(guān)系.GRACE［18］挖掘節(jié)點(diǎn)級別的關(guān)系學(xué)習(xí)節(jié)點(diǎn)表示，隨機(jī)刪除網(wǎng)絡(luò)中的部分邊和節(jié)點(diǎn)特征得到兩個視圖，通過最大化這兩個視圖中節(jié)點(diǎn)表示的一致性來學(xué)習(xí)節(jié)點(diǎn)表示. 然而，隨機(jī)增強(qiáng)可能會導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)的破壞和信息的丟失［26］，因此，Zhu et al［27］對數(shù)據(jù)增強(qiáng)進(jìn)行探索，他們認(rèn)為應(yīng)該保留圖的內(nèi)在結(jié)構(gòu)和屬性，使模型能學(xué)習(xí)對不重要節(jié)點(diǎn)和邊的擾動不敏感的表示，提出一種具有自適應(yīng)增強(qiáng)功能的新型圖對比表示學(xué)習(xí)方法GCA. GCA 通過網(wǎng)絡(luò)中心性度量來識別網(wǎng)絡(luò)中邊和特征維度的重要性，在拓?fù)浼墑e上通過增加刪除重要性較低的邊的概率，以強(qiáng)制模型識別網(wǎng)絡(luò)連接模式，在節(jié)點(diǎn)屬性級別，通過在重要性較低的特征維度上添加更多噪聲來破壞屬性，以強(qiáng)調(diào)底層語義信息.由于網(wǎng)絡(luò)的多樣性，在圖對比學(xué)習(xí)過程中需要不同數(shù)據(jù)增強(qiáng)策略以達(dá)到較好的實(shí)驗(yàn)性能，然而數(shù)據(jù)增強(qiáng)策略的選擇需要通過經(jīng)驗(yàn)法或試錯法針對每個數(shù)據(jù)集手動選擇. 因此，You et al［28］提出聯(lián)合增強(qiáng)優(yōu)化方法（JOAO），對特定圖數(shù)據(jù)自動、自適應(yīng)和動態(tài)地選擇數(shù)據(jù)增強(qiáng)策略. Xia et al［29］對正負(fù)樣本的選擇進(jìn)行研究，通過挖掘困難負(fù)樣本，計(jì)算負(fù)樣本真?zhèn)蔚母怕?，提高模型的學(xué)習(xí)能力. 上述方法主要通過數(shù)據(jù)增強(qiáng)構(gòu)建多個視圖，通過先驗(yàn)和計(jì)算構(gòu)建正負(fù)樣本對，最后通過拉近正樣本，推遠(yuǎn)負(fù)樣本學(xué)習(xí)網(wǎng)絡(luò)節(jié)點(diǎn)的表示. Thakoor etal［30］認(rèn)為對比學(xué)習(xí)受到負(fù)樣本的影響，增加負(fù)樣本的數(shù)量能夠有效提高模型的性能，但會對計(jì)算和內(nèi)存成本帶來一定的挑戰(zhàn). 因此，提出一種完全不依賴負(fù)樣本的圖表示學(xué)習(xí)方法BGRL，通過使用兩個單獨(dú)的編碼器對圖的兩個增強(qiáng)視圖進(jìn)行編碼來學(xué)習(xí)節(jié)點(diǎn)表示，一個編碼器通過最小化兩個編碼器生成的表示之間的余弦損失進(jìn)行訓(xùn)練，另一個編碼器則通過第一個編碼器的指數(shù)移動平均值進(jìn)行更新，避免了負(fù)樣本選擇對模型的影響. Liu et al［31］通過孿生編碼器，即相同架構(gòu)但不共享參數(shù)的編碼器，來代替數(shù)據(jù)增強(qiáng)，避免數(shù)據(jù)漂移問題. Lee et al［32］在BGRL 的基礎(chǔ)上不使用數(shù)據(jù)增強(qiáng)策略，而是通過發(fā)現(xiàn)與圖共享局部結(jié)構(gòu)信息和全局語義的節(jié)點(diǎn)來生成圖的替代視圖，避免數(shù)據(jù)增強(qiáng)可能出現(xiàn)的數(shù)據(jù)漂移問題. 目前，大部分研究主要關(guān)注靜態(tài)圖，然而大多復(fù)雜網(wǎng)絡(luò)都會隨時間發(fā)展，因此更多的研究人員開始關(guān)注動態(tài)圖對比學(xué)習(xí). Gao et al［33］提出一種動態(tài)圖對比學(xué)習(xí)方法DGCN，在每個快照上構(gòu)建局部與全局的對比挖掘快照網(wǎng)絡(luò)拓?fù)湫畔?，通過RNN 更新編碼器的參數(shù)來捕獲動態(tài)網(wǎng)絡(luò)演化信息. Park et al［34］通過節(jié)點(diǎn)特征、鄰域結(jié)構(gòu)、層次社區(qū)和演化信息等多個層次選擇正負(fù)樣本構(gòu)建對比損失，聯(lián)合學(xué)習(xí)節(jié)點(diǎn)嵌入和聚類結(jié)構(gòu). 動態(tài)圖對比學(xué)習(xí)的研究較少，大多數(shù)研究是基于靜態(tài)圖對比學(xué)習(xí)的拓展［33］，對每個網(wǎng)絡(luò)快照進(jìn)行對比學(xué)習(xí)得到節(jié)點(diǎn)的初步表示，用RNN 或者SAM 學(xué)習(xí)動態(tài)網(wǎng)絡(luò)的演化特征，并更新節(jié)點(diǎn)表示. CGC［34］將網(wǎng)絡(luò)快照視為網(wǎng)絡(luò)的多個視圖，用對比學(xué)習(xí)代替復(fù)雜時序網(wǎng)絡(luò)，挖掘動態(tài)網(wǎng)絡(luò)演化模型. 但是CGC 只關(guān)注節(jié)點(diǎn)在動態(tài)網(wǎng)絡(luò)中的時間依賴關(guān)系，忽略了網(wǎng)絡(luò)高階結(jié)構(gòu)的演化對節(jié)點(diǎn)的影響，限制了模型的性能.

2 相關(guān)定義和問題描述

本節(jié)主要對基本概念及問題定義進(jìn)行梳理，并給出了基于動態(tài)圖表示學(xué)習(xí)的鏈接預(yù)測形式化描述. 表1 是對本文常用的符號表示及其意義進(jìn)行的匯總，并作簡要說明.