潘樂，李弼程，萬旺，曾榮燊

（華僑大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，福建 廈門 361021）

0 概述

互聯(lián)網(wǎng)的迅速發(fā)展及移動(dòng)設(shè)備的快速更新?lián)Q代助推了在線社交網(wǎng)絡(luò)的發(fā)展，極大拓寬了人們獲取消息、傳播信息的渠道，傳播主體的下沉使每個(gè)人都能成為信息傳播的主體。然而個(gè)體意見通過社交網(wǎng)絡(luò)匯聚成集體意見，民意的自由表達(dá)若被有心人利用，將引發(fā)社會(huì)輿論。因此，社交網(wǎng)絡(luò)信息傳播的研究是必要的。

近年來，深度學(xué)習(xí)技術(shù)在眾多領(lǐng)域的不同任務(wù)中均展現(xiàn)了較為優(yōu)異的性能。在信息傳播領(lǐng)域，利用深度學(xué)習(xí)技術(shù)處理信息傳播預(yù)測(cè)任務(wù)有一套較為通用的流程：首先，將社交網(wǎng)絡(luò)用戶節(jié)點(diǎn)與連邊進(jìn)行網(wǎng)絡(luò)表示學(xué)習(xí)（Network Representation Learning，NRL）［1］，將網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)表示為低維稠密向量；然后，將低維稠密向量的網(wǎng)絡(luò)節(jié)點(diǎn)作為輸入進(jìn)行各類信息傳播預(yù)測(cè)任務(wù)。BOURIGAULT等［2］利用現(xiàn)有擴(kuò)散級(jí)聯(lián)進(jìn)行信息傳播的表示學(xué)習(xí)；LI等［3］利用表示學(xué)習(xí)進(jìn)行信息擴(kuò)散概率預(yù)測(cè)。要提升信息傳播預(yù)測(cè)的性能，合適、高效的NRL 方法顯得尤為重要。

隨著微博、知乎等開放型即時(shí)信息交流平臺(tái)的發(fā)展，信息傳播不再局限于好友關(guān)系之間，更多的是陌生人間出于對(duì)某個(gè)言論的贊同而進(jìn)行的轉(zhuǎn)發(fā)操作。在信息傳播網(wǎng)絡(luò)中，關(guān)聯(lián)可以表示為一個(gè)人與另一個(gè)人存在好友或關(guān)注關(guān)系，而信息傳播可以發(fā)生在兩個(gè)好友之間的消息交流（存在關(guān)聯(lián)邊）或陌生人之間的信息轉(zhuǎn)發(fā)（不存在關(guān)聯(lián)邊）。區(qū)分并同時(shí)考慮這兩種傳播情形才能更好、更完整地描述節(jié)點(diǎn)之間的信息傳播。

為增強(qiáng)信息傳播網(wǎng)絡(luò)動(dòng)態(tài)表示的有效性和效率，本文基于社交網(wǎng)絡(luò)關(guān)系強(qiáng)度理論和信息反饋機(jī)制，提出動(dòng)態(tài)網(wǎng)絡(luò)表示（Dynamic Network Representation，DNRep）模型。將信息傳播動(dòng)態(tài)網(wǎng)絡(luò)劃分為傳播網(wǎng)絡(luò)（弱關(guān)系網(wǎng)絡(luò)）和關(guān)系網(wǎng)絡(luò)（強(qiáng)關(guān)系網(wǎng)絡(luò)），使用強(qiáng)關(guān)系變化輔助影響弱關(guān)系交互，以動(dòng)態(tài)變化驅(qū)動(dòng)網(wǎng)絡(luò)，并用歸納式的方法從兩個(gè)子網(wǎng)絡(luò)的相互驅(qū)動(dòng)中得到網(wǎng)絡(luò)表示。此外，引入反饋機(jī)制，在節(jié)點(diǎn)聚合更新信息之后將信息反饋到鄰域，提高動(dòng)態(tài)網(wǎng)絡(luò)表示的效率。

1 相關(guān)工作

1.1 靜態(tài)網(wǎng)絡(luò)表示

靜態(tài)網(wǎng)絡(luò)表示方法早期大多基于譜聚類［4-5］，但這類方法的時(shí)間和空間復(fù)雜度較高，無法滿足日益增長的網(wǎng)絡(luò)規(guī)模的需求。隨著網(wǎng)絡(luò)表示學(xué)習(xí)的發(fā)展，許多新的表示學(xué)習(xí)模型被提出。DeepWalk［1］將網(wǎng)絡(luò)嵌入問題描述為一個(gè)序列建模問題，通過隨機(jī)游走的方式生成節(jié)點(diǎn)序列，并使用Skip-Gram 學(xué)習(xí)節(jié)點(diǎn)表示。基于DeepWalk 模型，Node2vec［6］集成了深度優(yōu)先搜索和廣度優(yōu)先搜索策略，能更靈活地挖掘網(wǎng)絡(luò)結(jié)構(gòu)信息。結(jié)合外部信息的方法有TADW［7］、CANE［8］、MMDW［9］。以上靜態(tài)網(wǎng)絡(luò)表示學(xué)習(xí)方法嘗試解決目前網(wǎng)絡(luò)空間大規(guī)模性、高維性難題，然而真實(shí)世界的互動(dòng)系統(tǒng)是動(dòng)態(tài)的，其連邊、節(jié)點(diǎn)都隨時(shí)間不斷變化。這些時(shí)間特性是動(dòng)態(tài)網(wǎng)絡(luò)的重要體現(xiàn)，也反映了網(wǎng)絡(luò)演化的機(jī)制。因此，在信息傳播領(lǐng)域的研究中靜態(tài)網(wǎng)絡(luò)表示學(xué)習(xí)并不適用。

1.2 動(dòng)態(tài)網(wǎng)絡(luò)表示

關(guān)于動(dòng)態(tài)網(wǎng)絡(luò)的研究相對(duì)較少，且大多數(shù)研究局限于表示為圖的快照序列的離散時(shí)間動(dòng)態(tài)圖［9-11］，通過忽略時(shí)間演化特性將靜態(tài)網(wǎng)絡(luò)深度學(xué)習(xí)模型應(yīng)用于動(dòng)態(tài)網(wǎng)絡(luò)中，但這并非最優(yōu)方案，且這些方法對(duì)于每一個(gè)時(shí)間片都需要進(jìn)行重新訓(xùn)練，時(shí)間成本巨大。此外，這些方法雖然能夠展現(xiàn)網(wǎng)絡(luò)在不同時(shí)刻的變化特征，但缺乏對(duì)網(wǎng)絡(luò)動(dòng)態(tài)變化本質(zhì)屬性的挖掘，對(duì)現(xiàn)實(shí)網(wǎng)絡(luò)的高度動(dòng)態(tài)性建模不夠［12］。

近期，有學(xué)者提出幾種支持連續(xù)時(shí)間的動(dòng)態(tài)網(wǎng)絡(luò)表示學(xué)習(xí)方法。XIONG等［13］提出DynGraphGAN模型，利用生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）捕獲因節(jié)點(diǎn)或邊的變化而導(dǎo)致的網(wǎng)絡(luò)局部結(jié)構(gòu)的變化。Dyngraph2vec［14］使用長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)模型捕獲節(jié)點(diǎn)的變化特征，包括每個(gè)時(shí)刻節(jié)點(diǎn)間的非線性交互結(jié)構(gòu)特征和節(jié)點(diǎn)多個(gè)時(shí)刻間的變化特征。DyRep［15］模型將網(wǎng)絡(luò)中的演變劃分為關(guān)聯(lián)演變和社交演變，運(yùn)用注意力機(jī)制聚合節(jié)點(diǎn)變化，從而對(duì)網(wǎng)絡(luò)結(jié)構(gòu)產(chǎn)生影響。

對(duì)于社交網(wǎng)絡(luò)中的信息傳播而言，動(dòng)態(tài)網(wǎng)絡(luò)表示學(xué)習(xí)依舊存在如下2 個(gè)挑戰(zhàn)：

1）結(jié)合傳播學(xué)理論建立更貼合真實(shí)世界的有效網(wǎng)絡(luò)表示。本文在進(jìn)一步分析社交網(wǎng)絡(luò)中的信息傳播時(shí)發(fā)現(xiàn)，在信息傳播網(wǎng)絡(luò)中普遍存在著區(qū)別于社交強(qiáng)關(guān)系的弱關(guān)系（即存在非好友關(guān)系的用戶形成了信息傳播關(guān)聯(lián)）。強(qiáng)弱關(guān)系假設(shè)是社會(huì)學(xué)與傳播學(xué)中一個(gè)很重要的理論，F(xiàn)RIEDKIN等［16］認(rèn)為弱關(guān)系在信息流傳播過程中起推動(dòng)和“橋梁”的作用，連接了不同的關(guān)系群體。而在現(xiàn)今開放社交網(wǎng)絡(luò)蓬勃發(fā)展的情景下，弱關(guān)系的存在可使信息傳播得更快、更廣，因此弱關(guān)系的存在是不可忽視的。

如圖1 所示為信息傳播動(dòng)態(tài)網(wǎng)絡(luò)示意圖，可以看到在社交網(wǎng)絡(luò)中存在用戶之間單向或雙向的關(guān)注形成的強(qiáng)關(guān)系，同時(shí)，更普遍存在著關(guān)系疏遠(yuǎn)、互動(dòng)頻率較低，但在信息的傳播中發(fā)揮一定作用的弱關(guān)系。此外，在信息傳播過程中，也會(huì)有新節(jié)點(diǎn)的加入以及新關(guān)系的形成。

2）及時(shí)捕獲網(wǎng)絡(luò)動(dòng)態(tài)演化信息。自然觀察到的關(guān)聯(lián)以及之間的交互行為存在動(dòng)力學(xué)關(guān)系，但目前沒有方法能夠?qū)λ鼈冞M(jìn)行聯(lián)合建模，進(jìn)而通過動(dòng)態(tài)圖進(jìn)行表示學(xué)習(xí)。此外，當(dāng)前大部分算法都是直推式的，即針對(duì)特定領(lǐng)域或特定網(wǎng)絡(luò)結(jié)構(gòu)生成固定節(jié)點(diǎn)嵌入，而當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)或信息發(fā)生改變時(shí)，直推式表示學(xué)習(xí)模型就需要進(jìn)行重新訓(xùn)練，相較之下歸納式學(xué)習(xí)的方法更適用于網(wǎng)絡(luò)變化。然而大多數(shù)歸納式學(xué)習(xí)的方法僅采用聚合的方式生成節(jié)點(diǎn)表示，對(duì)于信息傳播網(wǎng)絡(luò)容易造成延遲，導(dǎo)致下游機(jī)器學(xué)習(xí)任務(wù)的性能受到影響。

為解決以上2 個(gè)問題，本文受DyRep［15］模型的啟發(fā)，結(jié)合社會(huì)傳播學(xué)中的關(guān)系強(qiáng)度等相關(guān)理論，加入信息反饋機(jī)制，建立更適用于社交網(wǎng)絡(luò)信息傳播擴(kuò)散分析的動(dòng)態(tài)網(wǎng)絡(luò)表示模型DNRep，用以對(duì)信息傳播網(wǎng)絡(luò)進(jìn)行動(dòng)態(tài)網(wǎng)絡(luò)表示，解決現(xiàn)有方法不能很好地反映真實(shí)傳播網(wǎng)絡(luò)、忽略信息傳播中的動(dòng)力學(xué)特征等問題。

2 DNRep 模型

2.1 相關(guān)定義

人與人之間的關(guān)系有強(qiáng)弱之分，美國的社會(huì)學(xué)家KEUCHENIUS［17］認(rèn)為劃分人際關(guān)系的主要標(biāo)準(zhǔn)是雙方互動(dòng)和情感維系的強(qiáng)弱，其中互動(dòng)較多且雙方關(guān)系比較緊密的是強(qiáng)關(guān)系，而互動(dòng)較少且沒有較強(qiáng)情感維系的就是弱關(guān)系。文獻(xiàn)［18］將此種關(guān)系強(qiáng)度理論引入到社交網(wǎng)絡(luò)的劃分中，可以認(rèn)為用戶間已建立的關(guān)系網(wǎng)絡(luò)就是一種強(qiáng)關(guān)系，信息能夠輕易地在強(qiáng)關(guān)系網(wǎng)絡(luò)中傳播。而由用戶間的信息交流構(gòu)成的傳播網(wǎng)絡(luò)則可以認(rèn)定為弱關(guān)系，只在某一時(shí)刻針對(duì)特定事件或特定信息產(chǎn)生互動(dòng)，是一種臨時(shí)性的短期關(guān)系。

基于以上理論，本文定義t時(shí)刻的傳播動(dòng)態(tài)網(wǎng)絡(luò)：

其中：Vt為節(jié)點(diǎn)集合；et表示邊的集合。在時(shí)間窗口[0，t]中網(wǎng)絡(luò)變化的集合定義如式（2）所示：

其中：u，v表示發(fā)生變化的2 個(gè)節(jié)點(diǎn)；t表示時(shí)刻；k作為一個(gè)標(biāo)記，k=0 代表網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)演變（即關(guān)系網(wǎng)絡(luò)的變化），k=1 代表“固定”網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)上的交互活動(dòng)（即傳播網(wǎng)絡(luò)的變化）。在信息傳播網(wǎng)絡(luò)中t時(shí)刻發(fā)生的變化也可簡化描述為ti，k，k∈{0，1}。

本文定義Ei∈Rd為節(jié)點(diǎn)i的d維表示，而節(jié)點(diǎn)表示隨時(shí)間的推移而變化，因此本文將其定義為關(guān)于時(shí)間的函數(shù)Ev(t)。

2.2 模型框架

在建立DNRep 模型時(shí)，本文結(jié)合了傳播學(xué)中的關(guān)系強(qiáng)度理論，將信息傳播動(dòng)態(tài)網(wǎng)絡(luò)劃分為關(guān)系網(wǎng)絡(luò)（強(qiáng)關(guān)系）和傳播網(wǎng)絡(luò)（弱關(guān)系）。考慮到在信息傳播過程中，關(guān)系網(wǎng)絡(luò)和傳播網(wǎng)絡(luò)都在不斷變化，而兩者是共存的，且變化相互影響，形成傳播動(dòng)力學(xué)演化機(jī)制，因此將表示學(xué)習(xí)過程作為2 個(gè)網(wǎng)絡(luò)的中介過程，將2 個(gè)網(wǎng)絡(luò)的變化過程聯(lián)系起來，從而驅(qū)動(dòng)2 個(gè)網(wǎng)絡(luò)演變，并使節(jié)點(diǎn)表示隨時(shí)間動(dòng)態(tài)演化。DNRep模型的整體框架如圖2 所示。

圖2 DNRep 模型的整體框架Fig.2 Overall frame of DNRep model

圖2 中關(guān)系網(wǎng)絡(luò)的連邊表示用戶之間的關(guān)注、好友等強(qiáng)關(guān)系的建立，一旦連接會(huì)造成長期性的路徑變化，導(dǎo)致當(dāng)前網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的改變。網(wǎng)絡(luò)中節(jié)和邊的增加是關(guān)系網(wǎng)絡(luò)演變的過程，在輿論事件發(fā)生時(shí)，往往伴隨著大量節(jié)點(diǎn)的增加，網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)會(huì)不斷改變，而在關(guān)系網(wǎng)絡(luò)中兩節(jié)點(diǎn)間如果存在關(guān)注或好友關(guān)系，事件信息就會(huì)沿著這條路徑傳播，且這種傳播路徑是長期存在的。

傳播網(wǎng)絡(luò)只表示了當(dāng)前網(wǎng)絡(luò)中已有節(jié)點(diǎn)之間的傳播行為，沒有考慮引入新的節(jié)點(diǎn)和新的關(guān)系連邊情況，并且這種傳播行為是臨時(shí)性的短期關(guān)系，屬于弱關(guān)系，這更貼合真實(shí)世界輿情事件發(fā)生時(shí)的傳播情況。

關(guān)系網(wǎng)絡(luò)與傳播網(wǎng)絡(luò)相互演化，兩者的變化更新了網(wǎng)絡(luò)表示，同時(shí)網(wǎng)絡(luò)表示的更新通過反饋機(jī)制將當(dāng)前時(shí)刻的變化信息實(shí)時(shí)反饋至兩個(gè)網(wǎng)絡(luò)，保證了網(wǎng)絡(luò)表示的及時(shí)性。

2.3 網(wǎng)絡(luò)節(jié)點(diǎn)表示

在信息傳播網(wǎng)絡(luò)中影響節(jié)點(diǎn)表示變化的因素主要有3 個(gè)：

1）用戶節(jié)點(diǎn)間建立新的關(guān)系（強(qiáng)關(guān)系或弱關(guān)系），信息從一個(gè)鄰域傳播到另一個(gè)鄰域；

2）節(jié)點(diǎn)自身過去變化帶來的影響（如時(shí)間衰減）；

3）外部因素影響。因此節(jié)點(diǎn)更新的表示可以描述為式（3）所示：

其中：Ev(t)為節(jié)點(diǎn)v在t時(shí)刻的節(jié)點(diǎn)表示；Ms(t-1)表示t-1 時(shí)刻用戶節(jié)點(diǎn)鄰域間的影響，即提取、聚合了網(wǎng)絡(luò)結(jié)構(gòu)信息并反饋了變化信息；(t-1)是關(guān)于節(jié)點(diǎn)v的鄰居節(jié)點(diǎn)u的信息表示向量，其中包含注意力機(jī)制；Mr Ev(t-1)表示自身歷史變化帶來的影響；Ev(t-1)是節(jié)點(diǎn)v過去表示的周期性狀態(tài)；Mt(τ-τt-1)表示外部環(huán)境的影響，如與該節(jié)點(diǎn)相關(guān)的兩次網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的變化之間會(huì)產(chǎn)生外部影響；τ表示時(shí)間點(diǎn)；Ms、Mr、Mt為可學(xué)習(xí)參數(shù)。

對(duì)于式（3），(t-1)為輸出的表示向量，包含節(jié)點(diǎn)注意力的更新、節(jié)點(diǎn)信息的聚合和變化信息的反饋，且鄰域帶來的變化對(duì)節(jié)點(diǎn)更新的表示影響最大，是本文重點(diǎn)研究和改進(jìn)的部分。

2.4 節(jié)點(diǎn)鄰域信息更新

信息傳播網(wǎng)絡(luò)中用戶節(jié)點(diǎn)的變化大致可以分為3 類：

1）該時(shí)刻節(jié)點(diǎn)間只形成弱關(guān)系；

2）節(jié)點(diǎn)間已存在關(guān)注、好友等強(qiáng)關(guān)系，該時(shí)刻發(fā)生了如轉(zhuǎn)發(fā)等的弱關(guān)系交互行為；

3）該時(shí)刻節(jié)點(diǎn)間既形成了強(qiáng)關(guān)系也形成了弱關(guān)系。

以第3類，即關(guān)聯(lián)網(wǎng)絡(luò)與傳播網(wǎng)絡(luò)同時(shí)發(fā)生變化為例，DNRep模型更新節(jié)點(diǎn)表示的流程圖如圖3所示。

圖3 DNRep 模型更新節(jié)點(diǎn)表示的流程Fig.3 Procedure of update node representation of DNRep model

圖3 展示了在t時(shí)刻，節(jié)點(diǎn)2 與節(jié)點(diǎn)4 之間發(fā)生關(guān)聯(lián)（強(qiáng)關(guān)系）與傳播（弱關(guān)系）行為，由于關(guān)系網(wǎng)絡(luò)與傳播網(wǎng)絡(luò)同時(shí)發(fā)生變化，因此需要更新相關(guān)節(jié)點(diǎn)的鄰接矩陣與注意力權(quán)重，同時(shí)聚合節(jié)點(diǎn)信息并反饋節(jié)點(diǎn)變化信息，最后結(jié)合自相關(guān)項(xiàng)與時(shí)間項(xiàng)更新節(jié)點(diǎn)表示。

由于節(jié)點(diǎn)間的變化可能有3 類不同的情況發(fā)生，因此對(duì)于節(jié)點(diǎn)鄰域信息的更新，本文對(duì)3 類情況分別進(jìn)行討論。

1）節(jié)點(diǎn)i與節(jié)點(diǎn)j在t-1 時(shí)刻無關(guān)聯(lián)，t時(shí)刻發(fā)生i到j(luò)的傳播行為。

此時(shí)由于僅形成弱關(guān)系，因此節(jié)點(diǎn)的注意力關(guān)系強(qiáng)度矩陣S不變，即：

2）節(jié)點(diǎn)i與節(jié)點(diǎn)j在t-1 時(shí)刻已存在關(guān)聯(lián)，t時(shí)刻發(fā)生i到j(luò)的傳播行為。

為了度量節(jié)點(diǎn)對(duì)的關(guān)系強(qiáng)度，引入概率密度λ?？紤]λ需要滿足計(jì)算結(jié)果為正值的條件下還需要區(qū)分關(guān)聯(lián)網(wǎng)絡(luò)與傳播網(wǎng)絡(luò)，本文利用Softplus 函數(shù)作為外部函數(shù)，概率密度λ的計(jì)算式如式（5）所示：

其中：ψk是可學(xué)習(xí)的標(biāo)量時(shí)間尺度參數(shù)，表示對(duì)應(yīng)網(wǎng)絡(luò)發(fā)生變化的速率；mk∈R2d為學(xué)習(xí)時(shí)間尺度特定兼容性的模型參數(shù)；[·∥·]為聚合過程，表示2 個(gè)節(jié)點(diǎn)上一時(shí)刻節(jié)點(diǎn)表示的聚合。

所以λ時(shí)刻節(jié)點(diǎn)的注意力關(guān)系強(qiáng)度矩陣S的計(jì)算式如式（6）所示：

其中：Ni(t)表示節(jié)點(diǎn)i的鄰居節(jié)點(diǎn)個(gè)數(shù)。

3）節(jié)點(diǎn)與節(jié)點(diǎn)j無關(guān)聯(lián)，t時(shí)刻同時(shí)發(fā)生關(guān)聯(lián)以及從i到j(luò)的傳播行為。

由于在t時(shí)刻產(chǎn)生關(guān)聯(lián)，所以節(jié)點(diǎn)i與節(jié)點(diǎn)j的鄰接矩陣更新為Ai，j(t)=1。關(guān)聯(lián)行為產(chǎn)生的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的改變也使得節(jié)點(diǎn)i鄰域注意力權(quán)重發(fā)生改變，同時(shí)在t時(shí)刻傳播網(wǎng)絡(luò)也發(fā)生了變化，因此節(jié)點(diǎn)i與鄰居節(jié)點(diǎn)的注意力關(guān)系強(qiáng)度矩陣S的計(jì)算式為式（7）所示：

其中：Ui表示節(jié)點(diǎn)i所有鄰居節(jié)點(diǎn)的集合。新產(chǎn)生關(guān)聯(lián)的節(jié)點(diǎn)i與節(jié)點(diǎn)j的注意力關(guān)系強(qiáng)度矩陣S的計(jì)算方式見式（6）。

2.5 節(jié)點(diǎn)信息聚合與反饋

如圖4 所示，在局部傳播部分，模型捕獲了節(jié)點(diǎn)豐富的鄰域結(jié)構(gòu)信息，下一步需要進(jìn)行節(jié)點(diǎn)信息的聚合。目前信息聚合常用的方法有均值聚合、pooling 或者使用LSTM 框架等，但這些方法普遍存在忽略節(jié)點(diǎn)重要性或復(fù)雜度過高的缺點(diǎn)。

本文將注意力機(jī)制應(yīng)用到動(dòng)態(tài)模型中來度量各個(gè)節(jié)點(diǎn)的權(quán)重，考慮了網(wǎng)絡(luò)動(dòng)態(tài)變化對(duì)注意力的影響，并利用Softmax 函數(shù)將聚合信息以向量形式輸出，因此節(jié)點(diǎn)i鄰域信息聚合的輸出向量(t) 的計(jì)算式如式（8）所示：

其中：Si，r(t)表示節(jié)點(diǎn)i與鄰域的注意力關(guān)系強(qiáng)度矩陣；Er(t-1)表示節(jié)點(diǎn)i的鄰居節(jié)點(diǎn)t-1 時(shí)刻的節(jié)點(diǎn)表示；Mh與bh為可學(xué)習(xí)的、控制信息傳播的參數(shù)；Ui(t)表示節(jié)點(diǎn)i的鄰居節(jié)點(diǎn)集合。

在式（3）中，由于Ej(t-1)為自相關(guān)項(xiàng)，(τ-τt-1)為時(shí)間相關(guān)項(xiàng)，兩者均可通過直接計(jì)算得到，因此可以根據(jù)式（3）計(jì)算得到i時(shí)刻的節(jié)點(diǎn)表示Ei(t-1)。

為提高網(wǎng)絡(luò)更新的速度，本文引入反饋機(jī)制，將節(jié)點(diǎn)i的信息反饋到其鄰居節(jié)點(diǎn)。在發(fā)生動(dòng)態(tài)變化的節(jié)點(diǎn)i更新了節(jié)點(diǎn)表示后，節(jié)點(diǎn)i向鄰域反饋了自身變化信息，鄰居節(jié)點(diǎn)的表示Er(t)的更新公式如式（9）所示：

其中：Er(t-1)為t-1 時(shí)刻節(jié)點(diǎn)i的鄰居節(jié)點(diǎn)表示；Md為可學(xué)習(xí)向量；(Ei(t)-Ei(t-1))表示節(jié)點(diǎn)i的變化信息；Ui(t-1)表示t-1 時(shí)刻節(jié)點(diǎn)i的鄰居節(jié)點(diǎn)的集合。

2.6 模型訓(xùn)練

模型采用無監(jiān)督的學(xué)習(xí)方式，整個(gè)模型待學(xué)習(xí)的參數(shù)空間Ω表達(dá)式如式（10）所示：

模型的訓(xùn)練過程通過最小化負(fù)對(duì)數(shù)似然實(shí)現(xiàn)，對(duì)于一個(gè)在時(shí)間窗口[0，T]上產(chǎn)生了n次變化的集合O，損失函數(shù)L的定義如式（11）所示：

其中：n≠0；λ為節(jié)點(diǎn)對(duì)關(guān)系強(qiáng)度的概率密度函數(shù)；等式右邊最后一項(xiàng)表示總的殘存概率。

3 實(shí)驗(yàn)結(jié)果與分析

為評(píng)估DNRep 模型學(xué)習(xí)到的節(jié)點(diǎn)表示，將其應(yīng)用于動(dòng)態(tài)網(wǎng)絡(luò)的鏈接預(yù)測(cè)任務(wù)。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

為更好地評(píng)估模型的性能，提高模型的可比性，本文選用前人工作所使用的數(shù)據(jù)集，包括Social Evolution 數(shù)據(jù)集和Github 數(shù)據(jù)集。

Social Evolution 數(shù)據(jù)集［19］是麻省理工學(xué)院人類動(dòng)力學(xué)實(shí)驗(yàn)室利用手機(jī)應(yīng)用程序，收集了參與實(shí)驗(yàn)的83 名師生在2008 年10 月—2009 年5 月期間的社會(huì)關(guān)系、政治觀點(diǎn)、通信等記錄。該數(shù)據(jù)集包含了超過200 萬個(gè)事件（包括信息傳播事件與關(guān)系建立事件）。本文將觀點(diǎn)交換等信息傳播事件作為模型的傳播網(wǎng)絡(luò)，將師生間的親密朋友關(guān)系作為模型的關(guān)系網(wǎng)絡(luò)。由于相鄰間隔記錄的數(shù)量太大并且包含大量噪聲，因此本文采用與DyRep 模型［15］相同的方式對(duì)該數(shù)據(jù)集進(jìn)行預(yù)處理，根據(jù)相鄰間隔記錄發(fā)生的概率進(jìn)行過濾。

Github 數(shù)據(jù)集［20］根據(jù)時(shí)間軸記錄了開發(fā)人員編寫代碼、提交文檔、訪問、收藏等內(nèi)容，數(shù)據(jù)集每小時(shí)更新一次。本文選取了自2012年12月28日—2013年12 月31 日的數(shù)據(jù)。本文將開發(fā)人員間的關(guān)注、收藏等行為構(gòu)成的網(wǎng)絡(luò)作為模型的關(guān)系網(wǎng)絡(luò)，將文檔的訪問、提交等行為構(gòu)成的網(wǎng)絡(luò)作為模型的傳播網(wǎng)絡(luò)。采用與LDG 模型［21］相似的預(yù)處理方法后，得到的數(shù)據(jù)集統(tǒng)計(jì)如表 1 所示。

表1 數(shù)據(jù)集信息 Table 1 Dataset information

3.2 評(píng)價(jià)指標(biāo)與參數(shù)設(shè)置

鏈接預(yù)測(cè)就是預(yù)測(cè)下一時(shí)刻可能產(chǎn)生交互關(guān)聯(lián)的用戶。由于存在大量潛在的目標(biāo)用戶，因此精確地預(yù)測(cè)下一個(gè)用戶通常是不現(xiàn)實(shí)的，但是可以預(yù)測(cè)一個(gè)用戶候選集。預(yù)測(cè)下一個(gè)可能轉(zhuǎn)發(fā)信息的用戶可以被視為一個(gè)檢索問題，將所有下一時(shí)刻可能產(chǎn)生鏈接的用戶進(jìn)行排序，采用排名指標(biāo)作為評(píng)價(jià)標(biāo)準(zhǔn)。參照現(xiàn)有的信息傳播擴(kuò)散研究［15，21-22］，選擇前10 命中率（HITS@10）和平均排名（MAR）作為評(píng)價(jià)指標(biāo)。

HITS@10：在預(yù)測(cè)任務(wù)時(shí)對(duì)于給定元組，計(jì)算其與其他節(jié)點(diǎn)的條件密度，并對(duì)它們進(jìn)行排名，再與下一時(shí)刻進(jìn)行對(duì)比，測(cè)試節(jié)點(diǎn)出現(xiàn)在前10 名的次數(shù)比例。HITS@10 值越高表示實(shí)驗(yàn)評(píng)價(jià)結(jié)果越好。

MAR：測(cè)試元組的平均排名。MAR 越小則實(shí)驗(yàn)評(píng)價(jià)結(jié)果越好。

實(shí)驗(yàn)的超參數(shù)設(shè)置：訓(xùn)練的batch_size=200，dropout=0，隱藏層的神經(jīng)元個(gè)數(shù)d=32。本文使用Adam 優(yōu)化器［23］來訓(xùn)練模型，學(xué)習(xí)率為0.000 2，每個(gè)模型運(yùn)行10 次取平均結(jié)果。

3.3 性能比較

為更好地對(duì)比模型性能，本文選擇7 種具有代表性的模型作為對(duì)比模型，具體如下：

1）Node2vec 模型［6］，指利用網(wǎng)絡(luò)中存在類似結(jié)構(gòu)特征（即社區(qū)結(jié)構(gòu)）的特點(diǎn)而設(shè)計(jì)的一種既保持節(jié)點(diǎn)鄰居信息又能體現(xiàn)網(wǎng)絡(luò)信息的易訓(xùn)練網(wǎng)絡(luò)嵌入模型，其基本思想和DeepWalk 類似，也是生成隨機(jī)游走，對(duì)隨機(jī)游走進(jìn)行采樣得到網(wǎng)絡(luò)節(jié)點(diǎn)表示。

2）DynGEM 模型［10］，一種動(dòng)態(tài)網(wǎng)絡(luò)表示學(xué)習(xí)模型，使用深度自編碼器對(duì)動(dòng)態(tài)圖的快照進(jìn)行編碼，將時(shí)間線劃分為離散的時(shí)間點(diǎn)，并保留結(jié)構(gòu)，學(xué)習(xí)在這些時(shí)間點(diǎn)上的圖形快照嵌入。

3）GraphSage 模型［24］，一種歸納式表示學(xué)習(xí)模型，采樣圖中每個(gè)節(jié)點(diǎn)的鄰居結(jié)構(gòu)信息，再通過聚合函數(shù)聚合采樣信息，從而得到圖中各個(gè)頂點(diǎn)的向量表示。

4）GAT模型［25］，在GraphSage 模型的基礎(chǔ)上對(duì)鄰域采用多頭非均勻注意力機(jī)制。

5）Know-Evolve 模型［26］，是將時(shí)間點(diǎn)過程引入動(dòng)態(tài)圖表示學(xué)習(xí)的先驅(qū)，模型結(jié)合動(dòng)態(tài)時(shí)間點(diǎn)過程和深度神經(jīng)網(wǎng)絡(luò)框架，考慮了知識(shí)隨時(shí)間的進(jìn)化以及實(shí)體在多元關(guān)系中復(fù)雜的交互過程，通過參數(shù)化條件強(qiáng)度函數(shù)和關(guān)系得分將知識(shí)圖中事件的發(fā)生建模為多維點(diǎn)過程。

6）DyRep 模型［15］，將圖結(jié)構(gòu)的變化分為2 種過程，引入聚合機(jī)制并結(jié)合注意力機(jī)制，通過訓(xùn)練對(duì)應(yīng)的參數(shù)得到相關(guān)節(jié)點(diǎn)表示，且這種表示是可以動(dòng)態(tài)變化的。本文所設(shè)計(jì)模型是基于DyRep 模型進(jìn)行改進(jìn)的。

7）LDG 模型［21］，使用神經(jīng)關(guān)系推理模型推理圖中的事件類型，可以同時(shí)考慮2 種以上類型的邊，將DyRep 模型拓展為研究多關(guān)系圖，同時(shí)還加入雙線性編碼層，用以捕獲不同節(jié)點(diǎn)間更深層次的交互。

對(duì)于Social Evolution數(shù)據(jù)集，本文對(duì)2008年1月—2008 年9 月10 日間的數(shù)據(jù)進(jìn)行初始化，將2008 年9 月11 日—2009 年4 月的數(shù)據(jù)作為訓(xùn)練集，將2009 年5 月及之后的數(shù)據(jù)用作測(cè)試集。對(duì)于Github 數(shù)據(jù)集，本文使用2013 年之前的數(shù)據(jù)初始化網(wǎng)絡(luò)，將2013 年1 月1 日—2013 年9 月30 日的事件作為訓(xùn)練集，將2013 年10 月1 日—2013 年12 月31 日的數(shù)據(jù)作為測(cè)試集。將本文模型與Node2vec、DyGem、GraphSage、GAT 這4 種基于時(shí)間快照離散網(wǎng)絡(luò)的動(dòng)態(tài)網(wǎng)絡(luò)表示模型在兩個(gè)數(shù)據(jù)集下分別進(jìn)行鏈接預(yù)測(cè)任務(wù)，實(shí)驗(yàn)結(jié)果如圖4、圖5 及表2 所示，其中圖4 表示Hits@10指標(biāo)的對(duì)比結(jié)果，圖5 表示MAR 指標(biāo)的對(duì)比結(jié)果。在表2中，性能最優(yōu)的實(shí)驗(yàn)結(jié)果用粗體標(biāo)注，次優(yōu)的用下劃線標(biāo)注。

圖4 不同模型的Hits@10 指標(biāo)結(jié)果對(duì)比Fig.4 Comparison of Hits@10 indicator results of different models

圖5 不同模型的MAR 指標(biāo)對(duì)比結(jié)果Fig.5 Comparison of MAR indicator results of different models

表2 不同模型的實(shí)驗(yàn)結(jié)果對(duì)比 Table 2 Comparison of experimental results of different models

Node2vec、DynGEM、GraphSage、GAT 這4 種表示模型在處理動(dòng)態(tài)圖時(shí)的主要思路都是將動(dòng)態(tài)圖切分成離散的快照?qǐng)D，然后對(duì)當(dāng)前時(shí)刻的快照?qǐng)D進(jìn)行靜態(tài)網(wǎng)絡(luò)表示。然而真實(shí)世界的信息傳播網(wǎng)絡(luò)是動(dòng)態(tài)的，且變化發(fā)生的時(shí)間分布不均勻，在連續(xù)的時(shí)間序列中靜態(tài)網(wǎng)絡(luò)表示性能受到極大影響。由圖4、圖5 及表2 可知，這4 種模型在真實(shí)世界動(dòng)態(tài)網(wǎng)絡(luò)數(shù)據(jù)集上的預(yù)測(cè)任務(wù)中效果并不好。

由圖4和圖5可知，在Social Evolution 數(shù)據(jù)集下，4 種模型中性能最優(yōu)的是GraphSage 模型，HITS@10 和MAR 值分別為0.12 和37.0。在數(shù)據(jù)量較大、節(jié)點(diǎn)分布較稀疏的Github 數(shù)據(jù)集下，GAT 模型由于引入了多頭非均勻注意力機(jī)制，所以處理稀疏數(shù)據(jù)的性能在四者中較優(yōu)，HITS@10 和MAR 值分別為0.21 和107.1。而較為經(jīng)典的Node2vec 模型由于通過隨機(jī)游走對(duì)結(jié)果進(jìn)行采樣，結(jié)合社區(qū)結(jié)構(gòu)等特征生成節(jié)點(diǎn)表示，因此在處理數(shù)據(jù)規(guī)模大、節(jié)點(diǎn)稀疏的Github 數(shù)據(jù)集時(shí)的效果并不好，MAR 值為139.4（隨機(jī)預(yù)測(cè)的MAR 值約為140）。本文模型是一種處理連續(xù)時(shí)間網(wǎng)絡(luò)的動(dòng)態(tài)網(wǎng)絡(luò)表示模型，在連續(xù)變化的動(dòng)態(tài)網(wǎng)絡(luò)中有較優(yōu)異的性能，實(shí)驗(yàn)證明本文模型明顯優(yōu)于以上4 種模型。

針對(duì)圖4、圖5 及表2 的實(shí)驗(yàn)結(jié)果，將本文模型與其他基線模型做對(duì)比，作出如下分析。

1）與Know-Evolve 模型對(duì)比

Know-Evolve 模型主要適用于知識(shí)圖譜的表示學(xué)習(xí)，對(duì)于真實(shí)世界動(dòng)態(tài)網(wǎng)絡(luò)數(shù)據(jù)集的表示效果有限，在Social Evolution 數(shù)據(jù)集下的HITS@10 和MAR值分別為0.25 和30.0，在Github 數(shù)據(jù)集下的HITS@10 和MAR 值分別為0.17 和109.8。Know-Evolve 模型相較于前3 種切分成離散快照?qǐng)D形式的網(wǎng)絡(luò)表示學(xué)習(xí)模型在性能上有一定優(yōu)勢(shì)，但明顯不如本文模型。

2）與DyRep 模型對(duì)比

DyRep 模型由于缺少源代碼、數(shù)據(jù)集的預(yù)處理以及模型的具體實(shí)現(xiàn)，導(dǎo)致實(shí)驗(yàn)結(jié)果產(chǎn)生較大誤差。為提高可比性，表2 中DyRep 模型的實(shí)驗(yàn)結(jié)果參考自文獻(xiàn)［23］。本文主要基于DyRep 模型框架進(jìn)行改進(jìn)，在該模型上考慮了傳播學(xué)的關(guān)系強(qiáng)度理論以及在節(jié)點(diǎn)信息聚合后引入信息反饋機(jī)制。在Social Evolution 數(shù)據(jù)集的實(shí)驗(yàn)中，本文模型在HITS@10 和MAR 值上分別比DyRep 模型提高了0.09 和1.6；在Github 數(shù)據(jù)集中，本文模型在2 個(gè)評(píng)價(jià)指標(biāo)上分別高出了0.03 和25.7，由此說明本文模型性能更好。

3）與LDG 模型對(duì)比

LDG 模型使用神經(jīng)關(guān)系推理改進(jìn)DyRep 模型，突破了DyRep 模型只能研究兩種關(guān)系類型的限制。另外該模型加入了雙線性編碼層，使模型能捕獲更多節(jié)點(diǎn)信息。在沒有加入雙線性編碼層的條件下，本文模型在兩個(gè)數(shù)據(jù)集上的各項(xiàng)評(píng)價(jià)指標(biāo)均優(yōu)于LDG 模型。

與加入雙線性編碼層的LDG 模型相比，本文模型在Social Evolution 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果在HITS@10和MAR 兩個(gè)指標(biāo)上分別提高了0.19 和2.5。而由于Github 數(shù)據(jù)集數(shù)據(jù)量大且節(jié)點(diǎn)分布稀疏，因此雙線性編碼層在大型稀疏網(wǎng)絡(luò)中捕獲的潛在關(guān)系能有效提高下游預(yù)測(cè)任務(wù)的性能，所以本文模型在Github數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果是次優(yōu)的。

本文在Intel?Xeon?W-2102 CPU，NVIDIA GeForce GTX 1080 GPU，32 GB 內(nèi)存，Windows 10 Professional系統(tǒng)環(huán)境下，對(duì)本文模型與加入雙線性編碼層的LDG模型在兩個(gè)數(shù)據(jù)集上進(jìn)行鏈接預(yù)測(cè)任務(wù)的時(shí)間效率測(cè)試，測(cè)試進(jìn)行10次，結(jié)果取平均值，測(cè)試結(jié)果如圖6所示。

圖6 不同模型的時(shí)間效率對(duì)比Fig.6 Time efficiency comparison of different models

由圖6 可知，本文模型在Social Evolution 數(shù)據(jù)集、Github 數(shù)據(jù)集上的平均時(shí)間效率與加入雙線性層的LDG 模型相比，分別提高了91.8%、87.2%。

綜上，本文提出的DNRep 模型在真實(shí)網(wǎng)絡(luò)數(shù)據(jù)集的實(shí)驗(yàn)中各項(xiàng)評(píng)價(jià)指標(biāo)都是最優(yōu)或次優(yōu)的。加入雙線性編碼層后的LDG 模型在Github 數(shù)據(jù)集上表現(xiàn)出較優(yōu)異的性能，然而在時(shí)間效率上本文模型顯著優(yōu)于LDG 模型。對(duì)于真實(shí)世界中只包含強(qiáng)弱兩種關(guān)系的較為稠密的信息傳播網(wǎng)絡(luò)，本文提出的DNRep 模型更為適用，綜合性能更佳?？傮w而言，本文做出的改進(jìn)是有效的，所提出的DNRep 模型對(duì)于提高下游預(yù)測(cè)任務(wù)的性能有著顯著成效。

4 結(jié)束語

傳統(tǒng)的靜態(tài)網(wǎng)絡(luò)表示學(xué)習(xí)方法不能很好地反映網(wǎng)絡(luò)結(jié)構(gòu)的動(dòng)態(tài)變化特性，與真實(shí)世界的信息傳播網(wǎng)絡(luò)不貼合，且存在延遲性問題。本文結(jié)合傳播學(xué)理論，引入反饋機(jī)制，在改進(jìn)DyRep 模型框架的基礎(chǔ)上提出DNRep 模型。使用圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到交互結(jié)構(gòu)的序列相關(guān)性，并利用用戶輔助信息實(shí)現(xiàn)個(gè)性化推薦。實(shí)驗(yàn)結(jié)果表明，與Know-Evolve、DyRep、LDG 等模型相比，本文模型的命中率和平均排名提升顯著。下一步將關(guān)注大規(guī)模動(dòng)態(tài)網(wǎng)絡(luò)上的網(wǎng)絡(luò)表示學(xué)習(xí)，并利用表示學(xué)習(xí)改進(jìn)下游機(jī)器學(xué)習(xí)任務(wù)，從而提高信息傳播動(dòng)態(tài)模型的效率。