摘 要：與傳統(tǒng)網(wǎng)絡(luò)不同，超網(wǎng)絡(luò)具有復(fù)雜的高階元組關(guān)系，而現(xiàn)有大多數(shù)超網(wǎng)絡(luò)表示學(xué)習(xí)方法不能很好地捕獲復(fù)雜的高階元組關(guān)系。針對上述問題，為了更好地捕獲復(fù)雜的高階元組關(guān)系，提出了基于雙端權(quán)重約束的異質(zhì)超網(wǎng)絡(luò)表示學(xué)習(xí)方法。首先，該方法提出一個超邊多源隨機(jī)游走融合算法，將超邊融入到基于超路徑的隨機(jī)游走節(jié)點序列中；然后，受到知識表示學(xué)習(xí)模型TransE的啟發(fā)，該方法引入超邊感知器模型與hyper-gram模型進(jìn)行加權(quán)融合，以便于捕獲超網(wǎng)絡(luò)中復(fù)雜的高階元組關(guān)系；最后，在四個真實超網(wǎng)絡(luò)數(shù)據(jù)集上的實驗表明，對于鏈接預(yù)測任務(wù)，該方法的性能幾乎優(yōu)于所有基線方法。對于超網(wǎng)絡(luò)重建任務(wù)，在GPS數(shù)據(jù)集上，該方法的性能優(yōu)于所有基線方法；同時，在drug數(shù)據(jù)集上，在超邊重建比例大于0.3時，該方法的性能優(yōu)于所有基線方法。總之，所提方法能夠有效地捕獲超網(wǎng)絡(luò)中復(fù)雜的高階元組關(guān)系。

關(guān)鍵詞： 超網(wǎng)絡(luò)表示學(xué)習(xí)； 雙端權(quán)重約束； 超邊感知器； 鏈接預(yù)測； 超網(wǎng)絡(luò)重建

中圖分類號： TP181

文獻(xiàn)標(biāo)志碼： A

文章編號： 1001-3695（2025）02-011-0406-07

doi： 10.19734/j.issn.1001-3695.2024.07.0279

Heterogeneous hypernetwork representation learning with

dual-end weight constraints

Chen Yijian^a，b， Zhu Yu^{a，b’}， Wang Xiaoying^a，b， Huang Jianqiang^a，b， Cao Tengfei^a，b， Wang Wei^a，b

（a.School of Computer Technology amp; Application， b.Qinghai Provincial Laboratory for Intelligent Computing amp; Application， Qinghai University， Xining 810016， China）

Abstract：Different from traditional networks， the hypernetworks possess complex higher-order tuple relationships， which fail to be captured by most existing hypernetwork representation learning methods effectively. To address this issue and better capture complex higher-order tuple relationships， this paper proposed a heterogeneous hypernetwork representation learning me-thod with dual-end weight constraints abbreviated as HRDC. Firstly， this method proposed a hyperedge multi-source random walk fusion algorithm that incorporated the hyperedges into random walk node sequences based on the hyperpaths. Secondly， inspired by the knowledge representation learning model TransE， this method introduced hyperedge perceptron model and hyper-gram model to carry out weighted fusion， so as to capture complex higher-order tuple relationships in the hypernetworks. Finally， the experiments on four real-world hypernetwork datasets demonstrate that for link prediction tasks， the performance of this method is almost superior to all baseline methods. As for hypernetwork reconstruction tasks， on the GPS dataset， the performance of this method surpasses all baseline methods. On the drug dataset， when the hyperedge reconstruction ratio exceeds 0.3， the performance of this method outperforms all baseline methods. In summary， the proposed" method can effectively capture complex higher-order tuple relationships in the hypernetworks.

Key words：hypernetwork representation learning; dual-end weight constraint; hyperedge perceptron; link prediction; hypernetwork reconstruction

0 引言

網(wǎng)絡(luò)表示學(xué)習(xí)方法按照網(wǎng)絡(luò)類型分為傳統(tǒng)網(wǎng)絡(luò)表示學(xué)習(xí)方法和超網(wǎng)絡(luò)表示學(xué)習(xí)方法。傳統(tǒng)網(wǎng)絡(luò)表示學(xué)習(xí)也被稱為網(wǎng)絡(luò)嵌入，其將傳統(tǒng)網(wǎng)絡(luò)的節(jié)點映射到一個低維表示向量空間中。例如，Deepwalk^［1］將自然語言處理思想引入網(wǎng)絡(luò)表示學(xué)習(xí)，將網(wǎng)絡(luò)中的節(jié)點序列視為句子，將每一個節(jié)點視為單詞來學(xué)習(xí)節(jié)點表示向量，但游走的隨機(jī)性會導(dǎo)致無法有效地捕獲網(wǎng)絡(luò)結(jié)構(gòu)。node2vec^［2］在Deepwalk的基礎(chǔ)上對游走策略進(jìn)行了優(yōu)化，利用廣度搜索和深度搜索策略來更好地捕獲網(wǎng)絡(luò)結(jié)構(gòu)。CoarSAS2hvec^［3］旨在解決傳統(tǒng)隨機(jī)游走過程中樣本不平衡的問題，使用自避免短序列采樣策略和網(wǎng)絡(luò)粗化步驟來更準(zhǔn)確地收集網(wǎng)絡(luò)信息，并結(jié)合優(yōu)化的損失函數(shù)進(jìn)行節(jié)點表示向量的學(xué)習(xí)。但該方法計算復(fù)雜度較高，對于大型網(wǎng)絡(luò)，采樣和訓(xùn)練過程會消耗較長時間。

然而傳統(tǒng)網(wǎng)絡(luò)表示學(xué)習(xí)方法并不適用于超網(wǎng)絡(luò)，因此，研究者們提出了超網(wǎng)絡(luò)表示學(xué)習(xí)方法。超網(wǎng)絡(luò)表示學(xué)習(xí)也被稱為超網(wǎng)絡(luò)嵌入，其為超網(wǎng)絡(luò)中的每個節(jié)點學(xué)習(xí)一個表示向量。節(jié)點表示向量可以被用于推薦系統(tǒng)^［4］、趨勢預(yù)測^［5］、節(jié)點分類^［6］等網(wǎng)絡(luò)分析任務(wù)中。超網(wǎng)絡(luò)表示學(xué)習(xí)方法種類眾多，根據(jù)超網(wǎng)絡(luò)學(xué)習(xí)方法自身特點，超網(wǎng)絡(luò)表示學(xué)習(xí)方法可分為譜分析超網(wǎng)絡(luò)表示學(xué)習(xí)方法、神經(jīng)網(wǎng)絡(luò)超網(wǎng)絡(luò)表示學(xué)習(xí)方法^［7］。

譜分析超網(wǎng)絡(luò)表示學(xué)習(xí)方法是以譜理論為基礎(chǔ)的矩陣分析方法^［7］。按照其建模思路，可以將其劃分為展開式譜分析方法和非展開式譜分析方法。展開式譜分析方法一般通過將超網(wǎng)絡(luò)轉(zhuǎn)換為傳統(tǒng)網(wǎng)絡(luò)的方式，將超網(wǎng)絡(luò)表示學(xué)習(xí)簡化為傳統(tǒng)網(wǎng)絡(luò)表示學(xué)習(xí)。經(jīng)典的展開算法有星展開與團(tuán)展開^［8］等。Yu等人^［9］基于類內(nèi)散布矩陣的聚類算法，提出超網(wǎng)絡(luò)的展開矩陣，并利用拉普拉斯矩陣的特征向量作為節(jié)點特征進(jìn)行聚類，但是上述算法會丟失超網(wǎng)絡(luò)結(jié)構(gòu)信息。與展開式譜分析方法不同，非展開式譜分析方法直接在超網(wǎng)絡(luò)上進(jìn)行建模，構(gòu)建超網(wǎng)絡(luò)上的拉普拉斯矩陣，例如，Bolla^［10］在無權(quán)超圖上定義了拉普拉斯矩陣，能夠有效解決無權(quán)超圖上的最小切割問題，但是只可應(yīng)用于無權(quán)超圖，遷移性較差。Sch?lkopf等人^［11］在有權(quán)超圖上定義了拉普拉斯矩陣，解決了有權(quán)超圖上的最小切割問題，但是超圖結(jié)構(gòu)中存在孤立節(jié)點時拉普拉斯算子將失效。hyper2vec^［12］在超網(wǎng)絡(luò)中進(jìn)行有偏隨機(jī)游走獲得超網(wǎng)絡(luò)表示，同時通過導(dǎo)向函數(shù)使得該方法能夠更好地保留超網(wǎng)絡(luò)的結(jié)構(gòu)和固有屬性，但是導(dǎo)向函數(shù)為分段函數(shù)較為簡單。

神經(jīng)網(wǎng)絡(luò)超網(wǎng)絡(luò)表示學(xué)習(xí)方法可以分為展開式神經(jīng)網(wǎng)絡(luò)方法與非展開式神經(jīng)網(wǎng)絡(luò)方法。展開式神經(jīng)網(wǎng)絡(luò)方法將超圖拉普拉斯矩陣代入到圖卷積神經(jīng)網(wǎng)絡(luò)中，但是會丟失超網(wǎng)絡(luò)結(jié)構(gòu)信息。例如，HGNN^［13］將超網(wǎng)絡(luò)拉普拉斯矩陣應(yīng)用到傳統(tǒng)圖卷積神經(jīng)網(wǎng)絡(luò)中，進(jìn)行超網(wǎng)絡(luò)卷積運(yùn)算。受到HGNN的啟發(fā)，DHCF^［14］通過星展開算法，將超圖轉(zhuǎn)換為圖，從而分別對用戶和項目的結(jié)構(gòu)信息進(jìn)行提取，并將提取后的兩個表征矩陣通過一個共享權(quán)重矩陣關(guān)聯(lián)起來， 最終獲得項目和用戶的表征矩陣。但是該方法僅通過共享權(quán)重的方式來構(gòu)建不同對象之間的關(guān)聯(lián)關(guān)系， 使得不同對象之間的聯(lián)系完全依賴于數(shù)據(jù)質(zhì)量， 這將難以應(yīng)對噪聲數(shù)據(jù)。非展開式神經(jīng)網(wǎng)絡(luò)超網(wǎng)絡(luò)表示學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)及其衍生結(jié)構(gòu)為模型主體結(jié)構(gòu)的超網(wǎng)絡(luò)學(xué)習(xí)方法，沒有分解超邊，從而較好地保留了超網(wǎng)絡(luò)結(jié)構(gòu)信息。例如，Bai 等人^［15］向圖神經(jīng)網(wǎng)絡(luò)家族引入兩個端到端的可訓(xùn)練算子（超圖卷積和超圖注意力）來學(xué)習(xí)超圖數(shù)據(jù)上的深度嵌入，其中超圖卷積定義了在超圖上執(zhí)行卷積的基本公式，而超圖注意力則通過注意力模塊進(jìn)一步增強(qiáng)了表示學(xué)習(xí)的能力。HPSG^［16］通過基于超路徑的隨機(jī)游走來構(gòu)造節(jié)點的異質(zhì)鄰域，然后通過skip-gram^［17］深度模型學(xué)習(xí)節(jié)點表示向量^［18］，但HPSG僅僅利用簡單深度模型來學(xué)習(xí)節(jié)點表示向量，無法更好地捕獲復(fù)雜高階元組關(guān)系。HPHG^［16］捕獲了節(jié)點之間的元組關(guān)系和成對關(guān)系，但是受限于固定大小和固定類型的超邊。DHNE^［19］通過多層感知器來捕獲高階元組關(guān)系，但很難拓展到任意規(guī)模的超網(wǎng)絡(luò)。Hyper-SAGNN^［20］相比于HPHG和DHNE，對輸入高階元組關(guān)系節(jié)點數(shù)目大小和類型沒有要求，但是該算法計算復(fù)雜度較高。HyperS2V^［21］通過引入超度來捕獲節(jié)點在超網(wǎng)絡(luò)中的結(jié)構(gòu)特性，并提出新的函數(shù)來衡量不同超度之間的結(jié)構(gòu)相似性，但由于超網(wǎng)絡(luò)的多樣性，導(dǎo)致難以定義一個通用的距離函數(shù)，故該方法對超網(wǎng)絡(luò)的適應(yīng)性不足。

針對上述超網(wǎng)絡(luò)表示學(xué)習(xí)方法中出現(xiàn)的問題，本文提出一種基于雙端權(quán)重約束的異質(zhì)超網(wǎng)絡(luò)表示學(xué)習(xí)方法。該方法將超邊融入到基于超路徑隨機(jī)游走節(jié)點序列中，并利用超邊感知器模型^［22］與hyper-gram模型進(jìn)行加權(quán)融合，以捕獲超網(wǎng)絡(luò)中復(fù)雜的高階元組關(guān)系。實驗結(jié)果表明，本文方法優(yōu)于大部分基線方法。本文的貢獻(xiàn)如下：a）提出超邊多源隨機(jī)游走融合算法，該算法將超邊融入基于超路徑的隨機(jī)游走節(jié)點序列中；b）該方法引入超邊感知器模型與hyper-gram模型進(jìn)行加權(quán)融合， 以便于捕獲超網(wǎng)絡(luò)中復(fù)雜的高階元組關(guān)系，從而獲得高質(zhì)量的節(jié)點表示向量。

1 問題定義

超網(wǎng)絡(luò)通常被抽象為超圖H=（V，E），其中，V={v_i}^|V|_i=1={V_t}^T_t=1是T種類型的節(jié)點集合，其中，V_t代表第t種類型的節(jié)點集合，|V|是節(jié)點個數(shù)。E={e_i={v₁，v₂，…，v_m}}^|E|_i=1（m≥2）是超邊集合，其中，|E|是超邊個數(shù)。如果對于任意的e_i∈E均有|e_i|=k，則稱H為k-均勻超網(wǎng)絡(luò)，如果k=2，那么超網(wǎng)絡(luò)退化為傳統(tǒng)網(wǎng)絡(luò)，如果T≥2，則超網(wǎng)絡(luò)定義為異質(zhì)超網(wǎng)絡(luò)。異質(zhì)超網(wǎng)絡(luò)如圖1所示，其中，E={e₁={a₁，b₂，c₁}，e₂={a₂，b₁，c₂}，e₃={a₁，b₁，c₁}，e₄={a₂，b₂，c₂}}， a、b、c分別表示節(jié)點類型。

2 預(yù)備知識

2.1 不可分解因子

與傳統(tǒng)網(wǎng)絡(luò)僅有成對關(guān)系不同，異質(zhì)超網(wǎng)絡(luò)中最重要的特性是超邊的不可分解性。為了定義超邊的不可分解程度，HPHG提出了不可分解因子^［16］，不可分解因子公式如式（1）所示。

其中：ξ_t為該超邊的不可分解程度；_random是根據(jù)節(jié)點集合隨機(jī)生成邊的集合；δ₁（e）是一個指示函數(shù)，其定義如式（2）所示。

2.2 基于超路徑的隨機(jī)游走

傳統(tǒng)的隨機(jī)游走方法僅僅是在當(dāng)前節(jié)點的鄰居中選擇下一個節(jié)點，或者基于轉(zhuǎn)移概率來選擇下一個節(jié)點，這些方法無法捕獲超網(wǎng)絡(luò)中的不可分解性，鑒于此，HPHG提出了基于超路徑的隨機(jī)游走^［16］方法。為了解釋超路徑的概念，首先需要了解路徑順序（path order，PO）的概念，路徑順序定義如式（4）所示。

PO（v|P）=max k

其中：P［－k］代表路徑中倒數(shù)第k個元素。給定一個節(jié)點和一個超邊，節(jié)點的路徑順序取決于節(jié)點是否同時存在于一個超邊中，該超邊包含節(jié)點和路徑最后k個不同的節(jié)點。以圖1異質(zhì)超網(wǎng)絡(luò)為例，P=a₂→b₂→c₂，PO（c₁|P）=PO（a₁|P）=1?；诼窂巾樞虻母拍睿窂绞歉鶕?jù)以下規(guī)則生成的路徑：從節(jié)點v開始，選擇具有最大路徑順序的節(jié)點作為當(dāng)前路徑的下一個節(jié)點，路徑順序越大的節(jié)點，表示與當(dāng)前節(jié)點的緊密程度越高，它在超路徑中的位置也越靠前。

鑒于不同超網(wǎng)絡(luò)的不同的不可分解程度，基于超路徑的隨機(jī)游走轉(zhuǎn)移概率計算如式（5）所示。

π₂（υ|P）=π₁（υ|P［－1］）·exp（α·ξ_φ（υ）·（PO（υ|P）－1））（5）

其中：α是控制對超路徑傾向的參數(shù)；π₁（υ|P［－1］）是一階轉(zhuǎn)移概率，其定義如下：

π₁（υ|P［－1］）=1

v∈N_G（P［－1］）

0

否則（6）

其中：N_G（P［－1］）代表P［－1］的鄰居節(jié)點集合。

2.3 TransE模型

作為知識表示學(xué)習(xí)中的經(jīng)典模型，TransE^［23］認(rèn)為，如果存在一個正確三元組（h，r，t），則頭實體向量h加上關(guān)系向量r約等于尾實體向量t，即h+r≈t，否則，該三元組是錯誤三元組。TransE模型如圖2所示。

3 HRDC方法

hyper-gram模型通過神經(jīng)網(wǎng)絡(luò)模型無法全面地捕獲超網(wǎng)絡(luò)中復(fù)雜的高階元組關(guān)系和成對關(guān)系，因此，為了解決hyper-gram模型的問題，本文提出基于雙端權(quán)重約束的異質(zhì)超網(wǎng)絡(luò)表示學(xué)習(xí)方法HRDC。HRDC方法的整體框架如圖3所示，該框架主要包括超邊多源隨機(jī)游走融合算法、hyper-gram模型、超邊感知器模型和加權(quán)融合模型四個部分。其中：α和β為加權(quán)融合的平衡因子；E表示由hyper-gram模型生成的節(jié)點表示向量構(gòu)成的嵌入矩陣；e_ν表示由hyper-gram模型生成的節(jié)點v對應(yīng)的表示向量；F表示由超邊感知器模型生成的節(jié)點向量構(gòu)成的嵌入矩陣； f_v表示由超邊感知器模型生成的節(jié)點v對應(yīng)的表示向量； f_h、f_r分別是節(jié)點h和關(guān)系r對應(yīng)的表示向量，并且f_h+r=f_h+f_r，S_v表示節(jié)點v經(jīng)平衡因子加權(quán)融合后的最終表示向量。θ_u表示節(jié)點u對應(yīng)的參數(shù)向量。

HRDC方法的思想有以下考量：受TransE模型啟發(fā)，超邊感知器模型將高階元組關(guān)系視作節(jié)點，可以更好地捕獲高階元組關(guān)系。因此，通過超邊感知器模型學(xué)習(xí)到的節(jié)點表示向量富含高階元組關(guān)系。本文將超邊感知器模型學(xué)習(xí)到的節(jié)點表示向量與hyper-gram模型學(xué)習(xí)到的節(jié)點表示向量進(jìn)行加權(quán)融合，能夠較好地彌補(bǔ)hyper-gram模型無法全面捕獲超網(wǎng)絡(luò)中復(fù)雜的高階元組關(guān)系與成對關(guān)系這一問題。

3.1 超邊多源隨機(jī)游走融合算法

由圖1異質(zhì)超網(wǎng)絡(luò)可知，節(jié)點之間通過超邊建立語義關(guān)系。為了更好地捕獲超網(wǎng)絡(luò)結(jié)構(gòu)信息，本文提出超邊多源隨機(jī)游走融合算法，該算法將與節(jié)點關(guān)聯(lián)的超邊融入到基于超路徑的隨機(jī)游走節(jié)點序列中^［16］，以便于加強(qiáng)節(jié)點之間的相關(guān)性。

超邊多源隨機(jī)游走融合算法如下所述，該算法主要由三部分構(gòu)成：首先根據(jù)式（1）計算超網(wǎng)絡(luò)中超邊的不可分解性；然后根據(jù)式（5）不可分解性以及超路徑計算節(jié)點轉(zhuǎn)移概率；最后生成超邊多源隨機(jī)游走節(jié)點序列。

算法1 超邊多源隨機(jī)游走融合算法

輸入：超網(wǎng)絡(luò)H=（V，E）；節(jié)點隨機(jī)游走長度l；節(jié)點游走次數(shù)num。

輸出：超邊多源隨機(jī)游走節(jié)點序列paths。

//計算超網(wǎng)絡(luò)不可分解性

for edge in 超邊集合 do

/*去掉超邊中任意一個節(jié)點，得到超邊的子集，T為超邊節(jié)點類型，k′為超邊節(jié)點類型個數(shù)*/

for i in T do

去掉節(jié)點類型為i的節(jié)點，得到超邊的子集，并統(tǒng)計子集出現(xiàn)的次數(shù)

end for

end for

for i in k′ do

初始化不可分解因子列表

end for

for edge in 超邊集合 do

for i in k′do

去掉節(jié)點類型為i的節(jié)點，如果子集出現(xiàn)的次數(shù)大于1，則增加對應(yīng)節(jié)點類型的因子值

end for

end for

//計算基于超路徑隨機(jī)游走節(jié)點的轉(zhuǎn)移概率

for v in V do

for n in N（v） do // N（v）為v的鄰居節(jié)點集合

根據(jù)式（5）計算節(jié)點轉(zhuǎn)移概率

end for

end for

//生成超邊多源隨機(jī)游走節(jié)點序列

for i in num do

for v in V do

for j from 2 to l do

節(jié)點v通過轉(zhuǎn)移概率計算得出下一個游走節(jié)點為u

if（v與u同存在于一條超邊或多條超邊）

將v與u添加到節(jié)點序列paths中

將其中一條超邊看作節(jié)點插入到節(jié)點序列中的v與u之間

else do

將v與u添加到節(jié)點序列paths中

end if

end for

end for

end for

return paths

3.2 hyper-gram模型

受skip-gram模型的啟發(fā)，hyper-gram模型進(jìn)一步定義了任意兩個節(jié)點v_i、v_j∈V之間的成對相似函數(shù)，成對相似函數(shù)如式（7）所示。

s_pair（v_i，v_j）=∏τ∈Vp（τ|v_i）p（τ|v_j）（7）

為了計算方便，對式（7）取對數(shù)后的式子如式（8）所示。

log s_pair（v_i，v_j）=∑τ∈V（log p（τ|v_i）+log p（τ|v_j））=

∑τ∈V（e（v_i）·e′（τ）－log Z_vi+e（v_j）·e′（τ）－log Z_vj）（8）

其中：e（v_i）和e（v_j）分別表示節(jié)點v_i和v_j對應(yīng)的表示向量；e′（τ）表示上下文節(jié)點v對應(yīng)的表示向量；Z_vi=∑τ∈Vexp（e（v_i）·e′（τ））；Z_vj=∑τ∈Vexp（e（v_j）·e′（τ））。

式（8）可以使用負(fù)采樣算法并添加一個激活函數(shù)來進(jìn)行優(yōu)化，負(fù)采樣優(yōu)化后的最小化的成對相似度目標(biāo)函數(shù)如式（9）所示。

其中：ψ為正樣本節(jié)點的集合；x=（v，τ）為一個正樣本對；v是目標(biāo)節(jié)點；τ為目標(biāo)節(jié)點的上下文節(jié)點。ψ_neg為負(fù)樣本節(jié)點的集合，x_neg=（v，v_neg）是一個負(fù)樣本對，其中，v為目標(biāo)節(jié)點，v_neg為負(fù)樣本節(jié)點。

hyper-gram不僅考慮了節(jié)點之間的成對關(guān)系，還考慮了節(jié)點之間的高階元組關(guān)系。一個元組的緊密程度可以使用元組相似度來衡量，其中，元組x=（x₁，x₂，…，x_k）相似度定義如式（10）所示。

s_tuple（x）=δ₂（x）·σ（Wφ+bias）（10）

其中：φ=cnn（［e（x₁），e（x₂），e（x₃），…，e（x_k）］）為一維卷積層的輸出；W和bias分別為全連接層的權(quán)重和偏置值；δ₂是一個指示函數(shù)，其定義如式（11）所示。

δ₂（x）=1

如果x滿足元組關(guān)系

0

否則（11）

將成對相似函數(shù)與元組相似度的目標(biāo)函數(shù)相結(jié)合，hyper-gram的目標(biāo)函數(shù)如式（13）所示，其中，超參數(shù)λ用于平衡成對相似度最小化的目標(biāo)函數(shù)和元組相似度最小化的目標(biāo)函數(shù)。

3.4 加權(quán)融合模型

受TransE模型的啟發(fā)，HRDC方法引入超邊感知器模型，該方法將分別通過hyper-gram模型和超邊感知器模型訓(xùn)練得到的節(jié)點表示向量進(jìn)行加權(quán)融合，以便于使得節(jié)點表示向量全面有效地表征超網(wǎng)絡(luò)結(jié)構(gòu)信息，即提升HRDC方法對節(jié)點之間的高階元組關(guān)系的理解和表達(dá)能力，從而更好地捕獲超網(wǎng)絡(luò)中的復(fù)雜高階元組關(guān)系，其中，加權(quán)融合如式（16）所示。

S_ν=α·e_ν+β·f_ν（16）

其中：e_ν為hyper-gram模型訓(xùn)練得到的節(jié)點表示向量； f_ν為超邊感知器模型訓(xùn)練得到的節(jié)點表示向量；α和β為平衡因子參數(shù)，用于平衡上述兩個模型，以便于更好地融合節(jié)點表示向量。

4 實驗

4.1 數(shù)據(jù)集

四種不同類型的超網(wǎng)絡(luò)數(shù)據(jù)集被用來評估HRDC方法的性能，包括GPS數(shù)據(jù)集、drug數(shù)據(jù)集、MovieLens數(shù)據(jù)集以及WordNet數(shù)據(jù)集，數(shù)據(jù)集的統(tǒng)計信息如表1所示。

表1 數(shù)據(jù)集統(tǒng)計

Tab.1 Dataset statistics

數(shù)據(jù)集節(jié)點類型節(jié)點數(shù)邊數(shù)GPS用戶位置活動1467051 436drug用戶藥物反應(yīng)121 0716 316166 625MovieLens用戶電影標(biāo)簽1 8985 5667 95045 475WordNet頭實體關(guān)系尾實體15 8391815 87535 723

a）GPS^［24］：該數(shù)據(jù)集描述了用戶在某個位置參加具體活動，元組關(guān)系（用戶，位置，活動）被看作超邊來構(gòu)建超網(wǎng)絡(luò)。

b）drug（https：//www.fda.gov/drugs）：drug數(shù)據(jù)集描述了用戶吃了某個藥物出現(xiàn)的不良反應(yīng)，元組關(guān)系（用戶，藥物，反應(yīng)）被看作超邊來構(gòu)建超網(wǎng)絡(luò)。

c）MovieLens^［25］：該數(shù)據(jù)集描述了MovieLens的用戶標(biāo)記活動，元組關(guān)系（用戶，電影，標(biāo)簽）被看作超邊來構(gòu)建超網(wǎng)絡(luò)。

d）WordNet^［26］：該數(shù)據(jù)集將三元組（頭實體，關(guān)系，尾實體）看作超邊來構(gòu)建超網(wǎng)絡(luò)。

4.2 基線方法

a）Deepwalk：該方法通過訓(xùn)練skip-gram模型來獲得節(jié)點表示向量。

b）node2vec：該方法通過采用深度優(yōu)先和廣度優(yōu)先來進(jìn)行有偏隨機(jī)游走，從而獲得節(jié)點表示向量。

c）HPSG：該方法將基于超路徑的隨機(jī)游走節(jié)點序列作為skip-gram模型的輸入來學(xué)習(xí)節(jié)點表示向量。

d）HPHM：該方法（hyperedge perceiver model with hyperedge multi-source walk abbreviated as HPHM）是HRDC方法的變體，去除了hyper-gram模型，僅將超邊多源隨機(jī)游走節(jié)點序列作為超邊感知器模型的輸入來學(xué)習(xí)節(jié)點表示向量。

e）hyper2vec：該方法通過在超網(wǎng)絡(luò)上進(jìn)行有偏二階隨機(jī)游走來捕獲節(jié)點之間的高階關(guān)系，從而學(xué)習(xí)節(jié)點表示向量。

f）CoarSAS2hvec：該方法通過HIN粗化和自避免短序列采樣過程捕獲異質(zhì)網(wǎng)絡(luò)的豐富信息，從而學(xué)習(xí)節(jié)點表示向量。

g）HyperS2V：該方法通過超度度量不同度之間超網(wǎng)絡(luò)中結(jié)構(gòu)的相似性，來獲得節(jié)點表示向量。

h）HPHG：該方法將基于超路徑的隨機(jī)游走節(jié)點序列作為hyper-gram模型的輸入來學(xué)習(xí)節(jié)點表示向量。

i）Hyper-SAGNN：該方法是一個超網(wǎng)絡(luò)表示學(xué)習(xí)方法，其通過使用自注意力機(jī)制來學(xué)習(xí)節(jié)點表示向量。

j）DHNE：該方法是一個超網(wǎng)絡(luò)表示學(xué)習(xí)方法，其通過多層感知器來學(xué)習(xí)節(jié)點表示向量。

針對上述基線方法，為了使它們具有較好的對比性，本文將上述基線方法的參數(shù)設(shè)置與原論文保持一致，沒有對基線方法作參數(shù)敏感度分析。

4.3 鏈接預(yù)測

鏈接預(yù)測被用于預(yù)測網(wǎng)絡(luò)中未來可能產(chǎn)生的鏈接或關(guān)系，在現(xiàn)實生活中擁有廣泛應(yīng)用。例如，在社交網(wǎng)絡(luò)^［27］中，鏈接預(yù)測可以幫助推薦用戶可能認(rèn)識的朋友，從而增強(qiáng)社交網(wǎng)絡(luò)平臺的用戶體驗和互動；在生物信息學(xué)^［28］中，鏈接預(yù)測有助于發(fā)現(xiàn)潛在的蛋白質(zhì)相互作用，從而推動新藥的研發(fā)和疾病機(jī)制的理解；在個性化推薦中，通過預(yù)測用戶和產(chǎn)品之間可能的關(guān)系，提升個性化推薦的準(zhǔn)確性，改善用戶滿意度^［29］。

本節(jié)在GPS、drug、MovieLens以及WordNet數(shù)據(jù)集上進(jìn)行了鏈接預(yù)測實驗，四個數(shù)據(jù)集中80%的超邊被隨機(jī)選取用作訓(xùn)練集，其余20%的超邊作為測試集。通過10次實驗，依據(jù)L₁、L₂、COS^［16］三個評價指標(biāo)，取AUC^［30］平均值來評估鏈接預(yù)測性能。鏈接預(yù)測實驗結(jié)果如表2所示。

a）從表2可知，HRDC在四個數(shù)據(jù)集上均優(yōu)于HPHG，這表明HRDC能夠更好地捕獲到超網(wǎng)絡(luò)中復(fù)雜的高階元組關(guān)系。

b）HRDC是針對超網(wǎng)絡(luò)所提出的表示學(xué)習(xí)方法，因此，在四個數(shù)據(jù)集上的鏈接預(yù)測性能均優(yōu)于傳統(tǒng)網(wǎng)絡(luò)表示學(xué)習(xí)方法，如Deepwalk、node2vec。

c）在GPS數(shù)據(jù)集中，Hyper-SAGNN優(yōu)于HRDC，原因是Hyper-SAGNN構(gòu)造了節(jié)點之間的注意力系數(shù)作為節(jié)點的動態(tài)特征，該方法更適用于不可分解性較大的GPS超網(wǎng)絡(luò)。

d）在MovieLens數(shù)據(jù)集中，作為特定訓(xùn)練節(jié)點之間的成對關(guān)系的超網(wǎng)絡(luò)表示學(xué)習(xí)方法，HPSG優(yōu)于HRDC，這是因為MovieLens超網(wǎng)絡(luò)的不可分解性較小，節(jié)點之間具有較強(qiáng)的關(guān)聯(lián)性。

e）在WordNet數(shù)據(jù)集中，Hyper-SAGNN優(yōu)于HRDC，原因是Hyper-SAGNN動態(tài)構(gòu)建節(jié)點之間的特征，該方法更適用于WordNet數(shù)據(jù)集。

綜上所述，HRDC學(xué)習(xí)到了高質(zhì)量的節(jié)點表示向量，可以較好地預(yù)測未來將會出現(xiàn)的鏈接。

4.4 超網(wǎng)絡(luò)重建

超網(wǎng)絡(luò)重建用于評估節(jié)點表示向量的質(zhì)量，確保新構(gòu)建的超網(wǎng)絡(luò)能夠保留原始超網(wǎng)絡(luò)的結(jié)構(gòu)信息。本節(jié)在GPS和drug數(shù)據(jù)集上進(jìn)行超網(wǎng)絡(luò)重建，超網(wǎng)絡(luò)重建的評價指標(biāo)如式（20）所示。

ACC（ρ）=1ρ|γ|∑ρ|γ|i=1 n_i0lt;ρlt;1（20）

其中：n_i=1代表第i個重建超邊存在于原超網(wǎng)絡(luò)中，否則不存在于原超網(wǎng)絡(luò)中；|γ|為重建的總超邊數(shù)；ρ為重建超邊的比例。超網(wǎng)絡(luò)重建實驗結(jié)果如圖4所示。

由圖4可知，HRDC在GPS數(shù)據(jù)集上的超網(wǎng)絡(luò)重建效果較好，在任意超邊重建比例下均優(yōu)于其他基線方法。在drug數(shù)據(jù)集上，當(dāng)超邊重建比例大于0.3時，HRDC均優(yōu)于其他基線方法；在超邊重建比例小于0.3時，HRDC與HPHG方法呈現(xiàn)競爭趨勢，這是因為在重建比例小于0.3時，重建超邊個數(shù)較少，HPHG捕獲局部超邊信息的能力更強(qiáng)。上述實驗結(jié)果表明，HRDC較好地捕獲了超網(wǎng)絡(luò)中復(fù)雜的高階元組關(guān)系，在超網(wǎng)絡(luò)重建時能夠較好地保留超網(wǎng)絡(luò)結(jié)構(gòu)信息。

4.5 參數(shù)敏感度

在式（16）中，α與β的取值不同將會影響節(jié)點表示向量的質(zhì)量，為了全面地體現(xiàn)α與β的取值對節(jié)點表示向量質(zhì)量的影響，本文設(shè)置0lt;αlt;1，0lt;βlt;1，α與β均?。?.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1.0］，并對α與β進(jìn)行參數(shù)敏感度分析。參數(shù)敏感度實驗結(jié)果如圖5所示。

圖5（a）（b）的左側(cè)為數(shù)據(jù)，右側(cè)為圖例，由右側(cè)可知，顏色由紅變藍(lán)代表數(shù)值由大變?。▍⒁婋娮影妫?。因此，由圖5可知，對于GPS和drug數(shù)據(jù)集，當(dāng)α=0.1，β=0.1時，超邊感知器模型與hyper-gram模型在融合時發(fā)生沖突，無法全面地捕獲高階元組關(guān)系和成對關(guān)系，此時HRDC訓(xùn)練得到的節(jié)點表示向量質(zhì)量較低，鏈接預(yù)測性能較差。在GPS數(shù)據(jù)集中，隨著α和β 的不斷調(diào)整，當(dāng)α=0.9，β=0.1時，使得式（16）達(dá)到平衡最優(yōu)解，原因是HRDC將通過hyper-gram模型和超邊感知器模型捕獲到的高階元組關(guān)系和成對關(guān)系較好地融入到了節(jié)點表示向量中，因此鏈接預(yù)測性能較好。在drug數(shù)據(jù)集中，隨著α和β的不斷調(diào)整，當(dāng)α=1，β=0.1時，使得式（16）達(dá)到平衡最優(yōu)解，此時HRDC綜合利用了hyper-gram模型和超邊感知器模型在捕獲高階元組關(guān)系和成對關(guān)系的優(yōu)勢，將高階元組關(guān)系和成對關(guān)系較好地融入到了節(jié)點表示向量中，因此鏈接預(yù)測性能較好。

4.6 消融實驗

為了驗證本文方法的各個模塊對超網(wǎng)絡(luò)表示學(xué)習(xí)效果的影響，本文設(shè)計了兩種變體，分別命名為HPHG和HPHM。其中，HPHG相對于HRDC去除了超邊感知器模塊，將基于超路徑的隨機(jī)游走序列輸入到hyper-gram模型來學(xué)習(xí)節(jié)點表示向量；HPHM相對于HRDC去除了hyper-gram模型，將超邊多源隨機(jī)游走序列輸入到超邊感知器模型來學(xué)習(xí)節(jié)點表示向量。HRDC在四個數(shù)據(jù)集上進(jìn)行鏈接預(yù)測的消融分析實驗，結(jié)果如圖6所示。

由圖6可知，HRDC在四個數(shù)據(jù)集上均優(yōu)于兩種變體。這是因為，HPHM僅僅使用超邊感知器模型訓(xùn)練節(jié)點表示向量，未能很好地考慮節(jié)點之間的成對關(guān)系，而HPHG僅僅利用簡單的神經(jīng)網(wǎng)絡(luò)模型，不能很好地捕獲復(fù)雜高階元組關(guān)系。而HRDC通過加權(quán)較好地融合了由HPHG和HPHM訓(xùn)練得到的節(jié)點表示向量，綜合考慮了節(jié)點之間的成對關(guān)系和高階元組關(guān)系。

5 結(jié)束語

本文提出了基于雙端權(quán)重約束的超網(wǎng)絡(luò)表示學(xué)習(xí)方法，該方法通過平衡hyper-gram模型和超邊感知器模型來充分捕獲節(jié)點之間的成對關(guān)系和高階元組關(guān)系，以便于學(xué)習(xí)高質(zhì)量的節(jié)點表示向量。實驗表明，HRDC在四個數(shù)據(jù)集上優(yōu)于大部分基線方法。盡管該方法引入了超邊感知器模型并與hyper-gram模型加權(quán)融合，但可能造成超網(wǎng)絡(luò)結(jié)構(gòu)信息的冗余。因此，將來工作重點是如何更高效、全面、準(zhǔn)確地捕獲超網(wǎng)絡(luò)結(jié)構(gòu)信息。

參考文獻(xiàn)：

［1］Perozzi b， Al-Rfou R， Skiena S. Deepwalk： online learning of social representations［C］// Proc of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2014： 701-710.

［2］Grover A， Leskovec J. node2vec： scalable feature learning for networks［C］// Proc of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2016： 855-864.

［3］Zhan Ling， Jia Tao. CoarSAS2hvec： heterogeneous information network embedding with balanced network sampling［J］. Entropy， 2022， 24（2）： 276-286.

［4］倪文鍇， 杜彥輝， 馬興幫， 等. 面向個性化推薦的node2vec-side融合知識表示［J］. 計算機(jī)應(yīng)用研究， 2024， 41（2）： 361-367， 374. （Ni Wenkai， Du Yanhui， Ma Xingbang， et al. node2vec-side fusion knowledge representation for personalized recommendation［J］. Application Research of Computers， 2024， 41（2）： 361-367， 374.）

［5］姚俊萍， 袁聰， 李曉軍， 等. 面向知識圖譜鏈接預(yù)測任務(wù)的解釋子圖生成模型［J］. 計算機(jī)應(yīng)用研究， 2024， 41（2）： 375-380. （Yao Junping， Yuan Cong， Li Xiaojun， et al. Interpretive subgraph generation model for knowledge graph link prediction task［J］. Application Research of Computers， 2024， 41（2）： 375-380.）

［6］劉淵， 趙紫娟， 楊凱. 基于節(jié)點相似性的圖注意力網(wǎng)絡(luò)表示學(xué)習(xí)模型［J］. 計算機(jī)應(yīng)用研究， 2023， 40（3）： 822-827. （Liu Yuan， Zhao Zijuan， Yang Kai. Graph attention network representation lear-ning with node similarity［J］. Application Research of Compu-ters， 2023， 40（3）： 822-827.）

［7］胡秉德， 王新根， 王新宇， 等. 超圖學(xué)習(xí)綜述： 算法分類與應(yīng)用分析［J］. 軟件學(xué)報， 2022， 33（2）： 498-523. （Hu Bingde， Wang Xingen， Wang Xinyu， et al. Survey on hypergraph learning： algorithm classification and application analysis［J］. Journal of Software， 2022， 33（2）： 498-523.）

［8］Agarwal S， Branson K， Belongie S. Higher order learning with graphs［C］// Proc of the 23rd International Conference on Machine Lear-ning. New York： ACM Press， 2006： 17-24.

［9］Yu Limin， Shen Xianjun， Jiang Xingpeng， et al. Hypergraph clustering based on intra-class scatter matrix for mining higher-order microbial module［C］// Proc of IEEE International Conference on Bioinformatics and Biomedicine. Piscataway， NJ： IEEE Press， 2019： 240-243.

［10］Bolla M. Spectra， Euclidean representations and clusterings of hypergraphs［J］. Discrete Mathematics， 1993， 117（1-3）： 19-39.

［11］Sch?lkopf B， Platt J， Hofmann T. Learning with hypergraphs： clustering， classification， and embedding［C］// Advances in Neural Information Processing Systems. Piscataway， NJ： IEEE Press， 2007： 1601-1608.

［12］Huang Jie， Chen Chuan， Ye Fanghua， et al. hyper2vec： biased random walk for hyper-network embedding［C］// Proc of International Conference on Database Systems for Advanced Applications. Cham： Springer， 2019： 273-277.

［13］Feng Yifan， You Haoxuan， Zhang Zizhao， et al. Hypergraph neural networks［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 3558-3565.

［14］Ji Shuyi， Feng Yifan， Ji Rongrong， et al. Dual channel hypergraph collaborative filtering［C］// Proc of the 26th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press， 2020： 2020-2029.

［15］Bai Song， Zhang Feihu， Torr P H S. Hypergraph convolution and hypergraph attention［J］. Pattern Recognition， 2021， 110： 107637.

［16］Huang Jie， Liu Xin， Song Yangqiu. Hyper-path-based representation learning for hyper-networks［C］// Proc of the 28th ACM International Conference on Information and Knowledge Management. New York： ACM Press， 2019： 449-458.

［17］Mikolov T， Sutskever I， Chen Kai， et al. Distributed representations of words and phrases and their compositionality［C］// Proc of International Conference on Neural Information Processing Systems. Berlin： Springer， 2013： 3111-3119.

［18］劉貞國， 朱宇， 劉連照， 等. 基于轉(zhuǎn)化策略的異質(zhì)超網(wǎng)絡(luò)表示學(xué)習(xí)［J］. 計算機(jī)應(yīng)用研究， 2022， 39（11）： 3333-3339. （Liu Zhenguo， Zhu Yu， Liu Lianzhao， et al. Heterogeneous hypernetwork representation learning with transformation strategy［J］. Application Research of Computers， 2022， 39（11）： 3333-3339.）

［19］Tu Ke， Cui Peng， Wang Xiao， et al. Structural deep embedding for hypernetworks［C］// Proc of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 426-433.

［20］Zhang Ruochi， Zou Yuesong， Ma Jian. Hyper-SAGNN： a self-attention based graph neural network for hypergraphs［C］// Proc of the 8th International Conference on Learning Representations. 2020： 1-18.

［21］Liu Shu， Lai C， Toriumi F. HyperS2V： a framework for structural representation of nodes in hypernetworks ［EB/OL］. （2023-11-07）. https：//arxiv.org/abs/2311.04149.

［22］劉貞國， 朱宇， 趙海興， 等. 基于平移約束的異質(zhì)超網(wǎng)絡(luò)表示學(xué)習(xí)［J］. 中文信息學(xué)報， 2022， 36（12）： 74-84. （Liu Zhenguo， Zhu Yu， Zhao Haixing， et al. Heterogeneous hypernetwork representation learning with the translation constraint［J］. Journal of Chinese Information Processing， 2022， 36（12）： 74-84.）

［23］Bordes A， Usunier N， Garciaduran A. Translating embeddings for modeling multi-relational data［C］// Proc of the 26th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2013： 2787-2795.

［24］Zheng V， Cao Bin， Zheng Yu， et al. Collaborative filtering meets mobile recommendation： a user-centered approach［C］// Proc of the 24th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2010： 236-241.

［25］Harper F M， Konstan J A. The MovieLens datasets： history and context［J］. ACM Trans on Interactive Intelligent Systems， 2016， 5（4）： article No. 19.

［26］Miller G A. WordNet： a lexical database for English［J］. Communications of the ACM， 1995， 38（11）： 39-41.

［27］宗傳玉， 李箬竹， 夏秀峰. 基于位置社交網(wǎng)絡(luò)的用戶社區(qū)和屬性位置簇搜索［J］. 計算機(jī)應(yīng)用研究， 2023， 40（9）： 2657-2662. （Zong Chuanyu， Li Ruozhu， Xia Xiufeng. User community and attribute location cluster search in location-based social networks［J］. Application Research of Computers， 2023， 40（9）： 2657-2662.）

［28］Yang Xi， Wang Wei， Ma Jinglun， et al. BioNet： a large-scale and heterogeneous biological network model for interaction prediction with graph convolution［J］. Briefings in Bioinformatics， 2022， 23（1）： bbab491.

［29］李楊， 代永強(qiáng). 基于客戶喜好的雙向個性化推薦算法［J］. 計算機(jī)應(yīng)用研究， 2021， 38（9）： 2701-2704， 2709. （Li Yang， Dai Yongqiang. Bidirectional personalized recommendation algorithm based on customer preference［J］. Application Research of Computers， 2021， 38（9）： 2701-2704， 2709.）

［30］姜正申， 劉宏志， 付彬， 等. 集成學(xué)習(xí)的泛化誤差和AUC分解理論及其在權(quán)重優(yōu)化中的應(yīng)用［J］. 計算機(jī)學(xué)報， 2019， 42（1）： 1-15. （Jiang Zhengshen， Liu Hongzhi， Fu Bin， et al. Decomposition theories of generalization error and AUC in ensemble learning with application in weight optimization［J］. Chinese Journal of Compu-ters， 2019， 42（1）： 1-15.）