王峰 高強 代作松 曹國強

（1.南京南瑞信息通信科技有限公司 江蘇南京 210000；2.國網(wǎng)遼寧省電力有限公司信息通信分公司遼寧沈陽 110000）

為適應大數(shù)據(jù)與“互聯(lián)網(wǎng)+”融合創(chuàng)新應用的需求，國家電網(wǎng)公司于2015年初正式提出了“全球能源互聯(lián)網(wǎng)”的發(fā)展戰(zhàn)略，即以特高壓電網(wǎng)為骨干網(wǎng)架（通道）輸送清潔能源、建設全球互聯(lián)泛在的堅強智能電網(wǎng)為目標，將應用大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)、移動互聯(lián)、智能穿戴、計算機視覺等技術，增強輸變電設備狀態(tài)的智能感知與實時評價、設備精準定位、故障自動預警等能力，優(yōu)化大電網(wǎng)分布部署與集中協(xié)調的控制模式。全球能源互聯(lián)網(wǎng)將運用大數(shù)據(jù)技術，對多元能源數(shù)據(jù)（如燃氣網(wǎng)數(shù)據(jù)、熱力網(wǎng)數(shù)據(jù)、發(fā)電廠數(shù)據(jù)、電網(wǎng)數(shù)據(jù)等）和經(jīng)濟、氣候等外部數(shù)據(jù)進行快速、及時、準確的分析，提升能源供應的效率，實現(xiàn)互聯(lián)網(wǎng)與風能、太陽能、地熱能等可再生能源的融合與全球能源互享。

數(shù)字化發(fā)展是建設數(shù)字中國的重要戰(zhàn)略布局，數(shù)字化轉型過程中，信息化數(shù)據(jù)的真實性、信息化業(yè)務流程的可靠性、關鍵業(yè)務流轉的可溯源性一直是企業(yè)資源管理數(shù)字化的重要問題。特別是在電網(wǎng)企業(yè)在開展電力工程基建、線路設備運檢等生產(chǎn)經(jīng)營活動中，數(shù)據(jù)誠信體系的構建更是成為“后信息化時代”的重要課題。重要的核心業(yè)務數(shù)據(jù)的采集、固化、傳輸、封存到查驗、鑒定等工作的公正性和權威性，直接決定了數(shù)據(jù)和業(yè)務的公信力［1］，取證手段有限、證據(jù)效力不高及傳統(tǒng)司法鑒定服務不夠便捷等問題逐漸成為安全生產(chǎn)電子證據(jù)的重要研究難點。

本文實現(xiàn)的智能推送算法可以方便、安全地部署于國網(wǎng)的各類移動應用中。第一，易于實現(xiàn)和維護。開發(fā)者可以借此方便地處理全部數(shù)據(jù)，并且算法易于測試。第二，支持運行時更新。新增一個評分項時，能即時更新得到新的推薦結果，高效率查詢響應，即快速地執(zhí)行查詢，雖然這一般需要占用更多的空間。第三，對初次訪問者要求低。對于初次的訪問者，其評分項一般在這種情況下也可以獲得較好的推薦結果。第四，合理的準確性。與最準確的推薦算法相比，此方法應該是在合理的準確范圍內(nèi)的，而且準確性方面的微小增長不應該犧牲算法的簡單性和擴展性。

1 提出的協(xié)同推薦算法

本文提出了一種基于圖神經(jīng)網(wǎng)絡的協(xié)同推薦算法（見圖1），由于其較好的性能和可解釋性，最近已成為一種廣泛應用的圖分析方法。推薦系統(tǒng)中的用戶—項目交互關系可以看作一個圖，即用戶和項目作為節(jié)點，兩者之間的交互作為邊，同時還可以融入用戶的社交網(wǎng)絡、項目的屬性信息等。面對推薦中的用戶與項目為不同類型的節(jié)點，可以應用異質信息網(wǎng)絡；面對數(shù)據(jù)稀疏及長尾問題，可以引入鄰居采樣等技術；面對圖的大規(guī)模問題，可以進行采樣及子圖訓練等優(yōu)化方式。

圖1 協(xié)同推薦算法

2 關系圖的建立

為了解決上述限制，本文提出了一種基于采樣的關系型圖神經(jīng)網(wǎng)絡，該算法可以從知識圖中提取與推薦相關的信息。首先，本文根據(jù)它們的中間實體連接知識圖中的項目并創(chuàng)建新的關系，例如，在電網(wǎng)大數(shù)據(jù)中，相關的項目由同一個單位審批實施，那它們就可以標記為關聯(lián)項目關系，構建過程如圖2所示。通過這種方式，本文可以明確地揭示項目間的關系。同時，本文采用基于采樣的鄰居聚合來避免鄰居大小的指數(shù)增長，從而緩解過度平滑問題。

圖2 關系圖的建立

在基于知識圖譜的協(xié)同推薦算法中，大多數(shù)基于采樣的圖神經(jīng)網(wǎng)絡采用均為鄰居的均勻采樣，無法區(qū)分用戶的喜好及相關關系［2］?，F(xiàn)有的工作中，采樣的策略與優(yōu)化過程是分離的，這進一步阻礙了“電力數(shù)據(jù)口袋書”業(yè)務中端到端、用戶到用戶的訓練方式。

本文中提出了一種全新的訓練模型，專利中涉及電力數(shù)據(jù)知識圖譜上的相關業(yè)務，使用關系圖神經(jīng)網(wǎng)絡進行推薦，疊加用戶喜好及用戶權限。對于給定的用戶登錄及相關電路數(shù)據(jù)業(yè)務，如果可以確定它們是關聯(lián)關系或者關聯(lián)的節(jié)點，本文首先就計算關聯(lián)項的相關性值。相關性分數(shù)用于對top-K相關的鄰居項進行采樣，因此，本文的模型可以根據(jù)關系和項目類型在連接的鄰居中區(qū)分推薦相關項目。本文還在采樣過程中采用了Gumbel-Softmax 重新參數(shù)化技巧，它從分類分布中近似采樣概率，從而使采樣過程可微，因此，采樣組件與訓練目標聯(lián)合優(yōu)化，從而享受端到端的時尚。本文根據(jù)關系和項目類型計算相關性分數(shù)以進行采樣，這可以導航模型以選擇推薦相關項目。

基于知識感知的“電力數(shù)據(jù)口袋書”項目的議題推薦的目標是：在給定了電力數(shù)據(jù)業(yè)務中用戶的歷史交互數(shù)據(jù)及電力業(yè)務的知識圖譜的情況下，預測用戶u是否對新業(yè)務或者新項目p感興趣。具體的說，來自用戶U與電力業(yè)務或項目P的歷史交互表示為用戶—業(yè)務的二維圖關系GY={(u，yup，p)|u∈U，p∈P}，其中，yup=1表示用戶u通過點擊、瀏覽等方式與電力業(yè)務p進行了交互。知識圖譜由與電力業(yè)務或者項目的關聯(lián)屬性共同組成，如電力業(yè)務的主管單位、項目的類型是否為國網(wǎng)下?lián)?、省地市的相關業(yè)務來源、業(yè)務的屬性（發(fā)、送、輸、變、配）。本文將知識圖譜統(tǒng)一為有向異構圖GK={(l，r，t)|l，t∈E，r∈R}（如甘肅省公司，國網(wǎng)下?lián)芸萍柬椖?，二〇二〇年，第二批），其中，E和R表示實體和關系。因此，知識感知推薦任務可以形式化如下：

式中，yup是對用戶對項目p興趣的預測，Λ是權重為ω的學習預測函數(shù)。

3 相關鄰居節(jié)點的構建

節(jié)點度偏度限制了知識圖譜中具有稀缺連接的項目的可用鄰居項目池。本文提出了“協(xié)同交互”模式來建立更高階的項目—項目、業(yè)務—業(yè)務及實體—實體的關系，用以縮短相關項目之間的路徑距離。舉例說明，用戶可能對同一電力業(yè)務發(fā)布單位所撰寫的電力業(yè)務報告感興趣，本文可以從“電力數(shù)據(jù)口袋書”中設置的知識圖GK中提取協(xié)同交互模式，并使用一組新的關聯(lián)關系構建一個業(yè)務—業(yè)務的協(xié)同交互無向圖GI，其定義如下：

式中，rn表示新的“I-r”關系。遵循這些關系的導航，本文連接具有協(xié)同交互模式的項目，并構建項目—項目圖，這樣，本文可以直接連接高階鄰居，避免感受野的指數(shù)增長。本文將用戶—項目二部圖GY和項目—項目協(xié)同交互圖GI統(tǒng)一為一個單一的圖，稱為關系圖，因此，本文可以在后續(xù)任務中考慮用戶和物品之間的所有這些關系［3］。

在這里，本文介紹了提議的用于鄰居選擇的可微采樣，本文只從涉及的電力項目的角度來說明它，因為它對用戶來說是相同的過程，協(xié)同交互關系與推薦的相關性因用戶而異。例如，相同類型的電力業(yè)務的影響比相同的項目負責人影響更大。此外，協(xié)同交互關系是不平衡的，因為“電力數(shù)據(jù)口袋書”中相關項目負責人的業(yè)務到業(yè)務的對比就比同類別的要少得多，這會影響到電力數(shù)據(jù)業(yè)務協(xié)同推薦的有效性，即當潛在鄰居池很大時，高度相關的鄰居會減少。為了降低這一影響，保留真正相關的信息，本文引入了從關系角度分配權重的關系感知采樣方法，如圖3所示。采樣過程中，首先為每個項目定義一個新的關系感知相關性分數(shù)分布，然后從中采樣。項i在其相關鄰居Z(i)上的關系感知相關性得分分布定義如下：

圖3 相關鄰居節(jié)點的構建

式中：m(pi，j=1|ωl，b)表示項目j與目標項目i相關的合理性；ωl∈Rd和b∈R是可學習的權重和偏差；rij∈Rd和sj∈Rd分別是關系和鄰居項的嵌入，而d是嵌入的維度。相關性和鄰居項共同決定了它的鄰居相關概率，這就強調了在采樣的相關性計算中關系意識的必要性。本文對用戶應用相同的相關性計算過程［4-5］。

給定計算出的相關性分布，本文因此只選擇最相關的top-K項目，也就是說，推薦性能高度取決于選擇程序的結果。為了使這個過程可區(qū)分并與優(yōu)化過程相結合，本文應用了Gumbel-Softmax 重新參數(shù)化技巧。假定Gumbel噪聲g～Gumbel(0，1)，本文可以使用以下等式繪制軟分類樣本：

式中：mi∈Rd由等式（3）中定義的所有鄰居j∈Z(i)的相關性分數(shù)m(pi，j)組成；T是退火溫度。

前期的工作已經(jīng)證明，當T趨0 時，yi近似于單熱編碼器。本文重復上述過程K次，并對近似的單熱編碼器求和。在每次推薦開始時，所選項目的mi中的相關性得分將設置為0，這樣，本文可以獲得一個K-hot向量，表示為后續(xù)學習過程選擇的top-K相關項目。

除了關系因素之外，本文還應該在top-K鄰居消息傳播過程中考慮疊加用戶對電力數(shù)據(jù)業(yè)務的喜好［6］。由于用戶可能對各種關系有不同的偏好，本文在聚合中考慮了這些關系。聚合過程如圖4所示，推斷項目i的嵌入如下：

圖4 用戶聚合過程

式中，oij是從采樣過程中獲得的項目K-hot向量中的第j位置值，表示項目j是否被選為項目i的鄰居。su∈Rd是用戶的嵌入。對于用戶，本文在類似的過程中獲得推斷的用戶嵌入，但注意力是使用連接的項目嵌入計算的。

本文使用點積生成用戶u對項目i的偏好分數(shù)，分別具有推斷的用戶/項目嵌入和預測計算如下：

本文使用成對BPR 損失來優(yōu)化top-N推薦，其定義如下：

式中，Ψ是一組三元組，每個三元組由用戶u、一個交互項i和一個從用戶u從未與之交互的項中采樣的負項組成。

4 結語

針對電力大數(shù)據(jù)業(yè)務中的查詢及使用，本文研發(fā)設計了基于采樣的關系型圖神經(jīng)網(wǎng)絡疊加喜好的多維度智能推薦算法，詳細討論了算法的設計流程、參數(shù)優(yōu)化，并給出了實例化的論證。與傳統(tǒng)的推薦算法相比，該算法推薦準確度高，同時在大數(shù)據(jù)環(huán)境下較為現(xiàn)實。此外，由于疊加了用戶權限及喜好，相關算法能夠對電力行業(yè)的用戶數(shù)據(jù)進行分析，并匹配出適合的目標用戶，最終實現(xiàn)電力數(shù)據(jù)的高質量推送。