趙 越，武志昊，趙苡積

（1.北京交通大學 計算機信息與技術學院，北京 100044；2.交通數據分析與挖掘北京市重點實驗室，北京 100044）

0 概述

點擊率預估被廣泛應用于搜索廣告［1-2］和推薦系統(tǒng)［3-4］等領域，有助于企業(yè)精準營銷和提高投資回報率［5］。點擊率預估模型構建的關鍵在于學習能有效反映用戶行為的交互特征。例如，在軟件商店中，用戶1 偏好下載熱門的軟件，可構造一階特征［軟件名稱］，用戶2 經常在吃飯時間下載外賣軟件，可構造二階交互特征［軟件名稱、時間］，男青年3 偏好射擊游戲，可構造高階交互特征［用戶性別、用戶年齡、軟件名稱］。

低階和高階的交互特征對于點擊率預估具有重要意義，但是原始數據只能獲取一階特征。通常依據專家經驗手動設計新特征，以獲取有效的高階交互特征。然而，這種方式需要大量的人工成本和豐富的專家經驗。隨著因子分解機（Factorization Machine，F(xiàn)M）［6］等機器學習算法的發(fā)展，自動獲取交互特征成為可能，但是該方法需要遍歷所有特征組合，受計算資源的限制，通常只能截取二階的交互特征?；谏疃葘W習的算法［7-9］因其優(yōu)異的性能受到了廣泛關注，將高維稀疏的特征按照特征類別組織為多個域，經過嵌入層得到每個域內的特征嵌入，最終通過深度神經網絡來建模高階特征交互。盡管這類模型具有優(yōu)異的性能，但是其未考慮冷啟動問題。在推薦系統(tǒng)領域中，冷啟動問題通常指包含某特征（如用戶或產品）的樣本極少，導致模型無法對這部分樣本進行準確推薦，該樣本分為新特征和“小”特征樣本兩種。在實際應用中，產品的快速迭代會產生包含“小”特征的樣本，例如，在軟件商店中，某用戶下載了小眾軟件，從而產生一條點擊樣本，小眾軟件即為“小”特征，該樣本即為包含“小”特征的樣本。“小”特征在模型訓練階段出現(xiàn)次數較少而沒有得到充分學習，導致模型對這類樣本點擊率預估不準確。雖然“小”特征在訓練階段出現(xiàn)次數少，但是數量較龐大，如果能準確預估該類樣本將產生較高的經濟效益［10］。

在點擊率預估的實際場景中（如搜索廣告、推薦系統(tǒng)），冷啟動問題面臨諸多挑戰(zhàn)［11］。常見的解決方法是通過設計粗粒度的特征交互，獲得在極少數樣本中更豐富的“小”特征信息。域是特征按照類別劃分形成的粗粒度概念，研究人員［12-14］通過引入域交互以更準確地建模特征交互，他們指出，在不同域下的特征交互通常存在差異問題，例如，性別域的特征與軟件類型域的特征有強的交互，然而與設備類型域的特征交互相對較弱，顯然特征交互的強度受域的影響，所以引入粗粒度的域是通過域嵌入的內積建模域交互，并進一步將域嵌入的內積作為特征交互的系數以體現(xiàn)交互的強度。然而在該類引入粗粒度交互的方法中，因每個樣本的域嵌入以及域交互的操作均相同，導致域交互均相同，從而無法捕獲樣本對域的獨特偏好。例如，用戶小明喜歡看視頻，那么小明偏好［軟件類型］域；用戶小紅喜歡評分高的軟件，則小紅偏好［軟件評分］域；用戶小蘭喜歡免費軟件，那么小蘭偏好［是否免費］域，因此粗粒度的域交互需要進行個性化建模。

本文提出一種基于特征與域感知的點擊率預估方法FF-GNN。該方法分別通過基于圖神經網絡的交互模塊建模細粒度的特征交互和粗粒度的域交互，利用圖神經網絡的權重計算模塊交叉引用低階信息，并通過注意力機制融合兩個交互模塊的結果，從而提升點擊率預估的準確度。

1 相關工作

研究人員采用機器學習算法邏輯回歸（Logistics Regression，LR）進行點擊率預估，該方法不僅無法交互特征且沒有泛化能力，從而難以滿足實際應用需求。為解決該問題，研究人員［6］開發(fā)了基于嵌入的方法，將高維稀疏的輸入嵌入成低維稠密的隱向量，提高模型的泛化能力。基于嵌入的方法分為基于FM 的方法和基于神經網絡的方法。

1.1 基于FM 的方法

FM［6］方法是通過構建特征隱因子，并將其內積作為交叉特征權重，以有效建模成對的特征交互，但是其計算復雜度高［15］。研究人員對FM 進行改進［12-14］，引入域信息建模特征交互的差異性，例如FFM［12］為特征構建多個隱因子，其與不同域內的特征交互時，使用不同的嵌入計算交叉特征的權重，強調域對特征交互產生的影響，IFM［13］通過構建域交互來計算特征交互的權重，然而該方法中每個樣本得到的域交互均相同，無法進行個性化建模。也有研究人員［16］認為交叉特征并非同等重要，因此提出了一些模型。例如AFM［16］引入注意力網絡來學習交叉特征的重要性，忽略不重要甚至無用的特征。然而，這些方法只能建模二階交叉特征，其性能難以滿足點擊率預估任務的需求。

1.2 基于神經網絡的方法

由于神經網絡能建模更復雜的特征交互，而特征交互是點擊率預估算法的核心，因此基于深度神經網絡的點擊率預估算法成為研究熱點［7］。FNN［8］通過FM 預訓練得到特征嵌入后，并將其輸入到深度神經網絡（Deep Neural Network，DNN）以建模高階交叉特征。PNN［9］引入新的特征交互操作——乘法層。NFM［17］首先通過雙線性層建模二階交互，然后通過全連接神經網絡建模高階交互。盡管上述方法能成功地對高階交叉特征進行建模，但是對低階交叉特征的表達受到限制，從而降低了點擊率預估的性能。針對該問題，研究人員提出能夠同時建模低階和高階交叉特征的方法。Wide&Deep［18］并行組合了FM 和DNN，同時對低階和高階交叉特征進行建模。DeepFM［19］兩大模 塊FM 和DNN 共享輸入，不依賴特征工程。這些方法通過DNN 隱式的方式建模高階交叉特征，缺乏良好的解釋性。因此，通過設計特殊的網絡結構，嘗試對交叉特征進行顯式建模，使其更具可解釋性。DCN［20］構建交叉網絡，xDeepFM［21］構建壓縮交互網絡結構，InterHAT［22］通過構建層次注意力以顯式建模交叉特征。這類方法需要根據專家經驗指定交叉特征的階數。隨后AFN［23］方法被提出，其核心是對數變換層，不同于之前的方法，它能夠從數據中自適應學習表現(xiàn)最佳的不定階交叉特征。此外，還有一些模型在特征交互之前，通過計算特征重要性篩選特征。例如FiBiNET［24］通過壓縮和激勵網絡（Squeeze-Excitation Network，SENET）學習特征重要性，并對特征進行篩選。FGCNN［25］通過卷積神經網絡（Convolutional Neural Network，CNN）過濾不重要的特征，生成新的特征以進行交互。隨著圖神經網絡（Graph Neural Network，GNN）在許多領域的成功應用，F(xiàn)i-GNN［26］首次將多特征域表示為圖結構，并使用GNN 學習復雜的交叉特征。盡管基于神經網絡的方法具有良好的性能，但是仍存在一定不足。該方法首先將高維稀疏的特征按照特征類別組織為多個域，然后經過嵌入層得到域特征嵌入，最后通過網絡結構建模特征交互。然而這類方法在樣本數較少的場景中難以取得理想效果，點擊率預估的精度較低。

2 FF-GNN 方法

為了便于形式化描述，本文給定輸入特征的域為F，域特征為f，特征值為ν。點擊率預估問題定義X={F1：f1：ν1，F(xiàn)2：f2：ν2，…，F(xiàn)n：fn：νn}，其中Fi、fi、νi分別為樣本第i個域及該域對應的特征和特征值，預估用戶點擊商品的概率。

本文提出一種使用GNN 感知特征和域的點擊率預估方法FF-GNN，圖1 所示為該模型的結構。模型包括嵌入模塊、交互模塊、融合模塊、點擊率預估模塊4 個部分。首先，嵌入模塊將輸入的特征與域編號映射為稠密的特征嵌入Ef與域嵌入EF。其次，交互模塊通過GNN 建模特征和域的交互。特征GNN 和域GNN 節(jié)點狀態(tài)分別初始化為Ef和EF，并通過交叉引用彼此信息計算特征圖和域圖鄰接矩陣，隨后聚集更新多次迭代以得到高階交叉特征H1、H2。最后，融合模塊將高階交叉特征H1、H2和低階的嵌入H0、H3通過注意力機制融合，并利用點擊率預估模塊得到點擊率。

圖1 FF-GNN 模型結構Fig.1 Structure of FF-GNN model

2.1 嵌入模塊

嵌入模塊包括特征嵌入層和域嵌入層2 個部分。假設給定樣本X=｛設備：平板；年齡：18；性別：男；待下載應用：音樂播放器｝。其中，冒號（：）前面的信息代表域，冒號后的信息代表該域下的具體特征。

特征嵌入層將樣本中的特征轉換成低維稠密的特征嵌入。特征嵌入層對X中的特征進行one-hot 編碼，并轉換為二值向量，如：

因特征總數（|f|）較大，導致二值向量高維稀疏，從而計算效率低。本文通過特征嵌入層將二值向量轉換為稠密的低維向量，獲得特征嵌入Ef=，其中n是樣本中的特征數量，是樣本的第i個特征對應的嵌入。類似地，域嵌入層將樣本中的域[1，2，…，n]（n=4）轉換為域嵌入EF=。

2.2 交互模塊

交互模塊是模型的核心組件，包括特征交互和域交互兩個部分。特征交互與域交互均與GNN 中的節(jié)點交互具有對應關系。特征交互可以轉化為圖中的節(jié)點交互，特征交互的強度可以轉化為圖中節(jié)點間的邊權。因此，本文采用GNN 中的門控圖神經網絡（Gated Graph Neural Network，GGNN）［27］構造交互模塊，以捕獲特征之間或域之間的結構信息。GNN 是一種直接作用于圖結構上的神經網絡，首先將特征信息和域信息轉換為圖結構，然后將其輸入到GNN 中進行交互。

2.2.1 特征圖與域圖的構建

特征圖和域圖的構建步驟如下。

1）特征圖。首先將樣本中的特征構建成特征圖Gf=(Vf，Edgef)，其中節(jié)點νi∈Vf對應樣本中的第i個特征，節(jié)點數量|Vf|=n，邊代表特征節(jié)點之間具有聯(lián)系。由于每對特征之間都存在隱藏關系，因此Gf是全連接圖。與標準的神經網絡不同，GNN 中的每個節(jié)點保留一個狀態(tài)信息，節(jié)點聚合鄰居的狀態(tài)并更新自身狀態(tài)，經過多次迭代后，節(jié)點能夠收集任意跳的鄰居信息。此時，特征交互轉化為節(jié)點之間的交互，通過邊交互及邊的權重反映特征交互的作用強度。給定第i個節(jié)點的初始狀態(tài)，所有節(jié)點的初始狀態(tài)集合為。

2）域圖。為了挖掘域之間的隱藏關系，本文構建單獨的域嵌入，并用GNN 建模域之間的交互。將輸入中的域表示為圖結構，構建域圖GF=(VF，EdgeF)，其中節(jié)點νi∈VF對應樣本的第i個域，節(jié)點數量|VF|=n。由于每對域之間的隱藏關系均不能忽略，因此GF是全連接圖。此時域交互轉化為節(jié)點之間的邊交互，邊的權重反映域交互的作用強度。同樣地，給定第i個節(jié)點的初始狀態(tài)，，所有節(jié)點的初始狀態(tài)集合為。

圖神經網絡迭代t層后，特征GNN 和域GNN 分別得到高階交互特征

2.2.2 聚集（交互）過程

GNN 的節(jié)點狀態(tài)經過初始化后，開始迭代聚集鄰居節(jié)點狀態(tài)并更新自身狀態(tài)，具體過程如圖2所示。

圖2 第t 層GNN 節(jié)點v4 更新過程Fig.2 The node v4 updating process in the t-th step of GNN

首先當前節(jié)點ν4通過不同的權重和轉換方式將鄰居節(jié)點的信息聚集到一起，然后將聚集結果及t-1層自身信息輸入到GGNN，更新ν4的信息，以得到第t層節(jié)點狀態(tài)。假設已經求得第t-1 層節(jié)點的狀態(tài)信息，并進行第t層的操作。當前節(jié)點νi的聚集結果表示為鄰居節(jié)點的狀態(tài)信息之和，如式（1）所示：

其中：νj為νi的鄰居節(jié)點；W為將節(jié)點的狀態(tài)信息轉換到另一空間的轉換函數；A∈Rn×n為特征圖的鄰接矩陣。鄰接矩陣和轉換函數決定特征交互的方式。

1）鄰接矩陣

（1）特征圖。GGNN 的鄰接矩陣是二值（0-1）鄰接矩陣，僅反映特征之間是否有關系，而無法體現(xiàn)作用強度，從而難以滿足特征個性化交互的需求。為區(qū)別刻畫特征之間的作用強度且反映不同域內特征交互的差異性，本文根據特征對應域的嵌入計算得到特征之間的交互強度，如式（2）所示：

其中：為節(jié)點νj、νi之間的邊權；Fq、Fp、Fr分別為節(jié)點νj、νi、νk對應的特征所屬的域；LeaklyRelu 為激活函數；Wwf為轉換矩陣。相應地，特征圖的加權鄰接矩陣如式（3）所示：

（2）域圖。通過注意力機制計算域圖的鄰接矩陣，這樣不僅實現(xiàn)域交互的個性化建模，還獲得了粗粒度的高階交互，如式（4）所示，域圖的鄰接矩陣如式（5）所示：

其中：為節(jié)點νj、νi之間的邊權；fq、fp、fr分別為節(jié)點νj、νi、νk對應的特征；LeaklyRelu 為激活函數；WwF為轉換矩陣。

2）轉換函數

由于交互過程復雜，除了區(qū)別設計每對節(jié)點間的邊權以外，還需要為每條邊分配獨特的轉換函數。該操作導致模型的參數量與特征圖的邊數量成正比。為減小空間和時間復雜度，本文參考文獻［26］提出一種邊分配轉換函數方法。從圖2 可以看出，通過為每個節(jié)點νi分配輸出轉換矩陣和輸入轉換矩陣，使得轉換函數的參數量與圖的節(jié)點成正比，既保證了每條邊轉換函數的獨特性，又降低了參數量。特征圖和域圖的轉換函數形式一致，從節(jié)點νj到νi的邊和從節(jié)點νi到νj的邊的轉換函數如式（6）、式（7）所示：

相應地，特征圖和域圖的鄰接矩陣如式（8）、式（9）所示：

2.2.3 更新過程

當前節(jié)點νi得到第t層聚集結果后，還需更新自身狀態(tài)信息。GGNN 的節(jié)點將第t層聚集結果及第t-1 層的自身狀態(tài)作為門控循環(huán)單元（Gated Recurrent Unit，GRU）的輸入，通過更新得到第t層節(jié)點狀態(tài)，特征圖和域圖的更新過程分別如式（10）和式（11）所示：

為了使網絡中的信息前后傳播更加順暢以及網絡訓練更有效，通常會引入殘差連接，即加入第1 層的節(jié)點自身狀態(tài)，因此，式（10）和式（11）分別可寫為式（12）和式（13）：

GNN 迭代更新至T層后，可以獲得圖的最終狀態(tài)信息，每個節(jié)點的最終狀態(tài)都可以看作高階交叉特征。節(jié)點與各個鄰居節(jié)點完成交互，并更新了自身的狀態(tài)信息，從而實現(xiàn)了特征級別復雜的交互，捕獲特征之間的隱藏關系。

2.3 融合模塊

融合模塊是通過注意力機制將同類型的交叉特征相融合，并作為點擊率預估層的輸入。在特征GNN 和域GNN 迭代T層后，圖產生的高階交叉特征分別表示為每個高階交叉特征對最終預測結果的貢獻不同，其權重系數通過注意力機制自適應學習。以特征GNN 的特征為例，第i個高階交叉特征的權重系數如式（14）所示，高階交叉特征的融合結果如式（15）所示：

其中：wc∈R1×d，ww∈Rd×d是轉換函數；σ為Relu激活函數。類似地，域GNN 網絡中高階交叉特征的融合結果記為H2∈Rd。

為了挖掘低階特征中的隱藏信息，本文通過注意力機制分別獲得特征嵌入Ef與域嵌入EF的融合特征，記為H0∈Rd，H3∈Rd。因此注意力融合層最終輸出為Hres=[H0；H1；H2；H3]，Hres∈R4d。

2.4 點擊率預估模塊

點擊率預估層由2 個多層感知機（Multi-Layer Perceptron，MLP）組成，分別用于計算Hres中每項的得分及其貢獻，然后將其相加得到預估分數，具體的計算過程如式（16）、式（17）所示：

2.5 訓練

模型的損失函數是點擊率預估任務中常用的對數損失（Logloss），如式（19）所示：

其中：N為訓練樣本的數量；yi、i分別為索引i樣本的真實標簽和預測標簽。模型的最優(yōu)參數通過均方根反向傳播法（RMSProp）對最小化損失函數進行求解。

3 實驗與結果分析

在公開數據集Criteo 和Frappe 上，本文通過特征和域感知的GNN 方法FF-GNN 與其他方法進行對比，以驗證其可行性與有效性。通過消融實驗和參數敏感性實驗分別探究FF-GNN 中各模塊的作用及重要參數對結果產生的影響。

3.1 數據集

實驗采用Criteo 和Frappe 兩個公開的數據集來評估FF-GNN 的性能。Criteo 數據集廣泛用于點擊率預測行業(yè)，它包含1×106用戶在展示廣告上的點擊記錄，72 998 個特征和39 個不同的域（13 個連續(xù)特征域和26 個類別特征域）。Frappe 數據集是移動應用程序檢索的上下文相關應用程序使用日志，包含2.88×105條日志記錄，5 382 個特征和10 個類別特征域，數據集的具體信息如表1 所示。

表1 數據集描述Table 1 Datasets description

本文統(tǒng)計了2 個數據集中包含特征最多的域的特征分布，用于解決冷啟動中“小”特征樣本的問題。以Frappe 數據集為例，每個域包含的特征數量分別為｛957，4 082，7，7，2，3，2，9，80，233｝，由于特征數量最多的域有可能包含“小”特征，因此取第2 個域（應用軟件編號，記作APP ID）做進一步分析。本文統(tǒng)計Frappe 數據集包含不同比例APP ID 的樣本數量及樣本比例，如圖3（a）所示。約80%的樣本總共包含APP 比例僅為10%，而剩余約20%的樣本總共包含的APP 比例為90%，即只有10%的APP 較熱門。雖然90%的APP 不熱門，但是數量龐大。類似地，在Criteo 數據集上特征最多的域內包含不同比例特征的樣本數量以及樣本比例，如圖3（b）所示，超過80%的樣本總共包含20%的特征，而不足20%的樣本總共包含80%的特征。

圖3 不同比例APP 和特征的樣本數量及樣本比例Fig.3 Samples quality and sample proportion of different proportiona of APP and features

3.2 評價指標

本文選用點擊率預估任務中常用的兩個評價指標交叉熵對數損失（Logloss）和AUC。Logloss 衡量預測值與真實值之間的距離，值越小表示模型性能越好。而AUC 被定義為ROC 曲線下坐標軸包圍的面積，衡量模型對正負樣本的排序能力，值越大表示模型性能越好。

3.3 基準方法

本文對FF-GNN 與以下10 種模型進行對比。

LR：通過對原始特征線性組合進行點擊率預估，通常被用作點擊率預估任務的基線。

FM：經典的點擊率預估方法，將特征隱因子的內積作為二階交叉特征的權重系數。

FFM：在FM 的基礎上，建模二階交叉特征時關注了特征域的影響。

Wide&Deep：首個結合低階特征和高階交叉特征的模型。

DeepFM：基于Wide&Deep 架構，共享了低階模型和高階模型的輸入。

DCN［20］：構建特殊的交叉網絡顯式建模特征交互。

xDeepFM［21］：構建壓縮交互網絡顯式建模特征交互。

FiBiNET［24］：使用壓縮-激勵網絡（SENET）機制學習特征重要性，且利用雙線性函數學習特征之間的交互。

AFN［23］：核心是對數變換層，從數據中自適應學習任意階數的交叉特征。

Fi-GNN［26］：首個通過GNN 建模特征交互的模型。

3.4 實驗設置

所有的實驗均通過Tesla K80 的GPU、TensorFlow框架實現(xiàn)，實驗分別通過驗證集和RMSProp 優(yōu)化器對最佳超參數和最佳模型參數求解。在Criteo 數據集上，特征和域嵌入的維數d=10，批尺寸為128，特征圖和域GNN 的迭代層數T=3，學習率為0.000 5。在Frappe 數據集上，特征和域嵌入的維數d=64，批尺寸為128，特征圖和域GNN 的迭代層數T=3，學習率為0.001，L2 正則化系數為0.001。

3.5 實驗結果分析

在Criteo 和Frappe 數據集上不同模型的評價指標對比如表2 所示。

表2 不同模型的評價指標對比Table 2 Evaluation indexs comparison among different models

傳統(tǒng)模型LR 表現(xiàn)最差，無法滿足點擊率預估任務的需求，需要挖掘交叉特征。因此基于FM 模型的評價指標普遍優(yōu)于LR 模型，且成功地對特征的二階交互進行建模，從而提高點擊率預估任務的準確度。此外，在基于FM 的模型中，F(xiàn)FM 的性能指標較FM大幅提升。這是因為FFM 為特征建立多個隱因子，能夠捕獲域對特征交互的影響。

基于DNN 模型的整體性能優(yōu)于上述兩類模型。神經網絡具有強大的特征提取能力，能夠挖掘特征之間復雜的關系，從而發(fā)現(xiàn)有效的交叉特征，大幅提升了模型性能。此外，基于神經網絡的模型通常結合低階和高階的交互特征，捕獲更豐富的信息，因此效果較好。在基于DNN 的模型中，Wide&Deep 和DeepFM 模型性能較其他模型差，其通過全連接神經網絡建模高階交叉特征，網絡結構較為簡單且缺乏解釋性。其他模型均構建較復雜的特殊網絡結構，結果具有可解釋性且更可靠。

基于GNN 的模型將特征轉換為圖結構后，通過GNN 建模復雜的交互，以提高模型的預測能力。盡管Fi-GNN 的性能比AFN 差，但是優(yōu)于LR、基于FM 的模型以及基于DNN 的模型。實驗結果驗證了GNN 結構在點擊率預估任務中的可行性和有效性。

在Criteo 和Frappe 數據集上，本文所提模型FF-GNN 的AUC 指標較同類型方法Fi-GNN 分別提升0.52 和0.85 個百分點，較所有對比模型中的次優(yōu)模型AFN 和FiBiNET 在兩個數據集上分別提升了0.43 和0.24 個百分 點，F(xiàn)F-GNN 的Logloss 指標在所有對比模型中分別達到最優(yōu)和次優(yōu)。FF-GNN 使用GNN 建模特征交互，重點添加了域的交互模塊和邊權計算模塊，從而提升模型的性能。

3.6 模塊重要性分析

本文提出的模型主要有2 個優(yōu)點：1）同時建模特征級別的交互（記為FG）和域級別的交互（記為IG）；2）構建邊權計算模塊以交叉引用彼此信息（記為CI）。本文通過消融實驗確定促使性能顯著提高的模塊，去掉FG、IG 和CI 模塊分別記為FF-GNNFG、FF-GNN-IG、FF-GNN-CI，其中FF-GNN-CI 中特征交互模塊和域交互模塊分別用特征嵌入和域嵌入計算交互強度。實驗結果如表3 所示。

表3 模塊消融實驗結果Table 3 Experiment results of module ablation

從表3 可以看出，在兩個數據集上去掉任意一個模塊，模型的性能均會下降。FF-GNN-FG 模型的性能下降幅度最大，說明特征級別的交互模塊包含的有效信息較多。FF-GNN-CI 在邊權計算模塊中用自身的嵌入計算而不是彼此的信息，其性能下降的原因主要有：1）域交互模塊對于所有樣本來說都是相同的，無法實現(xiàn)個性化建模；2）特征交互模塊中特征交互的重要性用特征嵌入計算而非域嵌入計算，無法建模不同域下特征交互的重要性。本文提出的模型FF-GNN 在兩個數據集上性能均最優(yōu)，驗證了在模型中增加域級別的交互模塊以及GNN 的邊權計算模塊的有效性。

此外，本文還進行了其他實驗，以研究點擊率預估層的4個輸入對模型性能的影響。點擊率預估層的4個輸入分別是特征嵌入（H0）、特征GNN 輸出（H1）、域嵌入（H2）、域GNN 輸出（H3），實驗結果如表4 所示。

表4 點擊率預估層模塊消融實驗結果Table 4 Experiment results of module ablation on CTR prediction layer

從表4 可以看出，在兩個數據集上去掉點擊率預估層中的任意一個輸入后，模型性能較FF-GNN模型都有不同程度的下降，說明每個輸入均對最終預估產生影響。除FF-GNN 模型外，F(xiàn)F-GNN-H0 在Criteo 數據集上表現(xiàn)最差，而在Frappe 數據集表現(xiàn)最佳，其原因可能是由數據集的原始特征造成，Criteo數據集的低階特征包含大量有效信息，而Frappe 數據集的低階特征設計的不是十分恰當，因此對最終預估的影響不大。FF-GNN-H1、FF-GNN-H2、FFGNN-H3 在兩個數據集上較FF-GNN 性能下降幅度也不一致，其原因可能是由數據本身造成的。

3.7 超參數研究

FF-GNN 模型包含2 個重要參數，分別是嵌入模塊中特征/域嵌入維度和交互模塊中圖神經網絡的迭代步數（GNN step），因此進一步研究這兩個超參數對預估結果的影響。

嵌入維度對模型性能的影響如圖4 所示。當模型在Criteo 數據集上的嵌入維度為10 時，AUC 和Logloss 均達到最優(yōu)。隨著嵌入維度不斷增大，AUC值逐漸下降，當Logloss 值逐漸上升時，模型的性能逐漸下降。在Frappe 數據集上，當嵌入維度為64時，AUC 達到最優(yōu)效果，雖然Logloss 仍繼續(xù)下降，但也在可接受的范圍內。因此，為了節(jié)省計算資源和存儲空間，本文選擇64 作為最佳超參數。

圖4 嵌入維度對評價指標的影響Fig.4 Influence of embedding dimensions on evaluation indexs

圖神經網絡迭代步數對模型評價指標的影響如圖5 所示。在兩個數據集上，當迭代步數為1 時，模型性能最差，說明GNN 聚合一次鄰居狀態(tài)捕獲到的信息有限；當迭代步數為3 時，GNN 聚合3 次鄰居狀態(tài)后，成功地捕獲到了有效信息，因此模型性能最優(yōu)；當GNN 迭代步數取4 時，GNN 在迭代多層之后，易出現(xiàn)過渡平滑現(xiàn)象，導致所有節(jié)點的特征值均趨于一致，節(jié)點之間的差異性縮小，不利于進行點擊率預估任務。因此，在兩個數據集上最優(yōu)的GNN 迭代步數超參數取3。

圖5 圖神經網絡迭代步數對性能的影響Fig.5 Influence of the iteration steps of GNN on performance

4 結束語

針對現(xiàn)有點擊率預估方法存在的局限性問題，本文提出一種同時關注特征級別和域級別的特征交互方法。通過嵌入層得到特征嵌入和域嵌入，基于圖神經網絡的交互模塊提取特征嵌入和域嵌入的結構信息，以獲取特征級別和域級別的交叉特征。在此基礎上，通過設計圖神經網絡的權重計算模塊交叉引用低階特征信息，利用基于注意力的融合層將兩個交互模塊的結果相融合，以預測點擊率。實驗結果驗證了該方法的有效性，相比Fi-GNN 方法，該方法同時考慮了特征信息和域信息，并利用圖神經網絡構建復雜的高階交互。后續(xù)將對圖的連接進行研究，自動過濾不相關的特征，進一步節(jié)省計算時間和存儲空間。