陳喬松,曹 鳳,江泳鋒,由博文,孫開偉,鄧 欣,王 進,樸昌浩

(1.重慶郵電大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,重慶400065;2.重慶郵電大學(xué) 自動化學(xué)院/工業(yè)互聯(lián)網(wǎng)學(xué)院,重慶 400065 )

0 引 言

在許多Web應(yīng)用(例如社交媒體,購物平臺)中,推薦系統(tǒng)在解決信息爆炸問題方面發(fā)揮著核心作用[1]。其中,點擊通過率預(yù)測(click-through rate,CTR)是一項至關(guān)重要的任務(wù),其目的是預(yù)測用戶點擊推薦商品(廣告,電影)的概率[2],因此,如何準(zhǔn)確地推薦給用戶感興趣的物品,提高用戶的體驗和平臺的收益,這已經(jīng)成為學(xué)術(shù)界和工業(yè)界非常重視的一項研究。

特征交互在CTR預(yù)測中發(fā)揮著非常重要的作用,例如籃球愛好者偏向于點擊運動產(chǎn)品,程序員更偏好點擊電腦產(chǎn)品,這就表明交互特征<用戶,物品>比特征<用戶>或者<物品>在CTR預(yù)測性能上效果更好[3]。傳統(tǒng)的CTR預(yù)估模型常以機器學(xué)習(xí)模型為基礎(chǔ),例如線性模型(logistic regression,LR)[4]和樹模型(light gradient boosting machine,LightGBM)[5],這些模型結(jié)構(gòu)簡單,需要結(jié)合復(fù)雜的特征工程才能達到令人滿意的預(yù)測結(jié)果。因子分解機(factorization machines,FM)[6]通過向量內(nèi)積學(xué)習(xí)二階特征交互。注意力因子分解機(attention factorization machines,AFM)[7]加入一個注意力子網(wǎng)絡(luò)去學(xué)習(xí)特征交互的重要性,但缺乏學(xué)習(xí)非線性特征交互。近幾年隨著深度學(xué)習(xí)技術(shù)的發(fā)展,基于神經(jīng)網(wǎng)絡(luò)的推薦模型也層出不窮,如神經(jīng)網(wǎng)絡(luò)因子分解機(neural factorization machines,NFM)[8],深度與交叉神經(jīng)網(wǎng)絡(luò)(deep cross network,DCN)[9],顯隱式特征交互網(wǎng)絡(luò)(extreme deep factorization machine,xDeepFM)[10],圖神經(jīng)網(wǎng)絡(luò)用于特征交互(feature interaction graph neural networks,Fi-GNN)[11]等深度學(xué)習(xí)網(wǎng)絡(luò),能夠?qū)W習(xí)高階特征交互,但這些模型只是簡單地枚舉了所有的特征交互,存在可解釋性差、特征交互冗余等缺點,此外,無用的交互特征也會帶來不必要的噪聲,使訓(xùn)練過程復(fù)雜化。

針對目前存在的交互特征冗余等問題,本文提出了基于圖神經(jīng)網(wǎng)絡(luò)的交互邊選擇模型(interactive edge selection based on graph neural networks for CTR prediction,IES-GNN)。具體來說,IES-GNN將特征之間的聯(lián)系轉(zhuǎn)化為一種圖結(jié)構(gòu),圖中的每個節(jié)點對應(yīng)相應(yīng)的特征域,不同域之間的特征交互就轉(zhuǎn)換為圖中節(jié)點之間的交互邊,主要創(chuàng)新點如下。

1)提出一種交互邊選擇網(wǎng)絡(luò)(interactive edge selection network,IESNet)結(jié)合圖神經(jīng)網(wǎng)絡(luò),通過引入一個過濾閾值機制在聚合所有鄰居節(jié)點信息之前來自動選擇有利于預(yù)測結(jié)果的交互邊,從而獲得節(jié)點最優(yōu)的聚合信息。

2)基于圖和注意力機制,提出了節(jié)點相似度注意力機制(node similarity attention,NSA)去學(xué)習(xí)一個相似度權(quán)重矩陣來解決圖節(jié)點過度平滑的問題。

本文提出的IES-GNN模型在Criteo和Avazu兩個公開數(shù)據(jù)集上的大量實驗證明,本文模型的預(yù)測能力優(yōu)于CTR預(yù)測領(lǐng)域已有的最佳模型。

1 相關(guān)工作

1.1 CTR預(yù)測任務(wù)中的特征交互

特征交互在CTR預(yù)測任務(wù)中至關(guān)重要,傳統(tǒng)的CTR預(yù)估模型常以機器學(xué)習(xí)模型為基礎(chǔ),例如,LR和LightGBM是預(yù)測CTR的簡單基線模型,然而基于人工經(jīng)驗的特征工程非常繁瑣低效,使模型表達能力有限。FM將每個特征嵌入到一個低維稠密的向量中,并通過向量內(nèi)積學(xué)習(xí)二階特征交互,但沒有區(qū)分特征交互之間的重要性,若用該模型進行高階交互,則會出現(xiàn)計算復(fù)雜度高、開銷大等問題。AFM加入一個注意力子網(wǎng)絡(luò)去學(xué)習(xí)特征交互的重要性,區(qū)別對待不同的特征,讓它們對預(yù)測結(jié)果的貢獻程度不同,但模型中沒有使用更深層次的網(wǎng)絡(luò)去學(xué)習(xí)高階交叉特征。在深度學(xué)習(xí)領(lǐng)域,基于神經(jīng)網(wǎng)絡(luò)的推薦系統(tǒng)模型也層出不窮,NFM在嵌入層和深度神經(jīng)網(wǎng)絡(luò)層之間增加一個雙向交互池化層來模擬二階特征交互,相比于之前的模型,NFM降低了參數(shù)量。DCN引入了一個交叉網(wǎng)絡(luò)以顯式的方式進行高階特征交互。xDeepFM引入一個壓縮交互網(wǎng)絡(luò)(compressed interaction network,CIN)進行向量外積。

1.2 圖神經(jīng)網(wǎng)絡(luò)用于CTR預(yù)測任務(wù)

特征域之間的簡單非結(jié)構(gòu)化組合將不可避免地限制特征交互的建模能力,圖是一種對一組對象和關(guān)系建模的數(shù)據(jù)結(jié)構(gòu),由于圖的強大表示能力,近幾年有很多與之相關(guān)的研究出現(xiàn)。圖神經(jīng)網(wǎng)絡(luò)(graph neural networks,GNN)[12]是在圖結(jié)構(gòu)數(shù)據(jù)上學(xué)習(xí)嵌入的一種方法,圖神經(jīng)網(wǎng)絡(luò)中的節(jié)點通過聚合其鄰居節(jié)點的信息和更新鄰居節(jié)點的隱藏狀態(tài)來與其他節(jié)點進行交互。門控圖神經(jīng)網(wǎng)絡(luò)(gated graph neural networks,GGNN)[13]使用門控循環(huán)單元(gated recurrent neural,GRU)[14]作為更新器。圖卷積神經(jīng)網(wǎng)絡(luò)(graph convolutional networks,GCN)[15]引入卷積網(wǎng)絡(luò)作為節(jié)點信息聚合器。Fi-GNN引入多頭自注意力機制(multi-head self attention,MHA)[16]來捕獲對特征域之間的依賴關(guān)系。雖然通過圖結(jié)構(gòu)能夠非常靈活和明確地來對特征交互進行建模,但仍然存在一些問題;比如,Fi-GNN明確指出構(gòu)造的是完全連接圖,即任意2個特征之間都存在交互,但是列舉所有特征交互會帶來特征信息冗余和交互低效等問題,無用的交互也會帶來不必要的噪聲,使訓(xùn)練過程更復(fù)雜。

1.3 特征選擇

近年來,特征選擇在很多領(lǐng)域都有應(yīng)用,通過特征選擇機制能有效提高模型預(yù)測準(zhǔn)確率。因子分解機模型下的自動特征交互選擇模型(automatic feature interaction selection,AutoFIS)[17]在FM模型的基礎(chǔ)上對交互特征進行選擇,把較大的離散型迭代搜索的問題轉(zhuǎn)換為連續(xù)型的系數(shù)求解問題。快速自適應(yīng)特征約簡模型(granular ball neighborhood rough sets,GBNRS)[18]為每個對象生成不同的鄰域,處理沒有先驗知識可用的場景,極大地降低了模型的時間復(fù)雜度。檢測推薦系統(tǒng)中有益特征交互(L0 statistical interaction graph neural network,L0-SIGN)[19]通過L0正則化自下而上地發(fā)現(xiàn)有意義的特征組合?；趫D的特征過濾方法(infinite feature selection,Inf-FS)[20]利用矩陣冪級數(shù)的性質(zhì)和馬爾科夫鏈的基本原理對特征進行排序,并去除低排名的特征?；跇颖竞吞卣魉阉骺臻g不斷縮小特征選擇模型[21]采用特征冗余概念縮減特征的搜索范圍來移除冗余特征。

2 面向點擊通過率預(yù)測的交互邊選擇算法研究

2.1 IES-GNN總體框架

IES-GNN整體框架如圖1所示,IES-GNN由以下幾部分組成：數(shù)據(jù)輸入層、數(shù)據(jù)嵌入層、交互邊選擇網(wǎng)絡(luò)層、節(jié)點相似度注意力層、輸出層。其中,數(shù)據(jù)嵌入層的處理方式最早是由S.Rendle[6]提出,特征嵌入(Embedding)是CTR預(yù)測的前提條件,因為點擊記錄包含離散的分類項,不能直接應(yīng)用于數(shù)值計算,通過嵌入層將高維稀疏的特征嵌入到一個低維稠密的向量中。在經(jīng)過嵌入層之后,通過交互邊選擇圖神經(jīng)網(wǎng)絡(luò)層對圖中特征交互的邊進行選擇,獲取對預(yù)測結(jié)果最有益的特征交互邊,通過多層的圖神經(jīng)網(wǎng)絡(luò)層就可以達到不同特征之間的高階交互,其中在每一層交互邊選擇網(wǎng)絡(luò)層之后都輸入到一個節(jié)點相似度注意力網(wǎng)絡(luò)層,通過為每一個圖節(jié)點分配一個注意力權(quán)重防止節(jié)點間出現(xiàn)過度平滑問題。最后將所有的特征拼接為一維的張量,最后把該張量輸入到多層感知機網(wǎng)絡(luò)進行預(yù)測。

圖1 IES-GNN整體架構(gòu)圖Fig.1 Overall architecture of IES-GNN

2.2 數(shù)據(jù)輸入層

CTR預(yù)測領(lǐng)域的數(shù)據(jù)通常包含數(shù)值型和類別型特征,類別特征通常是稀疏離散的,不能直接用于數(shù)值計算,因此要對其進行獨熱(one-hot)編碼將其轉(zhuǎn)換為高維的稀疏向量。比如一部電影,其由特征{類型：喜劇,語言：中文,導(dǎo)演：史蒂芬}構(gòu)成,通過獨熱編碼轉(zhuǎn)換為高維稀疏特征：

[1,0,…,0],[0,1,…,0][0,0,…,1]

所有的數(shù)據(jù)實例可以表示為

(1)

(1)式中：m表示類別特征個數(shù);p表示數(shù)值特征個數(shù);xi表示第個i特征,分為獨熱編碼向量和數(shù)值標(biāo)量。

2.3 數(shù)據(jù)嵌入層

由于獨熱編碼之后的數(shù)據(jù)是高維稀疏的,常用做法是將其嵌入到低維,密集的實值向量中,Embedding模塊是后續(xù)模型的基石,直接影響最終的預(yù)測準(zhǔn)確率[22]。

本文通過Embedding模塊的映射向量Vi將特征xi嵌入到一個低維的向量ei中,表達式為

ei=Vi·xi

(2)

(2)式中：Vi∈Rd×mi;ei∈Rd,R表示數(shù)據(jù)張量的維度標(biāo)識;mi是特征i的種類數(shù);d表示低維向量的嵌入維數(shù)。

特征Embedding模塊的輸出是將多個嵌入向量拼接為

E=[e1,e2,e3,…,eh]

(3)

(3)式中：E∈Rh×d,h表示數(shù)據(jù)中單個樣本所有的特征域。

2.4 特征圖結(jié)構(gòu)

以往研究中只是簡單地將特征向量拼接到一起,學(xué)習(xí)特征交互信息之后輸入到深度神經(jīng)網(wǎng)絡(luò)中進行訓(xùn)練預(yù)測,本文采用圖結(jié)構(gòu),將特征表示為圖結(jié)構(gòu)形式,特征圖可以表示為

G=(N,ε)

(4)

(4)式中：N表示所有的節(jié)點域,|N|=h,每個節(jié)點ni∈N對應(yīng)每個特征ei;ε表示節(jié)點ni的所有鄰居節(jié)點。它是一個完全連通圖,不同的節(jié)點可以通過邊進行交互作用,而邊的值就是特征交互的重要性,因此,特征交互就轉(zhuǎn)換為圖中節(jié)點之間的交互。

2.5 交互邊選擇網(wǎng)絡(luò)層

模型Fi-GNN[11]在特征圖上對所有節(jié)點進行交互建模,圖中所有特征交互邊的存在會帶來特征信息冗余和交互低效等問題,無用的交互邊也會帶來不必要的噪聲,使訓(xùn)練過程復(fù)雜。因此,本文提出的IESNet模型,能夠在特征圖結(jié)構(gòu)中自動選擇有益的交互邊。在本節(jié)中,將詳細(xì)說明該網(wǎng)絡(luò)是如何工作的,以及最后圖神經(jīng)網(wǎng)絡(luò)是如何聚合節(jié)點間交互邊信息的。

在IESNet中,圖結(jié)構(gòu)狀態(tài)由下面節(jié)點組成

(5)

(5)式中Ht∈Rh×d,t表示交互步驟,數(shù)據(jù)嵌入層學(xué)習(xí)到的特征表示作為該層的初始節(jié)點狀態(tài)H1,節(jié)點通過多層圖神經(jīng)網(wǎng)絡(luò)循環(huán)地進行交互邊選擇和節(jié)點狀態(tài)的更新,如圖2所示。

圖2 交互邊選擇網(wǎng)絡(luò)層Fig.2 Edge-interaction selection network

在每一個交互步驟中,IESNet通過設(shè)置可訓(xùn)練的動態(tài)關(guān)聯(lián)矩陣來動態(tài)地獲取每一層交互步驟中節(jié)點之間的交互關(guān)系,通過過濾閾值機制來過濾動態(tài)關(guān)聯(lián)矩陣的值,符合條件的值被保留并對應(yīng)選擇一個交互邊,最后通過張量內(nèi)積的計算方式來聚合交互邊信息。IESNet的實現(xiàn)細(xì)節(jié)如下。

2.5.1 節(jié)點交互邊選擇網(wǎng)絡(luò)

傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)模型中的鄰接矩陣通常是二進制形式的,包含0和1,它反映節(jié)點之間的連通關(guān)系,并且以往模型中的圖結(jié)構(gòu)都是完全連接圖,且不能反映節(jié)點之間邊的重要性程度。為了便于算法的實現(xiàn),IESNet引入動態(tài)關(guān)聯(lián)矩陣W∈Rh×h,它同時學(xué)習(xí)圖中節(jié)點之間的連通關(guān)系和邊的重要性程度,建模靈活的交互,整個動態(tài)關(guān)聯(lián)矩陣的運算流程為

W=α⊙w

(6)

(6)式中：α={α(n1,n2),…,α(nh-1,nh)}是結(jié)構(gòu)參數(shù),表示圖中交互邊對最終預(yù)測的相對貢獻值,通過梯度下降來自動學(xué)習(xí);⊙表示矩陣元素位乘法,w={w(n1,n2),…,w(nh-1,nh)}是權(quán)重參數(shù),w(ni,nj)表示節(jié)點ni和節(jié)點nj之間的交互程度,通過注意力機制獲得

(7)

(7)式中：β∈R2d是權(quán)重矩陣;‖是連接操作符;ni∈δ表示ni的所有鄰居節(jié)點。

最后,圖中任意2個節(jié)點之間的邊的值存在負(fù)數(shù),這會導(dǎo)致模型產(chǎn)生不必要的噪聲[19],貢獻程度偏小的邊也會成為冗余特征,因此,本文引入過濾閾值機制來自動選擇對最終預(yù)測結(jié)果有益的交互邊,λ為一個固定的閾值,在3.4節(jié)中,將討論不同閾值下的性能差異,eij∈W是動態(tài)關(guān)聯(lián)矩陣中交互邊的值,∏i.j表示過濾之后的值。

(8)

A[ni,nj]=eij∏i,j

(9)

(9)式中,A∈Rh×h表示通過過濾閾值機制后的交互邊選擇動態(tài)關(guān)聯(lián)矩陣。

2.5.2 節(jié)點交互邊信息聚合策略

在傳統(tǒng)圖神經(jīng)網(wǎng)絡(luò)中,每個節(jié)點將聚合鄰居節(jié)點的狀態(tài)信息,IESNet模型以另外一種方式對節(jié)點ni的所有交互邊的信息進行加權(quán)聚合,學(xué)習(xí)到更多具有鑒別力的節(jié)點嵌入。

H′=A?H1

(10)

(10)式中：H′∈Rh×d;?表示張量積,張量積用于初始節(jié)點狀態(tài)與動態(tài)關(guān)聯(lián)矩陣進行交互邊信息聚合。

2.6 節(jié)點相似度注意力層

在經(jīng)過多層的圖神經(jīng)網(wǎng)絡(luò),圖中的節(jié)點之間會出現(xiàn)過度平滑的現(xiàn)象,Zhao等[23]將相似度算法與加權(quán)的Jaccard相似度算法有效結(jié)合,受Y.Bai等[24]激發(fā),本文提出節(jié)點相似度注意力層,在CTR預(yù)測中,如果2個用戶的行為特征相似,則這2個用戶就相似[25],因此,在圖結(jié)構(gòu)中,如果2個節(jié)點的所有鄰居節(jié)點聚合信息相似,則這2個節(jié)點就相似,就會導(dǎo)致過度平滑現(xiàn)象。

2.6.1 節(jié)點相似度注意力網(wǎng)絡(luò)

IES-GNN模型中的節(jié)點相似度注意力層(NSA)通過對相似的節(jié)點分配不同的權(quán)重使之不相似,定義節(jié)點相似度注意力矩陣T∈Rh×h

(11)

(12)

(11)—(12)式中：*表示所有節(jié)點;‖‖1表示L1范數(shù)用于防止模型過擬合;sim(*)∈Rh×h表示任意2個節(jié)點之間的相似度度量,兩節(jié)點相似度越小則注意力權(quán)重越大,在3.5節(jié)中,將討論有無節(jié)點相似度注意力層對預(yù)測結(jié)果的影響。

最后為每個節(jié)點分配權(quán)重,采用張量積的方式

H′=T?H′

(13)

2.6.2 圖節(jié)點狀態(tài)更新

在傳統(tǒng)的門控圖神經(jīng)網(wǎng)絡(luò)(GGNN)中,節(jié)點的狀態(tài)是根據(jù)當(dāng)前層聚合節(jié)點信息和它上一層的節(jié)點信息通過GRU進行更新得來的,由于第t層只包含t層節(jié)點交互信息,受改進的深度交叉網(wǎng)絡(luò)(DCN V2)[26]激發(fā),將低階和高階特征結(jié)合在一起對預(yù)測結(jié)果有效,因此,本文將殘差網(wǎng)絡(luò)與GRU結(jié)合使用,公式為

Ht=GRU(Ht-1,H′)+H1

(14)

2.7 輸出層

在進行t層節(jié)點交互之后,每個節(jié)點捕獲了全局信息,先對圖中節(jié)點進行拼接,由Rh×d變?yōu)镽hd×1,分別預(yù)測每個特征域,最終的結(jié)果為

(15)

(16)

(17)

(18)

3 實驗結(jié)果與分析

3.1 實驗設(shè)置

3.1.1 數(shù)據(jù)集

本文在Criteo和Avazu 兩個公開數(shù)據(jù)集上進行實驗,這兩個數(shù)據(jù)集在已有的論文[10,11,27]中被廣泛使用,其統(tǒng)計分析情況如表1所示。

表1 數(shù)據(jù)集統(tǒng)計情況Tab.1 datasets statistics

Criteo：這是工業(yè)界著名的CTR預(yù)測基準(zhǔn)數(shù)據(jù)集,其中包含大約4 500萬用戶的點擊記錄和39個特征字段(包含26個類別特征和13個數(shù)值特征),這些特征字段都是匿名的。

Avazu：該數(shù)據(jù)集包含用戶在移動廣告上的點擊行為,其中包含大約4 000萬條用戶點擊記錄和23個類別特征字段。

對于這2個數(shù)據(jù)集,本文在參考多篇論文中的數(shù)據(jù)處理方式之后,將2種數(shù)據(jù)集都按8∶1∶1的比例劃分進行訓(xùn)練,驗證和預(yù)測,此外由于數(shù)據(jù)中的數(shù)值特征可能會有很大的方差,因此,本文對特征值大于2的數(shù)值特征進行變換：z=log2(z)。

3.1.2 評估指標(biāo)

在真實的訓(xùn)練數(shù)據(jù)中,通常會遇到正樣本很少負(fù)樣本很多的情況,對數(shù)損失函數(shù)(LogLoss)很低,但正樣本的預(yù)測效果卻很不理想[28],因此,本文使用受試者工作特征曲線(receiver operating characteristic curve,ROC)下與坐標(biāo)軸圍成的面積(area under curve,AUC)和LogLoss這2個指標(biāo)同時來評估模型。

AUC：是衡量分類模型優(yōu)劣的一種評價指標(biāo)。表示預(yù)測的正樣本排在負(fù)樣本前面的概率,AUC值越高,表示模型效果越好。

LogLoss：又稱二分類交叉熵?fù)p失函數(shù),反應(yīng)樣本的平均偏差,作為模型的損失函數(shù)來做優(yōu)化,衡量預(yù)測結(jié)果與真實結(jié)果之間的距離,LogLoss越低,模型性能越好。

(19)

3.1.3 基線模型

如1.1,1.2節(jié)所述,本文對比了CTR預(yù)測領(lǐng)域已有的模型,包括傳統(tǒng)的一階交互模型：LR,二階交互模型：FM,AFM,高階交互模型：NFM,CrossNet,XdeepFM,Fi-GNN等模型。

3.1.4 模型實現(xiàn)細(xì)節(jié)

基線模型的實施遵循[11],所有模型方法的Embedding嵌入大小設(shè)置為64,批處理大小設(shè)置為1 024,學(xué)習(xí)率為0.000 1,神經(jīng)網(wǎng)絡(luò)優(yōu)化器采用Adam,圖節(jié)點嵌入維數(shù)和圖神經(jīng)網(wǎng)絡(luò)層數(shù)為在3.3節(jié)中討論。本文所有的模型都是基于Tensorflow 1.5深度學(xué)習(xí)框架來實現(xiàn),計算機操作系統(tǒng)為：Centos 3.10.0,顯卡為Tesla V100-SXM2-32GB,內(nèi)存為64 GByte。

3.2 模型效果比較

模型效果比較如表2所示,本文提出的IES-GNN模型的性能在兩個數(shù)據(jù)集上比之前出現(xiàn)的模型都好,在廣告點擊率預(yù)測領(lǐng)域,數(shù)據(jù)集上AUC指標(biāo)0.000 1的提升是具有重要意義的。具體地,相比于側(cè)重于圖神經(jīng)網(wǎng)絡(luò)的Fi-GNN,IES-GNN模型在Criteo和Avazu兩個數(shù)據(jù)集上的AUC分別提升了0.28%和0.23%,在LogLoss上分別降低了0.24%和0.15%。IES-GNN模型在Criteo數(shù)據(jù)集的相對改進程度高于Avazu數(shù)據(jù)集,這是因為Criteo數(shù)據(jù)集擁有更多的特征字段,能夠更好地利用圖結(jié)構(gòu)的表示能力。

表2 各模型在Criteo和Avazu上的表現(xiàn)Tab.2 Performance comparison of each model on Criteo and Avazu

3.3 超參數(shù)研究

本節(jié)主要是對IES-GNN模型的超參數(shù)進行研究,主要包括圖節(jié)點嵌入維數(shù),圖神經(jīng)網(wǎng)絡(luò)的層數(shù),這些參數(shù)的變化對模型有一定的影響。

3.3.1 圖節(jié)點嵌入維數(shù)對模型性能的影響

實驗過程中,除特別說明的參數(shù)之外,其他參數(shù)都按照3.1.4節(jié)設(shè)置,實驗首次對比了不同圖節(jié)點嵌入維數(shù)對模型性能的影響,維數(shù)設(shè)置從8到64,圖神經(jīng)網(wǎng)絡(luò)層數(shù)設(shè)置為1,表3是不同圖節(jié)點嵌入維數(shù)下模型的性能指標(biāo),其中,Criteo數(shù)據(jù)集最佳表現(xiàn)的嵌入維數(shù)為64,AUC為0.807 0,LogLoss為0.444 5。這是因為數(shù)據(jù)集更大,需要更大的維度來進行訓(xùn)練。Avazu數(shù)據(jù)集最佳表現(xiàn)的嵌入維數(shù)為32,當(dāng)使用更大的嵌入維數(shù),模型會過擬合。

表3 不同圖節(jié)點嵌入維數(shù)對模型性能的影響Tab.3 Impact of different embedding dimensions on model performance

3.3.2 圖神經(jīng)網(wǎng)絡(luò)層數(shù)對模型性能的影響

在確定了最優(yōu)的圖節(jié)點嵌入維數(shù)之后,本節(jié)繼續(xù)討論不同圖神經(jīng)網(wǎng)絡(luò)層數(shù)對模型性能的影響,層數(shù)設(shè)置從1到5,Criteo和Avazu兩個數(shù)據(jù)集的實驗結(jié)果變化趨勢如圖3所示,兩個數(shù)據(jù)集上的最佳表現(xiàn)層數(shù)分別為4和5,這是合理的,因為兩個數(shù)據(jù)集的數(shù)據(jù)量非常大,需要更多的交互步驟來獲取更多的特征交互信息。

圖3 不同圖神經(jīng)網(wǎng)絡(luò)層數(shù)對模型性能的影響Fig.3 Impact of different graph neural network layers

3.4 不同閾值的性能差異

在確定最優(yōu)的超參數(shù)之后,本節(jié)進一步討論不同的過濾閾值對交互邊選擇的影響,本文比較了閾值為-1,0.0,0.2,0.4,0.6下的模型效果,-1表示沒有設(shè)置閾值,其模型就是基線模型Fi-GNN,如表4所示。其中,在Criteo和Avazu兩個數(shù)據(jù)集上,IES-GNN模型效果最優(yōu)的閾值為0.2,AUC分?jǐn)?shù)分別為0.809 0和0.776 7。閾值設(shè)置越大效果越低,這是因為當(dāng)閾值過大,圖結(jié)構(gòu)中的交互邊信息更少,閾值過低或者沒有設(shè)置都會導(dǎo)致圖結(jié)構(gòu)中存在大量的冗余交互邊信息,模型在訓(xùn)練過程中產(chǎn)生了噪聲,從而影響模型的性能。

表4 不同閾值下模型的性能Tab.4 Model performance under different thresholds

3.5 消融實驗

為了評估這2種改進對IES-GNN模型的有效性,在3.3,3.4節(jié)確定最優(yōu)的參數(shù)條件下,本文進行了消融實驗研究來驗證各個模塊是否起到了正向作用。

Fi-GNN：IES-GNN去除本文提出的兩種網(wǎng)絡(luò)結(jié)構(gòu)：交互邊選擇網(wǎng)絡(luò)(IESNet)和節(jié)點相似度注意力機制(NSA)。

NSA：IES-GNN模型去除交互邊選擇網(wǎng)絡(luò)(IES)。

IESNet：IES-GNN模型去除節(jié)點相似度注意力機制(NSA)。

模型性能對比通過表5可以看出,與Fi-GNN模型相比,本文提出的IESNet和NSA在兩個數(shù)據(jù)集上的表現(xiàn)效果確實更好,其中,IESNet在兩個數(shù)據(jù)集上的AUC分別上漲了0.28%和0.16%,這表明交互邊選擇網(wǎng)絡(luò)層對該模型至關(guān)重要。IESNet比NSA提升效果更明顯,在Avazu數(shù)據(jù)集上AUC提升了0.07%,這說明交互邊選擇比節(jié)點相似度注意力機制更有效。

表5 不同網(wǎng)絡(luò)模塊對模型性能的影響Tab.5 Impact of different networks on model performance

4 結(jié)束語

本文提出的IES-GNN模型旨在彌補以往模型中交互特征信息冗余,交互低效等缺陷,將建模特征交互轉(zhuǎn)換為圖上的節(jié)點交互,其中交互邊選擇網(wǎng)絡(luò)層自動選擇有利于預(yù)測結(jié)果的交互邊,從而獲得節(jié)點最優(yōu)的聚合信息,在每個節(jié)點獲得最優(yōu)的全局信息之后,本文進一步通過節(jié)點相似度注意力層去學(xué)習(xí)一個相似度權(quán)重矩陣,從而解決在經(jīng)過多層圖神經(jīng)網(wǎng)絡(luò)交互之后出現(xiàn)圖節(jié)點過度平滑的問題。在Criteo和Avazu兩個數(shù)據(jù)集上的性能有顯著提高,這表明IES-GNN模型優(yōu)于該領(lǐng)域已有的最佳模型,基于IES-GNN的架構(gòu)思路是一種行之有效的提高CTR預(yù)估準(zhǔn)確性的方法。