王麗苗，許青林，姜文超，符基高

廣東工業(yè)大學(xué) 計算機學(xué)院，廣州 510006

1 引言

隨著以智能手機為代表的各類智能化移動終端的日益普及，移動互聯(lián)網(wǎng)廣告行業(yè)得到了迅猛的發(fā)展，尤其是移動短視頻廣告。根據(jù)QuestMobile發(fā)布的數(shù)據(jù)，截止2017年9月，中國短視頻的用戶數(shù)突破3億，同比增長94.1%；而移動短視頻廣告的喜好率也遠高于其他形式的廣告。喜好率（Like-Through Rate，LTR）是衡量移動短視頻廣告投放效果的重要指標。通過對移動短視頻廣告的分析與預(yù)測，不僅能夠讓用戶瀏覽到自己感興趣的視頻，改善用戶體驗，還能輔助廣告主合理使用預(yù)算，將廣告精準傳遞給目標人群，同時提高移動媒體的網(wǎng)站收益。

近年來，喜好率和點擊率預(yù)測等相關(guān)問題的研究已取得了大量的進展[1]。目前工業(yè)界應(yīng)用最廣泛的預(yù)測方法是利用邏輯回歸（Logistic Regression，LR）來學(xué)習(xí)點擊率預(yù)測模型[2-4]。LR的優(yōu)點是簡單、非常容易實現(xiàn)大規(guī)模實時并行處理，但是線性模型的學(xué)習(xí)能力有限，不能捕獲高階特征攜帶的信息（非線性信息）[5]，從而限制了LR的預(yù)測性能。Joachims[6]提出用支持向量機（Support Vector Machine，SVM）模型預(yù)測廣告點擊率，能夠有效地處理多維非線性數(shù)據(jù)，但無法對大數(shù)據(jù)量的稀疏廣告進行預(yù)測。Lee等人[7]從媒體、用戶和廣告主三方角度出發(fā)，對數(shù)據(jù)進行分層建模來緩解數(shù)據(jù)稀疏性，進而提高展示廣告轉(zhuǎn)化率預(yù)測的準確性。Shen等人[8]提出了基于協(xié)同過濾和張量分解的點擊率預(yù)測模型。該模型根據(jù)用戶、查詢和文檔的關(guān)系來挖掘用戶的個性化偏好，以提升預(yù)測精度?？锟〉热薣9]使用矩陣分解等方法生成交叉特征，通過將用戶特征和視頻特征進行交叉組合，來提高模型的精度。潘書敏等人[10]提出了USFD模型來對廣告點擊率進行預(yù)測，該模型從用戶的角度出發(fā)，對具有相似特征的用戶進行建模分析，挖掘特征差異對用戶點擊行為的影響，來提高點擊率預(yù)測精度。Rendle[11]結(jié)合支持向量機（SVM）和分解模型的優(yōu)點，提出了一種因子分解機（Factorization Machines，F(xiàn)M）模型，F(xiàn)M使用分解參數(shù)模擬變量之間的所有交互，可以在非常稀疏的數(shù)據(jù)下進行參數(shù)估計，相比于SVM有較好的預(yù)測質(zhì)量，此外，F(xiàn)M是一種可以與任何實值特征向量一起使用的通用預(yù)測器。朱志北等[12]提出的LDA-FMS模型預(yù)測廣告點擊率，能有效地解決廣告和用戶數(shù)據(jù)量大且數(shù)據(jù)稀疏的問題，但是其沒有考慮特征工程的成本和時間。田嫦麗等[13]提出了一種基于梯度提升決策樹（Gradient Boosting Decision Tree，GBDT）模型的高影響力特征提取方法。使用該方法降低了特征提取的人工和時間成本，具有很好的參考意義。

此外，隨著神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)[14]的不斷發(fā)展，劉夢娟等人[15]提出了能夠融合不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)特征的高階表示，來提高模型精度；張志強等人[16]使用張量分解和神經(jīng)網(wǎng)絡(luò)來解決廣告數(shù)據(jù)的稀疏性問題和非線性關(guān)系。深度學(xué)習(xí)方法的主要劣勢在于可解釋性差，訓(xùn)練過程較為復(fù)雜，訓(xùn)練耗時較長。

基于以上分析，本文從移動短視頻廣告的多主題性質(zhì)出發(fā)，針對特征工程費時費力問題，采用集成的思想，提出了基于LDA-GBDT-FM的短視頻喜好率預(yù)測模型。該模型的主要貢獻如下：（1）利用LDA對原有訓(xùn)練集進行基于主題的分割，分割生成的每個子訓(xùn)練集顯著小于原始訓(xùn)練集，在一定程度上降低了計算復(fù)雜度。（2）對不同主題下的訓(xùn)練集采用GBDT模型進行特征的自動選擇以及特征的非線性轉(zhuǎn)換，減少基線算法中人工特征工程對時間和人力的依賴。（3）利用因子分解機非線性模型，可有效解決數(shù)據(jù)的高度稀疏問題。（4）通過集成不同主題的預(yù)測結(jié)果，進而提高預(yù)測精度。實驗證明基于LDA-GBDT-FM模型能有效提高預(yù)測短視頻點擊事件的準確率。

2 LDA-GBDT-FM短視頻喜好率預(yù)測模型

短視頻本身具有多主題的性質(zhì)，即一個短視頻可以對應(yīng)多個主題。本文從短視頻標題本身的潛在語義出發(fā)，充分利用短視頻的多主題性，提出一種基于LDAGBDT-FM的短視頻喜好率預(yù)測模型。圖1表示短視頻喜好率的預(yù)測框架。

圖1 LDA-GBDT-FM模型結(jié)構(gòu)圖

如圖1所示，首先利用LDA主題模型對短視頻標題進行建模，得到短視頻的主題分布，再對原始訓(xùn)練集進行基于主題的分割，得到不同主題下的子訓(xùn)練集，在每個子訓(xùn)練集上，利用GBDT提取連續(xù)型特征的高影響力特征，再將提取到的高影響力特征與離散型特征合并后進行獨熱編碼，訓(xùn)練FM并建立子模型，最后利用合成策略將子模型集成得到最終的預(yù)測。

2.1 LDA算法建模生成不同主題的子訓(xùn)練集

（1）短視頻標題集建模

對短視頻標題集進行LDA[17]建模，利用吉布斯抽樣算法（Gibbssampling）學(xué)習(xí)得到短視頻主題分布β，如式（1）所示：

其中，βnk表示短視頻n屬于主題k的概率，即：

本文將βnk稱為短視頻n與主題k的相關(guān)度。

（2）分割短視頻訓(xùn)練數(shù)據(jù)集

利用短視頻主題分布β將訓(xùn)練集分成不同主題的子訓(xùn)練集。

定義1（短視頻主題相關(guān)閾值）當n與k的相關(guān)度βnk大于σ(0≤σ<1)時，表示n屬于k，σ稱為短視頻主題相關(guān)閾值。

假設(shè)有K個主題，則n屬于k的平均概率為1/K，當βnk大于1/K時，則說明n與k的相關(guān)度較大。因此在LDA-GBDT-FM模型中，將σ設(shè)為平均概率，即σ=1/K。

分割思想如下：對短視頻訓(xùn)練數(shù)據(jù)集D進行遍歷，查看每條數(shù)據(jù)的短視頻主題分布βnk，若大于σ，則將n存到相應(yīng)的子訓(xùn)練集dk中。應(yīng)當注意，因為短視頻具有多主題性，對于同一個短視頻，其相關(guān)度大于σ的主題會不止一個，因此，不同主題的子訓(xùn)練集中可能具有相同的短視頻數(shù)據(jù)。

2.2 利用GBDT提取高影響力特征

分割短視頻訓(xùn)練數(shù)據(jù)集D后，得到不同主題的子訓(xùn)練集d1,d2,…,dk。利用GBDT對每個子訓(xùn)練集中的連續(xù)特征提取高影響力特征。GBDT是由Friedman J H[18]在2000年提出的一種非線性模型，它采用的是Boosting集成學(xué)習(xí)方法[19]，每次迭代都在殘差減少的梯度方向新建立一棵決策樹，即最終迭代次數(shù)與決策樹的數(shù)目相等，決策樹的葉子節(jié)點可以直接作為特征向量的一個維度。GBDT的這種思想使其具備很大優(yōu)勢，發(fā)現(xiàn)多種有區(qū)分性的特征和特征組合，構(gòu)造的高影響力特征可以直接作為預(yù)估模型輸入特征，節(jié)約人工成本，提高效率。圖2表示使用GBDT前后的特征選擇示意圖，融合前人工發(fā)掘有區(qū)分度的特征，融合后直接通過GBDT非線性模型提取高影響力特征。

圖2 使用GBDT前后的特征選擇示意圖

2.3 訓(xùn)練不同主題下的喜好率預(yù)測模型

本文使用FM作為短視頻喜好率的預(yù)測模型。FM因子分解機可以使用分解參數(shù)模擬不同類型變量間的所有交互，并且可對任意實值向量進行預(yù)測，因此，F(xiàn)M在面對高度稀疏數(shù)據(jù)時具有較高的預(yù)測精度。

在短視頻喜好率預(yù)測的背景下，本文將GBDT提取到的高影響力特征與離散型特征合并后進行獨熱編碼后，作為FM的輸入，對輸入的特征向量進行兩兩因子分解，短視頻的喜好率作為輸出，短視頻喜好率預(yù)測模型如式（2）所示：

其中，xi為第i個特征的值，n是短視頻特征的維度，w0∈R為全局偏差，wi∈Rn是第i個特征的影響因子，V∈Rn×h為互異特征分量之間的交互參數(shù)。 Vi,Vj表示的是兩個維度為h的向量Vi和向量Vj的點積：

其中，Vi表示的是系數(shù)矩陣V的第i維向量，且Vi=是超參數(shù)。

本文采用隨機梯度下降（Stochastic Gradient Descent，SGD）的方法對FM模型進行參數(shù)計算。該方法通過最小化每條樣本的損失函數(shù)來達到目的，為了防止參數(shù)過多而導(dǎo)致的過擬合問題，在優(yōu)化函數(shù)中加入正則化項L2范式，其定義如下：

其中，l(y1,y2)=(y1-y2)2為最小平方損失函數(shù)。

SGD通過遍歷訓(xùn)練集中的每條數(shù)據(jù)并按照一定的學(xué)習(xí)率沿著負梯度方向更新參數(shù)，直至收斂，參數(shù)更新方法如下：

其中，α∈R+為學(xué)習(xí)速率.。

2.4 短視頻喜好率預(yù)測

短視頻喜好率預(yù)測過程中，充分考慮短視頻的多主題性，先利用2.3節(jié)中訓(xùn)練得到的喜好率預(yù)測模型分別計算每個主題的短視頻喜好率；再將2.1節(jié)中得到的短視頻與主題的相關(guān)度作為每個主題的短視頻喜好率的權(quán)重;最后，將K個主題下的預(yù)測結(jié)果集成起來產(chǎn)生最終的短視頻喜好率。

對于一條短視頻n，其喜好率預(yù)測結(jié)果可表示為：

其中，βnk為短視頻n與主題k的相關(guān)度。

模型LDA-GBDT-FM：

輸入：訓(xùn)練集D，經(jīng)過步驟1和步驟2預(yù)處理的測試集X，主題數(shù)目K。

輸出：測試集中每條數(shù)據(jù)的喜好率p。

步驟1 Topic clustering

1.讀取訓(xùn)練集D，提取短視頻廣告的標題特征樣本集合W

2.利用吉布斯抽樣法,得到短視頻-主題分布：β={β11,β12,…,βnk}

3.設(shè)置短視頻-主題關(guān)聯(lián)閾值σ

4.For eachninD：

5.For eachkinK：

6.Ifβnk>σ：

7.n∈dk

8.ReturnD={d1,d2,…,dk}和β

步驟2 Feature extraction

9.For eachdiinD：

10.從d中提取連續(xù)特征集U={u1,u2,…,ut}和離散特征集V={v1,v2,…,vt}

11.設(shè)置梯度提升決策樹的棵數(shù)α=30和深度η=4

12.利用GBDT訓(xùn)練連續(xù)特征集U得到高影響力特征集G={g1,g2,…,gt}

13.結(jié)合G和V，得到重構(gòu)訓(xùn)練樣本集γi={gi}∪{vi}

14.Returnγ={γ1,γ2,…,γt}

步驟3 Training

15.For eachγiinγ：

16.訓(xùn)練因子分解機FM模型y?dk

17.ReturnFM={y?d1,y?d2,…,y?dk}

步驟4 Predicting

18.For eachxinX：

19.For eachy?diinFM：

3 實驗及結(jié)果分析

3.1 實驗數(shù)據(jù)集和實驗環(huán)境介紹

本文的數(shù)據(jù)集采用Bytedance公司的短視頻廣告歷史日志。該數(shù)據(jù)集包含19 624 543條短視頻歷史數(shù)據(jù)。數(shù)據(jù)集中的一條數(shù)據(jù)包含用戶信息、短視頻廣告信息以及用戶與短視頻的交互信息，如表1所示。

表1 數(shù)據(jù)集列名

本文程序由Python3.6編寫完成，運行環(huán)境為Ubuntu16.04，內(nèi)存大小64GB，Intel?CoreTMi9-7900X CPU@3.30 GHz。

3.2 實驗結(jié)果與分析

本文使用曲線下方的面積（Area Under Curve，AUC）[20]指標來檢驗短視頻喜好率預(yù)測模型的訓(xùn)練效果，因為LDA-GBDT-FM模型研究的主要目的是通過提高短視頻喜好率預(yù)測的精度來對短視頻廣告的展示和排序產(chǎn)生一定的指導(dǎo)意義。

（1）GBDT的樹棵數(shù)和樹深度的設(shè)定

表2表示GBDT模型的樹棵數(shù)和樹深度以及學(xué)習(xí)率取不同值時，對LDA-GBDT-FM模型準確度的影響。如表2所示，隨著樹的數(shù)量和樹的深度的增加，AUC沒有顯著提高，綜合考慮，后面的實驗中將采用樹數(shù)量為30，樹深度為4，學(xué)習(xí)率為0.13作為最終的GBDT的模型參數(shù)。

表2 GBDT高層提取實驗記錄

（2）主題個數(shù)對喜好率預(yù)測的影響

在LDA-GBDT-FM模型和LDA-FM模型中，主題數(shù)量作為原始訓(xùn)練集分割和預(yù)測結(jié)果集成的依據(jù)，是一個重要的超參數(shù)。本實驗將短視頻廣告按照不同的主題數(shù)量進行劃分，分別計算模型對不同主題數(shù)量的數(shù)據(jù)集的喜好率預(yù)測情況。

如圖3所示，隨著主題數(shù)量的增加，AUC的值逐漸上升，當達到20時，上升趨勢平緩，當主題數(shù)目為35時，能夠取得最佳的預(yù)測結(jié)果，因此，后續(xù)實驗取主題數(shù)目為35時的實驗結(jié)果。

圖3 不同主題下喜好率預(yù)測結(jié)果

（3）預(yù)測結(jié)果分析

為了檢驗?zāi)Ｐ偷挠行?，本實驗在相同的實驗環(huán)境和相同的參數(shù)設(shè)置下將LDA-GBDT-FM模型與邏輯回歸模型（LR）、因子分解機模型（FM）和LDA-FM模型三種點擊率預(yù)測模型進行對比，實驗結(jié)果如圖4所示。

圖4 LDA-GBDT-FM與其他喜好率預(yù)測模型對比

如圖4所示，在預(yù)測短視頻廣告的喜好率時，本文提出的模型有更高的預(yù)測準確度，具體來說，LDA-GBDTFM相較LDA-FM、FM和LR的AUC分別提高了3.0%、5.7%和8.5%。這說明GBDT對每個主題的FM預(yù)測模型是有效的，提升了模型的預(yù)測準確度，因為GBDT可以對特征進行非線性轉(zhuǎn)換，發(fā)掘高影響力特征，消除噪聲的干擾。

4 結(jié)束語

計算廣告學(xué)蓬勃發(fā)展，精準的短視頻廣告喜好率對APP運營商、廣告主和用戶都有著重要意義。本文的主要工作是從短視頻的多主題性質(zhì)出發(fā)，提出了一種基于LDA-GBDT-FM短視頻喜好率預(yù)測方法，通過對不同主題的數(shù)據(jù)，提取高影響力特征來訓(xùn)練模型，根據(jù)短視頻與主題的關(guān)聯(lián)度，將子模型集成來提高短視頻喜好率預(yù)測精度。實驗結(jié)果表明，LDA-GBDT-FM模型相較于以往的模型在喜好率預(yù)測方面具有更高的準確性。