顧亦然,徐澤彬,楊海根

(南京郵電大學(xué) a.自動(dòng)化學(xué)院、人工智能學(xué)院;b.智慧校園研究中心;c.寬帶無線通信技術(shù)教育部工程研究中心,江蘇 南京 210023)

0 引言

隨著5G網(wǎng)絡(luò)的普及,人們可以使用更快速、更穩(wěn)定的網(wǎng)絡(luò),用戶可以獲取的短視頻數(shù)據(jù),以及訪問短視頻資源的終端設(shè)備越來越多,短視頻平臺(tái)的用戶規(guī)模和視頻資源與日俱增,短視頻行業(yè)蓬勃發(fā)展,越來越多的人利用短視頻來消遣娛樂以及獲得利潤。隨之而來的就是海量的用戶信息以及視頻信息。所以如何在信息過載的前提下,對(duì)海量的視頻數(shù)據(jù)進(jìn)行篩選,更加精確地將用戶感興趣的短視頻推薦給用戶,為用戶提供個(gè)性化短視頻推薦是當(dāng)下需要研究的熱點(diǎn)之一。

在短視頻推薦相關(guān)領(lǐng)域,網(wǎng)絡(luò)中的用戶和項(xiàng)目都爆炸式增長,那么考慮用戶與項(xiàng)目之間的交互過程即對(duì)用戶觀看短視頻時(shí)的互動(dòng)行為進(jìn)行預(yù)測(cè),可以為短視頻推薦提供有力的支撐,對(duì)用戶行為預(yù)測(cè)的本質(zhì)就是對(duì)每種行為的點(diǎn)擊率(Click-through-rate,CTR)進(jìn)行預(yù)測(cè)。點(diǎn)擊率預(yù)測(cè)[1]為推薦系統(tǒng)提供了支持與保障[2]。點(diǎn)擊率預(yù)測(cè)根據(jù)用戶、項(xiàng)目及上下文特征預(yù)測(cè)用戶點(diǎn)擊該項(xiàng)目的概率,幫助搜索引擎、推薦系統(tǒng)等向用戶展示更個(gè)性化、更精準(zhǔn)的內(nèi)容。

近年來,隨著數(shù)據(jù)量的日益龐大以及深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的飛速發(fā)展,越來越多的學(xué)者利用神經(jīng)網(wǎng)絡(luò)來進(jìn)行點(diǎn)擊率預(yù)測(cè),并取得很好的效果,文獻(xiàn)[3]將寬結(jié)構(gòu)網(wǎng)絡(luò)(類似LR)和深結(jié)構(gòu)網(wǎng)絡(luò)(類似DNN)并行集成在一起,通過考慮低階和高階特征交互取得了一些改進(jìn)。由于FM在點(diǎn)擊率預(yù)測(cè)上有上較好的效果,文獻(xiàn)[4]通過用FM模型替換寬結(jié)構(gòu)網(wǎng)絡(luò)來改進(jìn)文獻(xiàn)[3]中的模型,使得寬結(jié)構(gòu)網(wǎng)絡(luò)不再依賴專業(yè)知識(shí)特征工程?，F(xiàn)如今某些項(xiàng)目中點(diǎn)擊率預(yù)測(cè)需要對(duì)用戶的多個(gè)行為進(jìn)行預(yù)測(cè),由于多個(gè)任務(wù)間可能存在某些聯(lián)系,因此一些學(xué)者提出多任務(wù)模型,文獻(xiàn)[5]提出了隱層參數(shù)硬共享的方式來進(jìn)行多任務(wù)學(xué)習(xí),該模型在輸入層之上建立共享層,共享層使用一個(gè)共享的子網(wǎng)絡(luò),學(xué)習(xí)共同的模式,包含行為間關(guān)聯(lián)信息。在共享層之上用一些特定的全連接層(FC)學(xué)習(xí)特定的任務(wù)。這是一種十分經(jīng)典的方法,又稱為共享底層結(jié)構(gòu)(Shared-Bottom)。共享底層結(jié)構(gòu)最大的缺點(diǎn)就是底層強(qiáng)制共享,難以學(xué)習(xí)到適用于所有任務(wù)的表達(dá),尤其是任務(wù)間相關(guān)性不好的時(shí)候。文獻(xiàn)[6]提出一種基于點(diǎn)擊率預(yù)測(cè)模型的新聞推薦系統(tǒng),通過一鍵編碼和梯度增強(qiáng)決策樹處理數(shù)據(jù)特征,解決傳統(tǒng)新聞推薦中受時(shí)間、不活躍用戶比例高、新聞數(shù)據(jù)規(guī)模大等因素影響的問題。文獻(xiàn)[7]提取用戶行為序列的特征作為用戶特征的擴(kuò)展,結(jié)合因子分解機(jī)結(jié)構(gòu)將其與用戶、商品特征進(jìn)行交叉,能夠有效提取特征質(zhì)量,優(yōu)化點(diǎn)擊率預(yù)測(cè)模型的性能。文獻(xiàn)[8]提出一種融合結(jié)構(gòu)的點(diǎn)擊率預(yù)測(cè)模型,該模型能夠靈活融合不同結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)來分別學(xué)習(xí)原始高維稀疏特征的高階表示,使點(diǎn)擊率預(yù)測(cè)模型能夠利用更豐富的高階特征信息,提高預(yù)測(cè)精度。上述方法在點(diǎn)擊率預(yù)測(cè)時(shí)沒有考慮到用戶歷史數(shù)據(jù)中蘊(yùn)含的用戶興趣,只是將最終的點(diǎn)擊率預(yù)測(cè)結(jié)果作為用戶的偏好興趣,文獻(xiàn)[9]構(gòu)建了一種基于注意力機(jī)制的深度興趣網(wǎng)絡(luò)(ADIN)模型,設(shè)計(jì)了一個(gè)局部激活單元和自適應(yīng)激活函數(shù),根據(jù)用戶歷史行為和給定廣告自適應(yīng)地學(xué)習(xí)用戶興趣,提高點(diǎn)擊率預(yù)測(cè)精度。文獻(xiàn)[10]提出一種名為專注膠囊網(wǎng)絡(luò)(ACN)的方法,使用transformers進(jìn)行功能交互,利用膠囊網(wǎng)絡(luò)從用戶歷史記錄中捕獲用戶多個(gè)興趣,提高在線廣告中點(diǎn)擊率預(yù)測(cè)精度。文獻(xiàn)[11]提出一種基于DIN(深度興趣網(wǎng)絡(luò))的新模型,該模型可以更好地利用類似于注意力激活網(wǎng)絡(luò)的數(shù)據(jù)結(jié)構(gòu),捕捉用戶多樣性和興趣偏好,提高淘寶點(diǎn)擊率預(yù)測(cè)效果。上述提到的一系列點(diǎn)擊率預(yù)測(cè)方法只是將整體預(yù)測(cè)結(jié)果反映為用戶的興趣偏好或采用某個(gè)方法捕捉用戶興趣,沒有考慮到用戶的興趣會(huì)隨時(shí)間發(fā)生變化這一因素。

本文在對(duì)用戶觀看短視頻過程中的4種互動(dòng)行為(讀評(píng)論、點(diǎn)贊、點(diǎn)擊頭像、轉(zhuǎn)發(fā))進(jìn)行點(diǎn)擊率預(yù)測(cè)時(shí),主體是用戶?，F(xiàn)實(shí)中短視頻用戶興趣可能是隨著時(shí)間變化的,考慮用戶興趣變化這一因素對(duì)提升預(yù)測(cè)準(zhǔn)確性尤為重要。本文在MMOE模型[12]的基礎(chǔ)上考慮用戶興趣變化,將排序后的用戶歷史行為序列作為語料庫,引入Word2Vec訓(xùn)練得到詞嵌入模型,模型學(xué)習(xí)用戶的動(dòng)態(tài)興趣,有效捕獲用戶興趣的變化。將通過特征工程構(gòu)建的統(tǒng)計(jì)特征與詞嵌入模型構(gòu)建的用戶動(dòng)態(tài)興趣特征輸入MMoE模型進(jìn)行用戶行為預(yù)測(cè)。

1 相關(guān)工作

Word2vec是Google在2013年開源的一款將文本表示為向量的詞嵌入工具[13],通過訓(xùn)練把一些文本內(nèi)容轉(zhuǎn)化為機(jī)器能夠識(shí)別與理解的N維向量進(jìn)行空間向量運(yùn)算,Word2vec主要模型有Skip-gram與CBOW,在模型的實(shí)際訓(xùn)練過程中,Skip-gram的耗時(shí)多于CBOW,但是學(xué)習(xí)詞向量更細(xì)致[14]。當(dāng)語料庫中有大量低頻詞時(shí),使用Skip-gram學(xué)習(xí)較為合適。Skip-gram是使用中心詞預(yù)測(cè)周圍詞,而CBOW是使用周圍詞預(yù)測(cè)中心詞,兩模型整體結(jié)構(gòu)相反,這里僅以Skip-gram模型為例進(jìn)行介紹。

Skip-gram模型是根據(jù)已有的內(nèi)容來預(yù)測(cè)上下文的,根據(jù)中心詞Wt來預(yù)測(cè)其上下文詞語Wt-c,…,Wt-1,Wt+1,…Wt+c的向量,其中c為上下文窗口大小。Skip-gram模型由三層神經(jīng)網(wǎng)絡(luò)構(gòu)成,包括輸入層、映射層、輸出層。輸入層為中心詞Wt的one-hot向量,輸入層與映射層之間的權(quán)重矩陣為Wv·p,映射層和輸出層之間的權(quán)重矩陣Wp·v,輸出層為詞語出現(xiàn)在中心詞周圍的概率分布。中心詞Wt的one-hot向量乘以模型訓(xùn)練后得到的權(quán)值矩陣Wv·p,即詞語Wt的Word2Vec詞向量。Skip-gram 模型的結(jié)構(gòu)如圖1所示。

圖1 Skip-gram模型結(jié)構(gòu)

對(duì)Skip-gram模型的訓(xùn)練目的就是讓優(yōu)化目標(biāo)L的值盡可能地變大,優(yōu)化目標(biāo)L的計(jì)算公式為

(1)

其中,c(c>0)為表示的是窗口的大小,T為訓(xùn)練文本的大小。其中基本的Skip-gram模型計(jì)算條件概率的公式為

(2)

2 特征構(gòu)建

本文首先在原始數(shù)據(jù)中抽取一系列基本id特征,基本id特征可以最直觀地反映用戶的選擇。然后選取基本用戶特征與短視頻特征,并通過特征工程將選取的基本特征轉(zhuǎn)化為更好表達(dá)問題本質(zhì)的統(tǒng)計(jì)特征,使得將這些特征運(yùn)用到預(yù)測(cè)模型中能提高對(duì)不可見數(shù)據(jù)的模型預(yù)測(cè)精度。最后構(gòu)建能反映用戶興趣變化的embedding特征。

2.1 基本id特征

基本id特征包括用戶id,短視頻id,短視頻作者id,短視頻背景音樂(bgm_song)id,以及短視頻背景音樂歌手(bgm_singer)id。

2.2 統(tǒng)計(jì)特征

統(tǒng)計(jì)特征就是利用統(tǒng)計(jì)分析方法,在原有的基本特征的基礎(chǔ)上計(jì)算得到新的特征。本文主要是從用戶、短視頻以及短視頻作者這3個(gè)層面來構(gòu)建統(tǒng)計(jì)特征。從用戶的層面,構(gòu)建的統(tǒng)計(jì)特征為:用戶視頻觀看時(shí)長、停留時(shí)長占視頻總時(shí)長的比率、用戶觀看過的視頻數(shù)量、用戶與短視頻某一交互行為的總次數(shù)、平均次數(shù)、用戶觀看某一作者視頻占觀看的所有作者的比率;從短視頻的層面,構(gòu)建的統(tǒng)計(jì)特征為:某一個(gè)短視頻被用戶觀看的次數(shù);從短視頻作者的層面,構(gòu)建的統(tǒng)計(jì)特征為:某個(gè)短視頻作者被點(diǎn)擊過的次數(shù)以及觀看某個(gè)視頻作者的用戶占所有用戶的比率。統(tǒng)計(jì)特征總覽如表1所示:

表1 統(tǒng)計(jì)特征總覽表

2.3 Embedding特征

用戶的歷史行為數(shù)據(jù)中蘊(yùn)含了用戶自身的偏好和興趣,但是用戶的興趣并不是不變的,隨著時(shí)間變化,用戶興趣可能也會(huì)發(fā)生變化。本文從數(shù)據(jù)中提取用戶-短視頻序列、用戶-短視頻作者序列、用戶-短視頻背景音樂序列、用戶-短視頻背景音樂歌手序列。下面以用戶-短視頻序列為例,其中包含了每個(gè)用戶歷史觀看的所有的短視頻id,但這僅僅能反映用戶的整體偏好,不能反映用戶的興趣變化,本文考慮時(shí)間因素,在提取用戶-短視頻序列時(shí)先將數(shù)據(jù)按照時(shí)間順序進(jìn)行排序,再進(jìn)行提取,這樣便可提取出每個(gè)用戶按照時(shí)間順序的排序歷史觀看短視頻序列,這個(gè)序列不僅反映了用戶偏好,也蘊(yùn)含了用戶一段時(shí)間的興趣變化。由于模型只接受數(shù)值型輸入,因此需要將序列中的元素進(jìn)行向量化,本文利用Word2vec來得到詞向量。

本文將按時(shí)間順序排序的用戶歷史觀看序列作為語料庫,通過numpy計(jì)算語料庫中詞語詞頻,圖2為隨機(jī)抽取的部分語料庫詞頻:圖2中數(shù)字表示詞出現(xiàn)的次數(shù),從圖2中可以看出語料庫中有大量低詞頻。因此本文采用的是Skip-gram模型。

圖2 部分語料庫詞頻

本文將按時(shí)間順序排序的用戶歷史觀看序列作為語料庫引入Word2Vec訓(xùn)練得到詞嵌入模型,模型學(xué)習(xí)到用戶的動(dòng)態(tài)興趣,有效捕獲到用戶興趣的變化,通過詞嵌入模型得到序列中短視頻id詞向量,構(gòu)建embedding特征,embedding特征中蘊(yùn)含了用戶對(duì)于短視頻的興趣變化。通過同樣的方法處理用戶-短視頻作者序列、用戶-短視頻背景音樂序列、用戶-短視頻背景音樂歌手序列,得到一系列蘊(yùn)含用戶興趣變化的embedding特征。

3 多任務(wù)分析與模型選擇

本文需要盡可能準(zhǔn)確地對(duì)短視頻用戶在觀看短視頻過程中的互動(dòng)行為發(fā)生概率進(jìn)行預(yù)測(cè)。對(duì)多個(gè)行為發(fā)生概率的預(yù)測(cè),可以看做模型需要去完成的多個(gè)任務(wù),選擇一個(gè)合適的模型,可以提高行為預(yù)測(cè)的準(zhǔn)確性。不同的模型適合不同的多任務(wù)應(yīng)用場(chǎng)景,當(dāng)任務(wù)間的相關(guān)性忽略不計(jì)時(shí),使用單任務(wù)模型即可完成相應(yīng)的工作,當(dāng)任務(wù)間存在相關(guān)性時(shí),使用多任務(wù)模型便是更好的選擇。本文將對(duì)任務(wù)間的相關(guān)性進(jìn)行分析,并選擇合適的模型進(jìn)行實(shí)驗(yàn)。

3.1 任務(wù)相關(guān)性分析

在對(duì)于短視頻用戶行為(如:查看評(píng)論、點(diǎn)贊、點(diǎn)擊頭像、轉(zhuǎn)發(fā))的相關(guān)性進(jìn)行分析時(shí),如果僅從行為本身,很難將用戶行為具體量化地來進(jìn)行分析,于是本文使用在2.2節(jié)構(gòu)建的與用戶行為相關(guān)的統(tǒng)計(jì)特征之間的相關(guān)性來間接衡量用戶行為間的相關(guān)性。在每個(gè)用戶觀看的多個(gè)短視頻中,統(tǒng)計(jì)各個(gè)行為的和,利用行為統(tǒng)計(jì)特征來進(jìn)行相關(guān)性分析,得到用戶行為特征相關(guān)性圖,如圖3所示,圖3中數(shù)字為正表示正相關(guān),數(shù)字為負(fù)表示負(fù)相關(guān)。由圖3看出,短視頻用戶在觀看短視頻過程中的查看評(píng)論,點(diǎn)贊,點(diǎn)擊頭像,轉(zhuǎn)發(fā)這4個(gè)行為中,點(diǎn)贊與查看評(píng)論是正相關(guān)的關(guān)系,點(diǎn)贊與點(diǎn)擊頭像是負(fù)相關(guān)的關(guān)系,而點(diǎn)贊與轉(zhuǎn)發(fā)幾乎不相關(guān),可見不同的任務(wù)之間存在一定的相關(guān)性,同時(shí)也存在沒那么相關(guān)的任務(wù),任務(wù)間關(guān)系復(fù)雜。因此如果使用單任務(wù)模型來對(duì)每個(gè)任務(wù)單獨(dú)進(jìn)行訓(xùn)練的話,就忽略了任務(wù)之間的相關(guān)性的影響,所以,通過任務(wù)相關(guān)性的分析研究,本文使用多任務(wù)模型來對(duì)短視頻用戶的行為進(jìn)行預(yù)測(cè)。多任務(wù)模型通過學(xué)習(xí)不同任務(wù)的聯(lián)系和差異,可提高每個(gè)任務(wù)學(xué)習(xí)效率和質(zhì)量。

圖3 用戶行為特征相關(guān)性圖

3.2 模型選擇

通過3.1節(jié)對(duì)短視頻用戶行為特征間的相關(guān)性分析可知:多行為間既有相關(guān)性可以忽略不計(jì)的,又存在有一定相關(guān)性的。為了在任務(wù)間相關(guān)性不唯一的情況下也能通過模型的訓(xùn)練得到較為準(zhǔn)確的預(yù)測(cè)結(jié)果,本文使用MMoE模型對(duì)短視頻用戶觀看短視頻時(shí)的行為發(fā)生的概率進(jìn)行預(yù)測(cè)。

MMoE模型是Google的研究人員2018年提出的一種NN模型中多目標(biāo)優(yōu)化的模型結(jié)構(gòu)。由于多任務(wù)共享底層模型最大的缺點(diǎn)就是底層強(qiáng)制共享,難以學(xué)習(xí)到適用于所有任務(wù)的表達(dá),尤其在任務(wù)間相關(guān)性不好時(shí),MMoE模型相較于共享底層模型,在共享底層結(jié)構(gòu)的基礎(chǔ)上將共享層進(jìn)行替換,引入多個(gè)專家網(wǎng)絡(luò)集群(即多個(gè)NN網(wǎng)絡(luò),全連接層FC),然后再對(duì)每個(gè)任務(wù)分別引入一個(gè)門網(wǎng)絡(luò),門網(wǎng)絡(luò)的數(shù)量和任務(wù)的數(shù)量是一致的,不同的門網(wǎng)絡(luò)針對(duì)各自的任務(wù)學(xué)習(xí)專家網(wǎng)絡(luò)的不同組合模式,使不同的任務(wù)可以多樣化地使用共享層。即對(duì)專家網(wǎng)絡(luò)的輸出進(jìn)行自適應(yīng)加權(quán)來篩選出適用于某任務(wù)的專家網(wǎng)絡(luò)學(xué)習(xí)內(nèi)容,不同任務(wù)對(duì)應(yīng)的門網(wǎng)絡(luò)輸出權(quán)重分布不同,說明專家學(xué)到了針對(duì)不同任務(wù)的特征,專家網(wǎng)絡(luò)與對(duì)應(yīng)的門網(wǎng)絡(luò)的組合結(jié)果作為共享層提取的隱含特征傳遞到該特定任務(wù)的特定網(wǎng)絡(luò)層中。結(jié)構(gòu)圖如圖4所示。

圖4 考慮用戶興趣變化的MMoE模型圖

其中輸入為x(input feature),考慮到捕捉到任務(wù)的相關(guān)性和區(qū)別,不同任務(wù)的門網(wǎng)絡(luò)可以學(xué)習(xí)到不同的組合專家的模式。不同的門為不同任務(wù)分配不同專家的權(quán)重,這種動(dòng)態(tài)作加權(quán)和的操作,和attention機(jī)制的出發(fā)點(diǎn)是一樣的。如果兩任務(wù)間相關(guān)性不強(qiáng),經(jīng)門網(wǎng)絡(luò)之后,二者得到的權(quán)重系數(shù)差別較大,可以利用部分專家網(wǎng)絡(luò)輸出的信息,近似于多個(gè)單任務(wù)學(xué)習(xí)模型。如果兩個(gè)任務(wù)緊密相關(guān),經(jīng)過門網(wǎng)絡(luò)得到的權(quán)重分布相差不多,類似于shared-bottom模型。

門網(wǎng)絡(luò)的輸入x也是,門控網(wǎng)絡(luò)一般為多層感知機(jī),并且門控網(wǎng)絡(luò)需要通過一個(gè)softmax層,通過線性變換把輸入映射到n*d維,再通過softmax計(jì)算得到每個(gè)Expert的權(quán)重,可形象化表示為

gk(x) = softmax (Wgkx)

(3)

其中,Wgk∈Rn·d為可更新的參數(shù)矩陣,n為專家個(gè)數(shù),d為輸入特征維數(shù),gk(x)為第k個(gè)任務(wù)的各個(gè)Expert的組合權(quán)重。第i個(gè)Expert網(wǎng)絡(luò)的輸出為fi(x),則此時(shí)第k個(gè)任務(wù)的底層共享網(wǎng)絡(luò)輸出為

(4)

最終得到第k個(gè)任務(wù)的輸出表達(dá)為

yk=hk(fk(x))

(5)

4 實(shí)驗(yàn)分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集

本文的數(shù)據(jù)集來源于某大數(shù)據(jù)比賽公開數(shù)據(jù)集,數(shù)據(jù)集中的各項(xiàng)數(shù)據(jù)均采用脫敏處理。數(shù)據(jù)集包含了用戶行為特征表和短視頻特征表。用戶行為特征表中包含某短視頻平臺(tái)2 000名用戶14d內(nèi)觀看視頻的1 048 575條歷史行為數(shù)據(jù),其中包括用戶觀看的短視頻id,觀看時(shí)長,停留時(shí)長以及用戶觀看短視頻時(shí)是否有互動(dòng)行為。短視頻特征表中包含了106 447條短視頻特征數(shù)據(jù),其中包括短視頻對(duì)應(yīng)作者id,短視頻播放時(shí)長,短視頻背景音樂id和短視頻背景音樂歌手id,以及人工提取的關(guān)鍵詞和標(biāo)簽序列特征。

4.2 評(píng)價(jià)指標(biāo)

預(yù)測(cè)用戶的行為是否發(fā)生本質(zhì)是一個(gè)二分類問題,當(dāng)喜好閾值不確定時(shí),通常使用AUC指標(biāo)來衡量預(yù)測(cè)結(jié)果的準(zhǔn)確性。本實(shí)驗(yàn)中采用uAUC作為單個(gè)行為預(yù)測(cè)結(jié)果的評(píng)估指標(biāo),uAUC定義為不同用戶下AUC的平均值。公式為

(6)

其中,n為驗(yàn)證集中的有效用戶數(shù),有效用戶指對(duì)于某個(gè)待預(yù)測(cè)的行為,過濾掉驗(yàn)證集中全是正樣本或全是負(fù)樣本的用戶后剩下的用戶。AUCi為第i個(gè)有效用戶的行為預(yù)測(cè)結(jié)果的AUC。

本文對(duì)短視頻用戶行為預(yù)測(cè)的目的是為后續(xù)短視頻推薦提供支持與保障。考慮不同的行為對(duì)最終推薦的作用不同,實(shí)驗(yàn)對(duì)200名經(jīng)常使用短視頻軟件的用戶進(jìn)行調(diào)查,用戶包含了各年齡層,通過調(diào)查發(fā)現(xiàn)將近一半的用戶在看到感興趣的短視頻時(shí)會(huì)查看評(píng)論,占總?cè)藬?shù)比例最高,其余行為的人數(shù)占總?cè)藬?shù)比例由高到低為:點(diǎn)贊、查看頭像、轉(zhuǎn)發(fā)?？梢娬驹趯?shí)際為用戶推薦其感興趣的短視頻的角度,行為預(yù)測(cè)模型若能對(duì)查看評(píng)論這一行為預(yù)測(cè)更準(zhǔn)確,那么模型便具備更優(yōu)的性能。行為預(yù)測(cè)模型對(duì)4個(gè)行為的發(fā)生概率進(jìn)行預(yù)測(cè),首先計(jì)算4個(gè)行為的uAUC,然后對(duì)每個(gè)行為的uAUC分配不同的權(quán)重,計(jì)算得到W-uAUC,W-uAUC能夠更貼近實(shí)際應(yīng)用來評(píng)估行為預(yù)測(cè)模型的好壞。4個(gè)行為的權(quán)重如表2所示。

表2 行為權(quán)重表

W-uAUC計(jì)算公式為

(7)

其中,uAUCi為第i個(gè)行為的uAUC值,Wi為第i個(gè)行為的權(quán)重。

4.3 數(shù)據(jù)集劃分與模型對(duì)比實(shí)驗(yàn)

本實(shí)驗(yàn)將MMoE模型與shared-bottom模型以及在點(diǎn)擊率預(yù)測(cè)領(lǐng)域比較有代表性的單任務(wù)模型Wide&Deep、DeepFM進(jìn)行實(shí)驗(yàn)對(duì)比。為了保持特征的一致性,本文先在4個(gè)模型中只加入基礎(chǔ)的id特征,包括用戶id、短視頻id、短視頻作者id、短視頻背景音樂id、短視頻背景音樂歌手id與播放時(shí)長這6個(gè)特征。

本文以數(shù)據(jù)集中前7天的數(shù)據(jù)作為訓(xùn)練集,分別預(yù)測(cè)第8～14天的用戶點(diǎn)擊行為發(fā)生概率,結(jié)果如表3所示。

表3 前7天數(shù)據(jù)預(yù)測(cè)第8～14天各模型的W-uAUC得分

由實(shí)驗(yàn)結(jié)果可以看出,4個(gè)模型的預(yù)測(cè)精度隨著時(shí)間的推移整體都在降低。不難看出,前面相鄰天數(shù)的數(shù)據(jù)對(duì)預(yù)測(cè)的準(zhǔn)確率影響更大,比如近一兩天存在某些用戶感興趣的熱點(diǎn)短視頻。因此,本文將選取前幾天的用戶數(shù)據(jù)進(jìn)行訓(xùn)練,對(duì)未來一天的用戶點(diǎn)擊率進(jìn)行預(yù)測(cè),以得到最優(yōu)的預(yù)測(cè)效果。

本文分別選取前10天,前11天,前12天,前13天數(shù)據(jù)作為訓(xùn)練集,預(yù)測(cè)第11天,第12天,第13天,第14天用戶的點(diǎn)擊行為發(fā)生概率。結(jié)果如表4所示。

表4 由前10～13天預(yù)測(cè)后一天的各模型W-uAUC得分

由實(shí)驗(yàn)結(jié)果可以看出,當(dāng)選取前13天作為訓(xùn)練集,預(yù)測(cè)第14天的用戶點(diǎn)擊行為概率,4個(gè)模型都具有最高的預(yù)測(cè)精度。因此最終本文選取前13天數(shù)據(jù)作為模型的訓(xùn)練集,第14天的數(shù)據(jù)作為驗(yàn)證集,預(yù)測(cè)第14天用戶行為發(fā)生概率。經(jīng)uAUC評(píng)價(jià)指標(biāo)計(jì)算得到每個(gè)模型對(duì)于每個(gè)行為的預(yù)測(cè)得分如圖5所示?？梢奙MOE對(duì)每個(gè)行為的預(yù)測(cè)準(zhǔn)確性總體高于其它模型,計(jì)算4個(gè)行為的W-uAUC得分,如表5所示。

表5 各模型W-uAUC得分

圖5 模型各行為得分

由實(shí)驗(yàn)結(jié)果可知:DeepFM的預(yù)測(cè)效果明顯優(yōu)于Wide&Deep,但是這兩個(gè)模型都是單任務(wù)模型,對(duì)于每一個(gè)行為的預(yù)測(cè)都需要單獨(dú)對(duì)模型進(jìn)行訓(xùn)練,從而忽略了用戶行為間的隱藏關(guān)聯(lián)。多任務(wù)模型shared-bottom、MMoE的預(yù)測(cè)效果要優(yōu)于單任務(wù)模型。MMoE模型利用門網(wǎng)絡(luò)與專家網(wǎng)絡(luò)相結(jié)合,考慮了行為間不同的關(guān)聯(lián)性,預(yù)測(cè)效果相較于shared-bottom有進(jìn)一步提高。MMoE預(yù)測(cè)的得分相較于Wide&Deep,DeepFM和shared-bottom分別有5.9%、1.9%與0.3%的提升,因?yàn)閟hared-bottom與MMoE同為多任務(wù)模型,而shared-bottom只是MMoE專家數(shù)為1的特例,所以在加入特征較少時(shí),提升不明顯。

4.4 考慮用戶興趣變化對(duì)預(yù)測(cè)效果的影響實(shí)驗(yàn)

MMoE在使用5個(gè)id特征與視頻播放時(shí)長特征訓(xùn)練的基礎(chǔ)上,先分別同時(shí)加入1.2節(jié)構(gòu)建的一系列統(tǒng)計(jì)特征和1.3節(jié)構(gòu)建的4個(gè)蘊(yùn)含用戶興趣變化的embedding特征進(jìn)行訓(xùn)練,MMoE對(duì)每個(gè)行為的預(yù)測(cè)的uAUC得分如圖6所示,再計(jì)算W-uAUC得分如表6所示。

表6 不同特征下MMoE的W-uAUC得分

圖6 MMoE使用不同特征下各行為uAUC得分

由實(shí)驗(yàn)結(jié)果可知,模型加入更好表達(dá)問題本質(zhì)的統(tǒng)計(jì)特征,預(yù)測(cè)得分由0.642提升到0.649,加入反映用戶興趣變化的embedding特征,預(yù)測(cè)得分由0.642提升到0.652,說明MMoE模型考慮用戶興趣變化可提高預(yù)測(cè)性能,當(dāng)同時(shí)加入統(tǒng)計(jì)特征與embedding時(shí),得分提高到0.660,說明統(tǒng)計(jì)特征與embedding特征不會(huì)相互制約,同時(shí)加入模型不會(huì)出現(xiàn)過擬合現(xiàn)象。

4.5 模型參數(shù)調(diào)優(yōu)

MMoE中專家數(shù)量是一個(gè)超參數(shù),專家數(shù)量太少的話模型的表達(dá)能力不夠,不能充分地學(xué)到針對(duì)不同任務(wù)的特征,數(shù)量過多的話又會(huì)增加模型的參數(shù)導(dǎo)致模型過擬合。本文使用驗(yàn)證集測(cè)試的方式來確定最優(yōu)的專家數(shù)量。因?yàn)楫?dāng)MMoE的專家網(wǎng)絡(luò)層只有一個(gè)專家時(shí),模型中的門網(wǎng)絡(luò)不起作用,則模型中只有一個(gè)單一的共享層,即為shared-bottom模型,所以將專家數(shù)從2開始進(jìn)行設(shè)定,以步長為1對(duì)專家數(shù)進(jìn)行遞增來訓(xùn)練模型,模型對(duì)于不同專家數(shù)量的預(yù)測(cè)得分如表7 所示。

表7 不同專家數(shù)量下MMoE W-uAUC得分

由實(shí)驗(yàn)結(jié)果可知,當(dāng)專家數(shù)設(shè)定為4時(shí),模型具有最優(yōu)的預(yù)測(cè)效果,當(dāng)專家數(shù)量過少時(shí)專家網(wǎng)絡(luò)對(duì)于不同任務(wù)的特征的學(xué)習(xí)不夠充分,當(dāng)專家數(shù)量大于4時(shí),模型會(huì)產(chǎn)生過擬合,從而導(dǎo)致預(yù)測(cè)效果變差。在實(shí)驗(yàn)的最后階段,同樣使用驗(yàn)證集測(cè)試的方式對(duì)模型中的其它參數(shù)進(jìn)行調(diào)優(yōu),最終模型預(yù)測(cè)的W-uAUC得分為0.661。

5 結(jié)論

本文對(duì)短視頻用戶行為進(jìn)行預(yù)測(cè),通過數(shù)據(jù)集構(gòu)建一系列統(tǒng)計(jì)特征,考慮用戶對(duì)短視頻的興趣可能會(huì)隨時(shí)間而變,本文對(duì)蘊(yùn)含用戶興趣與偏好的幾組序列特征按照時(shí)間排序,并作為語料庫利用Word2Vec訓(xùn)練得到詞嵌入模型,模型捕捉到用戶的興趣變化并構(gòu)建含有用戶興趣變化的enbedding特征?？紤]任務(wù)間的相關(guān)性特點(diǎn),本文選取MMoE模型進(jìn)行用戶行為預(yù)測(cè),并根據(jù)短視頻用戶行為預(yù)測(cè)的目的,提出貼近實(shí)際應(yīng)用的W-uAUC評(píng)價(jià)指標(biāo)來評(píng)估預(yù)測(cè)模型好壞。通過實(shí)驗(yàn)分析,MMoE相較于shared-bottom、Wide&Deep、DeepFM能得到更精確的預(yù)測(cè)結(jié)果,并且考慮用戶興趣變化的MMoE模型具有最優(yōu)的預(yù)測(cè)精度。未來將考慮在原有MMoE模型上進(jìn)行改進(jìn),更準(zhǔn)確地篩選出適用于某任務(wù)的專家網(wǎng)絡(luò)學(xué)習(xí)內(nèi)容。