胡 琪,朱定局,吳惠粦,巫麗紅

1(華南師范大學 計算機學院,廣州 510630)

2(廣州國家現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)科技創(chuàng)新中心,廣州 510030)

3(廣東農(nóng)工商職業(yè)技術學院,廣州 510507)

1 引言

互聯(lián)網(wǎng)信息服務不斷擴展,為用戶提供更多的信息服務,也加快數(shù)據(jù)規(guī)模的增長.互聯(lián)網(wǎng)數(shù)據(jù)包括用戶個人信息,瀏覽記錄、消費歷史、項目屬性等數(shù)據(jù),如果不對這些數(shù)據(jù)加以利用,會極大地浪費存儲資源,造成“信息過載”問題[1].推薦系統(tǒng)技術能夠挖掘數(shù)據(jù)隱含價值,協(xié)同用戶數(shù)據(jù)和項目屬性捕捉客戶的需求,提供個性化信息服務.讓用戶獲取所需要的信息,從而提高數(shù)據(jù)的有效利用率.推薦系統(tǒng)在緩解數(shù)據(jù)過載的問題中發(fā)揮著重要作用,能夠協(xié)助用戶發(fā)現(xiàn)潛在的興趣[2],緩解數(shù)據(jù)過量導致用戶無法發(fā)現(xiàn)自己需要的信息.

推薦系統(tǒng)已經(jīng)成為許多電子商務和多媒體平臺的內(nèi)核,個性化推薦服務能夠幫助平臺吸引用戶的注意力,提高用戶訪問量.推薦系統(tǒng)為網(wǎng)絡平臺的發(fā)展提供源源不斷的動力,其商業(yè)價值也引起工業(yè)界和學術界的關注.深度學習作為一項熱門技術,已經(jīng)在計算機視覺、自然語言處理等多個領域展現(xiàn)出無限潛力,也為推薦系統(tǒng)提供了新的方法[3].憑借深度學習技術的強大表征能力,學習用戶和項目的隱向量表示,挖掘用戶的歷史行為數(shù)據(jù)、商品的多樣化數(shù)據(jù)以及上下文場景信息,捕獲用戶潛在偏好,向用戶生成更加精確的個性化推薦列表.

本文主要綜述推薦系統(tǒng)的發(fā)展脈絡,總結傳統(tǒng)的推薦算法的優(yōu)缺點,分析深度學習技術在推薦系統(tǒng)中的前沿應用,并且展望深度學習推薦算法未來研究方向.

2 傳統(tǒng)推薦算法

2.1 協(xié)同過濾

協(xié)同過濾[4]是早期使用最為廣泛的推薦算法,核心思想是綜合用戶和項目顯式反饋信息,篩選出目標用戶可能感興趣的項目進行推薦.協(xié)同過濾算法主要類型可分為基于用戶的協(xié)同過濾和基于物品的協(xié)同過濾,兩種類型的算法都需要基于構建的用戶和項目的二元共現(xiàn)矩陣,協(xié)同整個矩陣數(shù)據(jù)去預測用戶對項目的評分.基于用戶的協(xié)同過濾,需要計算用戶之間的相似度,找到與目標用戶類似的用戶,加權求和相似用戶的評分作為目標用戶對項目的預測評分,對評分排序生成推薦項目列表.2003年,Amazon 團隊[5]發(fā)表關于協(xié)同過濾的論文,介紹基于物品的協(xié)同過濾在商品推薦服務中的應用.該算法基于共現(xiàn)矩陣,找到目標用戶評價高的物品,利用物品向量計算物品之間的相似度,最終將與高評分物品的類似物品作為推薦列表的結果.協(xié)同過濾算法具備可解釋性,能夠發(fā)掘出用戶新的興趣點,但隨著用戶和物品的規(guī)模增大,共現(xiàn)矩陣數(shù)據(jù)會變得更加稀疏,計算相似度時準確率會降低,影響算法實際效果.且推薦結果的頭部效應明顯,評分高的受歡迎物品會多次推薦,而評分信息少的新物品較少推薦,算法泛化能力較差.

2.2 矩陣分解

2006年,矩陣分解[6]算法在用戶評分預測任務中表現(xiàn)出色,縮小預測評分與用戶真實評分的誤差.算法主要思想是通過分解共現(xiàn)矩陣,為用戶和項目分別生成一個隱向量,使用隱向量表示用戶的興趣和項目的屬性,用于挖掘用戶與項目之間深層次潛在關系,從而提高預測準確性.矩陣分解算法通過使用奇異值分解(SVD)、特征根結構分解(ED)等方法分解共現(xiàn)矩陣分別得到用戶隱向量pu和物品的隱向量qi,用戶向量與項目向量間的點積為用戶對項目的預測評分,物品預測值和真實值之差作為損失函數(shù),如式(1):

其中,rui為用戶u對物品i真實評分標簽,pu與qi分別為用戶和物品向量,pu與qi的點積作為用戶u對物品i的預測評分.使用梯度下降算法訓練模型,加入正則化項防止過擬合.相較于協(xié)同過濾算法,矩陣分解泛化能力更強,緩解數(shù)據(jù)稀疏問題.空間復雜度更低,只需保存用戶和項目向量.矩陣分解算法分解得出的向量隱含用戶信息和項目信息,但隱向量缺乏可解釋性.矩陣分解僅利用用戶與項目的評分信息,沒有使用其他相關特征信息,損失了有用信息,且無法有效解決冷啟動問題.

2.3 邏輯回歸模型

協(xié)同過濾和矩陣分解算法只利用用戶與項目的交互信息,而邏輯回歸(logistic regression,LR)[7]模型能融合用戶畫像特征、物品屬性、上下文信息,將特征轉(zhuǎn)化為數(shù)值向量,輸入到網(wǎng)絡中訓練,學習各個特征的權重,輸出層預測樣本為正的概率.邏輯回歸模型有益于并行化計算,模型較為簡單易于部署而廣泛應用,但表征能力有限,沒有進行多特征交叉組合,特征篩選,影響預測準確性.2017年,阿里巴巴團隊[8]提出混合邏輯回歸模型(mixed logistic regression,MLR),由于傳統(tǒng)的邏輯回歸模型表達能力有限,無法擬合復雜非線性表達式,MLR 模型吸收“分而治之”的思想,將特征空間分成幾個區(qū)域,在每個區(qū)域訓練一個線性模型,將不同區(qū)域的線性模型結果進行加權求和作為最終的輸出結果.只要MLR 模型具有足夠的分割區(qū)域,可以擬合任意非線性函數(shù).相較于傳統(tǒng)的LR 模型,MLR 模型可以擴展到大量樣本和高維特征,在稀疏數(shù)據(jù)中學習數(shù)據(jù)的非線性表示.

2.4 因子分解機模型

2010年,Rendle[9]提出因子分解機模型,在邏輯回歸的基礎上,加入二階交叉特征組合.FM 算法為每一個特征引入了一個具有低維稠密的隱向量特征,并使用向量特征的內(nèi)積作為特征交叉的權重,如式(2).即使兩個特征共同存在的數(shù)據(jù)較少,也可以衡量兩者之間的相關性,從而緩解了數(shù)據(jù)稀疏所導致的難以計算特征交互的問題.相較于邏輯回歸模型,FM 模型表達能力更強.但受限于組合爆炸問題,導致特征組合無法擴展到三階及以上.

其中,w0為全局偏置,wi表示第i個特征的權重,為特征隱向量vivj的內(nèi)積,內(nèi)積值作為特征交叉的權重,最終預測值y?(x)為一階特征與二階交叉特征求和.在FM 模型基礎上,FFM 模型[10]把相同性質(zhì)的特征歸為同一個域,細化特征組合的表示.每個隱向量對應一個域,當兩個特征xi和xi+1組合時,用特征對應域的隱向量內(nèi)積作為權重.FFM 模型精細化表示特征組合,同時也擴大了訓練參數(shù)量,增加了過擬合的風險.

2.5 GBDT+LR 組合模型

2014年,Facebook 團隊[11]將梯度提升決策樹與邏輯回歸結合起來,使用組合模型完成推薦任務,模型結構如圖1所示.該模型的主要思想是使用梯度提升決策樹進行自動化特征工程,提取重要特征和進行特征組合,樹的最后一層葉節(jié)點生成新的離散特征,作為邏輯回歸模型的輸入據(jù)經(jīng)過激活函數(shù)后輸出預測結果.該組合模型的提出,推進了特征工程模型化進程,能夠減少人工進行特征組合和特征篩選的工作量,實現(xiàn)模型端到端訓練.

圖1 GBDT+LR 組合模型結構

總的來說,傳統(tǒng)推薦算法種類繁多,具有不同的優(yōu)勢,需要結合實際的推薦場景加以靈活運用,表1 列出各個算法的優(yōu)勢和存在的劣勢.

表1 傳統(tǒng)推薦算法對比

3 深度學習技術

深度學習技術已經(jīng)在人工智能領域取得很多研究成果,深度學習與推薦系統(tǒng)相結合,能夠緩解傳統(tǒng)推薦模型表達能力不足的問題.深度學習的表征能力更強,需要大量數(shù)據(jù)訓練模型,能夠緩解數(shù)據(jù)規(guī)模大和數(shù)據(jù)稀疏問題.深度學習的基本結構有:多層感知機、卷積神經(jīng)網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡、注意力機制等.

3.1 多層感知機

多層感知機是前饋結構的神經(jīng)網(wǎng)絡,數(shù)據(jù)通過輸入層,經(jīng)過多個隱藏層,匯入輸出層計算最終結果,網(wǎng)絡結構如圖2所示,利用BP 反向傳播算法來監(jiān)督訓練神經(jīng)網(wǎng)絡,調(diào)整每層神經(jīng)元的權重,擬合非線性函數(shù),縮小預測值與真實值的誤差.多層感知機在推薦系統(tǒng)中常用于挖掘高階特征交叉[12],學習潛在數(shù)據(jù)模式.

圖2 多層感知機結構

3.2 卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡CNN 是模仿生物視覺系統(tǒng)構建的網(wǎng)絡結構[13],使用卷積操作處理二維數(shù)據(jù)特征,在計算機視覺領域應用廣泛.CNN 中的卷積運算的參數(shù)共享減少了模型中需要學習的參數(shù)數(shù)量,相較于全連接神經(jīng)網(wǎng)絡計算效率更高.在推薦系統(tǒng)中卷積神經(jīng)網(wǎng)絡主要用于提取視覺特征、文本特征,融合用戶畫像特征,從更多方面捕獲用戶偏好,常應用于圖片推薦、新聞推薦、多模態(tài)推薦等場景.

3.3 循環(huán)神經(jīng)網(wǎng)絡

循環(huán)神經(jīng)網(wǎng)絡RNN 是一種常用于處理時間序列數(shù)據(jù)的深度網(wǎng)絡結構,結構如圖3所示.RNN 不僅能夠進行前饋計算,且能夠保持上個時刻的信息,利用歷史狀態(tài)數(shù)據(jù)和當前狀態(tài)預測輸出[14],因此可以處理文本和音頻等序列數(shù)據(jù).

圖3 循環(huán)神經(jīng)網(wǎng)絡結構

為了解決時間間隔過長導致的信息流失問題和梯度消失與爆炸問題,構建出新的變體長短期記憶網(wǎng)絡(LSTM)[15]和門控循環(huán)單元(GRU)[16].在推薦系統(tǒng)中,循環(huán)神經(jīng)網(wǎng)絡可用在基于會話推薦,基于用戶當前會話行為,學習用戶的興趣遷移過程,預測用戶下一個可能交互的項目.

3.4 注意力機制

注意力機制是一種模仿人類視覺的局部信號處理機制,人在觀察事物過程中通常關注于部分重要信息,減少對無關信息的注意力,從而快速做出判斷.注意力機制幫助推薦模型選擇更有效的特征,讓模型關注于更重要信息,減小數(shù)據(jù)噪聲對結果的影響[17].深度學習的訓練過程常被看做“黑盒”,整個訓練過程無法預知,輸出的結果無法提供很好的解釋性.深度推薦模型與注意力機制結合,有利于增強模型的可解釋性,對各種特征賦予不同的注意力分數(shù),增強有效特征的影響力,抑制數(shù)據(jù)噪聲,提升模型的推薦準確性.

4 深度學習在推薦系統(tǒng)中的應用

傳統(tǒng)的推薦算法結構簡單,容易實現(xiàn),可以靈活運用于推薦任務.然而在大數(shù)據(jù)的背景下,傳統(tǒng)推薦模型能力有限,泛化能力較差,無法很好應用在大規(guī)模數(shù)據(jù)和數(shù)據(jù)稀疏場景.深度學習技術有助于推薦系統(tǒng)應用于大規(guī)模數(shù)據(jù)場景中,深度學習深層復雜網(wǎng)絡結構需要大量數(shù)據(jù)訓練整個模型,稀疏特征可以借由神經(jīng)網(wǎng)絡轉(zhuǎn)換為蘊含豐富信息的低維度稠密向量.復雜網(wǎng)絡結構能夠擬合任意非線性函數(shù),挖掘數(shù)據(jù)深層次的潛在模式.深度學習模型可擴展性強,能融合多種異構數(shù)據(jù),從多方面捕獲用戶興趣,提高模型的預測準確度.本節(jié)主要分析深度學習在推薦場景中的應用.

4.1 嵌入技術在推薦系統(tǒng)中的應用

推薦系統(tǒng)通常使用嵌入(embedding)技術用低維度稠密向量去表征一個對象,該對象可以是一個項目、一個用戶等,同時向量之間的距離隱含項目與項目之間、用戶與用戶之間、用戶與項目之間的關系.嵌入技術已經(jīng)成為推薦系統(tǒng)中必不可少的環(huán)節(jié),主要處理稀疏特征,融合大量信息形成一個有價值的低維向量,輸入到神經(jīng)網(wǎng)絡中訓練模型.也可以利用向量之間的關系,作為召回策略,篩選出與用戶興趣匹配的候選項目.

Grbovic 等人[18]在房屋短租平臺應用嵌入方法表征用戶和推薦列表.在Skip-GraM的基礎上,針對該平臺在搜索排序和推薦實時個性化中設計了列表和用戶的嵌入向量.用戶的搜索會話中的數(shù)據(jù)作為類似序列信息,使用詞向量[14]方式學習每個房源的嵌入向量,有效表征房源多個特征,結合實際業(yè)務場景,向用戶精確推薦優(yōu)質(zhì)房源.

阿里巴巴團隊[19]利用嵌入技術用于學習ID 類型數(shù)據(jù)的表示,用于電商場景的推薦,包括用戶ID、商品ID、種類ID 等,傳統(tǒng)的獨熱編碼方式會導致數(shù)據(jù)過于稀疏,且無法表示對象之間的潛在關系,在電子商務平臺中,ID 類數(shù)據(jù)非常稀疏,動輒達到幾億維度,需要使用低維度的向量高效表達ID 數(shù)據(jù).該文基于Item2Vec[20]提出基于嵌入的框架,通過采集用戶行為的ID 序列,結合ID 之間的結構化的聯(lián)系,能夠為不同類型的ID 學習一個低維向量用以表示.在此基礎上,阿里巴巴團隊[21]提出基于圖的嵌入方法用于推薦系統(tǒng),為了解決阿里電商數(shù)億規(guī)模的數(shù)據(jù)稀疏、數(shù)據(jù)量大以及存在的商品冷啟動問題.該方法首先基于會話構造一個商品有向圖,基于圖構造與商品有交互的行為序列,結合特征生成項目的圖嵌入向量,對每個向量進行特征加權.該算法主要用于召回階段,基于與用戶有過交互的商品,召回相關候選項目.

Wu 等人[22]提出SR-GNN 模型,考慮到物品轉(zhuǎn)換成向量的復雜過程,提出一種新的嵌入方式,使用圖數(shù)據(jù)結構對用戶會話進行建模,利用圖神經(jīng)網(wǎng)絡學習圖中節(jié)點的嵌入向量.最后,通過注意力機制把每個會話表征為當前會話的興趣和全局興趣的構成,基于每個會話,預測下一個項目交互概率.該模型克服難以用隱向量表示項目的問題,使用圖結構模型生成精準項目嵌入向量,為基于會話的推薦場景提供新的方法.

4.2 基于多層感知機的推薦模型

多層感知機模型在推薦系統(tǒng)中應用廣泛,通常原始數(shù)據(jù)經(jīng)過嵌入層形成向量后,會輸入到多層感知機中,學習數(shù)據(jù)非線性表示,在進行低階特征交叉后,結合多層感知機進一步提取高階特征交叉[23],可應用在預測用對項目評分、精準排序任務和用戶點擊率預測.

2016年,YouTube 團隊[24]將DNN 應用在視頻推薦服務中,用神經(jīng)網(wǎng)絡對候選視頻進行預測評分,根據(jù)分數(shù)排序生成推薦列表.YouTube 平臺的用戶數(shù)量和視頻規(guī)模龐大,傳統(tǒng)小規(guī)模數(shù)據(jù)集的算法并不適用,同時平臺的視頻更新速度快,需要平衡已有視頻和新發(fā)布的視頻所帶來的冷啟動問題,追蹤用戶的實時行為.推薦平臺架構如圖4所示.

圖4 YouTube 平臺架構

整個系統(tǒng)分為匹配階段和排序階段,匹配階段利用高效召回策略從百萬級規(guī)模的視頻庫中召回用戶可能感興趣的候選項,該階段要求搜索效率高,并且檢索出的視頻與用戶的歷史行為和偏好相關.排序階段主要是對召回的視頻進行精粒度的打分排序,將神經(jīng)網(wǎng)絡融合用戶特征、視頻屬性和場景信息輸入到模型中,對候選視頻進行評分預測,依據(jù)分數(shù)進行排序,選取高評分視頻作為推薦列表.

Cheng 等人[25]提出深廣(Wide &Deep)模型,模型由Wide 部分和Deep 部分構成,模型結構如圖5所示,其中Wide 部分使用線性模型,提取數(shù)據(jù)的一階特征,Deep 部分使用神經(jīng)網(wǎng)絡自動學習高階特征提高泛化能力,最終將兩個部分的結果整合通過Sigmoid 激活函數(shù)后輸出預測結果.模型中的Wide 部分對應于模型的記憶能力,從用戶的數(shù)據(jù)中發(fā)現(xiàn)特征之間的相關性,偏向于推薦和用戶歷史行為相關的內(nèi)容.Deep 部分對應于模型的泛化能力,稀疏特征經(jīng)嵌入層形成低維稠密向量輸入到隱藏層中,利用神經(jīng)網(wǎng)絡的學習能力捕獲新的潛在高階特征組合,泛化能力有利于推薦結果個性化,讓推薦結果具有多樣性.

圖5 Wide &Deep 模型結構

多層感知機模型廣泛應用于點擊率預估任務,能夠充分利用用戶畫像特征、項目屬性特征和上下文信息,進行特征提取,且能緩解數(shù)據(jù)稀疏、高階特征組合等問題.多層感知機與因子分解機進行結合,可以彌補FM 和FFM 模型中特征組合無法擴展到三階及以上的劣勢.通常在稀疏特征經(jīng)過嵌入層轉(zhuǎn)化為低維向量后,進行低階交叉特征組合并且利用DNN 提取高階特征組合,經(jīng)過Sigmoid 函數(shù)輸出點擊概率,例如DeepFM[26]、FAT-DeepFFM[27]、NFM[28]等模型.協(xié)同過濾與神經(jīng)網(wǎng)絡相結合,緩解稀疏特征導致的訓練困難問題,He 等人[29]提出神經(jīng)協(xié)同過濾模型,將矩陣分解的處理方式和深度學習融合,模型結構如圖6.神經(jīng)協(xié)同過濾模型主要對隱式反饋數(shù)據(jù)進行建模,用嵌入向量表征用戶和物品,輸入到多層神經(jīng)網(wǎng)絡中,輸出層預測用戶評分,采用平方損失函數(shù)訓練模型.利用神經(jīng)網(wǎng)絡學習隱向量表示用戶和項目之間潛在關系,將用戶和項目映射到隱向量空間,向量之間的距離反映出用戶和項目的潛在關系,可用于召回階段,計算相關性召回與目標用戶相關項目候選集合.

圖6 NCF 模型結構

Wang 等人[30]針對點擊率預估任務,討論歸一化操作對于點擊率預估效果的影響,如層歸一化、批次歸一化、僅有方差的歸一化.通過對比實驗,將對向量化之后的特征進行歸一化,連續(xù)數(shù)值型特征使用層歸一化,稀疏分類性特征做批次歸一化,在多層感知機中使用偏差的歸一化能夠提升點擊率預測準確性.

Huang 等人[31]借鑒計算機視覺和自然語言處理中的門機制,提升非凸神經(jīng)網(wǎng)絡的可訓練性,在嵌入層增加門機制,用于從特征選擇更重要的特征,在隱藏層加入門機制,用于篩選更加重要的特征交互傳遞到更深層的網(wǎng)絡.門機制的思想類似于注意力機制,增強有效特征,抑制數(shù)據(jù)噪聲.

4.3 基于卷積神經(jīng)網(wǎng)絡的推薦系統(tǒng)

卷積神經(jīng)網(wǎng)絡的卷積和池化計算主要學習數(shù)據(jù)局部特征[32],可以提取非結構化多媒體數(shù)據(jù),對多源異構數(shù)據(jù)進行表征學習.網(wǎng)絡可以融合多樣化信息,如物品圖像、評論文本等,挖掘用戶視覺興趣或從文本信息中提取用戶偏好.卷積神經(jīng)網(wǎng)絡提高了模型的可擴展性,融合更多信息能夠讓模型從更多方面捕捉用戶興趣.在推薦系統(tǒng)中,卷積神經(jīng)網(wǎng)絡適用于多模態(tài)推薦、圖片推薦和文本推薦任務.

通常用戶的行為容易受到圖像的影響,光鮮的商品圖片往往能夠吸引到用戶的注意力.Zhou 等人[33]嘗試用卷積神經(jīng)網(wǎng)絡捕捉分析用戶喜歡的圖像來提取用戶視覺興趣畫像,該系統(tǒng)通過計算視覺興趣向量的余弦相似性,找到符合用戶視覺興趣的住房.該模型應用于酒店預訂系統(tǒng),用圖像特征預測用戶喜歡的住房風格,實現(xiàn)個性化推薦.Tang 等人[34]提出卷積序列嵌入推薦模型,將用戶過去交互的商品看成序列,預測用戶未來可能交互的項目,其思想是將在時間和空間上最近的序列形成一個“圖像”,使用卷積濾波器學習序列模式作為圖像的局部特征.該模型使用卷積神經(jīng)網(wǎng)絡學習序列特征,用隱因子模型學習用戶特征.

有相關研究利用卷積神經(jīng)網(wǎng)絡抽取文本特征,使模型融入文本信息,向用戶推薦相關感興趣的文字內(nèi)容.Shen 等人[35]將CNN 用于在線學習資源推薦中,模型使用卷積神經(jīng)從學習資源的介紹、內(nèi)容等文本信息中提取項目特征,對于輸入采用語言模型,對于輸出采用L1 范數(shù)正則化的潛在因子模型,在此基礎上引入分裂Bregman 迭代法求解該模型,給學生推薦正確的學習資源.Gong 等人[36]采用帶注意力的CNN 處理標簽推薦問題,整個模型由兩部分組成前一部分用于獲取文本特征,后一部分對各個文本的表示進行Softmax多標簽分類.將CNN 模型卷積層應用在預訓練詞向量上,加入注意力機制,利用注意力層來產(chǎn)生一個單詞相對于它周圍的單詞的權重.

Zheng 等人[37]構建DeepCoNN 模型使用文本評論對用戶行為和商品屬性進行聯(lián)合建模.兩個神經(jīng)網(wǎng)絡頂部的額外共享層連接了兩個并行網(wǎng)絡,因此用戶和項目表示可以相互交互以預測點擊率.整個模型有3 層組成Lookup 層,CNN 層,輸出層,Lookup 層將用戶評論和商品評論轉(zhuǎn)化為對應詞向量,輸入到CNN 中,最后的輸出預測結果,訓練模型縮小誤差.

Liu 等人[38]提出FGCNN 模型,使用卷積神經(jīng)網(wǎng)絡提取局部模式并且組合生成新的特征,為防止全局信息的丟失,引入多層感知機提取全局特征交互,最終在Criteo 數(shù)據(jù)集中AUC 達到80.22%的效果.模型通過CNN 與MLP 相結合的方式學習有用的局部特征和全局特征,既減少手工特征量,又緩解因特征稀疏導致的神經(jīng)網(wǎng)絡訓練困難問題.

2020年,京東團隊提出CSCNN 模型[39],有效利用電商平臺中豐富的商品類目信息,使用卷積神經(jīng)網(wǎng)絡提取圖像信息,創(chuàng)新性地將商品信息和商品主圖作為圖像特征提取模塊的輸入,提取商品主圖中豐富的視覺特征,有效挖掘商品視覺屬性,學習商品圖像對于用戶行為的影響,提高點擊概率預測的準確性.

4.4 基于循環(huán)神經(jīng)網(wǎng)絡的推薦系統(tǒng)

多層感知機和卷積神經(jīng)網(wǎng)絡是前饋結構的網(wǎng)絡,層與層之間全連接,但每層神經(jīng)元節(jié)點之間無任何連接,不利于建模文本或者音頻等時序數(shù)據(jù),因此提出循環(huán)神經(jīng)網(wǎng)絡RNN,處理時序數(shù)據(jù).RNN 的最大特點在于神經(jīng)網(wǎng)絡具有記憶性并且能夠參數(shù)共享,它能夠獲取某一時刻的輸入數(shù)據(jù)和前一時刻的隱層狀態(tài)來預測當前時刻的輸出.近年來,循環(huán)神經(jīng)網(wǎng)絡已經(jīng)在機器翻譯、自然語言處理領域中取得很多研究進展.在推薦系統(tǒng)中,主要使用循環(huán)神經(jīng)網(wǎng)絡具有記憶性的特點對用戶的歷史會話序列建模,學習用戶偏好演變過程以及用戶上下文相關興趣,應用于會話推薦任務.

在基于會話的推薦中,用戶的行為和興趣隨著時間推移不斷改變,用戶當前行為與歷史瀏覽和搜索行為具有較強聯(lián)系.Hidasi 等人[40]在短會話推薦任務中使用循環(huán)神經(jīng)網(wǎng)絡,把用戶與物品交互行為組成行為序列,輸入模型中訓練,預測下一項目交互概率.該模型采用GRU 模型作為基本單元,引入會話并行小批量數(shù)據(jù),該模型采用GRU 模型作為基礎結構單元,對小批量的輸出采樣,使用排序損失函數(shù)訓練模型,擬合目標任務,捕獲用戶興趣隨著時間推移的演變過程.Hidasi 等人[41]在此基礎上,進一步優(yōu)化采樣方法和損失函數(shù),為解決訓練過程中存在的梯度消失問題,提出新的損失函數(shù)Top-Max 和BPR-Max,進一步提升模型訓練效果.

Devooght 等人[42]將協(xié)同過濾視為時間序列的預測問題,應用LSTM 捕捉用戶的喜好演變過程.每個項目用獨熱編碼表示,采樣用戶的歷史行為作為時間序列,將項目的向量輸入到RNN 模型中,輸出為每個項目對應神經(jīng)元的Softmax 值,推薦輸出層概率最大的若干個項目.Donkers 等人[43]首次提出將用戶編碼信息融入GRU 的網(wǎng)絡結構中,通過深度集成用戶信息,能夠更有效的對用戶行為序列建模.通過改造GRU 的門控結構,整合用戶信息以及行為序列到模型中,完成個性化序列預測任務,有效學習用戶行為事件之間的隱藏關系,預測用戶興趣進行下一項推薦.

考慮到過去的研究大多利用用戶短期行為,而沒有考慮顧客長期穩(wěn)定的偏好和演化過程.Li 等人[44]提出BINN 模型,通過結合用戶的偏好和當前消費動機來進行下一項推薦.模型挖掘大量用戶行為日志如瀏覽、點擊、收藏等歷史記錄,形成隨時間推移的行為序列,這些豐富信息有利于學習用戶潛在興趣.使用新的神經(jīng)物品嵌入方法,獲取統(tǒng)一的物品表示空間,學習物品的潛在向量,捕獲物品之間的序列相關性.開發(fā)出基于長短期記憶神經(jīng)網(wǎng)絡學習個人偏好和當前消費動機,進行序列化推薦.

Feng 等人[45]提出DSIN 模型,應用循環(huán)神經(jīng)網(wǎng)絡從用戶行為序列中捕獲動態(tài)不斷變化的用戶興趣,DSIN 模型能夠有效對用戶對個會話進行建模,用于點擊率估計預測.用戶的連續(xù)行為由多個歷史會話組成,用戶在每個會話和異構交叉會話中的行為是高度同構的,加入自注意力機制提取用戶在每個會話中的興趣,應用雙向LSTM 來捕獲上下文會話興趣的順序關系,最后使用本地激活單元來聚合用戶對目標項的不同會話興趣表示,完成基于會話的推薦.

4.5 基于注意力機制的推薦系統(tǒng)

用戶的興趣具有多樣性,并且會隨時間不斷變遷,用戶點擊行為具有局部活躍性,某一時刻點擊行為僅僅和過去的部分歷史數(shù)據(jù)有關,而不是所有歷史記錄.Zhou 等人[46]提出DIN 模型,模型中引入注意力機制,對用戶行為序列數(shù)據(jù)建模,將用戶行為基于注意力機制進行加權求和,使模型更加關注有益信息,預測下一次點擊動作.并且提出小批量正則方法和自適應激活函數(shù)輔助模型訓練.2018年,在DIN 模型基礎上,又設計出DIEN 模型[47],該模型使用GRU 結構構建模型用戶行為序列.DIEN 設計了興趣提取層,捕獲用戶隨時間改變的興趣演變過程.同時設計了興趣演化層來捕獲與目標項相關的興趣演化過程.GRU 每一步的局部激活都能增強相對興趣的影響,減弱用戶興趣遷移的干擾,有助于充分學習相對于目標項目的興趣演化過程.

阿里巴巴團隊提出ATRank 模型[48],該模型基于注意力機制對用戶異構行為序列建模,融合用戶不同的行為記錄,更好地理解用戶興趣,提供更優(yōu)質(zhì)的個性化服務.整個模型包括原始特征、語義映射層、自注意力層和目標網(wǎng)絡.語義映射層能讓不同的行為可以在不同的語義空間下進行比較和相互作用.自注意力層讓單個的行為本身變成考慮到其他行為影響的記錄.目標網(wǎng)絡則通過Vanilla Attention 可以準確的找到相關的用戶行為進行預測任務.使用類似 Google 的自注意力機制去除 CNN、LSTM的限制,加快網(wǎng)絡訓練速度,提升預測效果.

Xiao 等人[49]提出AFM 模型,該模型將注意力機制與FM 算法融合.考慮到FM 算法雖然高效,但它對所有特征交互的建模具有相同權重,可能會影響預測的準確性,并不是所有特征交互都對預測結果有益且具有預測性.無用特征之間的交互可能引入噪聲,從而降低模型性能.所以在FM 算法中加入注意力機制,為每個交叉特征計算一個權重表示對預測結果的影響大小.

Song 等人[50]提出AutoInt 模型利用多頭自注意力機制來完成自動特征提取.高階特征組合有利于提升點擊率估計準確度,但依靠經(jīng)驗進行人工特征組合工作量非常大.該模型通過自注意力機制構建特征交互層,交互層的層數(shù)可作為超參數(shù)調(diào)整,交互層疊加可以學習二階、三階及以上高階組合.在第一層的交互中,通過注意力映射可以學習不同特征的相關性,以加權求和的方式進行組合.同時使用殘差連接防止交互層加深導致神經(jīng)網(wǎng)絡退化問題,防止梯度彌散問題.

依據(jù)用歷史行為記錄,建模用戶偏好動態(tài)漸變過程,是對推薦系統(tǒng)的巨大挑戰(zhàn).現(xiàn)有算法使用序列神經(jīng)網(wǎng)絡,遵從從左到右的順序,利用單向信息建模,這種嚴格的順序降低了歷史序列的表示能力,影響準確性.2019年,Sun 等人[51]提出Bert4Rec 模型,首次將BERT模型用于推薦系統(tǒng),由于深度雙向信息會造成信息的泄露,為了解決這個問題,使用Cloze Task 訓練模型,利用上下文信息預測Masked Item,在預測過程中,將Mask 加入到輸入序列的最后,然后利用Mask 的嵌入向量進行推薦.

多數(shù)點擊概率估計模型只考慮某一廣告的信息而忽略其他相關廣告對預測結果,Ouyang 等人[52]提出DSTN 模型,將不同類型的廣告作為輔助信息融入到模型之中,如用戶歷史點擊或者曝光未點擊的廣告和當前上下文已經(jīng)出現(xiàn)過的廣告等,加入注意力提取對目標廣告有用的輔助信息,減少噪聲數(shù)據(jù)影響,利用上下文信息提高模型準確度.

大多數(shù)深度學習推薦模型將原始稀疏特征嵌入到低維向量,輸入到神經(jīng)網(wǎng)絡中獲得最終的推薦預測概率,這些工作只是連接不同的特征,忽略用戶行為的連續(xù)性.DIN 模型[41]提出使用注意力機制來捕獲候選項與用戶先前點擊商品之間的相似性,但未考慮用戶行為序列背后的序列性質(zhì).阿里巴巴團隊[53]提出BST 模型,將Transformer 技術應用于推薦系統(tǒng)中學習用戶歷史行為序列信息.該模型相比于之前所提出的DIN 模型準確率有較大提升.數(shù)據(jù)經(jīng)過嵌入層后,輸入到Transformer 層,該層用來捕獲用戶歷史行為序列,再與其他特征拼接輸入到神經(jīng)網(wǎng)絡中進行訓練.

4.6 樹模型與推薦系統(tǒng)的結合

由于神經(jīng)網(wǎng)絡的訓練過程不可預知,推薦結果缺乏解釋性,目前很多的深度推薦模型如Wide &Deep[25]、DeepFM[26]等模型都是隱式地學習交叉特征,可能引入數(shù)據(jù)噪聲.有相關研究將樹模型用于有效的交叉特征,將特征放入基于嵌入技術的注意力模型中,不僅保障預測準確性,也提高模型可解釋性.

Wang 等人[54]提出TEM 模型,使用樹模型增強向量嵌入方法,將嵌入技術和樹模型的可解釋的優(yōu)點相結合.該方法受到GBDT+LR 組合模型的啟發(fā),根據(jù)用戶和物品的歷史信息,建立一個決策樹來自動提取有效交叉特征,將交叉特征輸入到一個基于嵌入技術的神經(jīng)注意力網(wǎng)絡,學習交叉特征的權重,權重代表特征重要程度.由于決策樹提取的交叉特征明確,而且注意力網(wǎng)絡學習各個特征的權重,增強模型可解釋性.

阿里巴巴團隊[55]提出一種基于樹結構的TDM 模型,解決很多模型不能調(diào)節(jié)用戶和商品向量之間的內(nèi)在乘積形式以利用高效搜索算法,因此不能用于大規(guī)模推薦系統(tǒng)中召回候選集.其主要思想是通過海量商品信息構建興趣樹,自頂向下遍歷興趣樹的節(jié)點并為每個用戶生成推薦項,從粗到細地預測用戶的興趣.該方法可以從大量商品中快速檢索出用戶感興趣的若干商品,常用于推薦系統(tǒng)中的召回階段.

總而言之,深度學習技術推動了推薦系統(tǒng)的發(fā)展,擴展了推薦系統(tǒng)特征提取能力,增強模型表達能力,融合更多類型特征,學習用戶多方面興趣,提供更多個性化推薦方法,表2 總結各項深度學習技術與推薦系統(tǒng)融合的特點描述以及優(yōu)缺點分析.

表2 深度學習技術在推薦系統(tǒng)中應用對比

5 基于深度學習的推薦系統(tǒng)未來發(fā)展方向

深度學習模型具備強大的表達能力,已經(jīng)證明深度神經(jīng)網(wǎng)絡能夠擬合復雜的非線性函數(shù),深度學習技術與推薦系統(tǒng)的融合.傳統(tǒng)的機器學習模型(如邏輯回歸模型),需要人工進行特征選擇和特征交叉,耗費大量人力,利用神經(jīng)網(wǎng)絡對于高階特征的自動提取和篩選,捕獲更有益的組合特征[56],訓練端到端模型,減少人工特征工程的工作量,節(jié)省投入成本.深度學習模型可拓展性強,可以在模型中融合多種異構數(shù)據(jù),讓模型獲得更多的信息,提高預測結果的精確性.以下總結了幾個推薦系統(tǒng)未來的發(fā)展方向.

5.1 深度學習與傳統(tǒng)推薦算法的結合

傳統(tǒng)的推薦模型結構簡單,應用廣泛,但表示能力有限,無法挖掘深層次的用戶和項目隱向量表示和高階特征.傳統(tǒng)推薦算法融合深度學習技術,彌補傳統(tǒng)算法的不足,利用深度推薦模型融合多種類型異構數(shù)據(jù),讓模型吸收更多信息提高準確率,更好捕獲用戶和項目的特征.因此,深度學習與傳統(tǒng)推薦算法的融合,可以充分利用二者的特點.雖然目前已有相關的研究成果,如DeepFM[21]、NCF[24]、AFM[44]等模型,但這個方向依然具有很大的發(fā)展空間,未來可以探索傳統(tǒng)推薦算法與更多的深度學習模型的結合,提出新的深度推薦模型.

5.2 深度學習推薦系統(tǒng)的可解釋性

基于深度學習的推薦模型可以利用多源異構數(shù)據(jù)預測用戶的喜好,但模型的訓練過程就像一個“黑盒”,模型的大規(guī)模權重參數(shù)根據(jù)目標任務自動調(diào)整,很難對模型輸出的結果給予合理解釋,因此深層的神經(jīng)網(wǎng)絡高度不可解釋.如何做出可解釋的推薦還是一項艱難挑戰(zhàn).然而向用戶提供有價值的推薦解釋是非常重要的方面,讓用戶明白推薦的理由,能夠加強用戶對產(chǎn)品的理解和信任,提升用戶體驗感.注意力模型在推薦系統(tǒng)上的應用從一定程度上緩解了推薦模型的不可解釋性[57],因此構建解釋性更強的推薦模型,讓用戶理解推薦理由,也是未來的研究熱點之一.

5.3 融合更多類型數(shù)據(jù)的新網(wǎng)絡結構

隨著互聯(lián)網(wǎng)上的信息量不斷增加,數(shù)據(jù)類型也更加多樣化,可擴展性對于模型在實際應用中的可用性十分重要.深度推薦模型的可擴展性,可以幫助在模型中整合多種輔助信息,更多異構數(shù)據(jù)輸入模型可以讓模型從更多方面學習用戶的偏好,給出準確的預測.未來新的深度推薦模型可以融合多模態(tài)數(shù)據(jù),除了使用用戶與項目之間的交互數(shù)據(jù),還可以利用用戶的時空序列數(shù)據(jù)、圖像信息、項目數(shù)據(jù)的動態(tài)變化等,對多樣化數(shù)據(jù)建模能夠發(fā)掘用戶新興趣點.因此,研究新的深度推薦模型結構去融合多種數(shù)據(jù)源也是重要的研究領域.

5.4 跨領域信息融合

許多互聯(lián)網(wǎng)平臺提供各種信息資源和網(wǎng)絡服務,搜索引擎提供信息搜索服務、電子商務平臺提供購物服務、新聞平臺推送實時熱點新聞.然而單領域推薦系統(tǒng)只注重某一特定領域,而忽略了用戶在其他領域的興趣,加劇了數(shù)據(jù)稀疏性和冷啟動問題[3].融合多個平臺的用戶信息可以進行跨領域推薦,克服單一領域的數(shù)據(jù)稀疏,利用多個領域的信息可以挖掘用戶個性化偏好.通過深度學習技術,可以將各類數(shù)據(jù)以向量表示作為模型輸入數(shù)據(jù),利用源領域?qū)W習到的數(shù)據(jù)協(xié)助目標領域作推薦[2].目前,跨領域信息融合推薦方向的研究較少,還有很大的探索空間和潛力.

5.5 新的訓練優(yōu)化方法與網(wǎng)絡架構

推薦系統(tǒng)領域的研究,深度學習技術在實際應用中通常會遇到兩個挑戰(zhàn),一是模型訓練所耗費的資源多;二是神經(jīng)網(wǎng)絡訓練問題.深度學習模型依賴大量數(shù)據(jù)進行訓練,需要足夠的硬件資源來計算,而且訓練時間耗費的時間長,同時參數(shù)調(diào)整難度大,可能會出現(xiàn)收斂慢、易波動問題.隨著層數(shù)的增多,可能出現(xiàn)過擬合問題.在評估數(shù)據(jù)稀疏的情況下將導致推薦推薦模型訓練不充分問題.在之后的研究中可以嘗試新的深度學習訓練方法和優(yōu)化策略,在不損失預測準確度的情況下減少訓練參數(shù),讓模型變得更輕便[58],使用負采樣和剪枝算法對神經(jīng)網(wǎng)絡訓練進行優(yōu)化加速[59],使用正則化方法[60]防止過擬合,增強深度神經(jīng)網(wǎng)絡訓練效果.

6 結語

在信息技術迅速發(fā)展的時代,互聯(lián)網(wǎng)中的數(shù)據(jù)量也呈爆炸式增長的趨勢,隨之而來的“信息過載”問題無法避免,推薦系統(tǒng)在緩解信息過載問題中發(fā)揮重要作用.深度學習技術與推薦系統(tǒng)相融合,構建貼合用戶興趣的模型,產(chǎn)生個性化推薦列表.相較于傳統(tǒng)推薦算法,深度學習增強了模型的可擴展能力和表征能力,讓模型能夠融入更多樣的特征,捕獲用戶的興趣,提高模型預測準確度.本文分析了傳統(tǒng)推薦算法的優(yōu)缺點,在此基礎上進一步分析深度學習推薦模型的研究進展,討論和分析了推薦算法的研究現(xiàn)狀和未來發(fā)展.希望本文能夠為推薦算法領域的研究人員理清脈絡,提供有益的幫助.