耿 杰 劉春麗,2 魏雪梅 程明月 袁 昆,2 李 洋 劉業(yè)政,2

1 （合肥工業(yè)大學(xué)管理學(xué)院 合肥 230009）

2 （大數(shù)據(jù)流通與交易技術(shù)國(guó)家工程實(shí)驗(yàn)室（上海數(shù)據(jù)交易中心） 上海 201210）

3 （中國(guó)科學(xué)技術(shù)大學(xué)大數(shù)據(jù)學(xué)院 合肥 230026）

4 （蒙特克萊爾州立大學(xué)商學(xué)院 美國(guó)新澤西蒙特克萊爾 07043）（gengjie@mail.hfut.edu.cn）

電子商務(wù)的發(fā)展為消費(fèi)者提供了更多選擇，但也造成了信息過(guò)載，消費(fèi)者需要花費(fèi)大量時(shí)間篩選符合需求的產(chǎn)品.個(gè)性化推薦方法通過(guò)向消費(fèi)者提供產(chǎn)品推薦，不僅能降低消費(fèi)者搜索成本、提高消費(fèi)者滿(mǎn)意度，還能有效提升企業(yè)經(jīng)營(yíng)效率、增加企業(yè)盈利[1].然而現(xiàn)有大多數(shù)個(gè)性化推薦方法主要研究如何向用戶(hù)推薦未購(gòu)買(mǎi)過(guò)的新產(chǎn)品，卻很少考慮用戶(hù)重購(gòu)行為的影響.理論研究表明，消費(fèi)者對(duì)于面臨維持重復(fù)購(gòu)買(mǎi)還是轉(zhuǎn)換購(gòu)買(mǎi)新產(chǎn)品的決策，往往表現(xiàn)出維持重復(fù)購(gòu)買(mǎi)的行動(dòng)偏好，即維持現(xiàn)狀效應(yīng)[2].因此，考慮用戶(hù)重購(gòu)行為對(duì)于準(zhǔn)確刻畫(huà)用戶(hù)偏好、提升產(chǎn)品推薦準(zhǔn)確度至關(guān)重要.

重復(fù)消費(fèi)現(xiàn)象在消費(fèi)頻次高的快速消費(fèi)品零售場(chǎng)景下尤為常見(jiàn).與傳統(tǒng)的個(gè)性化推薦相比，重復(fù)消費(fèi)推薦面臨三大挑戰(zhàn)：1）如何準(zhǔn)確、可信地刻畫(huà)用戶(hù)的重購(gòu)偏好.雖然已有文獻(xiàn)對(duì)重購(gòu)產(chǎn)品推薦進(jìn)行了探究[3-4]，但是對(duì)用戶(hù)重購(gòu)偏好的刻畫(huà)層次較為單一，模型設(shè)計(jì)普遍缺乏可解釋性.2）如何可信地描述用戶(hù)重購(gòu)偏好的動(dòng)態(tài)變化規(guī)律.現(xiàn)有文獻(xiàn)主要從數(shù)據(jù)集中識(shí)別用戶(hù)動(dòng)態(tài)偏好規(guī)律，其結(jié)果受數(shù)據(jù)集的限制，泛化性較差，缺乏行為理論層面的可解釋性.3）如何把握重復(fù)購(gòu)買(mǎi)和轉(zhuǎn)換購(gòu)買(mǎi)的時(shí)機(jī).用戶(hù)消費(fèi)決策時(shí)，也會(huì)對(duì)重復(fù)購(gòu)買(mǎi)的產(chǎn)品感到厭倦從而轉(zhuǎn)向購(gòu)買(mǎi)新產(chǎn)品[5]，因此亟需解決融合重購(gòu)產(chǎn)品和新產(chǎn)品的混合推薦難題.

針對(duì)這3個(gè)挑戰(zhàn)，本文面向快速消費(fèi)品零售場(chǎng)景，融合多層次用戶(hù)偏好信息，構(gòu)建具有雙層注意力機(jī)制的用戶(hù)重購(gòu)行為模型，并基于消費(fèi)者信息處理理論，刻畫(huà)了理論驅(qū)動(dòng)的消費(fèi)者重購(gòu)動(dòng)態(tài)偏好，最后融合產(chǎn)品流行度信息進(jìn)行重購(gòu)產(chǎn)品和新產(chǎn)品的混合推薦.本模型不僅提升了產(chǎn)品推薦結(jié)果的準(zhǔn)確性，更從結(jié)構(gòu)和理論2個(gè)方面提升了模型可解釋性.

在模型構(gòu)建方面，本文融合注意力機(jī)制和指針生成網(wǎng)絡(luò)，提出了多層信息融合的用戶(hù)重購(gòu)行為預(yù)測(cè)方法，從“產(chǎn)品—購(gòu)物籃—時(shí)間序列”層次準(zhǔn)確地刻畫(huà)用戶(hù)重購(gòu)偏好.具體來(lái)說(shuō)，本文首先在產(chǎn)品層面，采用注意力機(jī)制學(xué)習(xí)用戶(hù)對(duì)購(gòu)物籃中不同產(chǎn)品的重購(gòu)偏好.接著在購(gòu)物籃層面，本文融合Transformer編碼器和雙層LSTM模型對(duì)購(gòu)物籃進(jìn)行編碼，以全面提取用戶(hù)購(gòu)物籃偏好的多空間特征.最后在時(shí)間序列層面，本文進(jìn)一步融合指針生成網(wǎng)絡(luò)[6]，利用指針生成網(wǎng)絡(luò)包含的注意力機(jī)制學(xué)習(xí)時(shí)間序列中不同位置購(gòu)物籃的權(quán)重分配，同時(shí)進(jìn)行下一次產(chǎn)品購(gòu)買(mǎi)的概率預(yù)測(cè).本文的分層注意力模型不僅通過(guò)融合多層次信息，準(zhǔn)確刻畫(huà)了用戶(hù)重購(gòu)偏好，更能通過(guò)學(xué)習(xí)用戶(hù)對(duì)不同產(chǎn)品、不同購(gòu)物籃的注意力分配，為我們理解下一時(shí)刻用戶(hù)的購(gòu)買(mǎi)決策提供了可解釋性.

針對(duì)用戶(hù)重購(gòu)偏好動(dòng)態(tài)變化問(wèn)題，本文采用理論驅(qū)動(dòng)的方式，基于消費(fèi)者信息處理理論來(lái)刻畫(huà)用戶(hù)重購(gòu)偏好的動(dòng)態(tài)變化規(guī)律.信息處理理論認(rèn)為，用戶(hù)重購(gòu)偏好分為重購(gòu)期、拓展期和均衡期3個(gè)階段[7].在重購(gòu)期，消費(fèi)者對(duì)該類(lèi)產(chǎn)品不熟悉，需要處理大量候選產(chǎn)品信息來(lái)決策，易產(chǎn)生信息過(guò)載、消費(fèi)不確定性較高等問(wèn)題[7].特別在零售場(chǎng)景，用戶(hù)不能直接觸碰感知產(chǎn)品特征，此時(shí)用戶(hù)傾向于重復(fù)購(gòu)買(mǎi)相同產(chǎn)品，以降低信息處理成本和消費(fèi)不確定性[8].在拓展期，用戶(hù)在重購(gòu)過(guò)程中，不斷接受外界新的信息，對(duì)產(chǎn)品認(rèn)知和偏好發(fā)生變化.此時(shí)，用戶(hù)對(duì)重購(gòu)產(chǎn)品的偏好下降，轉(zhuǎn)而對(duì)新產(chǎn)品產(chǎn)生興趣，發(fā)生購(gòu)買(mǎi)轉(zhuǎn)換行為[2].在均衡期，由于前期探索，用戶(hù)對(duì)同類(lèi)產(chǎn)品非常熟悉，從而產(chǎn)生過(guò)度自信而停止新產(chǎn)品探索[9].該現(xiàn)象在影響不大、用戶(hù)不愿投入過(guò)多精力的快速消費(fèi)品消費(fèi)中尤為明顯[10].此時(shí)，用戶(hù)傾向于在已購(gòu)買(mǎi)過(guò)的產(chǎn)品中重復(fù)選擇購(gòu)買(mǎi)，對(duì)產(chǎn)品的重購(gòu)偏好再次復(fù)蘇[11].考慮到上述3階段的偏好演變過(guò)程，本文采用S型函數(shù)以準(zhǔn)確刻畫(huà)這一動(dòng)態(tài)變化趨勢(shì).

最后本文同時(shí)考慮重購(gòu)產(chǎn)品和新產(chǎn)品的混合推薦，并進(jìn)一步融合產(chǎn)品流行度信息學(xué)習(xí)用戶(hù)對(duì)產(chǎn)品的動(dòng)態(tài)偏好.用戶(hù)的購(gòu)買(mǎi)行為是重復(fù)消費(fèi)與新穎消費(fèi)的動(dòng)態(tài)混合行為.一方面，受不確定性規(guī)避和路徑依賴(lài)的影響[12]，用戶(hù)傾向于重復(fù)購(gòu)買(mǎi)相同的產(chǎn)品.另一方面，用戶(hù)也會(huì)接受外界環(huán)境的新信息，從而對(duì)新產(chǎn)品感興趣.因此，必須同時(shí)考慮用戶(hù)對(duì)重購(gòu)產(chǎn)品和新產(chǎn)品的偏好，進(jìn)行重購(gòu)產(chǎn)品和新產(chǎn)品的混合推薦，才能滿(mǎn)足用戶(hù)需求、提高用戶(hù)滿(mǎn)意度.本文認(rèn)為，產(chǎn)品流行度是影響用戶(hù)新產(chǎn)品購(gòu)買(mǎi)行為的關(guān)鍵因素[13].流行的產(chǎn)品更能引起消費(fèi)者的興趣和關(guān)注，這種外界刺激更能促使消費(fèi)者做出購(gòu)買(mǎi)新產(chǎn)品的決策.因此為刻畫(huà)這一現(xiàn)象，我們?cè)谀Ｐ椭羞M(jìn)一步引入產(chǎn)品流行度特征，并利用冪律分布來(lái)刻畫(huà)產(chǎn)品流行度對(duì)于用戶(hù)新穎消費(fèi)的影響，從而提升產(chǎn)品混合推薦的準(zhǔn)確性.

本文的貢獻(xiàn)包括4個(gè)方面：

1）融合注意力機(jī)制和指針網(wǎng)絡(luò)，提出了多層信息融合的用戶(hù)重購(gòu)行為預(yù)測(cè)方法，從“產(chǎn)品—購(gòu)物籃—時(shí)間序列”層次準(zhǔn)確地刻畫(huà)用戶(hù)重購(gòu)偏好，并通過(guò)學(xué)習(xí)用戶(hù)在不同層次上的偏好差異，提升了用戶(hù)購(gòu)買(mǎi)預(yù)測(cè)的可解釋性；

2）采用理論驅(qū)動(dòng)的方式，基于消費(fèi)者信息處理理論將用戶(hù)重購(gòu)行為分為重購(gòu)期、拓展期和均衡期3個(gè)階段，并利用3個(gè)階段S型曲線(xiàn)刻畫(huà)用戶(hù)重購(gòu)偏好的動(dòng)態(tài)變化規(guī)律，提升了理論可解釋性和研究泛化性；

3）融合產(chǎn)品流行度信息來(lái)學(xué)習(xí)用戶(hù)對(duì)新產(chǎn)品的偏好程度，并利用冪律分布來(lái)刻畫(huà)產(chǎn)品流行度對(duì)于用戶(hù)新穎消費(fèi)的影響，進(jìn)行重購(gòu)產(chǎn)品和新產(chǎn)品的混合推薦，進(jìn)一步提升推薦準(zhǔn)確性；

4）在真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文提出的多層信息融合的用戶(hù)重購(gòu)行為預(yù)測(cè)方法能有效捕捉用戶(hù)購(gòu)買(mǎi)行為特征，為用戶(hù)適時(shí)推薦符合需求的產(chǎn)品，并且學(xué)習(xí)出的參數(shù)具備較好的可解釋性.

1 相關(guān)工作

1.1 用戶(hù)重購(gòu)動(dòng)機(jī)分析

用戶(hù)重購(gòu)行為是用戶(hù)忠誠(chéng)度的直接表現(xiàn)，對(duì)公司的經(jīng)營(yíng)狀況和盈利能力產(chǎn)生重大影響.因此，許多學(xué)者對(duì)重復(fù)購(gòu)買(mǎi)的動(dòng)機(jī)展開(kāi)了相關(guān)研究.例如，從消費(fèi)者的角度，文獻(xiàn)[14]表明消費(fèi)者在決定是否繼續(xù)重復(fù)購(gòu)買(mǎi)時(shí)會(huì)權(quán)衡外在利益，如節(jié)省時(shí)間和金錢(qián)，以及內(nèi)在利益，如享受、時(shí)尚參與、新奇等.文獻(xiàn)[15]基于消費(fèi)者導(dǎo)向理論確定了顧客再購(gòu)意愿的7個(gè)動(dòng)機(jī)，包括服務(wù)質(zhì)量、公平性、價(jià)值、顧客滿(mǎn)意度、過(guò)去忠誠(chéng)度、預(yù)期轉(zhuǎn)換成本和品牌偏好.文獻(xiàn)[16]分析了游戲公司的購(gòu)買(mǎi)數(shù)據(jù)，發(fā)現(xiàn)用戶(hù)的購(gòu)買(mǎi)間隔時(shí)間、購(gòu)買(mǎi)頻率和購(gòu)買(mǎi)周期等與時(shí)間相關(guān)的特征是影響再購(gòu)決策的重要因素.此外，通過(guò)分析消費(fèi)者的重購(gòu)行為模式，文獻(xiàn)[17]認(rèn)為，用戶(hù)重購(gòu)行為取決于互動(dòng)的近期性和產(chǎn)品的質(zhì)量，其中近期性是最關(guān)鍵的因素.

從企業(yè)服務(wù)的角度，文獻(xiàn)[18]指出，在線(xiàn)產(chǎn)品價(jià)格、產(chǎn)品質(zhì)量、客戶(hù)服務(wù)、交貨時(shí)間、付款方式和支付安全等因素決定了客戶(hù)的重復(fù)購(gòu)買(mǎi)意愿.文獻(xiàn)[19]則指出，對(duì)于不同的客戶(hù)群體，產(chǎn)品促銷(xiāo)和自由退貨政策可以增加客戶(hù)在市場(chǎng)增長(zhǎng)的不同階段的回購(gòu)行為.文獻(xiàn)[20]分析了影響用戶(hù)回購(gòu)意圖的因素，包含客戶(hù)支持、消費(fèi)者對(duì)產(chǎn)品的期望、準(zhǔn)時(shí)交貨、訂單跟蹤和產(chǎn)品的可用性等.此外，文獻(xiàn)[21]發(fā)現(xiàn)店鋪價(jià)格印象對(duì)顧客重購(gòu)意愿有積極影響，價(jià)格水平則起到調(diào)節(jié)作用.文獻(xiàn)[22]的工作也進(jìn)一步分析了價(jià)格促銷(xiāo)對(duì)重復(fù)購(gòu)買(mǎi)激勵(lì)的影響.文獻(xiàn)[23]指出，電子服務(wù)質(zhì)量會(huì)對(duì)客戶(hù)滿(mǎn)意度和重購(gòu)意愿產(chǎn)生影響，而價(jià)格雖不影響顧客滿(mǎn)意度，但會(huì)影響重購(gòu)意愿.

1.2 重復(fù)購(gòu)買(mǎi)推薦

序列推薦作為推薦系統(tǒng)的重要任務(wù)，受到廣泛研究和關(guān)注.早期研究提出基于馬爾可夫鏈的序列推薦方法[24-25]，以有效捕獲序列項(xiàng)目間的一階依賴(lài)關(guān)系.后來(lái)卷積神經(jīng)網(wǎng)絡(luò)（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）被應(yīng)用于序列推薦，以進(jìn)一步捕捉序列間的高階依賴(lài)關(guān)系.例如文獻(xiàn)[26]提出了一個(gè)基于CNN的生成模型NextItRec來(lái)模擬用戶(hù)的長(zhǎng)期偏好.文獻(xiàn)[27]提出的一種基于RNN的動(dòng)態(tài)循環(huán)購(gòu)物籃推薦模型DREAM，不僅學(xué)習(xí)用戶(hù)的動(dòng)態(tài)表示，還捕捉了購(gòu)物籃間的全局順序特征.近年來(lái)，注意力機(jī)制和圖神經(jīng)網(wǎng)絡(luò)等方法也被用于序列推薦.例如文獻(xiàn)[28]基于帶注意力機(jī)制的圖神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)，提出了一種結(jié)合用戶(hù)長(zhǎng)短期興趣與事件影響力的序列推薦模型.文獻(xiàn)[29]提出了可以準(zhǔn)確建模會(huì)話(huà)中用戶(hù)意圖的SHARE模型，通過(guò)為每個(gè)會(huì)話(huà)構(gòu)建超圖注意力層，靈活地聚合上下文信息來(lái)推斷用戶(hù)的整體意圖和當(dāng)前興趣.文獻(xiàn)[30]提出了一種基于圖表示學(xué)習(xí)的會(huì)話(huà)感知推薦模型GESP，并在構(gòu)建物品關(guān)系依賴(lài)圖的基礎(chǔ)上利用BiLSTM進(jìn)行特征抽象來(lái)更好地捕獲用戶(hù)興趣變化.

雖然通用的序列推薦方法研究較為豐富，但是絕大多數(shù)方法都忽略了用戶(hù)重購(gòu)行為的影響，考慮用戶(hù)重購(gòu)行為的產(chǎn)品推薦方法相對(duì)較少.已有重購(gòu)?fù)扑]方法主要從時(shí)間層面（時(shí)間變化、短期依賴(lài)、周期性等）、用戶(hù)層面（動(dòng)態(tài)偏好和靜態(tài)偏好、長(zhǎng)期偏好和短期偏好）和產(chǎn)品層面（新產(chǎn)品的探索和重復(fù)產(chǎn)品的保留）開(kāi)展了一定研究.

1）時(shí)間層面.鑒于時(shí)間動(dòng)態(tài)變化在重復(fù)消費(fèi)建模中的重要作用，文獻(xiàn)[4]提出了一種將Hawkes過(guò)程引入?yún)f(xié)同過(guò)濾的新模型，該模型能夠明確處理2個(gè)特定產(chǎn)品的時(shí)間動(dòng)態(tài)性，即短期效應(yīng)和長(zhǎng)期效應(yīng).文獻(xiàn)[31]通過(guò)分析真實(shí)世界中人們的行為序列，發(fā)現(xiàn)人類(lèi)重復(fù)行為呈現(xiàn)3種時(shí)間模式，分別是時(shí)間變化、短期依賴(lài)和周期性.這3種模式可以分別由高斯混合分布、指數(shù)衰減函數(shù)和威布爾分布模擬.基于此，該研究將用戶(hù)行為建模為一個(gè)基于3因素時(shí)間變化強(qiáng)度的多元時(shí)間點(diǎn)過(guò)程，將模擬的3種時(shí)間模式分布融合到Hawkes過(guò)程中.總體來(lái)看，已有文獻(xiàn)雖然探索了用戶(hù)在單個(gè)產(chǎn)品使用周期內(nèi)的動(dòng)態(tài)偏好機(jī)制，但它們普遍假設(shè)產(chǎn)品使用周期結(jié)束時(shí)用戶(hù)會(huì)再度恢復(fù)之前對(duì)它的興趣，從而忽略了用戶(hù)重購(gòu)偏好隨重購(gòu)次數(shù)變化的動(dòng)態(tài)影響.

2）用戶(hù)偏好層面.文獻(xiàn)[32]區(qū)分用戶(hù)的動(dòng)態(tài)偏好和靜態(tài)偏好，提出了一種基于用戶(hù)行為特征的、考慮時(shí)間敏感性的個(gè)性化成對(duì)排名TS-PPR模型來(lái)進(jìn)行重購(gòu)產(chǎn)品推薦.TS-PPR通過(guò)學(xué)習(xí)從可觀(guān)測(cè)空間中的行為特征到潛在空間中的偏好特征的映射，將時(shí)間上的用戶(hù)-產(chǎn)品交互行為分解，并將用戶(hù)的靜態(tài)和動(dòng)態(tài)偏好納入推薦中.文獻(xiàn)[33]認(rèn)為用戶(hù)的需求可以分為長(zhǎng)期需求和短期需求，提出了一種新的自注意力連續(xù)時(shí)間推薦模型CTRec來(lái)捕捉用戶(hù)需求的變化.具體地，CTRec利用卷積神經(jīng)網(wǎng)絡(luò)捕捉短期需求，使用自注意力機(jī)制從用戶(hù)的周期性購(gòu)買(mǎi)間隔中捕捉長(zhǎng)期需求.總體來(lái)看，已有文獻(xiàn)雖然建模用戶(hù)對(duì)產(chǎn)品的動(dòng)態(tài)需求，但未考慮產(chǎn)品重購(gòu)與換購(gòu)的概率問(wèn)題.

3）產(chǎn)品層面.文獻(xiàn)[34]同時(shí)考慮了新產(chǎn)品探索和重復(fù)產(chǎn)品保留問(wèn)題，提出了RepeatNet模型，將重復(fù)探索機(jī)制集成到神經(jīng)網(wǎng)絡(luò)的編碼器-解碼器中.具體地，RepeatNet包含2個(gè)推薦解碼器，即重復(fù)推薦解碼器和探索推薦解碼器，可以結(jié)合2種模式的切換概率和每個(gè)物品的推薦概率來(lái)確定物品的推薦得分.考慮到用戶(hù)購(gòu)買(mǎi)的產(chǎn)品之間存在多種關(guān)聯(lián)，還有研究從產(chǎn)品組合層面進(jìn)行下一籃子重購(gòu)產(chǎn)品的推薦，分析不同產(chǎn)品間的依賴(lài)關(guān)系、購(gòu)買(mǎi)頻率、時(shí)間趨勢(shì)等對(duì)重購(gòu)行為產(chǎn)生的影響[35-36].例如，文獻(xiàn)[37]針對(duì)電商平臺(tái)場(chǎng)景，探索了用戶(hù)回購(gòu)周期中產(chǎn)品間相關(guān)性等關(guān)鍵模式，并基于這些模式提出了一種新的超網(wǎng)絡(luò)架構(gòu)模型，以實(shí)現(xiàn)下一籃子重購(gòu)產(chǎn)品的推薦.文獻(xiàn)[38]從購(gòu)買(mǎi)頻率的視角，重點(diǎn)關(guān)注了每個(gè)用戶(hù)對(duì)產(chǎn)品的個(gè)性化偏好和購(gòu)買(mǎi)頻率相似性，提出了一種基于個(gè)性化產(chǎn)品頻率信息的下一籃子推薦方法.文獻(xiàn)[39]提出了下一籃重購(gòu)產(chǎn)品推薦的ReCANet模型.該模型基于用戶(hù)購(gòu)買(mǎi)記錄中的相鄰兩次重購(gòu)間的購(gòu)物籃間隔數(shù)量來(lái)挖掘用戶(hù)購(gòu)買(mǎi)的近期性以及用戶(hù)相似性、物品相似性等重購(gòu)行為模式進(jìn)而進(jìn)行產(chǎn)品推薦.總體來(lái)看，已有文獻(xiàn)主要基于產(chǎn)品基本屬性和產(chǎn)品間的依賴(lài)關(guān)系對(duì)用戶(hù)重購(gòu)偏好進(jìn)行建模,普遍忽略了用戶(hù)重購(gòu)偏好動(dòng)態(tài)變化和上下文場(chǎng)景變化的影響.

綜上所述，現(xiàn)有研究多從時(shí)間序列、用戶(hù)或產(chǎn)品的某一維度出發(fā)，少有同時(shí)優(yōu)化3個(gè)維度信息的重復(fù)購(gòu)買(mǎi)推薦模型，且普遍忽略了用戶(hù)重購(gòu)動(dòng)態(tài)偏好和上下文場(chǎng)景變化的影響.鑒于此，本文基于注意力機(jī)制和指針生成網(wǎng)絡(luò)，對(duì)產(chǎn)品特征、用戶(hù)偏好和時(shí)間序列模式3個(gè)維度進(jìn)行優(yōu)化和建模.具體地，本文采用注意力機(jī)制建模產(chǎn)品間的關(guān)系，基于信息處理理論構(gòu)建S型的用戶(hù)重購(gòu)動(dòng)態(tài)偏好，融合LSTM模型和指針生成網(wǎng)絡(luò)對(duì)重購(gòu)行為的時(shí)間序列模式進(jìn)行高度提取，并考慮產(chǎn)品流行度信息進(jìn)行重購(gòu)產(chǎn)品和新產(chǎn)品的混合推薦，從而進(jìn)一步提升了模型的準(zhǔn)確性和可信性.

2 方法描述

2.1 基本定義

本文要解決的問(wèn)題是在已知用戶(hù)購(gòu)買(mǎi)歷史記錄以及用戶(hù)下一時(shí)刻要購(gòu)買(mǎi)的產(chǎn)品類(lèi)別的條件下，為用戶(hù)進(jìn)行產(chǎn)品推薦，以滿(mǎn)足用戶(hù)需求，其中，被推薦的產(chǎn)品可能是用戶(hù)購(gòu)買(mǎi)過(guò)的產(chǎn)品也可能是新的產(chǎn)品.另外由于用戶(hù)實(shí)際可能會(huì)同時(shí)購(gòu)買(mǎi)多個(gè)產(chǎn)品，在此情況下，我們考慮將用戶(hù)同時(shí)購(gòu)買(mǎi)的產(chǎn)品視作一個(gè)購(gòu)物籃，進(jìn)一步學(xué)習(xí)產(chǎn)品間關(guān)系和用戶(hù)偏好.

問(wèn)題具體定義為：U表示所有用戶(hù)，C表示特定產(chǎn)品類(lèi)別.對(duì)于每一個(gè)用戶(hù)u∈U，收集他的歷史重復(fù)購(gòu)買(mǎi)C產(chǎn)品類(lèi)別的記錄.每條記錄都包含了用戶(hù)信息（用戶(hù)ID、重復(fù)購(gòu)買(mǎi)次數(shù)等）、產(chǎn)品信息（產(chǎn)品ID、產(chǎn)品價(jià)格、產(chǎn)品折扣、購(gòu)買(mǎi)數(shù)量）和時(shí)間信息（購(gòu)買(mǎi)時(shí)間）.本文將基于這些記錄信息，為用戶(hù)推薦用戶(hù)下次可能購(gòu)買(mǎi)的產(chǎn)品i，其中i∈C.

2.2 用戶(hù)重購(gòu)偏好分析

基于信息處理理論，我們認(rèn)為用戶(hù)對(duì)同一產(chǎn)品的消費(fèi)偏好隨時(shí)間推移通常會(huì)經(jīng)歷3個(gè)階段，即重購(gòu)期、拓展期和均衡期.在重購(gòu)期，由于消費(fèi)者對(duì)該類(lèi)產(chǎn)品不熟悉，需要處理大量候選產(chǎn)品信息來(lái)決策，易產(chǎn)生信息過(guò)載，購(gòu)買(mǎi)不確定性風(fēng)險(xiǎn)較高.在此期間，用戶(hù)傾向于重復(fù)購(gòu)買(mǎi)相同產(chǎn)品，一方面以降低信息處理成本和消費(fèi)不確定性，另一面以滿(mǎn)足自身的探索欲以期發(fā)現(xiàn)該產(chǎn)品更多特點(diǎn)與功能.在拓展期，用戶(hù)不斷接受外界新的信息，對(duì)產(chǎn)品認(rèn)知和偏好發(fā)生變化.此時(shí)，用戶(hù)對(duì)新產(chǎn)品產(chǎn)生興趣，對(duì)重購(gòu)產(chǎn)品的偏好降低，用戶(hù)可能減少對(duì)重購(gòu)產(chǎn)品的消費(fèi)，發(fā)生購(gòu)買(mǎi)轉(zhuǎn)換行為.在均衡期，用戶(hù)經(jīng)過(guò)前期探索，對(duì)該類(lèi)產(chǎn)品非常熟悉，從而產(chǎn)生過(guò)度自信而停止新產(chǎn)品探索.該現(xiàn)象在單位價(jià)值不高、用戶(hù)不愿投入過(guò)多精力的快速消費(fèi)品消費(fèi)中尤為明顯.此時(shí)，用戶(hù)傾向于在已購(gòu)買(mǎi)過(guò)的產(chǎn)品中重復(fù)選擇購(gòu)買(mǎi)，對(duì)產(chǎn)品的重購(gòu)偏好再次復(fù)蘇.

以購(gòu)買(mǎi)牛奶為例，在重購(gòu)期，用戶(hù)初次購(gòu)買(mǎi)某品牌牛奶后，若認(rèn)為其品質(zhì)較好，則很可能會(huì)進(jìn)行重復(fù)購(gòu)買(mǎi)，以滿(mǎn)足個(gè)人需要；在拓展期，由于多次重購(gòu)而產(chǎn)生厭倦心理、新的替代品出現(xiàn)等原因，用戶(hù)對(duì)該品牌牛奶的偏好會(huì)降低，這時(shí)會(huì)嘗試購(gòu)買(mǎi)其他牛奶類(lèi)產(chǎn)品；在均衡期，用戶(hù)對(duì)牛奶類(lèi)產(chǎn)品較為熟悉，停止嘗試和探索，轉(zhuǎn)而在購(gòu)買(mǎi)過(guò)的產(chǎn)品中重復(fù)購(gòu)買(mǎi)，此時(shí)用戶(hù)對(duì)原品牌牛奶的興趣將再度上升.

進(jìn)一步，我們?cè)趯?shí)驗(yàn)數(shù)據(jù)集上，使用數(shù)據(jù)分析和回歸分析方法對(duì)上述理論假設(shè)進(jìn)行驗(yàn)證，相關(guān)結(jié)論有效支持了用戶(hù)重購(gòu)偏好的S型變化趨勢(shì)，詳見(jiàn)3.2節(jié).因此，本文定義了S型公式來(lái)刻畫(huà)這種重購(gòu)偏好趨勢(shì)：

其中 α,β,δ 是可學(xué)習(xí)的參數(shù)，λ1,λ2是超參數(shù)，α,λ1越大，曲線(xiàn)的第1個(gè)峰值就越高，低谷值就越低.β越大，曲線(xiàn)的低谷值就越低，再次上升的速度就越慢.λ2越大，曲線(xiàn)的第2個(gè)峰值就越高.q是時(shí)刻t用戶(hù)u購(gòu)買(mǎi)產(chǎn)品i的次數(shù)，f′(q|u,t,i)是f(q|u,t,i)的導(dǎo)函數(shù).F(q|u,t,i)是f′(q|u,t,i)和f(q|u,t,i)的合成函數(shù)，表示時(shí)刻t用戶(hù)u對(duì)產(chǎn)品i的重購(gòu)偏好.該式（1）（2）可生成如圖1所示的曲線(xiàn)，其曲線(xiàn)函數(shù)可以基于不同的超參數(shù)刻畫(huà)具有不同峰值和低谷值的趨勢(shì).

Fig.1 Trend of user’s repurchase preference varies with the number of repurchase圖1 用戶(hù)重購(gòu)偏好隨重購(gòu)數(shù)量變化的趨勢(shì)

2.3 用戶(hù)新穎消費(fèi)偏好分析

雖然用戶(hù)傾向于對(duì)特定的產(chǎn)品表現(xiàn)出“忠誠(chéng)度”，但這并不意味著他們每次訪(fǎng)問(wèn)店鋪都會(huì)購(gòu)買(mǎi)這些產(chǎn)品.因而除了考慮用戶(hù)本身的動(dòng)態(tài)偏好變化外，本文將所有產(chǎn)品的流行度作為上下文場(chǎng)景的約束條件，不同時(shí)間段下不同產(chǎn)品的流行度反映了產(chǎn)品的更迭與替換.例如，當(dāng)用戶(hù)對(duì)于重復(fù)購(gòu)買(mǎi)的產(chǎn)品產(chǎn)生厭倦時(shí)，可能會(huì)選擇購(gòu)買(mǎi)流行度更高的產(chǎn)品.本文首先定義了產(chǎn)品的流行度，其次采取了對(duì)數(shù)冪律分布對(duì)其處理以更好地對(duì)模型進(jìn)行訓(xùn)練.相關(guān)公式為：

其中，λ和γ是超參數(shù)，n是用戶(hù)的總數(shù)，△t表示距離時(shí)刻t的天數(shù).B(i)表示購(gòu)物籃B中 產(chǎn)品i的總數(shù)量，表示距離當(dāng)前時(shí)刻t范圍內(nèi)產(chǎn)品i的總銷(xiāo)量.表示進(jìn)行對(duì)數(shù)冪律分布處理后的結(jié)果.

2.4 多層信息融合的重購(gòu)?fù)扑]方法

本節(jié)將詳細(xì)介紹提出的重購(gòu)?fù)扑]方法，整體結(jié)構(gòu)如圖2所示.該方法從下向上主要包含“產(chǎn)品—購(gòu)物籃—時(shí)間序列”層次的內(nèi)容：基于重購(gòu)特征的產(chǎn)品編碼；考慮產(chǎn)品流行度的購(gòu)物籃編碼；考慮時(shí)序特征的重購(gòu)?fù)扑].

Fig.2 Repurchase recommendation method based on multi-level information fusion圖2 基于多層信息融合的重購(gòu)?fù)扑]方法

2.4.1 基于重購(gòu)特征的產(chǎn)品編碼

該模塊的目的是整合產(chǎn)品屬性和用戶(hù)重購(gòu)行為特征，將注意力機(jī)制得到產(chǎn)品的初始表征用于后續(xù)階段的產(chǎn)品推薦.

1）產(chǎn)品嵌入表征.首先將每個(gè)產(chǎn)品i的ID表示為one-hot向量.其次，將產(chǎn)品價(jià)格、折扣、數(shù)量進(jìn)行全連接映射處理.最后，考慮到用戶(hù)可能會(huì)同時(shí)購(gòu)買(mǎi)多個(gè)產(chǎn)品，將用戶(hù)同時(shí)購(gòu)買(mǎi)的多個(gè)產(chǎn)品看作一個(gè)購(gòu)物籃.那么，用戶(hù)u在時(shí)刻t購(gòu)買(mǎi)的同類(lèi)產(chǎn)品組成的購(gòu)物籃可以表示為一個(gè)初始表征其中包含產(chǎn)品ID的one-hot編碼，以及產(chǎn)品價(jià)格、折扣與數(shù)量、購(gòu)買(mǎi)時(shí)間的嵌入表示.本文使用k表示購(gòu)物籃中特定類(lèi)別產(chǎn)品的最大長(zhǎng)度，對(duì)于長(zhǎng)度小于k的購(gòu)物籃，進(jìn)行了零向量填充.

2）重購(gòu)效應(yīng).基于信息處理理論，用戶(hù)重購(gòu)偏好隨時(shí)間變化會(huì)經(jīng)歷重購(gòu)期、拓展期和均衡期3個(gè)階段，因此用戶(hù)重購(gòu)動(dòng)態(tài)偏好是復(fù)雜的S型曲線(xiàn)，這一現(xiàn)象也在本文所使用的數(shù)據(jù)集上得到驗(yàn)證.為了突出用戶(hù)u在時(shí)刻t對(duì)產(chǎn)品i的重購(gòu)偏好，我們利用式（5）對(duì)產(chǎn)品i進(jìn)行了重購(gòu)偏好提取，具體為：

其中q表示用戶(hù)u在第t個(gè)購(gòu)物籃之前已經(jīng)重復(fù)購(gòu)買(mǎi)產(chǎn)品i的次數(shù).F(q|u,t,i)則是重購(gòu)次數(shù)q的效應(yīng)函數(shù)，通過(guò)該函數(shù)，可以獲得用戶(hù)u在時(shí)刻t對(duì)于產(chǎn)品i的重復(fù)偏好度.表 示在產(chǎn)品基本屬性表征的基礎(chǔ)上融合了用戶(hù)u在時(shí)刻t對(duì)產(chǎn)品i的重復(fù)偏好表征.由于用戶(hù)在不同時(shí)刻購(gòu)買(mǎi)的產(chǎn)品不同，且重購(gòu)的次數(shù)也不同，因而通過(guò)序列編碼以及重購(gòu)效應(yīng)映射，可以在產(chǎn)品層面捕獲用戶(hù)在不同時(shí)刻的重購(gòu)偏好變化.

3）考慮到用戶(hù)對(duì)同時(shí)購(gòu)買(mǎi)的多種產(chǎn)品具有不同的偏好程度，使用注意力層來(lái)學(xué)習(xí)同一購(gòu)物籃中不同產(chǎn)品的權(quán)重，公式為：

2.4.2 考慮產(chǎn)品流行度的購(gòu)物籃編碼

該模塊的目的是融合產(chǎn)品流行度信息，進(jìn)一步捕獲用戶(hù)對(duì)產(chǎn)品的動(dòng)態(tài)偏好，并利用Transformer編碼器進(jìn)一步優(yōu)化購(gòu)物籃表征.引入Transformer編碼器一方面可以更好地捕獲購(gòu)物籃序列間的關(guān)聯(lián)關(guān)系和特征交互以提高模型的泛化能力，另一方面還可以減輕輸入序列中的信息噪聲以增加模型的魯棒性.

1）流行度效應(yīng).考慮到產(chǎn)品流行度影響消費(fèi)者的購(gòu)買(mǎi)行為，本文將當(dāng)前時(shí)刻各個(gè)產(chǎn)品最近30天內(nèi)的流行度作為推薦下一產(chǎn)品的上下文場(chǎng)景約束條件，因而基于式（3）（4），利用式（8）對(duì)購(gòu)物籃的潛在表示進(jìn)行約束.具體公式為：

其中M表示C類(lèi)產(chǎn)品的總數(shù).WG表示對(duì)流行度G(t,i)進(jìn)行線(xiàn)性變換的權(quán)重矩陣，則是融合流行度效應(yīng)后的購(gòu)物籃表征.

2）Transformer編碼器.本文使用具有多頭注意力機(jī)制的Transformer Encoder對(duì)輸入序列中的購(gòu)物籃表征進(jìn)一步進(jìn)行編碼.Transformer Encoder由多個(gè)具有相同結(jié)構(gòu)的子模塊組成，每個(gè)子模塊都由3個(gè)網(wǎng)絡(luò)層組成：

①多頭注意力機(jī)制.該機(jī)制允許模型在輸入購(gòu)物籃表征序列bu′時(shí)，對(duì)不同位置之間的依賴(lài)關(guān)系進(jìn)行建模.它將輸入序列bu′分別映射到多個(gè)注意力頭，每個(gè)頭都可以學(xué)習(xí)到一種不同的關(guān)注權(quán)重分布.這樣，模型可以從多個(gè)角度同時(shí)關(guān)注輸入序列bu′的不同部分，提取豐富的特征信息.具體來(lái)說(shuō)，給定購(gòu)物籃輸入序列bu′，那么利用可學(xué)習(xí)的權(quán)重矩陣W∈Rd×dq，qWk∈Rd×dk，Wv∈Rd×dv， 多頭自注意力機(jī)制可以將bu′映射到不同的子空間，公式為：

②歸一化層.它對(duì)上層的輸出Hu進(jìn)行歸一化，使得模型在不同層之間更容易進(jìn)行信息傳遞和學(xué)習(xí).這一層包含了2個(gè)操作：一個(gè)是將輸入的數(shù)據(jù)和多頭注意力層結(jié)果相加，以減少信息的損失和防止梯度消失等；另一個(gè)則是對(duì)同一層網(wǎng)絡(luò)的輸出進(jìn)行標(biāo)準(zhǔn)化處理，以加快收斂，公式為：

③前饋神經(jīng)網(wǎng)絡(luò)層.該前饋神經(jīng)網(wǎng)絡(luò)層包含2個(gè)線(xiàn)性變換和1個(gè)非線(xiàn)性激活函數(shù)，用于對(duì)上層輸出進(jìn)行非線(xiàn)性變換和特征提取.具體操作可表示為：

除了這3層操作外，Transformer Encoder還為每一步的輸入添加了位置編碼特征，對(duì)序列中不同位置的進(jìn)行建模，使得模型能夠區(qū)分和關(guān)注不同位置的元素.最后得到了Transformer編碼表征，其中Pou是bu′序列中各個(gè)購(gòu)物籃在序列中所處的位置編碼.

2.4.3 考慮時(shí)序特征的重購(gòu)?fù)扑]

為了更好地捕獲購(gòu)物籃序列間的依賴(lài)關(guān)系，本文將Transformer編碼器輸出的表征Hu,d進(jìn)一步輸入到一個(gè)雙層單向的LSTM網(wǎng)絡(luò)以提取用戶(hù)在不同時(shí)間的隱狀態(tài)表征并保留最后一個(gè)購(gòu)物籃的隱狀態(tài)輸出表征st,公式為：

由于我們使用的是滑動(dòng)窗口生成的樣本數(shù)據(jù)，Hu,d∈RL×db表示的是通過(guò)Transformer融合了相對(duì)位置編碼的購(gòu)物籃序列表征.其中L是序列長(zhǎng)度，即購(gòu)物籃的數(shù)量，db表示每一個(gè)購(gòu)物籃表征的嵌入維度.為了進(jìn)一步提取用戶(hù)隨時(shí)間動(dòng)態(tài)變化的購(gòu)物籃表征，我們利用式（14）得到了新的序列表征Hu,s∈RL×dl，其中dl表示經(jīng)過(guò)LSTM處理后的每一個(gè)購(gòu)物籃的表征嵌入維度.Hu,s是從購(gòu)物籃層面對(duì)用戶(hù)在不同時(shí)刻的偏好變化的進(jìn)一步挖掘.

鑒于顧客可能會(huì)重復(fù)購(gòu)買(mǎi)先前購(gòu)買(mǎi)過(guò)的產(chǎn)品，以及考慮到指針生成網(wǎng)絡(luò)的復(fù)制機(jī)制可以使模型能準(zhǔn)確地復(fù)制先前購(gòu)買(mǎi)過(guò)的產(chǎn)品，而不僅僅是生成新的產(chǎn)品預(yù)測(cè)結(jié)果[6].因而，本研究借鑒了指針生成網(wǎng)絡(luò)的最后一個(gè)時(shí)間步操作以預(yù)測(cè)顧客下一時(shí)刻購(gòu)買(mǎi)重復(fù)產(chǎn)品或新穎產(chǎn)品的決策.此外，具有注意力機(jī)制的指針生成網(wǎng)絡(luò)可以明確指示出預(yù)測(cè)出的重復(fù)結(jié)果來(lái)源于輸入序列中的哪一個(gè)購(gòu)物籃，這將有助于增加預(yù)測(cè)結(jié)果的可信性.具體操作為：

其中向量V,Va,Vb,WH,Ws,WH*,Ws*和標(biāo)量batt,bitem，b′，bgen都是可學(xué)習(xí)的參數(shù).σ是sigmoid函數(shù).表示當(dāng)前序列中第t個(gè)購(gòu)物籃的注意力權(quán)重.pu表示所有產(chǎn)品可能被消費(fèi)者購(gòu)買(mǎi)的概率分布.pgen表示用戶(hù)即將選擇消費(fèi)新產(chǎn)品還是重復(fù)產(chǎn)品的概率.

那么下一次不同產(chǎn)品被消費(fèi)的概率p(x)為

其中，p(x)表示最終預(yù)測(cè)的所有產(chǎn)品對(duì)應(yīng)的概率分布，既包含用戶(hù)已消費(fèi)過(guò)的產(chǎn)品，又包含用戶(hù)未消費(fèi)過(guò)的產(chǎn)品.如果產(chǎn)品i沒(méi)有出現(xiàn)在歷史購(gòu)物籃記錄中，則最后，模型多標(biāo)簽分類(lèi)損失函數(shù)的計(jì)算公式為：

其中y和p(x) 都是向量，y表示在所有產(chǎn)品中顧客下次購(gòu)買(mǎi)產(chǎn)品對(duì)應(yīng)的標(biāo)簽.yj和p(xj)表示y和p(x)向量中的第j個(gè)值，M表示所有產(chǎn)品ID的數(shù)量，即C類(lèi)產(chǎn)品的總數(shù).

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

為了證明模型性能，本文在真實(shí)的數(shù)據(jù)集Dunnhumby上進(jìn)行了一系列實(shí)驗(yàn).Dunnhumby數(shù)據(jù)由一家全球領(lǐng)先的消費(fèi)者科學(xué)公司提供的，其中包含了全球2 500個(gè)家庭在2年內(nèi)的購(gòu)買(mǎi)數(shù)據(jù).本文分別提取出其中包含面包類(lèi)和牛奶類(lèi)產(chǎn)品的子數(shù)據(jù)集，數(shù)據(jù)統(tǒng)計(jì)結(jié)果如表1所示.為消除噪音數(shù)據(jù)的影響，在預(yù)處理階段刪除了購(gòu)買(mǎi)記錄少于15條或購(gòu)買(mǎi)間隔超過(guò)100天的客戶(hù).最后在面包數(shù)據(jù)集中篩選出了1 394名顧客購(gòu)買(mǎi)1 497個(gè)產(chǎn)品的消費(fèi)記錄以及在牛奶類(lèi)數(shù)據(jù)中篩選出了1 629名顧客購(gòu)買(mǎi)1 440個(gè)產(chǎn)品的消費(fèi)記錄.

Table 1 Data statistics表1 數(shù)據(jù)統(tǒng)計(jì)

本文采用滑動(dòng)窗口的策略以獲取更多樣本.舉例來(lái)說(shuō)，給定客戶(hù)長(zhǎng)度為N的購(gòu)物籃序列，滑動(dòng)窗口大小設(shè)為L(zhǎng)，獲得N-L+1條購(gòu)物序列作為樣本.對(duì)于每一條樣本，將前L-1個(gè)樣本作為訓(xùn)練集，第L個(gè)樣本作為測(cè)試集.此外，使用 PyTorch 實(shí)現(xiàn)了所提出的模型，并將其部署在具有 12 GB 內(nèi)存的 Titan RTX 上.設(shè)置學(xué)習(xí)率 η=0.001，批量大小為 256.

3.2 用戶(hù)重購(gòu)動(dòng)態(tài)偏好的實(shí)證分析

本文基于信息處理理論，采用S型非線(xiàn)性函數(shù)來(lái)刻畫(huà)用戶(hù)重購(gòu)偏好的動(dòng)態(tài)變化規(guī)律.本文采用數(shù)據(jù)分析和回歸分析方法來(lái)驗(yàn)證S型重購(gòu)動(dòng)態(tài)偏好假設(shè)的可靠性.首先從購(gòu)買(mǎi)牛奶或面包數(shù)據(jù)集中中隨機(jī)抽取一些用戶(hù)，觀(guān)測(cè)這些用戶(hù)的重購(gòu)行為隨著時(shí)間的變化趨勢(shì).如圖3所示，用戶(hù)重購(gòu)偏好的動(dòng)態(tài)變化規(guī)律較為復(fù)雜，近似S型曲線(xiàn).

Fig.3 The change of repurchase quantity over time圖3 重購(gòu)數(shù)量隨時(shí)間變化圖

本文進(jìn)一步采用回歸分析方法對(duì)用戶(hù)重購(gòu)偏好的動(dòng)態(tài)變化趨勢(shì)進(jìn)行分析.本文在面包類(lèi)和牛奶類(lèi)數(shù)據(jù)集的基礎(chǔ)上，構(gòu)建了“用戶(hù)-天數(shù)”層面的面板數(shù)據(jù).本文回歸分析時(shí)，剔除了沒(méi)有明顯重購(gòu)偏好的用戶(hù)，即最大重購(gòu)次數(shù)少于5的用戶(hù).

因變量為虛擬變量Repurchase，即用戶(hù)當(dāng)天是否重購(gòu)產(chǎn)品.具體地，如果用戶(hù)當(dāng)天重購(gòu)產(chǎn)品，Repurchase取值為1，本文將每個(gè)用戶(hù)購(gòu)買(mǎi)次數(shù)最多的產(chǎn)品作為重購(gòu)產(chǎn)品；反之如果用戶(hù)當(dāng)天轉(zhuǎn)換購(gòu)買(mǎi)其他新產(chǎn)品，則Repurchase取值為0.

自變量Time為購(gòu)買(mǎi)時(shí)間，用戶(hù)第1天購(gòu)買(mǎi)面包或牛奶產(chǎn)品時(shí)取值為1，第2天購(gòu)買(mǎi)面包或牛奶產(chǎn)品時(shí)取值為2，依次類(lèi)推.為了檢驗(yàn)用戶(hù)重購(gòu)偏好的S型演變規(guī)律，本文還設(shè)置了購(gòu)買(mǎi)時(shí)間的平方項(xiàng)（Time2）和立方項(xiàng)（Time3）.本文重點(diǎn)關(guān)注變量Time3的系數(shù)，如果Time3系數(shù)顯著為正，則說(shuō)明用戶(hù)重購(gòu)偏好概率隨時(shí)間呈S型變化趨勢(shì).

為了控制產(chǎn)品層面因素的影響，本文控制了產(chǎn)品價(jià)格（Price）、產(chǎn)品折扣（Discount）這2個(gè)變量.為了控制用戶(hù)層面因素的影響，本文在回歸模型中加入了用戶(hù)固定效應(yīng).本文采用Logit模型進(jìn)行回歸，具體模型為：

回歸結(jié)果如表2所示，在面包和牛奶2個(gè)數(shù)據(jù)集上，Time3的系數(shù)均為正，且在1%顯著性水平下顯著.表2結(jié)果說(shuō)明用戶(hù)重購(gòu)偏好隨時(shí)間呈S型變化，充分驗(yàn)證了本文用戶(hù)重購(gòu)動(dòng)態(tài)偏好假設(shè)的可信性.

Table 2 Regression Analysis of User Repurchase Preference Trend表2 用戶(hù)重購(gòu)偏好趨勢(shì)的回歸分析

3.3 評(píng)估指標(biāo)

為分析不同模型的表現(xiàn)，本文采用了3種廣泛使用的評(píng)估指標(biāo)Recall、Precision、NDCG對(duì)模型進(jìn)行評(píng)估.

其中，TP表示模型預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽相同，且都為正類(lèi)的數(shù)量.FN表示模型預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽不同，把真實(shí)的正類(lèi)樣本預(yù)測(cè)為反類(lèi)的數(shù)量.FP表示模型預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽不同，把真實(shí)的反類(lèi)樣本預(yù)測(cè)為正類(lèi)的數(shù)量.另外NDCG是DCG歸一化的結(jié)果，IDCG則是理想排序下的折損累加值，即在推薦列表中按照真實(shí)標(biāo)簽的相關(guān)性得分進(jìn)行理想排序后的DCG值.DCG和IDCG的計(jì)算公式分別為：

其中，relj為當(dāng)前第j個(gè)位置的相關(guān)性得分，如果當(dāng)前第j個(gè)位置的項(xiàng)目與用戶(hù)的興趣相關(guān)則relj=1，否則relj= 0.J是推薦列表的大小，REL表示真實(shí)標(biāo)簽的列表的前J個(gè)產(chǎn)品個(gè)數(shù).在DCG中，relj是推薦列表中當(dāng)前位置的相關(guān)性得分；而在IDCG中，relj是真實(shí)標(biāo)簽中當(dāng)前位置的相關(guān)性得分.

3.4 對(duì)比算法

本文將所提出的方法與5個(gè)推薦算法在面包和牛奶2個(gè)數(shù)據(jù)集上進(jìn)行對(duì)比.

1）Pop.Pop是一種簡(jiǎn)單且常用的推薦算法，它的基本思想是按產(chǎn)品的流行度將熱門(mén)產(chǎn)品推薦給用戶(hù).

2）SHARE[29].SHARE是一種基于超圖網(wǎng)絡(luò)結(jié)構(gòu)的推薦算法，利用用戶(hù)歷史會(huì)話(huà)信息，建立超圖結(jié)構(gòu)來(lái)描述用戶(hù)行為，并通過(guò)超圖注意力機(jī)制學(xué)習(xí)購(gòu)物籃表示.

3）DREAM[27].DREAM是采用一種門(mén)控機(jī)制，可以動(dòng)態(tài)地調(diào)整循環(huán)神經(jīng)網(wǎng)絡(luò)中權(quán)重的推薦算法.該算法不僅能夠識(shí)別長(zhǎng)期的購(gòu)物行為趨勢(shì)，還能夠識(shí)別短期的購(gòu)物行為演變.

4）RecaNet[39].RecaNet是一種在神經(jīng)網(wǎng)絡(luò)中融入了重復(fù)-探索機(jī)制的推薦算法.該算法可以通過(guò)2個(gè)并行的神經(jīng)網(wǎng)絡(luò)模塊進(jìn)行訓(xùn)練：一個(gè)用于預(yù)測(cè)用戶(hù)可能購(gòu)買(mǎi)的新產(chǎn)品，另一個(gè)用于預(yù)測(cè)用戶(hù)可能再次重復(fù)購(gòu)買(mǎi)的產(chǎn)品.

5）CLEA[40].CLEA是一種基于對(duì)比學(xué)習(xí)的推薦算法.該算法通過(guò)對(duì)比學(xué)習(xí)的方式，可以學(xué)習(xí)出對(duì)籃子中商品之間相似性的表示，從而減少噪聲的影響.

3.5 實(shí)驗(yàn)結(jié)果及分析

本文根據(jù)常用設(shè)置，為每個(gè)用戶(hù)選擇top@5個(gè)產(chǎn)品進(jìn)行產(chǎn)品推薦，即根據(jù)模型學(xué)習(xí)到的用戶(hù)偏好，篩選出最符合用戶(hù)偏好的5個(gè)產(chǎn)品作為推薦結(jié)果，并在此基礎(chǔ)上與用戶(hù)的真實(shí)購(gòu)買(mǎi)產(chǎn)品進(jìn)行對(duì)比，以評(píng)估模型的推薦效果.不同模型在數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表3和表4所示.

Table 3 Experimental Results on Bread Dataset表3 面包數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果

Table 4 Experimental Results on Milk Dataset表4 牛奶數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果

由表3和表4中可以看出，本文所提出的模型在整體上優(yōu)于其它對(duì)比算法，在Recall評(píng)估指標(biāo)上的優(yōu)勢(shì)更加明顯.在所有的指標(biāo)中，Pop表現(xiàn)較差，其原因是Pop僅根據(jù)產(chǎn)品流行度進(jìn)行推薦，忽略了用戶(hù)的個(gè)人偏好信息，而用戶(hù)的購(gòu)買(mǎi)行為，尤其是重購(gòu)行為，與個(gè)人偏好密切相關(guān).SHARE通過(guò)建立超圖結(jié)構(gòu)，能有效識(shí)別購(gòu)物籃內(nèi)不同產(chǎn)品之間的關(guān)系，提高購(gòu)物籃表征效果，但在用戶(hù)重購(gòu)行為分析與下一產(chǎn)品推薦方面效果較差，原因可能是SHARE更關(guān)注于同一籃子中產(chǎn)品關(guān)系的學(xué)習(xí)，忽略了用戶(hù)重購(gòu)行為中表現(xiàn)出的序列相關(guān)性.用戶(hù)的重購(gòu)行為具有一定的周期變化，忽略這一特性可能會(huì)造成不理想的推薦結(jié)果.DREAM考慮了用戶(hù)不同購(gòu)物籃之間的序列關(guān)系，通過(guò)對(duì)用戶(hù)歷史購(gòu)物籃之間的相關(guān)性進(jìn)行分析來(lái)得到動(dòng)態(tài)的用戶(hù)偏好.但是，DREAM在進(jìn)行購(gòu)物序列分析時(shí)同樣忽略了用戶(hù)重購(gòu)行為周期性，僅利用RNN對(duì)歷史購(gòu)物籃序列進(jìn)行特征學(xué)習(xí)和聚合，并將其作為用戶(hù)偏好表征，因此，在本文的推薦任務(wù)中其效果劣于本文的模型.CLEA采用對(duì)比學(xué)習(xí)的方法識(shí)別出用戶(hù)歷史購(gòu)物中更能代表用戶(hù)偏好的產(chǎn)品信息，降低不相干產(chǎn)品的影響，進(jìn)而提高下一產(chǎn)品的推薦效果.其能有效識(shí)別不同產(chǎn)品之間的關(guān)聯(lián)，但無(wú)法識(shí)別用戶(hù)重購(gòu)行為中表現(xiàn)出的序列特征.與其他對(duì)比方法相比，RecaNet明確對(duì)用戶(hù)的重復(fù)消費(fèi)行為進(jìn)行建模，利用LSTM學(xué)習(xí)用戶(hù)購(gòu)買(mǎi)行為模式，與SHARE、DREAM方法相比，RecaNet的效果提升證明了考慮用戶(hù)重購(gòu)行為規(guī)律對(duì)于下一產(chǎn)品推薦任務(wù)的重要性.本文在用戶(hù)購(gòu)買(mǎi)模式分析方面，采用了“S型曲線(xiàn)”對(duì)用戶(hù)重購(gòu)行為進(jìn)行更為精確地描述，同時(shí)利用了Transformer和自注意力機(jī)制提高對(duì)用戶(hù)偏好的學(xué)習(xí)效果；在產(chǎn)品特征學(xué)習(xí)方面，還引入了產(chǎn)品流行度特征，以識(shí)別用戶(hù)對(duì)于新產(chǎn)品的偏好，因此，得到了更為優(yōu)越的推薦效果.

通過(guò)圖4將2個(gè)數(shù)據(jù)集的結(jié)果合并和可視化，發(fā)現(xiàn)考慮用戶(hù)重購(gòu)行為的RecaNet算法和本文方法在3個(gè)指標(biāo)上的整體評(píng)估表現(xiàn)均優(yōu)于其他基線(xiàn)方法，在一定程度展示了考慮用戶(hù)重購(gòu)行為在提升推薦準(zhǔn)確性方面的重要作用.

Fig.4 Comparison of our proposed method and other baseline methods圖4 本文方法與其它基準(zhǔn)方法的對(duì)比

3.6 參數(shù)敏感性分析

本節(jié)將分析超參數(shù)對(duì)所提出模型性能的影響.我們采用了網(wǎng)格搜索以尋求最優(yōu)參數(shù)，重點(diǎn)討論用戶(hù)嵌入維度大小和滑動(dòng)窗口大小對(duì)模型Recall表現(xiàn)的影響.

1）依次從8，16，32，64，128，256這些數(shù)值中選取一個(gè)值來(lái)改變用戶(hù)嵌入維度大小，本文方法的預(yù)測(cè)表現(xiàn)如圖5（a） 所示.從圖5（a）中可以看出，Recall在2個(gè)數(shù)據(jù)集中表現(xiàn)出不同的趨勢(shì).具體來(lái)說(shuō)，在面包數(shù)據(jù)集上，用戶(hù)嵌入維度取值較大時(shí)，模型的Recall表現(xiàn)越好，而在牛奶數(shù)據(jù)集上則呈現(xiàn)相反趨勢(shì).因此，將用戶(hù)嵌入維度大小在面包數(shù)據(jù)集上設(shè)置為128，在牛奶數(shù)據(jù)集上設(shè)置為8.

Fig.5 Parameter performance variation diagram圖5 參數(shù)性能變化圖

2）設(shè)置滑動(dòng)窗口的大小介于8～13.本文方法在Recall上的結(jié)果如圖5（b）所示.觀(guān)察可知，當(dāng)滑動(dòng)窗口大小介于11～13時(shí)，本文方法的評(píng)估表現(xiàn)都相對(duì)較好.結(jié)合其它指標(biāo)的表現(xiàn)，分別設(shè)置面包數(shù)據(jù)集和牛奶數(shù)據(jù)集上的滑動(dòng)窗口大小為13和11.

3.7 可解釋性分析

本文提出了具有雙層注意力機(jī)制的用戶(hù)重購(gòu)行為推薦方法，下面將對(duì)本文方法學(xué)習(xí)出的注意力權(quán)重進(jìn)行分析，以進(jìn)一步闡述模型的可解釋性.從面包和牛奶數(shù)據(jù)集中分別選取一個(gè)用戶(hù)在某一天的購(gòu)買(mǎi)記錄，并對(duì)其購(gòu)買(mǎi)產(chǎn)品的注意力權(quán)重進(jìn)行可視化展示，如圖6所示.圖6中的橫坐標(biāo)表示“已重購(gòu)次數(shù)-產(chǎn)品ID”，如“2-117”表示該用戶(hù)已購(gòu)買(mǎi)2次ID為117的產(chǎn)品.縱坐標(biāo)為注意力權(quán)重，是模型為每個(gè)產(chǎn)品分配的注意力值，顏色越深表示權(quán)重越大，即該產(chǎn)品對(duì)后續(xù)預(yù)測(cè)的重要性越大.通過(guò)圖6可以發(fā)現(xiàn)，本文方法對(duì)重購(gòu)次數(shù)較高的產(chǎn)品分配了較高的權(quán)重，這說(shuō)明用戶(hù)重購(gòu)行為在產(chǎn)品推薦中起到重要作用，也為模型預(yù)測(cè)結(jié)果提供了可解釋性的依據(jù).

Fig.6 Attention weight heat map圖6 注意力權(quán)重?zé)崃D

4 結(jié) 論

本文針對(duì)在線(xiàn)快速消費(fèi)品零售場(chǎng)景，提出了一種基于用戶(hù)重購(gòu)行為的產(chǎn)品推薦方法.所提方法具有3方面的特點(diǎn)：1）融合多層次用戶(hù)偏好信息，提出具有雙層注意力機(jī)制的用戶(hù)重購(gòu)行為推薦方法，進(jìn)行重購(gòu)產(chǎn)品和新穎產(chǎn)品的混合推薦；2）基于信息處理理論，采用S型曲線(xiàn)擬合用戶(hù)重購(gòu)偏好的動(dòng)態(tài)趨勢(shì)，準(zhǔn)確刻畫(huà)用戶(hù)對(duì)特定產(chǎn)品的重購(gòu)興趣；3）在用戶(hù)新興趣的識(shí)別方面，利用嵌入方法捕捉當(dāng)前時(shí)刻各個(gè)產(chǎn)品的流行度趨勢(shì)，對(duì)上下文場(chǎng)景進(jìn)行了一定的約束.本文的研究為充分識(shí)別用戶(hù)消費(fèi)行為規(guī)律，提高產(chǎn)品推薦效果提供了參考和借鑒，同時(shí)，利用多層注意力機(jī)制和消費(fèi)者信息處理理論，增強(qiáng)了模型在結(jié)構(gòu)和理論上的可解釋性以及推薦結(jié)果的可信性.

但本文的研究仍然存在一定的局限性，如尚未充分探索產(chǎn)品的價(jià)格折扣如何影響用戶(hù)的重購(gòu)行為，以及尚未分析不同類(lèi)型用戶(hù)的重購(gòu)行為差異，而在真實(shí)的消費(fèi)環(huán)境中這些因素都將影響用戶(hù)的消費(fèi)行為；此外同類(lèi)產(chǎn)品間也存在一定的競(jìng)爭(zhēng)關(guān)系，對(duì)這些影響因素的探討將在后續(xù)的工作中進(jìn)行.

作者貢獻(xiàn)聲明：耿杰和劉春麗提出算法思路和實(shí)驗(yàn)方案并定義實(shí)驗(yàn)和撰寫(xiě)論文；魏雪梅、程明月負(fù)責(zé)完成實(shí)驗(yàn)并撰寫(xiě)論文；袁昆、李洋、劉業(yè)政提出指導(dǎo)意見(jiàn)并修改論文.