張松慧，熊漢江

1.武漢軟件工程職業(yè)學(xué)院 計(jì)算機(jī)學(xué)院，武漢 430205

2.武漢大學(xué) 測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，武漢 430079

1 引言

隨著智能移動(dòng)設(shè)備的飛速發(fā)展和多種定位技術(shù)的出現(xiàn)與融合，人們更容易獲得有關(guān)其位置的信息。這一發(fā)展引發(fā)了基于位置的社交網(wǎng)絡(luò)（LBSN）的出現(xiàn)，如Foursquare、Yelp、大眾點(diǎn)評(píng)等。與此同時(shí)，基于位置社交網(wǎng)絡(luò)的出現(xiàn)也刺激了興趣點(diǎn)（Point-of-Interest，POI）等相關(guān)數(shù)據(jù)的快速積累。Foursquare在2016年宣布，它已經(jīng)在全球范圍內(nèi)收錄了超過1億個(gè)興趣點(diǎn)，其中包括關(guān)于這些興趣點(diǎn)的6 億多張照片和8 700 多萬個(gè)評(píng)論等，而所有這些數(shù)據(jù)都是由5 000 多萬用戶分享的?；谖恢玫纳缃痪W(wǎng)絡(luò)提供如下相關(guān)服務(wù)：允許用戶以簽到的方式與其他用戶分享興趣點(diǎn)相關(guān)照片、興趣點(diǎn)的評(píng)論等生活經(jīng)歷。上述這些豐富的數(shù)據(jù)對(duì)于理解用戶對(duì)興趣點(diǎn)的偏好，給用戶推薦個(gè)性化的興趣點(diǎn)都提供了良好的機(jī)會(huì)。與大多數(shù)推薦系統(tǒng)一樣，興趣點(diǎn)推薦對(duì)用戶和位置服務(wù)提供商都很重要，因?yàn)樗粌H可以幫助用戶探索新的或相關(guān)的位置，還可以幫助位置服務(wù)提供商針對(duì)特定的興趣點(diǎn)進(jìn)行精確營(yíng)銷繼而提高企業(yè)利潤(rùn)[1]。傳統(tǒng)的興趣點(diǎn)推薦系統(tǒng)將興趣點(diǎn)視為普通項(xiàng)目（例如書籍、電影），可以很方便地使用經(jīng)典協(xié)同過濾（CF）的算法[2]來進(jìn)行推薦。CF 的主要思想是通過對(duì)用戶-項(xiàng)目交互行為進(jìn)行建模來了解潛在的用戶偏好和項(xiàng)目特征。根據(jù)數(shù)據(jù)的固有特征，推薦模型主要利用顯式（用戶對(duì)于項(xiàng)目的明確反饋，例如5星評(píng)級(jí)）或隱式反饋[3]（例如，用戶購(gòu)買歷史、點(diǎn)擊和瀏覽日志）進(jìn)行推薦。大多數(shù)傳統(tǒng)的CF 方法都是基于顯式反饋，即用戶給出的項(xiàng)目評(píng)級(jí)。不同于傳統(tǒng)推薦系統(tǒng)，在興趣點(diǎn)推薦系統(tǒng)中，研究人員們更偏好基于隱式反饋（例如，簽到日志等）來預(yù)測(cè)用戶對(duì)于興趣點(diǎn)的偏好[4]。然而，在基于隱式反饋的推薦場(chǎng)景中，由于只能觀察到正反饋，大多數(shù)研究工作將負(fù)反饋和未知反饋混合在一起作為負(fù)反饋（顯然，將負(fù)反饋和未知反饋分開是十分必要的）[5]，因此，基于隱式反饋的個(gè)性化興趣點(diǎn)推薦算法更具挑戰(zhàn)性。

為了克服上述挑戰(zhàn)，近年來研究人員提出了一些基于隱式反饋的興趣點(diǎn)推薦算法。但是，已有的這些基于隱式反饋的興趣點(diǎn)推薦算法大多存在如下的問題：

（1）由于興趣點(diǎn)推薦可以看作OCCF問題[6]。因此，大多數(shù)傳統(tǒng)興趣點(diǎn)推薦算法簡(jiǎn)化了用戶和興趣點(diǎn)之間的隱式交互。換而言之，無論用戶與興趣點(diǎn)簽到多少次，他們都使用二進(jìn)制來表示用戶是否已簽到興趣點(diǎn)。然而，用戶的簽到頻率反映了用戶對(duì)興趣點(diǎn)的偏好程度。用戶在興趣點(diǎn)簽到次數(shù)越多，用戶可能更加偏好此興趣點(diǎn)。顯然，傳統(tǒng)興趣點(diǎn)推薦算法的簡(jiǎn)化策略不能幫助推薦算法準(zhǔn)確捕捉用戶對(duì)興趣點(diǎn)的偏好[7]，這在某種程度上導(dǎo)致了有效信息的丟失。

（2）基于矩陣分解的興趣點(diǎn)推薦算法把簽到頻率數(shù)據(jù)和傳統(tǒng)推薦系統(tǒng)中的評(píng)分?jǐn)?shù)據(jù)等同看待，使用高斯分布模型建模用戶的簽到行為。實(shí)際上，高斯分布適合建模用戶的評(píng)分行為，但是不適合建模用戶的簽到行為。正如文獻(xiàn)[8]所指，泊松分解模型在模擬簽到頻率數(shù)據(jù)方面比傳統(tǒng)的矩陣分解模型更好，也更加符合現(xiàn)實(shí)中用戶簽到的實(shí)際行為。顯然，綜上所述，高斯分布的使用也會(huì)導(dǎo)致有效信息的丟失。

（3）大多數(shù)基于CF 的興趣點(diǎn)推薦模型使用線性交互函數(shù)來模擬用戶潛在特征與興趣點(diǎn)潛在特征之間的交互作用[9-11]。然而，如文獻(xiàn)[12]中所指出的，線性交互函數(shù)的表達(dá)性能過于有限，無法捕捉用戶-項(xiàng)目之間交互的復(fù)雜結(jié)構(gòu)。近年來，深度學(xué)習(xí)通過學(xué)習(xí)一種深層次非線性網(wǎng)絡(luò)結(jié)構(gòu)，能夠更加精準(zhǔn)地獲取用戶和項(xiàng)目的深層次特征表示，從而為推薦系統(tǒng)的研究帶來了新的機(jī)遇。于是，He等人[12]提出了一個(gè)名為NCF的通用框架，它采用多層感知器的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)從交互數(shù)據(jù)中學(xué)習(xí)非線性交互函數(shù)，從而有效地捕獲交互之間復(fù)雜作用。然而，NCF受到如下2個(gè)限制：（1）NCF中采用的逐點(diǎn)學(xué)習(xí)方法容易受到數(shù)據(jù)稀疏性問題的影響，從而限制了其推薦性能的進(jìn)一步提高；（2）NCF 也將所有未觀察到用戶-項(xiàng)目間的相互作用標(biāo)記為負(fù)反饋，因此，NCF的負(fù)反饋的數(shù)量較多而正反饋的數(shù)量相對(duì)較少，也會(huì)造成嚴(yán)重的類不平衡問題[13]。

因此，為了解決以上問題，本文在基于排序的泊松分解模型基礎(chǔ)上融合一種混合神經(jīng)網(wǎng)絡(luò)模型，從而提出了一種個(gè)性化興趣點(diǎn)推薦算法，稱為HNNCRPFM。具體而言，HNNCRPFM 算法將基于排序的泊松分解模型與混合神經(jīng)網(wǎng)絡(luò)相結(jié)合提供興趣點(diǎn)推薦服務(wù)。利用一種基于貝葉斯成對(duì)排序泊松分解模型建模用戶對(duì)于興趣點(diǎn)的簽到，不再將用戶-興趣點(diǎn)簽到頻率矩陣簡(jiǎn)化為0/1矩陣，而基于泊松分布模型建模也更加符合用戶實(shí)際簽到行為，因此，基于貝葉斯的成對(duì)排序標(biāo)準(zhǔn)和泊松分解模型的應(yīng)用避免了有效信息丟失。鑒于神經(jīng)網(wǎng)絡(luò)所提供的強(qiáng)大學(xué)習(xí)能力，提出利用一種混合神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)交互用戶-興趣點(diǎn)之間的潛在特征，從而更加高效地捕捉用戶-興趣點(diǎn)之間的交互作用。最后將上述2 個(gè)模型進(jìn)行融合，得到一個(gè)統(tǒng)一的推薦模型來構(gòu)建用戶對(duì)興趣點(diǎn)的偏好順序，達(dá)到為每一個(gè)用戶定制個(gè)性化推薦列表的目的。

本文貢獻(xiàn)如下：

（1）為了捕捉復(fù)雜的相互作用結(jié)構(gòu)，本文提出一種基于混合神經(jīng)網(wǎng)絡(luò)的方法來學(xué)習(xí)用戶-興趣點(diǎn)之間復(fù)雜的非線性用戶-興趣點(diǎn)交互關(guān)系，從而發(fā)現(xiàn)更多用戶-興趣點(diǎn)之間隱藏的相關(guān)作用，有效緩解類不平衡問題。

（2）本文采用了一種基于用戶簽到數(shù)據(jù)（隱式反饋數(shù)據(jù)）的統(tǒng)一推薦算法框架融合上述混合神經(jīng)網(wǎng)絡(luò)與基于貝葉斯排序的泊松分解模型，從而有效地改善了推薦過程中的數(shù)據(jù)稀疏性問題，同時(shí)基于泊松分布的建模相對(duì)比基于高斯分布的建模而言，更好地模擬了用戶對(duì)于興趣點(diǎn)的簽到行為，避免了有效信息的丟失。

（3）本文基于兩個(gè)數(shù)據(jù)集進(jìn)行了大量實(shí)驗(yàn)。本文的實(shí)驗(yàn)結(jié)果表明，HNNCRPFM 優(yōu)于主流先進(jìn)的興趣點(diǎn)推薦算法。

2 相關(guān)工作

本文的工作涉及三個(gè)方面的相關(guān)研究工作，即興趣點(diǎn)推薦、神經(jīng)網(wǎng)絡(luò)和排序?qū)W習(xí)。下面本文分三個(gè)部分回顧這三個(gè)研究領(lǐng)域的最新進(jìn)展。

2.1 興趣點(diǎn)推薦

傳統(tǒng)的協(xié)同過濾（CF）技術(shù)已被廣泛研究用于POI推薦。Ye 等人基于朋友對(duì)于用戶偏好的影響，提出了基于朋友的協(xié)同過濾（FCF）方法用于POI推薦[14]。然后證明時(shí)間上下文信息和地理信息對(duì)興趣點(diǎn)推薦的推薦結(jié)果有著很深的影響[15-16]。在文獻(xiàn)[17]中，通過考慮POI轉(zhuǎn)換和距離約束的一階馬爾可夫鏈，提出了基于張量的FPMC-LR 模型。Feng 等人[18]將時(shí)序信息、個(gè)人偏好和地理影響整合到個(gè)性化排名度量嵌入模型中，以提高推薦性能。這些工作都是基于傳統(tǒng)的CF模型捕捉用戶和POI之間的交互來構(gòu)建推薦模型。任星怡等人[19]提出了一種用于POI 推薦的上下文感知概率矩陣分解方法。該方法有效整合了文本信息、地理信息、社會(huì)信息，分類信息和流行度信息等因素從而提供興趣點(diǎn)服務(wù)。盧露等人[20]則提出一種基于主題模型的興趣點(diǎn)推薦算法，在推薦過程中同時(shí)考慮了用戶的偏好分布和興趣點(diǎn)的主題分布，確保當(dāng)用戶面對(duì)新的興趣點(diǎn)時(shí)，也能獲得較好的推薦結(jié)果。李心茹等人[21]針對(duì)興趣點(diǎn)推薦過程中存在的冷啟動(dòng)問題和數(shù)據(jù)稀疏性問題，提出利用潛在的狄利克雷分配主題模型挖掘用戶的興趣話題，融合簽到數(shù)據(jù)進(jìn)行相似度度量，解決冷啟動(dòng)問題。在推薦生成階段提出了一種動(dòng)態(tài)預(yù)測(cè)法，動(dòng)態(tài)填補(bǔ)缺失的訪問概率，進(jìn)一步緩解數(shù)據(jù)稀疏性問題。但是在文獻(xiàn)[22]中，Zhao等人提出了一種基于排名的成對(duì)張量分解框架，名為STELLAR。STELLAR 結(jié)合了細(xì)粒度的時(shí)間背景（即月、工作日/周末和小時(shí)）并帶來了顯著的改進(jìn)。所提出的貝葉斯概率張量因子分解框架，從用戶的隱性反饋中建模用戶對(duì)于興趣點(diǎn)的偏好。顯然，具有隱式反饋的推薦系統(tǒng)比具有明確顯式反饋的興趣點(diǎn)推薦系統(tǒng)更實(shí)用。因此，最近關(guān)于興趣點(diǎn)推薦的研究方向已經(jīng)轉(zhuǎn)向基于隱式反饋中學(xué)習(xí)用戶的偏好，而不是從顯式反饋推斷用戶的品味。

2.2 神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)技術(shù)在圖像處理、自然語言理解、語音識(shí)別領(lǐng)域取得了巨大成功。許多研究工作都在融合神經(jīng)網(wǎng)絡(luò)與基于CF 的推薦任務(wù)，從而更好提高推薦系統(tǒng)的性能。有些研究工作側(cè)重于利用自動(dòng)編碼器[23-24]或CNN等深度學(xué)習(xí)模型來模擬輔助信息（文本或圖像），以建模潛在用戶或項(xiàng)目特征。典型的方法包括協(xié)同深度學(xué)習(xí)（CDL）[24]和卷積矩陣分解（ConvMF）[25]。前者使用SDAE 來建模文本，而后者則認(rèn)為像SDAE 這樣的詞袋模型存在固有的缺點(diǎn)，轉(zhuǎn)而提出使用CNN來學(xué)習(xí)相關(guān)潛在特征。另外有些研究工作則基于神經(jīng)網(wǎng)絡(luò)直接進(jìn)行推薦。例如，Gong等人[26]提出了一種基于注意力機(jī)制的CNN 推薦系統(tǒng)，用于微博中的哈希標(biāo)簽推薦。它將哈希標(biāo)簽推薦視為多類別分類問題。文獻(xiàn)[27]則提出了一種建立在RNN上的非參數(shù)推薦模型。它能夠模擬項(xiàng)目的時(shí)間性演變和用戶偏好隨時(shí)間的變化。它使用兩個(gè)LSTM網(wǎng)絡(luò)作為構(gòu)建塊來模擬動(dòng)態(tài)用戶狀態(tài)的變化。

2.3 排序?qū)W習(xí)

個(gè)性化推薦系統(tǒng)的大部分研究關(guān)注已轉(zhuǎn)向利用隱式用戶反饋進(jìn)行推薦。 由于隱式數(shù)據(jù)集提供極其稀疏的單類反饋，因此基于隱式反饋推斷用戶偏好極具挑戰(zhàn)。而本質(zhì)上來說，基于CF 的方法都是基于逐點(diǎn)回歸的理論來預(yù)測(cè)用戶的偏好。為了解決這個(gè)挑戰(zhàn)，現(xiàn)有研究工作大多采用基于成對(duì)的方法。

在推薦模型中，最具代表性的基于成對(duì)方法的模型是BPR 模型[28]。BPR 的目標(biāo)函數(shù)是最小化隱式用戶反饋引起的項(xiàng)目成對(duì)排名損失。本文將BPR模型的擴(kuò)展分為以下兩個(gè)方面進(jìn)行綜述：（1）多重隱含反饋的BPR。Pan等人[29]通過調(diào)整成對(duì)偏好的置信水平來擴(kuò)展BPR 以適應(yīng)不同的隱式反饋。后來，Qiu 等人[30]研究了輔助反饋與目標(biāo)反饋之間的相關(guān)性，并通過考慮不同隱式反饋的特征提出了一個(gè)綜合模型。雖然這對(duì)于提高原始BPR模型的性能是有效的，但它們不一定需要異構(gòu)所有的隱式反饋。（2）將BPR模型與神經(jīng)網(wǎng)絡(luò)集成。作為一種混合方法，He等人[31]提出了一種視覺BPR模型，其中CNN 用于提取視覺特征。Ding 等人[32]通過使用CNN 從社交網(wǎng)絡(luò)中提取用戶特征，從而將BPR 與神經(jīng)網(wǎng)絡(luò)結(jié)合起來。

本文提出的HNNCRPFM 算法在如下幾個(gè)方面與前人的研究工作[7，33]有很大不同。首先，文獻(xiàn)[7]的工作只是僅僅將BPR模型和泊松分解模型簡(jiǎn)單的結(jié)合，通過這種方式，文獻(xiàn)[7]的工作有效緩解了數(shù)據(jù)稀疏性問題。但是，由于BPR模型仍然依賴于簡(jiǎn)單的矩陣分解，所以它無法正確捕捉復(fù)雜的潛在用戶-興趣點(diǎn)交互。另外，BPR 模型將所有未知反饋視為負(fù)面反饋，因此文獻(xiàn)[7]仍然無法緩解類不平衡問題。相對(duì)比，HNNCRPFM 是一個(gè)基于混合神經(jīng)網(wǎng)絡(luò)成對(duì)排序的興趣點(diǎn)推薦算法，混合神經(jīng)網(wǎng)絡(luò)具有深層次的非線性網(wǎng)絡(luò)結(jié)構(gòu)，具有強(qiáng)大的學(xué)習(xí)數(shù)據(jù)本質(zhì)特征的能力，能夠獲取用戶和興趣點(diǎn)的深層次特征表示。其次，與普遍采用基于多層感知器捕捉非線性交互特征方法[33]不同，本文采用一種混合神經(jīng)網(wǎng)絡(luò)來捕捉深度非線性特征，有效地緩解了類不平衡問題。本文的實(shí)驗(yàn)結(jié)果表明，HNNCRPFM 算法相比現(xiàn)有主流先進(jìn)興趣點(diǎn)推薦方法而言，展示了更加卓越的性能。

3 預(yù)備知識(shí)與問題

3.1 問題

POI 推薦問題是在給定用戶-POI 簽到記錄的情況下給用戶推薦POI。讓U={u1,u2,…,uM}表示一組用戶，其中每個(gè)用戶擁有一個(gè)位置lj。讓L={l1,l2,…,lM}表示一組POI，其中每個(gè)POI擁有一個(gè)地理標(biāo)識(shí)，這個(gè)地理標(biāo)識(shí)由<經(jīng)度，緯度>表示。用戶簽到頻率反映了用戶對(duì)興趣點(diǎn)的偏好程度。現(xiàn)實(shí)中，用戶簽到頻率數(shù)據(jù)是十分稀疏。

3.2 泊松分解

正如文獻(xiàn)[34]所指出，泊松分布是更合適作為基于隱式反饋的興趣點(diǎn)推薦建模。如圖1所示，泊松分解模型作為概率模型，假設(shè)用戶簽到興趣點(diǎn)分布服從泊松分布，即期望fij:rij～Poisson(fij)，期望矩陣F被分解為用戶潛在因子矩陣UK×M和興趣點(diǎn)潛在因子矩陣LK×N。元素uik∈U和元素ljk∈L假設(shè)服從 Gamma 先驗(yàn)分布。然后本文得到如下生成過程。

圖1 泊松分解概率圖模型

（1）生成用戶潛在因子：uik～Gamma(αU,βU)。

（2）生成興趣點(diǎn)潛在因子：ljk～Gamma(αL,βL)。

（3）得到rij～Poisson(uikTljk)。

因此，基于期望矩陣F和Gamma 先驗(yàn)分布應(yīng)用最大后驗(yàn)（MAP）估計(jì)得到如下公式：

其中：

其中，參數(shù)αU，αL和βU，βL為Gamma 分布的形狀參數(shù)和尺度參數(shù)，Γ(· )為伽瑪函數(shù)。

基于用戶和興趣點(diǎn)潛在因子的后驗(yàn)分布，得到如下目標(biāo)函數(shù)：

基于隨機(jī)梯度下降算法學(xué)習(xí)用戶潛在因子矩陣U和興趣點(diǎn)潛在因子矩陣L，得到如下公式：

4 HNNCRPFM模型

如文獻(xiàn)[12]中所指出的，線性函數(shù)的表達(dá)性是有限的，可能不足以捕獲用戶交互的復(fù)雜結(jié)構(gòu)，這阻礙了基于排序的泊松分解模型的性能。為了使得泊松分解模型具有更好的捕捉復(fù)雜用戶-興趣點(diǎn)交互結(jié)構(gòu)。本文的動(dòng)機(jī)是通過基于排序的泊松分解模型建模隱式頻率反饋來學(xué)習(xí)用戶偏好和興趣點(diǎn)特征，同時(shí)通過一種混合神經(jīng)網(wǎng)絡(luò)對(duì)用戶-興趣點(diǎn)交互的復(fù)雜結(jié)構(gòu)進(jìn)行精準(zhǔn)建模。因此，本文在提出一種基于排序泊松興趣點(diǎn)模型之上融合混合神經(jīng)網(wǎng)絡(luò)的個(gè)性化排排序模型，稱為HNNCRPFM。

該模型賦予了基于排序的泊松因子模型具有高水平的非線性捕捉能力。在接下來的部分中，詳細(xì)闡述本文提出的模型。

4.1 基于混合神經(jīng)網(wǎng)絡(luò)的協(xié)同排序模型

在本節(jié)中，首先提出了一個(gè)基于混合神經(jīng)網(wǎng)絡(luò)的協(xié)同排序模型，如圖2所示。如文獻(xiàn)[12]中所指出的，線性函數(shù)的表達(dá)性是有限的，可能不足以捕獲用戶交互的復(fù)雜結(jié)構(gòu)，這阻礙了基于排序的泊松因子模型的性能。因此本文采用非線性函數(shù)——一種新的混合網(wǎng)絡(luò)進(jìn)行建模。而本文設(shè)計(jì)的這種新的混合神經(jīng)網(wǎng)絡(luò)受到廣度和深度學(xué)習(xí)（Wide & Deep Learning）方法思想的啟發(fā)。該方法首次提出是為了給谷歌應(yīng)用商店提供App 推薦[35]。廣度學(xué)習(xí)組件是一個(gè)單層感知器，是一個(gè)線性模型，具有從歷史數(shù)據(jù)中捕捉直接特征的能力；而深度學(xué)習(xí)組件是MLP，能夠生成一般的表示來捕獲泛化。Guo等人[36]提出了深度分解機(jī)（DeepFM）作為廣度和深度學(xué)習(xí)（Wide & Deep Learning）方法思想的典型應(yīng)用。DeepFM 是一個(gè)端到端的模型，結(jié)合了因式分解機(jī)和MLP。它能夠通過深度神經(jīng)網(wǎng)絡(luò)對(duì)高階特征交互進(jìn)行建模，通過因式分解機(jī)對(duì)低階特征交互進(jìn)行建模。因此，設(shè)計(jì)思路：首先采用基于神經(jīng)網(wǎng)絡(luò)模型，即一種淺層模型，從而應(yīng)用線性映射來模擬潛在用戶和項(xiàng)目向量的相互作用。同時(shí)采用標(biāo)準(zhǔn)MLP來捕獲用戶-項(xiàng)目潛在結(jié)構(gòu)。MLP的多層特性使其能夠?qū)W習(xí)各種級(jí)別的用戶項(xiàng)目潛在結(jié)構(gòu)，尤其是潛在特征之間的非線性相互作用。而如同本文文獻(xiàn)[12]指出，簡(jiǎn)單的連接潛在特征無法準(zhǔn)確捕捉用戶-項(xiàng)目潛在結(jié)構(gòu)，于是，在連接的向量上添加了隱藏層。通過將上述兩個(gè)模型融合在一起，讓上述兩個(gè)模型共享相同的嵌入層，得到了最終本文提出的混合神經(jīng)網(wǎng)絡(luò)。這個(gè)混合神經(jīng)網(wǎng)絡(luò)同時(shí)具有線性和非線性優(yōu)勢(shì)，使得最終的推薦系統(tǒng)提高了推薦的準(zhǔn)確性和多樣性。如圖2 本文的混合神經(jīng)網(wǎng)絡(luò)的協(xié)同排序模型采用如下結(jié)構(gòu)。左邊模塊部分使用神經(jīng)網(wǎng)絡(luò)，基于用戶與興趣點(diǎn)潛在向量之間的元素乘積來捕獲相關(guān)特征，右邊模塊部分則利用標(biāo)準(zhǔn)MLP的多層特性來學(xué)習(xí)用戶和興趣點(diǎn)之間的潛在特征。然后，將左右兩個(gè)模塊部分進(jìn)行連接，即讓它們獨(dú)立地使用不同的嵌入層，再結(jié)合各自學(xué)習(xí)到的交互函數(shù)的輸出融合在一起。這樣使得應(yīng)用線性映射來模擬潛在用戶和興趣點(diǎn)向量的相互作用，同時(shí)應(yīng)用非線性函數(shù)來模擬特征的潛在結(jié)構(gòu)。將它們?nèi)诤显谝黄鹂梢栽黾幽Ｐ偷娜萘?，同時(shí)防止過度擬合。

圖2 基于混合神經(jīng)網(wǎng)絡(luò)的協(xié)同排序模型體系結(jié)構(gòu)嵌入層

基于混合神經(jīng)網(wǎng)絡(luò)的協(xié)同排序模型的網(wǎng)絡(luò)結(jié)構(gòu)可以分為嵌入層、隱藏層和輸出層三層來描述。

嵌入層是為了把用戶和興趣點(diǎn)都轉(zhuǎn)化到共享的低維潛在特征空間中，獲得每個(gè)用戶和每個(gè)興趣點(diǎn)的稠密向量表示。形式上就是把從輸入層中得到的（用戶、觀察到的簽到興趣點(diǎn)、未觀察到的興趣點(diǎn)）三元組(u,li,lj)，然后轉(zhuǎn)換為三個(gè)嵌入向量Uu、Li、Lj。

隱藏層，本文分兩個(gè)部分闡述基于混合神經(jīng)網(wǎng)絡(luò)的協(xié)同排序模型的隱藏層，先介紹左邊部分，然后介紹右邊部分。

（1）右邊部分模塊

如圖2，右邊部分的隱藏層是構(gòu)建在嵌入層之上的一組完全連接的網(wǎng)絡(luò)層（如圖2，右邊紅色和藍(lán)色部分所示）。嵌入層中得到的稠密向量串接在一起之后，能夠得到一個(gè)代表用戶偏好和興趣點(diǎn)屬性的連接向量，再將這個(gè)連接向量輸入隱藏層。隱藏層是使模型具有高度非線性相互作用能力的關(guān)鍵，尤其是最后一層隱藏層的大小，能夠決定模型的能力，稱之為預(yù)測(cè)因子。

假設(shè)N表示右邊部分隱藏層的層數(shù)，連接向量在隱藏層中一層一層的向前傳播，故可將交互函數(shù)z寫成：

在左邊部分的隱藏層中的具體傳播表示如下：

其中，zc(c=1,2,…,N)表示第c層的映射函數(shù)，w和τ分別表示權(quán)重矩陣和偏置向量，δ代表激活函數(shù)。本文選擇使用了ReLu函數(shù)作為隱藏層的激活函數(shù)。在網(wǎng)絡(luò)架構(gòu)方面，本文采用的是與文獻(xiàn)[12]相同的塔式模式。基于這種結(jié)構(gòu)，更高隱藏層能夠?yàn)橛脩艉团d趣點(diǎn)學(xué)習(xí)更多的抽象特征。

（2）左邊部分模塊

左邊部分其實(shí)是無隱藏層的，建立在嵌入層上面的一層是一個(gè)點(diǎn)乘的連接層。假設(shè)這一層的潛在向量是z1，那么將該向量投影到輸出層，得到輸出值xuij，得到如下公式：

其中，⊙是指兩個(gè)向量之間相應(yīng)元素之間做乘積。

預(yù)測(cè)層是整個(gè)基于混合神經(jīng)網(wǎng)絡(luò)的協(xié)同排序模型神經(jīng)網(wǎng)絡(luò)層次的最后一層，它能夠結(jié)合左邊和右邊2個(gè)部分的模塊各自學(xué)習(xí)到的交互函數(shù)的輸出，將它們?nèi)诤显谝黄?。預(yù)測(cè)層的輸出結(jié)果就是整個(gè)神經(jīng)網(wǎng)絡(luò)的輸出，輸出的預(yù)測(cè)值為ruij，表示通過這個(gè)模型訓(xùn)練得出的用戶u對(duì)興趣點(diǎn)li的偏好勝過對(duì)興趣點(diǎn)lj的程度。故整合公式（9）和公式（11），預(yù)測(cè)層的輸出值表示如下：

其中，xN-1代表右邊模塊的第N-1 層輸出層。這一層的激活函數(shù)使用sigmoid 函數(shù)，因?yàn)檫@樣就可以保證輸出值的范圍在 [0,1] 之間。這兩種左右兩個(gè)模塊的學(xué)習(xí)過程是不同的，它們的最優(yōu)嵌入維數(shù)和權(quán)值存在很大的差異。本文通過連接它們的最后一層隱藏層來融合這兩個(gè)模型，才使得左邊模塊和右邊模塊的實(shí)現(xiàn)獨(dú)立嵌入，因此，得到最終的輸出如下公式：

4.2 基于貝葉斯排序的泊松興趣點(diǎn)推薦模型

在實(shí)際的推薦系統(tǒng)中，用戶和興趣點(diǎn)之間的隱式交互通常以簽到頻率數(shù)據(jù)的形式顯示，這反映了用戶對(duì)興趣點(diǎn)的偏好程度。簽到交互次數(shù)越多，則說明用戶越偏好。傳統(tǒng)興趣點(diǎn)推薦模型通常將隱式頻率反饋簡(jiǎn)化為二進(jìn)制反饋，這在某種程度上導(dǎo)致信息丟失。泊松分解模型[34]用泊松似然代替概率矩陣分解中的常用高斯似然，這保證了潛在因子的非負(fù)性。此外，如文獻(xiàn)[34]中所指出的，泊松分解模型適用于對(duì)頻率數(shù)據(jù)建模，其顯示與隱式反饋交互類似的屬性。因此，在本文中采用泊松分解模型來建模用戶的簽到交互行為，并從隱式頻率反饋中學(xué)習(xí)潛在的用戶特征和興趣點(diǎn)特征。

如同文獻(xiàn)[7]，基于貝葉斯排序的泊松分解興趣點(diǎn)推薦模型結(jié)合了泊松分解模型和貝葉斯個(gè)性化排序，采用成對(duì)學(xué)習(xí)方法來學(xué)習(xí)用戶對(duì)于興趣點(diǎn)之間的偏好排名。具體來說，本文假設(shè)用戶對(duì)興趣點(diǎn)的偏好隨著簽到交互次數(shù)的增加而增加。該假設(shè)意味著三個(gè)方面：（1）觀察興趣點(diǎn)的偏好排名高于沒有觀察到的興趣點(diǎn)偏好排名；（2）如果觀察到兩個(gè)興趣點(diǎn)，則用戶更偏好基于其簽到交互次數(shù)較多的興趣點(diǎn)而不是簽到交互次數(shù)較少的興趣點(diǎn)；（3）對(duì)于兩個(gè)沒有觀察到的興趣點(diǎn)，本文無法推斷出用戶對(duì)它們的偏好順序。設(shè)rui表示用戶u和興趣點(diǎn)li之間的交互次數(shù)，ruj表示用戶u和興趣點(diǎn)lj之間的交互次數(shù)。如果rui>0 和ruj= 0，則用戶u更喜歡興趣點(diǎn)li超過興趣點(diǎn)lj；即li?ulj，其中?u表示用戶u和興趣點(diǎn)li和lj之間的偏好關(guān)系。如果rui-ruj≥?和ruj>0，則li?ulj，其中?表示閾值參數(shù)。換句話說，如果rui和ruj之間的差異超過閾值?，本文就假設(shè)用戶對(duì)于li的偏好勝過對(duì)于興趣點(diǎn)lj的偏好。形式上，訓(xùn)練集DL（即三元組(u,li,lj)）定義如下：

給定用戶u和興趣點(diǎn)li?ulj之間的偏好關(guān)系，本文最大化后驗(yàn)概率Pr(Ω|?u)來學(xué)習(xí)潛在用戶和興趣點(diǎn)特征。Ω表示模型參數(shù)；假定所有用戶彼此獨(dú)立，并且還假設(shè)特定用戶的一個(gè)（用戶，興趣點(diǎn)）對(duì)的偏好排名獨(dú)立于其他（用戶，興趣點(diǎn)）對(duì)的排名。 同時(shí)，基于偏好關(guān)系的總體性和反對(duì)稱性，得到所有用戶的似然函數(shù)，如下：

其中A(x)是指示函數(shù)。假設(shè)Pr(li?ulj|Ω)表示用戶u更喜歡興趣點(diǎn)li超過興趣點(diǎn)lj的概率，則得到如下公式：

其中ρ(· )是邏輯sigmoid函數(shù)。(Ω)是模型參數(shù)的實(shí)數(shù)值函數(shù)，捕獲用戶u，興趣點(diǎn)li和興趣點(diǎn)lj之間的關(guān)系，定義如下：

因此，假定潛在用戶和興趣點(diǎn)特征向量的服從Gamma先驗(yàn)分布，根據(jù)公式（1）～（4），得到如下公式：

因此，根據(jù)公式（5），最大化后驗(yàn)概率的對(duì)數(shù)，最終得到基于排序的泊松興趣點(diǎn)模型的目標(biāo)函數(shù)如下：

4.3 HNNCRPFM模型

文獻(xiàn)[11]指出預(yù)測(cè)分?jǐn)?shù)反映了用戶對(duì)興趣點(diǎn)的偏好。 圖3 是HNNCRPFM 模型架構(gòu)。因此，基于公式（13），在獲得基于正反饋（用戶，興趣點(diǎn)）對(duì)和負(fù)反饋（用戶，興趣點(diǎn)）對(duì)的預(yù)測(cè)分?jǐn)?shù)（即，和）實(shí)數(shù)值函數(shù)，即根據(jù)公式（13）得到：

圖3 HNNCRPFM模型架構(gòu)

本文用泊松分布初始化用戶嵌入矩陣U和興趣點(diǎn)嵌入矩陣L，泊松分布由參數(shù)αk和參數(shù)βk參數(shù)化。在訓(xùn)練階段，根據(jù)訓(xùn)練集DL的構(gòu)造規(guī)則，本文在每次迭代中統(tǒng)一采樣三元組(u,li,lj)并控制每個(gè)正例的負(fù)反饋數(shù)量。在對(duì)這些采樣的三元組進(jìn)行混洗后，將一批三元組輸入到本文的神經(jīng)個(gè)性化排序模型中。對(duì)于優(yōu)化算法，本文采用Adam[37]來更新梯度。

本文提出的推薦算法計(jì)算主要消耗涉及兩個(gè)部分：基于排序的泊松分布和混合神經(jīng)協(xié)同排序模型。

根據(jù)文獻(xiàn)[8，28]，基于排序泊松分解過程中學(xué)習(xí)潛在特征向量的計(jì)算耗費(fèi)在于更新目標(biāo)函數(shù)的時(shí)間復(fù)雜度為O(ζ?ι??)，其中，ζ,ι分別是正采樣和負(fù)采樣的數(shù)量，?是潛在向量的維度。同時(shí)，計(jì)算一個(gè)元組的得分消耗是O(?)。由于非零觀察項(xiàng)的數(shù)量非常稀少，學(xué)習(xí)潛在因子的計(jì)算耗費(fèi)相對(duì)于樣本數(shù)量而言是快速和線性的。因此，每次迭代更新潛在因子的計(jì)算耗費(fèi)為O(ζ?ι??)。

對(duì)于混合神經(jīng)網(wǎng)絡(luò)協(xié)同排序模型而言，文獻(xiàn)[33]中基于多層感知器（MLP）作為一種學(xué)習(xí)非線性用戶-項(xiàng)目交互關(guān)系的經(jīng)典神經(jīng)網(wǎng)絡(luò)，根據(jù)文獻(xiàn)[12]的分析，所提出基于MLP 網(wǎng)絡(luò)的NRPFM 模型的時(shí)間復(fù)雜度為T(n)=n2。而文獻(xiàn)[38]中，提出基于多個(gè)疊加的神經(jīng)網(wǎng)絡(luò)的隱式反饋個(gè)性化成對(duì)排序模型，其時(shí)間復(fù)雜度也為T(n)=n2。而在本文所提出的混合神經(jīng)網(wǎng)絡(luò)協(xié)同排序模型中，MLP 只是本文所提出的混合神經(jīng)網(wǎng)絡(luò)協(xié)同排序模型的一部分，在混合神經(jīng)網(wǎng)絡(luò)協(xié)同排序模型訓(xùn)練過程中，為了優(yōu)化模型，需要對(duì)所有的數(shù)據(jù)集訓(xùn)練ν次，在每一次訓(xùn)練過程中，都要進(jìn)入隱藏層進(jìn)行循環(huán)ξ次。則訓(xùn)練過程中的時(shí)間復(fù)雜度為T(n)=ξ×ν=n2。除了上述步驟，本文提出的模型，還需要對(duì)用戶未觀察到的興趣點(diǎn)的預(yù)測(cè)分?jǐn)?shù)進(jìn)行逐一比較，這里需要循環(huán)的次數(shù)為每個(gè)用戶未觀察到的項(xiàng)目的數(shù)量，最終本文提出的混合神經(jīng)網(wǎng)絡(luò)協(xié)同排序模型的時(shí)間復(fù)雜度為T(n)=n3。這也與本文的模型的結(jié)構(gòu)嵌入層、隱藏層和預(yù)測(cè)層相符合。

5 實(shí)驗(yàn)

5.1 實(shí)驗(yàn)數(shù)據(jù)集

本文使用兩個(gè)公開數(shù)據(jù)集Foursquare①http://www.ntu.edu.sg/home/gaocong/datacode.htm和Gowalla①來評(píng)估本文提出推薦算法的性能。Foursquare（https：//foursquare.com/）和Gowalla（http：//gowalla.com/）是兩個(gè)受歡迎的基于位置的社交網(wǎng)絡(luò)（LBSN）。在Foursquare和Gowalla中，用戶在興趣點(diǎn)（例如，餐館、旅游景點(diǎn)和商店）的簽到方面呈現(xiàn)他們的偏好。換句話說，用戶通過簽到與興趣點(diǎn)交互，在某種程度上簽到的次數(shù)表示用戶對(duì)興趣點(diǎn)的偏好程度。

在Foursquare 數(shù)據(jù)集中，所有簽到都是在2010 年8月至2011年7月在新加坡內(nèi)進(jìn)行的。Gowalla數(shù)據(jù)集的簽到都是在2009年2月至2010年10月在美國(guó)加利福尼亞州和內(nèi)華達(dá)州內(nèi)進(jìn)行。在這兩個(gè)數(shù)據(jù)集中，在少于5個(gè)位置簽到已被刪除，一個(gè)用戶應(yīng)該至少訪問5個(gè)不同的興趣點(diǎn)。Foursquare 數(shù)據(jù)集包含來自2 321 個(gè)用戶的5 596個(gè)位置的194 108個(gè)簽到。Gowalla數(shù)據(jù)集包括來自5 000 個(gè)用戶的23 997 個(gè)位置的242 172 個(gè)簽到。Foursquare和Gowalla數(shù)據(jù)集的稀疏度分別為99.18%和99.86%。顯然，F(xiàn)oursquare 和Gowalla 數(shù)據(jù)集都非常稀疏。在Foursquare 數(shù)據(jù)集中，每個(gè)用戶平均簽到45.57個(gè)位置。在Gowalla，每個(gè)用戶平均簽到了32.13 個(gè)位置。Foursquare和Gowalla的具體統(tǒng)計(jì)數(shù)據(jù)如表1。

表1 Foursquare和Gowalla數(shù)據(jù)集的統(tǒng)計(jì)

5.2 實(shí)驗(yàn)評(píng)估指標(biāo)

本文使用兩個(gè)廣泛使用的排序度量來評(píng)估不同推薦算法的性能，即precisionu@m和recallu@m，其中m是排名推薦列表的長(zhǎng)度。 給定用戶u，準(zhǔn)確度和召回率定義如下：

其中，是用戶的top-k推薦興趣點(diǎn)列表，而是用戶u在測(cè)試集中的訪問興趣點(diǎn)列表。整個(gè)推薦算法的最終準(zhǔn)確度和召回率分別通過對(duì)所有用戶的準(zhǔn)確度和召回值進(jìn)行平均來計(jì)算。對(duì)于這兩個(gè)指標(biāo)，本文設(shè)置m=3、5、10來評(píng)估本文實(shí)驗(yàn)中的性能。

5.3 對(duì)比方法

為了證明本文所提出模型的有效性，本文與以下幾個(gè)主流POI推薦方法進(jìn)行比較。

（1）用于隱式反饋的傳統(tǒng)推薦算法

WRMF[3]：加權(quán)正則化矩陣分解，通過基于矩陣分解模型將不同的權(quán)值分配為觀察到的和未觀察到的簽到，然后最小化平方誤差損失。

BPRMF[28]：貝葉斯個(gè)性化排序，它采用BPR的標(biāo)準(zhǔn)來優(yōu)化了觀察和未觀察POI的偏好排序，采用逐對(duì)的方法來處理OCCF問題。

Rank-PFM[7]：一種基于BPR的泊松矩陣分解POI推薦方法。該方法使用泊松分布建模用戶簽到行為，用BPR標(biāo)準(zhǔn)優(yōu)化泊松矩陣分解的損失函數(shù)。

（2）基于神經(jīng)網(wǎng)絡(luò)的推薦算法

NeuMF[12]：NeuMF是利用深度神經(jīng)網(wǎng)絡(luò)基于隱式反饋的推薦算法，它在一個(gè)統(tǒng)一的框架中融合了廣義矩陣分解和多層感知器從而學(xué)習(xí)潛在特征，可以同時(shí)模擬潛在用戶特征和潛在項(xiàng)目特征之間的線性和非線性相互作用。

NRPFM[33]：用于具有隱式頻率反饋的協(xié)同過濾的神經(jīng)個(gè)性化排序模型，其將基于排序的泊松因子模型與MLP集成。

5.4 實(shí)驗(yàn)設(shè)置

為了進(jìn)行公平的比較，在本文的實(shí)驗(yàn)中，根據(jù)相關(guān)文獻(xiàn)的參考設(shè)定每種方法的最優(yōu)參數(shù)，從而保證每種方法都可以實(shí)現(xiàn)最佳性能。同時(shí)，采用統(tǒng)一的采樣策略來對(duì)用戶興趣點(diǎn)對(duì)進(jìn)行采樣以進(jìn)行模型訓(xùn)練。隱藏層作為模型中體現(xiàn)高度非線性相互作用能力的關(guān)鍵，尤其是最后一層隱藏層的大小，能夠決定模型的能力。增加隱藏層數(shù)可以降低網(wǎng)絡(luò)誤差，提高最終的精度，但也使神經(jīng)網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)的訓(xùn)練時(shí)間和出現(xiàn)“過擬合”的傾向。需要根據(jù)不同的需求以及場(chǎng)景進(jìn)行調(diào)整，對(duì)于不同模型而言，隱藏層的設(shè)置也不同。因此，結(jié)合文獻(xiàn)[12，33]中對(duì)應(yīng)隱藏層的設(shè)置和本文5.6.1小節(jié)的實(shí)驗(yàn)結(jié)果。對(duì)于BPR，λθ=0.001，對(duì)于WRMF 中，λ=0.001，α=1。對(duì)于NeuMF，本文采用具有三個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，其中每個(gè)隱藏層的大小為（32，16，8）。用戶和興趣點(diǎn)的嵌入大小等于第一個(gè)隱藏層的大小，即32。梯度下降超參數(shù)學(xué)習(xí)率和正則化參數(shù)分別設(shè)定為0.001 和0.001。對(duì)于Rank-PFM：αk=1，βk=0.2，k=1，2，…，10。Foursquare上λg=0.1，Gowalla上λg=0.3。對(duì)于NRPFM，本文初始化模型參數(shù)，αk=2，βk=0.2。其中，依然將隱藏層的數(shù)量設(shè)置為3，將每個(gè)隱藏層的大小設(shè)置為（32，16，8）。同時(shí)，本文將每個(gè)正實(shí)例的負(fù)樣本數(shù)設(shè)置為8，?=2，并采用批量大小為256的Adam作為優(yōu)化器。對(duì)于HNNCRPFM，批量大小設(shè)置為256，學(xué)習(xí)率設(shè)置為0.005，也選擇Adam算法來進(jìn)行優(yōu)化。采用負(fù)采樣率為1 進(jìn)行實(shí)驗(yàn)，即對(duì)每個(gè)正實(shí)例采樣一個(gè)負(fù)實(shí)例。在HNNCRPFM模型的右邊模塊部分中，使用四個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)，四個(gè)隱藏層都使用ReLu 函數(shù)作為激活函數(shù)。在本次實(shí)驗(yàn)中，在右邊模塊部分中隱藏層的結(jié)構(gòu)是（128，64，32，16）。對(duì)于本文中的泊松分解模型，本文使用Gamma分布初始化模型參數(shù)，αk=2，βk=0.2，F(xiàn)oursquare上λg=0.1，Gowalla上λg=0.3。對(duì)于本文模型的優(yōu)化過程中使用Dropout 技術(shù)，其中Dropout 概率設(shè)置為0.5。本文提出的模型是在配置Nvidia GeForce GTX 1080 Ti 顯卡的機(jī)器上運(yùn)行PyTorch 實(shí)現(xiàn)。實(shí)驗(yàn)中，隨機(jī)選擇數(shù)據(jù)集的20%作為測(cè)試數(shù)據(jù)集，其余80%的數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集。本文進(jìn)行5次數(shù)據(jù)分割，并在每個(gè)數(shù)據(jù)集的測(cè)試集上報(bào)告平均結(jié)果。類似的數(shù)據(jù)分區(qū)方法已被用于以前的工作[11]，以驗(yàn)證推薦的性能。

5.5 性能對(duì)比

從圖4和圖5中，本文得到如下觀察結(jié)論：

首先，所提出的HNNCRPFM 模型在所有指標(biāo)中的在兩個(gè)數(shù)據(jù)集上比相關(guān)主流先進(jìn)的POI 推薦算法表現(xiàn)的明顯更好。具體而言，HNNCRPFM 顯著優(yōu)于傳統(tǒng)的方法WRMF、BPRMF 和Rank-PFM。對(duì)比這兩種基于神經(jīng)網(wǎng)絡(luò)的方法（即NeuMF 和NRPFM），HNNCRPFM在Foursquare和Gowalla數(shù)據(jù)集也是性能領(lǐng)先的。這證明了本文提出模型中混合神經(jīng)網(wǎng)絡(luò)的有效性。在捕獲非線性用戶-興趣點(diǎn)交互關(guān)系時(shí)，將基于排序神經(jīng)網(wǎng)絡(luò)排序的泊松模型和基于混合神經(jīng)網(wǎng)絡(luò)模型進(jìn)行整合學(xué)習(xí)用戶對(duì)興趣點(diǎn)的偏好的排序模型，能夠有效提高推薦性能。原因如下：（1）混合神經(jīng)網(wǎng)絡(luò)中，左邊模塊應(yīng)用線性網(wǎng)絡(luò)映射來模擬潛在用戶和項(xiàng)目向量的相互作用，右邊模塊應(yīng)用非線性的神經(jīng)網(wǎng)絡(luò)來模擬特征的潛在結(jié)構(gòu)，通過將它們?nèi)诤显谝黄穑梢酝瑫r(shí)獲得在線性和非線性捕捉能力的優(yōu)勢(shì)；（2）允許左右2 個(gè)模塊學(xué)習(xí)單獨(dú)的嵌入，保證最佳嵌入維數(shù)和相關(guān)權(quán)重，然后通過連接它們的最后一個(gè)隱藏層來融合這兩個(gè)模型，使得最終的預(yù)測(cè)能力得到了提高；（3）混合神經(jīng)網(wǎng)絡(luò)的左邊模塊是一個(gè)僅具有限制能力的淺層學(xué)習(xí)模型，而右邊模塊是一個(gè)存在過度擬合風(fēng)險(xiǎn)的深層學(xué)習(xí)模型，將它們?nèi)诤显谝黄鹂梢栽黾幽Ｐ偷娜萘?，同時(shí)防止過度擬合。

圖4 基于Foursquare數(shù)據(jù)集的性能對(duì)比

圖5 基于Gowalla數(shù)據(jù)集的性能對(duì)比

其次，BPR 在兩個(gè)數(shù)據(jù)集上性能最差，因?yàn)锽PR 仍然依賴于簡(jiǎn)單的矩陣分解，所以它無法正確獲得復(fù)雜的潛在用戶/項(xiàng)目表示。另外，如何區(qū)分負(fù)面反饋和未知數(shù)，并沒有太多關(guān)注；BPR 將所有未知因素視為負(fù)面反饋。此外，在本文實(shí)驗(yàn)中，對(duì)于BPR模型采用均勻采樣的策略采樣用戶-興趣點(diǎn)對(duì)訓(xùn)練模型而不是采用單獨(dú)的采樣策略。這樣的結(jié)論在相關(guān)工作[13]中也觀察到了相同的現(xiàn)象。相比而言，WRMF與BPR性能相當(dāng)，一個(gè)可能的解釋就是WRMF通過給樣本正例和樣本負(fù)例賦值合適的權(quán)重，同時(shí)逐點(diǎn)的方式可能恰好擬合該數(shù)據(jù)集中的相關(guān)數(shù)據(jù)分布，但是由于WRMF 無法很好地緩解數(shù)據(jù)稀疏性問題，而使得其性能依然無法大幅超越BPR。Rank-PFM性能優(yōu)于WRMF和BPR，該結(jié)果表明泊松分解模型比矩陣分解模型更適合于用于隱式頻率反饋的建模，同時(shí)也更適合建模用戶的簽到行為，同時(shí)將BPR標(biāo)準(zhǔn)與泊松矩陣分解相結(jié)合，利用BPR標(biāo)準(zhǔn)來優(yōu)化了泊松矩陣分解的損失函數(shù)，利用未觀察到的數(shù)據(jù)來學(xué)習(xí)參數(shù)可以有效減輕數(shù)據(jù)稀疏性問題，最終更加準(zhǔn)確建模用戶隱式反饋信息，取得了不錯(cuò)的性能。

第三，基于神經(jīng)網(wǎng)絡(luò)的2 種方法NeuMF 和NRPFM明顯優(yōu)于上述3 種傳統(tǒng)方法。這表明非線性提取隱藏的高級(jí)特征的對(duì)于提升推薦性能的巨大幫助。而NeuMF和NRPFM性能落后于本文所提出的模型，這恰好說明了本文融合了線性的網(wǎng)絡(luò)層和非線性MLP的混合神經(jīng)網(wǎng)絡(luò)具有很高的特征捕捉能力。

總之，實(shí)驗(yàn)結(jié)果表明，所提出的HNNCRPFM 模型可以成功地學(xué)習(xí)用戶對(duì)于興趣點(diǎn)的偏好，從而導(dǎo)致POI推薦的具有優(yōu)越的推薦性能。

5.6 相關(guān)參數(shù)影響

5.6.1 混合神經(jīng)網(wǎng)絡(luò)層次的影響

在本文提出的方法中，本文使用混合神經(jīng)網(wǎng)絡(luò)從用戶的隱式反饋中學(xué)習(xí)用戶和興趣點(diǎn)特征向量之間的非線性交互。神經(jīng)網(wǎng)絡(luò)的深度是影響神經(jīng)網(wǎng)絡(luò)表達(dá)能力的重要因素。在本節(jié)中，本文進(jìn)行了一組實(shí)驗(yàn)來研究神經(jīng)網(wǎng)絡(luò)深度對(duì)推薦質(zhì)量的影響。本文將最后一個(gè)隱藏層的大小固定為8，并將神經(jīng)網(wǎng)絡(luò)的深度從0改為5。例如，如果神經(jīng)網(wǎng)絡(luò)的深度為4，則神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為8→16→32→64，用戶和興趣點(diǎn)的嵌入大小為64。其他參數(shù)保持與5.4節(jié)中描述的相同的設(shè)置。本文僅在圖6中呈現(xiàn)在Foursquare 數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果，而在Gowalla 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示出類似的趨勢(shì)。

圖6 基于不同層次的性能對(duì)比

HNNCRPFM-n表示具有n隱藏層的HNNCRPFM模型。從圖6 可以看出，雖然HNNCRPFM-2 只有比HNNCRPFM-1 多一個(gè)隱藏層，但它的性能好于HNNCRPFM-1。在Foursquare數(shù)據(jù)集上，當(dāng)層數(shù)小于3時(shí)，增加隱藏層的數(shù)量會(huì)帶來更好的性能；當(dāng)本文使用具有超過3 個(gè)以上隱藏層的HNNCRPFM 時(shí)，性能不會(huì)提高。該結(jié)果表明簡(jiǎn)單地連接潛在載體不足以捕獲潛在因子之間的相互作用。另外可能的原因是更深的神經(jīng)網(wǎng)絡(luò)使得HNNCRPFM具有更多可訓(xùn)練的參數(shù)，這些參數(shù)在訓(xùn)練數(shù)據(jù)有限的情況下相對(duì)難以學(xué)習(xí)，導(dǎo)致推薦性能的下降。

5.6.2 參數(shù) αk 和 βk 的影響

在本文提出的方法中，參數(shù)αk和βk用于初始化用戶嵌入矩陣和興趣點(diǎn)嵌入矩陣。固定βk=0.2，通過改變的值αk從1到5，觀察HNNCRPFM模型的性能變化；同時(shí)給定αk=2，改變?chǔ)耴值從0.1到0.5，觀察HNNCRPFM模型的性能變化。HNNCRPFM 基于Foursquare 數(shù)據(jù)集，不同αk和βk的結(jié)果分別展示在圖7和圖8。

圖7 αk 的影響

圖8 βk 的影響

可以看到，αk和βk都顯著影響了本文提出的推薦模型的性能。具有固定值2 的αk的情況下，當(dāng)βk約為0.2時(shí)，HNNCRPFM表現(xiàn)最佳，進(jìn)一步減小或增加βk的值導(dǎo)致更差的性能。在將βk的值固定為0.2的情況下，HNNCRPFM 顯示出類似的趨勢(shì)；即，當(dāng)αk超過某個(gè)閾值時(shí)，所有評(píng)估指標(biāo)首先開始提升然后開始下降。該觀察結(jié)果表明HNNCRPFM 對(duì)用戶嵌入矩陣和興趣點(diǎn)嵌入矩陣的初始化也很敏感，過大或者過小的αk和βk都會(huì)影響最終的推薦性能。

6 結(jié)束語

在本文中，本文提出了一個(gè)基于混合神經(jīng)網(wǎng)絡(luò)與基于排序泊松分解模型結(jié)合的興趣點(diǎn)推薦模型，名為HNNCRPFM。HNNCRPFM 首先通過基于貝葉斯技術(shù)和泊松分解模型結(jié)合構(gòu)建一個(gè)基于排序的泊松分解模型來建模用戶對(duì)于興趣點(diǎn)的偏好，與此同時(shí)，提出了一種基于混合神經(jīng)網(wǎng)絡(luò)的協(xié)同排序算法來進(jìn)一步擴(kuò)展上述排序?qū)W習(xí)，然后基于統(tǒng)一推薦模型將上述2種算法融合提供推薦服務(wù)。該算法針對(duì)隱式反饋數(shù)據(jù)，改善了上述基于排序泊松分解模型中的相關(guān)方法，緩解了類不平衡和數(shù)據(jù)稀疏性問題，避免了有效信息的丟失；并且通過結(jié)合點(diǎn)積網(wǎng)絡(luò)層和神經(jīng)網(wǎng)絡(luò)中的多層感知器兩種結(jié)構(gòu)來學(xué)習(xí)用戶與興趣點(diǎn)的交互。兩個(gè)真實(shí)世界數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，所提出的HNNCRPFM在準(zhǔn)確率和召回率方面優(yōu)于現(xiàn)有的先進(jìn)主流興趣點(diǎn)推薦模型。作為未來的工作，本文計(jì)劃將相關(guān)注意機(jī)制引入HNNCRPFM以獲得更好的推薦準(zhǔn)確性。