普洪飛，邵劍飛

（昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500）

0 引 言

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，人們對(duì)于網(wǎng)絡(luò)資源的依賴和需求不斷增長(zhǎng)，如何為用戶推薦其感興趣的項(xiàng)目，成為重要的研究課題，因此推薦系統(tǒng)被提出并應(yīng)用[1]。從傳統(tǒng)的內(nèi)容推薦系統(tǒng)和協(xié)同過(guò)濾域到現(xiàn)在的深度學(xué)習(xí)推薦系統(tǒng)，盡管其簡(jiǎn)單有效[2]，卻存在評(píng)分?jǐn)?shù)據(jù)稀疏和用戶冷啟動(dòng)問(wèn)題[3]。為了解決推薦系統(tǒng)中的冷啟動(dòng)和稀疏性問(wèn)題，研究人員提出了跨領(lǐng)域推薦系統(tǒng)[4]。

跨領(lǐng)域推薦的目標(biāo)是利用其他領(lǐng)域的用戶偏好信息和項(xiàng)目特征等各種輔助信息，來(lái)提高目標(biāo)領(lǐng)域的推薦性能，有效緩解目標(biāo)領(lǐng)域的數(shù)據(jù)稀疏性和冷啟動(dòng)。例如，喜歡武俠書(shū)籍的人，也會(huì)比較喜愛(ài)武俠片，因此即使在不同的領(lǐng)域也可能有相同 的愛(ài)好。

但是，大多數(shù)現(xiàn)有方法只關(guān)注提高目標(biāo)域推薦的性能，即利用來(lái)自源域的信息來(lái)改進(jìn)目標(biāo)域的推薦性能。這種方法忽略了源域的信息可以提高目標(biāo)域、同時(shí)目標(biāo)域也可以提高源域的推薦性能。例如，一旦知道用戶想要閱讀的書(shū)籍類型，就可以推薦相關(guān)主題的電影，形成一個(gè)循環(huán)，以便在兩個(gè)域中同時(shí)提高推薦性能。

以前的研究顯示，雙遷移學(xué)習(xí)模型[5]能夠高效地提高源域和目標(biāo)域的推薦性能?；诖耍芯咳藛T提出將雙遷移學(xué)習(xí)機(jī)制應(yīng)用于跨域推薦，通過(guò)提取每個(gè)域中的偏好信息并雙向傳輸不同域之間的用戶偏好，來(lái)同時(shí)提高不同域的推薦性能。

現(xiàn)有的跨域推薦模型通常需要不同域的大量重疊用戶作為“樞軸”，以便學(xué)習(xí)用戶偏好的關(guān)系，并產(chǎn)生令人滿意的推薦性能[6]。這些重疊用戶在兩個(gè)域類別中消耗了商品，如觀看電影和讀書(shū)。然而，收集足夠多的重疊用戶，在許多應(yīng)用中實(shí)現(xiàn)起來(lái)比較困難。例如，可能只有有限數(shù)量的用戶在亞馬遜上購(gòu)買了書(shū)籍和數(shù)字音樂(lè)。因此，重要的是要克服這個(gè)問(wèn)題，并最大限度地減少跨域推薦中兩個(gè)域所需的重疊用戶數(shù)量。

為了解決這個(gè)問(wèn)題，可以采用基于重疊用戶構(gòu)建跨域推薦系統(tǒng)的解決方案。假設(shè)兩個(gè)用戶在某個(gè)域中具有相似的偏好，那么這兩個(gè)用戶的偏好在其他域中也是相似的。潘等人提出了將度量學(xué)習(xí)和雙學(xué)習(xí)集合起來(lái)，通過(guò)度量學(xué)習(xí)減少兩個(gè)域的重疊用戶，同時(shí)提高源域和目標(biāo)域的推薦性能，潘等人[7]將這種方法命名為雙遷移度量學(xué)習(xí)模型（Dual Metric Learning，DML）。

但是雙遷移度量學(xué)習(xí)模型（DML）是以普通的多層感知機(jī)（MLP）為基礎(chǔ)推薦系統(tǒng)，不能更好地提取用戶和項(xiàng)目之間的非線性交互特征。注意力機(jī)制是一種人腦模擬模型，能夠通過(guò)計(jì)算概率分布來(lái)突出輸入的關(guān)鍵信息對(duì)模型輸出結(jié)果的影響，從而優(yōu)化模型。注意力機(jī)制能夠充分地利用句子的全局和局部特征，給重要的特征賦予更高的權(quán)重，從而提高特征抽取的準(zhǔn)確性。因此，本文提出基于雙度量學(xué)習(xí)（DML）和注意力機(jī)制的跨域推薦系統(tǒng)，命名為DML-A模型。實(shí)驗(yàn)證明，此方法可以同時(shí)提高源域和目標(biāo)域的推薦性能，而且模型準(zhǔn)確性更高。

1 模型介紹

1.1 度量學(xué)習(xí)

由于用戶偏好在不同域中的差異性，每個(gè)域中的用戶嵌入的分布也應(yīng)該是不同的。做一個(gè)假設(shè)：如果兩個(gè)用戶對(duì)某個(gè)域具有相似的興趣，那么這兩個(gè)用戶也會(huì)對(duì)其他域具有相似的興趣。本文的目標(biāo)是解決這個(gè)假設(shè)，利用這些重疊用戶作為“樞軸”，以學(xué)習(xí)不同域中的用戶偏好與行為的關(guān)系。

DML模型利用雙遷移學(xué)習(xí)機(jī)制同時(shí)提升兩個(gè)域的推薦性能。源域的用戶向量經(jīng)過(guò)度量學(xué)習(xí)后，作為目標(biāo)域推薦系統(tǒng)的輸入。相同地，使用目標(biāo)域中經(jīng)過(guò)度量學(xué)習(xí)輸出，作為源域的輸入。通過(guò)這種方式，可以迭代提高兩個(gè)域的推薦性能。通過(guò)迭代地重復(fù)學(xué)習(xí)過(guò)程，每次都會(huì)獲得更好的度量映射和推薦系統(tǒng)，直到學(xué)習(xí)過(guò)程滿足收斂標(biāo)準(zhǔn)。因此，度量學(xué)習(xí)[8]可以更好地捕獲用戶偏好，從而提供更好的推薦性能。

將A域和B域的用戶向量表示為WUA、WUB，將兩個(gè)域的重疊用戶表示為ouA=ouB，重疊用戶向量表示為WouA、WouB。模型的目標(biāo)是在相同的重疊用戶下，找到最佳映射矩陣X，來(lái)最小化映射矩陣乘A域用戶重疊向量XWouA和B域目標(biāo)用戶重疊向量之間的距離：

將映射矩陣X限制為正交映射（即XTX=I），其用于強(qiáng)制保持每個(gè)域用戶偏好的結(jié)構(gòu)不變性。優(yōu)化式（1）和式（2）以學(xué)習(xí)正交度量映射矩陣X。

1.2 雙遷移學(xué)習(xí)

遷移學(xué)習(xí)[9]將已訓(xùn)練好的模型參數(shù)遷移到新的模型來(lái)幫助新模型訓(xùn)練?？紤]到大部分?jǐn)?shù)據(jù)或任務(wù)存在相關(guān)性，因此通過(guò)遷移學(xué)習(xí)可以將已經(jīng)學(xué)到的模型參數(shù)通過(guò)某種方式來(lái)分享給新模型，從而加快并優(yōu)化模型的學(xué)習(xí)效率。用于跨域推薦的現(xiàn)有遷移學(xué)習(xí)方法包括協(xié)作DualplSA[10]、聯(lián)合子空間非負(fù)矩陣分解JDA[11]。

此外，為了同時(shí)提升兩個(gè)學(xué)習(xí)任務(wù)的性能，研究人員提出了雙遷移學(xué)習(xí)機(jī)制[12]，同時(shí)學(xué)習(xí)邊緣和條件分布。最近，研究人員通過(guò)雙遷移學(xué)習(xí)機(jī)制實(shí)現(xiàn)了對(duì)機(jī)器翻譯的良好表現(xiàn)[13]，這證明雙遷移學(xué)習(xí)在研究中具有重要的研究意義。

本文利用前階段中學(xué)到的度量映射矩陣X來(lái)模擬跨域用戶偏好，對(duì)源域和目標(biāo)域（A域，B域）進(jìn)行用戶評(píng)級(jí)，如下所示：

式中：WUA、WUB、WiA、WiB分別表示為A域和B域的用戶特征向量和項(xiàng)目特征向量，RSA、RSB分別表示為A域和B域的推薦系統(tǒng)，rA*和rB*分別表示為A域和B域的評(píng)分輸出。雙遷移學(xué)習(xí)需要跨兩個(gè)域進(jìn)行傳輸循環(huán)，并且學(xué)習(xí)過(guò)程通過(guò)循環(huán)迭代。

1.3 DML-A模型

在度量學(xué)習(xí)中所做的潛在假設(shè)是：如果兩個(gè)用戶對(duì)一個(gè)域具有相似的興趣，那么這兩個(gè)用戶對(duì)其他域也會(huì)具有相似的興趣。本文的目標(biāo)就是驗(yàn)證這個(gè)假設(shè)，所以本文需要在相同的用戶重疊中找到最佳映射矩陣X，用X來(lái)模擬重疊用戶的跨域偏好，其中度量映射X是通過(guò)式（1）和式（2）不停地迭代直到收斂而來(lái)。

整個(gè)DML-A模型分為三個(gè)部分，如圖1所示，分別為推薦系統(tǒng)A、推薦系統(tǒng)B、潛在正交度量 矩陣。

圖1 DML-A模型

（14）更新參數(shù)RSA和RSB

（15）End for

（16）直到收斂結(jié)束

整個(gè)算法分為三個(gè)部分，首先輸入項(xiàng)目和用戶特征，然后轉(zhuǎn)換成用戶和項(xiàng)目特征向量，讓它們經(jīng)過(guò)推薦系統(tǒng)（RSA和RSB），得到預(yù)測(cè)評(píng)分，然后通過(guò)反向傳播預(yù)測(cè)評(píng)分和真實(shí)評(píng)分之間的損失值，然后更新RSA和RSB的參數(shù)，一直不停地循環(huán)來(lái)更新模型參數(shù)，直到收斂為止。輸入A域和B域的重疊用戶向量和映射矩陣X，通過(guò)后向傳播映射X和用戶重疊向量XWouA和WouB之間的損失值，然后更新映射矩陣X，一直循環(huán)更新映射矩陣X，直到收斂為止。第三部分最為重要，在第二部分得到了映射矩陣X來(lái)模擬重疊用戶的跨域偏好，如公式所示將XWuA,WiA作為RSA的輸入，XTWuB,WiB作為RSB的輸入，輸出預(yù)測(cè)評(píng)分r*A和r*B，后向傳播預(yù)測(cè)評(píng)分和真實(shí)傳播的損失值，更新參數(shù)，一直循環(huán)到收斂。

2 實(shí)驗(yàn)介紹

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文采取了Amazon數(shù)據(jù)集進(jìn)行評(píng)估，該數(shù)據(jù)集主要包含用戶對(duì)網(wǎng)站商品的評(píng)價(jià)信息及商品元數(shù)據(jù)，由從亞馬遜平臺(tái)收集的用戶購(gòu)買行為和評(píng)級(jí)信息組成。本文選擇具有足夠多重疊用戶的兩個(gè)域來(lái)進(jìn)行實(shí)驗(yàn)，分別選擇名為Movie and TV的數(shù)據(jù)集和Book數(shù)據(jù)集，作為源域和目標(biāo)域數(shù)據(jù)。簡(jiǎn)單描述這兩個(gè)數(shù)據(jù)集如下：每行數(shù)據(jù)由用戶id、項(xiàng)目id及用戶對(duì)項(xiàng)目的評(píng)分組成，由多行數(shù)據(jù)構(gòu)成一個(gè)數(shù) 據(jù)集。

2.2 評(píng)價(jià)指標(biāo)

均方根誤差RMSE（Root Mean Squared Error，RMSE）通過(guò)計(jì)算預(yù)測(cè)評(píng)分與真實(shí)評(píng)分之間的誤差來(lái)衡量推薦結(jié)果的準(zhǔn)確性。RMSE為：

式中：N表示測(cè)試數(shù)據(jù)的數(shù)量，rA,B表示為真實(shí)的評(píng)分，r^A,B表示經(jīng)過(guò)DML-A模型的評(píng)分預(yù)測(cè)值。RMSE的值越小，表示推薦準(zhǔn)確性越高。

2.3 數(shù)據(jù)集和實(shí)驗(yàn)結(jié)果分析

將目標(biāo)域數(shù)據(jù)隨機(jī)分為訓(xùn)練集和測(cè)試集，其中80%的數(shù)據(jù)用于訓(xùn)練，20%用于測(cè)試。實(shí)驗(yàn)采用Pytorch作為實(shí)驗(yàn)框架，實(shí)驗(yàn)配置為：Intel Core i5-10200H處理器、8 GB內(nèi)存、NVIDIA GTX 1050 TI顯卡。學(xué)習(xí)率設(shè)置為0.01，Dropout設(shè)置為0.5，批次設(shè)置為1 024，訓(xùn)練批次為32，優(yōu)化函數(shù)為Adam，特征嵌入維度為16，全連接層設(shè)置為8。

為了驗(yàn)證模型的推薦準(zhǔn)確度，對(duì)本文所提出的DML-A模型和沒(méi)有添加注意力機(jī)制的DML模型進(jìn)行對(duì)比，分別在兩個(gè)實(shí)驗(yàn)數(shù)據(jù)Movie and TV的數(shù)據(jù)集和Book數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖2和圖3所示。

如圖2和圖3所示，采用的訓(xùn)練批次為32批次。在Book數(shù)據(jù)集中，DML模型和改進(jìn)的DML-A模型在前10個(gè)批次，RMSE的值不斷下降，在10批次之后趨向于平衡。在Book數(shù)據(jù)集中可以清晰地看到，經(jīng)過(guò)本文改進(jìn)的注意力機(jī)制DML-A模型的RMSE值一直都比DML模型小，證明本文的模型推薦性能更優(yōu)。在Movie數(shù)據(jù)集中，在15個(gè)批次之前，DML和DML-A模型RMSE的值不斷下降，在15批次之后趨向于平衡?？梢郧逦乜吹剑?jīng)過(guò)本文改進(jìn)的注意力機(jī)制DML-A模型的RMSE值一直都比DML模型小，同樣證明本文的模型推薦性能更優(yōu)。綜上所述，改進(jìn)后的DML-A模型可以同時(shí)提高M(jìn)ovie域和Book域的推薦性能。

圖2 Book數(shù)據(jù)集的RMSE值

圖3 Movie數(shù)據(jù)集的RMSE值

3 結(jié) 語(yǔ)

本文提出了一種基于注意力機(jī)制和雙度量學(xué)習(xí)的跨領(lǐng)域推薦模型DML-A，將注意力機(jī)制應(yīng)用和雙遷移度量學(xué)習(xí)結(jié)合，通過(guò)減少源域和目標(biāo)域之間的重疊用戶，利用源域和目標(biāo)域的信息來(lái)實(shí)現(xiàn)雙方性能的提升。在未來(lái)的研究中將會(huì)對(duì)注意力機(jī)制進(jìn)行改進(jìn)，同時(shí)將增加數(shù)據(jù)集和評(píng)價(jià)指標(biāo)來(lái)豐 富實(shí)驗(yàn)。