邊晶　李國(guó)梁

摘要：解決信息過(guò)載問(wèn)題較好的辦法之一就是采用推薦算法。為了達(dá)到更好的效果，本文提出了一種新的推薦模型。此模型基于長(zhǎng)短期序列推薦，利用自注意力機(jī)制從用戶的歷史交互記錄推斷項(xiàng)目之間的關(guān)系，然后借助自注意力估算出用戶交互的權(quán)重，對(duì)全局信息進(jìn)行捕獲，然后利用殘差網(wǎng)絡(luò)進(jìn)一步發(fā)現(xiàn)項(xiàng)目之間潛在的關(guān)系。

關(guān)鍵詞：推薦系統(tǒng);自注意力機(jī)制;序列推薦

1.引言

隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)變得越來(lái)越多，如何從如此之多的數(shù)據(jù)中選擇有效的信息，成為用戶當(dāng)前需要考慮的一個(gè)重大問(wèn)題，而推薦系統(tǒng)的誕生就是為了解決此類信息過(guò)載的問(wèn)題[1]and Evaluations</title><secondary-title>arXiv preprint arXiv：1905.01997</secondary-title></titles><periodical><full-title>arXiv preprint arXiv：1905.01997</full-title></periodical><dates><year>2019</year></dates><urls></urls></record></Cite></EndNote>。近些年來(lái)，深度學(xué)習(xí)技術(shù)在順序推薦中引起了越來(lái)越多的興趣，但當(dāng)將其應(yīng)用于推薦系統(tǒng)時(shí)，很難在一個(gè)較長(zhǎng)的序列中對(duì)項(xiàng)目的依賴關(guān)系進(jìn)行建模，也無(wú)法捕獲序列的全局信息和項(xiàng)目之間的交互。

受到Zhang et al.的啟發(fā)，本文提出了一種基于長(zhǎng)短期偏好序列的推薦模型。利用此模型的短期偏好推薦和長(zhǎng)期偏好推薦可以明確地調(diào)用用戶的整個(gè)歷史序列中的項(xiàng)目-項(xiàng)目交互，實(shí)現(xiàn)模型學(xué)習(xí)序列的全局表示;在卷積網(wǎng)絡(luò)部分，采用殘差網(wǎng)絡(luò)將低層的有用信息傳播至高層，進(jìn)而提高模型的性能。

2.模型

本文提出一種基于長(zhǎng)短期偏好序列的推薦模型，包括以下三個(gè)部分。

2.1短期偏好建模

用戶近期與項(xiàng)目之間的的交互能夠反映用戶的需求，因此需要對(duì)用戶的短期偏好進(jìn)行建模。首先通過(guò)自注意力機(jī)制獲取用戶的全局信息，然后使用卷積網(wǎng)絡(luò)獲得項(xiàng)目之間的非線性關(guān)系。

在自注意力機(jī)制中允許接收n個(gè)輸入，然后將這n個(gè)輸入進(jìn)行自乘，最后得到用戶交互和注意力得分的總和。通過(guò)自注意力的這種表達(dá)形式可以了解整個(gè)序列的信息，而且無(wú)論序列內(nèi)元素的距離如何，都能捕獲它們之間的關(guān)系。

如圖1所示，自注意力機(jī)制的輸入由query，key，value構(gòu)成，而且這三個(gè)值是由用戶的交互序列 決定，其中 ，d表示潛在空間的維數(shù)。假設(shè)用戶的短期交互的長(zhǎng)度為L(zhǎng)，即

，則交互矩陣 的行是用戶的交互歷史，列則是維度。

首先，自注意力機(jī)制的數(shù)學(xué)公式定義如下：

Q、K、V分別表示查詢（query）、鍵（key）和值（value）。其輸出定義為

=Attention（Q，K，V）#? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （2）

其中V是輸入矩陣，Q和K是輸入矩陣通過(guò)映射權(quán)重矩陣WQ和WK（WQ∈Rd×d=Wk∈Rd×d）得到的，映射關(guān)系是ReLU函數(shù)，也就是Q=ReLU（WQV），K=ReLU（WkV）。ReLU（Rectified Linear Unit）是廣泛使用在深度學(xué)習(xí)中的非線性激活函數(shù)，它的數(shù)學(xué)表達(dá)式如下：

ReLU（x）=max（x，0）#? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（3）

在自注意力輸出之前會(huì)進(jìn)行掩碼操作，這樣可以減少對(duì)交互矩陣進(jìn)行填充時(shí)的消極影響，自注意力的輸出是一個(gè)L×L的矩陣，此矩陣認(rèn)為是L個(gè)項(xiàng)目之間的相似矩陣。另外，? 是用于縮放上面點(diǎn)積的縮放因子，從而防止梯度變得太大。

接下來(lái)，把輸出的矩陣和value（也就是? ? ?）相乘，最后得到的結(jié)果是最終的加權(quán)輸出：

其中 ∈RL×d，輸出認(rèn)為是用戶的短期偏好的表示。為了學(xué)習(xí)用戶的單一注意表示，我們將L個(gè)自我注意表示的均值進(jìn)行嵌入。

在自注意力機(jī)制當(dāng)中，并不包含任何的時(shí)間以及位置信息。如果沒有上述信息的話，模型將無(wú)法保證輸入的數(shù)據(jù)保持序列模式。Shaw P et al.[21]和Li J et al.[22]Yujie</author><author>McAuley， Julian</author></authors></contributors><titles><title>Time Interval Aware Self-Attention for Sequential Recommendation</title><secondary-title>Proceedings of the 13th International Conference on Web Search and Data Mining</secondary-title></titles><pages>322-330</pages><dates><year>2020</year></dates><urls></urls></record></Cite></EndNote>分別將位置和時(shí)間戳融入到模型中，保證了用戶交互的順序。因此本文使用時(shí)間信號(hào)（Time Signal TS），也就是說(shuō)將不同頻率的正弦曲線添加到輸入中，時(shí)間信號(hào)由以下兩個(gè)正弦信號(hào)構(gòu)成

其中i是維度，t是時(shí)間步長(zhǎng)。

2.2長(zhǎng)期偏好建模

本文使用度量學(xué)習(xí)為用戶進(jìn)行長(zhǎng)期推薦。用U'=RM×d和V'=RN×d分別表示用戶和項(xiàng)目的潛在因素，用歐氏距離度量項(xiàng)目i和用戶u的距離。

用戶u對(duì)項(xiàng)目i越喜歡，則函數(shù)ED（U，V）的值越小。

2.3殘差網(wǎng)絡(luò)

理論上，越深的網(wǎng)絡(luò)訓(xùn)練效果應(yīng)該越好。但隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的添加，訓(xùn)練會(huì)變得越來(lái)越難，訓(xùn)練集上的效果也會(huì)變得越來(lái)越差，效果反而不如相對(duì)較淺的網(wǎng)絡(luò)，這就是所謂的退化問(wèn)題。過(guò)深的網(wǎng)絡(luò)會(huì)產(chǎn)生退化問(wèn)題，而殘差網(wǎng)絡(luò)恰好可以解決這個(gè)問(wèn)題，殘差網(wǎng)絡(luò)越深，訓(xùn)練集上的效果越好。因此本文使用殘差網(wǎng)絡(luò)來(lái)優(yōu)化模型。

3.結(jié)論

本文提出了一種基于長(zhǎng)短期偏好序列的推薦系統(tǒng)模型。此模型結(jié)合長(zhǎng)短期偏好，利用殘差網(wǎng)絡(luò)探究用戶和項(xiàng)目之間潛在的關(guān)系，最終把下一個(gè)項(xiàng)目推薦給用戶。

參考文獻(xiàn)：

[1]Fang， H.， et al.， Deep Learning for Sequential Recommendation： Algorithms， Influential Factors， and Evaluations.arXiv preprint arXiv：1905.01997， 2019.

作者簡(jiǎn)介：

邊晶（1977.4-），女 漢族 吉林省長(zhǎng)春市人 碩士，副教授，從事計(jì)算機(jī)應(yīng)用研究。

李國(guó)梁（1994.12-），男 漢族 山西省大同市人 碩士研究生（在讀），研究方向?yàn)橥扑]系統(tǒng)、機(jī)器學(xué)習(xí)、網(wǎng)絡(luò)安全。