史金婉, 宋雪萌, 劉子鑫, 聶禮強

山東大學計算機科學與技術(shù)學院 青島 中國 266237

1 引言

近年來, 隨著時尚電商平臺的繁榮發(fā)展, 越來越多的用戶選擇在線購買服裝。然而, 享受在線購物便利的同時, 用戶常常會面臨無法在海量服裝市場中找到心儀單品的難題。由于人們常常需要為已購買的單品(如, 上衣)挑選與之相搭配的互補單品(如,下衣)。因此, 個性化互補服裝推薦, 即為用戶推薦與他/她已購買服裝相匹配的互補服裝, 逐漸吸引了諸多學者的關(guān)注。然而, 對于同一件時尚單品, 不同的人可能會給其搭配不同的互補單品。如圖1 所示, 對于同一件黃色無袖襯衫來說, 第一個用戶將它與一條白色闊腿五分褲, 一對綠色寶石耳環(huán)和一雙紅色高跟鞋進行搭配; 而第二個用戶將其與一條黃灰色碎花短裙, 一對珍珠耳環(huán)和一雙綠色涼鞋搭配在一起。這其實反映了一個服裝搭配領(lǐng)域中的個性化偏好問題。因此, 為了促進電商平臺的潛在訂單交易,和用戶的在線購物體驗, 亟需開展有關(guān)個性化互補服裝推薦的研究(personalized complementary clothing recommendation)。該任務(wù)的根本問題在于實現(xiàn)個性化的互補服裝兼容性建模, 即對于給定的用戶和上衣, 評價下衣的兼容性(匹配程度)。

圖1 IQON 社區(qū)平臺中用戶的套裝搭配實例圖Figure 1 Examples of users’ outfit compositions on IQON

目前, 關(guān)于互補服裝兼容性建模的研究工作主要圍繞一般性的兼容性建模, 而忽略了用戶的個性化偏好問題。盡管少數(shù)圍繞個性化互補服裝兼容性建模的研究[1-2]已經(jīng)展開, 這些研究工作主要是聚焦于建模一階的單品-單品兼容性交互以及一階的用戶-單品偏好交互來預(yù)測個性化服裝的兼容性評分。具體來說, 宋等人[2]提出了一個新穎的個性化兼容建模框架(GP-BPR)。該框架從視覺和文本兩個方面將用戶-單品偏好建模整合在一般的單品-單品兼容性建模中。董等人[1]通過對單品和用戶建模引入了一個新穎的個性化膠囊衣櫥創(chuàng)建的方法, 來給特定用戶進行服裝搭配。雖然他們在個性化互補服裝推薦中取得了令人欽佩的進步, 然而, 時尚領(lǐng)域中的實體(如,用戶、單品和屬性)之間的高階交互關(guān)系(highorder interaction relation)卻被他們所忽略。比如, 與同一個上衣(top)搭配的下衣(bottom)之間可能共享一些相同的屬性(attribute); 有著近似品味的用戶也可能傾向于選擇有相同屬性的單品。

事實上, 在相關(guān)領(lǐng)域中, 最近的研究者們已經(jīng)開始探索時尚實體之間的高階關(guān)系, 并提出了DREP[3]和HFGN[4]。具體來說, DREP[3]將單品之間的額外連接關(guān)系注入到成對的兼容性建模中, 進一步增強了對單品的表示學習。值得注意的是, 單品之間的這種額外連接關(guān)系信息的應(yīng)用是有限的, 只能夠被用來建模單品-單品之間的兼容性, 無法促進對用戶偏好的學習。類似于HFGN[4], DREP[3]在其構(gòu)建的關(guān)系型時尚圖譜中忽略了單品豐富的屬性知識。而單品的屬性知識在個性化互補服裝推薦中起著至關(guān)重要的作用。在一定程度上來說, 時尚單品之間的兼容性取決于其屬性之間的和諧性, 用戶對于單品的偏愛程度也依賴于用戶對單品屬性的喜愛程度。比如, 在圖1 中, 對于第一個用戶所搭配的第四套服裝,其上衣和下衣之所以能夠搭配兼容主要取決于黑白顏色之間的兼容性。同時, 該用戶在不同套裝中均選擇了高跟鞋, 這極大可能是因為該用戶喜歡高跟這個單品屬性?？偠灾? 雖然時尚實體之間的高階關(guān)系已經(jīng)被相關(guān)工作所探索, 但是其在個性化互補服裝推薦中的潛在價值還沒有被充分挖掘。

然而, 聯(lián)合探索一階交互和高階交互關(guān)系來進行個性化互補服裝推薦極具挑戰(zhàn)性。主要挑戰(zhàn)如下:1)缺少統(tǒng)一的時尚圖譜。在時尚領(lǐng)域的個性化互補服裝推薦中, 沒有一個統(tǒng)一可用的時尚圖譜來表示用戶、單品和屬性之間的復(fù)雜高階關(guān)系。因此, 如何去構(gòu)建一個時尚圖譜來表示時尚實體之間的高階交互關(guān)系對我們來說是一個主要的挑戰(zhàn)。2)高階關(guān)系的利用。事實上, 關(guān)鍵的時尚實體, 即用戶、單品和屬性之間, 不僅有用戶-單品(user-item)偏好交互關(guān)系以及單品-單品(item-item)搭配交互關(guān)系, 而且還有單品-屬性(item-attribute)之間的從屬交互關(guān)系。因此,如何有效地利用它們之間的高階交互信息, 從而促進對用戶和單品的表示學習也是一個至關(guān)重要的挑戰(zhàn)。3)交互模塊的融合。如何將獨立的一階交互建模和協(xié)同的高階交互建模進行有機融合, 進而共同促進個性化互補服裝推薦的效果構(gòu)成了另一個艱難的挑戰(zhàn)。

圖2 協(xié)同時尚圖譜的模擬樣例圖Figure 2 A toy example of the collaborative fashion graph

據(jù)此, 我們提出了一個新穎的基于時尚圖譜增強的個性化互補服裝推薦模型(Fashion Graph- enhanced Personalized Complementary Clothing Recommendation), 簡稱為FG-PCCR。FG-PCCR 由兩個關(guān)鍵的部分組成: 獨立的一階交互建模(Independent One-order Interaction Modeling)和協(xié)同的高階交互建模(Collaborative High-order Interaction Modeling)。其中, 一方面, 獨立的一階交互建模模塊致力于通過神經(jīng)網(wǎng)絡(luò)和矩陣分解方法分別對單品-單品搭配交互和用戶-單品偏好交互進行建模。同時, 為了增強模型效果, 我們將時尚單品的視覺和文本模態(tài)均整合進去, 以綜合地實現(xiàn)多模態(tài)建模。另一方面, 協(xié)同的高階交互模塊聚焦于基于協(xié)同時尚圖譜的高階交互建模。具體地, 利用圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Networks, GNNs)的信息傳播機制來提取高階的協(xié)同信號, 進一步豐富用戶和單品的向量表示。最后, FGPCCR 基于貝葉斯個性化排序框架(Bayesian Personalized Ranking, BPR)[5]將獨立的一階交互建模和協(xié)同的高階交互建模有機統(tǒng)一在一個端到端的模型中。

總體而言, 本文的主要貢獻概括為如下三方面:

1) 提出了一個基于時尚圖譜增強的個性化互補服裝推薦模型FG-PCCR。FG-PCCR 能夠?qū)ⅹ毩⒌囊浑A交互建模和協(xié)同的高階交互建模有效地整合在一個端到端的模型中。該工作的關(guān)鍵創(chuàng)新性在于整合了時尚實體(如, 用戶、單品和屬性)之間的高階交互關(guān)系, 進而有效地促進時尚領(lǐng)域的個性化互補服裝推薦的效果。

2) 設(shè)計了一個協(xié)同的高階交互建模模塊?；趫D神經(jīng)網(wǎng)絡(luò), 該模塊能夠編譯時尚實體之間的復(fù)雜高階關(guān)系信息并聚合于用戶和單品(如, 上衣和下衣),進而促進用戶和單品的表示學習, 得到其更豐富的向量表示。

3) 在公開的數(shù)據(jù)集IQON3000 上進行了全面的實驗, 評估所提出模型的有效性。大量實驗驗證了所提模型相對于基準方法的優(yōu)越性。同時, 公布了代碼、數(shù)據(jù)和參數(shù)設(shè)置, 以方便同領(lǐng)域研究人員的對我們工作的復(fù)現(xiàn)和拓展。

文章結(jié)構(gòu)安排如下: 第2 章簡單回顧了相關(guān)工作; 第3 章詳細介紹了本文所提出的FG-PCCR 模型;第4 部分闡明了實驗的實施細節(jié)以及實驗結(jié)果并進行了綜合性分析; 第5 部分對本工作進行了總結(jié), 并針對本文的不足提出了未來改進的方向。

2 相關(guān)工作

2.1 時尚分析

近年來, 隨著人們對穿著打扮有了更高的美學追求, 時尚領(lǐng)域中的服裝兼容性建模問題[6-8]逐漸引發(fā)了越來越多科研人員的關(guān)注。

目前, 一些工作著力于評估時尚單品對之間的兼容性。McAuley 等人[9]提出, 將時尚單品映射到一個潛在的風格空間, 使可替換或互補單品之間的距離盡可能地近。之后, 研究者們開始利用視覺模態(tài)進行兼容性建模。比如, Veit 等人[10]將一對時尚單品的圖片輸入一個端對端的暹羅網(wǎng)絡(luò)中, 通過學習視覺上的語義信息, 進而生成服裝套裝。He 等人[11]提出了Monomer 模型, 通過建模單品視覺上的相似性,來探索單品之間的關(guān)系。除了視覺特征, 最近的很多工作也在時尚兼容建模相關(guān)的任務(wù)中強調(diào)了探索多模態(tài)特征的重要性。例如, 李等人[12]基于時尚單品的多模態(tài)多實例的深度學習, 提出了一個套裝質(zhì)量預(yù)測器。另外, 宋等人[8]從時尚社區(qū)平臺Polyvore 收集并創(chuàng)建了一個套裝數(shù)據(jù)集, 同時設(shè)計了一個基于自動編碼器的多模態(tài)互補單品兼容性建模框架。之后,楊等人[13]提出了一個新穎的神經(jīng)時尚兼容建模模型TransNFCM, 該框架引入了一個多模態(tài)的單品編碼器, 能夠有效探索不同模態(tài)的互補特征。除此之外,研究人員也探索并采用了一些輔助性信息來促進兼容性建模的效果, 比如: 單品種類[14]和域知識[8,15]。具體來說, 宋等人[7]注意到時尚領(lǐng)域積累的豐富的搭配知識, 進而提出了一個基于知識蒸餾的服裝兼容性建模模型。該工作清楚地闡釋了整合豐富的時尚領(lǐng)域知識來助力數(shù)據(jù)驅(qū)動的時尚兼容性建模的重要性。

另外, 時尚領(lǐng)域的個性化推薦也獲得了很多研究者的關(guān)注[16-18]。已有時尚領(lǐng)域中的個性化推薦工作主要采用矩陣分解(Matrix Factorization, MF)[19]來建模用戶的偏好。MF 能夠?qū)⒚恳粋€用戶和單品看作一個有ID 信息的向量, 然后通過內(nèi)積來建模用戶-單品交互。例如, Hu 等人[20]提出了一個函數(shù)張量分解模型以解決個性化套裝推薦問題。盡管該方法在整套服裝推薦中取得了不錯的效果, 但是冷啟動仍是一個有待探索的問題。為此, He 等人[21]引入了一個可擴展的矩陣分解模型, 將時尚單品的視覺信號整合于用戶偏好預(yù)測器中, 進而實現(xiàn)推薦任務(wù)。

為提高服裝兼容性建模的實際應(yīng)用性, 個性化互補服裝推薦已成為當今的研究熱點[1-2,20]。例如,宋等人[2]提出了一個關(guān)于服裝搭配的個性化兼容建模的模型。該模型在一般的兼容性建模中整合了用戶的偏好, 同時為了獲得用戶更精準的偏好, 考慮了視覺和文本兩個方面的偏好。另外, 董等人[1]設(shè)計了一個個性化膠囊衣櫥創(chuàng)建的方法。該方法在考慮用戶身材的基礎(chǔ)上, 通過對用戶和衣服建模, 獲得用戶的個性化膠囊衣櫥進而給用戶推薦搭配好的服裝。整體而言, 對于個性化互補服裝推薦任務(wù)來說,盡管這些工作已經(jīng)取得巨大成功, 然而他們忽略了一個至關(guān)重要的因素: 實體(如, 用戶、單品和屬性)之間的高階交互關(guān)系。這種高階關(guān)系能夠傳遞重要的協(xié)同信息來豐富實體的表示向量, 進而提高個性化互補服裝推薦的效果, 這也是本工作的研究重點。

2.2 知識圖譜

知識圖譜(Knowledge Graph)作為一種結(jié)構(gòu)化的語義知識庫, 在挖掘?qū)嶓w之間潛在的復(fù)雜關(guān)系中有著杰出的能力, 被廣泛應(yīng)用于各種研究領(lǐng)域, 例如智能語義搜索[22], 推薦系統(tǒng)[23-25]和智能問答[26-27]。在推薦領(lǐng)域, 研究人員利用知識圖譜已經(jīng)做了大量相關(guān)的工作[28-31], 大體上可以分為兩類: 以路徑為基礎(chǔ)的方法和以校正為基礎(chǔ)的方法。

以路徑為基礎(chǔ)的方法旨在提取大量攜帶高階關(guān)系的路徑, 然后將其輸入推薦模型中, 對目標用戶進行偏好預(yù)測。為了處理大量的兩個節(jié)點之間的路徑,研究者一般采用路徑選擇算法選擇最優(yōu)路徑[32-33]或定義元路徑模式來限制[34-35]。以路徑為基礎(chǔ)的方法存在的主要問題是路徑選擇對于最后的推薦效果有巨大影響, 而且路徑不會被優(yōu)化。另外, 定義有效的元路徑需要域知識, 這對于擁有多樣化實體和關(guān)系的復(fù)雜知識圖譜來說, 是相當耗費人力的。

以校正為基礎(chǔ)的方法旨在聯(lián)合訓練推薦任務(wù)和知識圖譜構(gòu)建任務(wù), 通過設(shè)計構(gòu)建知識圖譜結(jié)構(gòu)的額外損失來校正整體推薦模型的損失, 比如,CFKG[36]和KTUP[37]。由于該方法并不是直接將高階關(guān)系放入到推薦模型中, 只是以一種隱含的方式進行編碼, 所以知識圖譜中的高階關(guān)系并不能保證被獲取到。之后, 為解決以上問題, 王等人[23]提出了一個知識圖譜注意力網(wǎng)絡(luò), 能夠明確有效地利用知識圖譜中的高階關(guān)系進行推薦。盡管知識圖譜已經(jīng)被成功地應(yīng)用在各種任務(wù)中, 但是在時尚領(lǐng)域個性化互補服裝推薦任務(wù)中的研究還是十分有限的。

現(xiàn)有時尚領(lǐng)域中涉及的圖譜[3-4]含有的實體一般只包括用戶和單品, 忽略了時尚單品的客觀屬性知識。事實上, 這些屬性知識對于單品兼容建模和用戶偏好建模能夠傳遞更多隱含的協(xié)同信號, 進而促進個性化互補服裝推薦的效果。因此, 本工作在一般的時尚圖譜基礎(chǔ)上引入了單品的知識圖譜(即, 單品-屬性從屬關(guān)系), 構(gòu)建了一個協(xié)同的時尚圖譜, 利用用戶、單品及屬性之間的復(fù)雜關(guān)系來提高個性化互補服裝推薦的效果。

2.3 圖神經(jīng)網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)(GNNs)在近年來獲得了越來越多學者的注意[23,38]。GNNs 已經(jīng)變成了一種強有力的建模結(jié)構(gòu)化數(shù)據(jù)的工具, 通過圖進行信息傳遞, 進而將更豐富細致的信息聚焦于節(jié)點, 得到更優(yōu)的向量表示。

圖神經(jīng)網(wǎng)絡(luò)的概念首次被Scarselli 等人[39]提出。GNNs 將已有的神經(jīng)網(wǎng)絡(luò)拓展并應(yīng)用于圖領(lǐng)域表示的數(shù)據(jù)中, 能夠直接處理圖結(jié)構(gòu)數(shù)據(jù)。雖然GNNs可以被應(yīng)用于大部分類型的圖中, 比如循環(huán)圖, 非循環(huán)圖, 有向圖以及無向圖, 但是最初的GNNs 對于固定點的訓練是有一定難度的。之后, 圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Network ,GCN)[40]被提出, 該網(wǎng)絡(luò)提出了適用于圖域的卷積操作, 并通過聚合來自所有鄰居節(jié)點的信息來實現(xiàn)節(jié)點向量表示的更新。由于GCN 需要捕捉圖的全局信息來更新節(jié)點,Hamilton 等人[41]提出了GraphSAGE, 該模型通過統(tǒng)一抽樣和聚合局部鄰居的特征來更新節(jié)點表示,節(jié)省了計算開銷。盡管圖神經(jīng)網(wǎng)絡(luò)能夠通過傳遞任意深度的鄰居信息, 但是長期的信息傳播可能產(chǎn)生梯度消失問題。為了糾正這個問題, 最近的先進工作[42]嘗試在傳播過程中引入了門控循環(huán)單元(Gate Recurrent Units, GRU)。

由于GNNs 所擁有的杰出的表達能力和模型靈活性, 它已經(jīng)成功地被應(yīng)用于各種關(guān)于復(fù)雜關(guān)系的任務(wù)中, 包括檢索[46-47]和視覺理解[48]等。然而, 在時尚領(lǐng)域的個性化互補服裝推薦任務(wù)中, 探索GNNs 應(yīng)用潛力的研究還相對較少。事實上, GNNs 已經(jīng)被證明在處理復(fù)雜圖數(shù)據(jù)方面, 比如社交網(wǎng)絡(luò)[41,43], 物理系統(tǒng)[44-45], 對于高階交互關(guān)系, 有著強有力的建模能力。據(jù)此, 在本工作中, 我們提出的FG-PCCR 模型將以GNNs 為基礎(chǔ), 進而實現(xiàn)協(xié)同的高階交互建模。

3 基于時尚圖譜增強的個性化互補服裝推薦模型

在本章中, 我們首先將研究的問題公式化, 然后詳細地介紹了本文提出的基于時尚圖譜增強的個性化互補服裝推薦模型FG-PCCR, 模型結(jié)構(gòu)如圖3所示, 其中包括兩個關(guān)鍵組件: 獨立的一階交互建模模塊和協(xié)同的高階交互建模模塊。最后介紹了整體模型的目標與優(yōu)化。

圖3 本文提出的FG-PCCR 模型結(jié)構(gòu), 由兩個關(guān)鍵組件組成: 1)獨立的一階交互建模 和2)協(xié)同的高階交互建模Figure 3 Illustration of the proposed FG-PCCR, comprising two key components: 1) the independent one-order interaction modeling and 2) the collaborative high-order interaction modeling

3.1 問題定義

3.2 獨立的一階交互建模模塊

由于目標下衣不僅要和上衣能夠搭配和諧, 還要滿足用戶的個人偏好, 我們將獨立的一階交互建模進一步分成了兩部分: 客觀的單品-單品搭配交互建模和主觀的用戶-單品偏好交互建模。前者旨在挖掘單品之間的一階交互, 而后者旨在探索用戶與單品之間的一階交互。由于時尚單品通常都會存在視覺模態(tài)(即, 圖片)和文本模態(tài)(即, 類別元數(shù)據(jù)和簡單的描述), 因此, 在本工作中, 我們同時探索這兩種模態(tài)來綜合衡量時尚單品對(上衣-下衣)的兼容性以及用戶的個人偏好。

類似于已有工作[8], 我們認為存在一個潛在的、非線性的兼容空間, 能夠連接來自互補類別的時尚單品, 使得我們可以建?；パa單品之間的兼容性。由于多層感知機(Multi-Layer Perception, MLP)在各種表示學習任務(wù)中取得了引人注目的成功, 我們在客觀的單品-單品交互建模中采用了多層感知機, 來學習時尚單品的向量表示。假設(shè)我們采用的多層感知機一共有K 個隱藏層。令 xiy, x ?{v , c} , y?{ t , b}表示時尚單品視覺(文本)模態(tài)的嵌入向量表示, 其中v表示視覺模態(tài), c 表示文本模態(tài), t 表示上衣, b 表示下衣。將單品各模態(tài)的嵌入向量表示 xiy輸入多層感知機, 我們有如下公式:

公式中, α 表示非負的平衡參數(shù), 用來校正不同模態(tài)在兼容性建模中的貢獻。

考慮到不同用戶對于下衣的偏好有所不同。比如, 有的用戶喜歡穿牛仔褲, 而有的用戶更偏愛裙子。因此, 除了客觀的單品-單品兼容性建模, 我們也整合了主觀的用戶-單品偏好交互建模。鑒于矩陣分解[19]已經(jīng)在大量的個性化推薦任務(wù)[2,20-21,49]中展示出了優(yōu)越的效果, 在本工作中, 我們也選用了矩陣分解來對用戶-單品的偏好交互進行建模。具體地,我們將用戶 um對于下衣 bj的偏好分數(shù)定義為如下數(shù)學表達式:

最后, 根據(jù)獨立的一階交互建模, 對于給定的用戶 um, 我們根據(jù)如下公式得到上衣 ti和下衣 bj的個性化兼容分數(shù):

公式中, λ 是非負的平衡參數(shù)。oij指的是上衣 ti和下衣 bj之間的客觀兼容性得分, 而 pmj指的是用戶 um對下衣 bj的主觀偏好得分。

3.3 協(xié)同的高階交互建模模塊

如前所述, 大部分已有的個性化互補服裝推薦研究[1-2]致力于利用時尚單品(比如, 上衣或下衣)的多模態(tài)數(shù)據(jù)(比如, 視覺和文本模態(tài))來建模獨立的單品-單品交互和用戶-單品交互, 而忽略了實體之間的協(xié)同高階關(guān)系。事實上, 與一個給定的上衣相搭配的下衣可能共享某些特定的屬性模式(如, 顏色、種類、樣式等)。同時, 有著相似穿搭品味的用戶們也可能偏好具有類似屬性特征的時尚單品。據(jù)此, 本工作在一般的時尚圖譜中又整合了時尚單品的屬性知識,打開了探索類似的用戶以及類似的時尚單品之間的高階交互關(guān)系的大門。作為本工作的一個主要新穎性貢獻, 我們充分利用時尚實體(即, 用戶, 單品和屬性)之間復(fù)雜的高階交互關(guān)系來增強用戶和時尚單品的向量表示, 這種做法能夠使我們對于單品對之間的兼容性建模以及用戶對單品的偏好建模, 挖掘更深層次的協(xié)同信息, 進而促進整體的個性化互補服裝推薦的效果。

在一定程度上來說, 受文獻[23]的啟發(fā), 我們首次基于公開可用的數(shù)據(jù)集創(chuàng)建了一個大規(guī)模的雙向的協(xié)同時尚圖譜G , 該時尚圖譜可以表示為{( h, r , t )| h, t?E, r?R} ,其中, 符號E 表示一個包含用戶, 時尚單品(即, 上衣和下衣)以及單品屬性的實體集合; 符號R 表示頭實體和尾實體之間的關(guān)系集合, 包括用戶-單品偏好交互, 單品-單品搭配交互和單品-屬性從屬交互。此外, 在本工作中, 我們采用了圖卷積神經(jīng)網(wǎng)絡(luò)GCNs, 其最初被設(shè)計是用于半監(jiān)督的節(jié)點分類任務(wù), 而我們用其循環(huán)獲取并聚合來自更高跳的鄰居節(jié)點的信息, 進而促進用戶、上衣和下衣的表示學習。特別地, 我們首先利用高斯分布來初始化協(xié)同時尚圖譜G 中的每一個節(jié)點, 并且將初始化后的節(jié)點向量表示為0vh 。然后, 每個節(jié)點v?E 的傳播機制可以用如下所示的數(shù)學表達描述:

3.4 整體模型的目標與優(yōu)化

鑒于貝葉斯個性化排序框架已經(jīng)在許多成對的隱含偏好建模工作[2,53-54]中取得了杰出效果, 在本工作中, 我們同樣采用了BPR 框架進行目標優(yōu)化。根據(jù)文獻[21], 我們所提出的FG-PCCR 模型的最后的目標函數(shù), 可以被定義為如下的數(shù)學表達式:

公 式 中 , Strain={( m, i , j , k )|um? u ^ ( ti, bj)?^ bk?B bj}表示訓練數(shù)據(jù)集。每個四元組( m, i , j , k )表示針對上衣 ti, 用戶 um更加偏好于下衣bj,而不是下衣 bk。符號 σ (?)指的是sigmoid 函數(shù)。符號Θ 指的是所提模型FG-PCCR 的模型參數(shù)集, 即H ,W(l-1)}其中,符號H 是由時尚圖譜G 中所有實體的向量表示構(gòu)成的矩陣。為了防止模型過擬合, 本工作采用了通過參數(shù)ρ 校正的L2 范數(shù) || Θ ||。整個模型的優(yōu)化算法被簡明地總結(jié)在算法1 中, 以及圖4 詳細描述了我們所提模型FG-PCCR 的工作流程。

圖4 基于時尚圖譜增強的個性化互補服裝推薦模型的工作流程圖Figure 4 The workflow of fashion graph-enhanced personalized complementary clothing recommendation model

4 實驗

為了評估本文提出的基于時尚圖譜增強的個性化互補服裝推薦模型FG-PCCR, 我們在真實的數(shù)據(jù)集IQON3000 上做了大量實驗。整個實驗的開展旨在回答以下四個研究問題:

問題一: 我們提出的FG-PCCR 模型是否能超越最新的基準方法？

問題二: FG -PCCR 中協(xié)同的高階交互建模模塊是如何影響整體模型效果的？

問題三: 不同的模態(tài)信息對于模型效果的貢獻是怎樣的？

問題四: FG-PCCR 在互補時尚單品檢索應(yīng)用中的效果是怎樣的？

算法1. FG-PCCR 模型的訓練過程算法.

4.1 數(shù)據(jù)集

為了驗證本工作提出的FG-PCCR 模型的有效性,我們采用了時尚領(lǐng)域中公開可用的基準數(shù)據(jù)集IQON3000[2]。此數(shù)據(jù)集由3568 個用戶創(chuàng)建的3087套時尚套裝組成, 一共包含了672335 個時尚單品(比如, 上衣、下衣、外套、鞋子等)。每個時尚單品都具有一個視覺圖片, 一條標題描述, 和相應(yīng)的類別元數(shù)據(jù)。表1 匯總了IQON3000 數(shù)據(jù)集的詳細統(tǒng)計數(shù)據(jù)。

表1 基準數(shù)據(jù)集IQON3000 的數(shù)據(jù)統(tǒng)計Table 1 Data statistics of the benchmark data set IQON3000

本工作以上衣和下衣之間的互補推薦舉例, 因此只保留了該數(shù)據(jù)集中各套裝的上衣和下衣數(shù)據(jù)。最后一共獲得由3236 個用戶搭配而成的2116791 套僅由上衣和下衣組成的套裝。對于用戶 um的每一個上衣-下衣對( ti, bj), 我們隨機從整個下衣的數(shù)據(jù)集中獲取一個負例, 即下衣 bk,進而構(gòu)成四元組( m, i , j , k ), 其中 m, i , j ,k 分別表示的是用戶, 上衣,正例下衣, 負例下衣。據(jù)此, 我們獲得了一個四元組數(shù)據(jù)集S, 該數(shù)據(jù)集被隨機分成三部分: 80%作為訓練集 Strain, 10%作為驗證集 Svalidate, 10%作為測試集Stest。

4.2 實驗設(shè)置

4.2.1 評估指標

為了對本工作所提出的FG-PCCR 模型效果進行全面徹底的評估, 本文采用廣泛使用的ROC 曲線面積(Area Under Curve, AUC)[53]以及平均倒數(shù)排序(Mean Reciprocal Rank, MRR)[54]作為衡量個性化互補服裝推薦效果的評估指標。首先, 我們定義的AUC 數(shù)學表達公式如下所示:

公 式 中 , E( m) := {(i , j , k )|( m, i , j ) ? Stest^( m, i, k ) ? S}。 f ( a )是一個指示函數(shù)。若參數(shù)a 大于0, 返回1; 否則, 返回0。其次, MRR 評估指標的數(shù)學表達公式如下所示:

4.2.2 實施細節(jié)

時尚圖譜。區(qū)別于文獻[22],在本文中,我們引入了三種實體(即, 用戶、單品和屬性)作為協(xié)同時尚圖譜的節(jié)點。特別地, 在本文的個性化互補服裝推薦的場景中, 單品指的是一個上衣或者下衣。在協(xié)同時尚圖譜中, 實體之間的關(guān)系包括用戶-單品偏好交互關(guān)系,單品-單品搭配交互關(guān)系以及單品-屬性從屬交互關(guān)系。值得注意的是, 在我們的工作中首次在時尚圖譜中引入單品-屬性從屬交互關(guān)系。根據(jù)屬性的類型,本工作做了以下預(yù)處理: 我們手動將一些屬性(比如,印花、袖長和衣長等)統(tǒng)一成一種類型, 即樣式; 同時,通過刪除一些冗余的屬性(比如, category*color),我們將時尚單品的所有屬性匯總成五種類型, 即顏色(color), 材質(zhì)(material), 品牌(brand), 種類(category)和樣式(pattern)。值得注意的是, 不同于研究工作[4],在構(gòu)建的協(xié)同時尚圖譜中, 我們引入了互補的時尚單品之間的搭配關(guān)系, 同時將時尚單品的屬性看作圖譜中節(jié)點, 進而促進實體的表示學習。

同樣值得一提的是, 在我們的個性化互補服裝推薦工作中, 我們采用了直推式策略來構(gòu)建協(xié)同時尚圖譜。其中, 我們將整個數(shù)據(jù)集S 中所有的用戶、單品以及屬性都看作實體節(jié)點。與此同時, 整個數(shù)據(jù)集S 中所有的單品-屬性從屬交互都看作圖譜中的關(guān)系。至于用戶-單品交互關(guān)系和單品-單品搭配關(guān)系的數(shù)據(jù)則只取自于訓練集 Strain。在表2 和圖5 中, 我們分別展示了構(gòu)建的協(xié)同時尚圖譜的數(shù)據(jù)統(tǒng)計以及部分可視化圖。

表2 協(xié)同時尚圖譜的數(shù)據(jù)統(tǒng)計表Table 2 Data statistics of the collaborative fashion graph

圖5 協(xié)同時尚圖譜的部分可視化圖Figure 5 Visualization of partial collaborative fashion graph

文本表示。在個性化互補服裝推薦工作中, 我們將每個時尚單品的標題和類別元數(shù)據(jù)均看作文本信息。由于數(shù)據(jù)集是從日本的電商網(wǎng)站所爬取, 其文本信息是日語, 本文并利用日本的形態(tài)學分析器Kuromoji①http://www.atilika.org/.進行分詞處理。本文沒有采用傳統(tǒng)的語言特征[55-56], 而是鑒于卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(Convolutional Neural Network, CNN)在各種自然語言處理任務(wù)[57-58]中已取得令人矚目的成就, 采用CNN 來提取單品的文本特征。特別地, 我們首先將單品的文本模態(tài)信息表示成一個矩陣。矩陣的每一行是一個300 維的詞向量表示, 對應(yīng)相應(yīng)的單詞。這個300 維的詞向量是通過NINJAL Web 日本語料庫[61]提供的word2vec Nwjc2vec 工具獲取的。之后, 我們設(shè)置了單通道的CNN,它由一個卷積層和一個最大池化層組成。特別地, 我們采用了四種卷積核, 大小分別為2, 3, 4, 5。每一個卷積核都對應(yīng)100 個特征圖。另外, 我們選用的激活函數(shù)是Rectified Linear Unit(ReLU)。最終, 我們通過處理每個時尚單品的文本模態(tài), 得到了一個400 維的表示向量。

視覺表示。由于深度卷積神經(jīng)網(wǎng)絡(luò)在各種圖片表示學習任務(wù)[60-62]中已經(jīng)取得了非常出色的效果,因此, 本工作采用高級的深度卷積神經(jīng)網(wǎng)絡(luò)來獲得時尚單品的視覺表示。特別值得注意的是, 本文采用的是50 層的殘差網(wǎng)絡(luò)(ResNet50)[63]。將每一個時尚單品的圖片輸入網(wǎng)絡(luò)中, 然后將網(wǎng)絡(luò)中平均池化層的輸出作為視覺模態(tài)的表示向量。因此, 我們將時尚單品的視覺模態(tài)表示為一個2048 維的向量。

參數(shù)設(shè)置。適應(yīng)性估計方法(Adam)[64]在非凸優(yōu)化問題中含有諸多優(yōu)勢: 計算高效, 占用內(nèi)存較少,調(diào)參方便, 適用于大規(guī)模數(shù)據(jù)問題, 能解決高噪音等問題。因此本工作采用Adam 算法進行模型優(yōu)化,最小化之前提到的損失函數(shù)來學習所有參數(shù)。而且,我們采用網(wǎng)格搜索策略來決定校正參數(shù)ρ 以及平衡參數(shù)(α , β , γ ,ζ ,τ )在本模型中的最優(yōu)值。另外, 批處理大小、獨立交互建模中的隱藏單元的大小以及學習率η 分別在[256, 512, 1024], [256, 512, 1024]和[0.05, 0.01, 0.005, 0.001]中搜索。在協(xié)同的高階交互建模部分, 協(xié)同時尚圖譜中所有實體節(jié)點的初始化的表示向量大小設(shè)置為64。同時, 我們不僅調(diào)整協(xié)同的高階交互建模模塊的深度L在[1, 2, 3, 4, 5, 6] 范圍內(nèi),即GCNs 的傳播層數(shù)。我們根據(jù)經(jīng)驗將獨立的一階交互建模中的隱藏層的大小設(shè)置為K=1。與此同時, 我們提出的FG-PCCR 模型通過60 個epoch 進行了微調(diào), 并且在測試集上的效果都被一一展示出來。值得注意的是, 本工作提出的FG-PCCR 模型在Pytorch 工具上實現(xiàn)。

類似于其他深度學習方法[7,8,65]中所描述的收斂性, 本文也首先驗證了所提模型FG-PCCR 的收斂性。具體來說, 我們在圖6 中展示了所有實例在訓練過程中的平均損失(Loss)以及FG-PCCR 訓練一輪的AUC 變化過程。正如我們從圖中看到的, 在前幾個epoch 內(nèi), Loss 和AUC 這兩個值急劇下降, 然后傾向于穩(wěn)定, 這表明我們提出的FG-PCCR 模型具有良好的收斂性。

圖6 FG-PCCR 模型中訓練損失和準確度收斂性的描述圖Figure 6 Illustration of training loss and accuracy convergence of the proposed FG-PCCR

4.3 模型比較

為了驗證我們所提出的基于時尚圖譜增強的個性化互補服裝推薦模型的有效性, 我們選擇了如下所述的前沿基準方法:

POP: 為了衡量上衣和下衣之間的兼容性, 我們采用“popularity”這個術(shù)語來表示某個下衣的受歡迎程度?！皃opularity”被定義為, 在訓練集中與這個下衣搭配的所有上衣的數(shù)量。

Bi-LSTM: 根據(jù)文獻[6],我們采用了一個雙向的LSTM 來發(fā)現(xiàn)套裝兼容性序列, 根據(jù)上一個單品預(yù)測下一個單品。其中, 我們將雙向的LSTM 的損失看作一個套裝兼容性的指示器。值得注意的是, 在我們研究個性化互補服裝推薦的背景下, 其中的每個套裝只有兩個時尚單品組成: 一個上衣和一個下衣。

BPR-DAE: 我們采用了文獻[8]中引入的內(nèi)容為基礎(chǔ)的神經(jīng)模型, 它通過一個雙向的自動編碼器能夠聯(lián)合建模時尚單品的不同模態(tài)之間的一致關(guān)系,以及單品對之間的隱藏偏好。然而, 值得注意的是,BPR-DAE 在互補服裝推薦中忽略了用戶因子。

BPR-MF: 我們使用了研究文獻[63]中引入的成對排序方法。其中, 用戶和時尚單品之間潛在的偏好關(guān)系通過矩陣分解的方式來獲取。

KGAT: KGAT[23]作為一個個性化推薦的方法,它僅僅使用到了實體之間的偏好關(guān)系以及屬性知識,卻忽略了單品之間內(nèi)部的兼容性關(guān)系以及其他模態(tài)信息, 比如, 視覺和文本模態(tài)。在我們的工作中, 為了公平起見, 我們意在對給定的用戶和時尚單品(比如, 上衣)來推薦另一個時尚單品(比如, 下衣)。

HFGN:HFGN[4]是一種關(guān)于個性化套裝推薦的方法。在本工作中, 我們通過構(gòu)建一個分層的圖神經(jīng)網(wǎng)絡(luò)來獲得用戶和套裝的表示, 然后進行個性化推薦。然而, 該模型沒有利用時尚單品的多模態(tài)信息(如, 文本信息)。

VTBPR: 我們將文獻[21]中引入的VBPR 方法擴展到了VTBPR。該模型不僅利用了時尚單品的視覺模態(tài), 還將其文本模態(tài)也考慮進去, 通過視覺和文本模態(tài)綜合地對用戶的偏好進行建模。

GP-BPR: 該方法[2]是近年來服裝領(lǐng)域中一個杰出的個性化兼容建模的模型, 該模型將一般的兼容性建模和個人偏好建模有機地整合在了一起。特別值得注意的是, GP-BPR 忽略了實體之間的高階關(guān)系,然而這些高階關(guān)系卻能夠挖掘在單品兼容性和用戶偏好上的協(xié)同信息。

表3 中詳細地展示了不同方法的實驗比較結(jié)果。為了驗證模型的效果改進是顯著性的, 我們在所提出模型FG-PCCR 和基準方法之間做了統(tǒng)計顯著性檢驗。從表3 中, 我們可以得到如下的觀察結(jié)果:

表3 不同方法在AUC 上的效果比較表。符號*表示我們的模型和所有基線方法相比, 效果改進是統(tǒng)計顯著性的(p ＜ 0.01)Table 3 Performance comparison among different approaches in terms of AUC. The symbol * denotes that the performance improvement of our model is statistically significant with p ＜ 0.01 compared against all the baselines

第一, 和樸素的方法(即, POP 和RAND)相比較,Bi-LSTM 通過充分探索多模態(tài)的數(shù)據(jù)提高了實驗效果, 這表明在時尚單品之間的兼容性建模中, 多模態(tài)數(shù)據(jù)確實起到了至關(guān)重要的作用。

第二, BPR-DAE 的效果優(yōu)于Bi-LSTM。一個可能的原因是對于一般的只有兩個時尚單品的套裝的兼容性建模來說, 獨立的一階交互建模比起序列建模來說, 起到的建模效果是更顯著的。

第三, GP-BPR 相對于BPR-MF 和VTBPR 來說,其實驗結(jié)果展示了巨大的優(yōu)越性, 這證實了在個性化互補服裝推薦中, 聯(lián)合建模時尚單品之間的兼容性以及用戶對單品的偏好是很有必要的。

第四, 對于GP-BPR 和VTBPR 方法來說, 其實驗效果均優(yōu)于KGAT 和HFGN, 這在一定程度上表明, 在個性化服裝推薦中, 考慮單品的文本和視覺特征比起只考慮用戶單品之間的高階關(guān)系來說, 獲得的實驗效果更好。

第五, 整體而言, FG-PCCR 和以上提到的所有基準方法相比較, 它取得了最好的實驗效果。特別值得注意的是, FG-PCCR 和結(jié)果最好的基準方法GP-BPR 相比, 它的評估指標AUC 相比于GP-BPR提高了2.39%, 這表明在個性化互補服裝推薦任務(wù)中,整合協(xié)同時尚圖譜來探索時尚實體之間的高階交互關(guān)系是十分有必要的。這背后的原因在于基于時尚圖譜的高階交互建模能夠在單品兼容性和用戶偏好上傳播協(xié)同信號, 進而促進用戶和時尚單品的表示學習。

4.4 高階交互建模對模型的影響

為了對本工作提出的FG-PCCR 中協(xié)同的高階交互建模模塊有更深的理解, 本文做了以下兩部分實驗。一方面, 我們探索了GCNs 的深度在協(xié)同的高階交互建模部分的影響。另一方面, 我們也做了消融實驗來驗證其在整個模型中的影響。

4.4.1 GCNs 深度在高階交互建模中的影響

由于GCNs 的深度可能會影響協(xié)同的高階交互建模并進而影響個性化互補服裝推薦的效果, 所以,我們做了對應(yīng)的敏感性分析。對于模型來說, 本文設(shè)置了不同的傳播層個數(shù), 范圍是從1～6。相應(yīng)地, 我們得到了6 個衍生模型, 分別表示為FG-PCCR-1、FG-PCCR-2、FG-PCCR-3、FG-PCCR-4、FG-PCCR-5、FG-PCCR-6。

如圖7 所示, 我們觀察到了模型采用不同GCNs深度時, 在ACU 評估指標上的實驗效果。從圖中我們可以看到, 隨著協(xié)同的高階交互建模模塊中GCNs深度從1 到5 的不斷增加, 評估指標AUC 的大小也在明顯增大。這說明GCNs 深度的增加在一定程度上能夠逐漸增強個性化互補服裝推薦的效果。然而,繼續(xù)增加GCNs 深度, 即, L=6 的時候, 模型效果卻降低了。顯而易見, FG-PCCR-5,即L=5 時, 本文所提模型取得了最好的實驗效果。這表明通過五階的交互建模來捕獲有關(guān)單品兼容性和用戶偏好上的協(xié)同信號是足夠充分的。另一個可能的解釋是, 當使用的GCNs 有著更多傳播層數(shù)的時候(比如, L=6), 有關(guān)單品兼容性和用戶偏好的傳播信息會得到累積, 這可能會導(dǎo)致過平滑, 因此進一步惡化實驗的效果[66-67]。

圖7 不同深度GCNs 對模型FG-PCCR 的效果比較圖Figure 7 Performance comparison of FG-PCCR with different depth of GCNs

4.4.2 消融實驗

為了驗證協(xié)同時尚圖譜在個性化互補服裝推薦任務(wù)中的影響, 我們將本工作所提出的FG-PCCR 模型與其兩個變體進行了實驗比較: FG-PCCR-woI 和FG-PCCR-woH。具體來說, FG-PCCR-woI 表示通過設(shè)置平衡參數(shù)τ=1 , 將獨立的一階交互建模模塊從整個的 FG-PCCR 模型中刪除之后得到的模型;FG-PCCR-woH 指的是通過設(shè)置平衡參數(shù)τ=0 , 將協(xié)同的高階交互建模模塊從整個的FG-PCCR 模型中刪除之后得到的模型。由于FG-PCCR-5 在以上4.4.1的實驗中已經(jīng)展示出了最好的效果, 因此這部分的實驗我們是在FG-PCCR-5 模型基礎(chǔ)上進行的。

表4 展示了消融實驗在AUC 評估指標上的效果比較。從表4 中, 我們可以清晰地觀察到, FG-PCCRwoH 方法的效果很大程度上超越了FG-PCCR-woI 方法。這樣的實驗結(jié)果表明, 獨立的一階交互建模在個性化互補服裝推薦中起到了主導(dǎo)的作用。然而, 缺少協(xié)同的高階交互建模模塊的FG-PCCR-woH 方法的實驗效果劣于我們提出的FG-PCCR 模型。這說明協(xié)同時尚圖譜可以看作時尚領(lǐng)域中個性化互補服裝推薦任務(wù)的一種強有力的輔助信息, 它能夠有效地建模用戶, 單品和屬性之間的高階交互關(guān)系, 進而捕捉隱含的兼容信號和偏好信號, 從而提高個性化互補服裝推薦的效果。

表4 消融實驗在AUC 上的效果比較表Table 4 Performance comparison on ablation study in terms of AUC

為了直觀地展示協(xié)同時尚圖譜在我們所提出的FG-PCCR 模型中起到的重要作用, 我們在圖8 中可視化了一些實例。具體地, 為了客觀的分析, 我們將FG-PCCR 模型與FG-PCCR-woH 模型的實際效果在測試四元組中進行了比較。由于展示清晰, 本文中只展示了部分時尚圖譜來進行分析。其中所有的四元組滿足條件: {um, ti}:bj＞ bk, 即, 對于給定的用戶um和上衣 ti, 正例下衣 bj比負例下衣 bk搭配的效果更好。同時, 我們只是在時尚圖譜中可視化了一些關(guān)鍵的高階交互關(guān)系, 直觀地強調(diào)彩色線標識的高階交互關(guān)系的影響。正如我們從圖8 中所觀察到的,FG-PCCR 模型在前兩個例子中給出了正確的評估結(jié)果, 同時在第3 個例子中得到了錯誤的評估結(jié)果, 然而, FG-PCCR-woH 模型卻在這3 個例子中均得到了與FG-PCCR 相反的結(jié)果。通過觀察圖8 中所展示的部分協(xié)同時尚圖譜, 我們注意到, 關(guān)于用戶user1,FG-PCCR 模型獲得正確的評估結(jié)果的原因, 可以從以下兩個角度進行總結(jié)。一方面, 對于用戶user1 所在的部分時尚圖譜來說, 其中紅色線標識的高階關(guān)系表明, 用戶user1 曾經(jīng)對于給定的上衣 ti搭配的下衣與本工作給定的正例下衣 bj共享屬性“chiffon”(雪紡), 這可能促進了單品對的兼容性建模。另一方面,圖中綠色的交互表明, 正例下衣 bj被另一個用戶所偏愛, 這個用戶和用戶user1 因為都喜歡裙子所以有著類似的時尚品味, 故正例下衣 bj也很可能被用戶user1 所偏愛, 所以, 這可能促進了用戶偏好建模。因此, 總體而言, 對于用戶user1 來說, 為搭配上衣it ,相比下衣kb 來說, FG-PCCR 模型給下衣 bj分配了更高的個性化互補服裝兼容性評分。同理, 第二個例子也可以得到類似的觀察結(jié)果。

然而, 除了成功的評估結(jié)果, 協(xié)同的時尚圖譜對于整個FG-PCCR 模型來說, 也可能導(dǎo)致失敗的評估結(jié)果。正如圖8 中第3 個樣例所示, 下衣 bj和kb , 均與用戶user3 所購買的上衣搭配過的下衣共享類似的屬性(如紅色和黃色線標注的關(guān)系)。而負例kb 另外通過綠色線標注的關(guān)系來促進用戶的偏好建模, 導(dǎo)致負例kb 的個性化兼容性評分高于正例 bj, 得到了失敗的評估結(jié)果。可能的原因是基于協(xié)同時尚圖譜的用戶偏好預(yù)測只是基于單品的種類信息進行的, 對于我們的個性化互補服裝推薦任務(wù)會產(chǎn)生一定程度上的影響。

圖8 協(xié)同的高階交互建模的影響描述圖。所有的四元組都滿足條件 { um ,t i }: b j ＞ bk我們只是在協(xié)同時尚圖譜中可視化了一些關(guān)鍵的高階關(guān)系并用線的顏色來直觀地展示Figure 8 Illustration of the effect of the collaborative high-order interaction modeling. All the quadruplets satisfy the condition that { um ,t i }: b j ＞ bk. We only visualize some key higher-order relations in the collaborative fashion graph and intuitively highlight their effects with line colors

4.5 模態(tài)比較

為了表明在時尚領(lǐng)域的個性化互補服裝推薦中,充分利用多模態(tài)數(shù)據(jù)的優(yōu)勢, 我們設(shè)計了模型FG-PCCR的3個變體: FG-PCCR-V, FG-PCCR-C以及FG-PCCR-G。上述這 3 個變體是在我們的模型FG-PCCR 的基礎(chǔ)上, 分別只考慮視覺模態(tài), 文本模態(tài)和圖的結(jié)構(gòu)化模態(tài)所得到的模型。類似于4.4.2 小節(jié)中的消融實驗, 這部分的實驗我們也是基于FG-PCCR-5 所做, 因為它在前面部分的實驗中展示出了最優(yōu)的實驗結(jié)果。

表5 展示了不同的模態(tài)在AUC 評估指標上的比較結(jié)果。從此表中, 我們可以獲得以下觀察結(jié)果: 1)本文提出的FG-PCCR 模型, 利用多模態(tài)數(shù)據(jù)信息的基礎(chǔ)上, 在個性化互補服裝推薦中實現(xiàn)了最好的實驗效果。具體來說, 從AUC 評估指標來看, 我們的方法得到的實驗效果比FG-PCCR-V, FG-PCCR-C 以及FG-PCCR-G 的效果分別提高了3.85%、3.48%及12.16%。這充分表明視覺信息、文本信息和圖結(jié)構(gòu)信息之間相互互補, 并聯(lián)合促進個性化互補服裝推薦的效果。2)只考慮文本模態(tài)的FG-PCCR-C 比其他兩種分別只考慮視覺模態(tài)和圖模態(tài)的模型, 即FG-PCCR-V 和FG-PCCR-G, 取得的效果更優(yōu)。這說明在時尚領(lǐng)域的個性化互補服裝推薦任務(wù)中, 文本模態(tài)的貢獻更多。一個可能的解釋是因為單品的文本信息通常更加具體, 能夠清晰明了地傳遞出時尚單品的關(guān)鍵特征, 從而提升個性化互補服裝推薦性能。

表5 不同模態(tài)在AUC 上的效果比較表Table 5 Performance comparison on different modality

4.6 互補時尚單品檢索應(yīng)用

為了有效地評估我們所做工作的實際應(yīng)用性,我們通過互補的時尚單品檢索任務(wù)來評估提出的FG-PCCR 模型。類似于文獻[68], 我們將每一個用戶-上衣對( um, ti)都被看作為一個查詢。然后, 為每一個查詢, 我們隨機地選取T 個下衣作為候選下衣集合。該集合包含一個正例下衣和T-1 個通過隨機選取的負例下衣。之后, 我們將這些候選下衣輸入經(jīng)過訓練的模型之中, 然后計算得到其與給定的查詢( um, ti)的個性化互補服裝兼容性評分 si(jm)。最后, 根據(jù)該分數(shù)可以獲得一個關(guān)于候選下衣的排序列表。在本工作的設(shè)置中, 我們聚焦于真實結(jié)果(即, 正例下衣)在所有候選下衣排序列表中的平均位置, 因此采用了MRR 評估指標。

圖9 展示了不同方法在時尚單品檢索中的MRR效果。整體而言, 在不同的下衣候選數(shù)目實驗中, 本文提出的FG-PCCR 模型相比較于其他的基準方法,展示出了杰出的優(yōu)越性。這樣的結(jié)果再次證明我們提出的FG-PCCR 方法在互補的時尚單品檢索任務(wù)中的魯棒性和有效性。

圖9 不同方法關(guān)于不同的下衣候選數(shù)量的MRR 效果比較圖Figure 9 Performance of different methods in regard to MRR at different numbers of the bottom candidates.

另外, 協(xié)同的高階交互建模模塊對獨立的一階交互建模模塊起到了強大的輔助作用, 為了對其有更深和更直觀的理解, 本文可視化了互補的時尚單品檢索中的部分實例的排序結(jié)果, 如圖10 所示。正如我們從圖中所觀察到的, 與忽略高階交互建模的FG-PCCR-woH 模型相比, 本文提出的FG-PCCR 模型擁有巨大的優(yōu)勢, 它能夠?qū)⒒パa的正例單品盡可能地排在前列。這再次驗證了在時尚領(lǐng)域的個性化互補服裝推薦中, 時尚圖譜中的高階交互關(guān)系起到了舉足輕重的作用。

圖10 排序結(jié)果描述。綠色框中標出的下衣為正例Figure 10 Illustration of the ranking results. The bottoms highlighted in the green boxes are the ground truth

5 總結(jié)與展望

5.1 總結(jié)

在本工作中, 我們提出了一個新穎的基于時尚圖譜增強的個性化互補服裝推薦模型FG-PCCR, 該模型能夠通過聯(lián)合獨立的一階交互建模和協(xié)同的高階交互建模促進個性化互補服裝推薦效果。在我們研究任務(wù)中, 目標是對給定的用戶和目標上衣, 搭配一件下衣。搭配的目標下衣不僅要和上衣搭配和諧, 而且還要滿足用戶的偏好。

首先, 獨立的一階交互建模涉及了用戶-單品交互或者單品-單品交互這樣的一階關(guān)系, 它包括主觀的用戶-單品偏好交互建模以及客觀的單品-單品搭配交互建模。同時。時尚單品一般都有多種模態(tài)的信息, 在本工作中, 為了提高個性化服裝搭配效果,我們通過神經(jīng)網(wǎng)絡(luò)和矩陣分解的方法對兩種模態(tài)信息(即, 視覺模態(tài)和文本模態(tài))進行一階交互建模。

其次, 我們基于公開可用的數(shù)據(jù)集IQON3000構(gòu)建了一個協(xié)同的時尚圖譜并將其引入?yún)f(xié)同的高階交互建模模塊中。這是本文提出的一個主要創(chuàng)新點。該協(xié)同時尚圖譜的實體節(jié)點包括用戶、時尚單品以及單品的屬性, 關(guān)系邊包括用戶-單品偏好交互關(guān)系,單品-單品搭配交互關(guān)系以及單品-屬性從屬交互關(guān)系。整體而言, 構(gòu)建的時尚圖譜是一個協(xié)同圖譜, 既包括客觀的知識(如, 單品的屬性), 又包括變化的交互(如單品-單品交互關(guān)系)?；诖藚f(xié)同時尚圖譜, 我們可以得到用戶、單品及屬性之間的高階交互關(guān)系,同時, 結(jié)合卷積神經(jīng)網(wǎng)絡(luò)GCNs 進行了協(xié)同的高階交互建模, 進一步挖掘潛在的用戶隱藏偏好及單品兼容性。

最后, 我們在真實的數(shù)據(jù)集上做了大量的實驗,對比了本工作所提出的FG-PCCR 模型與最新的基準方法的效果, 探究了協(xié)同的高階交互建模模塊對整個個性化互補服裝推薦模型的影響, 研究了不同模態(tài)對整個模型的作用, 探索了FG-PCCR 在時尚互補單品檢索中的實際應(yīng)用價值?？傮w而言, 實驗表明了個性化互補服裝推薦中考慮時尚圖譜的必要性以及驗證了FG-PCCR 模型的有效性。

5.2 展望

本文設(shè)計的基于時尚圖譜增強的個性化互補服裝推薦模型取得初步成效, 但是仍然有諸多問題和挑戰(zhàn)有待解決和探索, 我們將持續(xù)跟進以下相關(guān)研究:

(1) 在本工作中, 構(gòu)建的協(xié)同時尚圖譜只考慮了單品的屬性信息, 而忽略了用戶的屬性信息, 比如用戶的身高、體重、年齡、膚色、身材等信息。其實, 用戶屬性也可以看作圖譜中的實體節(jié)點, 使得構(gòu)建的協(xié)同時尚圖譜中的知識更豐富, 有助于模型學到更精準的用戶偏好關(guān)系以及單品之間的兼容性關(guān)系。本工作未涉及的根本原因是已有的服裝領(lǐng)域中可用于個性化互補服裝推薦的相關(guān)數(shù)據(jù)集均沒有用戶的屬性信息。在未來工作中, 我們打算進一步融入用戶屬性信息, 構(gòu)建一個包括用戶和時尚單品的屬性信息的完整大規(guī)模數(shù)據(jù)集, 基于此數(shù)據(jù)集構(gòu)建關(guān)系更豐富的協(xié)同時尚圖譜, 從而提高個性化互補服裝推薦的效果。

(2) 在本工作中, 我們將協(xié)同的高階交互建模中的實體節(jié)點的所有鄰居節(jié)點均平等對待, 從不同鄰居獲取的信息重要性都看作是一樣的。然而實際上,不同的鄰居對于實體節(jié)點的貢獻應(yīng)該是不同的, 這樣才能準確了解個性化服裝搭配的本質(zhì)原因。因此,在未來的工作中, 可以增加注意力機制來區(qū)分不同鄰居的貢獻大小, 為協(xié)同時尚圖譜中不同的交互關(guān)系分配重要權(quán)重, 可以確定最相關(guān)的方面, 從而解釋個性化互補服裝推薦的根本原因。故可解釋性的基于時尚圖譜增強的個性化互補服裝推薦是本工作的另一個非常值得研究的方向。