霍雨佳，左 欣，張 虹

(1.貴州理工學(xué)院 人工智能與電氣工程學(xué)院，貴州 貴陽(yáng) 550003；2.貴州省教育廳貴州省人工智能與智能控制特色重點(diǎn)實(shí)驗(yàn)室，貴州 貴陽(yáng) 550003；3.貴州師范學(xué)院 繼續(xù)教育學(xué)院，貴州 貴陽(yáng) 550018；4.貴州財(cái)經(jīng)大學(xué) 外語(yǔ)學(xué)院，貴州 貴陽(yáng) 550025)

0 引 言

推薦系統(tǒng)的目標(biāo)是通過(guò)分析用戶與項(xiàng)目的互動(dòng)數(shù)據(jù)，發(fā)現(xiàn)并預(yù)測(cè)用戶對(duì)其它項(xiàng)目的興趣，目前最為經(jīng)典且有效的是基于協(xié)同過(guò)濾的推薦系統(tǒng)[1]?；谟脩艉突陧?xiàng)目是協(xié)同過(guò)濾系統(tǒng)的兩種類型，兩者思想基本一致，以基于用戶的協(xié)同過(guò)濾系統(tǒng)為例，其核心思想是通過(guò)用戶評(píng)分?jǐn)?shù)據(jù)評(píng)估用戶間的相似性，通過(guò)計(jì)算相似用戶對(duì)目標(biāo)項(xiàng)目評(píng)分的加權(quán)調(diào)和值來(lái)預(yù)測(cè)未知的評(píng)分。此類算法在稀疏數(shù)據(jù)集難以準(zhǔn)確建立用戶間的相似性，導(dǎo)致推薦的準(zhǔn)確率較低[2]。

目前針對(duì)稀疏數(shù)據(jù)推薦系統(tǒng)較為有效的措施主要有基于矩陣分解模型[3]、基于集成學(xué)習(xí)方法[4]和基于深度學(xué)習(xí)[5]。在基于矩陣分解模型的方法中，文獻(xiàn)[6]在用戶矩陣中引入了用戶關(guān)系的隱特征矩陣，極大地提高了對(duì)稀疏數(shù)據(jù)的預(yù)測(cè)效果。在基于集成學(xué)習(xí)的方法中，文獻(xiàn)[7]使用多種相似性度量方法產(chǎn)生多個(gè)弱預(yù)測(cè)模型，然后通過(guò)集成算法將弱預(yù)測(cè)模型組合成強(qiáng)預(yù)測(cè)模型。在基于深度學(xué)習(xí)的方法中，被研究的神經(jīng)網(wǎng)絡(luò)模型包括了卷積神經(jīng)網(wǎng)絡(luò)[8]、深度信念網(wǎng)絡(luò)[9]、長(zhǎng)短期記憶網(wǎng)絡(luò)[10]和自編碼器[11]等。深度學(xué)習(xí)技術(shù)能夠?qū)W習(xí)數(shù)據(jù)的深度特征，在特征提取能力方面具有較好的性能，但目前深度學(xué)習(xí)模型的超參數(shù)難以確定，且訓(xùn)練難度較大。

為了利用深度學(xué)習(xí)技術(shù)的優(yōu)勢(shì)，同時(shí)降低模型的訓(xùn)練復(fù)雜度，提出了一種基于多核學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的稀疏數(shù)據(jù)推薦系統(tǒng)。不同于上述基于深度學(xué)習(xí)的推薦方法，本文利用結(jié)構(gòu)簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)提取輔助信息的特征，為了保證簡(jiǎn)單CNN結(jié)構(gòu)的特征提取效果，通過(guò)多核學(xué)習(xí)技術(shù)對(duì)神經(jīng)網(wǎng)絡(luò)中間層進(jìn)行核學(xué)習(xí)和組合，豐富特征向量的類型。此外，為了避免潛在因子矩陣的負(fù)入口所造成的信息損失，改用非負(fù)矩陣模型預(yù)測(cè)用戶對(duì)項(xiàng)目的評(píng)分。

1 稀疏數(shù)據(jù)推薦系統(tǒng)框架

本文模型考慮了項(xiàng)目描述這一關(guān)鍵的輔助信息，如：商品介紹、電影劇情、歌曲介紹以及新聞?wù)?，將輔助信息經(jīng)過(guò)CNN處理生成文本潛在因子。圖1是推薦系統(tǒng)的完整結(jié)構(gòu)。本文以電影推薦系統(tǒng)為描述對(duì)象，將電影作為項(xiàng)目，電影的情節(jié)作為項(xiàng)目的描述。首先在預(yù)處理階段，刪除輔助信息中的顯著性較低的內(nèi)容，如一些標(biāo)點(diǎn)符號(hào)和輔助詞。然后使用Word2Vec模型[12]將輔助信息轉(zhuǎn)化成密集分布的詞表示，將詞表示送入CNN學(xué)習(xí)密集向量的上下文特征，基于CNN輸出的特征向量初始化非負(fù)矩陣模型的基礎(chǔ)矩陣(項(xiàng)目潛在因子)，非負(fù)矩陣模型預(yù)測(cè)出用戶-項(xiàng)目矩陣的缺失評(píng)分。

圖1 推薦系統(tǒng)的完整結(jié)構(gòu)

1.1 數(shù)據(jù)預(yù)處理

設(shè)U=[u1,u2,u3,…,um]為所有用戶的列表，I=[i1,i2,i3,…,in]為所有項(xiàng)目的列表，將用戶-項(xiàng)目評(píng)分矩陣表示為Rui∈[0.5,1,2,3,4,5]m×n，其中Rui表示用戶u對(duì)項(xiàng)目i的評(píng)分，m為用戶總數(shù)量，n為項(xiàng)目總數(shù)量。系統(tǒng)的目標(biāo)是預(yù)測(cè)出缺失的評(píng)分R′ui，設(shè)G為項(xiàng)目描述信息，共包含l個(gè)詞，記為w1,w2,w3,…,wl。基于n個(gè)項(xiàng)目的全部描述信息建立語(yǔ)料庫(kù)C，表示為C∈{w1,w2,w3,…,wl,wl+1,…,wt}，t為語(yǔ)料庫(kù)C的詞數(shù)量。

運(yùn)用詞嵌入模型Word2vec處理語(yǔ)料庫(kù)C，生成s-維的詞向量。Word2vec順序地訓(xùn)練C中的詞，最大化詞的對(duì)數(shù)概率，其數(shù)學(xué)模型為

(1)

式中：|C|為語(yǔ)料庫(kù)C的大小，c為訓(xùn)練窗口的大小。

采用層次Softmax[13]定義每個(gè)輸出詞的概率p(wt+j|wt)，語(yǔ)義嵌入的維度應(yīng)當(dāng)和CNN的輸入維度相等。CNN的輸入層采用語(yǔ)料庫(kù)的Word2Vec模型，將Word2Vec模型轉(zhuǎn)化成輔助信息的密集矩陣，數(shù)學(xué)式為

(2)

式中：vti表示詞向量t的第i個(gè)維度，s為向量的維數(shù)。將矩陣X的每個(gè)詞向量直接級(jí)聯(lián)，因此X保留了詞之間的語(yǔ)義。設(shè)vi∈X為第i個(gè)詞向量，將一個(gè)長(zhǎng)度為l的句子表示為

v1∶l=v1⊕v2⊕…⊕vl

(3)

式中：“⊕”表示將向量級(jí)聯(lián)。

1.2 卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

圖2是卷積神經(jīng)網(wǎng)絡(luò)[14]的結(jié)構(gòu)。

圖2 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

卷積層對(duì)不同大小的窗口進(jìn)行卷積運(yùn)算，提取出詞在輔助信息中的上下文信息。上下文信息中包含了詞的順序信息，卷積核的大小決定了目標(biāo)詞的周?chē)~數(shù)量。假設(shè)h個(gè)詞向量wi:i+h-1傳入卷積核W，產(chǎn)生的特征設(shè)為ψi，那么卷積的計(jì)算式可表示為

ψi=f(Wh?X(:,vi:i+h-1)+b)

(4)

式中：“?”表示卷積運(yùn)算，Wh表示大小為h的卷積核，b∈為一個(gè)偏置項(xiàng)，f為非線性激活函數(shù)。由于該卷積核的目標(biāo)是分析詞向量，因此核的一個(gè)維度保持與向量表示長(zhǎng)度相等，另一個(gè)維度有所變化。卷積核處理的每個(gè)詞向量為{v1:h,v2:h+1,v3:h+1,…,vn-h+1:n}，生成每個(gè)詞的上下文特征圖為ψ=[ψ1,ψ2,ψ3,…,ψn-h+1]。

經(jīng)過(guò)最大池化層計(jì)算特定filter特征圖的最大值，選出特征圖中最重要的特征。此外，池化方法通過(guò)池化操作將不同長(zhǎng)度的句子統(tǒng)一成固定長(zhǎng)度的特征向量，避免加入無(wú)關(guān)的上下文特征。每個(gè)filter被提取一個(gè)特征，通過(guò)多個(gè)filter學(xué)習(xí)文本的上下文特征集。最大池化層的計(jì)算模型為

Xf=[max(ψ1),max(ψ2),max(ψ3),…,max(ψn-h+1)]

(5)

上下文特征集送入全連接層，全連接層將Xf轉(zhuǎn)化至k維的空間，構(gòu)成協(xié)同過(guò)濾的潛在因子。在全連接層采用非線性投影生成k維的潛在因子向量，投影的數(shù)學(xué)模型為

Xv=tanh(Wf2{tanh(Wf1Xf+bf1)}+bf2)

(6)

式中：Wf1和Wf2均為投影矩陣，bf1和bf2分別為Wf1和Wf2所對(duì)應(yīng)的偏置向量，Xv∈k。

1.3 協(xié)同過(guò)濾模型設(shè)計(jì)

基于非負(fù)矩陣分解(nonnegative matrix factorization，NMF)[15]實(shí)現(xiàn)評(píng)分預(yù)測(cè)，通過(guò)NMF將矩陣R∈R+m×n分解成兩個(gè)子矩陣M∈R+m×k和N∈R+k×n，并且R、M和N的所有入口均為非負(fù)項(xiàng)，因此可獲得以下關(guān)系：R≈M×N。在推薦系統(tǒng)的場(chǎng)景下，R+m×n表示m×n的非負(fù)矩陣，M可理解為項(xiàng)目，N為潛在因子，k為R的不可分解因子數(shù)量。因?yàn)樵谡鎸?shí)的推薦問(wèn)題中，不存在負(fù)項(xiàng)的情況(項(xiàng)目、用戶、評(píng)分)，所以對(duì)M和N的非負(fù)約束提高了協(xié)同過(guò)濾系統(tǒng)的可解釋性。

基于項(xiàng)目潛在因子對(duì)NMF進(jìn)行初始化，模型的目標(biāo)是找到兩個(gè)排名較低的非負(fù)矩陣MXv∈R+m×k和N∈R+k×n來(lái)預(yù)測(cè)評(píng)分，計(jì)算式為：R=MXvN。將R和MXvN之間設(shè)立一個(gè)約束，作為目標(biāo)函數(shù)

(7)

式中：MXv表示基于項(xiàng)目上下文特征初始化的潛在因子矩陣。

在預(yù)測(cè)過(guò)程中可能發(fā)生過(guò)擬合的情況，因此為目標(biāo)函數(shù)加入F-范數(shù)正則項(xiàng)[16]，目標(biāo)函數(shù)改寫(xiě)為

(8)

式中：ρm為特征向量(MXv)u的正則項(xiàng)，ρn為Ni的正則項(xiàng)。

通過(guò)最小化目標(biāo)函數(shù)獲得特征矩陣MXv和N，數(shù)學(xué)模型為

(9)

式中：M>0且N>0。

將矩陣N初始化為k×n大小的隨機(jī)矩陣：N=random[]k×n，k為評(píng)分矩陣的最小因子。通過(guò)迭代更新M和N計(jì)算目標(biāo)函數(shù)的最小值，迭代的數(shù)學(xué)式為

(10)

用戶u對(duì)于項(xiàng)目i的預(yù)測(cè)評(píng)分可計(jì)算為下式

R′ui=MuNi

(11)

式中：R′ui為預(yù)測(cè)評(píng)分。

算法1總結(jié)了本文推薦系統(tǒng)的算法，算法迭代更新兩個(gè)潛在因子矩陣M和N，直至達(dá)到收斂。

算法1：基于非負(fù)最大矩陣的推薦算法。

輸入：數(shù)據(jù)集的評(píng)分矩陣R，最大迭代次數(shù)Maxiter，閾值threshold。

輸出：特征矩陣M和N。

(1)預(yù)處理電影輔助信息， 獲得句子矩陣；

(2)采用CNN提取句子矩陣的特征向量；

(3)初始化：N=random[]k×n,M=Xv=MXv。

(4)forkfrom 1 toMaxiterdo

(5) forufrom 1 toMdo

(7) endfor

(8) forifrom 1 toNdo

(10) endfor

(11)Rerr=RMSE(R-MN)2//計(jì)算目標(biāo)函數(shù)

(12) ifRerr

(13) break;

(14) endif

(15)endfor

(16)Return。

2 增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)通過(guò)多核學(xué)習(xí)

為了保證簡(jiǎn)單CNN結(jié)構(gòu)的特征提取效果，通過(guò)多核學(xué)習(xí)技術(shù)對(duì)神經(jīng)網(wǎng)絡(luò)中間層進(jìn)行核學(xué)習(xí)和組合，豐富特征向量的類型。

2.1 多核學(xué)習(xí)

采用多核學(xué)習(xí)將CNN每層的低顯著性特征集組合成高顯著性特征集，通過(guò)凸組合將每層的權(quán)重向量組合，組合的數(shù)學(xué)模型為

(12)

上述多核學(xué)習(xí)方法可以組合任意類型的核，本文將CNN每個(gè)中間層的表示向量作為一個(gè)核，對(duì)CNN進(jìn)行多核學(xué)習(xí)，經(jīng)過(guò)多核學(xué)習(xí)獲得的多個(gè)核稱為“組合核”，該機(jī)制類似于Boosting提升算法，通過(guò)組合多個(gè)弱分類能力的核來(lái)提高CNN的總體表征能力。

2.2 多核學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)

(13)

式中：ζr(x)=g(Wrx+b)，Wr為權(quán)重矩陣，b為偏置向量，g為非線性元素函數(shù)，l表示網(wǎng)絡(luò)中中間層的數(shù)量，“°”表示矩陣乘法運(yùn)算(在卷積層的矩陣之間為卷積運(yùn)算)，最終ζout把最高層的表示映射到輸出。

CNN的卷積層輸出是形狀不同的矩陣形式，網(wǎng)絡(luò)訓(xùn)練之后對(duì)CNN的中間表示進(jìn)行壓縮來(lái)建立每一層的核。將卷積層的表示壓縮，與最小長(zhǎng)度的表示矩陣對(duì)齊，刪除多余的元素。假設(shè)φr(x)表示CNN網(wǎng)絡(luò)第r層的表示。圖3是對(duì)CNN每個(gè)中間層進(jìn)行多核學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖3 KerNET程序具有CNN作為基礎(chǔ)網(wǎng)絡(luò)

傳統(tǒng)CNN僅使用最后一個(gè)隱層的輸出作為網(wǎng)絡(luò)的表示，而在CNN的中間層也包含了輸入數(shù)據(jù)不同角度的特征。本文采用多核學(xué)習(xí)組合中間層的表示，以期提高神經(jīng)網(wǎng)絡(luò)的泛化能力。本文的多核學(xué)習(xí)框架包含兩個(gè)階段：首先訓(xùn)練CNN，確定CNN的參數(shù)；然后使用每個(gè)中間層表示φr建立基礎(chǔ)核kr(x,z)=<φr(x),φr(z)>。最終，通過(guò)多核學(xué)習(xí)(式(12))將基礎(chǔ)核結(jié)合。算法2是多核學(xué)習(xí)CNN算法的偽代碼。

算法2：多核學(xué)習(xí)CNN算法。

輸入：輸入數(shù)據(jù)矩陣X。

輸出：多核特征表示kμ。

(1)訓(xùn)練CNN網(wǎng)絡(luò)，獲得網(wǎng)絡(luò)參數(shù);

(2)獲得CNN每一個(gè)中間層的表示φ0,φ1,…，φr(x)表示第r層的實(shí)例x;

(3)將中間層表示轉(zhuǎn)化為基礎(chǔ)核：ki(x,z)=<φi(x),φi(z)>；

(4)使用多核學(xué)習(xí)獲得組合核：kμ(x,z)=∑rμrkr(x,z)。

3 實(shí)驗(yàn)和結(jié)果分析

本文的實(shí)驗(yàn)環(huán)境為PC機(jī)：Intel i7-9700 6核心處理器，16 GB內(nèi)存，操作系統(tǒng)為64位 Windows 10操作系統(tǒng)。

3.1 數(shù)據(jù)預(yù)處理

采用2個(gè)在推薦系統(tǒng)領(lǐng)域廣泛應(yīng)用的benchmark數(shù)據(jù)集，分別為MovieLens 1M、MovieLens 10M。MovieLens 1M數(shù)據(jù)集包含1 000 209個(gè)顯式評(píng)分，評(píng)分值為Rui∈{0.5,1,2,3,4,5}，用戶數(shù)量為6040，電影數(shù)量約3900部。MovieLens 10M數(shù)據(jù)集包含10 000 054個(gè)顯式評(píng)分，評(píng)分值為Rui∈{1,2,3,4,5}，用戶數(shù)量為71 567，電影數(shù)量約10 681部。兩個(gè)數(shù)據(jù)集的基本信息見(jiàn)表1，2個(gè)數(shù)據(jù)集均較為稀疏。

表1 實(shí)驗(yàn)數(shù)據(jù)集的信息

將電影的情節(jié)作為輔助信息，用于預(yù)測(cè)每個(gè)電影的評(píng)分。在其它應(yīng)用場(chǎng)景下可將商品的介紹作為輔助信息，本文以電影推薦問(wèn)題為研究目標(biāo)。原數(shù)據(jù)集不包含每個(gè)電影的情節(jié)信息，利用IMDB提供的開(kāi)放API，基于Python語(yǔ)言編寫(xiě)腳本檢索每部電影的劇情信息。

對(duì)劇情信息進(jìn)行以下預(yù)處理：首先，每個(gè)劇情文本的最大長(zhǎng)度設(shè)為250個(gè)詞，不足250個(gè)詞的補(bǔ)充結(jié)束符。然后，計(jì)算每個(gè)詞的TF-IDF(term frequency-inverse document frequency)[18]，刪除TF-IDF>0.5的詞。詞頻(term frequency，TF)定義為詞在劇情文本中出現(xiàn)的次數(shù)，逆向文件頻率(inverse document frequency，IDF)反映了詞在所有文檔中的重要性。通過(guò)TF-IDF排除語(yǔ)料庫(kù)中的相同詞，選擇TF-IDF值最高的8000個(gè)詞構(gòu)成語(yǔ)料庫(kù)。將劇情文本中的非語(yǔ)料庫(kù)詞刪除，保留語(yǔ)料庫(kù)中的詞。

應(yīng)用Word2vec模型處理預(yù)處理后的劇情文本，生成電影項(xiàng)目的分布式表示。Word2Vec模型生成s維的特征向量，語(yǔ)料庫(kù)和生成的詞向量中包含了電影劇情的詞特征和詞的上下文特征。然后使用這些數(shù)據(jù)初始化卷積神經(jīng)網(wǎng)絡(luò)的輸入層，即句子矩陣。經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)獲得項(xiàng)目潛在因子向量，利用該向量初始化非負(fù)最大矩陣的項(xiàng)目潛在因素矩陣，最終生成對(duì)評(píng)分的預(yù)測(cè)結(jié)果。

3.2 性能評(píng)價(jià)標(biāo)準(zhǔn)

將數(shù)據(jù)集的80%樣本劃分為訓(xùn)練集，剩余的20%為測(cè)試集。將根均方誤差RMSE作為評(píng)分預(yù)測(cè)模型的評(píng)價(jià)標(biāo)準(zhǔn)，RMSE的數(shù)學(xué)式為

(14)

式中：R′為預(yù)測(cè)的評(píng)分。

采用精度、召回率、準(zhǔn)確率和AUC也作為推薦系統(tǒng)的評(píng)價(jià)標(biāo)準(zhǔn)。基于項(xiàng)目的評(píng)分將項(xiàng)目分為相關(guān)類和不相關(guān)類，評(píng)分1-3作為不相關(guān)類，評(píng)分4-5為相關(guān)類。推薦系統(tǒng)的精度Pre、召回率Rec和準(zhǔn)確率Acc分別計(jì)算為

(15)

(16)

(17)

式中：TP表示相關(guān)項(xiàng)被推薦，TN表示不相關(guān)項(xiàng)未被推薦，F(xiàn)P表示不相關(guān)項(xiàng)被推薦，F(xiàn)N表示相關(guān)項(xiàng)未被推薦。

AUC是精度和召回率兩者間的權(quán)衡指標(biāo)，評(píng)價(jià)推薦結(jié)果的總性能。采用5折交叉驗(yàn)證對(duì)評(píng)分預(yù)測(cè)模型進(jìn)行訓(xùn)練，并生成對(duì)于缺失評(píng)分的預(yù)測(cè)。

3.3 模型的參數(shù)設(shè)置

(1)潛在因子參數(shù)

為了確定項(xiàng)目潛在因子的維度K值，通過(guò)試錯(cuò)法測(cè)試了不同K值的效果，K值分別為：50,60,70,80,90,100。圖4是不同K值所對(duì)應(yīng)的平均RMSE結(jié)果，圖中可看出K值越高，RMSE越低，說(shuō)明項(xiàng)目潛在因子的維度越高，評(píng)分預(yù)測(cè)的準(zhǔn)確率也越高。下文實(shí)驗(yàn)中將潛在因子參數(shù)設(shè)為100。

圖4 不同K值所對(duì)應(yīng)的平均RMSE結(jié)果

(2)卷積神經(jīng)網(wǎng)絡(luò)參數(shù)

采用圖2所示的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，卷積層設(shè)置3個(gè)區(qū)域大小3、4、5，區(qū)域的另一個(gè)維度等于項(xiàng)目的評(píng)分維度，即MovieLens 1M(0.5,1,2,3,4,5)的維度為6，MovieLens 10M(1,2,3,4,5)的維度為5。每個(gè)區(qū)域分別為2個(gè)filter，共6個(gè)filter。

通過(guò)試錯(cuò)實(shí)驗(yàn)測(cè)試卷積神經(jīng)網(wǎng)絡(luò)的輸入(句子矩陣)維度對(duì)模型的影響。圖5是不同輸入維度下模型的預(yù)測(cè)性能，可看出輸入維度越高，平均RMSE值略有下降，但是變化并非十分明顯?？紤]性能和計(jì)算復(fù)雜度之間的平衡，將輸入維度設(shè)為200。

圖5 不同輸入維度下模型的預(yù)測(cè)性能

經(jīng)過(guò)試錯(cuò)法將多核學(xué)習(xí)的μ值設(shè)為：卷積層=0.2，映射層0.1，池化層0.1，輸出層0.6。

3.4 實(shí)驗(yàn)結(jié)果和分析

(1)評(píng)分預(yù)測(cè)實(shí)驗(yàn)

本文的主要貢獻(xiàn)是提出了新的評(píng)分預(yù)測(cè)技術(shù)，用以解決稀疏性數(shù)據(jù)的推薦問(wèn)題。首先對(duì)本文的評(píng)分預(yù)測(cè)性能進(jìn)行驗(yàn)證，選擇近年來(lái)的5個(gè)評(píng)分預(yù)測(cè)技術(shù)作為對(duì)比方法。文獻(xiàn)[19]結(jié)合LDA主題模型和PMF技術(shù)對(duì)未知評(píng)分進(jìn)行預(yù)測(cè)，LDA主題模型和本文所采用的詞嵌入模型較為相似，因此將該方法作為對(duì)比方法來(lái)評(píng)價(jià)詞模型的有效性，將其簡(jiǎn)記為L(zhǎng)DAPMF。文獻(xiàn)[20]結(jié)合將項(xiàng)目上下文信息輸入PMF的項(xiàng)目潛在因子，對(duì)包含上下文信息的PMF進(jìn)行統(tǒng)一運(yùn)算，通過(guò)該算法驗(yàn)證本文CNN特征的有效性，將其簡(jiǎn)記為PMFLF。文獻(xiàn)[21]是基于長(zhǎng)短期記憶網(wǎng)絡(luò)的未知評(píng)分預(yù)測(cè)方法，簡(jiǎn)記為L(zhǎng)STMRT；文獻(xiàn)[22]是基于貝葉斯深度神經(jīng)網(wǎng)絡(luò)的未知評(píng)分預(yù)測(cè)方法，簡(jiǎn)記為BDNNRT；文獻(xiàn)[23]是基于深度信念網(wǎng)絡(luò)深度學(xué)習(xí)的未知評(píng)分預(yù)測(cè)方法，簡(jiǎn)記為DBNRT。文獻(xiàn)[21-23]均為基于深度神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)方法，是近年來(lái)性能較好的預(yù)測(cè)方法，選擇這3個(gè)方法可以驗(yàn)證本文方法的性能優(yōu)劣。

圖6是不同推薦系統(tǒng)對(duì)于評(píng)分預(yù)測(cè)的平均RMSE值，圖中“本文方法1”表示在本文系統(tǒng)中采用常規(guī)CNN的模型，“本文方法2”表示在本文系統(tǒng)中采用多核學(xué)習(xí)CNN的模型。比較圖中的結(jié)果可看出LSTMRT的預(yù)測(cè)性能略低于PMFLF，可見(jiàn)深度學(xué)習(xí)技術(shù)在評(píng)分預(yù)測(cè)問(wèn)題上并未表現(xiàn)出明顯的優(yōu)勢(shì)。本文方法1的預(yù)測(cè)效果好于LDAPMF、PMFLF、LSTMRT、BDNNRT和DBNRT方法，因此文中CNN卷積方法和輔助信息相結(jié)合的方法能夠?qū)崿F(xiàn)較好的評(píng)分預(yù)測(cè)效果。此外，“本文方法2”的預(yù)測(cè)效果也好于“本文方法1”，可看出本文通過(guò)多核學(xué)習(xí)技術(shù)能夠有效地提高CNN網(wǎng)絡(luò)的特征學(xué)習(xí)效果。

圖6 不同推薦系統(tǒng)評(píng)分預(yù)測(cè)的平均RMSE值

(2)推薦系統(tǒng)實(shí)驗(yàn)

在LDAPMF、PMFLF、LSTMRT、BDNNRT和DBNRT 這5個(gè)對(duì)比方法中，LSTMRT的研究?jī)H給出了預(yù)測(cè)評(píng)分的結(jié)果，并未提供推薦系統(tǒng)的推薦結(jié)果，因此將LSTMRT方法排除。圖7是不同推薦系統(tǒng)基于預(yù)測(cè)評(píng)分的推薦性能，圖7(a)和圖7(b)分別為推薦系統(tǒng)的平均準(zhǔn)確率指標(biāo)和AUC指標(biāo)。圖中“本文方法1”表示在本文系統(tǒng)中采用常規(guī)CNN的模型，“本文方法2”表示在本文系統(tǒng)中采用多核學(xué)習(xí)CNN的模型。

比較圖7中的結(jié)果可看出LDAPMF方法受到預(yù)測(cè)評(píng)分準(zhǔn)確率的影響，其推薦性能明顯低于其它推薦系統(tǒng)。本文方法1的推薦效果好于LDAPMF、PMFLF、BDNNRT和DBNRT方法，因此文中CNN卷積方法和輔助信息相結(jié)合的方法能夠?qū)崿F(xiàn)較好的推薦效果，增強(qiáng)推薦系統(tǒng)的性能。此外，“本文方法2”的推薦性能也好于“本文方法1”，可看出本文通過(guò)多核學(xué)習(xí)技術(shù)能夠有效地增強(qiáng)推薦系統(tǒng)的性能。

圖7 推薦系統(tǒng)的性能

4 結(jié)束語(yǔ)

本文利用結(jié)構(gòu)簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)提取輔助信息的特征，為了保證簡(jiǎn)單CNN結(jié)構(gòu)的特征提取效果，通過(guò)多核學(xué)習(xí)技術(shù)對(duì)神經(jīng)網(wǎng)絡(luò)中間層進(jìn)行核學(xué)習(xí)和組合，豐富特征向量的類型。為了避免潛在因素矩陣的負(fù)入口所造成信息損失，利用非負(fù)矩陣模型預(yù)測(cè)用戶對(duì)項(xiàng)目的評(píng)分。實(shí)驗(yàn)結(jié)果表明了文中CNN卷積方法和輔助信息相結(jié)合的方法能夠?qū)崿F(xiàn)較好的評(píng)分預(yù)測(cè)效果，并且通過(guò)多核學(xué)習(xí)技術(shù)能夠有效地提高CNN網(wǎng)絡(luò)的特征學(xué)習(xí)效果。

雖然本文以電影推薦問(wèn)題為描述對(duì)象，但是在許多實(shí)際應(yīng)用中項(xiàng)目均包括簡(jiǎn)介、說(shuō)明等文字信息，因此本文方法可以應(yīng)用于其它各種類型的電子商務(wù)問(wèn)題中。考慮到訓(xùn)練復(fù)雜度問(wèn)題，本文主要采用了簡(jiǎn)單的CNN結(jié)構(gòu)，未來(lái)將關(guān)注于不同神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在特定問(wèn)題的預(yù)測(cè)效果。