吳哲夫，李澤農(nóng)，呂躍華，龔樹(shù)鳳

1(浙江工業(yè)大學(xué) 信息工程學(xué)院，杭州 310023) 2(浙江省科技信息研究院 信息技術(shù)中心，杭州 310006)

1 引 言

隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)用戶的數(shù)量得到了快速增長(zhǎng)，互聯(lián)網(wǎng)產(chǎn)品的需求也大大提高.電子商務(wù)、社交網(wǎng)站、在線閱讀等與生活有著密切關(guān)系的互聯(lián)網(wǎng)產(chǎn)品都在互聯(lián)網(wǎng)環(huán)境下蓬勃發(fā)展，人們的生活也因此變得越來(lái)越便利.但與此同時(shí)，在這些呈現(xiàn)出爆炸式增長(zhǎng)的信息量中，人們不得不花費(fèi)大量的時(shí)間與精力來(lái)獲取對(duì)自己有價(jià)值的信息.在這個(gè)“信息過(guò)載”的時(shí)代，傳統(tǒng)的搜索引擎技術(shù)已無(wú)法滿足針對(duì)不同的用戶來(lái)提供不同的個(gè)性化服務(wù)需求.因此，推薦系統(tǒng)[1]應(yīng)運(yùn)而生，它通過(guò)分析用戶的歷史活動(dòng)行為，挖掘出用戶的潛在偏好，從而向用戶推薦其可能感興趣的物品，滿足用戶的個(gè)性化需求[2].個(gè)性化推薦技術(shù)得以廣泛應(yīng)用，典型應(yīng)用包括國(guó)外電子商務(wù)領(lǐng)域的Amazon，社交領(lǐng)域的Facebook、Twitter，新聞推薦領(lǐng)域的Google News等.這些應(yīng)用和平臺(tái)通過(guò)推薦系統(tǒng)，很好地解決了用戶個(gè)性化需求的問(wèn)題，并且獲得了可觀的商業(yè)價(jià)值和經(jīng)濟(jì)效益[3].

近年來(lái)，有研究發(fā)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)能夠?qū)φ_輸入的圖像進(jìn)行分類.但是，對(duì)這些圖像添加微小擾動(dòng)后，神經(jīng)網(wǎng)絡(luò)可能會(huì)導(dǎo)致完全錯(cuò)誤的分類結(jié)果，即這些微小擾動(dòng)使得預(yù)測(cè)誤差擴(kuò)大化.為了解決這類問(wèn)題，研究人員提出了一種對(duì)抗性學(xué)習(xí)方法，即在訓(xùn)練過(guò)程中動(dòng)態(tài)性地生成對(duì)抗性樣本.除了將微擾加載在神經(jīng)網(wǎng)絡(luò)輸入層，研究人員還嘗試了在嵌入層和dropout層進(jìn)行添加.受此啟發(fā)，對(duì)抗性學(xué)習(xí)方法同樣適用于推薦系統(tǒng)領(lǐng)域，通過(guò)使用對(duì)抗性學(xué)習(xí)方法能夠增加模型抵御來(lái)自外界惡意攻擊的能力，從而提升模型的魯棒性.

本文提出了一種基于對(duì)抗性學(xué)習(xí)提高推薦魯棒性的算法，通過(guò)使用對(duì)抗性學(xué)習(xí)訓(xùn)練方法不僅提高了模型的推薦性能也增強(qiáng)了模型的魯棒性.首先研究了美學(xué)因子作為新的視覺(jué)特征對(duì)推薦模型魯棒性的影響；然后添加對(duì)抗性擾動(dòng)提出了一個(gè)ADCFA(Adversarial Dynamic Collaborative Filtering Model with Aesthetic Feature)算法，并通過(guò)使用對(duì)抗性學(xué)習(xí)訓(xùn)練來(lái)提高推薦模型的魯棒性；并且提出了一種改進(jìn)的ADCFA-SGD學(xué)習(xí)算法進(jìn)行模型參數(shù)求解；最后，將所提對(duì)抗性學(xué)習(xí)算法應(yīng)用于Amazon數(shù)據(jù)集驗(yàn)證了其有效性.

2 相關(guān)工作

在過(guò)去幾十年，學(xué)者們提出了各種推薦算法并且已經(jīng)被廣泛地應(yīng)用到各類推薦系統(tǒng)中.在當(dāng)前的推薦系統(tǒng)算法研究中，絕大多數(shù)都是集中在提高推薦的準(zhǔn)確率上，例如Du 等人將視頻中所包含的文本信息、音頻信息、圖片中的語(yǔ)義信息和美學(xué)特征等分別或同時(shí)納入推薦模型以改善對(duì)于視頻推薦的準(zhǔn)確度[4-7]；He 等人融合時(shí)間因子、社會(huì)關(guān)系和視覺(jué)特征于一體對(duì)藝術(shù)品做推薦[8].還有使用新的融合方法[9-10]或新的特征提取技術(shù)[11]來(lái)優(yōu)化算法，例如通過(guò)將多特征空間映射到一個(gè)統(tǒng)一空間實(shí)現(xiàn)融合的；或者使用不同特征的結(jié)果列表，利用其候選結(jié)果來(lái)進(jìn)行融合實(shí)現(xiàn).

但這些研究都專注于推薦的準(zhǔn)確率而忽略了其魯棒性的問(wèn)題.Goodfellow在其關(guān)于對(duì)抗性實(shí)例[12]的研究中指出：當(dāng)一張圖片受到外界的擾動(dòng)干擾時(shí)，圖片分類器得到的結(jié)果會(huì)存在一定程度的偏差[13，14].對(duì)于推薦算法來(lái)說(shuō)，類似的現(xiàn)象同樣存在.到目前為止，推薦系統(tǒng)領(lǐng)域?qū)τ隰敯粜匝芯縖15，16]還不多，僅包括了用戶、產(chǎn)品對(duì)于推薦算法魯棒性的影響和 CNN 視覺(jué)特征對(duì)于推薦算法魯棒性影響等方面的研究.

視覺(jué)特征是影響推薦模型的一個(gè)重要的影響因子.近期，有研究表明利用新的網(wǎng)絡(luò)結(jié)構(gòu) BDN(Brain-inspired Deep Network)提取的美學(xué)因子相較于從傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)提取的CNN特征，對(duì)于推薦系統(tǒng)能起到更好的推薦效果.為了探究美學(xué)因子作為視覺(jué)特征對(duì)模型魯棒性的影響，本文選擇了DCFA模型[17]作為基礎(chǔ)模型來(lái)展開(kāi)研究，并提出了一種基于對(duì)抗性學(xué)習(xí)提高推薦魯棒性的算法.

3 準(zhǔn)備工作

本節(jié)主要介紹了用于提高魯棒性的基礎(chǔ)模型DCFA以及研究了該模型的脆弱性，首先討論了在模型中添加擾動(dòng)的位置，然后通過(guò)在DCFA模型中分別加入隨機(jī)擾動(dòng)和對(duì)抗性擾動(dòng)來(lái)比較模型性能的變化，以此來(lái)驗(yàn)證改善此模型魯棒性的可行性.

3.1 DCFA模型

DCFA模型結(jié)合了用戶歷史消費(fèi)行為和產(chǎn)品的視覺(jué)特征，能夠捕捉不同用戶隨著時(shí)間變化而變化的審美偏好，因而能給用戶在不同的時(shí)間推薦適合的產(chǎn)品.

DCFA模型相較于僅僅利用從傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)提取的CNN特征作為視覺(jué)特征外，還加入了美學(xué)特征，它將從產(chǎn)品圖片中提取出的CNN特征和美學(xué)特征結(jié)合起來(lái)作為視覺(jué)特征融入到張量分解模型中，為避免CP(CANDECOMP/PARAFAC)[18]和Tucker[19]分解存在的諸如稀疏數(shù)據(jù)收斂性差、對(duì)于大規(guī)模數(shù)據(jù)集的擴(kuò)展性差等不足之處，選擇CMTF(Coupled Matrix and Tensor Factorization)[20]框架來(lái)進(jìn)行張量分解，其預(yù)測(cè)模型為：

(1)

DCFA模型使用典型的貝葉斯個(gè)性化排序[21]優(yōu)化標(biāo)準(zhǔn)對(duì)用戶的隱式反饋(購(gòu)買(mǎi)記錄)進(jìn)行優(yōu)化.構(gòu)成的目標(biāo)函數(shù)為：

(2)

(3)

(4)

(5)

3.2 DCFA模型的脆弱性

擾動(dòng)通常被加入到模型輸入或模型參數(shù)中，本文研究的是美學(xué)特征在加入擾動(dòng)后的影響.由于美學(xué)特征是從圖片中提取的，理論上將擾動(dòng)加入到上述兩個(gè)位置都可行，但將擾動(dòng)加入到模型輸入中卻會(huì)遇到一些實(shí)際問(wèn)題：

首先如果選擇在模型輸入處加入擾動(dòng)，由于系統(tǒng)從圖片輸入開(kāi)始，在訓(xùn)練算法模型的時(shí)候?qū)τ糜谔崛蓚€(gè)視覺(jué)特征網(wǎng)絡(luò)的參數(shù)會(huì)持續(xù)更新，并且模型輸入的原始用戶信息和產(chǎn)品的交互信息往往是稀疏的，而提取視覺(jué)特征的網(wǎng)絡(luò)有很多參數(shù)，同步訓(xùn)練容易引起過(guò)擬合問(wèn)題.

其次在模型輸入處添加擾動(dòng)會(huì)導(dǎo)致模型訓(xùn)練的復(fù)雜度大大增加.假如本文給模型輸入一個(gè)實(shí)例，不僅需要更新算法模型所涉及的用戶、產(chǎn)品、時(shí)間等矩陣，同樣梯度變化的數(shù)據(jù)也需要回傳到提取視覺(jué)特征的網(wǎng)絡(luò)，以此對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行更新，而神經(jīng)網(wǎng)絡(luò)的參數(shù)往往都比模型參數(shù)大很多倍，這就勢(shì)必使得訓(xùn)練過(guò)程更加耗時(shí)，增加了復(fù)雜度.

為了避免產(chǎn)生這些問(wèn)題，本文選擇在模型參數(shù)中加入擾動(dòng)，一方面能避免提取圖片特征的網(wǎng)絡(luò)與模型訓(xùn)練過(guò)程產(chǎn)生交叉影響，另一方面也能提升算法的效率.

DCFA模型將從圖片中提取的CNN特征和美學(xué)特征整合的嵌入式矩陣作為模型參數(shù)來(lái)預(yù)測(cè)用戶的偏好.根據(jù)上節(jié)的討論，本文選擇在該模型參數(shù)中分別加入隨機(jī)擾動(dòng)和對(duì)抗性擾動(dòng)，通過(guò)調(diào)整超參數(shù)ε的大小來(lái)控制擾動(dòng)幅度的大小，以此來(lái)對(duì)比模型在這兩種情況下性能的變化.本文選用亞馬遜數(shù)據(jù)集計(jì)算，并使用F1@10和Recall@5兩個(gè)指標(biāo)來(lái)衡量模型性能的好壞.實(shí)驗(yàn)結(jié)果如圖1所示.

圖1 在不同噪聲類型下的性能對(duì)比

從圖1可以觀察到當(dāng)該模型加入隨機(jī)擾動(dòng)(DCFA-rand)時(shí)，模型性能的變化較??；而當(dāng)加入對(duì)抗性擾動(dòng)(DCFA-grad)后，模型性能整體呈下降趨勢(shì)，并且當(dāng)擾動(dòng)變大時(shí)，性能明顯下降.該結(jié)果表明DCFA模型易受到對(duì)抗性擾動(dòng)的影響，因此可以通過(guò)對(duì)抗性學(xué)習(xí)來(lái)改善模型的魯棒性.

4 提高推薦魯棒性的算法

本節(jié)將詳細(xì)介紹在DCFA模型上添加對(duì)抗性學(xué)習(xí)來(lái)改善魯棒性的新模型ADCFA的組成和訓(xùn)練方法.

4.1 ADCFA預(yù)測(cè)模型

根據(jù)上節(jié)知，DCFA模型易受到對(duì)抗性擾動(dòng)的影響，在DCFA模型的基礎(chǔ)上添加對(duì)抗性擾動(dòng)得到了一個(gè)ADCFA的預(yù)測(cè)模型，其定義為：

(6)

其中，Δ*∈RK表示加入到視覺(jué)特征矩陣的對(duì)抗性擾動(dòng).類似于DCFA，本文使用BPR來(lái)優(yōu)化訓(xùn)練模型參數(shù).該預(yù)測(cè)模型示意圖如圖2所示.

圖2 ADCFA模型框架圖

4.2 對(duì)抗性擾動(dòng)的構(gòu)建

DCFA是一種用BPR優(yōu)化的時(shí)間感知美學(xué)推薦模型.本文使用SGD(Stochastic Gradient Descent)訓(xùn)練DCFA模型，直至模型達(dá)到收斂，目的是找出最壞情況的擾動(dòng)，這將導(dǎo)致對(duì)模型的影響最大；另一方面，由于DCFA模型經(jīng)過(guò)訓(xùn)練以最小化BPR損失，因此將BPR損失最大化作為相反的目標(biāo)，以獲得對(duì)訓(xùn)練數(shù)據(jù)的最佳擾動(dòng)，即添加在模型參數(shù)處的對(duì)抗性擾動(dòng)：

(7)

(8)

(9)

(10)

(11)

4.3 模型優(yōu)化

為了獲得對(duì)對(duì)抗性擾動(dòng)不太敏感的模型，除了最小化原始BPR損失之外，還需最小化被擾動(dòng)模型的目標(biāo)函數(shù)并將模型的優(yōu)化目標(biāo)定義為：

(12)

其中，Θ為模型參數(shù)，包括用戶、產(chǎn)品以及時(shí)間的嵌入矩陣U、V、T，用戶偏好矩陣M，產(chǎn)品潛在特征矩陣W，時(shí)間r的偏好矩陣N，特征矩陣F；λ是控制被擾動(dòng)模型的目標(biāo)函數(shù)對(duì)模型優(yōu)化影響的一個(gè)超參數(shù)，當(dāng)λ設(shè)置為0時(shí)表示模型沒(méi)有加入任何擾動(dòng).

總的來(lái)說(shuō)，ADCFA模型的訓(xùn)練就像進(jìn)行一場(chǎng)極大極小值的游戲：

(13)

本文把模型參數(shù)Θ和擾動(dòng)Δ看成玩這場(chǎng)極大極小值游戲的兩個(gè)玩家，類似博弈論中的二人零和博弈[22]，即二人的利益之和為零，一方所得正好是一方所失.從模型參數(shù)Θ的角度出發(fā)，為了贏得這場(chǎng)游戲，它肯定希望最小化自己的損失而最大化對(duì)手的損失，反之亦然.

4.4 學(xué)習(xí)算法

在BPR損失中由于存在大量成對(duì)訓(xùn)練實(shí)例，使用批量梯度下降方法非常耗時(shí)并且收斂速度慢，為此本文考慮基于SGD算法[23]為ADCFA設(shè)計(jì)了參數(shù)學(xué)習(xí)算法.

算法：ADCFA-SGD學(xué)習(xí)算法.

輸入：訓(xùn)練集D，學(xué)習(xí)率η，控制對(duì)抗性擾動(dòng)幅度的超參數(shù)，

對(duì)抗性正則化超參數(shù)λ，正則化系數(shù)λθ，迭代次數(shù)iter_max；

輸出：模型參數(shù)Θ.

1.訓(xùn)練DCFA得到收斂參數(shù)初始化Θ；

2.初始化循環(huán)次數(shù)iter=0；

3.While參數(shù)未收斂&iter

4.iter+=1；

5.從訓(xùn)練集中隨機(jī)選一實(shí)例(p，q，q′，r)；

6.構(gòu)建對(duì)抗性擾動(dòng)；

7.更新模型參數(shù)；

8.end.

9.return Θ.

該算法的關(guān)鍵步驟是如何為一個(gè)實(shí)例(p，q，q′，r)構(gòu)建對(duì)抗性擾動(dòng)(步驟6)以及模型參數(shù)的更新(步驟7).

構(gòu)建對(duì)抗性擾動(dòng)的目標(biāo)函數(shù)為：

(14)

另外，如果最小化實(shí)例的目標(biāo)函數(shù)，就能獲得模型參數(shù)，使模型能夠抵抗在該實(shí)例上被破壞的情況.

模型參數(shù)學(xué)習(xí)的目標(biāo)函數(shù)為：

(15)

5 實(shí)驗(yàn)分析

實(shí)驗(yàn)選擇亞馬遜鞋子類公開(kāi)數(shù)據(jù)集驗(yàn)證本文提出算法的性能.亞馬遜鞋子類數(shù)據(jù)集含有用戶的消費(fèi)信息、產(chǎn)品信息等.實(shí)驗(yàn)中所用數(shù)據(jù)集的統(tǒng)計(jì)特性如表1所示.

表1 數(shù)據(jù)集統(tǒng)計(jì)信息

模型的美學(xué)特征是使用美學(xué)網(wǎng)絡(luò)在美學(xué)視覺(jué)分析(AVA)數(shù)據(jù)集(1)https：//www.dpchallenge.com(訓(xùn)練得到的.它包含超過(guò)250，000張審美評(píng)級(jí)為1至10的圖像，66個(gè)描述圖像語(yǔ)義的文本標(biāo)簽，以及14種攝影風(fēng)格(互補(bǔ)色、雙色調(diào)、高動(dòng)態(tài)范圍、圖像紋理、白色光、長(zhǎng)曝光、微距、動(dòng)態(tài)模糊、負(fù)重像、三分規(guī)則、淺景深、輪廓、軟焦點(diǎn)和消失點(diǎn))，且都進(jìn)行了審美排序.

5.1 實(shí)驗(yàn)設(shè)置

本文采用準(zhǔn)確率P、召回率R和F1值F1來(lái)評(píng)價(jià)推薦算法的性能，其定義如下：

(16)

(17)

(18)

為了驗(yàn)證本文提出推薦算法的有效性，選取如下的推薦算法作為對(duì)比方法.

1)POP：是一種非個(gè)性化排名的方法，按照產(chǎn)品的受歡迎程度來(lái)進(jìn)行排名，通過(guò)訓(xùn)練數(shù)據(jù)中的交互次數(shù)來(lái)衡量.

2)MF-BPR：使用BPR優(yōu)化排序，把用戶和產(chǎn)品分別以嵌入矩陣的形式表現(xiàn)出來(lái)，并用其內(nèi)積來(lái)評(píng)價(jià)用戶對(duì)一個(gè)產(chǎn)品的偏好程度.

3)VBPR：在MF-BPR基礎(chǔ)上加入了視覺(jué)信息的模型，對(duì)于那些受視覺(jué)信息影響較大的推薦任務(wù)如：服裝推薦等VBPR有其優(yōu)越性.

4)AMR：在VBPR模型基礎(chǔ)上利用對(duì)抗性學(xué)習(xí)訓(xùn)練得到的新模型.該模型相比較于VBPR有更好的魯棒性和推薦效果.

5)DCFA：將美學(xué)特征融入到一個(gè)基于張量分解的模型中，可以根據(jù)用戶的審美個(gè)性化推薦產(chǎn)品.

從數(shù)據(jù)集中隨機(jī)抽取其中的80%作為訓(xùn)練，10%作為驗(yàn)證，剩余10%作為測(cè)試，其中驗(yàn)證集用于調(diào)整超參數(shù)，測(cè)試集用于性能比較.為了公平起見(jiàn)，不同算法中的參數(shù)設(shè)置如下：在MF中λU=0.1，λV=0.001；在VBPR中λ1=0.1，λ2=0.001，λ3=0；在AMR中3個(gè)正則化系數(shù)同VBPR，λadv=5，ε=0.01；在DCFA中λ1=λ2=0.1，λU=λV=0.3，λT=0.5，λW=0.2，λM=λN=0.5；對(duì)于本文提出的方法，正則化系數(shù)同DCFA，λadv=5，ε=0.01.另外所有算法的學(xué)習(xí)率η=0.03，潛在特征向量維度d=64.

本文實(shí)驗(yàn)的運(yùn)行環(huán)境為：Intel(R)Core(TM)i7-8700 CPU，NVIDIA GeForce RTX 2080 GPU，16GB內(nèi)存，2018.3.2 x64 PyCharm.

5.2 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)1.不同模型間性能對(duì)比

選擇K={5，10，20}的Top-K推薦結(jié)果作為實(shí)驗(yàn)數(shù)據(jù)，進(jìn)行不同模型間的性能對(duì)比，使用F1和Recall兩個(gè)指標(biāo)進(jìn)行衡量.實(shí)驗(yàn)結(jié)果如表2、表3所示.

表2 F1指標(biāo)下Top-K推薦性能對(duì)比

從表2、表3中可以發(fā)現(xiàn)：個(gè)性化推薦方法性能都遠(yuǎn)遠(yuǎn)優(yōu)于非個(gè)性化推薦的方法.MF-BPR是一種應(yīng)用隱式反饋的個(gè)性化排序，其結(jié)果優(yōu)于非個(gè)性化的POP排序方法是因?yàn)閭€(gè)性化排序會(huì)對(duì)產(chǎn)品進(jìn)行建模，而POP則是直接根據(jù)流行度來(lái)進(jìn)行推薦排名.

表3 Recall指標(biāo)下Top-K推薦性能對(duì)比

綜合兩個(gè)衡量指標(biāo)，DCFA在亞馬遜鞋子這個(gè)數(shù)據(jù)集上的推薦效果略優(yōu)于VBPR，說(shuō)明美學(xué)因素對(duì)鞋子這類產(chǎn)品的推薦中起到一定的積極作用.

ADCFA優(yōu)于DCFA，AMR優(yōu)于VBPR，說(shuō)明加入了對(duì)抗性學(xué)習(xí)不僅能改善模型的魯棒性也可以提高模型的推薦性能.

進(jìn)一步進(jìn)行橫向比較，隨著K的增加，模型的Recall呈上升趨勢(shì)，即Top-20的推薦效果最好，這與Recall的計(jì)算公式有關(guān)，其公式的分母不變，分子隨K的增大可能性增大.而F1指標(biāo)綜合了準(zhǔn)確率和召回率，故過(guò)大和過(guò)小的K都會(huì)對(duì)其產(chǎn)生影響，綜合上述模型的F1值，當(dāng)K=10時(shí)推薦效果較好.

本文提出的ADCFA模型推薦效果顯著優(yōu)于上述所有對(duì)比模型，以此驗(yàn)證了本文算法的有效性.以F1指標(biāo)而言，在K=5，10，20時(shí)ADCFA的Top-K推薦效果就DCFA分別提升了62.5%，76.9%，73.8%.

實(shí)驗(yàn)2.模型的魯棒性對(duì)比

為了驗(yàn)證使用對(duì)抗性學(xué)習(xí)的效果，本文選用模型的魯棒性來(lái)進(jìn)行分析對(duì)比.首先，使用BPR優(yōu)化訓(xùn)練DCFA直至其基本達(dá)到收斂，然后將收斂的DCFA參數(shù)用來(lái)初始化ADCFA并進(jìn)行迭代訓(xùn)練至其收斂.實(shí)驗(yàn)結(jié)果如表4所示.

表4 不同ε情況下模型性能變化對(duì)比

該表不僅記錄了DCFA和ADCFA模型在加入相同大小擾動(dòng)后性能變化的幅度，也記錄了它們?cè)诩尤氩煌潘鶐?lái)的不同大小擾動(dòng)下性能的變化.從該表中可知，當(dāng)DCFA和ADCFA加入相同大小的擾動(dòng)時(shí)，例如當(dāng)ε=0.05時(shí)，DCFA性能下降的幅度明顯大于ADCFA，相較于未加入擾動(dòng)時(shí)的性能，DCFA性能下降了15.02%，而ADCFA性能只下降了1.34%.這表明了ADCFA模型想比較于基礎(chǔ)模型DCFA更能抵御來(lái)自外界的惡意攻擊，對(duì)于對(duì)抗性擾動(dòng)的敏感性降低，魯棒性增強(qiáng).

從另一個(gè)方面看，隨著ε的增大即擾動(dòng)的增大，模型性能受影響程度也增大，但ADCFA性能受影響程度總是小于DCFA，這也表明了ADCFA的魯棒性優(yōu)于DCFA，對(duì)抗性學(xué)習(xí)確實(shí)能改善模型的魯棒性.

實(shí)驗(yàn)3.超參數(shù)對(duì)模型的影響

為了分析超參數(shù)對(duì)ADCFA模型性能的影響，本文詳細(xì)地討論了各超參數(shù)下的實(shí)驗(yàn)結(jié)果.本文設(shè)定超參數(shù)ε的取值為0.001，0.01，0.1，0.2，0.3，0.4，0.5，1，10，100，超參數(shù)λadv的取值為0.001，0.01，0.1，1，5，10，50，100，1000，10000，100000.選用Recall和F1作為評(píng)價(jià)指標(biāo).從圖 3和圖 4可得出結(jié)論：

1)超參數(shù)ε控制著在對(duì)抗性學(xué)習(xí)中加入擾動(dòng)的大小，其實(shí)驗(yàn)結(jié)果如圖 3所示.隨著ε的增加，模型性能指標(biāo)總趨勢(shì)下降，當(dāng)ε=0.01時(shí)，模型性能達(dá)到最優(yōu)；當(dāng)ε取值在0.1～0.5的范圍時(shí)，模型性能下降相對(duì)平緩；當(dāng)ε>0.5時(shí)，模型性能下降明顯；當(dāng)ε超過(guò)100時(shí)性能曲線幾乎降為0，這說(shuō)明過(guò)大的擾動(dòng)會(huì)嚴(yán)重破壞模型參數(shù)的學(xué)習(xí)過(guò)程.

圖3 ε的影響

超參數(shù)λadv控制著對(duì)抗性擾動(dòng)所產(chǎn)生損失函數(shù)在總損失函數(shù)中的影響力，其實(shí)驗(yàn)結(jié)果如圖4所示.隨著λadv的增加，模型性能的總趨勢(shì)先增加后下降，當(dāng)λadv=5時(shí)，模型性能達(dá)到最優(yōu)；當(dāng)λadv<5時(shí)，模型性能隨著λadv的增大而增強(qiáng)；當(dāng)λadv>5時(shí)，模型性能反而隨著λadv的增大而下降，當(dāng)λadv增大到100時(shí)，性能下降至最低.當(dāng)λadv=1000時(shí)，模型性能總趨勢(shì)又相對(duì)穩(wěn)定，這說(shuō)明當(dāng)λadv足夠大的時(shí)候，ADCFA 模型對(duì)于對(duì)抗性擾動(dòng)的敏感性減弱.

圖4 λ的影響

實(shí)驗(yàn)4.算法時(shí)間復(fù)雜度的分析比較

選取基線模型DCFA與本文的ADCFA進(jìn)行算法時(shí)間復(fù)雜度的分析比較.

為更好地表示兩種算法在訓(xùn)練時(shí)的時(shí)間復(fù)雜度，分別定義Of、Ob、Ou為前向傳播、反向傳播、更新模型參數(shù)所需的時(shí)間復(fù)雜度，另外還引入了Oadv表示擾動(dòng)計(jì)算過(guò)程中的時(shí)間復(fù)雜度.根據(jù)DCFA和ADCFA的損失函數(shù)，本文可以得到它們的時(shí)間復(fù)雜度分別為2×Of+2×Ob+Ou、4×Of+4×Ob+2×Oadv+Ou.其中Of、Ob、Ou相較于Oadv有著較大的影響，故ADCFA的復(fù)雜度約為DCFA的兩倍.

另外，還進(jìn)行了將這兩種算法在同一數(shù)據(jù)集訓(xùn)練同一周期的時(shí)間對(duì)比實(shí)驗(yàn).在本文實(shí)驗(yàn)的運(yùn)行環(huán)境下，DCFA約花費(fèi)了6秒來(lái)運(yùn)行一個(gè)周期，ADCFA則花費(fèi)了約12秒.結(jié)果表明ADCFA訓(xùn)練所需時(shí)間約為DCFA的兩倍，這也符合上述對(duì)這兩種算法時(shí)間復(fù)雜度的分析比較.

6 結(jié) 論

本文主要針對(duì)美學(xué)因子作為視覺(jué)特征的DCFA模型展開(kāi)研究，通過(guò)在美學(xué)因子特征參數(shù)處加入隨機(jī)和對(duì)抗性兩種擾動(dòng)，驗(yàn)證了惡意攻擊動(dòng)態(tài)美學(xué)因子會(huì)降低模型魯棒性的猜想.然后，通過(guò)在模型參數(shù)處添加對(duì)抗性擾動(dòng)使其性能達(dá)到最差，并使用對(duì)抗性學(xué)習(xí)的方法來(lái)改善模型的魯棒性.本文詳細(xì)闡述了構(gòu)建對(duì)抗性擾動(dòng)的方法以及利用SGD方法設(shè)計(jì)了優(yōu)化模型的算法，在亞馬遜數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn).與目前已知的其它推薦模型進(jìn)行對(duì)比，結(jié)果表明改進(jìn)模型有效提高了模型的推薦性能和魯棒性.

后繼研究工作將嘗試在ADCFA模型中加入一些上下文特征進(jìn)行推薦，如頻譜特征、聽(tīng)覺(jué)特征等；另外還可以在本文方法的基礎(chǔ)上研究其在顯式反饋推薦中的效果.