亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于對抗性訓(xùn)練的動態(tài)協(xié)同過濾推薦算法

        2022-12-07 13:31:36黃大巧朱健軍曹俊卓
        軟件工程 2022年12期
        關(guān)鍵詞:對抗性魯棒性擾動

        黃大巧,朱健軍,曹俊卓

        (1.浙江通信服務(wù)網(wǎng)絡(luò)科技分公司,浙江 杭州 310000;2.浙江工業(yè)大學(xué)信息學(xué)院,浙江 杭州 310000)

        1 引言(Introduction)

        因特網(wǎng)的廣泛應(yīng)用帶來了爆炸式增長的信息冗余,雖然搜索引擎是當(dāng)前人們獲取目標(biāo)信息的有效手段,但是仍然無法滿足不同用戶不同時間的個性化信息需求服務(wù)。推薦系統(tǒng)[1]可以通過分析用戶的歷史購買行為,基于挖掘用戶、產(chǎn)品之間的特征相似性,向用戶推薦其感興趣的產(chǎn)品,刺激用戶產(chǎn)生新的購買需求。其中,個性化推薦融合了數(shù)據(jù)處理、特征挖掘和機(jī)器學(xué)習(xí)等多種技術(shù),成為當(dāng)前數(shù)據(jù)挖掘和商業(yè)應(yīng)用系統(tǒng)的熱點(diǎn)研究領(lǐng)域之一[2]。

        目前,通過神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像分析和特征分類是推薦系統(tǒng)的重要環(huán)節(jié),然而最新的研究發(fā)現(xiàn),當(dāng)對圖像添加微小的擾動后,可能導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型輸出完全不同的分類結(jié)果,即微小的輸入或噪聲擾動都可能造成生成的推薦結(jié)果完全不同,這代表推薦系統(tǒng)的魯棒性較差。

        為了解決此問題,本文提出一種基于對抗性訓(xùn)練改進(jìn)模型魯棒性的協(xié)同過濾推薦算法。通過構(gòu)建微小擾動并添加到推薦模型進(jìn)行對抗性訓(xùn)練,從而調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)參數(shù),增強(qiáng)推薦模型的魯棒性,算法通過亞馬遜數(shù)據(jù)集進(jìn)行了有效性驗(yàn)證。

        2 推薦系統(tǒng)算法(Recommendation algorithms)

        2.1 協(xié)同過濾推薦

        基于用戶的協(xié)同過濾[3]是根據(jù)用戶的購買歷史數(shù)據(jù),根據(jù)特征嵌入將相似用戶形成用戶偏好組,即相似用戶具有同類購買偏好,從而向其他用戶預(yù)測和推薦物品。

        基于用戶協(xié)同過濾的推薦如圖1所示,圖1中的用戶1和用戶2都對物品A和B感興趣,因此可以將用戶1和用戶2放入相似偏好的用戶組;當(dāng)發(fā)現(xiàn)用戶1又喜歡物品C時,推薦算法可將物品C也推薦給用戶2。

        圖1 基于用戶協(xié)同過濾的推薦Fig.1 Recommendation based on user collaborative filtering

        研究人員采用皮爾森相似性表示用戶相似度關(guān)系,其計算公式如下:

        2.2 CP分解算法

        CP分解算法[4](圖2)是目前數(shù)據(jù)分析領(lǐng)域常用的高維張量分解方法之一,可以降低參數(shù)維度,并且在計算復(fù)雜度上低于Tucker分解等方法。

        圖2 CP分解算法Fig.2 Candecomp decomposition algorithm

        CP分解算法模型結(jié)構(gòu),計算如式(2)所示:

        其中,U∈RM×r,V∈RN×r,W∈RK×r。λ是長度為r的向量,符合0<λr≤…≤λ1。向量λ在通常情況下往往被省略,從而得到式(4):

        3 推薦模型設(shè)計(Design of recommendation model)

        3.1 動態(tài)協(xié)同過濾模型

        商品的推薦通常與其時間屬性相關(guān),比如季節(jié)不同,人們對衣服的色調(diào)偏好會有不同。因此,時間屬性作為推薦模型中一種時間序列上的感知參量,對精細(xì)化和個性化推薦有重要的意義。動態(tài)協(xié)同過濾(Dynamic Collaborative Filtering,DCF)[5]模型采用時間因子刻畫時間尺度上的用戶偏好,可以較好地提高推薦質(zhì)量。

        3.2 動態(tài)協(xié)同過濾模型的對抗性擾動添加

        在DCF模型的基礎(chǔ)上,研究人員進(jìn)一步添加對抗性學(xué)習(xí)機(jī)制,提出了基于對抗性擾動的動態(tài)協(xié)同過濾(Adversarial Dynamic Collaborative Filtering,ADCF)模型(圖3)。

        圖3 ADCF模型框架圖Fig.3 ADCF model framework

        基于隨機(jī)梯度下降法(Stochastic Gradient Descent,SGD)[7]訓(xùn)練模型到收斂狀態(tài),同時通過添加不同對抗性擾動,使得模型性能和穩(wěn)定性降低,即該擾動目的就是最大化地降低模型性能,公式如下:

        通過訓(xùn)練減弱算法模型對微小擾動的敏感性,從而最終得到在對抗性擾動下具有較高魯棒性的模型,模型優(yōu)化目標(biāo)如式(14)所示:

        因此,ADCF模型所進(jìn)行的對抗性訓(xùn)練類似于進(jìn)行極大值-極小值的零和博弈,如式(15)所示:

        4 實(shí)驗(yàn)設(shè)計(Experimental design)

        4.1 實(shí)驗(yàn)數(shù)據(jù)集

        本文采用亞馬遜購物網(wǎng)站的鞋子數(shù)據(jù)集進(jìn)行算法驗(yàn)證,并與五個常用的基線算法進(jìn)行性能對比。

        表1是數(shù)據(jù)集的統(tǒng)計特性,數(shù)據(jù)集被隨機(jī)分成訓(xùn)練集(80%)、驗(yàn)證集(10%)和測試集(10%),分別用于模型參數(shù)訓(xùn)練、超參數(shù)驗(yàn)證調(diào)整和性能測試。

        表1 亞馬遜數(shù)據(jù)集統(tǒng)計特性表Tab.1 Table of statistics characteristics of Amazon dataset

        4.2 實(shí)驗(yàn)環(huán)境

        實(shí)驗(yàn)驗(yàn)證的硬件環(huán)境包括Inteli7-8700的CPU,RTX2080的計算顯卡,32 GB的內(nèi)存;軟件環(huán)境操作系統(tǒng)為Win10,算法框架為Tensorflow。

        4.3 評價指標(biāo)

        本文使用NDCG作為性能評估指標(biāo),如式(16)所示:

        NDCG表示將推薦結(jié)果的Top-K列表中產(chǎn)品i相關(guān)度與理想列表相比的排序準(zhǔn)確性,該值越大,則表示推薦列表中物品位置順序越準(zhǔn)確。

        5 實(shí)驗(yàn)結(jié)果分析(Experimental results analysis)

        研究人員對實(shí)驗(yàn)結(jié)果進(jìn)行以下分析:(1)推薦準(zhǔn)確度性能對比;(2)模型魯棒性對比;(3)擾動超參數(shù)ε的影響。

        5.1 推薦準(zhǔn)確度性能對比

        表2是和基線算法的對比結(jié)果,表明個性化推薦方法可以提高推薦準(zhǔn)確度。比如,相比非個性化的POP排序方法,MF、AMR、VBPR、DCF和ADCF等基于隱式反饋算法可以挖掘交易過程隱含的互動特征,超過了簡單的產(chǎn)品時間流行度特征排序,從而使針對不同用戶的推薦更具個性化,因此總體效果更為好。

        表2 NDCG指標(biāo)下的性能對比Tab.2 Performance comparison based on NDCG index

        同時,對抗性訓(xùn)練過后的模型性能都有較大的提升。比如,AMR、ADCF相比MF、DCF的性能提升充分說明對抗性學(xué)習(xí)可以挖掘更全面的數(shù)據(jù)特征,從而達(dá)到了更顯著的推薦效果;進(jìn)一步,通過橫向比較可以發(fā)現(xiàn)所有模型隨著K的增加都呈下降趨勢,但增加了對抗性擾動的ADCF模型的推薦效果更穩(wěn)定。

        5.2 模型魯棒性對比

        為了進(jìn)行魯棒性驗(yàn)證,研究人員首先對DCF模型進(jìn)行迭代訓(xùn)練直至達(dá)到收斂狀態(tài),然后在該收斂模型參數(shù)上進(jìn)行對抗性擾動,用于破壞當(dāng)前模型的穩(wěn)定狀態(tài),并且再次通過網(wǎng)絡(luò)參數(shù)的迭代和更新適應(yīng)不同擾動,從而實(shí)現(xiàn)新的收斂狀態(tài)。

        表3中的數(shù)據(jù)是魯棒性實(shí)驗(yàn)結(jié)果對比。表3首先記錄了DCF和ADCF模型在加入相同大小擾動后的性能變化幅度,也記錄了加入不同大小擾動后的性能下降情況。比如,當(dāng)ε=0.05時,DCF和ADCF的性能對比無擾動狀態(tài),分別下降了10.5%和4.64%,DCF性能的下降幅度遠(yuǎn)大于ADCF,即表明添加擾動訓(xùn)練后的ADCF模型相比DCF,對于不同程度的擾動和噪聲的穩(wěn)定性更強(qiáng),即網(wǎng)絡(luò)參數(shù)可以更好地適應(yīng)外界的微小干擾,從而有效增強(qiáng)了系統(tǒng)的魯棒性。

        表3 NDCG指標(biāo)下不同的魯棒性對比Tab.3 Robustness comparison under differentbased on NDCG index

        表3 NDCG指標(biāo)下不同的魯棒性對比Tab.3 Robustness comparison under differentbased on NDCG index

        5.3 擾動超參數(shù) 的影響

        圖4是超參數(shù)對模型性能影響的結(jié)果圖。為了研究控制擾動幅度的超參數(shù)ε對模型的影響,研究人員先將另一個正則化超參數(shù)λ固定為1,計算了不同ε取值(即不同大小的擾動)情況下對NDCG@5推薦效果的影響。當(dāng)ε在0.001—1時,模型性能呈顯著下降趨勢,隨后性能呈小幅度變化。

        圖4 ε對ADCF模型性能的影響Fig.4 Effect of ε on the performance of ADCF model

        6 結(jié)論(Conclusion)

        本文針對改進(jìn)推薦系統(tǒng)的魯棒性問題,提出了一種基于對抗性訓(xùn)練的動態(tài)協(xié)同過濾算法,通過在模型上加入微小擾動并通過對抗性訓(xùn)練方式改進(jìn)模型參數(shù),從而增強(qiáng)推薦系統(tǒng)的魯棒性。通過在亞馬遜數(shù)據(jù)集上實(shí)驗(yàn)并與基線模型對比,結(jié)果表明經(jīng)過對抗訓(xùn)練的改進(jìn)算法,相比原始算法可減少推薦性能下降15%以上,即有效改進(jìn)了模型的魯棒性,同時有效提升了推薦準(zhǔn)確度。接下來可以進(jìn)一步考慮融入商品視覺和序列交互特征等提升推薦算法的準(zhǔn)確度,還可以研究顯示反饋對推薦算法的影響。

        猜你喜歡
        對抗性魯棒性擾動
        Bernoulli泛函上典則酉對合的擾動
        四川工商學(xué)院學(xué)術(shù)新視野(2021年1期)2021-07-22 02:56:38
        荒漠綠洲區(qū)潛在生態(tài)網(wǎng)絡(luò)增邊優(yōu)化魯棒性分析
        (h)性質(zhì)及其擾動
        缺乏陽剛的男孩子要多參加對抗性運(yùn)動
        基于確定性指標(biāo)的弦支結(jié)構(gòu)魯棒性評價
        關(guān)于羽毛球教學(xué)中多球訓(xùn)練的探討
        東方教育(2018年19期)2018-08-23 08:58:06
        技戰(zhàn)能主導(dǎo)類格斗對抗性項(xiàng)群的競技特點(diǎn)與訓(xùn)練要求
        小噪聲擾動的二維擴(kuò)散的極大似然估計
        基于非支配解集的多模式裝備項(xiàng)目群調(diào)度魯棒性優(yōu)化
        男女猛烈无遮挡免费视频| 乱码精品一区二区三区| 久久九九久精品国产| 日韩高清无码中文字幕综合一二三区| 国产又粗又猛又黄色呦呦| 国产成人亚洲精品91专区高清| 久久久久88色偷偷| 精品久久久久久中文字幕| 亚洲AV无码国产精品久久l| 亚洲粉嫩视频在线观看| 成人国产精品三上悠亚久久 | 高潮毛片无遮挡高清免费| 国产最新地址| 亚洲一区二区三区av在线免费| 手机在线观看成年人视频| 亚洲综合精品中文字幕| 久热这里只有精品视频6| 无码午夜剧场| 免费国人成人自拍视频| 国产免费一区二区三区在线观看| 亚洲深深色噜噜狠狠网站| 人禽交 欧美 网站| 亚洲а∨天堂久久精品2021| 污污污污污污污网站污| 精品人妻少妇一区二区中文字幕 | 免费a级毛片无码a| 国产又爽又黄又不遮挡视频| 91久久精品一区二区| 麻豆91蜜桃传媒在线观看| v一区无码内射国产| 国产精品高潮呻吟av久久无吗| 国产成人综合久久三区北岛玲| 一二三区亚洲av偷拍| 中出人妻中文字幕无码| 国产精品天堂avav在线| 少妇太爽高潮在线播放| 久久伊人精品一区二区三区| 国产精品美女久久久久久2018| 精品一区二区三区影片 | 中文字幕色偷偷人妻久久一区| 国产xxxxx在线观看|