亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于對(duì)抗性訓(xùn)練的動(dòng)態(tài)協(xié)同過濾推薦算法

        2022-12-07 13:31:36黃大巧朱健軍曹俊卓
        軟件工程 2022年12期
        關(guān)鍵詞:對(duì)抗性魯棒性擾動(dòng)

        黃大巧,朱健軍,曹俊卓

        (1.浙江通信服務(wù)網(wǎng)絡(luò)科技分公司,浙江 杭州 310000;2.浙江工業(yè)大學(xué)信息學(xué)院,浙江 杭州 310000)

        1 引言(Introduction)

        因特網(wǎng)的廣泛應(yīng)用帶來了爆炸式增長的信息冗余,雖然搜索引擎是當(dāng)前人們獲取目標(biāo)信息的有效手段,但是仍然無法滿足不同用戶不同時(shí)間的個(gè)性化信息需求服務(wù)。推薦系統(tǒng)[1]可以通過分析用戶的歷史購買行為,基于挖掘用戶、產(chǎn)品之間的特征相似性,向用戶推薦其感興趣的產(chǎn)品,刺激用戶產(chǎn)生新的購買需求。其中,個(gè)性化推薦融合了數(shù)據(jù)處理、特征挖掘和機(jī)器學(xué)習(xí)等多種技術(shù),成為當(dāng)前數(shù)據(jù)挖掘和商業(yè)應(yīng)用系統(tǒng)的熱點(diǎn)研究領(lǐng)域之一[2]。

        目前,通過神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像分析和特征分類是推薦系統(tǒng)的重要環(huán)節(jié),然而最新的研究發(fā)現(xiàn),當(dāng)對(duì)圖像添加微小的擾動(dòng)后,可能導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型輸出完全不同的分類結(jié)果,即微小的輸入或噪聲擾動(dòng)都可能造成生成的推薦結(jié)果完全不同,這代表推薦系統(tǒng)的魯棒性較差。

        為了解決此問題,本文提出一種基于對(duì)抗性訓(xùn)練改進(jìn)模型魯棒性的協(xié)同過濾推薦算法。通過構(gòu)建微小擾動(dòng)并添加到推薦模型進(jìn)行對(duì)抗性訓(xùn)練,從而調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)參數(shù),增強(qiáng)推薦模型的魯棒性,算法通過亞馬遜數(shù)據(jù)集進(jìn)行了有效性驗(yàn)證。

        2 推薦系統(tǒng)算法(Recommendation algorithms)

        2.1 協(xié)同過濾推薦

        基于用戶的協(xié)同過濾[3]是根據(jù)用戶的購買歷史數(shù)據(jù),根據(jù)特征嵌入將相似用戶形成用戶偏好組,即相似用戶具有同類購買偏好,從而向其他用戶預(yù)測(cè)和推薦物品。

        基于用戶協(xié)同過濾的推薦如圖1所示,圖1中的用戶1和用戶2都對(duì)物品A和B感興趣,因此可以將用戶1和用戶2放入相似偏好的用戶組;當(dāng)發(fā)現(xiàn)用戶1又喜歡物品C時(shí),推薦算法可將物品C也推薦給用戶2。

        圖1 基于用戶協(xié)同過濾的推薦Fig.1 Recommendation based on user collaborative filtering

        研究人員采用皮爾森相似性表示用戶相似度關(guān)系,其計(jì)算公式如下:

        2.2 CP分解算法

        CP分解算法[4](圖2)是目前數(shù)據(jù)分析領(lǐng)域常用的高維張量分解方法之一,可以降低參數(shù)維度,并且在計(jì)算復(fù)雜度上低于Tucker分解等方法。

        圖2 CP分解算法Fig.2 Candecomp decomposition algorithm

        CP分解算法模型結(jié)構(gòu),計(jì)算如式(2)所示:

        其中,U∈RM×r,V∈RN×r,W∈RK×r。λ是長度為r的向量,符合0<λr≤…≤λ1。向量λ在通常情況下往往被省略,從而得到式(4):

        3 推薦模型設(shè)計(jì)(Design of recommendation model)

        3.1 動(dòng)態(tài)協(xié)同過濾模型

        商品的推薦通常與其時(shí)間屬性相關(guān),比如季節(jié)不同,人們對(duì)衣服的色調(diào)偏好會(huì)有不同。因此,時(shí)間屬性作為推薦模型中一種時(shí)間序列上的感知參量,對(duì)精細(xì)化和個(gè)性化推薦有重要的意義。動(dòng)態(tài)協(xié)同過濾(Dynamic Collaborative Filtering,DCF)[5]模型采用時(shí)間因子刻畫時(shí)間尺度上的用戶偏好,可以較好地提高推薦質(zhì)量。

        3.2 動(dòng)態(tài)協(xié)同過濾模型的對(duì)抗性擾動(dòng)添加

        在DCF模型的基礎(chǔ)上,研究人員進(jìn)一步添加對(duì)抗性學(xué)習(xí)機(jī)制,提出了基于對(duì)抗性擾動(dòng)的動(dòng)態(tài)協(xié)同過濾(Adversarial Dynamic Collaborative Filtering,ADCF)模型(圖3)。

        圖3 ADCF模型框架圖Fig.3 ADCF model framework

        基于隨機(jī)梯度下降法(Stochastic Gradient Descent,SGD)[7]訓(xùn)練模型到收斂狀態(tài),同時(shí)通過添加不同對(duì)抗性擾動(dòng),使得模型性能和穩(wěn)定性降低,即該擾動(dòng)目的就是最大化地降低模型性能,公式如下:

        通過訓(xùn)練減弱算法模型對(duì)微小擾動(dòng)的敏感性,從而最終得到在對(duì)抗性擾動(dòng)下具有較高魯棒性的模型,模型優(yōu)化目標(biāo)如式(14)所示:

        因此,ADCF模型所進(jìn)行的對(duì)抗性訓(xùn)練類似于進(jìn)行極大值-極小值的零和博弈,如式(15)所示:

        4 實(shí)驗(yàn)設(shè)計(jì)(Experimental design)

        4.1 實(shí)驗(yàn)數(shù)據(jù)集

        本文采用亞馬遜購物網(wǎng)站的鞋子數(shù)據(jù)集進(jìn)行算法驗(yàn)證,并與五個(gè)常用的基線算法進(jìn)行性能對(duì)比。

        表1是數(shù)據(jù)集的統(tǒng)計(jì)特性,數(shù)據(jù)集被隨機(jī)分成訓(xùn)練集(80%)、驗(yàn)證集(10%)和測(cè)試集(10%),分別用于模型參數(shù)訓(xùn)練、超參數(shù)驗(yàn)證調(diào)整和性能測(cè)試。

        表1 亞馬遜數(shù)據(jù)集統(tǒng)計(jì)特性表Tab.1 Table of statistics characteristics of Amazon dataset

        4.2 實(shí)驗(yàn)環(huán)境

        實(shí)驗(yàn)驗(yàn)證的硬件環(huán)境包括Inteli7-8700的CPU,RTX2080的計(jì)算顯卡,32 GB的內(nèi)存;軟件環(huán)境操作系統(tǒng)為Win10,算法框架為Tensorflow。

        4.3 評(píng)價(jià)指標(biāo)

        本文使用NDCG作為性能評(píng)估指標(biāo),如式(16)所示:

        NDCG表示將推薦結(jié)果的Top-K列表中產(chǎn)品i相關(guān)度與理想列表相比的排序準(zhǔn)確性,該值越大,則表示推薦列表中物品位置順序越準(zhǔn)確。

        5 實(shí)驗(yàn)結(jié)果分析(Experimental results analysis)

        研究人員對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行以下分析:(1)推薦準(zhǔn)確度性能對(duì)比;(2)模型魯棒性對(duì)比;(3)擾動(dòng)超參數(shù)ε的影響。

        5.1 推薦準(zhǔn)確度性能對(duì)比

        表2是和基線算法的對(duì)比結(jié)果,表明個(gè)性化推薦方法可以提高推薦準(zhǔn)確度。比如,相比非個(gè)性化的POP排序方法,MF、AMR、VBPR、DCF和ADCF等基于隱式反饋算法可以挖掘交易過程隱含的互動(dòng)特征,超過了簡單的產(chǎn)品時(shí)間流行度特征排序,從而使針對(duì)不同用戶的推薦更具個(gè)性化,因此總體效果更為好。

        表2 NDCG指標(biāo)下的性能對(duì)比Tab.2 Performance comparison based on NDCG index

        同時(shí),對(duì)抗性訓(xùn)練過后的模型性能都有較大的提升。比如,AMR、ADCF相比MF、DCF的性能提升充分說明對(duì)抗性學(xué)習(xí)可以挖掘更全面的數(shù)據(jù)特征,從而達(dá)到了更顯著的推薦效果;進(jìn)一步,通過橫向比較可以發(fā)現(xiàn)所有模型隨著K的增加都呈下降趨勢(shì),但增加了對(duì)抗性擾動(dòng)的ADCF模型的推薦效果更穩(wěn)定。

        5.2 模型魯棒性對(duì)比

        為了進(jìn)行魯棒性驗(yàn)證,研究人員首先對(duì)DCF模型進(jìn)行迭代訓(xùn)練直至達(dá)到收斂狀態(tài),然后在該收斂模型參數(shù)上進(jìn)行對(duì)抗性擾動(dòng),用于破壞當(dāng)前模型的穩(wěn)定狀態(tài),并且再次通過網(wǎng)絡(luò)參數(shù)的迭代和更新適應(yīng)不同擾動(dòng),從而實(shí)現(xiàn)新的收斂狀態(tài)。

        表3中的數(shù)據(jù)是魯棒性實(shí)驗(yàn)結(jié)果對(duì)比。表3首先記錄了DCF和ADCF模型在加入相同大小擾動(dòng)后的性能變化幅度,也記錄了加入不同大小擾動(dòng)后的性能下降情況。比如,當(dāng)ε=0.05時(shí),DCF和ADCF的性能對(duì)比無擾動(dòng)狀態(tài),分別下降了10.5%和4.64%,DCF性能的下降幅度遠(yuǎn)大于ADCF,即表明添加擾動(dòng)訓(xùn)練后的ADCF模型相比DCF,對(duì)于不同程度的擾動(dòng)和噪聲的穩(wěn)定性更強(qiáng),即網(wǎng)絡(luò)參數(shù)可以更好地適應(yīng)外界的微小干擾,從而有效增強(qiáng)了系統(tǒng)的魯棒性。

        表3 NDCG指標(biāo)下不同的魯棒性對(duì)比Tab.3 Robustness comparison under differentbased on NDCG index

        表3 NDCG指標(biāo)下不同的魯棒性對(duì)比Tab.3 Robustness comparison under differentbased on NDCG index

        5.3 擾動(dòng)超參數(shù) 的影響

        圖4是超參數(shù)對(duì)模型性能影響的結(jié)果圖。為了研究控制擾動(dòng)幅度的超參數(shù)ε對(duì)模型的影響,研究人員先將另一個(gè)正則化超參數(shù)λ固定為1,計(jì)算了不同ε取值(即不同大小的擾動(dòng))情況下對(duì)NDCG@5推薦效果的影響。當(dāng)ε在0.001—1時(shí),模型性能呈顯著下降趨勢(shì),隨后性能呈小幅度變化。

        圖4 ε對(duì)ADCF模型性能的影響Fig.4 Effect of ε on the performance of ADCF model

        6 結(jié)論(Conclusion)

        本文針對(duì)改進(jìn)推薦系統(tǒng)的魯棒性問題,提出了一種基于對(duì)抗性訓(xùn)練的動(dòng)態(tài)協(xié)同過濾算法,通過在模型上加入微小擾動(dòng)并通過對(duì)抗性訓(xùn)練方式改進(jìn)模型參數(shù),從而增強(qiáng)推薦系統(tǒng)的魯棒性。通過在亞馬遜數(shù)據(jù)集上實(shí)驗(yàn)并與基線模型對(duì)比,結(jié)果表明經(jīng)過對(duì)抗訓(xùn)練的改進(jìn)算法,相比原始算法可減少推薦性能下降15%以上,即有效改進(jìn)了模型的魯棒性,同時(shí)有效提升了推薦準(zhǔn)確度。接下來可以進(jìn)一步考慮融入商品視覺和序列交互特征等提升推薦算法的準(zhǔn)確度,還可以研究顯示反饋對(duì)推薦算法的影響。

        猜你喜歡
        對(duì)抗性魯棒性擾動(dòng)
        Bernoulli泛函上典則酉對(duì)合的擾動(dòng)
        四川工商學(xué)院學(xué)術(shù)新視野(2021年1期)2021-07-22 02:56:38
        荒漠綠洲區(qū)潛在生態(tài)網(wǎng)絡(luò)增邊優(yōu)化魯棒性分析
        (h)性質(zhì)及其擾動(dòng)
        缺乏陽剛的男孩子要多參加對(duì)抗性運(yùn)動(dòng)
        基于確定性指標(biāo)的弦支結(jié)構(gòu)魯棒性評(píng)價(jià)
        關(guān)于羽毛球教學(xué)中多球訓(xùn)練的探討
        東方教育(2018年19期)2018-08-23 08:58:06
        技戰(zhàn)能主導(dǎo)類格斗對(duì)抗性項(xiàng)群的競(jìng)技特點(diǎn)與訓(xùn)練要求
        小噪聲擾動(dòng)的二維擴(kuò)散的極大似然估計(jì)
        基于非支配解集的多模式裝備項(xiàng)目群調(diào)度魯棒性優(yōu)化
        成人国产激情自拍视频| 亚洲一区二区三区在线网站| 91热久久免费精品99| 在线亚洲免费精品视频| 国产女同va一区二区三区| 秘书边打电话边被躁bd视频| 国产美女在线精品免费观看网址| 精品国产午夜久久久久九九| 亚洲精品国产成人久久av盗摄| 激情综合五月| 亚洲色www成人永久网址| 欧美亚洲国产人妖系列视| 日韩一区二区中文字幕| 国产在线观看免费视频软件| 国产精品ⅴ无码大片在线看| 热久久这里只有| 三级黄片一区二区三区| 亚洲精品宾馆在线精品酒店| 少妇人妻偷人精品免费视频| 亚洲第一无码精品久久| 日本午夜伦理享色视频| 亚洲中文字幕无码av永久| 爱情岛永久地址www成人| 999久久久免费精品国产牛牛| 日产国产精品亚洲高清| 97se亚洲国产综合在线| 性一交一乱一伦| 亚洲中文字幕无码不卡电影| 亚洲视频专区一区二区三区 | 亚洲欧美成人a∨| 极品美女销魂一区二区三| 人妻少妇满足中文字幕| 精品亚洲一区二区三区在线观看 | 一区二区三区国产高潮| 在线观看一区二区中文字幕| 99精品人妻无码专区在线视频区| 亚洲男人的天堂网站| 精品亚亚洲成av人片在线观看| 熟女人妻中文字幕av| 人妻献身系列第54部| 无码超乳爆乳中文字幕|