亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于深度神經(jīng)網(wǎng)絡(luò)的智能推送系統(tǒng)研究*

        2021-05-10 06:53:56波,
        關(guān)鍵詞:神經(jīng)元向量神經(jīng)網(wǎng)絡(luò)

        畢 波, 許 靜

        (馬鞍山師范高等專(zhuān)科學(xué)校1.軟件工程系;2教師教育系,安徽 馬鞍山 243041)

        0 引 言

        推送系統(tǒng)有利于提高用戶(hù)對(duì)服務(wù)的參與度和總體滿(mǎn)意度,在協(xié)助用戶(hù)選擇方面越來(lái)越受歡迎[1]。推送系統(tǒng)是信息和電子商務(wù)系統(tǒng)的重要組成部分,個(gè)性化推送系統(tǒng)的智能推送功能可以有效地從海量互聯(lián)網(wǎng)數(shù)據(jù)中為用戶(hù)提供有價(jià)值的信息。推送系統(tǒng)已被研究并應(yīng)用于不同領(lǐng)域的在線(xiàn)服務(wù)中,例如音樂(lè)[2]、視頻、社交、工作、職位[3]等。隨著人工智能技術(shù)的發(fā)展,越來(lái)越多的智能產(chǎn)品被應(yīng)用在日常生活中,并在各個(gè)方面為人們提供了便利。深度神經(jīng)網(wǎng)絡(luò)(DNN)在各個(gè)領(lǐng)域都取得了巨大的成功,一些研究人員最近提出了基于深度學(xué)習(xí)的推送模型,但是其中大多數(shù)模型都使用與應(yīng)用有關(guān)的附加特征(例如文本內(nèi)容和音頻信息)來(lái)增強(qiáng)其性能??紤]到大多數(shù)推送系統(tǒng)可能很難獲得上述信息,提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的推送模型,該模型不需要用戶(hù)和項(xiàng)目之間的交互,也不需要任何額外的信息。

        1 特征表示模型

        在本方法中,需要根據(jù)評(píng)分矩陣獲得用戶(hù)和商品的特征。在本節(jié)中,將討論各種特征表示方法。

        令n個(gè)用戶(hù)對(duì)m個(gè)項(xiàng)目的用戶(hù)項(xiàng)目評(píng)分矩陣為R。矩陣的元素Rij代表第j個(gè)項(xiàng)目的第i個(gè)用戶(hù)的評(píng)分。如果不存在評(píng)分記錄,則Rij等于0。此外,令用戶(hù)的潛在特征矩陣為U,第i行的向量Ui代表第i個(gè)用戶(hù)的特征。而項(xiàng)目的潛在特征由矩陣V表示。

        (1)評(píng)級(jí)特征。評(píng)級(jí)特征是一種特征表示方法,其主要思想是將用戶(hù)的評(píng)級(jí)數(shù)據(jù)直接視為用戶(hù)的特征,即U=R,同樣,項(xiàng)目的特征是V=RT。

        盡管評(píng)級(jí)特征的方法簡(jiǎn)單有效,但也存在一些不足。評(píng)分矩陣非常稀疏,因此有許多丟失的數(shù)據(jù)。如果沒(méi)有仔細(xì)處理丟失的數(shù)據(jù),則結(jié)果模型可能不夠準(zhǔn)確,并且找到合理的方法來(lái)處理此類(lèi)數(shù)據(jù)可能需要進(jìn)行大量額外工作。

        (2)ID特征。用戶(hù)或項(xiàng)目的ID是唯一的,因此可以將其視為所需的特征。但是,ID是無(wú)法比較或無(wú)法進(jìn)行其他數(shù)學(xué)運(yùn)算的分類(lèi)變量。因此,He等人[4]提出了一種稱(chēng)為神經(jīng)協(xié)同過(guò)濾(NCF)的方法,如下所示:,

        Ui=NN(OneHot(i))

        (1)

        Vj=NN(OneHot(j))

        (2)

        其中,OneHot(i)表示使用One-Hot方法對(duì)IDi進(jìn)行編碼,這將生成具有指定維數(shù)的零向量,并且該向量的第i個(gè)位置將設(shè)置為1。NN(x)表示當(dāng)輸入為x時(shí)神經(jīng)網(wǎng)絡(luò)的輸出。

        (3)奇異值分解。矩陣分解技術(shù)在減小尺寸和特征表示的情況下實(shí)現(xiàn)了強(qiáng)大的性能。因此,當(dāng)需要從矩陣學(xué)習(xí)特征時(shí),這是一個(gè)可行的選擇。奇異值分解(SVD)算法是最著名的矩陣分解算法之一。 該算法將矩陣分解為三個(gè)矩陣,從而獲得用戶(hù)和商品的特征。SVD的表達(dá)式如下:

        R=USVT

        (3)

        其中對(duì)角矩陣S的對(duì)角元素由矩陣R的特征值組成。此方法還需要預(yù)處理大量缺失值,由于在求解特征值時(shí)復(fù)雜度很高,因此在處理大規(guī)模數(shù)據(jù)時(shí)性能較差。

        (4)概率矩陣分解。概率矩陣分解(PMF)算法[5]使用用戶(hù)的潛在特征和項(xiàng)目特征的乘積來(lái)獲得相應(yīng)的評(píng)分。當(dāng)最小二乘誤差用作損失函數(shù)時(shí),表達(dá)式如下:

        (4)

        其中參數(shù)λ1和λ2表示λ2常規(guī)參數(shù)。 由于存在缺失值,在計(jì)算損失時(shí)不應(yīng)考慮這些缺失值,因此修改后的損失函數(shù)如下:

        (5)

        其中,當(dāng)Rij為零時(shí)δij=0;否則δij=1??梢钥闯?,PMF算法可以有效避免值丟失的問(wèn)題。但是,該算法的基本假設(shè)是用戶(hù)和商品的功能完全獨(dú)立,而且不同功能之間可能存在一定的相關(guān)性。

        (5)二次多項(xiàng)式回歸??紤]到上述方法的缺點(diǎn),提出了一種基于二次多項(xiàng)式回歸(QPR)的特征表示方法,不僅避免了缺失值的預(yù)處理可能導(dǎo)致不準(zhǔn)確的問(wèn)題,還可以考慮特征之間的相關(guān)性。

        在傳統(tǒng)的二次多項(xiàng)式回歸模型中,對(duì)于特征向量x,對(duì)應(yīng)的監(jiān)督值y由以下表達(dá)式表示:

        (6)

        其中參數(shù)l表示向量x的維數(shù),z表示常數(shù)項(xiàng)的系數(shù),w表示一階系數(shù),W表示二階系數(shù)。因此,在提出的方法中,x=(Uu,Vv),和y=Ruv,于是有

        (7)

        (8)

        (9)

        然后可以看到,pu僅與用戶(hù)u有關(guān),而qv僅與項(xiàng)目v有關(guān)。因此,獲得了最終模型:

        (10)

        與PMF算法一樣,QPR的訓(xùn)練損失通過(guò)最小二乘法進(jìn)行評(píng)估。 因此,有

        (11)

        通過(guò)優(yōu)化方程 (11)來(lái)最小化L,可以獲得需要的兩個(gè)矩陣U和V。

        2 深度神經(jīng)網(wǎng)絡(luò)模型與訓(xùn)練

        2.1 深度神經(jīng)網(wǎng)絡(luò)模型

        在本小節(jié)中,將介紹使用的深度神經(jīng)網(wǎng)絡(luò)模型,該模型將用戶(hù)和項(xiàng)目的潛在特征作為輸入,并使用前向傳播算法來(lái)預(yù)測(cè)評(píng)分。根據(jù)本模型,在輸入層中,輸入向量x0由用戶(hù)和項(xiàng)目的潛在特征連接在一起。因此,對(duì)于任意記錄Rij,都有

        x0=concatenate(Ui,Vj)

        (12)

        其中函數(shù)concatenate()用于連接兩個(gè)向量。當(dāng)x0穿過(guò)第一個(gè)隱藏層時(shí),第一個(gè)隱藏層的輸出可通過(guò)以下公式獲得:

        x1=activation(W1x0+b1)

        (13)

        其中W1是輸入層和第一個(gè)隱藏層之間的權(quán)重矩陣,b1是偏置矢量,activation()表示激活函數(shù),該函數(shù)旨在使神經(jīng)網(wǎng)絡(luò)模型非線(xiàn)性。在DNN模型中,常用的激活函數(shù)包括sigmoid、tanh和ReLU函數(shù)。在文中,選擇ReLU作為模型的激活函數(shù),因?yàn)樗行Р⑶腋子趦?yōu)化。

        由式 (13),可以獲得第l個(gè)隱藏層的輸出:

        xl=ReLU(Wlxl-1+bl)

        (14)

        在輸出層,訓(xùn)練的目標(biāo)是預(yù)測(cè)用戶(hù)的評(píng)分得分Rij。再次使用One-Hot編碼方法來(lái)獲得監(jiān)督值y。因此,需要通過(guò)softmax方法對(duì)輸出結(jié)果進(jìn)行變換,以獲得y對(duì)應(yīng)位置的預(yù)測(cè)值,即

        (15)

        (16)

        其中d表示向量y的維數(shù),它等于輸出層中神經(jīng)元的數(shù)量。最后,本模型通過(guò)以下等式預(yù)測(cè)第j個(gè)項(xiàng)目的第i個(gè)用戶(hù)的評(píng)分得分:

        (17)

        2.2 訓(xùn)練模型

        在本小節(jié)中,將描述模型的訓(xùn)練細(xì)節(jié)。 首先,需要使用QPR模型來(lái)獲取特征。使用梯度下降法求解問(wèn)題(11),學(xué)習(xí)率設(shè)置為η,更新每個(gè)參數(shù)的規(guī)則如下:

        (18)

        (19)

        (20)

        (21)

        (22)

        (23)

        其中,

        (24)

        討論深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法。深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練主要基于權(quán)重矩陣W和偏置向量b的學(xué)習(xí)。定義Wl,ij為代表第l層的第i個(gè)神經(jīng)元和第l-1層的第j個(gè)神經(jīng)元之間的連接權(quán)重。第0層代表輸入層,bl,i代表在第l層中的第i個(gè)神經(jīng)元上的偏置。

        使用梯度下降法對(duì)W進(jìn)行求解,于是有

        (25)

        Wl,ij僅會(huì)通過(guò)神經(jīng)元i影響損失ε,因此使用netl,i表示第l層中神經(jīng)元i的加權(quán)輸入:

        (26)

        于是有,

        (27)

        當(dāng)l層是輸出層時(shí),

        (28)

        當(dāng)l層是隱藏層時(shí),

        (29)

        基于以上討論,獲得了以下規(guī)則來(lái)更新DNN模型中的參數(shù):

        (30)

        (31)

        3 實(shí)驗(yàn)評(píng)估

        在實(shí)驗(yàn)評(píng)估中,使用真實(shí)的數(shù)據(jù)集來(lái)測(cè)試模型的性能。該數(shù)據(jù)集包含關(guān)于168個(gè)項(xiàng)目的943位用戶(hù)的近100,000條評(píng)分記錄,該數(shù)據(jù)集來(lái)自MovieLens網(wǎng)站。實(shí)驗(yàn)所采用的服務(wù)器配置有一個(gè)英偉達(dá)TITAN GPU,CPU是英特爾酷睿i7,內(nèi)存為64GB,操作系統(tǒng)是Linux Ubuntu 16.04,深度學(xué)習(xí)框架為T(mén)ensorflow。采用均值絕對(duì)誤差(MAE)方法和均方根均方根誤差(RMSE)來(lái)評(píng)估模型的性能。

        在深度神經(jīng)網(wǎng)絡(luò)模型中,隱藏層數(shù)設(shè)置為2。在輸入層中,神經(jīng)元數(shù)是34,第一個(gè)隱藏層中的神經(jīng)元數(shù)是27,第二個(gè)隱藏層有12個(gè)神經(jīng)元,輸出層有5個(gè)神經(jīng)元,學(xué)習(xí)率設(shè)置為0.001。隨機(jī)選擇數(shù)據(jù)集的20%數(shù)據(jù)作為測(cè)試集,其余80%作為訓(xùn)練集。

        將驗(yàn)證本方法的預(yù)測(cè)精度,精度的MAE和RMSE如圖1所示。其中,SVD為基于奇異值分解的方法,DsRec[6]是結(jié)合了矩陣分解和聚類(lèi)的方法,PMMMF[7]是基于近似支持向量機(jī)的方法。本方法的MAE和RMSE指標(biāo)下均實(shí)現(xiàn)了更好的性能,這意味著我們的模型獲得了更高的預(yù)測(cè)準(zhǔn)確性。從實(shí)驗(yàn)結(jié)果可以看出,在相同條件下,RMSE值大于MAE值,這意味著RMSE度量標(biāo)準(zhǔn)可以更好地反映算法性能。

        圖1 推送方法誤差對(duì)比

        4 結(jié) 語(yǔ)

        探討深度神經(jīng)網(wǎng)絡(luò)模型在智能推送系統(tǒng)中的應(yīng)用,提出基于QPR模型的特征獲取方法,并將其與DNN模型結(jié)合起來(lái)。實(shí)驗(yàn)結(jié)果表明,提出的模型具有良好的預(yù)測(cè)性能。未來(lái)的工作將集中在構(gòu)建更復(fù)雜的模型和使用其他深度學(xué)習(xí)方法。將研究其他深度學(xué)習(xí)技術(shù)的應(yīng)用,例如卷積神經(jīng)網(wǎng)絡(luò)方法在推送系統(tǒng)中的應(yīng)用,并嘗試進(jìn)一步提高其性能。

        猜你喜歡
        神經(jīng)元向量神經(jīng)網(wǎng)絡(luò)
        向量的分解
        《從光子到神經(jīng)元》書(shū)評(píng)
        自然雜志(2021年6期)2021-12-23 08:24:46
        聚焦“向量與三角”創(chuàng)新題
        神經(jīng)網(wǎng)絡(luò)抑制無(wú)線(xiàn)通信干擾探究
        電子制作(2019年19期)2019-11-23 08:42:00
        躍動(dòng)的神經(jīng)元——波蘭Brain Embassy聯(lián)合辦公
        向量垂直在解析幾何中的應(yīng)用
        基于神經(jīng)網(wǎng)絡(luò)的拉矯機(jī)控制模型建立
        向量五種“變身” 玩轉(zhuǎn)圓錐曲線(xiàn)
        復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)在基于WiFi的室內(nèi)LBS應(yīng)用
        基于二次型單神經(jīng)元PID的MPPT控制
        91精品国产免费久久久久久青草| 日本亲近相奷中文字幕| 国产网友自拍视频在线观看| 在线播放草猛免费视频| 国产av夜夜欢一区二区三区| 波多野结衣乳巨码无在线| 亚洲成AⅤ人在线观看无码| 手机在线免费看av网站| 穿着白丝啪啪的av网站| 亚洲中文字幕无码一久久区| 国产3p视频| 国产优质女主播在线观看| 亚洲av香蕉一区二区三区av| 无码人妻丰满熟妇啪啪网站 | 91亚洲最新国语中文字幕| 久久婷婷综合激情五月| 欧美丰满熟妇xxxx性| 欧美日韩中文制服有码| 熟女丝袜美腿亚洲一区二区三区| 老熟女富婆激情刺激对白| 久久久久成人片免费观看蜜芽| 香蕉视频毛片| 粗大挺进孕妇人妻在线| 成午夜福利人试看120秒| 人妻少妇av中文字幕乱码| 国产国拍亚洲精品福利| 亚洲成a人一区二区三区久久| 超碰97人人射妻| 国产一区日韩二区欧美三区| 国产成人综合久久三区北岛玲| 亚洲av一区二区三区蜜桃| 性色做爰片在线观看ww| 一本大道久久精品 东京热| 伊人久久亚洲综合av影院| 中文字幕亚洲综合久久| 中文字幕无码不卡免费视频| 久久精品国产亚洲av麻豆四虎| 亚洲香蕉av一区二区三区| 精品少妇人妻av无码久久| 亚洲不卡电影| 99久久精品国产91|