錢忠勝 楊家秀 李端明 葉祖錸
(江西財經(jīng)大學(xué)信息管理學(xué)院 南昌 330013)(changesme@163.com)
社交網(wǎng)絡(luò)的興起為用戶提供了方便快捷的溝通方式,隨著用戶線下社交需求的擴(kuò)張,形成了一種基于事件的社交網(wǎng)絡(luò)(event-based social network, EBSN)[1].具有相似興趣的用戶群體可在線上創(chuàng)建或加入興趣小組,并可在EBSN平臺上發(fā)起事件活動,吸引對事件具有相似興趣的其他用戶一同參與線下活動.以Meetup、豆瓣同城等為代表的EBSN平臺可有效滿足用戶線上虛擬社交與線下真實社交的需求.然而,隨著EBSN平臺用戶和事件信息的日益增長,簡單分類查詢功能難以有效解決用戶面臨的信息過載問題[2],同時缺少個性化和多樣性.利用推薦技術(shù)為用戶提供更精準(zhǔn)、高質(zhì)量的個性化事件推薦成為相關(guān)領(lǐng)域的熱點問題.
個性化推薦普遍存在冷啟動問題[3],在EBSN中待推薦的事件需要在其舉辦的時間點之前推薦給用戶,始終面臨冷啟動問題;新用戶則因為缺少歷史記錄和反饋信息,同樣存在冷啟動問題.而社交網(wǎng)絡(luò)中較低的活躍用戶比例也使得用戶反饋和交互記錄較少.傳統(tǒng)的基于協(xié)同過濾或矩陣分解的事件推薦方法,主要基于用戶和事件之間的交互信息和歷史記錄對用戶興趣進(jìn)行預(yù)測[4-5].近些年熱門的基于上下文信息的個性化事件推薦,則是通過學(xué)習(xí)用戶的多個上下文特征評分進(jìn)行TOP-K事件推薦,或根據(jù)交互關(guān)系,通過排序?qū)W習(xí)算法獲取TOP-K事件進(jìn)行推薦[6-9].這些工作都考慮了EBSN中的部分上下文信息或交互關(guān)系進(jìn)行評分推薦,但對用戶和事件的高階交互信息挖掘程度較淺,未考慮歷史記錄對用戶的單獨影響,以及歷史記錄時序關(guān)系的影響.
基于此,提出一種結(jié)合用戶長短期興趣與事件影響力的事件推薦模型(event recommendation based on user long-short term interest and event influence, LSTIEI).首先,用并行的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)從事件標(biāo)題和事件內(nèi)容中獲取事件嵌入表示,并同步構(gòu)建用戶和事件、用戶和群組的異構(gòu)交互關(guān)系圖.其次,利用圖神經(jīng)網(wǎng)絡(luò)(graph neural network, GNN)來捕捉事件和群組2個空間的用戶長期興趣.同時,通過基于注意力機(jī)制的長短期記憶網(wǎng)絡(luò)(long-short term memory, LSTM)從用戶歷史記錄的時序關(guān)系中提取用戶短期興趣.另外,從內(nèi)容、時間、空間3個特征構(gòu)建候選事件的影響力.最后,結(jié)合用戶長短期興趣嵌入與事件影響力嵌入,在多層感知機(jī)網(wǎng)絡(luò)中預(yù)測用戶參與候選事件的概率,并根據(jù)排序后的參與概率向用戶推薦TOP-K事件.
個性化推薦已成為解決事件推薦中信息過載問題的主要手段,由于候選推薦事件的用戶反饋極少或不存在,傳統(tǒng)的協(xié)同過濾方法難以應(yīng)對冷啟動問題.因此,結(jié)合上下文信息建模用戶興趣的個性化推薦被廣泛應(yīng)用.
納米材料科學(xué)學(xué)習(xí)通常需要具備多學(xué)科知識基礎(chǔ)。目前上海理工大學(xué)材料科學(xué)專業(yè)的大多數(shù)研究生只具備某一基礎(chǔ)學(xué)科的專業(yè)基礎(chǔ),隨時需要補(bǔ)充其他學(xué)科相關(guān)知識。學(xué)科交叉對從事納米材料科學(xué)教學(xué)工作者也提出了很高的要求,因此需要教師具備比較廣泛且扎實的專業(yè)基礎(chǔ),才能全面并透徹地理解相關(guān)的知識點,再傳授給學(xué)生。
Sun等人[10]認(rèn)為用戶的偏好是由隨時間變化的動態(tài)偏好和一般的靜態(tài)偏好構(gòu)成,提出利用雙注意力遞歸神經(jīng)網(wǎng)絡(luò)分別建模時間對用戶的動態(tài)偏好影響以及刻畫用戶的靜態(tài)偏好影響,并結(jié)合兩者構(gòu)造統(tǒng)一的推薦方法.Wang等人[11]則同步考慮小組的動態(tài)和靜態(tài)偏好實現(xiàn)群組推薦.Wang等人[12]利用時空信息進(jìn)行組合建模,考慮了事件的時間和位置因素的交互影響,探索事件時空信息的表征學(xué)習(xí)對事件推薦的有效性.Li等人[7]則認(rèn)為地理因素不僅對用戶的選擇有決定性影響,而且這種影響也是隨時間不斷變化的,構(gòu)建了一種時空主題模型以探究內(nèi)容、地理和時間因素之間的交互對用戶決策產(chǎn)生的影響,嘗試解決事件推薦的冷啟動問題.
這些研究通過將時間和地理信息的影響應(yīng)用到推薦中來提升推薦效果,但忽略了其他上下文信息的作用.部分研究則考慮了EBSN中的多個上下文信息來挖掘用戶興趣.
Jiang等人[13]根據(jù)事件的6類特征訓(xùn)練用戶在矩陣分解模型中的用戶排名進(jìn)行推薦.Macedo等人[8]分別構(gòu)建了時間、地理、內(nèi)容和社交等多因素的評分模型,并根據(jù)特征評分學(xué)習(xí)用戶與候選事件的排序關(guān)系,試圖解決事件推薦的冷啟動問題.Wang等人[9]重點關(guān)注事件主辦方和同組成員的社交影響力,結(jié)合事件社交網(wǎng)絡(luò)與其他社交網(wǎng)絡(luò)來增強(qiáng)主辦方影響力的表征,并統(tǒng)一構(gòu)建多個上下文特征的增強(qiáng)感知推薦模型計算推薦評分.Jhamb等人[14]提出一種針對事件推薦的雙重視角群體感知隱式因子模型,分別從用戶和事件2個角度考慮對用戶參與事件決策的影響,并整合上下文信息的影響進(jìn)行排序推薦.
這些研究構(gòu)建了多個特征的評分模型,雖然從多個特征方面較全面地描述了用戶的興趣,但簡單的評分模式仍不能靈活地表示用戶興趣,同時,也沒有深入考慮事件的影響.
趙淦也認(rèn)為,生產(chǎn)教育“以農(nóng)業(yè)為主,工業(yè)為輔”符合中國國情。他指出,中國不具備發(fā)展工業(yè)的客觀經(jīng)濟(jì)條件,“振興大規(guī)模的工業(yè)生產(chǎn)教育,以從事于工業(yè)生產(chǎn),是不是得需要巨額的資本金?在經(jīng)濟(jì)破產(chǎn)的中國現(xiàn)在,是不易舉辦;縱令可以藉外力經(jīng)營,得達(dá)生產(chǎn)之目的,而以我國有名無實的關(guān)稅自主,無由實行保護(hù)政策,能不能與舶來品相競爭,以躋國家于富強(qiáng)之域,又是一個問題”,因此“倒不如注重農(nóng)業(yè)生產(chǎn)”。農(nóng)業(yè)與工業(yè)兩者“誠不能兼顧,則以農(nóng)業(yè)為主,工業(yè)為輔,對于我國之情勢,殆近之矣”[8]。
近年來,基于GNN和注意力機(jī)制的社交推薦工作逐漸成為熱點,傳統(tǒng)的圖論方法主要根據(jù)路徑信息獲取節(jié)點特征.Liu等人[15]研究了構(gòu)造不同類型節(jié)點的混合圖來表示EBSN中的實體關(guān)系,通過在圖上執(zhí)行隨機(jī)游走獲取高收斂概率的候選事件推薦給用戶.于亞新等人[16]針對用普通圖表征EBSN信息可能會存在高維特征信息丟失的情況,提出利用超圖建模EBSN中的復(fù)雜社交關(guān)系.
在推薦系統(tǒng)中引入注意力機(jī)制的關(guān)鍵目標(biāo)是針對影響用戶的不同因素給予不同的關(guān)注度權(quán)重.Yin等人[20]從用戶-項目交互關(guān)系二部圖上提取交互信息以緩解數(shù)據(jù)稀疏性,通過引入注意力機(jī)制應(yīng)對二部圖上節(jié)點大小可變問題,提取的交互信息可更準(zhǔn)確地表達(dá)用戶偏好.文獻(xiàn)[21-22]中也將注意力機(jī)制融入用戶的短期興趣獲取過程中.Tran等人[23]提出利用注意力機(jī)制捕捉群組中每個用戶的個體偏好,構(gòu)建注意力模型自動學(xué)習(xí)每個用戶在群組中的影響力權(quán)重,最終根據(jù)權(quán)重聚合得到群組的整體偏好,從而以群組為單位進(jìn)行項目推薦.
以上對相關(guān)工作的分析表明,大多數(shù)事件推薦研究都基于傳統(tǒng)的特征評分進(jìn)行,沒有深入挖掘用戶與事件的交互信息;此外,關(guān)于事件對用戶的潛在影響很少被考慮.基于此,提出LSTIEI模型來捕捉用戶整體興趣,從用戶的長期興趣和短期興趣2個角度考慮了用戶的偏好,同時,綜合了事件本身對用戶產(chǎn)生的影響,結(jié)合兩者構(gòu)建深度推薦模型對用戶進(jìn)行個性化的TOP-K事件推薦.
給定一個目標(biāo)用戶,其參與的歷史事件集合為{e1,e2,…,en},其中n表示目標(biāo)用戶參加的事件活動總數(shù).同時,給定候選事件enew,事件推薦問題的目的旨在通過構(gòu)建的推薦模型預(yù)測用戶參與事件enew的可能性或概率,表示用戶對該事件感興趣的程度,并根據(jù)預(yù)測結(jié)果從多個候選事件中選擇1個或多個興趣程度較高的事件推薦給該用戶.
在EBSN中,由于用戶無法對未發(fā)生的候選事件進(jìn)行評級,存在的冷啟動問題使得傳統(tǒng)推薦方法不適用,一般可利用上下文信息和交互關(guān)系等信息進(jìn)行事件推薦.基于事件的社交網(wǎng)絡(luò)具有復(fù)雜異構(gòu)特性,可用圖結(jié)構(gòu)定義其形式.圖的節(jié)點由用戶、事件、群組等實體組成;節(jié)點之間的邊則表示實體間的交互關(guān)系,主要有用戶-事件交互、用戶-群組交互.事件社交網(wǎng)絡(luò)圖結(jié)構(gòu)中還包括事件的舉辦地點、主辦方、時間等特征信息.本文主要通過EBSN中的交互關(guān)系及上下文特征信息深入挖掘用戶興趣,并據(jù)此構(gòu)建推薦模型來生成向用戶推薦的TOP-K事件列表.表1列出了文中主要符號及含義:
Table 1 The Main Symbols and Their Meanings表1 主要符號及其含義
基于事件社交網(wǎng)絡(luò)的復(fù)雜異構(gòu)特征,提出一種基于深度學(xué)習(xí)的事件推薦模型LSTIEI.該模型主要由4個部分構(gòu)成:用戶長期興趣建模、用戶短期興趣建模、事件影響力構(gòu)建、參與概率預(yù)測.模型框架如圖1所示,具體推薦過程如下:
1) 提取事件特征嵌入向量與構(gòu)建交互關(guān)系圖.先利用并行的CNN從事件標(biāo)題和事件內(nèi)容2個層次提取事件嵌入表示,并串聯(lián)2個向量獲得事件最終的嵌入表示;同時,根據(jù)EBSN中的社交信息構(gòu)建用戶-事件、用戶-群組交互關(guān)系圖.
2) 召回率
為了訓(xùn)練本文提出的模型,選擇部分用戶參與過的事件表示正樣本,未參加的表示負(fù)樣本,對模型參數(shù)進(jìn)行訓(xùn)練,則訓(xùn)練的輸入樣本可表示為X=(Eu,enew,φ),其中,Eu表示用戶的歷史事件集合,enew表示候選事件,φ是樣本標(biāo)簽,輸入為正樣本則φ=1,否則φ=0.模型經(jīng)過訓(xùn)練將會對用戶是否參與候選事件enew的概率P進(jìn)行預(yù)測.選擇交叉熵?fù)p失函數(shù)對模型進(jìn)行訓(xùn)練,如式(19)所示:
3) 建模事件影響力.分別在內(nèi)容、時間、空間3個方面計算候選事件與目標(biāo)用戶每個歷史事件的相似度,并歸一化后對其取平均值,用以表征事件的影響力.
4) 融合用戶長短期興趣與事件影響力.將構(gòu)建的用戶長期興趣嵌入、短期興趣嵌入和事件影響力嵌入串聯(lián)之后,與候選事件嵌入一同輸入多層感知機(jī)(multi-layer perceptron, MLP)網(wǎng)絡(luò)中進(jìn)行評級預(yù)測,并根據(jù)排序后的結(jié)果向用戶推薦相應(yīng)的興趣事件.
Fig. 1 The framework of LSTIEI recommendation model圖1 LSTIEI推薦模型框架
EBSN中事件包含多個屬性和內(nèi)容信息,在輸入模型之前,先利用CNN將其轉(zhuǎn)換成向量形式,以便進(jìn)行深度學(xué)習(xí)運算.此外,由于EBSN的復(fù)雜異構(gòu)特征,本文分別從用戶-事件和用戶-群組2個方面構(gòu)建交互關(guān)系圖,以聚合用戶的興趣偏好.
2.3.1 事件特征提取
3.2.3 歸納小結(jié)動物行為的獲得途徑 以粘貼在思維導(dǎo)圖中的多個實例為基礎(chǔ),借助剩余貼條中的提示,引導(dǎo)學(xué)生選出能描述該類行為獲得途徑特點的貼條,完成對概念含義的建構(gòu)。隨后,學(xué)生結(jié)合思維導(dǎo)圖中的舉例和定義,思考或選出這類行為的意義,進(jìn)一步完善思維導(dǎo)圖。
每個EBSN事件的標(biāo)題和內(nèi)容描述文本是對用戶影響最明顯的特征,因此,從事件標(biāo)題和事件內(nèi)容提取事件的嵌入表示.而事件標(biāo)題和內(nèi)容由單詞序列構(gòu)成,故先將事件從文本表示轉(zhuǎn)換成詞向量形式.本文定義事件標(biāo)題的詞嵌入向量T=(w1,w2,…,wm)T∈m×p和內(nèi)容文本的詞嵌入向量C=(s1,s2,…,sn)T∈,其中,m,n,p分別是標(biāo)題單詞數(shù)量、內(nèi)容實體數(shù)量以及向量維度,內(nèi)容實體主要從描述文本中提取,事件標(biāo)題和內(nèi)容的詞嵌入均隨機(jī)初始化獲得.
除了試驗示范的多個優(yōu)質(zhì)稻新品種,觀摩現(xiàn)場還展示了多種智能化農(nóng)機(jī)具——激光平地機(jī)作業(yè)精度達(dá)到正負(fù)兩厘米,一小時可以作業(yè)2~3畝;旋耕、施肥、播種一體機(jī),可以控制播種深度,實現(xiàn)種肥精確控制,節(jié)本效果明顯;無人駕駛智能收割機(jī),可以實現(xiàn)自主導(dǎo)航路徑規(guī)劃與作業(yè),自動行駛、收割、脫粒、卸糧。
醫(yī)源性角膜擴(kuò)張(Post-LASIK keratectasia,PLK)是角膜屈光手術(shù)的嚴(yán)重并發(fā)癥,可導(dǎo)致術(shù)后視功能下降,屈光回退,嚴(yán)重影響患者術(shù)后的視覺質(zhì)量,從1998年Seiler報道首例角膜擴(kuò)張至今[2],已有200多例相關(guān)病例被報道,有關(guān)PLK的發(fā)生與預(yù)防,一直是角膜屈光手術(shù)領(lǐng)域的研究熱點。
(1)
接下來同步構(gòu)建用戶與事件、用戶與群組的交互關(guān)系圖,分別從2個交互關(guān)系圖中聚合用戶在事件空間和群組空間的興趣嵌入,并融合為用戶的最終長期興趣嵌入表示.
2.3.2 交互關(guān)系圖構(gòu)建
EBSN網(wǎng)絡(luò)主要由用戶、事件和群組3種實體構(gòu)成,用戶可選擇加入群組并參與群組中發(fā)起的事件,則用戶分別與事件、群組構(gòu)成交互關(guān)系.對用戶-事件和用戶-群組的交互分別構(gòu)建交互關(guān)系圖,由于每一個事件及其主辦方都屬于某個對應(yīng)的小組,因此,忽略事件與群組、主辦方之間的關(guān)聯(lián).如圖2所示:
Fig. 2 The interaction graph of user-event and user-group圖2 用戶-事件與用戶-群組交互圖
針對用戶-事件和用戶-群組之間的關(guān)系,分別構(gòu)造無向圖Graph1=(V1,R1),Graph2=(V2,R2)來表示EBSN中的用戶和事件、用戶和群組的交互,其中V1,V2分別表示2個交互圖的節(jié)點集,R1,R2則表示它們的邊集.用戶-事件交互圖中包含2種類型的節(jié)點:用戶和事件.對于用戶ui和事件ej,可定義rui,ej=1表示用戶參與了該事件,反之rui,ej=0,用戶-事件交互圖如圖2中用戶-事件部分所示.同樣地,用戶-群組交互圖中也包含2種類型的節(jié)點:用戶和群組.對于用戶ui與群組gk,用戶加入了該線上小組,定義交互關(guān)系為rui,gk=1,未參加則交互關(guān)系rui,gk=0.用戶-群組交互圖如圖2中用戶-群組部分所示,其中,虛線箭頭表示每個事件屬于對應(yīng)的發(fā)起小組.
現(xiàn)實中,用戶可能在較長的一段時間內(nèi)存在固定的興趣愛好,本文通過GNN建模用戶在事件空間和群組空間的長期興趣.研究表明,用戶除了存在固定的長期興趣,也可能受近期歷史事件的影響[21],存在明顯的短期興趣.我們通過引入注意力機(jī)制從用戶歷史記錄的時序和內(nèi)容2方面建模用戶短期興趣.
其中,WL表示可訓(xùn)練變換矩陣.
1) 用戶-事件交互嵌入學(xué)習(xí).通過前面構(gòu)建的交互關(guān)系圖,利用GNN傳遞嵌入信息捕捉用戶和事件之間的高階交互信息,計算GNN節(jié)點嵌入的一般形式如式(2)所示:
而在網(wǎng)絡(luò)時代,隨著互聯(lián)網(wǎng)技術(shù)的不斷成熟。上市公司在會計信息披露過程中要合理的應(yīng)用各種信息及手段,轉(zhuǎn)變信息披露模式,提升會計信息披露的真實性,保障信息披露的透明性。
(2)
(3)
前文已經(jīng)構(gòu)建了LSTIEI模型中用戶的長短期興趣及事件對用戶的影響力,本節(jié)根據(jù)這些特征嵌入對用戶參與候選事件的概率進(jìn)行預(yù)測.首先,對用戶的長期興趣、短期興趣及事件的影響力構(gòu)建統(tǒng)一的用戶-事件嵌入向量Vue,如式(17)所示:
(4)
(5)
別以為人家不懂英文,就寸步難行。山人自有妙招。比如位于皇后區(qū)的紐約第二大華人社區(qū)法蘭盛,離李先生的家騎自行車要一個多小時,每次出門,李先生都會提前寫下必用信息,比如自己的住址,想要去的地方,一些應(yīng)急的辦法等等,然后請家人和朋友幫忙翻譯成英文。有了中英文對照的出行“錦囊”,李先生心里踏實多了。
(6)
其中聚合函數(shù)與事件空間的聚合方式類似,Wg表示權(quán)重矩陣,bg,b1,b2均表示偏置項.
3) 用戶長期興趣嵌入獲取.把用戶在事件空間和群組空間的嵌入表示串聯(lián)輸入到全連接神經(jīng)網(wǎng)絡(luò),形成用戶的最終長期興趣嵌入表示UL,如式(7)所示:
(7)
2.4.1 利用注意力GNN建模用戶長期興趣
需注意,通過GNN的消息傳遞機(jī)制聚合影響用戶興趣的信息,涵蓋群組和完整歷史記錄對用戶的影響,這更能體現(xiàn)出用戶在長期時序上的興趣.然而,在用戶歷史記錄很少或近期加入的是新用戶的情況下,獲取的用戶興趣可能傾向于短期的,不過我們綜合考慮了用戶與事件、群組之間的交互,以盡量確保獲取的用戶興趣仍可能是長期的,降低在這種情況下是短期興趣的概率.接下來利用LSTM挖掘準(zhǔn)確的用戶短期興趣.
2.4.2 利用注意力LSTM建模用戶短期興趣
用戶短期興趣主要根據(jù)用戶近期參與事件的歷史記錄來獲取.為更深度地挖掘用戶的短期興趣,從事件內(nèi)容和歷史記錄的時序特征2個方面來考慮用戶短期興趣的特征學(xué)習(xí).一般地,每個歷史記錄會對用戶選擇候選事件有不同程度的影響,可結(jié)合注意力機(jī)制來確保每個歷史事件具有不同的影響權(quán)重.
1) 事件內(nèi)容影響建模.給定目標(biāo)用戶最近的事件參與記錄e1,e2,…,ek-1以及候選推薦事件ek,根據(jù)注意力機(jī)制來模擬用戶的歷史事件對候選事件的影響,如式(8)所示:
(8)
(9)
(10)
而GNN可迭代地從圖節(jié)點的局部鄰域中聚合特征信息并在圖上傳遞,具備強(qiáng)大的表征學(xué)習(xí)能力[17-18],因而被引入社交推薦中.Fan等人[19]考慮用戶和項目及其他用戶之間存在不同的交互關(guān)系,分別構(gòu)建用戶-項目交互關(guān)系圖和用戶-用戶社交關(guān)系圖,構(gòu)建了針對社交推薦的圖神經(jīng)網(wǎng)絡(luò)框架GraphRec對2個圖和異構(gòu)關(guān)系進(jìn)行建模.
(1)灌漿料的本構(gòu)模型可參考混凝土的本構(gòu)模型進(jìn)行模擬,經(jīng)過對比分析,試驗結(jié)果與數(shù)值分析結(jié)果吻合較好,驗證了模型參數(shù)選取的合理性。
(11)
其中,WS表示可訓(xùn)練變換矩陣.
在建模了用戶的長短期興趣之后,考慮從事件的角度建模事件對用戶的潛在影響力.在向用戶推薦相同類型的主題事件時,用戶可能會受到事件的不同潛在影響.假設(shè)向目標(biāo)用戶同時推薦線下音樂聚會和演唱會,演唱會在規(guī)模和參與效果等方面可能對用戶更具影響.為了進(jìn)一步地提升事件推薦的效果,通過建模事件的影響力來表征事件對用戶的潛在作用.
一般地,事件對用戶的影響主要體現(xiàn)在內(nèi)容、時間和空間3個方面[8],因此,本文根據(jù)候選事件的這3個特征構(gòu)建對目標(biāo)用戶的影響力,分別計算候選事件與用戶的每個歷史事件在3個特征上相似度,并歸一化后得到候選事件對目標(biāo)用戶的影響力嵌入表示.
腸道型大腸桿菌病的易感染者為出生不到一周的羔羊,這一時期的羔羊免疫力較差,接觸到母羊身體上以及羊圈內(nèi)的大腸桿菌時沒有抵抗力,會出現(xiàn)精神萎靡、下痢、吃奶較少甚至不吃的狀況,其糞便會逐漸變成灰色,糞便內(nèi)含未消化物,發(fā)出惡臭的味道。腸道型大腸桿菌病在發(fā)病后24小時之內(nèi)便會死亡,從而當(dāng)發(fā)生腸道型大腸桿菌病感染時,會造成羔羊剛出生后相繼死亡的現(xiàn)象,造成養(yǎng)羊場較大的經(jīng)濟(jì)損失。因此,這要求養(yǎng)羊場人員及時觀察羔羊出生后的狀態(tài),如若出現(xiàn)脫水、下痢、眼睛粘膜蒼白、尾巴被糞便沾染的現(xiàn)象,要及時進(jìn)行醫(yī)治。
(12)
2) 時間特征方面,根據(jù)現(xiàn)實中對時間計數(shù)周期的劃分(即1星期7天,1天24 h),將事件時間特征表示成一個7×24維的向量φ.因此,候選事件與用戶每個歷史事件的時間特征向量相似度如式(13)所示:
(13)
(14)
然后,根據(jù)兩者坐標(biāo)之間的歐幾里得距離定義空間相似度如式(15)所示:
(15)
以上分別計算了候選事件與目標(biāo)用戶的每個歷史事件在內(nèi)容、時間、空間3個特征上的相似度,對3個相似度進(jìn)行歸一化后取均值(假設(shè)用戶的歷史記錄數(shù)為N),如式(16)所示:
(16)
最終,把每個歷史事件的歸一化相似度組合成向量形式,S=(S1,S2,…,SN)表示候選事件對目標(biāo)用戶的影響力嵌入表示,當(dāng)嵌入的長度小于max(N)時,用0進(jìn)行填充.
2.6.1 模型預(yù)測
對于聚合函數(shù)Aggre(·)的計算,考慮用戶每一次的交互情況可能是不同的,根據(jù)注意力機(jī)制的思想,此處為用戶的每個交互分配一個個性化權(quán)重來彌補(bǔ)均值聚合的不足[24].聚合函數(shù)如式(4)所示:
Vue=Wue[UL;US;S],
(17)
(18)
2.6.2 模型訓(xùn)練
寶寶生病作為家庭生活中的一件大事,父母的情緒、態(tài)度和行為使寶寶強(qiáng)烈地感受到自己的存在意義,并因此建構(gòu)一個印象特別深刻的“鏡像自我”,即寶寶把父母當(dāng)成自己的鏡子,從他們的反應(yīng)和言行中形成對自己的評價和認(rèn)識。
(19)
先介紹EBSN數(shù)據(jù)集和評價指標(biāo),以及相關(guān)的對比模型,接下來對本文模型的有效性進(jìn)行詳細(xì)分析與評估,并將其與已有的經(jīng)典模型進(jìn)行多指標(biāo)對比.
采用文獻(xiàn)[8]的Meetup數(shù)據(jù)集驗證模型的推薦性能,利用Meetup.com官方提供的API抓取數(shù)據(jù).主要抓取了美國3個主要城市:芝加哥、菲尼克斯、圣何塞在Meetup上發(fā)起的公開事件活動信息,活動的舉行時間跨度從2010年1月至2014年 4月.數(shù)據(jù)集包含用戶、群組、事件3類實體的詳細(xì)信息,主要有用戶的屬性、用戶的活動參與記錄、用戶的群組記錄、群組及主辦方信息、群組的活動舉辦記錄、事件活動的屬性和文本等信息.數(shù)據(jù)集的統(tǒng)計信息見表2所示.此外,本文實驗所采用的硬件環(huán)境為:操作系統(tǒng)為64位Windows10 1903版本,CPU為AMD Ryzen7 3700X 3.6 GHz,32 GB RAM,使用python3.7語言編程實現(xiàn).
計算結(jié)果為該高??蒲泻诵母偁幜C合評價向量μi=(0.749 0,0.196 9,0.054 1),由于評價類別V={v1,v2,v3}有序,所以應(yīng)采用置信度識別準(zhǔn)則:若V={v1,v2,…,vk}滿足V=vi>vi+1(i=1,2,…,k-1),對置信度則認(rèn)為x屬于vk類,其中vi>vi+1表示vi的等級優(yōu)于vi+1。取置信度λ=0.6可得:xi∈v1。即認(rèn)為xi屬于第1個評價等級,置信度達(dá)到60%以上,因此該高??蒲泻诵母偁幜υu價結(jié)果為“強(qiáng)”。
Table 2 Statistical Information of Meetup Dataset表2 Meetup數(shù)據(jù)集的統(tǒng)計信息
采用準(zhǔn)確率、召回率、F1-Score值3個評價指標(biāo)來評估模型推薦性能.
1) 準(zhǔn)確率
(20)
2) 建模用戶的長短期興趣.一方面,利用GNN從2個交互圖上聚合用戶的興趣嵌入;另一方面,通過引入注意力機(jī)制,從用戶歷史事件的內(nèi)容影響和時序影響建模用戶的短期興趣.其中,根據(jù)用戶歷史事件嵌入計算事件內(nèi)容的注意力權(quán)重,時序影響則是利用基于注意力的LSTM來獲取.
因車廂內(nèi)部在車體長度方向上是對稱的,故取車體的一半作為本文的研究對象。由于計算車型的排風(fēng)和回風(fēng)是分開的,因此,車廂內(nèi)設(shè)置了送風(fēng)口、回風(fēng)口和排風(fēng)口,即物理模型的入口和出口。在車頂特定位置布置有3個幅流風(fēng)機(jī)安裝處,為減小列車震動對風(fēng)機(jī)的影響,結(jié)構(gòu)之間安裝有避震保護(hù)裝置。本文旨在研究滿載時風(fēng)速和溫度對地鐵車廂內(nèi)乘客舒適度的影響,因此車廂內(nèi)共有232人,其中36人有座,196人站立。
(21)
3)F1-score
F-score是準(zhǔn)確率和召回率的加權(quán)調(diào)和平均,常用評價指標(biāo)F1-score即表示F-score調(diào)和參數(shù)為1時的形式.由于準(zhǔn)確率和召回率之間的特殊關(guān)系,通過F1-score對本文模型的推薦效果進(jìn)行整體效果的評估,如式(22)所示:
(22)
為直觀評估本文提出的事件推薦模型的效果,選取部分最新的基于特征評分推薦和融合深度學(xué)習(xí)推薦的模型進(jìn)行對比.
1) MP(most popular).根據(jù)候選事件流行度向用戶推薦最熱門的活動.正負(fù)反饋數(shù)是唯一的排序標(biāo)準(zhǔn),將排序后的TOP-K事件推薦給用戶.
2) G-M(group-membership).根據(jù)用戶加入的小組記錄數(shù)據(jù)向用戶推薦這些小組發(fā)起的事件活動.這種簡單的推薦雖然能保證一定的準(zhǔn)確率,但存在很大的局限性,面對新用戶將會失效.若用戶沒有任何小組記錄,則后續(xù)采用MP推薦.
農(nóng)業(yè)技術(shù)推廣作為現(xiàn)代化農(nóng)業(yè)發(fā)展的必經(jīng)之路,在農(nóng)業(yè)經(jīng)濟(jì)發(fā)展中的作用和價值會越來越突出。在改善農(nóng)業(yè)生產(chǎn)格局,調(diào)整農(nóng)業(yè)產(chǎn)業(yè)結(jié)構(gòu),提高農(nóng)業(yè)生產(chǎn)效率,帶動農(nóng)業(yè)產(chǎn)業(yè)化發(fā)展,促進(jìn)區(qū)域農(nóng)業(yè)經(jīng)濟(jì)水平提高,實現(xiàn)農(nóng)業(yè)經(jīng)濟(jì)現(xiàn)代化建設(shè)方面都具有顯著的作用。
3) GLFM[14].利用隱式因子模型從面向用戶和面向事件雙重角度考慮群組對事件推薦的影響,同時結(jié)合了時空因素和RSVP的影響.
4) Event2Vec[12].基于潛在嵌入空間向量的相似性度量實現(xiàn)事件推薦.通過嵌入學(xué)習(xí)編碼事件、時間、位置的潛在表示,并考慮時空因素的影響.
5) MCLRE[8].通過構(gòu)建地理位置、社交關(guān)系、時間、內(nèi)容等特征的評分模型,利用學(xué)習(xí)排序算法融合多個特征的評分進(jìn)行推薦.
6) STTM[7].基于時空主題的冷啟動事件推薦模型,通過聯(lián)合建模事件內(nèi)容、時空因素及交互關(guān)系的影響,捕獲用戶隨時間變化的興趣,實現(xiàn)事件推薦.
本文提出的LSTIEI模型結(jié)合了用戶長短期興趣和事件影響力對用戶進(jìn)行事件推薦.為進(jìn)一步驗證用戶長期興趣、用戶短期興趣和事件影響力對推薦決策的影響,還構(gòu)建了多個變體模型與本文模型進(jìn)行對比,以考察不同因素對模型性能的影響.
由于數(shù)據(jù)集中每個城市的數(shù)據(jù)量較多,對數(shù)據(jù)集需進(jìn)行一定的前期處理.在每個城市的數(shù)據(jù)集時間序列上選擇12個時間節(jié)點,以時間結(jié)點為基準(zhǔn),利用滑動窗口方法將其劃分成12組時間間隔相同的數(shù)據(jù)集,取每組數(shù)據(jù)集的時間節(jié)點前6個月的活動作為訓(xùn)練數(shù)據(jù),后6個月內(nèi)的活動作為測試候選事件.
本文推薦模型基于深度學(xué)習(xí)庫Pytorch(來源于https://pytorch.org/)實現(xiàn),測試集中部分?jǐn)?shù)據(jù)被作為驗證集來確定超參數(shù).最終的參數(shù)設(shè)置為:事件標(biāo)題和內(nèi)容的詞嵌入維度p=50,事件嵌入表示的維度D=100,正則化參數(shù)L2=0.005,訓(xùn)練批次和學(xué)習(xí)率分別為256和0.005.
1) 不同因素的影響分析
為驗證用戶的長短期興趣和事件關(guān)于用戶在內(nèi)容、時間、空間方面對推薦性能的影響,構(gòu)建了6個變體模型STI-EI,LTI-EI,LSTI,LSTI-C,LSTI-T,LSTI-V與LSTIEI進(jìn)行對比,前2個變體模型各自去除了用戶長期興趣和短期興趣模塊,分別考查用戶短期、長期興趣的影響;后4個變體模型分別表示去除事件影響力模塊、僅結(jié)合事件內(nèi)容影響、僅結(jié)合事件時間影響、僅結(jié)合事件空間影響的推薦方案,考查事件相關(guān)因素的影響.表3是幾個變體模型的影響因素對比情況.
Table 3 Comparison of Influencing Factors Among Several Models
在Chicago,Phoenix,San Jose這3個城市數(shù)據(jù)集上實驗,考慮到變體模型的目的是驗證用戶和事件的影響因素對推薦性能的影響,這里僅選擇準(zhǔn)確率指標(biāo)評估變體模型中用戶和事件影響因素的作用.圖3展示了在準(zhǔn)確率P@K指標(biāo)上各變體模型的性能.
Fig. 3 Precision comparison between variant models and LSTIEI圖3 變體模型與LSTIEI準(zhǔn)確率對比
從圖3中可看出,用戶長短期興趣的影響最明顯,分別屏蔽長期興趣和短期興趣的變體模型STI-EI,LTI-EI的準(zhǔn)確率均嚴(yán)重下降.另外,去除事件影響力模塊的變體模型LSTI不僅在準(zhǔn)確率指標(biāo)上大大低于LSTIEI,而且也低于其余3個與事件影響力相關(guān)的變體模型,驗證了本文關(guān)于事件對用戶的作用能夠影響推薦效果的假設(shè).
① 用戶自身的興趣偏好對推薦的影響最大,并在長期和短期時序上表現(xiàn)的興趣存在差異.圖3實驗結(jié)果表明,用戶長期興趣的作用稍微弱于短期興趣,短期興趣的持續(xù)影響力更加明顯.而單獨的長期或短期興趣不能完整地表達(dá)用戶的興趣,導(dǎo)致推薦效果較差,即屏蔽長期或短期興趣的變體模型推薦準(zhǔn)確率較低.而將兩者結(jié)合的變體模型LSTI的推薦準(zhǔn)確率則有明顯提升,表明用戶的長短期興趣是推薦結(jié)果的主要依據(jù).
② 事件對用戶的作用可一定程度地影響推薦準(zhǔn)確率.根據(jù)幾個變體模型之間的對比情況可發(fā)現(xiàn),事件對用戶在內(nèi)容、時間、空間3個方面的作用,都會影響到模型推薦效果.在事件影響力相關(guān)的變體模型中,去除事件影響力模塊的LSTI推薦準(zhǔn)確率最低,且明顯低于融合事件影響的LSTIEI模型,表明事件對用戶的潛在影響是值得關(guān)注的信息,有助于發(fā)現(xiàn)潛在的興趣用戶并提升推薦效果.
③ 融合事件影響力可改善推薦效果,但各因素的影響作用存在一定差異.根據(jù)實驗結(jié)果來看,提升效果較大的是事件的內(nèi)容因素,其次是事件的時間和空間因素,這說明用戶在選擇事件時最先關(guān)注的是其內(nèi)容,而時間和空間因素的影響被削弱,很可能是由于大多數(shù)用戶在參與事件時有固定的時間和地點模式,比如定期在周末或固定范圍參加戶外活動.從實驗對比結(jié)果來看,LSTI-T與LSTI-V在推薦準(zhǔn)確率指標(biāo)上的差距并不明顯,表明用戶在時間和空間上的偏好程度相似.
綜上所述,用戶的長期興趣與短期興趣相結(jié)合可更完整地表示用戶的興趣,從而提升推薦性能.而融合事件各屬性對用戶潛在影響的LSTIEI模型取得比其他變體模型更好的推薦結(jié)果.事件對用戶在內(nèi)容、時間、空間3個方面的影響力可在一定程度上改善推薦效果,將其結(jié)合到我們提出的LSTIEI模型中可進(jìn)一步提升推薦性能.
2) 模型性能對比
這里把LSTIEI與6個基準(zhǔn)模型做整體推薦性能對比,圖4展示了所有模型在Chicago,Phoenix,San Jose 3個城市數(shù)據(jù)集上的準(zhǔn)確率和召回率指標(biāo)結(jié)果對比情況.根據(jù)現(xiàn)實經(jīng)驗,推薦過多的事件往往會對用戶選擇造成干擾,圖中僅顯示將K值分別設(shè)置為5,10,15時的推薦結(jié)果.
從圖4中可看出,LSTIEI與各基準(zhǔn)模型相比,在準(zhǔn)確率P@K、召回率R@K指標(biāo)上都優(yōu)于其他模型.隨著K增大,準(zhǔn)確率呈下降趨勢,表明增加推薦事件數(shù)量并不會提升模型性能;但召回率的結(jié)果表明推薦更多事件,存在用戶感興趣事件的可能性越大.以Phoenix數(shù)據(jù)集K=10的情況為例,LSTIEI模型在推薦準(zhǔn)確率上比幾個較新的對比模型GLFM,Event2Vec,MCLRE,STTM分別提升123.6%,97.6%,85.9%,47.7%.在3個城市數(shù)據(jù)集上對比結(jié)果表明,LSTIEI模型中的長短期興趣能更準(zhǔn)確地表達(dá)用戶興趣,其對比分析結(jié)果為:
① 對于最簡單的MP模型而言,大多數(shù)用戶的真實興趣與熱門事件匹配的概率很低,推薦熱門事件的效果有限.此外,G-M的推薦效也并不理想,因為用戶的興趣隨著時間不斷變化,對所在小組的興趣逐漸衰退,該方案在向活躍用戶推薦短期內(nèi)的事件時可能會有較好的效果,而針對不活躍用戶的推薦效果與MP相當(dāng),存在明顯的局限性.
② GLFM和Event2Vec 2個模型的性能弱于MCLRE,這可能是由于MCLRE重點關(guān)注了用戶與事件和群組的交互關(guān)系,并考慮了多個特征的用戶偏好.而GLMF和Event2Vec并未明顯地考慮用戶的交互信息,雖然GLFM從用戶與事件的雙重角度構(gòu)建了群組影響力的潛在因子模型,但事件內(nèi)容和交互關(guān)系的缺失導(dǎo)致推薦性能損失.Event2Vec通過挖掘事件、位置、時間3個因素之間的關(guān)聯(lián)信息,主要關(guān)注了時空因素對用戶的影響,忽略了用戶社交關(guān)系和交互信息的重要影響.這表明基于多特征融合的推薦方法具有較好的推薦性能,但對上下文信息的高度依賴可能會導(dǎo)致面臨冷啟動時推薦性能下降問題.
③ STTM建模了用戶隨時間變化的內(nèi)容及位置偏好對用戶決策的影響,充分考慮了上下文信息之間的相互影響.與MCLRE中基于穩(wěn)定的用戶特征偏好融合相比,STTM考慮的隨時間變化的時空主題模型對用戶興趣的挖掘更加準(zhǔn)確.盡管STTM取得比MCLRE更好的推薦效果,但該模型首先是基于事件、群組的信息進(jìn)行推斷并獲取用戶的內(nèi)容偏好,沒有考慮用戶和事件內(nèi)容之間的真實興趣關(guān)聯(lián);其次,STTM也沒有考慮交互關(guān)系中事件對用戶的影響.本文的LSTIEI模型捕捉了用戶和事件、群組的交互關(guān)系網(wǎng)絡(luò)中的長期興趣,在短期興趣中同時考慮了事件內(nèi)容和時序的影響,對于隱式偏好的挖掘更準(zhǔn)確高效.另外,還結(jié)合候選事件對用戶的影響以進(jìn)一步提升推薦效果,實驗結(jié)果表明本文的LSTIEI模型優(yōu)勢更明顯.
Fig. 4 Comparison on precision and recall of several models in three datasets圖4 各模型在3個數(shù)據(jù)集上準(zhǔn)確率與召回率對比
綜上分析,提出的LSTIEI模型在準(zhǔn)確率和召回率上均取得比對比模型更好的結(jié)果,表明融合用戶長短期興趣可準(zhǔn)確地表示用戶偏好.另外,結(jié)合圖3和圖4的對比結(jié)果可看出,表3設(shè)置的幾個變體模型LSTI-C,LSTI-T,LSTI-V,LSTI也表現(xiàn)出了比各對比模型(MP,G-M GLFM,Event2Vec MCLRE,STTM)更好的推薦性能,進(jìn)一步表明結(jié)合事件對用戶的影響可改善推薦效果.一般來說,事件內(nèi)容、時間、空間等信息均是構(gòu)成事件的必要因素,這些信息通常不會缺失.即使出現(xiàn)所有事件信息缺失的情況,屏蔽事件影響力的變體模型LSTI的推薦性能也優(yōu)于對比模型(STTM),這表明本文提出的LSTIEI模型僅依靠用戶的長短期興趣進(jìn)行推薦依然具備較好的推薦性能.
進(jìn)一步地,表4給出了所有模型在3個城市數(shù)據(jù)集的F1@K指標(biāo)對比.在Phoenix數(shù)據(jù)集上的所有模型的評價指標(biāo)均優(yōu)于另外2個數(shù)據(jù)集Chicago,SanJose,這可能是因為該數(shù)據(jù)集中以更少的用戶數(shù)量舉辦了更多的事件活動,數(shù)據(jù)的稀疏性明顯低于另外2個數(shù)據(jù)集Chicago,SanJose,有更豐富的上下文信息幫助模型獲取用戶興趣.同樣可看到,LSTIEI在F1@K指標(biāo)的對比中明顯超過其他所有模型,表明LSTIEI在綜合性能上更具優(yōu)勢.而且,圖4中召回率指標(biāo)的對比結(jié)果也顯示LSTIEI在2個更稀疏的數(shù)據(jù)集Chicago,SanJose上能獲得穩(wěn)定的推薦性能,表明LSTIEI在對抗數(shù)據(jù)稀疏性方面強(qiáng)于其他各模型.
Table 4 Comparison of F1 Values of Several Models in Three Datasets表4 在3個數(shù)據(jù)集上各模型F1值對比
本文提出一種結(jié)合用戶長短期興趣和事件影響力的EBSN社交事件推薦模型.該模型考慮了用戶在時間序列中的長期興趣和短期興趣,同時,也從事件相似度的角度考慮了社交事件對用戶的潛在影響.主要貢獻(xiàn)有3個方面:
1) 在社交事件推薦領(lǐng)域引入GNN,分別從用戶和事件、用戶和群組的交互信息中捕捉用戶的長期興趣.與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法相比,對社交網(wǎng)絡(luò)中交互信息的獲取更完整.
2) 將注意力機(jī)制融合到長短期興趣的提取過程中,考慮了每條歷史記錄和交互信息對用戶的影響,使用戶興趣表示更精確.
3) 結(jié)合社交事件對用戶的潛在影響力,分別從內(nèi)容、時間和空間特征考慮了事件對用戶的影響,有利于進(jìn)一步提升推薦準(zhǔn)確率.
所提模型性能整體上優(yōu)于其他對比模型,但也存在一些不足.例如,在交互關(guān)系構(gòu)建中沒有考慮用戶與主辦方及其他用戶的交互,以及推薦的事件類型過于集中,多樣性較差.下一步工作考慮構(gòu)建圖譜化交互內(nèi)容,并融合用戶對主辦方的信任關(guān)系,從而緩解用戶的興趣依賴,進(jìn)一步提升推薦效果.
作者貢獻(xiàn)聲明:錢忠勝負(fù)責(zé)論文主體思想、整體框架構(gòu)建、算法設(shè)計;楊家秀負(fù)責(zé)數(shù)據(jù)處理、主要實驗及其結(jié)果分析、文章的撰寫與修改;李端明,葉祖錸負(fù)責(zé)數(shù)據(jù)收集、程序設(shè)計、文檔整理與編輯.