亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        群組推薦系統(tǒng):現(xiàn)狀與展望

        2021-05-24 09:01:12趙海燕成若瑤陳慶奎
        關(guān)鍵詞:群組文獻(xiàn)融合

        趙海燕,成若瑤,陳慶奎,曹 健

        1(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上海市現(xiàn)代光學(xué)系統(tǒng)重點(diǎn)實(shí)驗(yàn)室,光學(xué)儀器與系統(tǒng)教育部工程研究中心,上海 200093)2(上海交通大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)系,上海 200030)

        E-mail:13223683653@163.com

        1 引 言

        在大數(shù)據(jù)時(shí)代中,能夠精準(zhǔn)地找到有價(jià)值的信息是件困難的事情,而推薦系統(tǒng)(Recommender System,RS)正是人們解決信息過載的有力工具,它根據(jù)用戶的信息需求、興趣愛好等,幫助用戶進(jìn)行信息過濾,將用戶感興趣的信息、產(chǎn)品等推薦給用戶[1].

        隨著推薦技術(shù)的快速發(fā)展,個(gè)性化推薦系統(tǒng)正在不斷完善,并成功應(yīng)用于各個(gè)領(lǐng)域,與我們的生活已經(jīng)息息相關(guān),比如電子商務(wù)、影音視頻、新聞資訊等等領(lǐng)域都存在著推薦系統(tǒng)的身影.個(gè)性化推薦系統(tǒng)是給個(gè)體用戶進(jìn)行推薦.但是,在現(xiàn)實(shí)生活中人們可以根據(jù)不同的標(biāo)準(zhǔn)劃分成群組,例如,根據(jù)不同的興趣劃分出不同的學(xué)生團(tuán)體,與此同時(shí),人們也常常聚集在一起進(jìn)行各種活動(dòng),比如家人一起看電視、朋友聚會(huì)等.在這些應(yīng)用中,我們需要為群組進(jìn)行推薦.

        由于對(duì)群組進(jìn)行推薦的需求日益增長(zhǎng),群組推薦系統(tǒng)(Group Recommender System,GRS)應(yīng)運(yùn)而生,它幫助群組快速篩選大量的信息,通過聚合群組成員的不同偏好,向群組推薦滿意的項(xiàng)目.群組推薦系統(tǒng)節(jié)約了群組決策的時(shí)間,減少了群組成員之間不必要的矛盾與沖突.

        群組推薦系統(tǒng)與個(gè)性化推薦系統(tǒng)相比較,兩者之間存在共同點(diǎn),例如均使用個(gè)性化推薦算法進(jìn)行推薦,也存在很多區(qū)別.最基本的不同是推薦對(duì)象的不同,個(gè)性化推薦系統(tǒng)為個(gè)體用戶推薦,而群組推薦系統(tǒng)為群組推薦.在推薦步驟上也有不同,群組推薦系統(tǒng)加入融合群組成員偏好的步驟.個(gè)性化推薦系統(tǒng)只考慮用戶與項(xiàng)目之間的交互,而群組推薦系統(tǒng)不僅僅考慮用戶與項(xiàng)目之間的交互,還涉及用戶與用戶之間交互的建模.

        群組推薦強(qiáng)調(diào)群組成員偏好的聚合.由于群組中每個(gè)成員之間的差異性較大,偏好各有不同,同時(shí)也有著不同的期望和愿望,因而,在偏好聚合的過程中,群組成員之間經(jīng)常會(huì)發(fā)生沖突.在群組決策過程中,為了達(dá)成一致,每個(gè)成員都會(huì)不同程度地接受或拒絕其他成員的偏好需求[2].最后的推薦方案需要能夠盡量減少群組成員之間的沖突,提高成員共同的接受度.此外,群組是動(dòng)態(tài)的、復(fù)雜的,群組成員會(huì)由于各種因素產(chǎn)生變動(dòng),用戶的偏好也會(huì)受到其他群組成員的影響,需要?jiǎng)討B(tài)捕捉群組實(shí)時(shí)變化.這使得為群組進(jìn)行推薦更加困難.

        近年來(lái),圍繞群組推薦的研究取得了不少研究成果.本文分析了群組推薦過程的特點(diǎn)和步驟,總結(jié)了目前群組推薦的模型和面臨的挑戰(zhàn),并對(duì)未來(lái)的發(fā)展方向進(jìn)行了展望.

        2 群組推薦過程

        目前,大部分群組推薦系統(tǒng)的研究工作可以分為群組識(shí)別、信息獲取、融合策略、推薦算法和評(píng)價(jià)指標(biāo)5個(gè)步驟.為了對(duì)群組進(jìn)行推薦,首先需要識(shí)別出對(duì)應(yīng)的群組,然后獲取群組成員的個(gè)人信息,再根據(jù)目標(biāo)群組的特征,使用融合策略和推薦方法,生成對(duì)群組的推薦結(jié)果,最后,利用評(píng)價(jià)指標(biāo)檢驗(yàn)推薦系統(tǒng)的性能.總體而言,群組推薦的實(shí)現(xiàn)分為兩種技術(shù)路線[3],如圖1所示.

        圖1 群組推薦的總體方法Fig.1 Overall process of group recommendation

        一種是模型融合方法[3],即先融合偏好再推薦.通過融合策略將群組成員的偏好信息融合,生成群組的偏好模型,再采用推薦方法對(duì)群組進(jìn)行推薦.模型融合容易受到評(píng)分稀疏性問題的影響.另一種則是推薦融合方法,即先推薦再融合.根據(jù)評(píng)分預(yù)測(cè)和Top-k推薦兩類問題,將推薦融合又分為列表融合和評(píng)分融合[3],都是先對(duì)群組中每個(gè)成員進(jìn)行推薦,再利用融合策略將所有成員的推薦列表或者預(yù)測(cè)項(xiàng)目評(píng)分進(jìn)行融合,生成群組的推薦結(jié)果.推薦融合有更高的靈活性,并且有利于推薦結(jié)果的解釋,但是缺乏新穎性,并且對(duì)大規(guī)模群組推薦效率低下.此外,融合方法的選擇直接影響了群組推薦的效果,有時(shí)模型融合方法的準(zhǔn)確度優(yōu)于推薦融合,而有時(shí)推薦融合方法的準(zhǔn)確度優(yōu)于模型融合方法.因此,需要針對(duì)不同的問題,合理選擇融合方法,使推薦效果更佳.

        2.1 群組識(shí)別

        群組識(shí)別是群組推薦的第一個(gè)步驟,同時(shí)也是關(guān)鍵的一步.推薦的群組主要分為兩種,即實(shí)際群組和虛擬群組.對(duì)于實(shí)際群組進(jìn)行推薦需要先判斷群組類別,匹配最適合的推薦方式.然而,當(dāng)用戶需要加入群組并以群組的形式獲得推薦[3],或者當(dāng)個(gè)體信息匱乏、為個(gè)體推薦工作量較大的情況下,也需要構(gòu)建虛擬群組進(jìn)行推薦.

        群組之間存在顯著差別,如文獻(xiàn)[4]發(fā)現(xiàn)隨著群組規(guī)模增大,隨機(jī)群組會(huì)出現(xiàn)眾口難調(diào)的局面,導(dǎo)致推薦質(zhì)量下降.相反,群組成員相似度高的群組隨著群組規(guī)模的增大推薦效果會(huì)變好.文獻(xiàn)[5]進(jìn)一步證明了推薦系統(tǒng)性能與群組的凝聚性(群組偏好接近程度)有關(guān).因此,對(duì)所有的群組均使用統(tǒng)一的推薦方法,必定會(huì)使推薦的效果大打折扣,所以判斷群組的類別很有必要,我們總結(jié)了群組的不同類別,如表1所示.

        表1 群組分類表Table 1 Group classification

        目前,群組發(fā)現(xiàn)一般通過人口統(tǒng)計(jì)學(xué)特征和社會(huì)關(guān)系構(gòu)建虛擬群組[3],而對(duì)于相似的虛擬群組,經(jīng)常使用相似度計(jì)算方法和聚類算法來(lái)構(gòu)建.用于群組發(fā)現(xiàn)的聚類算法有基于劃分的方法[6],基于層次的方法[7],基于密度的方法[8]和基于圖論的方法[9]等.文獻(xiàn)[6]使用K-means聚類方法,根據(jù)用戶的個(gè)人評(píng)分,將相同項(xiàng)目評(píng)分相似的用戶分為同質(zhì)群組,評(píng)分不同的用戶分為異質(zhì)群組,實(shí)驗(yàn)結(jié)果證明對(duì)同質(zhì)群組的推薦效果比異質(zhì)群組好.文獻(xiàn)[7]則采用自頂向下的子空間聚類,將目標(biāo)用戶群分為五類,同時(shí)規(guī)定了生成群組的數(shù)量.文獻(xiàn)[8]針對(duì)基于密度聚類算法效率低下的問題進(jìn)行了改進(jìn),通過改進(jìn)的算法聚集相似用戶,構(gòu)建相似群組,實(shí)驗(yàn)結(jié)果證明組內(nèi)相似度越高,推薦效果越好.文獻(xiàn)[9]則利用馬爾可夫聚類算法完成廣播電視用戶群組的發(fā)現(xiàn)工作,分別對(duì)收視時(shí)間和收視節(jié)目聚類,并將時(shí)間和節(jié)目屬性均相似的記錄歸為一類,并對(duì)同一類記錄有偏好的用戶歸為同一群組.

        2.2 信息獲取

        信息獲取是任何推薦中不可或缺的一部分,通過獲取用戶的屬性、搜索記錄、瀏覽記錄和評(píng)分等,我們可以進(jìn)一步構(gòu)建起群組的信息模型和偏好模型.信息獲取的方式可以分為:

        1)顯式獲?。河脩糁鲃?dòng)提供信息,諸如用戶的年齡、性別等人口統(tǒng)計(jì)學(xué)特征信息和用戶對(duì)項(xiàng)目的評(píng)分、評(píng)價(jià)等偏好信息,這些信息能夠明確顯示用戶的個(gè)人情況和對(duì)物品的偏好程度.但是,用戶主動(dòng)提供的信息數(shù)量可能較少.

        2)隱式獲?。弘[式獲取與顯式獲取相對(duì),它不需要用戶主動(dòng)提供信息,而是通過用戶的歷史行為數(shù)據(jù)挖掘用戶偏好.只要用戶的行為數(shù)據(jù)足夠多,就能夠準(zhǔn)確地抽取用戶的偏好特征,并且有利于保護(hù)用戶隱私[3].

        2.3 融合策略

        融合策略又稱為偏好融合策略,屬于群組推薦中獨(dú)具特色的部分,不同于個(gè)性化推薦,群組推薦需要協(xié)調(diào)群組中每個(gè)成員的意愿.融合策略分為普通融合策略和加權(quán)融合策略,如表2所示.

        2.3.1 普通融合策略

        普通融合策略是按照某一預(yù)定義的策略將用戶偏好或推薦結(jié)果聚合起來(lái),其中平均策略(Averaging strategy)、最小痛苦策略(Least misery strategy)和最受尊敬者策略(One user choice strategy)的使用最為廣泛.然而,沒有最佳的、普遍適用的普通融合策略,群組推薦系統(tǒng)需要結(jié)合融合方法和推薦方法來(lái)選擇融合策略,并且上下文和應(yīng)用領(lǐng)域也影響融合方法和策略的選擇[10].因此,文獻(xiàn)[11]將普通融合策略進(jìn)行組合使用,利用該方法推薦的準(zhǔn)確度會(huì)提高,但是相應(yīng)地增長(zhǎng)了運(yùn)行時(shí)間.所以在不同的情形下,針對(duì)不同類型的群組,應(yīng)該選擇合適的普通融合策略.

        表2 融合策略表Table 2 Fusion strategy

        2.3.2 加權(quán)融合策略

        在同一群組中,不同成員的影響力是有差別的,加權(quán)融合策略為群組成員定義不同的權(quán)重,它又可以分為靜態(tài)加權(quán)融合策略和動(dòng)態(tài)加權(quán)融合策略.

        圖2 用戶在同一群組不同場(chǎng)景的權(quán)重圖Fig.2 Weights of users in different scenarios from the same group

        靜態(tài)加權(quán)融合策略在群組推薦中廣泛使用,它根據(jù)用戶的人口統(tǒng)計(jì)學(xué)特征或者用戶對(duì)歷史項(xiàng)目的評(píng)分,計(jì)算用戶的權(quán)重.但是,靜態(tài)加權(quán)融合策略忽略了群組成員之間的交互和群組的動(dòng)態(tài)性.此外,用戶的喜好也受其他因素影響而發(fā)生改變,同一個(gè)群組為不同的項(xiàng)目做決策時(shí),用戶的權(quán)重可能發(fā)生改變,如圖2所示,用戶在不同群組中的權(quán)重也不一樣,如圖3所示.

        圖3 用戶在不同群組的權(quán)重圖Fig.3 Weights of users in different groups

        因此,動(dòng)態(tài)加權(quán)融合策略考慮到群組成員之間的交互和用戶權(quán)重需要更新的要求,動(dòng)態(tài)學(xué)習(xí)群組成員的權(quán)重變化,使群組推薦效果更好,但是也付出計(jì)算開銷方面的代價(jià).目前,動(dòng)態(tài)加權(quán)融合策略有納什均衡策略、遺傳算法、注意力機(jī)制和貝葉斯排序等.

        1)納什均衡(Nash Equilibrium)策略:將博弈論的思想運(yùn)用到偏好融合中,把群組決策看作群組成員之間的非合作博弈:每個(gè)成員不需要衡量其他成員的偏好而調(diào)整自己的偏好,將提高群組滿意度的問題看作是求納什均衡解的問題.研究實(shí)驗(yàn)效果表明[6,12,13],納什均衡策略推薦的準(zhǔn)確度、命中率、魯棒性和公平性都優(yōu)于普通融合策略,并且推薦結(jié)果的多樣性好.同時(shí),納什均衡策略的結(jié)果也具有較好的穩(wěn)定性,即組內(nèi)用戶偏好相似度降低時(shí)推薦效果不變.相比而言,普通融合策略在運(yùn)行時(shí)間上更有優(yōu)勢(shì),尤其是對(duì)大規(guī)模群組,納什均衡策略的運(yùn)行時(shí)間會(huì)更長(zhǎng).文獻(xiàn)[12]將納什均衡策略搭配不同的融合方法使用,發(fā)現(xiàn)不論是使用模型融合方法還是推薦融合方法,納什均衡策略的推薦結(jié)果都比普通融合策略好.文獻(xiàn)[13]通過群組的納什均衡解了解群組成員的個(gè)人偏好,利用奇異值分解整合成員的個(gè)人偏好為群組偏好.并且針對(duì)運(yùn)行時(shí)間較長(zhǎng)的問題,提出了兩種剪枝方法(NashSkyline,Nash Skyband),通過去除群組成員意見不一致的決策,縮短了運(yùn)行時(shí)間、提高了推薦效率,但是也付出了多樣性和公平性方面的代價(jià).

        2)遺傳算法(Genetic Algorithm,GA):通過模擬“物競(jìng)天擇,適者生存”的自然進(jìn)化過程,求解優(yōu)化問題.具體來(lái)說,遺傳算法將問題編碼為由染色體構(gòu)成種群,一代代選擇、交叉、變異,進(jìn)化出新的種群,最終得到最適應(yīng)的種群,即問題的最優(yōu)解[14].遺傳算法也被用于學(xué)習(xí)群組成員之間的交互作用.群組推薦領(lǐng)域涉及遺傳算法的研究較少[14],文獻(xiàn)[14]根據(jù)群組的已知評(píng)分和成員的個(gè)人評(píng)分,通過遺傳算法學(xué)習(xí)群組成員之間的交互作用,預(yù)測(cè)群組對(duì)項(xiàng)目的評(píng)分.該方法將基因視為群組成員的權(quán)重,初始化群組,通過最小化適應(yīng)度函數(shù)評(píng)估遺傳后代的優(yōu)劣程度.并對(duì)適應(yīng)度函數(shù)值進(jìn)行迭代求解,得到最優(yōu)解.采用輪盤賭方案選擇,單點(diǎn)交叉和0.01比特的突變率作為遺傳算子.由于遺傳算法不受已知群組評(píng)分?jǐn)?shù)量的影響,可以解決群組評(píng)分稀疏的問題.

        3)注意力機(jī)制(Attention Mechanism,AM):是深度神經(jīng)網(wǎng)絡(luò)研究中的最新進(jìn)展,主要思想是人們觀察物體時(shí),傾向于關(guān)注物體的重要部分,忽略其他部分.在群組推薦中,將每個(gè)用戶表示為一個(gè)嵌入向量,應(yīng)用注意力機(jī)制學(xué)習(xí)用戶在群組中的權(quán)重.注意力機(jī)制也可以使推薦結(jié)果具有可解釋性.目前,群組推薦存在不少涉及注意力機(jī)制方面的研究[15-18],文獻(xiàn)[15]提出了基于Mavens進(jìn)行特征挖掘和BERT嵌入構(gòu)成的群組模型,再運(yùn)用注意力機(jī)制聚合生成群向量.通過注意力機(jī)制,每個(gè)成員都參與了群組決策,還能清晰地反映群組成員的影響.文獻(xiàn)[16]則利用由群組和用戶組成的雙層注意網(wǎng)絡(luò),共同學(xué)習(xí)群組成員的重要性.當(dāng)群組與不同項(xiàng)目互動(dòng)時(shí),群組成員的注意力權(quán)重會(huì)動(dòng)態(tài)地調(diào)整.文獻(xiàn)[17]利用注意力機(jī)制,動(dòng)態(tài)調(diào)整用戶在不同群組中的影響力,較好地解釋了群組決策的過程.文獻(xiàn)[18]采用自注意力機(jī)制獲取群組成員之間的相似關(guān)系,從群組成員和項(xiàng)目之間的交互中,自動(dòng)學(xué)習(xí)每個(gè)群組成員的動(dòng)態(tài)權(quán)重,同時(shí)聚合群組成員的偏好生成群組偏好.

        4)排序?qū)W習(xí)算法:群組推薦問題可以描述為排序?qū)W習(xí)問題,它是利用機(jī)器學(xué)習(xí)技術(shù)解決排序問題的方法.從訓(xùn)練的數(shù)據(jù)中自動(dòng)為每個(gè)群組構(gòu)建單獨(dú)的排序模型,并利用排序模型預(yù)測(cè)項(xiàng)目評(píng)分,但是此過程中訓(xùn)練效率低下.為了解決這一問題,文獻(xiàn)[19]提出了一種基于學(xué)習(xí)排序算法的群體活動(dòng)推薦框架,將上下文影響和成員偏好融入到群組中.提出貝葉斯群組排序算法,用于學(xué)習(xí)每個(gè)群組聚合模型的權(quán)重.該方法的結(jié)果優(yōu)于普通融合策略,可擴(kuò)展性強(qiáng),提高了推薦準(zhǔn)確度.

        2.4 群組推薦方法

        推薦方法是群組推薦系統(tǒng)的核心,通常將傳統(tǒng)個(gè)性化推薦方法應(yīng)用到群組推薦系統(tǒng)中,推薦算法既可以在模型融合方法中使用,也可以應(yīng)用于推薦融合方法,但是搭配不同的融合方法使用,推薦效果會(huì)有差異.并且,不存在“總體最優(yōu)”的推薦算法和融合方法,兩者應(yīng)該一起選擇以優(yōu)化群組推薦的質(zhì)量[4].目前,經(jīng)常使用的推薦方法有基于協(xié)同過濾的推薦、基于內(nèi)容的推薦和組合推薦[1],下面詳細(xì)介紹這3種推薦方法.

        2.4.1 基于協(xié)同過濾的推薦方法

        協(xié)同過濾(Collaboration Filter,CF)推薦是推薦方法中的主流,它的主要思想是“物以類聚、人以群分”.協(xié)同過濾具有良好的可擴(kuò)展性,但在存在數(shù)據(jù)稀疏問題和冷啟動(dòng)問題時(shí)效果下降[1].協(xié)同過濾推薦又分為兩大類,即基于內(nèi)存的協(xié)同過濾和基于模型的協(xié)同過濾.

        2.4.1.1 基于內(nèi)存的協(xié)同過濾

        基于內(nèi)存的協(xié)同過濾根據(jù)相似用戶或者項(xiàng)目的評(píng)分去預(yù)測(cè)未來(lái)的評(píng)分,又分為基于用戶的協(xié)同過濾(User-Based Collaboration Filter,UBCF)和基于項(xiàng)目的協(xié)同過濾(Item-Based Collaboration Filter,IBCF).由于傳統(tǒng)協(xié)同過濾計(jì)算相似度時(shí),會(huì)受到用戶評(píng)分?jǐn)?shù)據(jù)稀疏的影響,文獻(xiàn)[20]改進(jìn)了基于用戶和項(xiàng)目的協(xié)同過濾中相似度的計(jì)算方法,利用用戶對(duì)項(xiàng)目共同評(píng)分的數(shù)目與用戶對(duì)項(xiàng)目評(píng)分總數(shù)目的關(guān)系(相似性影響因子)和用戶評(píng)分的關(guān)聯(lián)性(關(guān)聯(lián)性因子)來(lái)調(diào)整用戶之間的相似性,有效緩解了數(shù)據(jù)稀疏性造成的相似度計(jì)算不準(zhǔn)確的問題,從而提高單個(gè)用戶預(yù)測(cè)評(píng)分的準(zhǔn)確性.最后,使用推薦融合方法,將群組成員的推薦結(jié)果結(jié)合,生成群組推薦列表.

        2.4.1.2 基于模型的協(xié)同過濾

        基于模型的協(xié)同過濾推薦效果要優(yōu)于基于內(nèi)存的協(xié)同過濾,表3總結(jié)了群組推薦中常用的基于模型的協(xié)同過濾方法.

        基于主題模型(Topical Model,TM)的推薦方法在群組推薦中采用的是基于主題的概率模型,它通過群組主題,判斷用戶影響力,做出群組決策.文獻(xiàn)[21]提出個(gè)人影響主題概率模型(Personal Impact Topic,PIT),將用戶對(duì)項(xiàng)目的偏好抽象成許多潛在的主題.該模型學(xué)習(xí)群組成員的個(gè)人影響,區(qū)分群組成員對(duì)群組決策的不同影響,選擇最具影響力的用戶(最符合群組主題),將其決策代表群組決策.但是,該模型只有當(dāng)最有影響力的用戶是相關(guān)領(lǐng)域的專家時(shí),才有助于群組推薦.并且,PIT模型忽略了在不同主題中用戶影響力的不同.文獻(xiàn)[22]則考慮了群組中用戶對(duì)群組主題的依賴性和用戶從個(gè)人到群組成員的行為變化,提出一種基于隱含狄利克雷分布(Latent Dirichlet Allocation,LDA)的共識(shí)模型(Consensus Model ,COM),模擬群組活動(dòng)的的過程,加入用戶選擇行為和內(nèi)容因素,實(shí)行群組推薦,但是該模型沒有考慮到用戶可能跨組做出決策.

        表3 推薦模型Table 3 Recommendation model

        矩陣分解(Matrix Factorization,MF)是典型的基于模型的協(xié)同過濾方法,利用降維的方法處理高維的數(shù)據(jù).相比傳統(tǒng)的協(xié)同過濾方法,矩陣分解能夠緩解數(shù)據(jù)稀疏問題.隨著用戶項(xiàng)評(píng)分矩陣維數(shù)的不斷增加,群組推薦面臨著用戶評(píng)分?jǐn)?shù)據(jù)稀疏的問題,因此,文獻(xiàn)[23]則提出一種按項(xiàng)目加權(quán)的矩陣分解模型,并與時(shí)間效應(yīng)函數(shù)相結(jié)合.該算法容易獲得群組偏好,能夠很好地適應(yīng)不同群體規(guī)模,并且對(duì)中小型群組有更好的推薦效果.文獻(xiàn)[24]提出一種基于Hellinger距離的社會(huì)信任關(guān)系提取方法,通過描述二分網(wǎng)絡(luò)中一側(cè)節(jié)點(diǎn)的f散度來(lái)進(jìn)行用戶相似度計(jì)算.將提取的隱式社會(huì)關(guān)系加入改進(jìn)的概率矩陣分解(Probabilistic Matrix Factorization,PMF)中,提出一種新的基于用戶組群和隱性社會(huì)關(guān)系的概率矩陣分解算法,提高了推薦的精確度,并且在無(wú)法提取明確用戶信任關(guān)系數(shù)據(jù)時(shí),相對(duì)推薦效果更好.文獻(xiàn)[25]則采用聯(lián)合概率矩陣分解方法(Unified Probabilistic Matrix Factorization,UPMF),首先,利用用戶加入群組的信息,構(gòu)建群組-用戶二部圖來(lái)計(jì)算用戶之間的相關(guān)性,再將用戶相關(guān)性矩陣融入到概率矩陣分解過程中,得到個(gè)人預(yù)測(cè)評(píng)分,最后對(duì)個(gè)人預(yù)測(cè)評(píng)分進(jìn)行融合,得到群組對(duì)項(xiàng)目的預(yù)測(cè)評(píng)分.該模型提高了群組推薦的精度,較奇異值分解SVD和PMF有更好的準(zhǔn)確度、召回率和穩(wěn)定性.

        基于神經(jīng)網(wǎng)絡(luò)的協(xié)同過濾(Neural Network-Based Collaborative Filtering,NCF)是深度學(xué)習(xí)在推薦系統(tǒng)中的應(yīng)用,將用戶和項(xiàng)目嵌入到神經(jīng)網(wǎng)絡(luò)中,從數(shù)據(jù)中學(xué)習(xí)用戶、群組和項(xiàng)目之間的交互.首先,給定用戶項(xiàng)目對(duì)和組項(xiàng)目對(duì),通過表示層返回每個(gè)給定實(shí)體的嵌入向量.然后將嵌入的數(shù)據(jù)輸入到池化層和隱藏層中,得到預(yù)測(cè)的評(píng)分.由于神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的數(shù)據(jù)擬合能力,所以NCF方法比MF更具通用性.文獻(xiàn)[16]在NCF框架中嵌入群組項(xiàng)目和用戶項(xiàng)目的復(fù)雜交互,并將群組嵌入與用戶嵌入共享同一個(gè)隱藏層進(jìn)行預(yù)測(cè).此外,利用用戶項(xiàng)交互數(shù)據(jù)來(lái)增強(qiáng)組項(xiàng)交互功能的訓(xùn)練,反之亦然,使得群組推薦和用戶推薦的性能相互提高.文獻(xiàn)[18]提出了一種結(jié)合神經(jīng)網(wǎng)絡(luò)和協(xié)同度量學(xué)習(xí)的推薦模型(Self-Attention and Collaborative Metric Learning,SACML),利用自我注意機(jī)制學(xué)習(xí)群組成員與項(xiàng)目之間的交互作用,自動(dòng)了解群組成員的重要性.此外,通過協(xié)同度量學(xué)習(xí)獲得群組與項(xiàng)目之間的相似度量空間實(shí)現(xiàn)群組推薦.SACML模型學(xué)習(xí)了群組成員之間的相似關(guān)系,能夠更好地收集整個(gè)群組的興趣,將權(quán)重可視化,使推薦結(jié)果更具解釋性.

        隱語(yǔ)義模型(Latent Factor Model,LFM)即潛在因素模型,它通過隱含特征聯(lián)系用戶興趣和項(xiàng)目,例如基于用戶的行為對(duì)項(xiàng)目自動(dòng)聚類,劃分為不同的類別,即用戶的興趣.文獻(xiàn)[27]研究了群組信息對(duì)事件推薦的影響.基于群組的雙重視圖(用戶和事件),提出了一種潛在因素模型,并且模型靈活,可以將上下文信息,如事件地點(diǎn)、流行程度、時(shí)間影響和地理距離合并到模型中.

        基于圖的推薦方法也很常見,使用圖模型的結(jié)點(diǎn)和邊表示用戶的信息和用戶之間的關(guān)系,使得推薦結(jié)果更具有解釋性.基于圖模型的推薦通常用于大規(guī)模群組的推薦.文獻(xiàn)[28]提出一種層次可視化群組推薦方法 (Hierarchy Visualization Group Recommender,HVGR),通過多層次的節(jié)點(diǎn)和邊組織和呈現(xiàn)信息,為推薦提供解釋.同時(shí)通過每個(gè)節(jié)點(diǎn)的餅圖將成員映射到切片中,了解個(gè)人影響力和社會(huì)關(guān)系.隨機(jī)游走(Random Walk)方法是基于圖模型中廣泛應(yīng)用的方法.文獻(xiàn)[29]利用社會(huì)標(biāo)簽,建立圖模型來(lái)反映用戶之間、項(xiàng)目之間以及用戶項(xiàng)目之間的各種關(guān)系,并提出一種將隨機(jī)游走與重啟相結(jié)合的隨機(jī)排序技術(shù),可以有效地以概率的方式同時(shí)計(jì)算項(xiàng)目的群組排名評(píng)分.該方法適合為大規(guī)模群組推薦,當(dāng)群組規(guī)模較小用戶偏好不足時(shí),推薦效果會(huì)很差.文獻(xiàn)[30]提出一種描述學(xué)術(shù)網(wǎng)絡(luò)中大規(guī)模群組決策問題的圖模型,以專家為中心將大規(guī)模群組劃分為多個(gè)子網(wǎng)絡(luò),根據(jù)用戶的相關(guān)性,采用基于重啟的隨機(jī)游走決策加權(quán)(RWR)技術(shù)計(jì)算用戶的加權(quán)決策,為研究人員提供更可靠的推薦.

        2.4.2 基于內(nèi)容的推薦方法

        基于內(nèi)容的推薦(Contentbased,CB) 是根據(jù)用戶偏好的項(xiàng)目,通過計(jì)算項(xiàng)目?jī)?nèi)容之間的相似性,推薦給用戶可能感興趣的項(xiàng)目.基于內(nèi)容的推薦具有很強(qiáng)的可解釋性,不存在數(shù)據(jù)稀疏性問題.但是,推薦的內(nèi)容過于一致,并且也存在冷啟動(dòng)問題.文獻(xiàn)[31]引入GroupReM群組推薦系統(tǒng),通過電影內(nèi)容和群組簡(jiǎn)介之間的相似性,以及電影的受歡迎程度,來(lái)提高群組推薦的準(zhǔn)確性.

        2.4.3 混合推薦模型方法

        由于每一個(gè)單獨(dú)的推薦方法都有自身的局限性,為了使推薦效果更佳,將推薦方法混合,形成了混合推薦方法.混合推薦可以揚(yáng)長(zhǎng)避短,比如將基于內(nèi)容的推薦與協(xié)同過濾結(jié)合,可以緩解協(xié)同過濾數(shù)據(jù)稀疏性問題.文獻(xiàn)[12]通過神經(jīng)網(wǎng)絡(luò)中的多層感知器(Multilayer Perceptron,MLP)獲得用戶與項(xiàng)目之間的非線性交互,再結(jié)合潛在因素模型LFM,構(gòu)成LFM-MLP混合推薦模型,它既能捕捉用戶與項(xiàng)目之間的線性關(guān)系,又能獲取用戶與項(xiàng)目之間的非線性關(guān)系.在相同的潛在因素?cái)?shù)下,混合推薦模型LFM-MLP的推薦精度最高,并且隨著潛在因素的增多推薦效果越好.文獻(xiàn)[32]設(shè)計(jì)了一個(gè)考慮群組凝聚力的主題模型GGC.首先,將群組中積極參加活動(dòng)的成員定義為積極者,其他成員為旁觀者.旁觀者較多的群組為弱內(nèi)聚群組,否則為強(qiáng)內(nèi)聚群組.其次,凝聚力強(qiáng)的群組傾向于選擇反映群組主題和多數(shù)群組成員意愿的項(xiàng)目.同時(shí),使用一個(gè)包含關(guān)于實(shí)體和關(guān)系信息的異構(gòu)信息網(wǎng)絡(luò)(Heterogeneous Information Network,HIN),提取額外的內(nèi)容信息.并與GGC結(jié)合起來(lái)的構(gòu)成混合群組推薦模型HGGC.實(shí)驗(yàn)表明該模型適用于大規(guī)模群組推薦,緩解了群組推薦的數(shù)據(jù)稀疏性問題.

        2.5 評(píng)價(jià)指標(biāo)

        為了衡量群組推薦策略的性能,需要對(duì)其效果進(jìn)行評(píng)價(jià).下面介紹幾種衡量群組推薦系統(tǒng)性能時(shí)常用的評(píng)價(jià)指標(biāo).

        2.5.1 推薦質(zhì)量

        一般采用平均絕對(duì)誤差(Mean Absolute Error,MAE)和均方根誤差(Root Mean Squared Error,RMSE)測(cè)量預(yù)測(cè)評(píng)級(jí)和真實(shí)評(píng)級(jí)之間的偏差,衡量推薦質(zhì)量.MAE和RMSE指標(biāo)數(shù)值越小,推薦項(xiàng)目和實(shí)際偏好項(xiàng)目之間的差異越小,即系統(tǒng)推薦質(zhì)量越高.根據(jù)文獻(xiàn)[10],對(duì)于CB和UBCF推薦方法,使用模型融合方法的推薦質(zhì)量更好,而SVD和IBCF更適合使用推薦融合方法.

        評(píng)估群組推薦系統(tǒng)的多樣性使用漢明距離 (Hamming Distance,HD)[13],高HD意味著高多樣性.并且,推薦融合方法的多樣性比模型融合方法好,CF推薦方法產(chǎn)生了最多樣化的推薦,CB的多樣性最小,對(duì)于SVD、UBCF和CB,采用模型融合方法生成最多樣化的推薦,而IBCF更適合使用推薦融合方法生成多樣化的推薦[10].

        2.5.2 覆蓋率

        覆蓋率描述一個(gè)推薦系統(tǒng)對(duì)物品長(zhǎng)尾的發(fā)掘能力.除了UBCF外的推薦方法,使用偏好融合方法的推薦覆蓋率略高于推薦融合方法,CB方法的覆蓋率最低,CF的覆蓋率最高,并且隨著組內(nèi)相似度增加,覆蓋率通常不變[10].

        2.5.3 公平性

        公平性衡量群組推薦列表對(duì)群組成員的公平程度.Hongke Zhao等人[13]首先通過滿足增益計(jì)算用戶滿意度(Satisfaction Gain,SG).SG衡量一個(gè)群組G對(duì)推薦列表L的滿意度,見公式(1):

        (1)

        其中,Uj表示群組G中的成員,Ik是推薦列表L中的項(xiàng)目.R(j,k)則是Uj對(duì)Ik的評(píng)分.

        在高滿意度情況下,采用諧波(Harmonic)衡量推薦列表L對(duì)群組G的公平性,見公式(2),如果諧波很高,則推薦對(duì)所有成員都公平.

        (2)

        文獻(xiàn)[33]將群組推薦的公平性問題描述為一個(gè)多目標(biāo)優(yōu)化問題,并利用帕累托效率來(lái)同時(shí)提高群組推薦的準(zhǔn)確度和公平性.文獻(xiàn)[34]研究了package-to-group推薦中的公平性問題,引入了兩個(gè)公平性定義:比例公平性和無(wú)嫉妒公平性.比例公平性指群組成員對(duì)于推薦列表中的項(xiàng)目比列表之外的項(xiàng)目更感興趣;無(wú)嫉妒公平性是判斷群組成員在推薦列表中感興趣的項(xiàng)目是否比其他成員多.但是目前并沒有一個(gè)統(tǒng)一的評(píng)價(jià)指標(biāo)去判斷群組推薦的公平性,文獻(xiàn)[36]則提出一個(gè)能夠評(píng)價(jià)一般群組推薦公平性的評(píng)價(jià)指標(biāo),評(píng)價(jià)推薦列表S對(duì)于群組g的公平性,見公式(3):

        (3)

        其中,Tu表示用戶u參加的活動(dòng)集合.更高Fairness指標(biāo)表示更高的公平性.

        3 數(shù)據(jù)集

        目前,多數(shù)關(guān)于群組推薦系統(tǒng)的研究,采用的數(shù)據(jù)集分為以下3類:

        1.爬取數(shù)據(jù)集

        研究者從相關(guān)的網(wǎng)站上自行爬取與群組相關(guān)的數(shù)據(jù)集,并將數(shù)據(jù)進(jìn)行處理,得到適用于實(shí)驗(yàn)的群組數(shù)據(jù)集.文獻(xiàn)[35]從旅游社交網(wǎng)站TripAdvisor.com上,爬取餐飲領(lǐng)域真實(shí)的數(shù)據(jù)集,包括6269個(gè)評(píng)級(jí),涉及到紐約60家餐館和1945名顧客.

        2.群組公開數(shù)據(jù)集

        目前適用于群組推薦系統(tǒng)的公開數(shù)據(jù)集并不多,主要有兩種:

        1)CAMRa2011數(shù)據(jù)集(1)http://camrachallenge.com/2011.:上下文感知電影推薦競(jìng)賽中發(fā)布的可公開訪問的數(shù)據(jù)集,包括用戶、群組、電影和用戶群組對(duì)電影的評(píng)分,其中群組以家庭為標(biāo)準(zhǔn).文獻(xiàn)[16]對(duì)數(shù)據(jù)集中的用戶進(jìn)行篩選,將沒有加入群組的用戶去除.最終的數(shù)據(jù)集包含602個(gè)用戶、290個(gè)群組、7710個(gè)項(xiàng)目、116344個(gè)用戶項(xiàng)交互和145068個(gè)組項(xiàng)交互,平均群組規(guī)模為2.08.

        2)Meetup數(shù)據(jù)集(2)https://www.kaggle.com/sirpunch/meetups-data-from-meetupcom/data,2017.:是從社交網(wǎng)站Meetup.com上爬取的公開數(shù)據(jù)集,其中包含群組、活動(dòng)、場(chǎng)地和群組用戶之間的交互等.文獻(xiàn)[18]使用的數(shù)據(jù)集包含5893887個(gè)用戶、16330個(gè)群組、2510個(gè)項(xiàng)目、3195246個(gè)用戶項(xiàng)交互和31214個(gè)組項(xiàng)交互,平均群組規(guī)模為685.

        3.個(gè)體公開數(shù)據(jù)集

        部分研究者使用個(gè)體公開數(shù)據(jù)集,生成虛擬群組,構(gòu)成群組數(shù)據(jù)集.經(jīng)常使用的個(gè)體推薦數(shù)據(jù)集很多,比如典型的Movielens數(shù)據(jù)集等.

        4 群組推薦面臨的挑戰(zhàn)

        群組推薦系統(tǒng)的發(fā)展雖然有一定的進(jìn)展,但是在實(shí)際應(yīng)用中依然面臨一系列挑戰(zhàn):

        1.冷啟動(dòng)問題

        傳統(tǒng)個(gè)性化推薦系統(tǒng)中普遍存在的冷啟動(dòng)問題,在群組推薦系統(tǒng)中也不可避免,而對(duì)于臨時(shí)群組和隨機(jī)群組冷啟動(dòng)問題更加嚴(yán)重.文獻(xiàn)[27]從用戶和事件雙重角度考慮,建立群組信息的雙重視圖,對(duì)解決冷啟動(dòng)問題有一定的幫助.

        2.自然噪聲問題

        用戶的評(píng)分由于上下文等因素引入噪聲,自然噪聲不是出于惡意引入的噪聲,它會(huì)使推薦結(jié)果產(chǎn)生偏差.群組推薦系統(tǒng)中的自然噪聲問題目前還很少被關(guān)注.文獻(xiàn)[37]提出了基于模糊工具的群組自然噪音管理方法.該方法使用模糊工具在噪聲檢測(cè)中將噪聲進(jìn)行分類,在噪聲校正中對(duì)噪聲等級(jí)進(jìn)行調(diào)整修改,一定程度上消除了自然噪聲產(chǎn)生的影響.但是,自然噪聲問題仍然需要繼續(xù)研究.

        3.群組決策不一致問題

        由于群組成員的偏好不同,容易出現(xiàn)群組決策不一致(Group decision making,GDM)的問題,這是群組推薦中的難題.研究人員對(duì)群組決策不一致的問題進(jìn)行了一定的探索,通過定義群組共識(shí)度和和諧度指標(biāo)來(lái)判斷群組成員滿意度,并建立群組信任機(jī)制,解決群組決策不一致問題.文獻(xiàn)[38]在此基礎(chǔ)上進(jìn)行了改進(jìn),定義區(qū)間值信任函數(shù),將群組成員的態(tài)度分為信任、不信任、猶豫不決和反復(fù)無(wú)常,并且建立視覺圖形模擬共識(shí)情形,使專家們重新審視自身影響力,隨時(shí)調(diào)整決策.然而,該方法中忽略了影響信任關(guān)系的其他因素,如歷史互動(dòng)和專家聲譽(yù).文獻(xiàn)[39]提出不同的群組成員態(tài)度的劃分方法,分為可信的專家和不一致的專家,根據(jù)可信專家的建議,群組成員可以重新審視自己的評(píng)價(jià),并且調(diào)整不一致專家的態(tài)度參數(shù),同時(shí)提出態(tài)度信任誘導(dǎo)反饋機(jī)制,該方法比傳統(tǒng)的不考慮信任度分級(jí)的反饋機(jī)制更為合理,實(shí)現(xiàn)了共識(shí)與和諧之間的平衡.然而,該方法中沒有考慮社會(huì)網(wǎng)絡(luò)中的信任關(guān)系.群組決策不一致問題仍需繼續(xù)探索與研究.

        4.隱私問題

        隱私保護(hù)一直是推薦系統(tǒng)研究的熱點(diǎn),群組推薦過程中也存在泄露用戶個(gè)人信息的問題,因此,對(duì)于群組成員的隱私保護(hù)也很關(guān)鍵.文獻(xiàn)[40]提出一種基于影響因素IF的MSNs隱私保護(hù)群組推薦(IFRG),運(yùn)用模糊矩陣算法在保護(hù)群組用戶的隱私方面進(jìn)行了探索,并且即使不是每個(gè)人均在線的情況下,也能實(shí)現(xiàn)具有隱私保護(hù)的群組推薦.文獻(xiàn)[41]提出一種基于可信客戶端的個(gè)性化隱私保護(hù)框架和基于此框架的群組敏感偏好保護(hù)方法,它利用用戶敏感主題的相似性發(fā)現(xiàn)組內(nèi)相似用戶,使用群組內(nèi)相似用戶的評(píng)分對(duì)目標(biāo)用戶評(píng)分進(jìn)行協(xié)同擾動(dòng)的方式來(lái)保護(hù)用戶隱私,然而,該方法中忽略了在數(shù)據(jù)傳輸過程中可能存在隱私泄露的風(fēng)險(xiǎn).群組推薦中如何進(jìn)行隱私保護(hù)仍然是未來(lái)的研究方向.

        5.多樣性問題

        群組成員的偏好聚合會(huì)導(dǎo)致用戶信息的部分丟失,對(duì)推薦的多樣性產(chǎn)生負(fù)面影響.為了優(yōu)化群組推薦系統(tǒng),文獻(xiàn)[26]對(duì)比了3種融合方法,即偏好融合、推薦融合和不融合直接推薦,發(fā)現(xiàn)不進(jìn)行聚合直接生成群組推薦最適合生成多樣化的推薦列表,因此,提出了模糊集群組推薦模型(Hesitant Fuzzy Set Group Recommender Model,HFSGRM),根據(jù)最近鄰域的相似性直接進(jìn)行預(yù)測(cè),使用模糊集合生成群組推薦,解決了由于聚集導(dǎo)致的關(guān)鍵信息丟失的問題,保證了群組推薦的多樣性,隨著群組規(guī)模增大多樣性可以得到進(jìn)一步增強(qiáng).但是,該模型只適用于協(xié)同過濾推薦方法.如何兼顧多樣性和群組一致性依舊是一個(gè)挑戰(zhàn)性問題.

        6.大規(guī)模群組推薦問題

        針對(duì)大規(guī)模群組的推薦一直以來(lái)都很棘手,由于群組用戶數(shù)量較多,導(dǎo)致大規(guī)模群組推薦的效率偏低,推薦準(zhǔn)確性較差.由于推薦列表的規(guī)模隨著群組成員的增多而增大,文獻(xiàn)[42]提出一種縮小群組推薦列表的方法,它基于群組成員的共同偏好,將群組劃分為多個(gè)子組縮小群組規(guī)模,減少了群組偏好屬性的數(shù)量,從而達(dá)到縮小群組推薦列表的目的,當(dāng)群組規(guī)模越大時(shí),該方法的推薦效果越好,然而,該算法的復(fù)雜度較高,計(jì)算效率低下.如何針對(duì)大規(guī)模群組進(jìn)行高效的推薦是一個(gè)需要研究的問題.

        5 展 望

        1.研究能夠普遍適用的群組推薦方法

        目前,由于沒有普遍適用的群組推薦系統(tǒng),需要依據(jù)不同群組的特點(diǎn)和上下文信息,動(dòng)態(tài)選擇推薦方案.雖然這樣的群組推薦系統(tǒng)針對(duì)性降低,但是能夠?yàn)椴煌娜航M匹配最佳的推薦模式.對(duì)于一個(gè)新的問題,需要較長(zhǎng)時(shí)間的去探索最合適的模型,也可以將多個(gè)模型同時(shí)運(yùn)行,對(duì)其結(jié)果進(jìn)行融合,但是這種方法將帶來(lái)顯著的開銷.為此,需要針對(duì)不同的群組類型、不同的應(yīng)用場(chǎng)景,建立起群組推薦算法的適用范圍,以指導(dǎo)群組推薦的方法選擇.

        2.實(shí)現(xiàn)群組的實(shí)時(shí)推薦

        由于群組的動(dòng)態(tài)性,群組的偏好也會(huì)隨時(shí)間、地點(diǎn)和情緒等發(fā)生改變,未來(lái)可以運(yùn)用大數(shù)據(jù)技術(shù)掌握群組的實(shí)時(shí)信息和偏好的變化,將大數(shù)據(jù)與推薦算法結(jié)合[43],滿足群組用戶實(shí)時(shí)在線推薦的需求[16].

        3.更優(yōu)的群組偏好融合模型

        目前群組偏好的融合考慮的因素還比較少,未來(lái)可以在研究中加入用戶的個(gè)人情感因素和群組成員之間的信任關(guān)系[39]等信息,從而能夠融合生成更加具有代表性的群組偏好模型.

        4.推薦方案的生成過程優(yōu)化

        針對(duì)群組意見不一致的問題,可以先聚集群組中相似度高的部分成員構(gòu)成子組,使用偏好融合方法構(gòu)成子組的偏好模型,再對(duì)不同的子組使用推薦融合方法,將不同子組的推薦列表融合成群組的推薦列表.或者對(duì)群組進(jìn)行更細(xì)致的劃分,將興趣愛好相似的成員分成一個(gè)子組,提供給各個(gè)子組不同的推薦方案,為不同子組提供不同的選擇.

        5.增強(qiáng)群組推薦的可解釋性

        群組推薦的可解釋性開始引起研究者的關(guān)注[44],在實(shí)際應(yīng)用中也有很大價(jià)值,然而,群組推薦的可解釋性具有更大的挑戰(zhàn),它需要解釋如何得到群組的偏好信息,或者如何融合了每個(gè)成員的推薦結(jié)果.未來(lái)可以研究運(yùn)用可視化技術(shù)對(duì)群組推薦進(jìn)行解釋.

        6.群組推薦與個(gè)性化推薦的融合發(fā)展

        由于群組推薦是在傳統(tǒng)個(gè)性化推薦系統(tǒng)發(fā)展的基礎(chǔ)上提出的,探究傳統(tǒng)個(gè)性化推薦與群組推薦之間的聯(lián)系,將更多傳統(tǒng)個(gè)性化推薦的研究成果應(yīng)用于群組推薦中,同時(shí)群組推薦的研究成果也有助于解決傳統(tǒng)個(gè)性化推薦系統(tǒng)中的問題.此外,從群組與個(gè)人的關(guān)系入手,關(guān)注隱式群組的發(fā)現(xiàn).例如,由于用戶的社會(huì)角色,個(gè)體用戶會(huì)代表整個(gè)群組的需求,此時(shí)會(huì)出現(xiàn)對(duì)個(gè)體用戶進(jìn)行群組推薦的模式.

        6 結(jié) 論

        群組推薦是推薦系統(tǒng)中的一種重要形式,吸引了研究者的廣泛興趣,被應(yīng)用于餐飲、音樂、影視、旅行、商品、興趣點(diǎn)、教育推薦等領(lǐng)域.關(guān)于群組推薦系統(tǒng)的研究已經(jīng)有了一定的發(fā)展.本文對(duì)群組推薦系統(tǒng)的推薦過程和方法進(jìn)行了系統(tǒng)總結(jié)與歸納.由于群組的異構(gòu)性、動(dòng)態(tài)性、群組成員興趣的差別以及不同成員對(duì)群組的交互影響,使得群組推薦系統(tǒng)依舊面臨許多技術(shù)挑戰(zhàn),需要進(jìn)一步的研究.

        猜你喜歡
        群組文獻(xiàn)融合
        村企黨建聯(lián)建融合共贏
        Hostile takeovers in China and Japan
        速讀·下旬(2021年11期)2021-10-12 01:10:43
        融合菜
        從創(chuàng)新出發(fā),與高考數(shù)列相遇、融合
        《融合》
        Cultural and Religious Context of the Two Ancient Egyptian Stelae An Opening Paragraph
        大東方(2019年12期)2019-10-20 13:12:49
        關(guān)系圖特征在敏感群組挖掘中的應(yīng)用研究
        The Application of the Situational Teaching Method in English Classroom Teaching at Vocational Colleges
        The Role and Significant of Professional Ethics in Accounting and Auditing
        商情(2017年1期)2017-03-22 16:56:36
        基于統(tǒng)計(jì)模型的空間群組目標(biāo)空間位置計(jì)算研究
        中文字幕精品乱码一二三区| 亚洲国产成人久久综合一区77| 日韩一区二区肥| 全部免费国产潢色一级| 中文字幕亚洲精品人妻| 久久麻豆精亚洲av品国产蜜臀| 日本免费一区二区精品| 丝袜美足在线视频国产在线看| 最新国产av网址大全| 国产自拍视频一区在线| 东京热日本av在线观看| 绝顶高潮合集videos| 国产精品国三级国产av| 国产成人无码一区二区在线播放| 内射中出无码护士在线| 久久这里只有精品9| 国产激情视频在线| 亚洲av毛片一区二区久久| 国产精品又湿又黄九九九久久嫩草 | 国产免费又色又爽又黄软件| 特黄aa级毛片免费视频播放| 九九99久久精品在免费线97 | 久久精品国产亚洲av网站| 亚洲毛片在线免费视频| 少妇愉情理伦片丰满丰满| 西西大胆午夜人体视频| 少妇人妻偷人精品一区二区| 囯产精品无码一区二区三区| jiZZ国产在线女人水多| 国产在线视频一区二区三区| 国产亚洲精品视频一区二区三区| 国产乱对白刺激视频| 久久水蜜桃亚洲av无码精品麻豆 | 一本大道久久香蕉成人网| 久久AV中文综合一区二区| 日本美女性亚洲精品黄色| 一本色道久久亚洲加勒比| 玩弄放荡人妻少妇系列视频| 91日本精品国产免| 久久精品国产屋| 一区二区三区手机看片日本韩国|