陳卓 朱淼 杜軍威 袁璽明

摘要：在問答社區(qū)專家推薦算法中，圖神經(jīng)網(wǎng)絡(luò)主要利用問答社區(qū)中用戶與問題的交互關(guān)系建模，其模型性能取決于交互數(shù)據(jù)的稠密度，難以對無交互信息的用戶及問題進(jìn)行有效表示學(xué)習(xí).針對這一問題，提出了一個(gè)基于記憶的注意力圖神經(jīng)網(wǎng)絡(luò)專家推薦方法.該方法首先設(shè)計(jì)了面向用戶多維特征的聯(lián)合表示子網(wǎng)絡(luò)，然后構(gòu)建了一個(gè)記憶網(wǎng)絡(luò)，為每個(gè)問題保存用戶回答過的與其相似的問題，同時(shí)在用戶表示與相似問題表示之間引人注意力機(jī)制，從不同用戶的視角，有針對性的融合相似問題構(gòu)建新問題的向量表示，最終基于用戶和問題的表示為問題推薦專家，有效提高了專家推薦的準(zhǔn)確性.在數(shù)據(jù)集中對本文所提出的方法進(jìn)行驗(yàn)證，相較于同類其他模型性能均有所提升.

關(guān)鍵詞：專家推薦；圖神經(jīng)網(wǎng)絡(luò)；記憶網(wǎng)絡(luò)；注意力機(jī)制

中圖分類號(hào)：TP18文獻(xiàn)標(biāo)志碼：A

Memory-based Attention Graph Neural Network for Network Expert Recommendation

CHEN Zhuo，ZHU Miao，Du Junwei，YUAN Ximing

（School of Information Science and Technology，Qingdao University of Science and Technology7，Qingdao 266061，China）

Abstract：In the expert recommendation algorithm of the Q&A community，the graph neural network mainly uses the interactive relationship between users and questions to build a model，and its model performance depends on the density of interactive data. So it is difficult to effectively represent and learn users and questions without interactive information. This paper proposes an attention graph neural network expert recommendation method based on memory. Firstly，a multi-dimensional feature-oriented subnetwork is designed，and then a memory network is constructed to store the similar questions answered by users for each question. At the same time，an attention mechanism is introduced between user representation and similar question representation，and the vector representation of new questions is constructed by fusing similar questions from different usersr perspectives，F(xiàn)inally，experts are recommended based on the representation of users and questions，which effectively improves the accuracy of expert recommendation. The proposed method is validated on the Q & A community data set and public data set，and its performance is improved compared with other similar models.

Key words：expert recommendation；graph neural network；memory network；attention mechanism

在線問答社區(qū)是當(dāng)下萬維網(wǎng)普及和社會(huì)快速發(fā)展的產(chǎn)物，模擬現(xiàn)實(shí)中的社區(qū)，使人們能夠即刻交流和獲取知識(shí).而快速、準(zhǔn)確、主動(dòng)地發(fā)現(xiàn)社區(qū)用戶中的領(lǐng)域?qū)＜?，成為提高用戶參與社區(qū)互動(dòng)積極性、提高社區(qū)內(nèi)容質(zhì)量的關(guān)鍵性技術(shù)問題.

然而，目前問答社區(qū)的專家推薦策略主要依靠傳統(tǒng)的信息檢索和排序技術(shù)對符合條件的用戶進(jìn)行排序推薦.這類方法沒有考慮問題的語義信息，無法滿足用戶的需求.后來學(xué)者將推薦算法應(yīng)用在專家推薦領(lǐng)域.這類算法通常計(jì)算用戶偏好特征與問題內(nèi)容文本特征之間的匹配度為目標(biāo)問題產(chǎn)生候選專家用戶集或者通過相似歷史問題表示新問題，未考慮用戶特征，因而無法體現(xiàn)現(xiàn)實(shí)世界中，用戶在教育背景、從業(yè)經(jīng)歷等方面的差異.隨著深度學(xué)習(xí)的發(fā)展，深度學(xué)習(xí)的方法被引入專家推薦.這類專家推薦方法從問題文本特征的角度表示問題的內(nèi)容，通過計(jì)算專家得分進(jìn)行推薦.但未考慮用戶的回答能力和社交關(guān)系，無法完整的建模用戶信息.

針對現(xiàn)有的專家推薦模型的問題，本文在用戶記憶力的基礎(chǔ)上，提出了一種融合用戶、問題、用戶與問題交互信息的圖神經(jīng)網(wǎng)絡(luò)專家推薦模型（Graph recommendation method based on memory neural network，GMNN）.本文的貢獻(xiàn)可以總結(jié)為以下兩點(diǎn)：

1）給出了基于圖的用戶聯(lián)合特征表示學(xué)習(xí)方法，解決了問答社區(qū)中高維系數(shù)的用戶特征建模難題，增強(qiáng)了用戶的表示能力.

2）利用記憶網(wǎng)絡(luò)和注意力機(jī)制從用戶的不同視角表示新問題，解決了數(shù)據(jù)較稀疏的情況下，傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)難以對社區(qū)中沒有與用戶產(chǎn)生交互行為的問題進(jìn)行表示的難題.

1相關(guān)工作

1.1專家推薦算法

專家推薦的目的就是根據(jù)提出的問題內(nèi)容，在社區(qū)中找到具有一定解決或回答問題能力的專家，提高問答效率，優(yōu)化用戶體驗(yàn).研究前期，專家推薦主要依靠傳統(tǒng)的信息檢索和排序技術(shù).目前的專家推薦算法通常利用自然語言處理技術(shù)進(jìn)行文本特征的提取，然后挖掘用戶和問題之間的相似關(guān)系提供推薦服務(wù).如San等[1]基于問答社區(qū)的用戶傾向于回答自己專業(yè)問題這一基本原理，提出了一種在線CQA社區(qū)專家模型RankSLDA算法，利用專業(yè)知識(shí)的主題對用戶進(jìn)行建模.Mandal等[2]提出了一種查詢似然語言模型中的主題方法來為社區(qū)中新提出的問題推薦潛在的回答者.這類方法忽略了用戶與問題交互網(wǎng)絡(luò)中的拓?fù)浣Y(jié)構(gòu)，無法捕獲用戶與問題在網(wǎng)絡(luò)中的關(guān)聯(lián)信息.圖神經(jīng)網(wǎng)絡(luò)出現(xiàn)后，因其對圖形數(shù)據(jù)強(qiáng)大的表示能力自然的被應(yīng)用在推薦系統(tǒng)中.Fan[3]提出了一個(gè)面向社交推薦的圖神經(jīng)網(wǎng)絡(luò)框架GraphRec，該框架聯(lián)合用戶的社交信息和用戶與項(xiàng)目的交互信息對用戶進(jìn)行向量表示學(xué)習(xí).王根生[4]通過計(jì)算不同元路徑下的用戶相似度，得出用戶相似度矩陣，然后把用戶相似度矩陣融合到矩陣分解推薦算法的目標(biāo)函數(shù)中.

圖神經(jīng)網(wǎng)絡(luò)能夠捕獲節(jié)點(diǎn)的特征信息與網(wǎng)絡(luò)的結(jié)構(gòu)信息，但是多數(shù)圖神經(jīng)網(wǎng)絡(luò)無法對沒有邊的新節(jié)點(diǎn)產(chǎn)生向量表示，因此無法解決推薦系統(tǒng)中的冷啟動(dòng)問題.

1.2記憶網(wǎng)絡(luò)

記憶網(wǎng)絡(luò)由Weston[5]等最先提出，通過構(gòu)建記憶組件將信息存儲(chǔ)起來，以達(dá)到長期記憶的效果.在此之前，很多神經(jīng)網(wǎng)絡(luò)都有一定的記憶機(jī)制，但由于存儲(chǔ)能力有限，在訓(xùn)練過程中容易丟失一部分語義信息.如由Hochreiter等[6]提出的長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）有效解決了RNN記憶能力弱，無法存儲(chǔ)足夠信息的問題.但在現(xiàn)實(shí)世界任務(wù)中，如在數(shù)據(jù)較稀疏的推薦領(lǐng)域，短期的記憶難以完整的表示項(xiàng)目，需要更加長久的記憶以支撐系統(tǒng)的建模從而提高準(zhǔn)確度.Weston等在最初的記憶網(wǎng)絡(luò)基礎(chǔ)上又提出了端到端的記憶網(wǎng)絡(luò)[7]以及鍵值記憶網(wǎng)絡(luò)[8]，使網(wǎng)絡(luò)可以更好的存儲(chǔ)問答系統(tǒng)所需要的先驗(yàn)知識(shí).目前記憶網(wǎng)絡(luò)已在語音識(shí)別、社交推薦等各領(lǐng)域任務(wù)上取得了顯著的成功.

1.3注意力機(jī)制

注意力機(jī)制最早為解決圖像分類問題提出，其目的是將視線聚焦于輸入的信息中對當(dāng)前任務(wù)更為重要的信息，減少對其他信息的關(guān)注，提高效率.何柔螢[9]通過利用注意力機(jī)制增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)對于問題文本特征的提取能力，使建模更加準(zhǔn)確.呂曉琦[10]結(jié)合注意力機(jī)制與循環(huán)神經(jīng)網(wǎng)絡(luò)，除了實(shí)現(xiàn)了問題與標(biāo)簽的聯(lián)合表示，還捕獲了動(dòng)態(tài)變化的用戶偏好.

注意力機(jī)制目前在推薦系統(tǒng)中已有廣泛的應(yīng)用，通過為用戶和項(xiàng)目分配注意力權(quán)重，以更有效地捕捉與任務(wù)相關(guān)的長期或短期的用戶興趣[11].

2方法

隨著問答社區(qū)用戶規(guī)模和問題數(shù)目的不斷擴(kuò)大，傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)難以對社區(qū)中沒有與用戶產(chǎn)生交互行為的問題進(jìn)行表示，為了解決這一問題，本文構(gòu)建了一種基于記憶的注意力圖神經(jīng)網(wǎng)絡(luò)推薦方法（Memory based attention graph neural network recommendation method，GMNN）為問答社區(qū)中的新問題進(jìn)行專家推薦，算法模型如圖1所示，圖中顯示模型由三部分組成：用戶特征聯(lián)合表示學(xué)習(xí)模塊、新問題表示模塊和用戶回答能力預(yù)測模塊.前兩個(gè)模塊分別對用戶和問題的向量進(jìn)行表示學(xué)習(xí)，然后在用戶回答能力預(yù)測模塊進(jìn)行拼接，輸入多層感知機(jī)，輸出對用戶回答能力的預(yù)測結(jié)果.

2.1用戶特征聯(lián)合表示學(xué)習(xí)

問答社區(qū)通常會(huì)記錄用戶的個(gè)人基本信息、用戶在社區(qū)中提出的問題、回答的答案及由此獲得的財(cái)富打賞等交互信息.傳統(tǒng)的社區(qū)用戶表示學(xué)習(xí)方法，基本都是直接從用戶個(gè)人基本信息、用戶與問題交互信息生成用戶的向量表示.但隨著社區(qū)規(guī)模的擴(kuò)大，問答社區(qū)平均用戶回答問題個(gè)數(shù)少，用戶與問題之間的交互矩陣很稀疏，傳統(tǒng)的用戶表示學(xué)習(xí)方法難以準(zhǔn)確表示用戶的偏好和回答能力等信息，因此本文聯(lián)合用戶多個(gè)維度的特征，對用戶進(jìn)行表示學(xué)習(xí).本文首先利用矩陣分解中的交替最小二乘法（Alternating Least Squares，ALS）算法對用戶的歷史回答數(shù)據(jù)進(jìn)行分析，計(jì)算出能夠表示用戶歷史回答能力的隱性向量矩陣P；再利用用戶的問答與打賞關(guān)系構(gòu)建異質(zhì)信息網(wǎng)絡(luò)，使用深度游走算法對網(wǎng)絡(luò)中的用戶和問題進(jìn)行網(wǎng)絡(luò)表示學(xué)習(xí)，計(jì)算出能夠表示用戶認(rèn)可度的特征矩陣G；對問答社區(qū)中高維稀疏的用戶個(gè)人特征矩陣自編碼，轉(zhuǎn)化為低維稠密的用戶個(gè)人特征矩陣I.本文利用多層感知機(jī)對上述三個(gè)維度的用戶特征進(jìn)行融合，最終預(yù)測用戶對新問題的回答能力.

2.1.1用戶歷史回答能力建模

矩陣分解可從已知評分?jǐn)?shù)據(jù)中學(xué)習(xí)用戶的隱性偏好和項(xiàng)目隱性特征.相比于其他矩陣分解算法，ALS更加適合稀疏矩陣的矩陣分解，因此本文使用ALS對用戶/問題交互數(shù)據(jù)進(jìn)行矩陣分解，產(chǎn)生用戶歷史回答能力的隱性向量表示.

用戶歷史回答能力由該用戶歷史所獲得財(cái)富打賞值表現(xiàn)出來.本文使用帶標(biāo)簽和偽標(biāo)簽用戶/問題交互數(shù)據(jù)構(gòu)建用戶/問題交互矩陣.其中U={u，u，…，u}和Q={q，q，…，q}分別表示M個(gè)用戶和N個(gè)問題，用戶參與回答問題所獲得的財(cái)富值構(gòu)成了一個(gè)M行N列的評分矩陣R，缺失的財(cái)富值由DeepFM預(yù)測.

在問答社區(qū)中，使用ALS將用戶和問題的評分矩陣R分解為M×K維的用戶隱性矩陣和K×N維的問題隱性矩陣，超參數(shù)K為潛在因子空間.用戶/問題評分矩陣可以表示為用戶矩陣與問題矩陣的乘積，計(jì)算公式見公式（1）.

R=PD（1）

式中：P表示用戶隱性向量矩陣，D表示問題隱性向量矩陣.

用戶u對問題q的評分預(yù)測值r′的計(jì)算公式見公式（2）.

式中：p表示用戶隱性向量，d表示問題隱性向量.在計(jì)算P與D的乘積與原始矩陣的誤差時(shí)，損失函數(shù)的計(jì)算公式見公式（3）.

式中：λ表示正則化系數(shù).為了優(yōu)化損失函數(shù)，使用交替固定P和d對損失函數(shù)求偏導(dǎo)，降低損失函數(shù). 2.1.2用戶認(rèn)可度建模

在實(shí)際問答過程中，其他用戶對回答者給予的財(cái)富值能反映出對該答案的認(rèn)可程度，專家等權(quán)威用戶給出的財(cái)富值比普通用戶更有價(jià)值；而有權(quán)威用戶參與的問題往往也具有更高的質(zhì)量和難度.用戶被認(rèn)可的程度可以通過他回答過哪些用戶的提問、哪些用戶與他共同回答過同一問題以及哪些用戶打賞過他的回答這三個(gè)方面體現(xiàn).

本文將用戶和問題作為節(jié)點(diǎn)，用戶與問題之間的問答關(guān)系和用戶間的打賞關(guān)系作為邊，構(gòu)建圖1 中用戶/問題異質(zhì)信息網(wǎng)絡(luò)，并生成元路徑，根據(jù)元路徑，對用戶進(jìn)行網(wǎng)絡(luò)表示學(xué)習(xí)，表示用戶認(rèn)可度. 本文將化工問答社區(qū)的問答關(guān)系和打賞關(guān)系整理為異質(zhì)信息網(wǎng)絡(luò)G，G的定義見公式（4）.

G=（V，E），E∈（V×V）（4）

式中：V表示G中的頂點(diǎn)集，頂點(diǎn)分為用戶和問題兩個(gè)類別.E代表了G中頂點(diǎn)與頂點(diǎn)之間連接的邊集，用戶頂點(diǎn)與問題頂點(diǎn)之間的邊表示用戶提出或回答了該問題，用戶頂點(diǎn)與用戶頂點(diǎn)之間的邊則表示用戶之間的打賞關(guān)系.

根據(jù)化工問答社區(qū)用戶間的交互形式，本文為隨機(jī)游走設(shè)計(jì)了兩種元路徑.

元路徑1：體現(xiàn)用戶和問題間的問答關(guān)系

元路徑2：體現(xiàn)用戶和用戶間的打賞關(guān)系.

式中：φ表示節(jié)點(diǎn)v到對應(yīng)向量的映射函數(shù)，Pr表示在隨機(jī)游走過程中，出現(xiàn)節(jié)點(diǎn)v時(shí)，出現(xiàn)它的n個(gè)節(jié)點(diǎn)范圍內(nèi)節(jié)點(diǎn)的概率.

2.2新問題表示學(xué)習(xí)

由于傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)無法從交互網(wǎng)絡(luò)中直接學(xué)習(xí)新問題的表示，因此在圖神經(jīng)網(wǎng)絡(luò)之前加入保存用戶歷史回答問題集合的記憶網(wǎng)絡(luò)，并通過注意力機(jī)制實(shí)現(xiàn)面向用戶視角的新問題表示學(xué)習(xí)方法.

2.2.1用戶記憶網(wǎng)絡(luò)的構(gòu)建

基于內(nèi)容的推薦思想能夠?yàn)樾聠栴}從社區(qū)中尋找到與之相似的舊問題，但是這種方法忽略了用戶視角對于問題的理解程度以及偏好，因此本文首先構(gòu)建用戶歷史回答問題集合的記憶網(wǎng)絡(luò)，然后通過文本相似度的計(jì)算為新問題從記憶網(wǎng)絡(luò)中尋找相似問題序列.為了更好地計(jì)算文本之間的相似程度，本文通過BERT（Bidirectional Encoder Representations from Transformers）模型[12]進(jìn)行文本表示后計(jì)算問題文本向量之間的余弦相似度.

當(dāng)新問題出現(xiàn)時(shí)，首先使用BERT預(yù)訓(xùn)練模型對問題文本生成了向量表示，然后基于文本向量之間的余弦相似度，計(jì)算出在用戶歷史回答過的問題中，與新問題最相似的舊問題，生成矩陣S，j為與新問題相似的問題個(gè)數(shù)，為超參數(shù)，i為歷史回答數(shù)大于相似問題個(gè)數(shù)的用戶人數(shù).對于任意問題q，都可以按照相似度排序找到與文本內(nèi)容相似的問題序列.

本文為新問題尋找n個(gè)最相似的問題ID序列進(jìn)行保存，當(dāng)需要對新問題進(jìn)行向量表示時(shí)，先通過記憶網(wǎng)絡(luò)構(gòu)建其相似度矩陣，對這些相似舊問題進(jìn)行表示學(xué)習(xí).

2.2.2基于注意力的新問題表示學(xué)習(xí)

對于不同用戶來說，針對每個(gè)相似問題的回答能力和偏好是不相同的，因此本文引入注意力機(jī)制，從不同的用戶視角，為每個(gè)相似問題分配一個(gè)權(quán)重來表示每個(gè)相似問題對新問題表示時(shí)做出的不同貢獻(xiàn)，注意力網(wǎng)絡(luò)的計(jì)算見公式（7）.

式中：u為用戶向量表示，p為相似問題的向量表示.使用softmax函數(shù)獲得最終注意力權(quán)重，可以被解釋為每個(gè)相似問題在表示新問題時(shí)對新問題潛在因子的貢獻(xiàn)，每個(gè)問題t的權(quán)重a計(jì)算見公式（8）.

式中：T表示相似問題集合，最終通過注意力機(jī)制對相似舊問題給予不同權(quán)重，獲得新問題的表示q′，q′的計(jì)算見公式（9）.

2.3基于記憶的圖神經(jīng)網(wǎng)絡(luò)專家推薦方法

本文將用戶向量表示和新問題向量表示兩者拼接后輸入多層感知機(jī)進(jìn)行深度融合，最終預(yù)測出目標(biāo)用戶i對于新問題j回答后可能獲得的財(cái)富值r′，r′的計(jì)算公式見公式（10）至公式（13）.

計(jì)算出r′后，為了訓(xùn)練GMNN模型的參數(shù)，需要設(shè)置一個(gè)目標(biāo)函數(shù)進(jìn)行優(yōu)化.由于GMNN模型的任務(wù)是預(yù)測用戶回答問題獲得的財(cái)富值，因此本文采取MSE作為GMNN模型的損失函數(shù)，MSE的計(jì)算公式為式（14）.

式中：r為用戶i回答問題j所獲得的實(shí)際財(cái)富值，GMNN模型中的權(quán)重以及偏置參數(shù)由隨機(jī)初始化獲得，通過隨機(jī)梯度下降的方法更新各個(gè)參數(shù)的值，最小化模型的損失，使GMNN模型的預(yù)測效果達(dá)到最優(yōu).預(yù)測出所有用戶對新問題回答后可能獲得的財(cái)富值，將其進(jìn)行排序，將問題推薦給排名靠前即預(yù)測回答能力強(qiáng)的用戶回答.

3實(shí)驗(yàn)與分析

3.1實(shí)驗(yàn)數(shù)據(jù)集

作為國內(nèi)最大的化工領(lǐng)域問答社區(qū)，海川化工問答社區(qū)為廣大從業(yè)人員提供了獲取專業(yè)知識(shí)與分享化工領(lǐng)域知識(shí)的平臺(tái)，見證并記錄了國內(nèi)化工行業(yè)的發(fā)展，據(jù)官方統(tǒng)計(jì)，該化工問答社區(qū)已擁有約480萬的用戶.它由第一代問答網(wǎng)站發(fā)展而來，并在問答網(wǎng)站中加入了搜索功能，是知識(shí)社區(qū)和社交網(wǎng)絡(luò)的結(jié)合體.本文爬取了海川化工問答社區(qū)中6017 名用戶的問答數(shù)據(jù)及獲得財(cái)富值情況，在統(tǒng)計(jì)時(shí)間內(nèi)，這6 017名用戶共對10 633個(gè)問題做出了35 773 條回答并獲得了財(cái)富值.由于GMNN模型著重于新問題的解決，因此本文對數(shù)據(jù)集使用基于時(shí)序的劃分方法，將2017年11月7日至2018年10月7日的問答數(shù)據(jù)作為訓(xùn)練集，2018年10月8日至12月7日的問答數(shù)據(jù)作為測試集，劃分結(jié)果見表1.

3.2實(shí)驗(yàn)對比模型

本文針對的問題是在數(shù)據(jù)稀疏情況下難以對無交互信息的用戶及問題進(jìn)行有效表示，從而難以為新問題推薦專家回答.本文選取了以下幾種對比模型，在推薦領(lǐng)域?qū)ο∈钄?shù)據(jù)有很好的表示能力.

Factorization Machine（FM）[13]：該模型旨在解決大規(guī)模稀疏數(shù)據(jù)下的特征組合問題，考慮不同特征之間的相互關(guān)系，被廣泛地用于預(yù)測和推薦任務(wù)上.

Deep Factorization Machine（DeepFM）[14]：該模型在新的神經(jīng)網(wǎng)絡(luò)中集合了用于推薦的FM模型的功能和深度學(xué)習(xí)的特征學(xué)習(xí)能力，可以更快地訓(xùn)練以及更精準(zhǔn)的學(xué)習(xí)并給出推薦.

Wide&Deep[15]：該模型被用于推薦系統(tǒng)中，結(jié)合了神經(jīng)網(wǎng)絡(luò)的泛化能力和線性模型的記憶能力，通過對稀疏特征的學(xué)習(xí)，提高了推薦系統(tǒng)的準(zhǔn)確性和多樣性.

3.3評價(jià)指標(biāo)

本文采用均方根誤差（Root mean squared error，RMSE）和平均絕對誤差（mean absolute error，MAE）、召回率、歸一化折損累計(jì)增益（Normalized Discounted cumulative Gain，NDCG）和平均倒數(shù)排名（Mean Reciprocal Rank，MRR）評價(jià)模型回答者推薦效果.

3.4參數(shù)選擇

對于本文提出的GMNN算法，通過將矩陣分解得到的用戶和問題隱性向量、深度游走算法得到的用戶和問題的網(wǎng)絡(luò)表示、問題LDA概率向量和用戶個(gè)人特征進(jìn)行輸入，對選取相似舊問題個(gè)數(shù)進(jìn)行選擇，進(jìn)行分組實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見圖2.

從圖2可知，參與訓(xùn)練模型的相似舊問題數(shù)為5 時(shí)，RMSE和MAE最小，因此在使用GMNN時(shí)，將相似舊問題數(shù)設(shè)置為5.

在推薦回答者時(shí)，本文將問題中的回答所獲得的財(cái)富值按照數(shù)量進(jìn)行了排名統(tǒng)計(jì)，并將財(cái)富值排名前N名的回答占該問題下總體的比例進(jìn)行了計(jì)算，結(jié)果見表2.

從表2中可知，財(cái)富值排名最高的回答能夠獲得該問題下55.5%的財(cái)富值，財(cái)富值排名前五名的回答可以獲得94.8%的財(cái)富值.因此本文在對用戶回答問題可能獲得財(cái)富值進(jìn)行排序時(shí)，選擇前5名為問題進(jìn)行專家推薦.

對ALS的隱性向量長度進(jìn)行分組實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見表3.

從表3可知，隱性向量長度為70時(shí)，RMSE和MAE最小，因此在使用ALS分析用戶歷史回答數(shù)據(jù)，對用戶和問題隱性向量進(jìn)行表示時(shí)，隱性向量長度設(shè)置為70.

3.5對比實(shí)驗(yàn)

3.5.1不同模型之間的對比實(shí)驗(yàn)

為了驗(yàn)證本文提出GMNN算法的有效性，本文訓(xùn)練了FM、DeepFM、Wide&Deep模型作為對比模型，在DeepFM模型對目標(biāo)用戶的財(cái)富值預(yù)測時(shí)將提問者特征、問題文本LDA概率向量表示和回答者特征輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練.不同模型在測試集上的預(yù)測效果見表4.

通過分析表4可知，GMNN算法由于加入了記憶網(wǎng)絡(luò)且考慮了用戶的社交關(guān)系、偏好與能力，因此在化工問答社區(qū)數(shù)據(jù)上的表現(xiàn)優(yōu)于其他三種流行的算法.

3.5.2數(shù)據(jù)集劃分對比實(shí)驗(yàn)

為了驗(yàn)證GMNN算法在海川化工數(shù)據(jù)集中不同時(shí)間數(shù)據(jù)的泛化性，本文采用交叉驗(yàn)證方法對算法進(jìn)行驗(yàn)證.海川化工數(shù)據(jù)集由化工論壇2017年11月7日至2018年12月7日的問答數(shù)據(jù)構(gòu)成，本文分別將6月～8月、8月～10月的問答數(shù)據(jù)作為測試集進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表5-6所示.

從表5、表6可以看出，GMNN算法對于海川化工數(shù)據(jù)集中不同時(shí)間的數(shù)據(jù)依然有很好的表現(xiàn)，說明該算法具有一定的泛化性.

3.6消融實(shí)驗(yàn)

3.6.1用戶特征有效性分析

為了驗(yàn)證本文提取用戶三部分特征的有效性，分別將用戶的隱形向量特征P，用戶認(rèn)可度的特征矩陣G和用戶個(gè)人特征矩陣使用自編碼轉(zhuǎn)化為低維稠密的用戶個(gè)人特征矩陣E，三類特征進(jìn)行不同的組合，輸入GMNN模型進(jìn)行消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見圖3.

通過對用戶不同維度特征輸入模型進(jìn)行消融實(shí)驗(yàn)，由圖3可以看出，融合了用戶的隱形向量特征P、用戶認(rèn)可度的特征矩陣G和用戶個(gè)人特征矩陣E.三類特征的個(gè)人特征模型效果最好，驗(yàn)證了本文設(shè)計(jì)面向用戶多維特征的聯(lián)合表示子網(wǎng)絡(luò)的有效性.

3.6.2用戶元路徑有效性分析

為了驗(yàn)證本文提取兩條元路徑的有效性，本文分別將兩條元路徑生成的用戶網(wǎng)絡(luò)特征表示向量放人基于記憶的圖神經(jīng)網(wǎng)絡(luò)模型進(jìn)行消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見圖4.

通過分析圖4可知，將用戶兩條元路徑共同生成的用戶網(wǎng)絡(luò)特征表示輸入模型進(jìn)行訓(xùn)練，比其他兩條元路徑單獨(dú)生成的用戶網(wǎng)絡(luò)特征表示效果好.

3.6.3注意力機(jī)制有效性分析

為了驗(yàn)證本文采用的注意力機(jī)制的有效性，在數(shù)據(jù)集上進(jìn)行注意力機(jī)制消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見圖5.

由圖5可得，引人注意力機(jī)制的模型性能在數(shù)據(jù)集上有所提升.注意力機(jī)制可以解釋為不同用戶對待問題的不同視角，體現(xiàn)出不同用戶對同一問題的理解程度不同.說明了本文提出的基于注意力的新問題圖網(wǎng)絡(luò)表示學(xué)習(xí)的有效性.

4結(jié)論

數(shù)據(jù)稀疏和冷啟動(dòng)是推薦系統(tǒng)目前面臨的主要挑戰(zhàn)，傳統(tǒng)的專家推薦算法無法有效建模新問題，本文提出一種基于記憶的注意力圖神經(jīng)網(wǎng)絡(luò)推薦方法，對用戶進(jìn)行多特征聯(lián)合表示學(xué)習(xí)，有效緩解數(shù)據(jù)稀疏問題，利用記憶網(wǎng)絡(luò)和注意力機(jī)制，從用戶的不同視角表示新問題.通過在海川化工問答社區(qū)數(shù)據(jù)集上的相關(guān)實(shí)驗(yàn)，本模型的表現(xiàn)都優(yōu)于同類模型，為解決數(shù)據(jù)稀疏和冷啟動(dòng)問題提供了新的思路.

隨著推薦系統(tǒng)的發(fā)展，數(shù)據(jù)呈現(xiàn)多模態(tài)的發(fā)展趨勢，后續(xù)研究將重點(diǎn)設(shè)計(jì)針對不同模態(tài)的信息的統(tǒng)一框架使推薦系統(tǒng)建模更加準(zhǔn)確.

參考文獻(xiàn)

[1]PEDRO J S，KARATZOGLOU A. Question recommendation for collaborative question answering systems with RankSLDA[C]//Rec- Sys ’14：Proceedings of the 8th ACM Conference on Recommender systems. 2014：193-200.

[2] MANDAL D P，KUNDU D，MAITI S. Finding experts in community question answering services：a theme based query likelihood language approach[C]//2015 International Conference on Advances in Computer Engineering and Applications.March 19- 20，2015，Ghaziabad，India. IEEE，2015：423-427.

[3] FAN W Q，MA Y，LI Q，et al. Graph neural networks for social recommendation[C]//WWW，'19：The World Wide Web Conference. 2019：417-426.

[4]王根生，潘方正.融合加權(quán)異構(gòu)信息網(wǎng)絡(luò)的矩陣分解推薦算法[J].數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)，2020，4（12）：76-84.

WANG G S，PAN F Z.Matrix factorization algorithm with weighted heterogeneous information network[J].Data Analysis and Knowledge Discovery，2020，4（12）：76-84.（In Chinese）

[5] WESTON J E，SZLAM A D，F(xiàn)ERGUS R D，et al.End-to-endmemory networks：US10664744[P].2020-05-26.

[6] HOCHREITER S，SCHMIDHUBER J. Long short-term memory [J].Neural Computation，1997，9（8）：1735-1780.

[7] LI S，JOUPPI N P，F(xiàn)ARABOSCHI P，et al. MEMORY NETWORK：WO 2014178856 A1[P].

[8] MILLER A H，F(xiàn)ISCH A J，DODGE J D，et al.Key-value memory networks：US20180357240[P].2018-12-13.

[9]何柔螢，徐建.基于注意力卷積神經(jīng)網(wǎng)絡(luò)的工作票專家推薦方法[J].南京理工大學(xué)學(xué)報(bào)，2019，43（1）：13-21.

HE R Y，XU J. Expert recommendation for trouble tickets using attention-based CNN model[J]. Journal of Nanjing University of Science and Technology，2019，43（1）：13-21.（In Chinese）

[10]呂曉琦，紀(jì)科，陳貞翔等.結(jié)合注意力與循環(huán)神經(jīng)網(wǎng)絡(luò)的專家推薦算法[J/OL].計(jì)算機(jī)科學(xué)與探索：1-12[2021-04-16].http：//kns. cnki.net/kcms/detail/11.5602.tp.20210324.1045.004.html.

LV X Q，JI K，CHEN Z X，et al. Expert recommendation algorithm by combining attention and recurrent neural network [J/OL]. Journal of Frontiers of Computer Science & Technology：1-12[2021-04-16]. （In Chinese）

[11] CHAUDHARI S，MITHAL V，POLATKAN G，et al An attentive survey of attention models[J]. ACM Transactions on Intelligent Systems and Technology，2021，12（5）：1-32.

[12] DEVLIN J，CHANG M W，LEE K，et al. BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding[C]//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies. Stroudsburg：ACL，2019：4171-4186.

[13] RENDLE S Factorization machines[C]//2010 IEEE International Conference on Data Mining December 13-17，2010，Sydney，NSW，Australia IEEE，2010：995-1000.

[14] GUO H F，TANG R M，YE Y M，et al DeepFM：a factorizationmachine based neural network for CTR prediction[C]//Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence August 19-26，2017 Melbourne，Australia California：International Joint Conferences on Artificial Intelligence Organization，2017：1725-1731.

[15] CHENG H T，KOC L，HARMSEN J，et al Wide & deep learning for recommender systems[C]//DLRS 2016：Proceedings of the 1st Workshop on Deep Learning for Recommender Systems 2016：7-10.