摘" 要： 互聯(lián)網(wǎng)高速發(fā)展背景下，社區(qū)問答網(wǎng)站提問者有著更強(qiáng)烈的求知需求，海量數(shù)據(jù)為提問者識別有效信息帶來困難，為提問者推薦更專業(yè)的專家用戶對問題進(jìn)行回答顯得尤為重要。針對傳統(tǒng)社區(qū)問答專家推薦方法難以準(zhǔn)確計算出提問者提出的目標(biāo)問題和候選專家之間的相關(guān)性等問題，為了提高社區(qū)問答網(wǎng)站中專家推薦的效率，構(gòu)建問題節(jié)點關(guān)系無向圖，利用圖神經(jīng)網(wǎng)絡(luò)GraphSAGE提取節(jié)點的二階鄰居信息，并使用多視圖學(xué)習(xí)方法學(xué)習(xí)不同視圖間的互補信息，最終獲取目標(biāo)問題文本和候選專家歷史問題集豐富的向量表示，用來計算出目標(biāo)問題與候選專家之間的匹配度，進(jìn)而推薦出最適合回答目標(biāo)問題的專家用戶。實驗結(jié)果表明，在不同的社區(qū)問答專家推薦方法上，文中方法在評價指標(biāo)MRR、NDCG@10上均取得了更優(yōu)的推薦效果。

關(guān)鍵詞： 社區(qū)問答； 專家推薦； 圖神經(jīng)網(wǎng)絡(luò)； 多視圖學(xué)習(xí)； 推薦系統(tǒng)； 深度學(xué)習(xí)模型

中圖分類號： TN711?34""""""""""""""""""""""" 文獻(xiàn)標(biāo)識碼： A"""""""""""""""""""""""""" 文章編號： 1004?373X（2024）09?0115?04

0" 引" 言

隨著互聯(lián)網(wǎng)的高速發(fā)展，知識壁壘被打破，人們求知熱情高漲，社區(qū)問答網(wǎng)站應(yīng)運而生，在社區(qū)問答網(wǎng)站上，提問者提出問題，由系統(tǒng)推送給潛在回答者。為向提問者推薦相應(yīng)領(lǐng)域的專家用戶來回答問題，一種高效的社區(qū)問答專家推薦方法亟待研究。針對問題文本信息和專家用戶信息的提取，目前通常在單一視圖上進(jìn)行，或采用注意力機(jī)制等方法，這些方法在一定程度上解決了專家用戶的個性化推薦問題，但從單一視圖中學(xué)習(xí)文本特征，忽略了其他視圖中的互補信息。因此，本文提出一種結(jié)合圖神經(jīng)網(wǎng)絡(luò)與多視圖學(xué)習(xí)的社區(qū)問答專家推薦方法，用以從多個視圖中挖掘?qū)＜矣脩艉蛦栴}之間的交互信息，并通過在圖上的信息傳遞，從二級鄰居節(jié)點中提取有效信息，然后學(xué)習(xí)豐富的專家向量和問題向量，用以進(jìn)行最終的預(yù)測，推薦出合適的專家來回答問題。

1" 問題文本信息提取

1.1" 問題節(jié)點關(guān)系無向圖構(gòu)建

在社區(qū)問答網(wǎng)站中，提問者提出的問題稱為目標(biāo)問題，社區(qū)問答網(wǎng)站中潛在的能夠為提問者給出高質(zhì)量回答的用戶集稱為候選專家[1]。對于候選專家集中的每個專家，專家所回答過的歷史問題集構(gòu)成該專家的一個屬性，其中每個問題（即目標(biāo)問題以及包含在候選專家歷史回答問題集中的問題）都與它們的標(biāo)簽、標(biāo)題、正文相關(guān)聯(lián)。標(biāo)題、標(biāo)簽、正文這三種信息可以被視為對問題的不同看法，都有助于表示問題。同一個候選專家回答過的問題之間建立一條邊，依次形成一張問題節(jié)點關(guān)系無向圖，如圖1所示。

1.2" 問題文本語義特征提取

對于給定問題的標(biāo)簽，本文使用標(biāo)簽嵌入層將其轉(zhuǎn)換為低維嵌入向量。由于標(biāo)簽是獨立的分類特征，本文利用密集層學(xué)習(xí)標(biāo)簽特征，然后堆疊所有標(biāo)簽特征，并通過平均聚合器聚合得到標(biāo)簽特征。

對于長文本信息，則使用Transformer進(jìn)行語義信息提取[2]。同理可得標(biāo)題的特征，再使用均值聚合器聚合，可得標(biāo)簽、標(biāo)題、正文的視圖信息矩陣。

2" GraphSAGE圖表示學(xué)習(xí)模塊

本文認(rèn)為回答過同一個問題的專家具有相似的知識能力，因此學(xué)習(xí)一個專家節(jié)點的鄰居節(jié)點特征，有助于獲得該專家節(jié)點更豐富的表示。本文使用GraphSAGE圖神經(jīng)網(wǎng)絡(luò)來提取節(jié)點的鄰居節(jié)點特征[3]。

假設(shè)已經(jīng)學(xué)習(xí)了聚合函數(shù)的參數(shù)，這些聚合函數(shù)從鄰居節(jié)點中聚合信息，用于在專家信息提取模塊的不同層之間傳播信息圖矩陣。該模塊在每次迭代或搜索深度時，節(jié)點都會從該節(jié)點鄰居那里聚合信息，隨著這個過程的迭代，節(jié)點會從圖的更遠(yuǎn)部分逐漸獲得越來越多的信息。

在本階段將從上一階段獲得的標(biāo)簽、標(biāo)題、正文三個視圖信息矩陣輸入到圖神經(jīng)網(wǎng)絡(luò)中，使用GraphSAGE對節(jié)點進(jìn)行一階鄰居和二階鄰居的信息提取，公式如下所示：

[hGraph=ReLUWGi=0nfi+fs]

式中：[WG]是投影矩陣；輸入[fi]和[fs]是兩跳鄰居和一跳鄰居的特征嵌入組合。

最終形成標(biāo)簽、標(biāo)題、正文的視圖表示。

3" 多視圖注意力機(jī)制模塊

多視圖注意力機(jī)制模塊如圖2所示。

考慮到專家回答過不同領(lǐng)域的問題，而專家回答過的問題與目標(biāo)問題的相關(guān)性不同，因此需提取出專家歷史回答過的問題中和目標(biāo)問題相關(guān)的部分[4]。文中進(jìn)行了多視圖注意力機(jī)制的研究，經(jīng)過上一層圖表示學(xué)習(xí)層后，形成了三個視圖，將三個視圖聚合，形成目標(biāo)問題向量。而對于候選專家的處理，因為每個專家不僅回答自身領(lǐng)域的問題，還可能會回答他感興趣的問題，所以要提取他的回答中和目標(biāo)問題相關(guān)的部分。

給定候選專家的多視圖特征，計算專家用戶在標(biāo)簽視圖注意力下的權(quán)重。對于標(biāo)題和正文視圖特征，可以用同樣的方法分別計算它們的權(quán)重。通過這種方式，該模型可以分別利用三種視圖的交互注意力機(jī)制來捕捉候選專家與目標(biāo)問題之間的視圖內(nèi)相關(guān)性。然后，根據(jù)不同視圖特征的不同權(quán)重對其進(jìn)行聚合，得到候選專家特征[5]。

最后，將候選專家特征和目標(biāo)問題特征相結(jié)合，再利用線性層計算它們之間的相關(guān)性得分。具有最高相關(guān)性[6]得分的候選專家將被推薦為目標(biāo)問題的專家。

4" 實" 驗

4.1" 數(shù)據(jù)集和實驗設(shè)置

本文在真實世界的CQA數(shù)據(jù)集上進(jìn)行了大量實驗，以評估本文提出的方法的性能。

本文從StackExchange[7]中選擇了三個真實世界的CQA數(shù)據(jù)集，見表1，該數(shù)據(jù)集包含三個領(lǐng)域，即人工智能學(xué)、出版學(xué)和歷史學(xué)。每個數(shù)據(jù)集都包括一個問題集，其中每個問題都與其標(biāo)題、正文和標(biāo)簽相關(guān)聯(lián)，這是不同回答者提供的幾個答案中的一個“公認(rèn)答案”[8]。本文遵循先前工作中的預(yù)處理方法，從數(shù)據(jù)集中篩選出提供少于5個答案的回答者，以避免冷啟動問題。本文將每個數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集，按時間順序，比例分別為80%、10%和10%。驗證集用于調(diào)整方法中的超參數(shù)。根據(jù)先前工作，本文構(gòu)建了一個候選專家集，每個問題包括20名專家，包括回答這個問題的原始專家和從回答者集中隨機(jī)選擇的其他專家[9]。

4.2" 超參數(shù)設(shè)置

實驗中，本文使用驗證集來調(diào)整超參數(shù)，將低維嵌入、標(biāo)簽嵌入和專家嵌入維度設(shè)置為100。問題文本、專家特征大小設(shè)置為100，Transformer頭的數(shù)量為2，Transformer編碼器層數(shù)為2，批處理大小[10]設(shè)置為64。本文使用填充操作將專家歷史回答問題的數(shù)量固定為30。對于每個問題，其標(biāo)簽的數(shù)量為3，標(biāo)題的單詞長度為15，正文的單詞長度是60。為了緩解過擬合問題，本文使用丟棄技術(shù)，并將丟棄率設(shè)置為0.25，采用Adam優(yōu)化器來優(yōu)化模型。

4.3" 評估指標(biāo)

本文采用的是被廣泛使用的推薦排名指標(biāo)，包括MRR、NDCG@10以驗證專家排名質(zhì)量[11]。將每個實驗重復(fù)5次，并計算平均結(jié)果。所有實驗都是使用Pytorch框架和24 GB內(nèi)存的RTX A5000 GPU服務(wù)器實現(xiàn)的。

4.4" 基" 線

本文與現(xiàn)有模型進(jìn)行了比較，包括：

1） NeRank：NeRank通過異構(gòu)網(wǎng)絡(luò)嵌入算法學(xué)習(xí)問題內(nèi)容、提問者和專家的特征，并利用神經(jīng)網(wǎng)絡(luò)計算排名得分；

2） TCQR：該方法利用時間動態(tài)的多粒度中的時間上下文感知模型來實現(xiàn)多方面、時間感知的專家學(xué)習(xí)；

3） RMRN：該模型利用遞歸推理機(jī)制捕捉問題和候選專家之間的隱含相關(guān)性，以改進(jìn)專家發(fā)現(xiàn)；

4） UserEmb：該模型捕獲了專家的社會關(guān)系和語義特征，并將這些特征結(jié)合起來以提高模型性能[12]。

5" 實驗結(jié)果與分析

比較所有方法在不同數(shù)據(jù)集上的結(jié)果可以發(fā)現(xiàn)，在所有評價指標(biāo)上，本文模型明顯優(yōu)于所有基線?；谏疃葘W(xué)習(xí)的方法（TCQR、RMRN、UserEmb）在所有數(shù)據(jù)集上表現(xiàn)良好，因為神經(jīng)網(wǎng)絡(luò)強(qiáng)大的表示能力可從問題內(nèi)容中捕獲深層語義信息[10]。捕獲數(shù)據(jù)使用固有交互信息的方法（NeRank、RMRN、PMEF）通常比不使用捕獲固有交互方法（TCQR、UserEmb）的性能更好。因為這些方法通過交互式信息的捕捉找到了與目標(biāo)問題更相關(guān)的專家。

本文方法結(jié)合了圖神經(jīng)網(wǎng)絡(luò)綜合地學(xué)習(xí)問題特征，并采用多視圖學(xué)習(xí)[13]捕捉專家和目標(biāo)問題之間的視圖特定交互信息。不同方法在MRR指標(biāo)上的表現(xiàn)如表2所示。

5.1" 圖神經(jīng)網(wǎng)絡(luò)GraphSAGE的效果

本文研究了圖神經(jīng)網(wǎng)絡(luò)GraphSAGE的效果，并替換了兩種圖神經(jīng)網(wǎng)絡(luò)來探索圖神經(jīng)網(wǎng)絡(luò)在提取鄰居節(jié)點信息方面的貢獻(xiàn)。

1） 圖卷積神經(jīng)網(wǎng)絡(luò)：可以捕捉圖的全局信息，可以很好地表示節(jié)點特征，但全局訓(xùn)練的方式需要所有節(jié)點都參與訓(xùn)練才能得到節(jié)點嵌入，無法快速得到新節(jié)點的嵌入，在時間上有極大損耗；

2） 圖注意力神經(jīng)網(wǎng)絡(luò)[13]：通過為同一鄰域的節(jié)點分配不同權(quán)重，可以提取模型中的重點信息，使用多頭自注意力機(jī)制，方便并行、計算高效，但過平滑嚴(yán)重，不適合處理高階特征，且由于領(lǐng)域節(jié)點的高度重疊，產(chǎn)生冗余計算，導(dǎo)致在空間上占用過大。

5.2" 多視圖注意力機(jī)制的效果

本文的多視圖注意力機(jī)制模塊通過交互式注意力機(jī)制自動地捕捉候選專家和目標(biāo)問題之間的視圖內(nèi)特定匹配信息。使用了注意力機(jī)制的多視圖學(xué)習(xí)推薦效果要高于沒使用注意力機(jī)制的多視圖學(xué)習(xí)，這表明在多視圖學(xué)習(xí)中注意機(jī)制的必要性，因為不同的歷史回答問題對建模專家具有不同的重要性。通過這種方式，該模型可以捕捉目標(biāo)問題和候選專家之間的不同視圖交互，這有利于準(zhǔn)確向目標(biāo)問題推薦合適回答的專家用戶。

6" 結(jié)" 語

本文提出了一種融合圖神經(jīng)網(wǎng)絡(luò)和多視圖學(xué)習(xí)的社區(qū)問答專家推薦方法。結(jié)合圖神經(jīng)網(wǎng)絡(luò)與多視圖注意力機(jī)制，強(qiáng)化了目標(biāo)問題與專家用戶之間相關(guān)性的計算。實驗結(jié)果表明，與傳統(tǒng)社區(qū)問答專家推薦方法相比，本文提出的融合圖神經(jīng)網(wǎng)絡(luò)與多視圖學(xué)習(xí)的社區(qū)問答專家推薦方法具有較好的準(zhǔn)確性和泛化性。下一步將對專家用戶知識能力隨時間的變化開展研究。

參考文獻(xiàn)

[1] MUMTAZ S， RODRIGUEZ C， BENATALLAH B. Expert2Vec： Experts representation in community question answering for question routing [C]// 31th International Conference on Advanced Information Systems Engineering. Heidelberg： Springer， 2019： 213?229.

[2] SONG J， XU X L， WANG X H. TSAR?based expert recommendation mechanism for community question answering [C]// 2021 IEEE 24th International Conference on Computer Supported Cooperative Work in Design （CSCWD）. New York： IEEE， 2021： 162?167.

[3] PENG Q Y， LIU H T， WANG Y H， et al. Towards a multi?view attentive matching for personalized expert finding [C]// Proceedings of the ACM Web Conference. New York： ACM， 2022： 2131?2140.

[4] YUAN S， ZHANG Y， TANG J， et al. Expert finding in community question answering： A review [J]. Artificial intelligence review， 2020， 53（2）： 843?874.

[5] FU J L， YI L， ZHANG Q， et al. Recurrent memory reasoning network for expert finding in community question answering [C]// Proceedings of the 13th International Conference on Web Search and Data Mining. New York： ACM， 2020： 187?195.

[6] LI Z Y， JIANG J Y， SUN Y Z， et al. Personalized question routing via heterogeneous network embedding [C]// Proceedings of the International Conference on Artificial Intelligence. [S.l.]： AAAI， 2019： 192?199.

[7] ZHANG X C， CHENG W， ZONG B， et al. Temporal context?aware representation learning for question routing [C]// Proceedings of the International Conference on Web Search and Data Mining. New York： ACM， 2020： 753?761.

[8] FAN S H， ZHU J X， HAN X T， et al. Metapath?guided heterogeneous graph neural network for intent recommendation [C]// Proceedings of the 25th International Conference on Knowledge Discovery. New York： IEEE， 2019： 2478?2486.

[9] SHI C， HU B B， ZHAO W X， et al. Heterogeneous information network embedding for recommendation [J]. IEEE transactions on knowledge and data engineering， 2019， 31（2）： 357?370.

[10] ZHANG C X， SONG D J， HUANG C， et al. Heterogeneous graph neural network [C]// Proceedings of Conference on Knowledge Discovery and Data Mining. [S.l.： s.n.]， 2019： 793?803.

[11] WANG X， JI H Y， SHI C， et al. Heterogeneous graph attention network [C]// Proceedings of the World Wide Web Conference （WWW 2019）. New York： ACM， 2019： 2022?2032.

[12] BHATT G， JHA P， RAMAN B， et al. Representation learning using step?based deep multi?modal autoencoders [J]. Pattern recognition， 2019， 95： 12?23.

[13] WANG H， YANG Y， LIU B. GMC： Graph?based multi?view clustering [J]. IEEE transactions on knowledge and data engineering， 2019， 32（6）： 1116?1129.

Study on community Qamp;A expert recommendation method based on fusion of graph neural network and multi?view learning

XIONG Weinan

（Faculty of Information Engineering and Automation， Kunming University of Science and Technology， Kunming 650500， China）

Abstract： Under the background of the rapid development of the Internet， community Qamp;A website questioners have a stronger demand for knowledge. Massive data poses difficulties for questioners in identifying effective information， making it particularly important to recommend more professional expert users to answer questions. However， it is difficult to accurately calculate the correlation between the object question raised by the questioner and the candidate experts by the traditional community Qamp;A expert recommendation methods. In order to improve the efficiency of expert recommendation in community Qamp;A websites， an undirected graph of the problem node relationship is constructed， and a graph neural network （GNN） GraphSAGE is used to extract the second?order neighbor information of nodes. The multi?view learning method is used to learn the complementary information between different views and finally obtain a rich vector representation of the object question text and the candidate expert′s historical question set， which is used to calculate the matching degree between the object question and the candidate expert， and then recommend the most suitable expert user to answer the object question. The experimental results show that， in comparison with different community Qamp;A expert recommendation methods， the proposed method has achieved better recommendation results on both the evaluation indicators MRR and NDCG@10.

Keywords： community Qamp;A; expert recommendation; GNN; multi?view learning; recommendation system; deep learning model

DOI：10.16652/j.issn.1004?373x.2024.09.021

引用格式：熊瑋楠.融合圖神經(jīng)網(wǎng)絡(luò)與多視圖學(xué)習(xí)的社區(qū)問答專家推薦方法研究[J].現(xiàn)代電子技術(shù)，2024，47（9）：115?118.

收稿日期：2023?11?06"""""""""" 修回日期：2023?11?29

熊瑋楠：融合圖神經(jīng)網(wǎng)絡(luò)與多視圖學(xué)習(xí)的社區(qū)問答專家推薦方法研究

作者簡介：熊瑋楠（1997—），女，碩士，研究方向為推薦系統(tǒng)。