萬(wàn) 杰 趙逢禹 劉 亞

(上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院 上海 200093)

0 引 言

Stack Overflow是一個(gè)程序開(kāi)發(fā)與計(jì)算機(jī)技術(shù)交流社區(qū)，當(dāng)開(kāi)發(fā)人員遇到的疑惑、報(bào)錯(cuò)，在中文資料中找不到解決方案時(shí)，在Stack Overflow中通常能比較快速地找到相應(yīng)的解決方案。Stack Overflow經(jīng)歷了多年的發(fā)展，社區(qū)問(wèn)答系統(tǒng)中積累了千萬(wàn)條的問(wèn)題和答案，形成了龐大的語(yǔ)料集。如何有效地利用這些歷史資源，幫助用戶輕松、準(zhǔn)確地找到最接近用戶查詢的問(wèn)題所對(duì)應(yīng)的最佳答案是Stack Overflow面臨的重要問(wèn)題。

基于Stack Overflow語(yǔ)料集已經(jīng)有許多研究成果。Huang等[1]提出了一種文本總結(jié)技術(shù)，通過(guò)對(duì)Stack Overflow問(wèn)答討論中的信息進(jìn)行總結(jié)、提煉和歸類(lèi)，從而能夠幫助開(kāi)發(fā)人員確定更適合某個(gè)項(xiàng)目的工具或技術(shù)。Xia等[2]提出了一種基于文本處理和文本分類(lèi)技術(shù)來(lái)預(yù)測(cè)刪除Stack Overflow中問(wèn)題質(zhì)量很差的問(wèn)題。

Stack Overflow中的搜索機(jī)制是一個(gè)基于Lucene的Elasticsearch搜索引擎，它提供了一個(gè)分布式多用戶能力的全文搜索功能。當(dāng)用戶提交一個(gè)問(wèn)題時(shí)，首先對(duì)問(wèn)題進(jìn)行分詞，然后提取問(wèn)題中的關(guān)鍵詞，對(duì)問(wèn)題進(jìn)行構(gòu)造句法依存樹(shù)，將自然語(yǔ)言問(wèn)題轉(zhuǎn)化為邏輯語(yǔ)義問(wèn)題，進(jìn)一步抽取問(wèn)題中的特征與語(yǔ)料庫(kù)中的答案進(jìn)行匹配，顯示出與用戶提交的問(wèn)題相關(guān)度高的問(wèn)題。但是Stack Overflow只對(duì)問(wèn)題的標(biāo)題進(jìn)行了分析與提取，忽略了問(wèn)題的描述信息和問(wèn)題標(biāo)簽信息，導(dǎo)致推薦的準(zhǔn)確率降低。

關(guān)于社區(qū)問(wèn)答系統(tǒng)中答案的推薦策略問(wèn)題的研究可以劃分為三個(gè)方面：(1) 基于主題模型的答案推薦；(2) 基于機(jī)器學(xué)習(xí)的推薦；(3) 基于問(wèn)句詞的表面信息的答案推薦。

基于主題模型的答案推薦方面，張成等[3]提出了一種基于概率潛在語(yǔ)義分析(PLSA)的社區(qū)問(wèn)答自動(dòng)選擇答案的方法，并根據(jù)答案與問(wèn)題之間的相似性對(duì)候選答案進(jìn)行排序。Riahi等[4]使用兩種統(tǒng)計(jì)主題模型為一個(gè)新發(fā)布的問(wèn)題找到專(zhuān)家，從而為用戶提供正確的答案。

基于機(jī)器學(xué)習(xí)的推薦是另一個(gè)研究熱點(diǎn)，Li等[5]在biLSTM之上建立了卷積神經(jīng)網(wǎng)絡(luò)(CNN)結(jié)構(gòu)，使用該結(jié)構(gòu)將查詢和答案映射到它們對(duì)應(yīng)的分布向量，學(xué)習(xí)查詢和答案之間的語(yǔ)義相似性，對(duì)答案重新排名；文獻(xiàn)[6]使用基于bigram散列和TF-IDF匹配的搜索組件與訓(xùn)練有素的多層遞歸神經(jīng)網(wǎng)絡(luò)模型相結(jié)合，以檢索出維基百科中與問(wèn)題匹配的答案；文獻(xiàn)[7]基于文本和元數(shù)據(jù)特征建立了一個(gè)預(yù)測(cè)模型，用來(lái)預(yù)測(cè)一個(gè)新問(wèn)題的用戶意圖，使得系統(tǒng)能夠識(shí)別類(lèi)似的問(wèn)題，推薦相關(guān)的答案。

第三種研究思路是基于問(wèn)句詞的表面信息進(jìn)行答案推薦，Berger等[8]通過(guò)學(xué)習(xí)多種統(tǒng)計(jì)的方法從大量的候選答案中找到問(wèn)題答案。Jijkoun[9]使用無(wú)監(jiān)督學(xué)習(xí)的方法從Web上獲取FQA網(wǎng)頁(yè)，再自動(dòng)從收集的頁(yè)面中提取問(wèn)題與答案，然后采用向量空間模型檢索問(wèn)答對(duì)回答用戶的問(wèn)題。Riezle等[10]采用統(tǒng)計(jì)機(jī)器翻譯(SMT)技術(shù)來(lái)提高問(wèn)句的檢索性能問(wèn)題。

本文針對(duì)Stack Overflow只對(duì)問(wèn)題的標(biāo)題進(jìn)行了分析與提取，忽略了問(wèn)題的描述信息和問(wèn)題標(biāo)簽信息，導(dǎo)致推薦的準(zhǔn)確率降低問(wèn)題，提出了一種特征融合的答案推薦策略(Feature integration answer recommendation strategy,FIARS)。該推薦策略主要研究了問(wèn)題標(biāo)題相似度、問(wèn)題描述相似度、問(wèn)題標(biāo)簽等基于文本的相似度，進(jìn)一步分析了語(yǔ)義相似度，最后返回與用戶查詢對(duì)應(yīng)的答案信息。

1 FIARS答案推薦策略概述

Stack Overflow中存在大量的“問(wèn)題與答案”語(yǔ)料。當(dāng)一個(gè)用戶提出新的問(wèn)題時(shí)，如何為用戶推薦最優(yōu)答案是本文研究的目的。本文首先對(duì)“問(wèn)題與答案”語(yǔ)料集進(jìn)行預(yù)處理，根據(jù)用戶新問(wèn)題標(biāo)題與標(biāo)簽，計(jì)算與語(yǔ)料集中問(wèn)題的相似度，得到問(wèn)題標(biāo)題與標(biāo)簽相似候選集；進(jìn)一步計(jì)算新問(wèn)題描述和候選集中各問(wèn)題描述相似度，篩選出問(wèn)題描述相似候選集；最后利用問(wèn)題特征詞的語(yǔ)義信息，計(jì)算用戶問(wèn)題與語(yǔ)料集中各問(wèn)題的語(yǔ)義相似度，得到基于語(yǔ)義相似的檢索候選集，從語(yǔ)義相似的檢索候選集中提取出答案返回給用戶。

由于Stack Overflow中存在大量的相似問(wèn)題與答案信息，如何給出與用戶搜索的新問(wèn)題最相關(guān)的問(wèn)題與答案信息是本文關(guān)注的焦點(diǎn)。圖1所示為FIARS問(wèn)題答案推薦模型的處理流程，該處理流程主要包括以下5步。

第1步：對(duì)“問(wèn)題與答案”語(yǔ)料集進(jìn)行預(yù)處理。從Stack Overflow網(wǎng)站中抽取“問(wèn)題與答案”語(yǔ)料集，對(duì)該語(yǔ)料集建立問(wèn)題索引和答案索引。在建立索引時(shí)，僅對(duì)有答案的問(wèn)題建立問(wèn)題索引與答案索引，即確保索引中每個(gè)問(wèn)題都有一個(gè)答案。其次從每個(gè)問(wèn)題中提取問(wèn)題標(biāo)題、問(wèn)題描述、問(wèn)題標(biāo)簽和答案信息，然后對(duì)問(wèn)題中的標(biāo)題、描述和答案進(jìn)行去停用詞和詞干化操作，對(duì)答案進(jìn)行去重。

第2步：篩選出與新問(wèn)題相似度較高的問(wèn)題標(biāo)題與標(biāo)簽相似候選集。對(duì)于用戶提出的新問(wèn)題計(jì)算新問(wèn)題和語(yǔ)料集中歷史問(wèn)題的問(wèn)題標(biāo)題相似度、問(wèn)題標(biāo)簽相似度，并基于問(wèn)題標(biāo)題相似度和問(wèn)題標(biāo)簽相似度，篩選出與新問(wèn)題相似度較高的問(wèn)題標(biāo)題與標(biāo)簽相似候選集，得到初步檢索結(jié)果S1。

第3步：篩選出問(wèn)題描述相似候選集。進(jìn)一步計(jì)算新問(wèn)題和初步檢索結(jié)果S1中各問(wèn)題描述相似度，篩選出問(wèn)題描述相似候選集，得到第二次檢索結(jié)果S2。

第4步：篩選出最終檢索結(jié)果。對(duì)第二次檢索結(jié)果S2使用WordNet作為語(yǔ)義資源，首先使用WordNet提供的最短接口函數(shù)計(jì)算詞語(yǔ)的語(yǔ)義相似度，利用問(wèn)題特征詞的語(yǔ)義信息，計(jì)算用戶問(wèn)題與語(yǔ)料集中各問(wèn)題的語(yǔ)義相似度，得到最終檢索結(jié)果S3。

第5步：根據(jù)最終檢索結(jié)果的問(wèn)題索引，從問(wèn)題對(duì)應(yīng)的答案索引中提取出答案返回給用戶。

圖1 FIARS策略流程圖

2 關(guān)鍵技術(shù)

特征融合的答案推薦策略的關(guān)鍵技術(shù)主要包含建立索引、基于文本相似度的檢索模型和基于語(yǔ)義相似度的檢索模型3個(gè)部分。

2.1 建立索引

為了提高檢索的效率，先對(duì)語(yǔ)料集的問(wèn)題標(biāo)簽建立索引，當(dāng)問(wèn)題標(biāo)簽相同時(shí)，再對(duì)問(wèn)題標(biāo)題中的特征詞建立索引。

在建立索引時(shí)，僅對(duì)語(yǔ)料集中有答案的問(wèn)題建立索引，這可以確保每個(gè)問(wèn)題至少對(duì)應(yīng)于一個(gè)答案。對(duì)于用戶提交的任意一個(gè)問(wèn)題q，使用特征融合答案推薦策略，得到最終檢索結(jié)果S3，根據(jù)最終檢索結(jié)果的問(wèn)題索引，從問(wèn)題對(duì)應(yīng)的答案索引中提取出答案并返回給用戶。

2.2 文本相似度計(jì)算

在Stack Overflow中，用戶提交的問(wèn)題包含很多文本信息，例如提交者、問(wèn)題標(biāo)題、問(wèn)題描述、問(wèn)題標(biāo)簽和評(píng)論。在特征融合答案推薦策略中，需要計(jì)算用戶問(wèn)題與Stack Overflow中語(yǔ)料集中已存在問(wèn)題的標(biāo)題、標(biāo)簽和描述信息文本相似度。

2.2.1文本相似度計(jì)算

對(duì)于文本1和文本2，首先從文本中提取詞袋分別表示為T(mén)extBag1和TextBag2，然后消除兩個(gè)詞袋中的重復(fù)單詞得到包含v個(gè)單詞的并集TextBagu，根據(jù)向量空間模型(VSM)[11]，將兩個(gè)文本分別用兩個(gè)向量TextVec1和TextVec2表示：TextVec1=(wt1,1,wt1,2,…,wt1,v)和TextVec2=(wt2,1,wt2,2,…,wt2,v)，權(quán)重wtt,i表示文本t中的第i個(gè)詞的頻率，計(jì)算如下：

其中:分子是兩個(gè)向量TextVec1和TextVec2的點(diǎn)積運(yùn)算，計(jì)算公式如下：

TextVec1·TextVec2=wt1,1×wt2,1+wt1,2×wt2,2+

…+wt1,v×wt2,v

(3)

|TextVec1|和|TextVec2|分別表示兩個(gè)向量的大小，|TextVec1|的計(jì)算公式如下：

2.2.2標(biāo)題相似度

對(duì)于問(wèn)題Q1和Q2，首先將從標(biāo)題中提取的詞袋分別表示為T(mén)itleBagQ1和TitleBagQ2，然后消除兩個(gè)詞袋中的重復(fù)的單詞得到包含v個(gè)單詞的并集TitleBagu，根據(jù)空間向量模型(VSM)[11]，將兩個(gè)標(biāo)題分別用兩個(gè)向量TitleVecQ1和TitleVecQ2表示：TitleVecQ1=(wtQ1,1,wtQ1,2,…,wtQ1,v)和TitleVecQ2=(wtQ2,1,wtQ2,2,…,wtQ2,v)。權(quán)重wtq,i表示問(wèn)題q標(biāo)題中的第i個(gè)詞的頻率。通過(guò)式(2)計(jì)算兩個(gè)標(biāo)題之間的相似度，用TitleVecQ1、TitleVecQ2來(lái)表示兩個(gè)標(biāo)題余弦相似度[11]。

對(duì)于一個(gè)用戶提交的新問(wèn)題nq和歷史問(wèn)題hq，可以用式(2)來(lái)計(jì)算它們標(biāo)題相似度，表示為T(mén)itleSim(nq,hq)。

2.2.3標(biāo)簽相似度

用戶為新問(wèn)題添加標(biāo)簽時(shí)，可以添加多個(gè)標(biāo)簽項(xiàng)。對(duì)于問(wèn)題Q1和問(wèn)題Q2，首先將兩個(gè)問(wèn)題的標(biāo)簽項(xiàng)分別放在TagSetQ1和TagSetQ2中，然后合并TagSetQ1和TagSetQ2并消除重復(fù)的詞，得到包含v個(gè)標(biāo)簽項(xiàng)的并集TagSetu。將兩個(gè)標(biāo)簽集分別用兩個(gè)向量TagVecQ1和TagVecQ2表示：TagVecQ1=(wgQ1,1,wgQ1,2,…,wgQ1,v)和TagVecQ2=(wgQ2,1,wgQ2,2,…,wgQ2,v)。權(quán)重wgq,i表示問(wèn)題q標(biāo)簽中的第i個(gè)詞的頻率，計(jì)算如下：

對(duì)于一個(gè)用戶提交的新問(wèn)題nq和歷史問(wèn)題hq，用TagSim(nq,hq)來(lái)表示它們的標(biāo)簽相似度。

2.2.4問(wèn)題相似度計(jì)算

根據(jù)用戶提交的新問(wèn)題和歷史問(wèn)題的標(biāo)題相似度、標(biāo)簽相似度，綜合計(jì)算問(wèn)題相似度的得分。得到問(wèn)題內(nèi)容相似度的得分SimScore(nq,hq),計(jì)算公式如下所示：

SimScore(nq,hq)=αTitleSim(nq,hq)+

(1-α)TagSim(nq,hq)

(6)

其中:TitleSim(nq,hq)、TagSim(nq,hq)可以由式(2)計(jì)算得到。

2.2.5描述相似度

對(duì)于問(wèn)題Q1和Q2，首先將從描述中提取的詞袋分別表示為DesBagQ1和DesBagQ2，然后消除兩個(gè)詞袋中的重復(fù)的單詞得到包含v個(gè)單詞的并集DesBagu，根據(jù)空間向量模型，將兩個(gè)描述分別用兩個(gè)向量DesVecQ1和DesVecQ2表示：DesVecQ1=(wdQ1,1,wdQ1,2,…,wdQ1,v)和DesVecQ2=(wdQ2,1,wdQ2,2,…,wdQ2,v)。權(quán)重wdq,i表示問(wèn)題q描述中的第i個(gè)詞的頻率。通過(guò)計(jì)算兩個(gè)向量DesVecQ1和DesVecQ2的余弦相似度[11]來(lái)衡量?jī)蓚€(gè)描述的相似度。

對(duì)于一個(gè)用戶提交的新問(wèn)題nq和歷史問(wèn)題hq，用DesSim(nq,hq)來(lái)表示它們的描述相似度。

2.3 基于語(yǔ)義相似度的計(jì)算

為了提高檢索的精確度，給用戶提交的問(wèn)題提供更準(zhǔn)確的答案推薦，在問(wèn)題標(biāo)簽、問(wèn)題標(biāo)題和問(wèn)題描述相似度的基礎(chǔ)上進(jìn)行了語(yǔ)義相似度計(jì)算，需要計(jì)算用戶問(wèn)題與Stack Overflow中語(yǔ)料集中已存在問(wèn)題標(biāo)題的語(yǔ)義相似度。

該模型使用WordNet作為語(yǔ)義資源，WordNet中兩個(gè)單詞之間的距離越近，它們之間的語(yǔ)義相似性越大，反之，語(yǔ)義相似性越小。對(duì)于給定兩個(gè)特征詞w1和w2，使用WordNet提供的最短接口函數(shù)來(lái)獲得兩個(gè)同義詞之間的最短路徑，然后歸一化得到兩個(gè)特征詞之間的語(yǔ)義相似度，其語(yǔ)義相似度公式如下：

式中：Sim(w1,w2)表示w1和w2之間的語(yǔ)義相似度，dis(w1,w2)表示W(wǎng)ordNet中w1和w2語(yǔ)義的最短距離。

對(duì)于給定問(wèn)題標(biāo)題T1和歷史問(wèn)題標(biāo)題T2，采用二分圖[12]的方法計(jì)算兩個(gè)標(biāo)題之間的相似度。其計(jì)算公式如下：

(9)

3 實(shí) 驗(yàn)

3.1 語(yǔ)料集數(shù)據(jù)

Stack Overflow是一個(gè)與編程相關(guān)的IT技術(shù)問(wèn)答網(wǎng)站。通過(guò)下載MSR 2015站提供的最新的關(guān)于Stack Overflow內(nèi)容的官方數(shù)據(jù)，由Stack Exchange在Internet Archive提供。這些數(shù)據(jù)包括問(wèn)題標(biāo)題、問(wèn)題答案、問(wèn)題標(biāo)簽、問(wèn)題描述等相關(guān)信息。為了不影響實(shí)驗(yàn)結(jié)果和保持?jǐn)?shù)據(jù)的平衡性，在這里我們選取2014年1月到2015年2月的熱門(mén)度靠前的10個(gè)標(biāo)簽項(xiàng)的相關(guān)信息，除去沒(méi)有答案的問(wèn)題，共有27 639個(gè)問(wèn)題標(biāo)題和12 477個(gè)問(wèn)題答案。在有答案的問(wèn)題中，23 426個(gè)問(wèn)題有最佳答案。

實(shí)驗(yàn)前，先使用WVTool工具對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。將2013年2月以后的包含最佳答案的問(wèn)題作為測(cè)試用例集，其中包含2 254個(gè)問(wèn)題。

3.2 實(shí)驗(yàn)的評(píng)測(cè)指標(biāo)

本文主要通過(guò)Top-k準(zhǔn)確率來(lái)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。通過(guò)對(duì)比和分析實(shí)驗(yàn)結(jié)果，驗(yàn)證FIARS策略的有效性。

Top-k準(zhǔn)確率表示算法推薦的前k個(gè)答案的準(zhǔn)確性。當(dāng)k越小，Top-k越大時(shí)，推薦算法的推薦效果越好。本文中選擇k值為1、3、5和10。例如，Ar={a,b,c,d,e}，Ac={a,c,f,b,e,d}，則Top-1、Top-3、Top-5、Top-10準(zhǔn)確率依次為100%、66.7%、80%和100%。

3.3 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)1特征融合驗(yàn)證。

對(duì)于問(wèn)題相似度中a的取值，因?yàn)閱?wèn)題標(biāo)題和問(wèn)題標(biāo)簽對(duì)于問(wèn)題相似度的計(jì)算同等重要，所以本文選取a值為0.5。

在過(guò)去的研究中，新問(wèn)題答案推薦只根據(jù)問(wèn)題標(biāo)題信息進(jìn)行模糊匹配，忽略問(wèn)題標(biāo)簽、問(wèn)題描述和問(wèn)題標(biāo)題語(yǔ)義信息。我們通過(guò)是否考慮問(wèn)題的特征融合進(jìn)行對(duì)比，分析Top-k的變化，驗(yàn)證特征融合對(duì)答案推薦的影響。實(shí)驗(yàn)結(jié)果如表1所示。

表1 是否考慮特征融合答案推薦結(jié)果對(duì)比 %

由表1可以看出，考慮特征融合的答案推薦準(zhǔn)確率高于不考慮特征融合。只根據(jù)標(biāo)題進(jìn)行模糊匹配，丟失了問(wèn)題的大量信息，導(dǎo)致準(zhǔn)確率大大降低。

實(shí)驗(yàn)2FIARS策略與其他答案推薦模型對(duì)比。

為了驗(yàn)證FIARS策略對(duì)答案推薦的有效性，采用兩種不同的推薦方法與本文提出的FIARS策略方法進(jìn)行對(duì)比，具體對(duì)比方法如下：

(1) PLSA[3]。利用PLSA模型計(jì)算每個(gè)用戶的興趣主題分布，并且綜合問(wèn)題答案之間的相似度和用戶與問(wèn)題主題分布領(lǐng)域的相似度對(duì)答案進(jìn)行推薦。

(2) hypernym[5]。在biLSTM之上建立了卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，使用該結(jié)構(gòu)將查詢和答案映射到它們對(duì)應(yīng)的分布向量，學(xué)習(xí)查詢和答案之間的語(yǔ)義相似性，對(duì)答案重新排名。

(3) FIARS。本文所提策略。

根據(jù)以上方法進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。

表2 各種方法的Top-k準(zhǔn)確率對(duì)比 %

由表2可以看出，采用各種方法得出FIARS策略的Top-k準(zhǔn)確率最高，本文策略在Stack Overflow系統(tǒng)上Top-10準(zhǔn)確率達(dá)到66.94%，而hypernym和PLSA在Top-10的準(zhǔn)確率低于FIARS策略。說(shuō)明考慮問(wèn)題標(biāo)題、問(wèn)題描述、問(wèn)題標(biāo)簽和語(yǔ)義能夠有效地提高推薦準(zhǔn)確率。

由以上實(shí)驗(yàn)結(jié)果可以看出，本文提出的FIARS策略較之已有方法更有效，推薦的準(zhǔn)確率更高。

4 結(jié) 語(yǔ)

本文提出了Stack Overflow系統(tǒng)的特征融合答案推薦策略。該策略綜合問(wèn)題標(biāo)題、問(wèn)題標(biāo)簽、問(wèn)題描述和語(yǔ)義為問(wèn)題推薦答案。實(shí)驗(yàn)結(jié)果表明，該策略能夠有效地為用戶提交的問(wèn)題推薦答案，達(dá)到用戶問(wèn)題快速、準(zhǔn)確解決的目的。在今后的工作中，將會(huì)把FIARS策略應(yīng)用到其他的社區(qū)問(wèn)答系統(tǒng)中，例如知乎、百度知道、Yahoo Answers，進(jìn)一步驗(yàn)證FIARS策略的有效性。雖然本文提出的策略能有效地彌補(bǔ)其他模型中缺少語(yǔ)義信息的不足，但是在使用WordNet提取語(yǔ)義信息的過(guò)程中效率低，所以未來(lái)的工作就是要提高提取語(yǔ)義信息的效率，使用基于機(jī)器學(xué)習(xí)構(gòu)建語(yǔ)義網(wǎng)絡(luò)。