李 鑫

(河南大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，河南 開封 475000)

0 引 言

近年來，隨著Web2.0技術(shù)的興起，大量功能豐富的Web服務(wù)不斷涌現(xiàn)。Web服務(wù)基于互聯(lián)網(wǎng)提供一種端到端的解決方案，由于其低成本、簡單易用等優(yōu)點(diǎn)逐漸受到開發(fā)者們的青睞。為了滿足更復(fù)雜的場景和個(gè)性化需求，人們將多種功能不同的Web服務(wù)及其資源組合成Mashup服務(wù)。由于Web服務(wù)所處網(wǎng)絡(luò)環(huán)境動(dòng)態(tài)變化，導(dǎo)致用戶選擇并調(diào)用的Web服務(wù)常常不可獲取(unavailable)，即發(fā)生服務(wù)失效，這在一定程度上影響了用戶對服務(wù)的選擇，進(jìn)而影響Mashup服務(wù)的應(yīng)用。因此，在Web服務(wù)出現(xiàn)失效或不可用的情況下，獲取(unavailable)，即發(fā)生服務(wù)失效，這在一定程度上影響用戶對服務(wù)的選擇，進(jìn)而影響Mashup服務(wù)的應(yīng)用。因此，在Web服務(wù)出現(xiàn)失效或不可用的情況下，如何為用戶推薦可替代的Web服務(wù)，仍然是一個(gè)亟待解決的關(guān)鍵問題。

目前，國內(nèi)外研究人員針對失效服務(wù)無法調(diào)用的情形進(jìn)行了相關(guān)研究。文獻(xiàn)[1]探討了服務(wù)描述文檔(WSDL)中無效文件格式、解析錯(cuò)誤和調(diào)用目標(biāo)異常等造成服務(wù)失效的具體原因。文獻(xiàn)[2]采用基于WordNet的概念語義進(jìn)行功能相似度匹配，然后根據(jù)服務(wù)的調(diào)用率，從Web服務(wù)描述文檔質(zhì)量角度構(gòu)建Web服務(wù)質(zhì)量評(píng)價(jià)模型，進(jìn)而選取服務(wù)以替換無效的Web服務(wù)。文獻(xiàn)[3]在流程執(zhí)行前，通過查詢UDDI及QoS約束過濾，預(yù)先獲得各成員服務(wù)的候選服務(wù)集合，并引入面向切面技術(shù)擴(kuò)展BPEL引擎，通過容錯(cuò)代理切面攔截服務(wù)請求和調(diào)用服務(wù)實(shí)例，在服務(wù)失效時(shí)利用候選服務(wù)集合中的等價(jià)服務(wù)替代失效服務(wù)。但是，上述方法在為失效服務(wù)選擇可替代服務(wù)時(shí)沒有考慮到服務(wù)本身的規(guī)格信息，比如服務(wù)遵循的協(xié)議、服務(wù)的相應(yīng)格式等。

針對該問題，該文提出了一種面向Mashup應(yīng)用的API推薦方法。該方法首先從服務(wù)注冊網(wǎng)站Programmableweb上爬取了API描述信息及其規(guī)格(Specs)信息，并對API的描述信息和規(guī)格信息進(jìn)行預(yù)處理；在此基礎(chǔ)上，通過LDA(latent Dirichlet allocation)主題模型對API描述信息進(jìn)行主題聚類，然后從功能相似性角度出發(fā)，識(shí)別失效API所屬的主題類簇，進(jìn)而從API的規(guī)格信息方面通過Jaccard系數(shù)對失效API所屬的類簇內(nèi)的API進(jìn)行篩選，將失效API與類簇內(nèi)篩選后的API進(jìn)行描述相似度計(jì)算并將相似度從高到低排序，將前Top-n個(gè)API進(jìn)行推薦。

1 相關(guān)研究

文獻(xiàn)[4]通過以Web API的描述文檔信息為語料庫，通過HDP模型訓(xùn)練每個(gè)Web API的主題分布向量，利用已生成的主題模型預(yù)測每個(gè)Mashup的主題分布向量，用于相似度計(jì)算，并將Mashup間的相似度、Web API間的相似度、Web API的流行度共現(xiàn)性作為模型的輸入信息，將得到的評(píng)分排序獲取用于推薦的Web APIs集合。文獻(xiàn)[5]通過用戶歷史記錄信息，獲得用戶對API服務(wù)的興趣值，從而得到用戶對API的評(píng)分，通過Mashup調(diào)用API次數(shù)可以獲得Mashup的評(píng)價(jià)貢獻(xiàn)和API訪問量，獲得API服務(wù)的信譽(yù)評(píng)價(jià)值，根據(jù)用戶對API服務(wù)的興趣值以及信譽(yù)評(píng)價(jià)值，獲取API服務(wù)的排名順序，從而實(shí)現(xiàn)推薦。文獻(xiàn)[6]針對API服務(wù)進(jìn)行個(gè)性化推薦，其方法是通過Spark計(jì)算框架與改進(jìn)的相似度計(jì)算相結(jié)合，解決了傳統(tǒng)算法中的數(shù)據(jù)稀疏問題，提高了推薦算法的執(zhí)行效率。

上述方法雖然考慮了API的表征能力以及API的流行度共現(xiàn)性，但是沒有考慮到API本身的規(guī)格信息，比如，Programmableweb網(wǎng)站中每個(gè)API都有相應(yīng)的Specs信息,具體包括Authentication Model、SSL Support、Supported Response Formats、Supported Request Formats等。在該研究中，首先對預(yù)處理后的API進(jìn)行主題聚類，然后結(jié)合API的規(guī)格信息對特定主題類簇下的API進(jìn)行過濾，在此基礎(chǔ)上進(jìn)行相似度計(jì)算，將相似度排名Top-n的API推薦給用戶。

服務(wù)聚類是輔助服務(wù)發(fā)現(xiàn)的一種重要方法。目前基于相似度的服務(wù)聚類方法已有大量研究，具體描述如下：

(1)基于用戶自身偏好相似度的服務(wù)聚類。文獻(xiàn)[7]提出為用戶與物品之間定義了一層關(guān)系，這層關(guān)系是由用戶自身偏好的關(guān)鍵屬性決定的，由此來排除不符合這層關(guān)系的集合，并結(jié)合對各個(gè)不同屬性分配不同的權(quán)重來挑選出最符合的服務(wù)。文獻(xiàn)[8]提出了基于Web服務(wù)描述語言、服務(wù)本體描述語言和文本方法的Web服務(wù)聚類方法。

(2)基于服務(wù)文本相似性的服務(wù)聚類。文獻(xiàn)[9]提出一種可以分步驟的對服務(wù)進(jìn)行聚類的方法，第一步，先是利用一個(gè)具有融合領(lǐng)域特性的支持向量機(jī)對一個(gè)服務(wù)進(jìn)行分類的操作；第二步，對進(jìn)行分類后得到領(lǐng)域內(nèi)服務(wù)的集合進(jìn)行主題特性聚類。文獻(xiàn)[10]通過建立一個(gè)服務(wù)的融合領(lǐng)域特征和內(nèi)容支持向量，并通過使用T-LDA方法建立一個(gè)融合領(lǐng)域標(biāo)簽信息得到的隱含主題信息表示模型，用于同一融合領(lǐng)域服務(wù)進(jìn)行聚類的操作。

(3)基于LDA的服務(wù)聚類。采用LDA的主題模型對其服務(wù)描述信息模型文檔進(jìn)行了建模，并設(shè)計(jì)和分析其包含的主題描述信息的分布，挖掘潛在語義知識(shí)，有助于解決使用單一關(guān)鍵字引起的信息丟失問題。

該文基于Word2vec和LDA對API描述文檔進(jìn)行主題聚類，在此基礎(chǔ)上，結(jié)合API本身的規(guī)格信息，有利于提高可替代API服務(wù)推薦的準(zhǔn)確率。

2 融合描述和Specs的API推薦方法

2.1 方法的框架研究

研究框架如圖1所示。首先通過網(wǎng)絡(luò)爬蟲技術(shù)爬取Programmableweb網(wǎng)站上的API描述信息和API Specs信息，然后對API描述信息和API Specs信息進(jìn)行預(yù)處理。在此基礎(chǔ)上，基于Word2Vec和LDA主題模型對預(yù)處理后的API描述信息進(jìn)行主題聚類；針對特定失效API，通過相似度計(jì)算識(shí)別該API所屬的主題類簇；進(jìn)一步通過Jaccard系數(shù)計(jì)算該主題類簇下的API的規(guī)格信息與失效API的規(guī)格信息間的相似度，篩選出規(guī)格信息滿足要求的API集。最后將失效API與篩選后的API集合中的每個(gè)API進(jìn)行相似度計(jì)算，將相似度較高的Top-n個(gè)API返回，從而實(shí)現(xiàn)失效API的推薦。

圖1 融合描述和Specs的API推薦框架

2.2 基于描述和Specs的API推薦

2.2.1 數(shù)據(jù)收集及預(yù)處理

實(shí)驗(yàn)數(shù)據(jù)來自Programmableweb.com網(wǎng)站上的真實(shí)服務(wù)數(shù)據(jù)。該網(wǎng)站提供了大量的API服務(wù)數(shù)據(jù)。爬取了Programmableweb網(wǎng)站上包含API數(shù)目大于900的“category”中所有API的描述信息以及Specs信息，主要包括Authentication Model、SSL Support、Supported Response Formats、Supported Request Formats等。

接下來，需要對每個(gè)API描述信息和Specs信息進(jìn)行預(yù)處理。首先對API描述中的句子進(jìn)行過濾，去掉數(shù)字、標(biāo)點(diǎn)以及非字母符號(hào)，并將字母統(tǒng)一小寫；然后進(jìn)行錯(cuò)別單詞檢測，下一步建立停用詞表去除文本中的所有停用詞，例如“an”、“it”、“is”、“and”等等；最后將這些英文單詞全部進(jìn)行了詞干化處理，主要解決方法包括將復(fù)數(shù)名詞變?yōu)閱螖?shù)和動(dòng)詞時(shí)態(tài)形式變?yōu)樵嫉膭?dòng)詞形態(tài)等。

2.2.2 基于描述的API聚類

LDA是一種文檔主題生成模型，包含特征詞、隱含主題和文檔三層結(jié)構(gòu)[11]。LDA可以將文檔集中每篇文檔的主題以概率分布的形式給出，從而通過分析一些文檔抽取出它們的主題(分布)，進(jìn)而根據(jù)主題(分布)進(jìn)行主題聚類或文本分類。該文使用LDA主題模型對預(yù)處理后的API描述進(jìn)行聚類。LDA主題概率模型建模過程是一個(gè)通過文檔集合建立生成模型的反向過程。假設(shè)給定一個(gè)文檔集D，其包含M個(gè)文檔，主題數(shù)為k，即Nm為第m個(gè)文檔的單詞總數(shù)，Zm,n為第m個(gè)文檔中第n個(gè)詞的主題；Wm,n為m個(gè)文檔中的第n個(gè)詞；α和β為它們的先驗(yàn)參數(shù)；隱含變量θm表示第m個(gè)文檔下的Topic分布；φk表示第k個(gè)主題下詞的分布D={d1,d2,…,dm},dm={wm1,wm2,…,wmn}表示第m篇文檔，zm={zm1,zm2,…,zmn}表示文檔dm中每個(gè)單詞對應(yīng)所屬主題的集合。

將API描述信息作為LDA模型的輸入，采用吉布斯抽樣(Gibbs sampling)方法，得到每個(gè)描述文檔的文檔主題矩陣和詞主題矩陣，根據(jù)每個(gè)API包含的不同主題的概率對API描述信息進(jìn)行聚類。假設(shè)API的描述信息Di包含r個(gè)主題T1,T2,…,Tr，P(Di,Tr)表示API描述信息Di包含主題Tr的概率。如果一個(gè)API包含某個(gè)主題的概率越大，則該API屬于該主題的可能性就越大。因此，如果一個(gè)API包含某個(gè)主題的概率最大，認(rèn)為該API就屬于相應(yīng)的主題類簇；在此基礎(chǔ)上，得到聚類后的API類簇集以及每個(gè)主題包含的主題特征詞集。

Word2Vec算法是基于詞嵌入的新方法，可以將幾萬個(gè)詞特征縮減到幾百甚至幾十維度，可以解決文本分類維度災(zāi)難的問題[12]。由于一部分API的描述信息過短，直接利用LDA主題建模方法難以有效估計(jì)出API的隱含主題，而Word2ec能夠?qū)⒁粋€(gè)詞轉(zhuǎn)化為一個(gè)詞向量，所以該文采用Word2ec進(jìn)行文本向量化。首先用維基百科的語料庫訓(xùn)練一個(gè)詞向量模型，然后用這個(gè)詞向量模型對LDA主題特征詞進(jìn)行向量化，由于Word2Vec模型無法區(qū)分提取出的特征詞的重要程度，故將該特征詞的TF-IDF值作為權(quán)重，與Word2Vec模型相結(jié)合，得到最終的API描述文本向量[13]。

2.2.3 基于Specs和相似度計(jì)算的API推薦

(1)識(shí)別API所屬類簇。

特定失效API首先通過預(yù)處理，然后將預(yù)處理后的失效API和2.2.2節(jié)API聚類產(chǎn)生的主題特征詞通過Word2Vec進(jìn)行向量化，進(jìn)而采用余弦相似度計(jì)算失效API與聚類產(chǎn)生的主題類簇間的相似度，計(jì)算公式如下：

(1)

其中，sim(D,T)的取值范圍為[0，1]。如果sim(D,T)越大，表示失效API與該主題類簇內(nèi)的API越相似；因此，當(dāng)失效API與特定主題間得到的sim(D,T)最大時(shí)，就認(rèn)為給定的失效API屬于該主題類簇。

(2)通過Specs進(jìn)行篩選。

識(shí)別失效API所屬主題類簇后，進(jìn)一步通過API Specs信息對類簇內(nèi)的API進(jìn)行篩選，以提高方法的性能。采用的API Specs信息主要包括Authentication Model、SSL Support、Supported Response Formats、Supported Request Formats等。通過Jaccard系數(shù)計(jì)算失效API與類簇內(nèi)每個(gè)API間Specs信息的相關(guān)度[14]，如式(2)所示。

(2)

其中，Sd，St分別表示失效API規(guī)格信息集和主題類簇中相應(yīng)API的規(guī)格信息集，J(Sd,St)屬于[0，1]。當(dāng)J(Sd,St)大于特定閾值時(shí)，表示目標(biāo)API規(guī)格信息與主題類簇中API的規(guī)格信息間的相似度越高，從而得到篩選后的類簇中的API集合。

(3)相似度計(jì)算。

將篩選后的API集合通過Word2Vec進(jìn)行向量化，然后采用余弦相似度計(jì)算失效API與篩選后的每個(gè)API間的描述相似度。

(4)排序。

將步驟3得到的相似度按照從大到小的順序進(jìn)行排序，取前Top-n個(gè)API進(jìn)行推薦。

算法：基于Specs和相似度計(jì)算的API推薦算法。

輸入:失效API的描述文檔Di，失效API的Specs信息Sd，主題特征詞集合T，每個(gè)主題類簇下API描述文檔集合Dt，每個(gè)主題類簇下API的Specs信息集合St，閾值th。

輸出:Top-n個(gè)API列表。

(a)通過Word2Vec將失效API的描述文檔Di和主題特征詞集合T中的詞進(jìn)行向量化。

(b)根據(jù)式(1)計(jì)算失效API的描述Di與主題特征詞間的相似度。

(c)根據(jù)得到的相似度識(shí)別失效API所屬的主題類簇。

(d)在識(shí)別的主題類簇下，根據(jù)式(2)計(jì)算失效API的Specs信息與主題類簇下API的Specs信息間的Jaccard系數(shù)。

(e)遍歷得到的Jaccard系數(shù)，統(tǒng)計(jì)系數(shù)大于閾值th的API集合Ds。

(f)將Ds中的每個(gè)API的描述信息通過Word2Vec進(jìn)行向量化。

(g)通過余弦相似度計(jì)算失效API的描述信息Di與Ds中向量化后的每個(gè)API描述間的相似度。

(h)將得到的相似度按照從大到小排序，選擇Top-n個(gè)API作為推薦結(jié)果。

3 實(shí)驗(yàn)結(jié)果分析

本節(jié)進(jìn)行實(shí)驗(yàn)驗(yàn)證，通過Programmableweb網(wǎng)站上真實(shí)的API數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，以驗(yàn)證方法的有效性。

3.1 實(shí)驗(yàn)準(zhǔn)備

所有實(shí)驗(yàn)和算法均通過JAVA實(shí)現(xiàn)，開發(fā)環(huán)境為Eclipse，所有實(shí)驗(yàn)均運(yùn)行在一臺(tái)具有Intel Core i5-8300 CPU，8 GB內(nèi)存，操作系統(tǒng)為Windows10的PC上。

從Programmableweb網(wǎng)站上收集“category”中API數(shù)目大于900的“category”中的API，并從中隨機(jī)選取Mapping、Financial、eCommerce、Data、Cloud、Analytics 7個(gè)領(lǐng)域包括7 600個(gè)API的描述信息以及Specs信息進(jìn)行實(shí)驗(yàn)。

3.2 評(píng)估指標(biāo)

該文采用聚類純度(purity)和F-measure兩個(gè)指標(biāo)評(píng)估聚類的結(jié)果。聚類純度采用式(3)進(jìn)行計(jì)算，其中k是聚類的數(shù)目，m是整個(gè)聚類所涉及到的文本個(gè)數(shù)，mi表示聚類i中所有成員個(gè)數(shù)，pi表示聚類i中的成員屬于類的概率。P是精確率，R是召回率，計(jì)算公式分別如式(4)、式(5)所示，TP(true positives)表示正類判定為正類，F(xiàn)P(false positives)表示負(fù)類判定為正類，F(xiàn)N(false negatives)表示正類判定為負(fù)類，F(xiàn)-measure通過式(6)進(jìn)行計(jì)算，其中β是參數(shù)，一般取值為1。

(3)

(4)

(5)

(6)

采用準(zhǔn)確率和平均絕對誤差評(píng)估推薦方法的有效性。準(zhǔn)確率計(jì)算公式為式(7)，其中Pre表示準(zhǔn)確率，Ni表示匹配成功的API的數(shù)目，Nj表示Top-n個(gè)API。平均絕對誤差計(jì)算公式如式(8)，其中pm表示對Programmableweb網(wǎng)站上原有失效API的相似API的評(píng)分，tm表示實(shí)驗(yàn)中不同方法得到的相似API的評(píng)分，n表示得到的相似API的個(gè)數(shù)，評(píng)分取值為[0，1]。MAE值越小，表示得到的推薦結(jié)果越準(zhǔn)確。

(7)

(8)

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 聚類結(jié)果分析

實(shí)驗(yàn)中先確定LDA中主題個(gè)數(shù)k的不同取值對服務(wù)聚類效果的影響。為了客觀體現(xiàn)k的取值對聚類的影響，選取不同的k值進(jìn)行實(shí)驗(yàn)，然后對聚類結(jié)果取平均值。結(jié)果如表1所示。

表1 k的取值對聚類效果的影響

實(shí)驗(yàn)表明，當(dāng)主題個(gè)數(shù)為5，7，10的時(shí)候，聚類的實(shí)驗(yàn)效果比主題個(gè)數(shù)為15，20時(shí)更好，可能是采取的實(shí)驗(yàn)數(shù)據(jù)較小的原因，而當(dāng)主題數(shù)為7時(shí)的聚類效果最好，因?yàn)閷?shí)驗(yàn)數(shù)據(jù)是隨機(jī)選擇的7個(gè)領(lǐng)域的API數(shù)據(jù)的集合，所以主題數(shù)為7時(shí)效果最好。

聚類結(jié)果的好壞對推薦結(jié)果的準(zhǔn)確性會(huì)產(chǎn)生一定影響，因此，設(shè)計(jì)表2中的4種方法進(jìn)行實(shí)驗(yàn)，以驗(yàn)證文中聚類方法的有效性。

表2 四種方法的描述

四種方法得到的聚類結(jié)果如圖2所示。

圖2 四種方法的純度和F-measure對比

從圖2中可以看出，通過基于Word2Vec和LDA主題模型的聚類方法LDAw得到的聚類效果更好。K-meanst算法聚類效果最差的原因可能是使用K-means算法有初始聚類中心選擇的任意性，使得每個(gè)類簇所包括的API信息相差較大，從而導(dǎo)致純度較低。

3.3.2 推薦結(jié)果分析

以“Google Cloud Inference API”為失效API，通過相似度計(jì)算識(shí)別出該API屬于Analytics主題類簇，進(jìn)一步計(jì)算該API的Specs信息與Analytics主題類簇下每個(gè)API Specs信息間的Jaccard系數(shù)，將閾值th設(shè)置為0.5，得到篩選后的658個(gè)API，進(jìn)而計(jì)算該失效API與658個(gè)API間的相似度。表3為相似度top-10的API及相應(yīng)的相似度。

表3 top-10 API及相似度

為了體現(xiàn)文中推薦方法的有效性，設(shè)計(jì)表4所示的對比方法進(jìn)行實(shí)驗(yàn)驗(yàn)證。

表4 八種方法的描述

表4中的8種方法得到的實(shí)驗(yàn)結(jié)果分別如圖3、圖4所示。

從圖3、圖4中可以看出，m1，m3，m5，m7中采用了TF-IDF進(jìn)行向量化，可能引起向量維度爆炸的問題且沒有考慮到語義相關(guān)性，沒有取得良好的推薦效果；m2，m4，m6，m8中采用了Word2Vec進(jìn)行向量化[15]，取得了較好的實(shí)驗(yàn)結(jié)果，表明考慮API的Specs信息一定程度上可以提高推薦的準(zhǔn)確率，驗(yàn)證了所提推薦方法的有效性。

圖3 八種方法的準(zhǔn)確率對比

圖4 八種方法的平均絕對誤差對比

4 結(jié)束語

該文提出了一種面向Mashup應(yīng)用的API推薦方法，首先通過LDA主題模型對API描述進(jìn)行聚類[16]，然后通過失效API與類簇間的相似度計(jì)算，識(shí)別失效API所屬的主題類簇，并根據(jù)API的規(guī)格信息對識(shí)別類簇內(nèi)的API進(jìn)行篩選，進(jìn)一步計(jì)算失效API與篩選后的API間的相似度，將相似度較高的Top-n個(gè)API進(jìn)行推薦。通過對真實(shí)服務(wù)集進(jìn)行實(shí)驗(yàn)表明，該方法推薦準(zhǔn)確率較高，驗(yàn)證了該方法的可行性和有效性。

在未來工作中，還需要改進(jìn)的地方如下：

(1)考慮到Programmableweb網(wǎng)站上API有標(biāo)簽[17]的存在，該文沒有考慮標(biāo)簽的因素，可能會(huì)造成一定誤差，下一步可以考慮加入Programmableweb網(wǎng)站上的標(biāo)簽信息。

(2)目前推薦的API僅來源于一個(gè)服務(wù)類簇，下一步可考慮主題類簇間的相關(guān)性，擴(kuò)大推薦范圍，以更好地提高方法的性能。