曹步清　文一憑　王少偉

1(湖南科技大學計算機科學與工程學院，知識處理與網(wǎng)絡化制造湖南省重點實驗室　湖南 湘潭 411201)

2(武漢大學軟件工程國家重點實驗室　湖北 武漢 430072)

?

基于Restful的Mashup應用服務系統(tǒng)

曹步清1,2文一憑1王少偉1

1(湖南科技大學計算機科學與工程學院，知識處理與網(wǎng)絡化制造湖南省重點實驗室湖南 湘潭 411201)

2(武漢大學軟件工程國家重點實驗室湖北 武漢 430072)

摘要輕量級Restful架構、采用開放Web API組合得到的Mashup應用，發(fā)展迅速、數(shù)量眾多。開發(fā)者用戶如何準確、快速地找到所需的高質(zhì)量Mashup應用，以構建面向Mashup應用的服務系統(tǒng)，成為一個具有挑戰(zhàn)性的問題。針對該問題，開發(fā)了一個基于Restful的Mashup應用服務系統(tǒng)，采用TF/IDF、Jacard相似度系數(shù)等關鍵技術，實現(xiàn)了Mashup應用的注冊與管理、匹配與搜索、Mashup網(wǎng)絡構建，以及Mashup應用推薦等功能。測試結果表明該系統(tǒng)界面友好，功能完備，能夠幫助開發(fā)者用戶快速、準確地找到所需的高質(zhì)量Mashup應用。

關鍵詞RestfulMashup應用Mashup應用匹配Mashup應用推薦

MASHUP APPLICATION SERVICE SYSTEM BASED ON RESTFUL TECHNOLOGY

Cao Buqing1,2Wen Yiping1Wang Shaowei1

1(Key Laboratory of Knowledge Management and Network-based Manufacturing,School of Computer Science and Engineering,Hunan University of Science and Technology,Xiangtan 411201,Hunan,China)2(State Key Laboratory of Software Engineering,Wuhan University,Wuhan 430072,Hubei,China)

AbstractLightweight Restful-based Mashup applications composed by open Web API has become very popular nowadays. It becomes a challenging problem for the users of developer to accurately and rapidly find a desired Mashup application with high-quality to construct the Mashup applications-oriented service system. To solve this problem, the paper develops a Restful technology-based Mashup application service system, it uses TF/IDF, Jaccard similarity coefficient and other technologies, and implements the functions of Mashup applications’ registration and management, matching and searching, network construction and recommendation. Test results indicate that the developed system is friendly in interface, perfect in function, and can help users of developer to find the desired and high-quality Mashup application accurately and rapidly.

KeywordsRestfulMashup applicationMashup application matchingMashup application recommendation

0引言

傳統(tǒng)的基于SOAP協(xié)議，用WSDL文檔描述的Web服務廣泛應用于互聯(lián)網(wǎng)各個領域，但也暴露出了很多問題，比如技術體系復雜、不易組合等。而輕量級的、基于Restful架構的Mashup應用，是當今互聯(lián)網(wǎng)上新出現(xiàn)的一種服務組合現(xiàn)象。它是將兩種或兩種以上的Web應用(Web API)混搭在一起，創(chuàng)建一個全新的Web應用，其具有易開發(fā)與組合等優(yōu)點，成為服務計算領域的研究熱點[1-3]，誕生了諸如Microsoft Popfly, Google Mashup Editor, IBM Mashup Center 等業(yè)界優(yōu)秀的企業(yè)Mashup 平臺，支持開發(fā)者用戶組裝簡單、靈活和動態(tài)的Web 應用[4-6]。截至2014 年6 月10 日，著名網(wǎng)站ProgrammableWeb 上Mashup 應用高達7064個。

隨著構建企業(yè)Mashup平臺及應用服務系統(tǒng)愈來愈受到重視，國內(nèi)外的一些研究者針對Mashup應用的搜索以及推薦等方面，開展了一些相關的研究工作。其中， Bianchini D[7]提出一種Mashup應用推薦系統(tǒng)，通過Mashup組件間的語義相似度計算所獲得的值，進行Mashup應用推薦。Maaradji A[8]提出一種基于社會網(wǎng)絡的服務組合方法，利用用戶的社會網(wǎng)絡所集聚的信息，動態(tài)地給用戶推薦Web API服務。Muhammad R[9]、Cinzia C[10]以及Picozzi M等[11]，建立了基于Mashup的服務質(zhì)量QoS模型，并根據(jù)QoS排序進行Mashup服務的推薦。

以上這些工作，利用了語義、社會網(wǎng)絡以及QoS等技術，提高了Mashup應用的搜索精度及推薦質(zhì)量，為面向Mashup應用的服務系統(tǒng)構建提供了重要的技術支撐。然而，它們暫未考慮開發(fā)者用戶的歷史搜索記錄，以較為準確地推薦用戶所感興趣的Mashup應用。特別是，Mashup應用、Web API及其Tag描述之間存在著一定關系，利用這種關系構建網(wǎng)絡并實現(xiàn)Mashup應用的搜索與推薦，將大大提高其搜索精度與推薦質(zhì)量[2,3]。

因此，在面向Mashup應用的平臺及服務系統(tǒng)構建中，開發(fā)者用戶如何準確、快速地找到所需的高質(zhì)量Mashup應用，仍然是一個挑戰(zhàn)性問題。在我們前期工作中，提出了一種基于用戶使用歷史及服務網(wǎng)絡的Mashup應用推薦方法[12]。該方法，利用了用戶的Mashup應用使用歷史，實現(xiàn)了面向Mashup應用網(wǎng)絡的相似服務推薦。以此為基礎，本文將深入研究基于TF/IDF的Mashup應用搜索與匹配技術、基于Jacard相似度系數(shù)的Mashup應用推薦技術，并開發(fā)Mashup應用服務系統(tǒng)。系統(tǒng)將幫助開發(fā)者用戶快速、準確地找到所需的高質(zhì)量Mashup應用，以提高Mashup應用及其服務系統(tǒng)的開發(fā)效率，促進大眾服務市場的成熟。

1系統(tǒng)框架與主要功能

基于Restful的Mashup應用服務系統(tǒng)，其框架如圖1所示。

圖1　基于Restful的Mashup應用服務系統(tǒng)框架

圖1所示框架，包括“功能—模型—平臺”三個層次，層層遞進。其中，“功能”是指設定系統(tǒng)的功能需求，主要包括Mashup應用注冊、搜索與推薦。“模型”是指設計系統(tǒng)所需的模型及關鍵技術；“平臺”是指編碼開發(fā)Mashup應用服務系統(tǒng)。系統(tǒng)的模型及關鍵技術描述如下：

(1) Mashup應用注冊模型該模型包括Mashup應用抓取、領域設定、HTML解析與元數(shù)據(jù)存儲等部分。Mashup應用注冊的具體流程為：首先，提供Mashup應用的網(wǎng)絡地址，并選定Mashup應用所屬領域(比如物流、地圖等)；然后，解析服務的HTML文件成功能、消息格式、程序語言、協(xié)議等信息；最后，將Mashup應用數(shù)據(jù)存儲進數(shù)據(jù)庫，從而完成Mashup應用注冊。

(2) Mashup應用搜索模型該模型提供基于關鍵字的Mashup應用模糊搜索，以及基于關鍵詞的Mashup應用匹配與精確搜索功能。其中，在基于關鍵詞的Mashup應用匹配與精確搜索中，系統(tǒng)將對所注冊的Mashup應用文檔，進行分詞處理，獲取內(nèi)容關鍵詞，構建Mashup倒排索引。利用TF/IDF技術進行文本相似度計算，實現(xiàn)用戶搜索關鍵詞與Mashup倒排索引文件之間的匹配，按相似度大小進行排序返回搜索結果。

(3) Mashup應用推薦模型該模型將根據(jù)Mashup與Web API的調(diào)用關系，Mashup與Tag之間以及Web API與Tag之間的功能標注關系，利用Jaccard相似度系數(shù)，構建出大規(guī)模的Mashup(相似關系)網(wǎng)絡，以向用戶推薦相似的Mashup應用或Mashup組合應用。

2系統(tǒng)關鍵模塊實現(xiàn)技術

2.1Mashup應用數(shù)據(jù)爬取

以ProgrammableWeb網(wǎng)站的Mashup應用數(shù)據(jù)為來源，采用JSOUP解析器，實現(xiàn)Mashup應用數(shù)據(jù)的爬取，完成Mashup應用注冊。

2.1.1數(shù)據(jù)來源

著名網(wǎng)站ProgrammableWeb是數(shù)據(jù)開放的Mashup應用和Web API服務系統(tǒng)。目前，該網(wǎng)站提供了可供開發(fā)者用戶調(diào)用的Mashup應用7064個，Web API服務11 483個。開發(fā)者用戶可從該網(wǎng)站獲得Mashup應用、Web API服務的功能信息，包括名稱、URL、提供者、標簽等。

本文以ProgrammableWeb上的這些Mashup應用、Web API以及Tag描述為數(shù)據(jù)爬取來源，并以Mashup、API、Tag的形式存儲在本地數(shù)據(jù)庫里。在此，我們只爬取了部分數(shù)據(jù)，包括6076個Mashup應用、4492個Web API，以及1736個Tag信息。

2.1.2數(shù)據(jù)爬取

2.2Mashup應用搜索

通過開源項目Lucene為Mashup創(chuàng)建索引文件，并利用TF/IDF向量分析法，實現(xiàn)基于關鍵詞的Mashup應用的匹配，以快速、準確地返回滿足用戶需求的Mashup應用。

2.2.1Mashup索引構建方法

采用Lucene構建Mashup索引的流程為：(1) Lucene是基于關鍵詞索引和查詢的，首先進行全文分析，以獲得要建立Mashup索引的內(nèi)容關鍵詞。對Mashup文檔進行分詞處理，去除the、me、in、once、too”等沒有什么實際意義的詞，提取詞干。具體是由lucene中的Analyzer類實現(xiàn)分詞，該類封裝了很多種分詞方法。(2) 根據(jù)內(nèi)容關鍵詞，建立Mashup倒排索引，提高Mashup應用的檢索效率?！暗古潘饕笔菍崿F(xiàn)單詞到文檔映射關系的最佳實現(xiàn)方式和最有效的索引結構。把“Mashup文檔號—Mashup文檔中所有關鍵詞”，轉(zhuǎn)變成“關鍵詞—擁有該關鍵詞的所有Mashup文檔號”，建立Mashup倒排索引表。Mashup應用倒排索引構建算法如下所示：

Algorithm1: BuildMashupIndexs

Input: IndexPath

//存儲索引的路徑//

Output: MashupIndexs

1.Resultset=Mashup

我國的大部分國有電力企業(yè)均具有較為龐大的機制，從而導致在開展組織管理的過程中，會出現(xiàn)由于組織龐大而導致組織的管理精細化缺失問題，且許多企業(yè)均未能建立有效的高效管理體系。不同于其他工程類型，電力工程的質(zhì)量問題將嚴重影響工程的安全性，甚至將存在一定的安全隱患，為國家和人民均帶來了巨大的經(jīng)濟損失[3]。在實際施工的過程中，許多施工企業(yè)由于缺乏高效的管理體系，導致部分施工人員的施工行為未能得到有效的規(guī)范，導致工程內(nèi)存在許多安全風險，影響了施工管理質(zhì)量。

//從數(shù)據(jù)庫中獲取Mashup的名稱、概述、Tags、URL等信息，查詢結果存放在結果集ResultSet 中//

2.while Resultset.next()

//遍歷結果集//

3.Document doc = new Document();

//doc表示索引中的一行，該數(shù)據(jù)結構中包含Step4中生成的域信息//

4.Field title = new Field ("summary", summary, Field.Store.YES, Field. Index.TOKENIZED ); //分別為Mashup的名稱、概述、Tags、URL等創(chuàng)建相應的域，F(xiàn)ield.Store.YES表示該域的存儲狀態(tài)，F(xiàn)ield. Store.YES,Field.Index.TOKENIZED表示把每個域都建成可搜索索引//

5.doc.add(Field);

//將該域放入到該索引行中//

6.writer.addDocument(doc);

//將Document添加到IndexWriter中//

7.End while

8.writer.optimize();

//基于原來索引進行索引重建//

9.writer.close();

//關閉資源//

2.2.2基于關鍵詞Mashup應用匹配與搜索

利用TF/IDF向量空間模型，在Mashup倒排索引文件與用戶搜索關鍵詞之間進行匹配，獲得的Mashup應用結果會根據(jù)匹配后的相似度分數(shù)進行排序。

在TF/IDF向量空間模型構建中，首先，把每一個Mashup倒排索引文件看作由一系列關鍵詞組成的字符串，每一個詞都有一個權重，詞會根據(jù)在文檔中的權重來影響對文檔相關性的打分。把所有此文檔中詞的權重看成一個空間向量模型，向量中的值就是該文檔中詞的權重，格式為Document={Term1,Term2,…,TermN}，對應向量為DocumentVector={Weight1,Weight2,…,WeightN}。然后，把用戶搜索關鍵詞看作一個簡單的文檔，也用向量模型來表示，格式為Query={Term1,Term2,…,TermN}，對應向量為QueryVector={Weight1,Weight2,…,WeightN}。最后，把Mashup倒排索引文件向量與用戶搜索關鍵詞向量放到一個N維空間中，由N個一維的詞(Term)，構成一個N維的空間坐標系，如圖2所示。

圖2　N維TF/IDF向量空間模型

根據(jù)以上模型，相似度分數(shù)計算如式(1)所示：

(1)

其中，q表示用戶搜索關鍵詞向量；d表示所構建的Mashup倒排索引文件向量。

2.3Mashup應用推薦

根據(jù)用戶需求，除了提供基于關鍵詞的Mashup應用搜索之外，系統(tǒng)將根據(jù)Mashup、Web API以及Tag之間的關系構建出大規(guī)模的Mashup(相似關系)網(wǎng)絡，可以向用戶推薦相似的Mashup應用或Mashup組合應用，豐富推薦結果，增強推薦的多樣性與新穎性。

Web API是指可調(diào)用的網(wǎng)絡應用程序接口。Tag是指標簽，通常用來描述事物的功能。Mashup、Web API以及Tag三者之間的關系可以表述為：一個Mashup應用由一個或多個Web API組合而成(調(diào)用關系)；一個 Mashup應用或一個Web API服務，由多個Tag所標注，用于描述它們的功能(標注關系)。我們引入Jaccard相似度系數(shù)來度量任意兩個Mashup應用的相似度。以任意兩個Mashup節(jié)點為例，根據(jù)它們所共同調(diào)用的 Web API或被共同的Tag標簽所標注而產(chǎn)生的相似度計算方法，如式(2)所示：

(2)

式中，API(Vi)，API(Vj)分別為Mashup應用 Vi,Vj所調(diào)用的相應WebAPI集合。TAG(Vi)，TAG(Vj)分別為用于標注Mashup應用Vi,Vj的相應Tag標簽集合?；谟脩舻钠脕碓O置α,β的值，α+β=1。針對任意兩個Mashup節(jié)點Vi,Vj，如其W(Vi,Vj)在一定的閾值以上，則構建邊，由此，Mashup網(wǎng)絡將逐步形成。當用戶搜索Mashup應用時，系統(tǒng)將在Mashup網(wǎng)絡中執(zhí)行Mashup應用的推薦，這里不詳述。Mashup應用網(wǎng)絡構建算法如下所示：

Algorithm2: Mashup Application Network Construction

Input：Mashup, Web API, Tag

output：MMN (Mashup-Mashup Network by Web API and Tag)

1.DataSet={{Mashup1,…,MashupN1}, { API1,…, APIN2}, {Tag1,…, TagN3}}

// 初始數(shù)據(jù)集，包括Mashup, API 以及Tag數(shù)據(jù)存儲信息 //

2.FOR i=1 TO N1

//構建Mashup應用網(wǎng)絡//

3.FOR j=i TO N1

//以下變量Num1, Num2為相同API與Tag計數(shù)//

4. { IF(Mashupi.Api=Mashupj.Api) Num1++;

5. IF(Mashupi.Tag=Mashupj.Tag) Num2++;

6. Construct Viby Mashupi, Vjby Mashupj;

//構建頂點集//

8. IF(W(Vi,Vj)>0)

9. Construct E (Mashupi, Mashupj); }

//構建邊集//

10.END FOR

11.OUTPUT MMN

//輸出MMN網(wǎng)絡

3原型系統(tǒng)實現(xiàn)及效果

3.1系統(tǒng)配置

本系統(tǒng)應用MVC設計模式思想，使用Java語言進行開發(fā)，主要用到的軟件有：(1) JDK(J2SE Development Kit)1.6：Java程序開發(fā)包；(2) MyEclipse集成開發(fā)平臺；(3) MySQL數(shù)據(jù)庫；(4) Lucene2.2.0：實現(xiàn)索引和搜索的Java類庫；(5) Tomcat 6.0(Servlet/JSP容器)；(6) JUNG2.0.1：一個用Java來建模、分析和做可視化圖表的框架；(7) Cytoscape Web 1.0.1：生物信息網(wǎng)絡關系軟件，實現(xiàn)網(wǎng)絡可視化顯示及網(wǎng)絡拓撲結構分析。

在以上這些程序包配置和安裝之后，可實現(xiàn)對本系統(tǒng)的訪問和操作， URL為http://125.221.225.2:8080/Mashup/。

3.2系統(tǒng)實現(xiàn)與效果

原型系統(tǒng)的主界面，如圖3所示，主要由Mashup應用搜索框、Mashup應用注冊消息窗口、用戶注冊與登錄窗口和所構建的Mashup網(wǎng)絡瀏覽窗口所組成。

圖3　原型系統(tǒng)主界面

3.2.1Mashup瀏覽與搜索

系統(tǒng)實現(xiàn)了基于關鍵字的Mashup應用模糊搜索功能，提供普通搜索與高級搜索兩種功能。其中，圖4為普通搜索界面，顯示了搜索關鍵字為“google”的Mashup應用搜索結果列表，包括Mashup應用的Name、Description、APIs、Tags等詳細信息。圖5為高級搜索界面，提供包括Name、Description、Tags、APIs、Date等在內(nèi)的Mashup應用組合搜索選項。

圖4　基于關鍵字的普通模糊搜索界面

圖5　基于關鍵字的高級模糊搜索界面

此外，系統(tǒng)利用TF/IDF模型，實現(xiàn)了基于關鍵詞的Mashup應用匹配與精確搜索功能。圖6為搜索Mashup應用“book”的結果。系統(tǒng)采用了Lucene構建Mashup倒排索引，并利用TF/IDF技術，實現(xiàn)了用戶搜索關鍵詞與Mashup倒排索引文件之間的匹配，搜索結果則根據(jù)相似度分數(shù)進行排序。該功能比上述模糊搜索更加精準。

圖6　基于關鍵詞的Mashup應用匹配與搜索

3.2.2Mashup網(wǎng)絡構建及推薦

系統(tǒng)根據(jù)Mashup、Web API以及Tag之間的關系，利用Jaccard系數(shù)，構建了大規(guī)模Mashup網(wǎng)絡，可向用戶推薦相似的Mashup(組合)應用。在該系統(tǒng)中使用了Cytoscape Web技術(Cytoscape Web，是在瀏覽器上顯示網(wǎng)絡圖的一個Flash插件，可實現(xiàn)服務網(wǎng)絡可視化，顯示效果好、界面美觀簡潔，適合顯示以節(jié)點為中心的、直徑在一定范圍內(nèi)的網(wǎng)絡，網(wǎng)絡規(guī)?？赏ㄟ^節(jié)點間相似度大小與具體推薦算法控制)。如圖7所示，圖上部分是用戶所搜索的Mashup應用“album-art-search”的詳細信息；圖中間部分顯示的是以album-art-search為中心的Mashup組合應用推薦網(wǎng)絡，該推薦網(wǎng)絡以紅色節(jié)點為源點，直徑為5，Mashup應用節(jié)點相似度在0.6以上；圖下部分是該網(wǎng)絡的一些具體信息(包括節(jié)點數(shù)、邊數(shù)等)，以及網(wǎng)絡中某個Mashup應用的詳細信息。

圖7　Mashup應用網(wǎng)絡構建及推薦

針對以上的Mashup應用網(wǎng)絡，可實現(xiàn)多種操作(如圖8所示)：(1) 單擊Mashup節(jié)點或者每條邊，則會顯示該節(jié)點或邊的詳細信息。雙擊某個Mashup節(jié)點則進入其詳細信息頁面；(2) 提供了Force、Directed、Circle、Radial、TreePreset等六種Mashup應用網(wǎng)絡布局形式；(3) 可放大、縮小、拖拽、移動Mashup應用網(wǎng)絡；(4) 可將該網(wǎng)絡導出為png、svg等圖片格式；(5) 提供以Mashup節(jié)點相似度為閾值的邊過濾，有選擇性地推薦相似Mashup應用。

圖8　Mashup應用網(wǎng)絡操作界面

4結語

本文針對Mashup應用的搜索與推薦問題，重點研究了基于TF/IDF技術的Mashup應用匹配與搜索方法、利用Jaccard相似度系數(shù)的Mashup應用網(wǎng)絡構建及推薦技術，并開發(fā)一個基于Restful的Mashup應用服務系統(tǒng)。該系統(tǒng)實現(xiàn)了Mashup應用的注冊與管理、匹配與搜索、網(wǎng)絡構建與推薦等功能。在將來的工作中，我們將引入Mashup應用的提供者與使用者信息，從社會網(wǎng)絡角度深入研究Mashup應用的推薦。

參考文獻

[1] Keman Huang,Yushun Fan,Wei Tan,et al.BSNet:a network-based framework for service-oriented business ecosystem management[J].Concurrency and Computation:Practice and Experience,2013,25(13):1861-1878.

[2] Keman Huang,Yushun Fan,Wei Tan.An Empirical Study of Programmable Web:A Network Analysis on a Service-Mashup System[C]//ICWS 2012,Honolulu,Hawaii,USA,2012:552-559.

[3] Jian Cao,Wenxing Xu,Liang Hu,et al.A Social-Aware Service Recommendation Approach for Mashup Creation[J].International Journal of Web Services Research,2013,10(3):53-72.

[4] 潘偉豐,李兵,邵波,等.基于軟件網(wǎng)絡的服務自動分類和推薦方法研究[J].計算機學報,2011,34(12):2355-2369.

[5] Ding W,Wang G A.Pattern-Oriented Impact Analysis Approach for Mashups[C]//SOSE,2010:55-58.

[6] Elmeleegy H.Mashup advisor:A recommendation tool for mashup development[C]//ICWS,2008:337-344.

[7] Bianchini D.A Recommendation System for SemanticMashup Design[C]//2010 Workshops on Database and Expert Systems Applications,2010:159-163.

[8] Maaradji A.Towards a Social Network Based Approach for Services Composition[C]//2010 IEEE International Conference on Communications (ICC),2010:1-5.

[9] Muhammad Raza.A Methodology for quality-based Mashup of Data Sources[C]//IIWAS2008,2008.

[10] Cinzia Cappiello.A quality model for Mashup Components[C]//Web Engineering:2009.Web Engineering,Lecture Notes in Computer Science,2009:236-250.

[11] Picozzi M.Quality-based recommendations for Mashup composition[C]//ICWE,2010:360-371.

[12] Buqing Cao,Jianxun Liu,Mingdong Tang,et al.Mashup Service Recommendation based on Usage History and Service Network[J].International Journal of Web Service Research,2013,10(4):81-100.

[13] 馬于濤,何克清,李兵,等.網(wǎng)絡化軟件的復雜網(wǎng)絡特性實證[J].軟件學報,2011,22(3):381-407.

中圖分類號TP301

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.02.004

收稿日期：2014-06-12。國家自然科學基金項目(61272063，6140 2168)；軟件工程國家重點實驗室開放基金(武漢大學)(SKLSE2014-10-10)。曹步清，講師，主研領域：軟件工程，服務計算與云計算。文一憑，講師。王少偉，碩士生。