侯 東 陽，武 昊,王 軍 鋒，王 明 山

(1.中國礦業(yè)大學環(huán)境與測繪學院，江蘇 徐州221116；2.國家基礎地理信息中心，北京 100830；3.中科九度(北京)空間信息技術有限責任公司，北京 100190； 4.中國移動通信集團湖北有限公司襄陽分公司，湖北 襄陽 441003)

?

基于深層網絡爬蟲的Web地圖服務發(fā)現(xiàn)方法

侯 東 陽1,2，武 昊2,王 軍 鋒3，王 明 山4

(1.中國礦業(yè)大學環(huán)境與測繪學院，江蘇 徐州221116；2.國家基礎地理信息中心，北京 100830；3.中科九度(北京)空間信息技術有限責任公司，北京 100190； 4.中國移動通信集團湖北有限公司襄陽分公司，湖北 襄陽 441003)

傳統(tǒng)Web地圖服務(Web Map Service，WMS)發(fā)現(xiàn)方法只能檢索表層網絡中的地圖服務，無法發(fā)現(xiàn)深層網絡中日益增加的地圖服務。針對這一現(xiàn)象，該文提出了一種利用深層網絡爬蟲的WMS發(fā)現(xiàn)方法。首先，從WMS的應用角度出發(fā)，總結了兩條WMS應用規(guī)則，并利用正則表達式對它們進行了形式化描述；然后，針對每條應用規(guī)則制定了相應的使用流程；最后以傳統(tǒng)地圖服務爬蟲為基礎，通過新增腳本解析引擎和應用規(guī)則構建了深層網絡爬蟲。實驗表明，該方法可以同時發(fā)現(xiàn)位于表層網絡和深層網絡中的Web地圖服務。

Web地圖服務；服務發(fā)現(xiàn)；爬蟲；深層網絡

0 引言

Web地圖服務(Web Map Service，WMS)是OGC(Open GIS Constrium) 提出的空間數據共享和互操作規(guī)范[1,2]。隨著OGC標準的普及和網絡技術的發(fā)展，越來越多的WMS在Web中發(fā)布[3]。為有效發(fā)現(xiàn)并利用分布在網絡上的地圖服務，借助于信息檢索技術主動發(fā)現(xiàn)WMS成為當前的一個研究熱點[4]。

目前，Web地圖服務主動發(fā)現(xiàn)主要依靠通用搜索引擎和傳統(tǒng)網絡爬蟲兩類方法。其中，基于通用搜索引擎的WMS發(fā)現(xiàn)方法主要是借助于搜索引擎提供的API(Application Programming Interface)，搜索包含WMS能力描述文件特征的網頁，然后利用規(guī)則匹配探測出WMS[2,5]。例如，Lopez-Pellicer等證明了Google、Bing和Yahoo具有發(fā)現(xiàn)Web地圖服務的能力[2]。但是通用搜索引擎API對搜索次數和搜索結果數有一定的限制，這會影響該類方法發(fā)現(xiàn)WMS的能力。為了更靈活地發(fā)現(xiàn)WMS，提出了基于傳統(tǒng)網絡爬蟲的WMS發(fā)現(xiàn)方法。該類方法是以用戶給定的初始URL(Uniform Resource Location)為入口，利用傳統(tǒng)網絡爬蟲技術在網絡中自動搜索下載潛在的WMS網頁，然后利用規(guī)則匹配探測出WMS服務[1,3,6,7]。例如，陳能成等[1]和Sample 等[6]分別基于改進的開源網絡爬蟲Nutch和Heritrix主動發(fā)現(xiàn)網絡中的WMS。這類方法能夠高效地發(fā)現(xiàn)WMS及其他OGC服務，卻不能發(fā)現(xiàn)隱藏在深層網絡中的WMS[5]。其中，深層網絡是指網絡中難以直接被傳統(tǒng)搜索引擎/網絡爬蟲采集到的資源集合，包括隱藏在JavaScript腳本語言中的資源或通過填寫并提交查詢表單才能訪問的在線數據庫資源等[8,9]。因為通用搜索引擎和傳統(tǒng)網絡爬蟲在網頁搜索和解析過程中缺少處理JavaScript腳本語言和提交表單的能力[8]，所以，它們都不能有效發(fā)現(xiàn)隱藏在深層網絡中的WMS。

因此,針對以上問題，本文提出了一種利用深層網絡爬蟲的Web地圖服務發(fā)現(xiàn)方法。由于OGC的其他服務(如Web要素服務、Web覆蓋服務等)與WMS在協(xié)議和接口上有很大的相似性[4,7]，所以該方法可以平穩(wěn)過渡到其他OGC服務的發(fā)現(xiàn)。

1 基于深層網絡爬蟲的WMS發(fā)現(xiàn)框架

傳統(tǒng)網絡爬蟲是從一些初始URL出發(fā)，通過HTTP(Hyper Text Transfer Protocol)等協(xié)議請求并獲取網頁資源，然后利用網頁解析引擎分析網頁內容并提取鏈接，最終以循環(huán)迭代的方式采集整個表層網絡資源[4,10]。而深層爬蟲則需要利用JavaScript腳本引擎或表單提交器獲取分析JavaScript腳本內容或表單內容等動態(tài)網頁，以此達到循環(huán)采集深層網絡資源的目的[9]。在大多數網絡地理信息系統(tǒng)中，WMS是以JavaScript腳本的形式嵌入其中的[11]，如全球30 m地表覆蓋瀏覽網站(http://www.globallandcover.com/)、 美國國家農業(yè)統(tǒng)計局耕地服務網站(http://nassgeodata.gmu.edu/CropScape/) 等。 為了有效獲取這些隱藏在JavaScript腳本語言中的WMS服務，本文針對WMS服務應用形式的特征，以傳統(tǒng)網絡爬蟲為基礎，構造了深層網絡爬蟲，其框架如圖1所示。

圖1 基于深層網絡爬蟲的WMS發(fā)現(xiàn)框架

Fig.1 Framework of the proposed approach

基于深層網絡爬蟲的WMS發(fā)現(xiàn)方法由9個模塊組成：1)初始URL是整個爬蟲的起始點，是爬蟲與Web之間的連接點，可以由人工或借助于通用搜索引擎設定。2)頁面獲取模塊負責下載初始URL或URL優(yōu)先級隊列中URL所對應的網頁源碼。獲得網頁源碼后，該方法會根據網頁源碼是否包含OpenLayers.js(也可能引用OpenLayers其他形式的文件，如OpenLayers.debug.js等，本文僅以OpenLayers.js為代表，在實際系統(tǒng)開發(fā)時，會對所有形式進行判斷)文件來判斷出哪些網頁可能會在腳本中引用WMS。本文將腳本中引用WMS的網頁稱作地圖網頁，其他網頁稱作非地圖網頁。3)頁面解析模塊主要采用HTML頁面解析引擎和正文提取規(guī)則獲得非地圖網頁的正文內容。4)主題相關度計算模塊負責判斷非地圖網頁是否與給定的WMS主題詞相關。本文主要采用傳統(tǒng)的向量空間模型和余弦公式計算主題相關度。如果相關度值小于某一閾值，則丟棄該網頁及該網頁中的其他鏈接。5)如果相關度值大于某一閾值，則執(zhí)行鏈接提取模塊。該模塊主要采用HTML頁面解析引擎和鏈接提取規(guī)則，負責提取非地圖網頁包含的鏈接地址，并將其存儲在URL優(yōu)先級隊列中。其中鏈接的優(yōu)先級由其父網頁的相關度值和錨文本的相關度值確定。6)WMS探測1模塊負責探測非地圖網頁中的潛在WMS鏈接，即一些動態(tài)網頁或那些非.html、.edu及.com等結尾的網頁。7)腳本解析模塊負責解析潛在地圖網頁中的JavaScript腳本，它主要借助于腳本解析引擎分析獲取地圖網頁的腳本內容。為保證效率，腳本解析引擎只會分析那些可能引用WMS的JavaScript腳本，這一優(yōu)化過程會在事先總結的規(guī)則下進行。8)WMS探測2模塊主要負責從JavaScript腳本內容中識別潛在的WMS鏈接，它主要是在WMS應用規(guī)則的基礎上，利用規(guī)則匹配實現(xiàn)的。9)WMS驗證模塊負責檢驗潛在WMS鏈接是否可用。驗證時，該模塊首先發(fā)送GetCapabilities請求，然后采用XML解析器解析返回的消息，如果服務可用則將其保存在WMS數據庫，否則拋棄該鏈接。循環(huán)迭代以上過程，直到主題URL隊列為空或滿足一定的結束條件。

基于深層網絡爬蟲的WMS服務發(fā)現(xiàn)方法與基于傳統(tǒng)網絡爬蟲方法的不同之處在于：從WMS服務應用的角度，區(qū)別對待了以JavaScript腳本形式應用WMS服務的網頁，增加了腳本解析引擎、應用規(guī)則及不同的WMS探測方法，以便發(fā)現(xiàn)隱藏在JavaScript腳本語言中的WMS服務。

2 深層網絡爬蟲策略

2.1 WMS的應用特征

本文通過文獻分析發(fā)現(xiàn)研究者和網絡地理信息系統(tǒng)開發(fā)者大多選用開源的JavaScript框架OpenLayers調用WMS。這主要是因為OpenLayers按照OGC的規(guī)范封裝了訪問WMS及其他OGC服務的接口，這使得調用WMS等服務變得簡單快捷。文獻分析以谷歌學術數據庫為主，查詢關鍵詞WMS、OpenLayers和system/prototype同時出現(xiàn)的文獻，即查詢語句為“WMS OpenLayers prototype OR system”。由于WMS標準是2000年提出，故將查詢時段限制為2000-2015年。最終共檢索出約1 500篇文獻(不包含專利和引用),這說明約1 500篇文獻討論或使用了OpenLayers調用WMS服務。

在文獻分析以后，本文又對實際系統(tǒng)進行了調查研究。主要是從不同網絡地理信息系統(tǒng)的網頁源碼中統(tǒng)計分析WMS數量。本文從上述約1 500篇文獻中，選擇了7個涵蓋地表覆蓋、生態(tài)環(huán)境、農業(yè)及空間數據分析等領域的網絡地理信息系統(tǒng)為研究對象(表1)。通過分析發(fā)現(xiàn)，這7個系統(tǒng)共調用了37個不同的WMS，平均每個系統(tǒng)調用5.3個。假如上述1 500篇文獻中涉及的系統(tǒng)有500個是已經正式運行的，那么按照上述平均值計算，就會有2 650個WMS被OpenLayers調用，即至少有2 650個WMS服務會隱藏在深層網絡中，這一數據與現(xiàn)有方法發(fā)現(xiàn)的表層網絡中的WMS數量相當[7]。因此，從WMS被OpenLayers應用的角度出發(fā)，研究基于深層網絡爬蟲的WMS發(fā)現(xiàn)方法是有實際意義的。

表1 調研的網絡地理信息系統(tǒng)

Table 1 The list of web geographic systems

網站名稱網址CropScapehttp：//nassgeodata．gmu．edu/CropScape/GLC30informationservicehttp：//www．globallandcover．com/eHabitatWPShttp：//ehabitat?wps．jrc．ec．europa．eu/ehabitat/GeoNetworkhttp：//www fao org/geonetwork/srv/en/main．homeNIWAOceanSurveyhttp：//www os2020 org nz/project?map?sam/Visorxeográficohttps：//sitegal xunta es/sitegal/ev/GeographicalViewerZOOProjecthttp：//www zoo?project org/site/ZooWebSite/Demo/SpatialTools#ZOOspatialtoolsdemo

目前，OpenLayers包括OpenLayers2.x和OpenLayers3.x兩類版本。 這兩類版本的命名空間和函數名稱完全不同，但它們調用WMS的方法類似。本文只描述應用較廣泛的OpenLayers2.x版本，但本文的方法完全可以平穩(wěn)過渡到OpenLayers3.x版本。OpenLayers2.x版本中一共有3個調用WMS的函數，分別是“OpenLayers.Layer.WMS”、“OpenLayers.Layer.WMS.Untiled”和“OpenLayers.Layer.WMS.Post”。 “OpenLayers.Layer.WMS”函數的調用形式如圖2所示。其中，參數“WMS URL”代表WMS服務的鏈接地址，即本文需要發(fā)現(xiàn)的對象。其他2個函數的調用形式與“OpenLayers.Layer.WMS”函數類似。

圖2 OpenLayers調用WMS的形式

Fig.2 The form of WMS called by OpenLayers

2.2 WMS應用規(guī)則及形式化

結合2.1節(jié)中WMS在OpenLayers中的應用特征和實際應用情況，本文總結了兩條WMS應用規(guī)則，并利用正則表達式對WMS應用規(guī)則進行了形式化描述。針對每條應用規(guī)則制定了相應的使用流程，具體如下：

規(guī)則I表示直接采用OpenLayers原有的函數調用WMS，其形式化如圖3所示。在實際應用中，WMS的調用函數也會嵌套在其他函數中，并且參數“WMS URL”也常常會用變量替代，因此簡單的規(guī)則匹配不能獲取全部的WMS的鏈接地址，所以本文結合規(guī)則匹配和JavaScript腳本解析引擎探測腳本中的WMS。首先，利用規(guī)則I識別出調用WMS的JavaScript腳本片段。然后根據調用形式識別出參數“WMS URL”，如果參數“WMS URL”是URL鏈接，則將其作為潛在的WMS鏈接；如果參數“WMS URL”是腳本變量，則動態(tài)構造一個返回 “WMS URL”腳本變量的JavaScript函數，并將其提交到JavaScript腳本解析引擎獲取潛在的WMS務鏈接，其中該動態(tài)函數由識別出的WMS調用函數及其父函數組成。

圖3 WMS服務應用規(guī)則I的形式化

Fig.3 Formalization of application rule I

規(guī)則II表示利用深度封裝的函數調用WMS服務。在實際應用中，一些網絡地理信息系統(tǒng)會對OpenLayers調用WMS服務的函數進行深度封裝。例如，聯(lián)合國糧食與農業(yè)組織的GeoNetwork網站將“OpenLayers.Layer.WMS”函數深度封裝為“createWMSLayer”函數，并利用“GeoNetwork.WMSList”數組傳遞WMS的URL鏈接地址。因為每種系統(tǒng)深度封裝OpenLayers的形式不一，所以不能像規(guī)則I一樣直接利用正則表達式形式化深度封裝的函數。為此，本文直接將URL鏈接地址的正則表達式作為規(guī)則II的形式化描述(圖4)。為避免驗證所有匹配的URL鏈接地址，本文將規(guī)則II與腳本上下文信息結合使用。首先，利用規(guī)則II匹配出JavaScript腳本中的URL鏈接地址；然后，獲取URL鏈接地址的前后各100個字符的上下文信息；最后，判斷URL鏈接地址字符串及其上下文信息是否包含詞語“wms”、“map”、“l(fā)ayer”和“capabilities”，如果包含上述詞語中的任何一個，就將該URL鏈接地址作為潛在的WMS，否則，丟棄該URL鏈接地址。

圖4 WMS服務應用規(guī)則II的形式化

Fig.4 Formalization of application rule II

在服務發(fā)現(xiàn)的過程中，優(yōu)先執(zhí)行規(guī)則I，只有當規(guī)則I在引用OpenLayers.js的網站中沒有發(fā)現(xiàn)潛在的WMS時，才執(zhí)行規(guī)則II。

為保證效率，規(guī)則I和規(guī)則II不會應用到所有的JavaScript腳本文件中，而是只會應用到可能引用WMS的JavaScript腳本文件中。為實現(xiàn)這一目的，本文以引用WMS的JavaScript腳本文件名為語料，利用詞頻統(tǒng)計方法總結了引用WMS的JavaScript腳本文件名的詞語特征，其詞語特征JSName如下:

(1)

規(guī)則I和規(guī)則II除了始終應用在直接嵌入到地圖網頁中的JavaScript腳本外，本文會根據上述總結的詞語特征篩選應用規(guī)則I和規(guī)則II的JavaScript腳本文件。如果JavaScript腳本文件名與式(1)中的某一詞語模糊匹配，則將規(guī)則I和規(guī)則II應用到該JavaScript腳本文件，如果不匹配，則忽略該JavaScript腳本文件。

3 實驗與分析

本文以上述方法為基礎，采用C#語言設計開發(fā)了WMS發(fā)現(xiàn)的原型系統(tǒng)，旨在同時發(fā)現(xiàn)表層網絡和深層網絡中的WMS。其中，HTML網頁解析模塊采用開源的HtmlAgilityPack插件，JavaScript腳本解析引擎采用開源的Jurassic插件。實驗平臺為PC(奔騰4，處理器，CPU3.20GHz，內存1GB)，操作系統(tǒng)為WindowsXPSP3。為便于比較，本文也構建了一個傳統(tǒng)地圖服務爬蟲。

為了突出本方法發(fā)現(xiàn)深層網絡中WMS服務的能力，實驗一以表1中的URL鏈接地址為初始URL，在爬行過程中僅讓傳統(tǒng)地圖服務爬蟲與本文構建的深層網絡爬蟲搜索表1中的URL鏈接地址。最終實驗結果為傳統(tǒng)地圖服務爬蟲發(fā)現(xiàn)了0個WMS( 因為表1中的網站全部將WMS地址隱藏在JavaScript腳本中，并且也沒有在其他非地圖網頁中描述這些WMS)，基于深層網絡爬蟲的方法發(fā)現(xiàn)了35個WMS(比2.1節(jié)中少了2個，因為這2個WMS服務不可訪問)。這說明本文提出的方法能夠有效地發(fā)現(xiàn)位于深層網絡中的WMS服務。這主要是因為這幾個地圖網頁中的正文蘊含較少的有用信息，計算得到的主題相關度往往低于給定的閾值，所以不能有效發(fā)現(xiàn)更多的URL鏈接地址；同時又由于傳統(tǒng)地圖服務爬蟲缺少分析JavaScript腳本的能力，所以它不能發(fā)現(xiàn)深層網絡中的WMS。而基于深層網絡爬蟲的方法得益于腳本解析引擎和總結的應用規(guī)則，可以使其發(fā)現(xiàn)深層網絡中的WMS。

為了證明本方法能夠同時發(fā)現(xiàn)表層網絡中WMS的能力，實驗二以表1中的URL鏈接地址和OpenLayers的中文官方網址http://www.openlayers.cn/portal.php、美國地址調查局的WMS列表網站http://coastalmap.marine.usgs.gov/mapservices/wms_svc.html及OGC聯(lián)盟網站http://www.opengeospatial.org為初始URL。在經過2 748s后，共發(fā)現(xiàn)1 145個可用的WMS，將其集成到一個服務搜索引擎中(圖5)。這說明本文提出的方法也能夠同時發(fā)現(xiàn)表層網絡和深層網絡中的WMS。

圖5 實驗二發(fā)現(xiàn)的WMS服務列表

Fig.5ThelistofWMSdiscoveriedbytheexperiment2

4 結論

Web地圖服務的搜索對于空間數據資源的集成與共享具有重要意義。針對傳統(tǒng)方法不能發(fā)現(xiàn)深層網絡中WMS的問題，本文提出了一種基于深層網絡爬蟲的Web地圖服務發(fā)現(xiàn)方法,首次從WMS應用的視角出發(fā)，總結了兩條WMS應用規(guī)則，并采用正則表達式對其進行了形式化描述。然后以傳統(tǒng)地圖服務爬蟲為基礎，新增腳本解析引擎和應用規(guī)則，以達到發(fā)現(xiàn)JavaScript腳本中WMS的目的。實驗表明,本文提出的方法能夠同時發(fā)現(xiàn)表層網絡和深層網絡中的WMS。下一步工作將集中在應用規(guī)則擴充、OGC服務發(fā)現(xiàn)的性能提高和OGC服務質量監(jiān)測方面。

[1] 陳能成,陳澤強,王偉.一種基于能力匹配和本體推理的高精度Web地圖服務發(fā)現(xiàn)方法[J].武漢大學學報( 信息科學版),2009,34(12):1471-1475.

[2]LOPEZ-PELLICERFJ,FLORCZYKAJ,BJARR,etal.Discoveringgeographicwebservicesinsearchengines[J].OnlineInformationReview,2011,35(6):909-927.

[3]BONEC,AGERA,BUNZELK,etal.Ageospatialsearchenginefordiscoveringmulti-formatgeospatialdataacrosstheweb[J].InternationalJournalofDigitalEarth,2014,http://dx.doi.org/10.1080/17538947.2014.966164(online).

[4] 武昊,廖安平,何超英,等.基于主題相關度的地理信息Web服務爬蟲研究[J].地理與地理信息科學,2012,28(2):27-30.

[5]LOPEZ-PELLICERFJ,BJARR,FLORCZYKAJ,etal.AreviewoftheimplementationofOGCWebServicesacrossEurope[J].InternationalJournalofSpatialDataInfrastructuresResearch,2011,6(1):168-186.

[6]SAMPLEJT,LADNERR,SHULMANL,etal.EnhancingtheUSNavy'sGIDBportalwithWebservices[J].IEEEInternetComputing,2006,10(5):53-60.

[7] LI W W,YANG C W,YANG C J.An active crawler for discovering geospatial web services and their distribution pattern-A case study of OGC Web Map Service[J].International Journal of Geographical Information Science,2010,24(8):1127-1147.

[8] 劉偉,孟小峰,孟衛(wèi)一.Deep Web 數據集成研究綜述[J].計算機學報,2007,30(9):1475-1489.

[9] PICCININI H,CASANOVA M,LEME L P,et al.Publishing deep web geographic data[J].Geoinformatica,2014,18(4):769-792.

[10] HOU D Y,WU H,CHEN J,et al.A focused crawler for borderlands situation information with geographical properties of place Names[J].Sustainability,2014,6(10):6529-6552.

[11] LOECHEL A,SCHMID S.Comparison of different caching techniques for high-performance web map services[J].International journal of spatial data infrastructures research,2013,8:43-73.

A Web Map Service Discovery Method Based on Deep Web Crawler

HOU Dong-yang1,2,WU Hao2,WANG Jun-feng3,WANG Ming-shan4

(1.SchoolofEnvironmentScienceandSpatialInformatics,ChinaUniversityofMiningandTechnology,Xuzhou221116; 2.NationalGeomaticsCenterofChina,Beijing100830; 3.ZhongkeNineDegrees(Beijing)SpatialInformationTechnologyCo.,LTD,Beijing100190; 4.XiangyangBranchofChinaMobileCommunicationsGroupHubeiCo.,LTD,Xiangyang441003,China)

Traditional Web Map Service(WMS) discovery methods can discover WMS from the surface web.However,they can′t discover WMS from the deep Web.To solve the problem,this paper proposes a WMS discovery method based on deep web crawler.First,two rules are summarized from the WMS applications and are formalized by using the regular expressions.Then,their use flows are designed in this proposed method.Finally,a JavaScript parsing engine and the two application rules are added to construct the deep web crawler based on the traditional crawler.Experiments show that the proposed method is able to discover WMSs from the surface web and deep web at the same time.

Web Map Service;service discovery;crawler;deep Web

2015-03-20；

2015-05-17

國家自然科學基金項目(41301412)

侯東陽(1986-)，男，博士研究生，主要研究方向為地理空間數據搜索與挖掘。E-mail:houdongyang1986@163.com

10.3969/j.issn.1672-0504.2015.05.003

P208

A

1672-0504(2015)05-0010-04