孫友倉

一種基于Web Service的信息搜索引擎機制

孫友倉

(西安石油大學計算機學院,陜西西安710065)

在解析Web Service的體系結構的基礎上,分析了其應用于搜索引擎的原因,以油田信息資源為平臺,設計了一種基于Web Service技術的信息搜索引擎解決方案,并詳細描述了該方案中各模塊的具體內(nèi)容,工作流程及安全策略等關鍵問題.實踐表明,此方案能保證數(shù)據(jù)安全性,具有一定的實用性和較高的開發(fā)效率.

信息資源;Web Service;搜索引擎;UDDI

0 引言

隨著企業(yè)信息化建設的不斷深入,各種信息應用平臺不斷完善,信息資源搜索引擎服務已經(jīng)成為企業(yè)網(wǎng)內(nèi)最重要的服務之一,但是這些搜索引擎都存在著一定的缺陷.比如搜索功能單一,只能搜索Web服務器、FTP服務器上的資源,不能搜索一些特殊資源;一些資源具有機密性,搜索引擎沒有對用戶采取身份認證等安全措施;一般的搜索引擎沒有開放對外的查詢服務接口,網(wǎng)外用戶想要查詢信息資源比較困難.這些缺陷很大范圍上限制了網(wǎng)外用戶對信息資源的查詢使用[1].本文以某油田企業(yè)信息資源為平臺,設計的基于Web Service的搜索引擎可以為用戶提供更方便快捷的信息資源搜索服務,成為溝通網(wǎng)內(nèi)外的信息資源的橋梁,同時也能有效保護企業(yè)機密信息資源.

1 Web Service應用架構剖析

1.1 Web Service體系結構解析

Web Service是基于Web的分布式計算模型,它采用面向服務的體系結構模型作為其體系結構,主要包括3個角色和3個操作[2,3].服務提供者所能提供的服務接口用WSDL(Web Service Description Language)和WSFL(Web Services Flow Language)描述出來,然后使用UDDI(Universal Description Discovery and Integration)在服務注冊中心(即服務代理Service Broker)處將這些服務接口進行注冊;服務代理則使用UDDI注冊這些服務接口,并接受服務請求者的查詢;服務請求者通過使用UDDI在服務代理處查詢,得到所需的服務接口的描述文件,然后綁定到這些服務,最終完成調(diào)用.

在這個體系結構中,對傳統(tǒng)應用系統(tǒng)體系結構的設計作了徹底的改變,實現(xiàn)了具體的事務處理信息、服務和具體客戶的分離.在傳統(tǒng)的企業(yè)應用系統(tǒng)中,需要確定對于該應用系統(tǒng)的客戶,然后以此為中心進行設計.而在面向服務的體系結構中,對于客戶的標準沒有嚴格定義,而是盡可能地把系統(tǒng)的服務設計得較靈活,以便在以后不斷變化的環(huán)境中能夠吸引更多的潛在客戶.

1.2 Web Service技術應用于搜索引擎分析

理想的搜索引擎不僅能夠搜索發(fā)現(xiàn)文檔數(shù)據(jù),也能搜索和發(fā)現(xiàn)其他各種資源,能和外部的各種異構資源信息系統(tǒng)進行交互.但是一般搜索引擎達不到這樣的要求,新的信息系統(tǒng)與搜索引擎進行整合時,必須開發(fā)新的中間件,系統(tǒng)維護比較困難,實現(xiàn)成本較高.以Web Service為核心的分布式計算模式,能夠為搜索引擎的發(fā)展帶來新的契機.Web Service建立在公認的標準之上,通過HTTP協(xié)議進行傳輸,不受某一種平臺或語言的限制,對防火墻是友好的.這為分布式系統(tǒng)間或系統(tǒng)內(nèi)模塊間的交互和整合帶來了便利條件.

對于搜索引擎而言,Web Service體現(xiàn)了如下幾點優(yōu)勢[4,5]:使用XML作為中間數(shù)據(jù)格式,可以描述各種類型的業(yè)務對象,適合各種信息系統(tǒng)的交互與合作;與外部資源系統(tǒng)的整合,Web Service具有良好的交互模式和發(fā)現(xiàn)機制,不受目標系統(tǒng)平臺的限制;搜索引擎可以充分利用資源系統(tǒng)本身的檢索功能,增加自身有效數(shù)據(jù)的搜索范圍;應用程序與搜索引擎交互時,任何授權的外部應用程序都可以調(diào)用搜索引擎的搜索功能,將搜索功能作為應用程序自身的功能.

2 油田信息搜索引擎設計方案

2.1 總體架構

信息搜索引擎是采用基于Web Service技術的分布式計算和模塊化處理模式,總體架構如圖1所示.

圖1 信息搜索引擎總體架構Fig.1 Overall frame of information search engine

圖1 方案包括五個主要模塊:資源站點模塊、資源注冊模塊(UDDI注冊服務)、資源檢索模塊、索引服務模塊和Web查詢接口模塊,其中后四個屬于信息搜索引擎部分.具體情況如下.

(1)資源站點模塊

資源站點是油田網(wǎng)內(nèi)搜索引擎數(shù)據(jù)源的最初提供者,有公用數(shù)據(jù)和專用數(shù)據(jù)之分,油田專用數(shù)據(jù)包含地質(zhì)數(shù)據(jù)、鉆井數(shù)據(jù)、試井解釋數(shù)據(jù)、錄井數(shù)據(jù)、測井數(shù)據(jù)、測試數(shù)據(jù)和分析化驗數(shù)據(jù)等.這些數(shù)據(jù)資源又分為共享數(shù)據(jù)和機密數(shù)據(jù)等不同級別,它們的使用都必須分級授權.

資源站點的架構如圖2所示.每個資源站點上安裝有服務發(fā)布程序,主要提供以下功能:①身份認證;②本站點資源授權;③提取各類資源文件;④把站點資源信息按照一定的邏輯提取出來,提供給油田網(wǎng)內(nèi)搜索引擎,生成資源索引信息.

圖2 資源站點架構Fig.2 Frame of resources site

(2)資源注冊模塊

油田網(wǎng)內(nèi)眾多的站點資源,可以通過UDDI實現(xiàn)資源注冊,然后通過UDDI來發(fā)現(xiàn)查找它們.UDDI有五種核心的數(shù)據(jù)結構類型,分別為商業(yè)實體、商業(yè)實體所發(fā)布的服務、所發(fā)布服務的技術信息、商業(yè)實體之間的關聯(lián)和技術指紋[6].通過UDDI可以注冊發(fā)布自己不同的服務,而對于所發(fā)布的服務,由服務的技術信息來確定其接口、相關參數(shù)等技術要點.通過這樣的設置,就可知道哪個站點具有哪些特定的服務,以及這些服務的獲取需要符合怎樣的技術規(guī)范.表1為資源注冊模塊數(shù)據(jù)模型.

表1 資源注冊模塊數(shù)據(jù)模型Table 1 Data Model of Resources Logon Module

(3)資源檢索模塊

由于油田網(wǎng)內(nèi)資源類型不同,加上有些資源訪問需要授權許可,應對它們采取不同的檢索方式.不需要授權許可的普通網(wǎng)頁,視頻服務和FTP服務,通過常規(guī)程序進行抓取;需要授權許可的共享和機密文檔則返回文檔的描述信息.

(4)索引服務模塊

由索引系統(tǒng)程序?qū)κ占貋淼南嚓P信息,根據(jù)一定的相關度算法進行計算,生成網(wǎng)頁索引數(shù)據(jù)庫,索引分為內(nèi)容提取、詞的識別、標引庫的建立.

(5)Web查詢接口模塊

當用戶輸入關鍵詞搜索時,分解搜索請求,由搜索系統(tǒng)程序從網(wǎng)頁索引數(shù)據(jù)庫中找到符合該關鍵詞的所有相關網(wǎng)頁.所有相關網(wǎng)頁針對該關鍵詞的相關信息在索引庫中都有記錄,只需綜合相關信息和網(wǎng)頁級別形成相關度數(shù)值,然后進行排序.相關度越高,排名越靠前.最后,由頁面生成系統(tǒng)將搜索結果的鏈接地址和頁面內(nèi)容摘要等內(nèi)容組織起來反饋給用戶.

2.2 搜索引擎的工作流程

油田信息搜索引擎按照以下步驟工作:

(1)資源站點模塊把自己的服務通過UDDI注冊服務進行發(fā)布,同時UDDI注冊服務模塊對外提供Web Service接口服務,讓外網(wǎng)用戶能夠訪問本資源站點;

(2)資源檢索模塊通過UDDI注冊服務模塊獲取資源站點服務信息,從相應Web Service接口提取資源信息,把這些資源信息存儲到本地Cache文件中,作為索引服務模塊的源數(shù)據(jù);

(3)索引服務模塊對Cache文件進行分析、提取、索引,并把索引信息存到索引數(shù)據(jù)庫;

(4)當用戶通過Web查詢接口模塊提出查詢請求時,Web查詢接口應用程序分析查詢請求串,并劃分成若干個關鍵字,到索引數(shù)據(jù)庫服務器中對照索引表中的內(nèi)容進行查詢,將不同關鍵字的結果集進行適當?shù)募线\算,以Web頁面的方式返回給用戶;

(5)對于需要授權許可的資源,Web查詢模塊根據(jù)索引信息通過資源檢索模塊直接對相應資源站點的Web Service接口進行訪問.

2.3 安全策略及特點

油田網(wǎng)內(nèi)信息資源涉及各類內(nèi)部人員,網(wǎng)外用戶也有服務需求,這些資源都沒有經(jīng)過認證、授權、文件加密,特別是專用數(shù)據(jù)資源站點有眾多敏感數(shù)據(jù),這些數(shù)據(jù)資源必須經(jīng)過身份認證才能訪問,因此設計油田信息搜索引擎必須考慮安全策略.

(1)Web Service安全性

Web Service的基礎是簡單對象訪問協(xié)議SOAP,SOAP協(xié)議具有簡單性和可擴展性的優(yōu)點,但安全性不足,所以在使用Web Service時要考慮解決以下安全問題[7-9]:數(shù)據(jù)的機密性,保證傳送信息不被未經(jīng)許可的第三方看到;數(shù)據(jù)的完整性,保證收到的信息沒有被篡改過;數(shù)據(jù)傳送的不可否認性,保證信息的發(fā)送者不能抵賴或否認對信息的發(fā)送,要在信息的傳輸過程中為參與的實體提供可靠的標志.

(2)數(shù)據(jù)資源分級策略

數(shù)據(jù)資源可分為公共服務類、共享類和機密類等,通過站點資源的服務發(fā)布程序?qū)ζ溥M行分級授權和訪問控制,標識特定的人訪問相應的數(shù)據(jù)資源,保證用戶的操作沒有超越權限.

(3)身份確認策略

建立集身份認證、授權、審計的統(tǒng)一身份認證平臺,用戶登錄身份認證平臺,建立身份識別信息.一旦用戶通過身份認證,系統(tǒng)將為用戶建立唯一的身份標識,該身份標識和用戶認證信息用于維持會話、指定和實施訪問控制策略,與其他應用服務進行交互.

本架構充分利用Web Service的斷開式數(shù)據(jù)結構、與XML的緊密集成、能夠組合來自多個、不同數(shù)據(jù)源的數(shù)據(jù)的通用數(shù)據(jù)表示形式以及為與數(shù)據(jù)庫交互而優(yōu)化的功能.相對于其他搜索引擎的實現(xiàn)方法,該架構在不改變原有系統(tǒng)的儲存和安全管理的基礎上,具有松散耦合、分布異構、健壯、易擴展和簡化搜索引擎開發(fā)等優(yōu)點.

3 結束語

Web Service是可以通過Internet訪問的應用邏輯單元,可以說是基于組件的分布式技術在Internet上的擴展.它在創(chuàng)建跨平臺,適應Internet的可伸縮性的應用程序時,具有非常大的優(yōu)勢.本文提出的基于Web Service技術的油田信息搜索引擎的解決方案具有一定的可行性和實用性.如果每個油田都能提供基于Web Service的搜索引擎接口,用戶不僅能更方便快捷地進行信息資源搜索,而且能在有效保護油田數(shù)據(jù)資源機密性的基礎上,實現(xiàn)油田間數(shù)據(jù)資源的共享.

[1] 陳 丹,郭偉表.一種新型面向商業(yè)領域搜索引擎的設計與實現(xiàn)[J].計算機應用與軟件,2007,24(4):113-115.

[2] MARTIN D,BURSTEIN M,McDERMOTT D,et al.Bringing Semantics to Web Services with OWL-S[J].World Wide Web,2007,10(3):43-77.

[3] CHAN M,CHEN H.A Machine Learning Approach to Web Page Filtering Using Content and Structure Analysis[J]. Decision Support S ystems,2007,44(2):482-494.

[4] 孫友倉.一種基于Web Services的分布異構數(shù)據(jù)庫集成機制[J].山西大學學報(自然科學版),2007,30(3):340-343.

[5] 孫友倉,宋彩利,李潤洲.一種基于Web Service的異構數(shù)據(jù)集成中間件[J].西安科技大學學報,2007,27(2):284-287.

[6] 孫 凱,陳德人.基于UDDI和Web Service的應用模型研究[J].計算機應用,2003,20(5):133-134.

[7] SOAP Implementation directory[EB/OL].http://www.soapware.org/directory/4/implemen-tations,2004.

[8] 錢 權,嚴家德.Web Service的安全機制[J].計算機工程,2007,33(22):190-192.

[9] ADAM J.LEE,JODIE P.BOYER,LARS E.Olson,et al.Web Service Defensible Security Policy Composition for Web Services[C]//Proceedings of the fourth ACM Workshop on Formal Methods in Security Engineering,2006:45-54.

A Mechanism of Information Search Engine Based on Web Service

SUN You-cang
(School of Computer Science,Xi’an S hiyou University,Xi’an710065,China)

On the basis of resolving web service architecture,the application cause of search engine was analyzed.To take oil-field information resources as a platform,a information resources search engine based on web service was introduced.And it detailed explains some key issues of the solving scheme,such as the contents of these modules,its working process,its secure policy and so on.The practice indicates that the scheme is able to ensure data security,and take on specific practicality and more developing efficiency.

information resources;web service;search engine;UDDI

TP311

A

0253-2395(2010)02-0194-04

2009-08-31;

2009-10-22

國家自然科學基金(50474041)

孫友倉(1967-),男,陜西白水人,副教授,主要從事網(wǎng)絡應用方面的研究和教學工作.E-mail:syoucang@xsyu. edu.cn