陳冬玲,韓曉微

(沈陽大學(xué) 信息工程學(xué)院,遼寧 沈陽 110044)

基于分布服務(wù)技術(shù)的個性化檢索系統(tǒng)的研究

陳冬玲,韓曉微

(沈陽大學(xué) 信息工程學(xué)院,遼寧 沈陽 110044)

將Web Service技術(shù)與個性化技術(shù)相結(jié)合,提出了基于Web Service的個性化信息檢索,并進(jìn)行了系統(tǒng)設(shè)計及關(guān)鍵技術(shù)分析·

Web Service;個性化信息檢索;分布式檢索

隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展,搜索引擎已經(jīng)成為名副其實(shí)的信息樞紐和信息門戶,是用戶獲取網(wǎng)絡(luò)信息的首選工具[1]·然而,通用搜索引擎一般采用的是集中檢索方式·它們試圖遍歷整個互聯(lián)網(wǎng),對所有的文檔生成全文索引,供用戶檢索·這種檢索方式在覆蓋度低,且負(fù)載增大時,用戶的查詢請求很難得到及時的響應(yīng)·鑒于此,人們提出了分布式信息檢索,它是通過元搜索引擎來實(shí)現(xiàn)的,這種方式可充分利用各大搜索引擎的優(yōu)點(diǎn),雖然可以在最短時間內(nèi)獲取較全面準(zhǔn)確的信息,但是這種檢索方式受普通搜索引擎的限制,不能直接從網(wǎng)絡(luò)上分布的各類數(shù)據(jù)庫中檢索信息,而只能從人工事先準(zhǔn)備好的靜態(tài)網(wǎng)頁中進(jìn)行檢索,并且,元搜索引擎也無法同時向多個搜索引擎提交高級條件查詢,較難獲得較高的查準(zhǔn)率[1]·這樣,針對不同用戶提供相應(yīng)的個性化檢索服務(wù)便無從可談·面對如此窘境,人們試圖在實(shí)現(xiàn)分布式檢索的同時,實(shí)現(xiàn)個性化信息搜索·

由于Web Service技術(shù)具有完好的封裝性并具有高度的可集成能力,同時,在分布式的網(wǎng)絡(luò)結(jié)構(gòu)中,P2P結(jié)構(gòu)可以使用戶發(fā)現(xiàn)任何形式的數(shù)據(jù)而備受人們的關(guān)注,并且,P2P與 Web Service在某種程度上具有互補(bǔ)的性能,所以,本文提出了將Web Service與P2P相結(jié)合的分布式信息檢索系統(tǒng),同時,在此檢索系統(tǒng)中,使用概率潛在語義分析的個性化技術(shù)進(jìn)行個性化搜索,最終形成一個分布的個性化的信息檢索系統(tǒng)·

1 相關(guān)技術(shù)

1.1 Web Service

Web Service是目前Web上數(shù)據(jù)和信息集成的最完美的實(shí)現(xiàn)方式[2]·Web Service由3個參與者和3個基本操作構(gòu)成·3個參與者分別是服務(wù)提供者、服務(wù)請求者和服務(wù)代理,3個基本操作分別為發(fā)布(publish)、查找(find)和綁定(bind)·在整個Web service框架實(shí)現(xiàn)中,使用了3個基本的協(xié)議:服務(wù)描述語言(WSDL[3]),簡單對象訪問協(xié)議(SOAP[4]),統(tǒng)一描述、發(fā)現(xiàn)及集成協(xié)議(UDDI[5])·

1.2 個性化信息檢索技術(shù)

個性化信息檢索的核心技術(shù)是用戶興趣(User Profile)的創(chuàng)建與學(xué)習(xí),以及對所得的用戶興趣描述的應(yīng)用(如過濾、推薦)·

(1)用戶信息的收集,主要有顯式相關(guān)性反饋和隱式相關(guān)性反饋·研究中,利用隱式相關(guān)性反饋來收集用戶興趣和興趣跟蹤成為研究熱點(diǎn)·

(2)User Profile的存儲和更新有兩種存儲方式,一種是將 User profile存儲在客戶端,優(yōu)點(diǎn)是可以很好地保護(hù)用戶的隱私,但缺點(diǎn)是用戶往往不情愿做一些額外的工作來配合檢索系統(tǒng),并且,User Profile的更新比較困難·所以,本系統(tǒng)將用戶興趣跟蹤與描述部分放在服務(wù)器端,并采用概率潛在語義分析技術(shù)對用戶興趣進(jìn)行跟蹤分析·

2 基于We b S e rvic e的分布式個性化信息檢索

基于Web Service的分布式個性化信息檢索,其基本思路就是將原來的個性化信息檢索的各功能模塊均包裝成Web服務(wù)的形式,即用戶興趣描述文件的創(chuàng)建與更新是Web服務(wù),負(fù)責(zé)分布式數(shù)據(jù)檢索的是Web服務(wù),檢索結(jié)果返回并排序的是Web服務(wù),客戶端只需要布置一個Proxy即可,它負(fù)責(zé)向多個Web服務(wù)同時發(fā)出調(diào)用命令并接收返回結(jié)果·該檢索模式的具體實(shí)現(xiàn)細(xì)節(jié)如下:用戶輸入查詢關(guān)鍵詞后,客戶端程序先通過UDDI注冊中心即查詢到一批相關(guān)的Web服務(wù)·為了更好地實(shí)現(xiàn)個性化,也可事先根據(jù)User Profile查詢一些相關(guān)的Web服務(wù),固定顯示在客戶端程序中(或放在緩存中)讓用戶選擇,經(jīng)用戶選擇后,再自動讀取相應(yīng)的服務(wù)描述文件(WSDL文檔)并進(jìn)行分析,根據(jù)檢索條件分別形成相應(yīng)的SOAP消息請求,然后發(fā)送到相應(yīng)的端口地址,調(diào)用這些Web服務(wù);各個Web服務(wù)在各自的數(shù)據(jù)資源中執(zhí)行檢索任務(wù),并將檢索結(jié)果進(jìn)行相應(yīng)的個性化排序操作,以SOAP響應(yīng)的形式返回調(diào)用它的客戶端程序;客戶端程序接收上述排序結(jié)果,并按某事先預(yù)定的方式顯示給用戶·然后根據(jù)用戶的點(diǎn)擊流數(shù)據(jù)進(jìn)行User Profile學(xué)習(xí)和更新·

圖1 基于Web Service的個性化分布式檢索系統(tǒng)

圖1為系統(tǒng)的層次結(jié)構(gòu),自左向右分別為查詢提交層、服務(wù)查找層、信息檢索層、個性化服務(wù)層·

(1)查詢提交層·基于瀏覽器實(shí)現(xiàn),其功能是實(shí)現(xiàn)用戶接口,接受用戶提出的查詢請求,以及顯示最終生成的個性化查詢結(jié)果·

(2)服務(wù)查找層·接受用戶提交的查詢服務(wù),結(jié)合User Profile找到滿足查詢條件并符合用戶興趣偏好的搜索服務(wù)及其相應(yīng)的服務(wù)描述文件,為檢索層工作作準(zhǔn)備·

(3)信息檢索層·根據(jù)服務(wù)查找層所提供的服務(wù)描述文件,利用不同的服務(wù)對地理上分布的、異構(gòu)的數(shù)據(jù)源進(jìn)行檢索,將檢索結(jié)果作為個性化服務(wù)層的數(shù)據(jù)輸入·

(4)個性化服務(wù)層·為了滿足個性化需求,該層對檢索層所得的數(shù)據(jù)進(jìn)行合并,并結(jié)合User Profile對結(jié)果進(jìn)行排序,將排序后的結(jié)果返回給用戶·

3 關(guān)鍵技術(shù)的實(shí)現(xiàn)

對于系統(tǒng)中的四個層次,查詢提交層比較簡單,其余的三個層次均是本系統(tǒng)的核心層次,實(shí)現(xiàn)基于Web服務(wù)的個性化信息檢索,這三個層次均是至關(guān)重要的·按照自左向右的層次出現(xiàn)順序,下面依次討論其實(shí)現(xiàn)的關(guān)鍵技術(shù)·

3.1 分布式UDDI服務(wù)器的管理與遍歷

當(dāng)用戶提交查詢請求后,客戶端 Proxy自動產(chǎn)生一個搜索服務(wù),此服務(wù)負(fù)責(zé)查找與用戶請求相匹配的檢索服務(wù)·首先,為了加快查找速度,在本地服務(wù)器中緩存一些以前曾經(jīng)訪問過的服務(wù),如果本地緩存中沒有所需要的服務(wù),則到UDDI中去查找其他注冊的服務(wù)·由于面向Internet的UDDI存儲在地理上分布的服務(wù)器上,對地理上分布的服務(wù)器管理有集中式管理和分布式管理兩種方式,可以想象,如果采用集中式管理,那么眾多查找UDDI的服務(wù)都會聚到同一個服務(wù)器上,必定產(chǎn)生“瓶頸”問題·相反,如果只采用分布式管理,那么又存在擴(kuò)展性差的問題·所以,對分布式UDDI服務(wù)器,采用概念上的分級索引的方式進(jìn)行管理·

由于網(wǎng)絡(luò)上的各種信息可以按照ODP(Open Directory Project)方式進(jìn)行分類,所以,用于訪問網(wǎng)絡(luò)信息資源的Web服務(wù)也可以按照這個方式進(jìn)行分類,這一點(diǎn)為管理UDDI服務(wù)器提供了很大方便,具體做法如下:將UDDI服務(wù)器按照不同的領(lǐng)域,劃分成不同的子服務(wù)器群,對于各子服務(wù)器群依照同樣的做法進(jìn)行劃分,就如同ODP分類目錄一樣,越向上的服務(wù)器群結(jié)點(diǎn),其概括性越強(qiáng),越向下的服務(wù)器群結(jié)點(diǎn),其具體性越強(qiáng),但對于不同的子服務(wù)器群,其父結(jié)點(diǎn)是該子服務(wù)器群的索引,這樣,就形成了一棵UDDI服務(wù)器群的索引樹,見圖2·如果到UDDI服務(wù)器群中查找符合某查詢條件的服務(wù),那么可以按照樹的遍歷進(jìn)行逐步向下查找,就可以找到服務(wù)所在的UDDI服務(wù)器·

圖2 服務(wù)注冊的樹型結(jié)構(gòu)

3.2 在UDDI中進(jìn)行個性化查找

由于目前UDDI只支持關(guān)鍵詞和分類查找,所以,在語義上實(shí)現(xiàn)個性化查找似乎很難做到,本文中所實(shí)現(xiàn)的個性化,實(shí)質(zhì)上是將UDDI服務(wù)注冊與用戶興趣分開進(jìn)行,即采用傳統(tǒng)個性化搜索的方式進(jìn)行,只是在搜索過程中,將用戶提出的查詢與用戶興趣描述文件(User Profile)進(jìn)行匹配,在獲取權(quán)值最高的N個關(guān)鍵詞后,再到UDDI中查找相應(yīng)的服務(wù)·并且,為了實(shí)現(xiàn)在UDDI中的查找與用戶興趣的一致性,User Profile也采用向量空間模型(VSM)加權(quán)方式進(jìn)行存儲,這樣,就可以實(shí)現(xiàn)個性化的服務(wù)查找·

3.3 基于Web Service的數(shù)據(jù)集成

分布式檢索過程中,實(shí)現(xiàn)大規(guī)模分布的、異構(gòu)的各種數(shù)據(jù)的透明訪問和集成是至關(guān)重要的·但由于網(wǎng)絡(luò)上的數(shù)據(jù)來源多樣,格式不一,沒有統(tǒng)一的數(shù)據(jù)模型,所以,在Web Service框架下實(shí)現(xiàn)所有數(shù)據(jù)的訪問及集成,必須為每一個數(shù)據(jù)源建立一個Web Service,然后使用WSDL向服務(wù)中心注冊·當(dāng)用戶提出查詢請求時,通過服務(wù)查找層,找到相應(yīng)服務(wù)的描述文件,傳送到信息檢索層·

信息檢索層的主要任務(wù)是進(jìn)行相應(yīng)物理位置上數(shù)據(jù)的訪問與集成·利用Web Service屏蔽底層存儲資源的異構(gòu)性,為個性化服務(wù)層提供一個統(tǒng)一的數(shù)據(jù)視圖·信息檢索層在整個系統(tǒng)中的作用相當(dāng)于一個系統(tǒng)訪問網(wǎng)絡(luò)數(shù)據(jù)的一個中間件,它的設(shè)計也同樣采用層次結(jié)構(gòu),見圖3·

圖3中,自下而上分為三層,分別為:數(shù)據(jù)層,指各種分布的存儲資源,如文件系統(tǒng)、數(shù)據(jù)庫系統(tǒng)、文檔及元信息庫等;接口層,指各種面向具體存儲資源的訪問接口;服務(wù)層,管理多個數(shù)據(jù)源,進(jìn)行統(tǒng)一訪問管理提供的各種服務(wù),包括安全服務(wù)、數(shù)據(jù)服務(wù)、全局命名服務(wù)、元數(shù)據(jù)服務(wù)·

圖3 信息檢索層結(jié)構(gòu)

在服務(wù)層中,安全服務(wù)考慮的安全策略包括:用戶登錄系統(tǒng)需要身份的驗證,并為該用戶產(chǎn)生一個具有時限的用戶代理證書;物理資源加入到系統(tǒng)中需要賦予身份,并產(chǎn)生一個代表其身份的資源代理證書;用戶使用某個物理資源,雙方必須交換證書進(jìn)行相互認(rèn)證;它們之間的通信也必須以加密機(jī)制來保證通信安全·數(shù)據(jù)服務(wù)主要提供數(shù)據(jù)的訪問優(yōu)化、調(diào)度和服務(wù),管理分布異構(gòu)存儲資源上的數(shù)據(jù)為一體,提供數(shù)據(jù)的統(tǒng)一訪問,基于XML的數(shù)據(jù)的集成·元數(shù)據(jù)服務(wù)為系統(tǒng)提供全局資源的信息服務(wù),提供數(shù)據(jù)的定位和屬性查找,數(shù)據(jù)的注冊和發(fā)布,安全和授權(quán)信息及用戶元信息的訪問和管理,副本信息的管理和選擇等·全局命名服務(wù)為系統(tǒng)提供一個全局統(tǒng)一的邏輯文件名·本文設(shè)計了三種命名空間,即邏輯文件名、物理文件名和系統(tǒng)內(nèi)使用的文件名:①物理文件名(PFN,Physical File Name),即在文件實(shí)際存儲系統(tǒng)上用來標(biāo)明該文件的唯一標(biāo)識符,在某個獨(dú)立文件系統(tǒng)(如NTFS、exe2等)上為該文件的完整路徑,在網(wǎng)絡(luò)文件系統(tǒng)(如NFS、HPSS等)上為可對該文件進(jìn)行訪問的系統(tǒng)路徑·②系統(tǒng)內(nèi)部使用的文件名(SIFN,System Internal File Name),是在本系統(tǒng)內(nèi)部使用的文件名稱,每個SIFN唯一對應(yīng)一個PFN·③邏輯文件名(LFN,Logical File Name),指面向用戶,在用戶的邏輯視圖中所使用的文件名稱,具有全局唯一性·

綜合上述各層次功能,數(shù)據(jù)訪問的具體過程為:首先,用戶提出一個查詢請求,交予搜索引擎,按照用戶興趣描述(User Profile)查找相應(yīng)的服務(wù)描述文件,將服務(wù)描述文件傳遞給信息檢索層·由于各功能均被包裝成Web服務(wù)的形式,所以,即使是在服務(wù)查找過程中,服務(wù)關(guān)鍵詞與 User Profile相匹配的過程也被包裝成服務(wù),一切功能的銜接均是通過SOAP消息進(jìn)行的·其中,在信息檢索層的具體操作步驟如下·

(1)在服務(wù)查找層找到服務(wù)描述文件以后,傳遞給Data Broker,它按照不同的服務(wù)描述文件找到相應(yīng)的服務(wù),這些服務(wù)分別負(fù)責(zé)相應(yīng)物理存儲位置上的數(shù)據(jù)的訪問·

(2)為了能對不同物理位置上的數(shù)據(jù)進(jìn)行訪問,Data Broker向元信息庫管理器產(chǎn)生一個查詢,要求通過LFN得到該文件的URL(FTP協(xié)議),這個查詢以SOAP envelope的形式傳遞到元信息庫管理器·Data Broker查看此用戶是否有權(quán)限執(zhí)行此操作,如果沒有權(quán)限,則此用戶請求被拒絕;如果此用戶有權(quán)限,則執(zhí)行該請求·

(3)元信息庫管理器從元數(shù)據(jù)目錄中檢索所有給定邏輯文件名的SFN,查詢遠(yuǎn)程數(shù)據(jù)容器,看被分析的文件是否已經(jīng)準(zhǔn)備下載,來決定該文件的最優(yōu)位置·

(4)在所有收集到的數(shù)據(jù)中,元信息庫管理器決定從哪一個文件位置下載·

(5)元信息庫管理器改變元數(shù)據(jù)目錄中該文件的location state,對該文件加寫鎖,并且返回被選擇的數(shù)據(jù)文件的URL·

(6)將數(shù)據(jù)庫訪問的ODBC包裝成服務(wù),對該數(shù)據(jù)源進(jìn)行訪問,得到XML格式的數(shù)據(jù),這個結(jié)果被返回給Data Broker作為響應(yīng)·

(7)Data Broker將該數(shù)據(jù)的模式存入元信息庫,若需要與其他數(shù)據(jù)進(jìn)行集成,則在元信息庫中查找其他數(shù)據(jù)的模式信息,手工完成模式的映射·

(8)數(shù)據(jù)進(jìn)行集成后,返回給用戶,同時,將元信息庫中該數(shù)據(jù)源的寫鎖釋放·

3.4 個性化User Profile的構(gòu)建與學(xué)習(xí)

User Profile是用戶興趣的描述文件,是用戶個性化需要的體現(xiàn),是個性化搜索的基礎(chǔ)設(shè)施·通常,User Profile可以被理解為用戶模型·構(gòu)建User Profile時,本系統(tǒng)采用的方法是概率潛在的語義分析(PLSA)方法,應(yīng)用PLSA進(jìn)行文檔分析時,p(di)表示某關(guān)鍵詞出現(xiàn)在特定的文本di中時di出現(xiàn)的概率;p{wj|zk}為在潛在因素zk影響下,關(guān)鍵詞wj的概率分布;p{zk|di}為文檔di中潛在變量zk發(fā)生的后驗概率·對文檔進(jìn)行分析時,通常分析聯(lián)合分布p(di,wj),其實(shí)際意義是通過分析文檔中共現(xiàn)詞的分布來分析文檔的語義,這個概率背后,隱藏著潛在的語義空間zk∈{z1,z2,…,zk}·計算時,聯(lián)合分布可以展開為

PLSA算法中,潛在變量估計使用的是期望最大算法 Expectation Maximum(EM)算法·EM算法交替進(jìn)行E步和M步·其中,E步具體的計算如式(2)所示;M步驟中,使完備數(shù)據(jù)的對數(shù)似然函數(shù)取最大值,得到p{wj|zk},p{di|zk}·

E步與M步迭代,最終可以得到相應(yīng)文檔的潛在語義空間zk·在此潛在語義空間中,按照概率值的大小,可以把語義分為共性與個性,概率值越大的潛在因素,其越具有共性;反之,概率值越小,個性越強(qiáng)·在此空間中,可以將用戶興趣進(jìn)行相應(yīng)的聚類,并按照聚類結(jié)果建立用戶興趣的User Profile·

所以,本系統(tǒng)中User Profile的結(jié)構(gòu)采用向量空間模型(VSM)加權(quán)的方式進(jìn)行存儲,只是向量的關(guān)鍵字為相應(yīng)的潛在空間的 Topic,即{(Topic1,w1),(Topic2,w2),…,(Topicn,wn)}·最初,User Profile采用注冊的方式進(jìn)行;然后,通過對用戶所感興趣的服務(wù)、網(wǎng)頁及相應(yīng)的數(shù)據(jù)的title關(guān)鍵詞提取進(jìn)行學(xué)習(xí)與更新·在User Profile中,可以采用斐波那耶?dāng)?shù)列進(jìn)行興趣衰減,當(dāng)關(guān)鍵詞幾次未被訪問后,其權(quán)值自動衰減;當(dāng)權(quán)值低于一定閾值時,此關(guān)鍵詞被刪除;同理,當(dāng)關(guān)鍵詞被連續(xù)訪問時,其權(quán)值將不斷上升,實(shí)現(xiàn)興趣的更新·

4 結(jié) 語

本文提出了分布式個性化檢索的基于Web服務(wù)的實(shí)現(xiàn)方式,由于分布式檢索覆蓋廣,數(shù)據(jù)量大,使得個性化需求尤為突出·本文所提出的基于概率潛在語義建立User profile的方法可以真正解決用戶搜索的真正意圖,找到其潛在的搜索主題,可以克服元搜索引擎只能進(jìn)行簡單查詢的不足·同時,基于 Web Service與 P2P的結(jié)合,使得集中式注冊與分布式管理相結(jié)合,可以充分克服Web Service分布式查找的困難及P2P管理的“瓶頸”問題·同時,一些分布式編程技術(shù),如Ajax+J2EE等[6]的發(fā)展,也使分布式個性化檢索成為可能,也是使個性化檢索跨向成熟一步的關(guān)鍵所在·從發(fā)展的角度看,開放、分布式的個性化檢索是大勢所趨·

下一步的研究工作是將個性化搜索技術(shù)中的User Profile的構(gòu)建與混合P2P的研究更進(jìn)一步緊密結(jié)合,使用戶模型與超級結(jié)點(diǎn)的選取相結(jié)合,提高資源查找的精確度·

[1] 劉婧,袁可,蔣偉.分布式檢索中查詢結(jié)果合并方法研究[J].情報學(xué)報,2009(5):685-688.

[2] Telang A,Chakravarthy S,Li C.Querying for information integration:How to go from an imprecise intent to a precise query?[C].International Conference on Management of Data(COMAD),2008:245-248.

[3] Christensen E,Curbera F.Web Service Description Language(WSDL)1.0[EB/OL].[2000-09].http:∥www.06.ibm.com/developer Works/web/library/w-wsd-1.html.

[4] Box D,Enhnebuske D.Simple Access ObjectProtocol(SOAP)(W3C Note 08 May 2000)[EB/OL].[2002-05-08].http:∥www.w3c.org/TR/SOAP.

[5] Clement L,Hately A,Riegen C V,etal.Universal description discovery&integration(UDDI)3.0.2.2004[EB/OL].http:∥uddi.org/pubs/uddi-v3.htm.

[6] 黎宇.Ajax+J2EE開發(fā)靜態(tài)頁的組織機(jī)構(gòu)管理系統(tǒng)[J].電腦編程技巧與維護(hù),2010(11):36-43.

Personalized Retrieval System Based on Distributed Services Technology

CHEN Dongling,HAN Xiaowei
(School of Information Science and Engineering,Shenyang University,Shenyang 110044,China)

Web service and personalized technologies are integrated;Web service based personalized information retrieval is proposed;and system design and key technology analysis are further proceeded.

Web service;personalized information retrieval;distributed retrieval

TP 391

A

2010-10-09

遼寧省博士啟動基金資助項目(20101074)·

陳冬玲(1973-),女,吉林四平人,沈陽大學(xué)講師,博士·

1008-9225(2011)02-0017-05

【責(zé)任編輯:劉乃義】