連雁平 (武夷學(xué)院數(shù)學(xué)與計(jì)算機(jī)系,福建武夷山354300)

1 搜索引擎

搜索引擎 (Search Engine)技術(shù)是近10年來隨著Web應(yīng)用的迅猛發(fā)展、網(wǎng)絡(luò)信息資源的迅速增加而發(fā)展起來的,并得到廣泛應(yīng)用。搜索引擎是利用機(jī)器自動(dòng)化的收集網(wǎng)絡(luò)信息并有序化的一種技術(shù),能夠自動(dòng)對(duì)Internet上的信息資源進(jìn)行分析處理,是通過查詢?yōu)橛脩舴祷仄ヅ滟Y源的典型的網(wǎng)絡(luò)信息檢索系統(tǒng)。它一般是互聯(lián)網(wǎng)上的一個(gè)網(wǎng)站,主要任務(wù)是在互聯(lián)網(wǎng)上主動(dòng)搜索web服務(wù)信息并將其自動(dòng)索引,索引內(nèi)容存儲(chǔ)于可供用戶查詢的大型數(shù)據(jù)庫中。

搜索引擎的工作原理大致可以分為3個(gè)步驟[1]:①搜集信息。搜索引擎的信息搜集基本都是自動(dòng)的。搜索引擎利用稱為網(wǎng)絡(luò)蜘蛛 (spider)的自動(dòng)搜索機(jī)器人程序來連上每一個(gè)網(wǎng)頁上的超鏈接。②整理信息。搜索引擎整理信息的過程稱為 “建立索引”。搜索引擎不僅要保存搜集起來的信息,還要將它們按照一定的規(guī)則進(jìn)行編排。③接受查詢。用戶向搜索引擎發(fā)出查詢,搜索引擎接受查詢并向用戶返回資料。搜索引擎每時(shí)每刻都要接到來自大量用戶的幾乎是同時(shí)發(fā)出的查詢,它按照每個(gè)用戶的要求檢查自己的索引,在極短時(shí)間內(nèi)找到用戶需要的資料,并返回給用戶。

隨著網(wǎng)絡(luò)用戶的增加,Internet的信息日益膨脹,搜索引擎已成為人們獲取網(wǎng)絡(luò)資源信息必不可少的工具。當(dāng)前Internet上的搜索引擎很多,但大部分搜索引擎存在以下幾方面的不足[2]:

1)搜索引擎不能滿足用戶個(gè)性化興趣需求 傳統(tǒng)搜索引擎系統(tǒng)通常是一種大型的服務(wù)器程序,它要同時(shí)響應(yīng)很多個(gè)用戶的搜索請(qǐng)求,這樣更多考慮的是并發(fā)性能及響應(yīng)用戶的效率,而提供給普通用戶可以使用的個(gè)性化方式和功能卻極為有限。因而用戶只能被動(dòng)地接受搜索引擎提供給他們的用戶界面、檢索方法規(guī)范、信息分類方法、對(duì)關(guān)鍵詞的理解,而自己的文化程度、行業(yè)背景、使用習(xí)慣等不能得到充分的照顧。傳統(tǒng)搜索引擎提供給用戶的用戶接口一般非常類似而又簡(jiǎn)單:一個(gè)關(guān)鍵詞文本輸入框、幾個(gè)有限的邏輯運(yùn)算符和可以由它們組成邏輯關(guān)系表達(dá)式的機(jī)制,用戶用此來表達(dá)對(duì)所需要的文檔的描述。檢索工作是用戶驅(qū)動(dòng)的,即由用戶顯式地提出檢索請(qǐng)求,系統(tǒng)給出響應(yīng),因此不能夠根據(jù)用戶個(gè)性化興趣需求來定制檢索結(jié)果。此外,傳統(tǒng)搜索引擎系統(tǒng)并不具有對(duì)Web信息進(jìn)行監(jiān)控并在出現(xiàn)用戶感興趣的新信息時(shí)主動(dòng)通知用戶的功能?，F(xiàn)有廣泛使用的搜索引擎多數(shù)還只能提供對(duì)文本信息的查詢,沒有對(duì)復(fù)雜對(duì)象如視頻、音頻、圖像等的查詢方法,也沒有為它們提供任何接口。

2)檢索結(jié)果使用戶資源迷向 傳統(tǒng)搜索引擎所使用的全文檢索如今已成為一種比較成熟的技術(shù),它能夠解決對(duì)網(wǎng)頁細(xì)節(jié)的檢索問題。從理論上說,只要一個(gè)網(wǎng)頁上出現(xiàn)了某個(gè)關(guān)鍵詞,全文檢索就能采用關(guān)鍵詞匹配把該網(wǎng)頁查出來。但實(shí)際上對(duì)用戶來說結(jié)果返回得太多了,因用戶畢竟精力和時(shí)間有限,需要的有用信息只在其中占很小一部分,絕大部分檢索結(jié)果都是查非所要的。

3)檢索結(jié)果存在信息丟失 傳統(tǒng)搜索引擎的搜索過程實(shí)際上是對(duì)關(guān)鍵詞進(jìn)行匹配的過程,而這個(gè)匹配卻是機(jī)械式的匹配,即只是從字形上來識(shí)別匹配關(guān)鍵詞,卻不能從詞所表達(dá)的具體含義上來識(shí)別匹配。

2 智能Agent

Agent技術(shù)起源于20世紀(jì)70年代的人工智能 (A rtificial Intelligence,A I)領(lǐng)域,20世紀(jì)80年代中后期人工智能技術(shù)與分布式計(jì)算技術(shù)相結(jié)合,出現(xiàn)了分布式人工智能 (Distributed A rtificial Intelligence,DAI)研究。由于DAI突破了長(zhǎng)期以來人工智能研究進(jìn)展不大的局面,因此備受人們的重視和青睞。Agent融入了主流計(jì)算機(jī)的各個(gè)領(lǐng)域,產(chǎn)生了一系列新的思路、方法和技術(shù),各種類型的軟件Agent大量用于信息處理、辦公自動(dòng)化、交通管理、私人助手等[3]。

Agent的基本功能就是與外界環(huán)境交互,獲取信息,并對(duì)信息進(jìn)行處理然后作用于環(huán)境。Agent作為一種代理,代替用戶進(jìn)行工作。Agent要能正確完成復(fù)雜的任務(wù),必須能通過交流充分了解用戶目的,對(duì)一些含糊的部分,Agent也能有足夠的知識(shí)來理解和實(shí)現(xiàn)。因此,Agent必須提供一個(gè)能充分表達(dá)用戶目的的機(jī)制,在許多情況下,這些目的的表達(dá)可能是含糊的或不精確的,這就需要Agent擁有一定智能和知識(shí),使Agent能準(zhǔn)確理解用戶的真正需要。此外Agent還應(yīng)知道向用戶提交結(jié)果的時(shí)間、相關(guān)信息源的位置以及獲得相關(guān)數(shù)據(jù)的方法。

3 多Agent系統(tǒng)

多Agent系統(tǒng) (Multi-Agent System,MAS)是指由多個(gè)Agent組成的一個(gè)松散耦合的多Agent聯(lián)邦,其成員Agent之間相互協(xié)同,相互服務(wù),共同完成一個(gè)任務(wù)[2]。各Agent成員的活動(dòng)是自治和獨(dú)立的,其自身的目標(biāo)和行為不受其他Agent成員的限制,它們通過競(jìng)爭(zhēng)或者談判的方式解決Agent的目標(biāo)和行為之間的矛盾和沖突。MAS的數(shù)據(jù)和資源是分散的,每個(gè)成員Agent對(duì)于所要完成的任務(wù)擁有不完全的信息或者能力,不存在全局的控制系統(tǒng),任務(wù)的執(zhí)行和計(jì)算是異步的。MAS的主要研究?jī)?nèi)容是一組自治的Agent之間智能行為的協(xié)調(diào) (Coordination)和協(xié)作 (Cooperation)[3]。這是因?yàn)閱蝹€(gè)Agent的能力通常受到其所擁有的知識(shí)、資源和視野的限制,因此有必要將多個(gè)Agent組織起來,通過Agent之間的協(xié)商、協(xié)作、談判甚至競(jìng)爭(zhēng)共同完成單個(gè)A gent無法勝任的任務(wù)。

4 模 型

系統(tǒng)的設(shè)計(jì)思想是設(shè)計(jì)一個(gè)集主動(dòng)搜索和元搜索于一體的基于智能Agent的個(gè)性化搜索引擎模型,采用主動(dòng)搜索和元搜索相互補(bǔ)充的方法提高系統(tǒng)的查詢準(zhǔn)確率和完整性,整個(gè)系統(tǒng)模型采用多Agent之間的協(xié)商、合作來完成。模型結(jié)構(gòu)如圖1所示。

系統(tǒng)分成用戶Agent、查找Agent、反饋 Agent、元搜索 Agent、主動(dòng)搜索 Agent、索引Agent和數(shù)據(jù)庫7個(gè)部分。

1)用戶Agent 用戶A gent的功能主要是提供搜索信息和獲取搜索反饋信息,即提供給用戶良好的互操作界面。一方面實(shí)現(xiàn)信息引導(dǎo),幫助用戶確定自己需要的信息所在的范圍,細(xì)化和規(guī)范查詢要求,另一方面提供用戶相關(guān)信息反饋窗口,記錄用戶對(duì)查找結(jié)果的意見。

2)查找Agent 查找A gent的功能是根據(jù)用戶界面的請(qǐng)求實(shí)現(xiàn)對(duì)數(shù)據(jù)庫的查找,并將查找結(jié)果反饋給用戶界面。單純的關(guān)鍵詞匹配查找是不夠的,容易造成返回結(jié)果過多或定位不準(zhǔn)的結(jié)果。可通過關(guān)鍵詞擴(kuò)展技術(shù)擴(kuò)展查找的目標(biāo),關(guān)鍵詞擴(kuò)展主要是指語義相近詞的擴(kuò)展,查找Agent可以根據(jù)用戶提供的關(guān)鍵詞及擴(kuò)展了的近義詞作多次匹配查詢。當(dāng)返回結(jié)果過多時(shí),采用交互式提示界面,提示界面應(yīng)是原關(guān)鍵詞的細(xì)化,用戶可以再次精確定位。當(dāng)返回多項(xiàng)結(jié)果時(shí),應(yīng)能給用戶指示出不同結(jié)果的匹配度和聚類表示,從而更好地引導(dǎo)用戶進(jìn)一步獲取結(jié)果。

3)元搜索Agent 元搜索A gent是直接與信息源進(jìn)行連接并獲取信息的代理,可以在現(xiàn)有網(wǎng)絡(luò)通信協(xié)議TCP/IP基礎(chǔ)上實(shí)現(xiàn)。它根據(jù)用戶偏好對(duì)用戶查詢?cè)~條進(jìn)行擴(kuò)充,合理調(diào)用各個(gè)獨(dú)立的成員搜索引擎,并將擴(kuò)充后的用戶查詢請(qǐng)求轉(zhuǎn)化成符合所對(duì)應(yīng)的獨(dú)立搜索引擎語法的查詢請(qǐng)求并發(fā)送出去,對(duì)各個(gè)獨(dú)立搜索引擎所返回的信息進(jìn)行分析處理以此來提高用戶完成下達(dá)搜索請(qǐng)求的效率。

4)反饋Agent 反饋A gent和用戶Agent以及數(shù)據(jù)庫相連,接受并存儲(chǔ)用戶Agent的反饋意見,能對(duì)用戶反饋意見進(jìn)行統(tǒng)計(jì)分析,并能按一定的規(guī)則對(duì)索引數(shù)據(jù)庫的部分信息索引進(jìn)行修改。

5)主動(dòng)搜索Agent 主動(dòng)搜索Agent的主要功能是完成網(wǎng)上信息的自動(dòng)獲取,增加和更新中心索引數(shù)據(jù)庫的內(nèi)容。主動(dòng)搜索Agent的目標(biāo)可以是直接網(wǎng)絡(luò)站點(diǎn)搜尋,也可以是借助于已有搜索引擎進(jìn)行,使用后者的長(zhǎng)處在于主動(dòng)搜索Agent不必直接面向全網(wǎng)搜索,只需與若干引擎連接,獲取已有搜索結(jié)果,在實(shí)現(xiàn)上得以簡(jiǎn)化,不足點(diǎn)在于搜索范圍受搜索引擎制約。

6)索引Agent 管理系統(tǒng)中的本地?cái)?shù)據(jù)庫,完成各種數(shù)據(jù)表格、歷史紀(jì)錄的維護(hù)以及各種文檔信息的統(tǒng)計(jì)處理、報(bào)表生成等工作。

7)數(shù)據(jù)庫 數(shù)據(jù)庫的建立是為了使搜索更加便捷。數(shù)據(jù)庫的內(nèi)容是對(duì)Internet范圍某種信息的中間索引,數(shù)據(jù)庫的結(jié)構(gòu)同樣依據(jù)相關(guān)信息的分類知識(shí)來建立,根據(jù)不同的信息內(nèi)容建立分布式的數(shù)據(jù)庫。

5 結(jié) 語

搜索引擎是萬維網(wǎng)迅猛發(fā)展、信息網(wǎng)絡(luò)資源迅速增加的產(chǎn)物。筆者主要闡述如何將智能Agent技術(shù)應(yīng)用于搜索引擎當(dāng)中,借助多Agent系統(tǒng)成員的相互協(xié)調(diào)合作,結(jié)合用戶個(gè)性化需求特性設(shè)計(jì)個(gè)性化智能搜索引擎模型。Agent技術(shù)是近些年人工智能發(fā)展的產(chǎn)物之一,已經(jīng)慢慢融入到主流計(jì)算機(jī)的各個(gè)領(lǐng)域,包括信息安全、網(wǎng)絡(luò)技術(shù)、交通運(yùn)輸管理、辦公自動(dòng)化OA技術(shù)、電子商務(wù)等,今后將注重于智能Agent技術(shù)在電子商務(wù)系統(tǒng)網(wǎng)站中的具體應(yīng)用。

[1]鄧俊濤.基于多Agent協(xié)作的智能搜索引擎的研究 [D].武漢:武漢理工大學(xué),2007.

[2]李益.基于多Agent的智能搜索引擎系統(tǒng)研究[D].哈爾濱:哈爾濱工程大學(xué),2004.

[3]劉翀,曹陽.基于移動(dòng)Agen t的智能搜索引擎的設(shè)計(jì)與實(shí)現(xiàn) [J].計(jì)算機(jī)工程,2002,28(10):105～110.