摘要：元搜索引擎通過調(diào)用多個(gè)獨(dú)立搜索引擎，從而提高了檢索結(jié)果的覆蓋面。本文簡述了元搜索引擎的運(yùn)作原理，研究了元搜索引擎的核心技術(shù)，闡述了它的局限性以及未來發(fā)展趨勢，并對其局限性提出實(shí)用可行的優(yōu)化方案。

關(guān)鍵詞：元搜索引擎；成員搜索引擎；網(wǎng)頁去重；結(jié)果排序

中圖分類號：TP393.09 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9599 (2012) 10-0000-02

一、引言

隨著網(wǎng)絡(luò)科技的迅猛發(fā)展，網(wǎng)絡(luò)深入人們的生活。如何在網(wǎng)絡(luò)中尋找需求度額信息顯得尤為重要。

據(jù)Cyceillance于2000年7月10日公布的一項(xiàng)研究表明，目前Internet上已有21億個(gè)唯一URL地址的公開網(wǎng)址，并且仍以每天超過700萬的驚人速度增長。十余年過去，信息的膨脹與爆炸，使用戶們不知所措。正如Wurman所說，信息爆炸給人們帶來的事信息焦慮。用戶對信息的需求各不相同，于是搜索引擎逐漸成為web用戶不可或缺的工具。

元搜索引擎(meta search engine，簡稱MSE)作為一個(gè)新的搜索技術(shù)的研發(fā)領(lǐng)域，已經(jīng)在實(shí)踐中初步顯示了其便捷性和重要性。雖然目前元搜索的研究有不斷的發(fā)展，但是由于依賴各個(gè)獨(dú)立的搜索引擎，元搜索引擎在處理查詢輸入和輸出顯示時(shí)均可能出現(xiàn)問題，如檢準(zhǔn)率不易控制檢索時(shí)間過長，對高級檢索的支持有待改進(jìn)，檢索結(jié)果不能很好體現(xiàn)等等。因此，元搜索的優(yōu)化研究具有一定的時(shí)代意義和創(chuàng)新性。

二、元搜索引擎的原理

傳統(tǒng)搜索引擎分為全文搜索引擎、目錄索引、元搜索引擎。元搜索引擎又稱多搜索引擎，通過一個(gè)統(tǒng)一的用戶界面幫助用戶在多個(gè)搜索引擎中選擇和利用合適的(甚至是同時(shí)利用若干個(gè))搜索引擎來實(shí)現(xiàn)檢索操作，是對分布于網(wǎng)絡(luò)的多種檢索工具的全局控制機(jī)制。目前國內(nèi)的搜索引擎發(fā)展迅速，市場也很廣闊。但是，元搜索引擎的發(fā)展很緩慢，相關(guān)網(wǎng)站也比較少。元搜索引擎由3部分組成，包括請求提交、檢索接口代理、檢索結(jié)果顯示。

（一）請求提交：

負(fù)責(zé)實(shí)現(xiàn)用戶的檢索要求，檢索內(nèi)容可以是單個(gè)關(guān)鍵詞、短語，也可以是句子，可以由用戶選擇搜索引擎組合，也可以由默認(rèn)的搜索引擎搜索，還可以由用戶選擇單個(gè)搜索引擎進(jìn)行搜索。

（二）檢索接口代理

由于各個(gè)獨(dú)立的搜索引擎所采用的搜索算法和數(shù)據(jù)庫存在很大差異，需要將用戶檢索的請求轉(zhuǎn)化成各個(gè)成員搜索引擎所要求的格式，包括是否支持布爾檢索、是否提供自然語言查詢等高級檢索服務(wù)，逐一做出適應(yīng)各個(gè)源搜索引擎的轉(zhuǎn)換，以提高檢準(zhǔn)率。

（三）檢索結(jié)果顯示

將所有來自源搜索引擎的搜索結(jié)果進(jìn)行二次處理，包括對結(jié)果的去重和排序，并將處理的結(jié)果按照統(tǒng)一格式輸出給用戶。難點(diǎn)在于對數(shù)據(jù)的去重和排序。目前的檢索處理方法主要是“將響應(yīng)最快的搜索結(jié)果先返回”、“位置排序法”、“摘要排序法”等，各有利弊，檢索處理算法好壞直接影響檢索時(shí)間、檢索覆蓋率、排序質(zhì)量等。

以上為元搜索引擎的組成部分，也是進(jìn)行設(shè)計(jì)元搜索引擎的三個(gè)步驟。

三、現(xiàn)有元搜索引擎存在的缺陷

而對于國內(nèi)現(xiàn)在已經(jīng)存在的元搜索網(wǎng)站，例如搜魅網(wǎng)（someta）等，雖然能實(shí)現(xiàn)基本的功能，但是卻有一定的缺陷，大多數(shù)存在兩個(gè)方面的問題。

其一，是搜索覆蓋面雖然很全面，但是搜索的時(shí)間很長，例如搜索“元搜索”這個(gè)名詞，我們用了4家國內(nèi)利用元搜索原理開設(shè)的搜索應(yīng)網(wǎng)站進(jìn)行了搜索測試，其中兩家的搜索時(shí)間大于30秒，甚至無結(jié)果顯示；

其二，是搜索時(shí)間較短，但是覆蓋面較窄。我們同樣對上述幾個(gè)網(wǎng)站進(jìn)行測試，有的返回的搜索結(jié)果只有單一搜索引擎的結(jié)果，并沒有發(fā)揮元搜索真正的優(yōu)勢。以此來看，目前的元搜索引擎還沒有真正發(fā)揮其本身的優(yōu)勢，為廣大用戶提供便利。

而隨著網(wǎng)絡(luò)的發(fā)展，越來越多的信息是人們通過Internet獲取，據(jù)估計(jì)網(wǎng)絡(luò)中有超過8億個(gè)可索引的網(wǎng)頁，大約15TB的信息量，而單個(gè)搜索引擎能覆蓋的不超過全部可檢索頁的16%，因此元搜索引擎的開發(fā)勢必成為將來的發(fā)展趨勢。

四、優(yōu)化元搜索引擎的主要功能特點(diǎn)

元搜索引擎的優(yōu)化目的在于在可接受的搜索時(shí)間內(nèi)，返回更多的信息量。所研究的重點(diǎn)在于如何設(shè)計(jì)一個(gè)元搜索引擎并對由多個(gè)獨(dú)立搜索引擎結(jié)果的二次處理，如對檢索結(jié)果的去重、權(quán)值排序等。

其核心思路在于：

1.請求提交：負(fù)責(zé)實(shí)現(xiàn)用戶的檢索要求；

2.檢索接口代理：將用戶檢索的請求轉(zhuǎn)化成各個(gè)成員搜索引擎所要求的格式；

3.檢索結(jié)果顯示:將所有來自源搜索引擎的搜索結(jié)果進(jìn)行二次處理，包括對結(jié)果的去重和排序，并將處理的結(jié)果按照統(tǒng)一格式輸出給用戶；

4.個(gè)性化設(shè)計(jì)：元搜索引擎把信息數(shù)據(jù)收集起來，從用戶個(gè)性化信息庫獲取個(gè)性化特征，比較分析，計(jì)算結(jié)果，返回給用戶。

五、優(yōu)勢分析及可行性

元搜索引擎作為一個(gè)新的搜索技術(shù)的研發(fā)領(lǐng)域，已經(jīng)在實(shí)踐中初步顯示了其便捷性和重要性。

由于web數(shù)據(jù)量太大，而且增長迅猛，單個(gè)搜索引擎的容量，處理能力難以擴(kuò)展到較大規(guī)模，每個(gè)搜索引擎只能包含部分web文檔。元搜素能夠分散處理負(fù)載，增加檢索范圍。

元搜素具有較好的擴(kuò)展性，可以加入多個(gè)成員搜索引擎，它使得各個(gè)成員搜蘇引擎規(guī)模變小，性能更好。檢索相應(yīng)時(shí)間短，還可使得檢索的內(nèi)容保持最新。

有些web站點(diǎn)的內(nèi)容不能用數(shù)據(jù)采集器抓取，檢索更有效，用戶為了找到滿意的檢索結(jié)果可能訪問多個(gè)搜索引擎，直到找到合適結(jié)果，而元搜索引擎可以幫助用戶自動完成這個(gè)任務(wù)。

六、結(jié)語

本文通過對固有元搜索引擎的研究，提出元搜索優(yōu)引擎優(yōu)化的方式。針對現(xiàn)有元搜索引擎的缺點(diǎn)進(jìn)行分析，提出切實(shí)可靠地提出解決方案。

就元搜索引擎技術(shù)本身來說，如何實(shí)現(xiàn)和完善元搜索引擎的智能化，個(gè)性化，專業(yè)化，將是信息檢索研究的著重點(diǎn)，而中文元搜索引擎還處于起步階段，發(fā)展空間很大。相信在未來的網(wǎng)絡(luò)的信息檢索領(lǐng)域，元搜素引擎會有廣泛的應(yīng)用前景。

參考文獻(xiàn)：

[1]Steve Lawrence，Lee Giles C．Accessibility of information onthe web J J.Nature science joumals，1999，400，(8):107

[2]張儉恭，陳定權(quán)，昊振新．關(guān)于搜索引擎與元搜索引擎的討論[J]．現(xiàn)代圖書情報(bào)技術(shù)，2OO2，92，(2):338

[3]黃于藍(lán)，王洪，徐端等.搜索引擎技術(shù)的新發(fā)展—多元搜索引擎系統(tǒng)[J].計(jì)算機(jī)工程，2002，28，(1):4-6

[4]陳俊杰，薛云，宋翰濤等.基于Agent的元搜索引擎的研究與設(shè)計(jì)[J]．計(jì)算機(jī)工程與應(yīng)用，2003，10:33-35

[5]Weiyi Meng，Clement Yu，King-Lup Liu Building efficient and effective Metasearch Engine

[6]Christos Faloutsos and Douglas Oard，A Survey of Information Retrieval and Filtering Methods