〔摘 要〕通過(guò)ISI Web of Science和中國(guó)期刊網(wǎng)查找有關(guān)搜索引擎評(píng)價(jià)研究的文章，本文對(duì)搜索引擎評(píng)價(jià)研究的相關(guān)文獻(xiàn)進(jìn)行了梳理，并對(duì)研究方法進(jìn)行了總結(jié)。搜索引擎評(píng)價(jià)研究方法主要有實(shí)驗(yàn)法、調(diào)查法、觀察法、數(shù)據(jù)分析法、綜述和評(píng)論等。對(duì)比國(guó)內(nèi)外相關(guān)研究，國(guó)內(nèi)搜索引擎評(píng)價(jià)研究數(shù)據(jù)支撐較為缺乏，科學(xué)分析和論證也明顯不足。本文旨在提升國(guó)內(nèi)搜索引擎評(píng)價(jià)研究的科學(xué)性。

〔關(guān)鍵詞〕搜索引擎；評(píng)價(jià)；研究方法；綜述

ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００８－０８２１．２０１０．１２．０４５

〔中圖分類(lèi)號(hào)〕Ｇ３５４ 〔文獻(xiàn)標(biāo)識(shí)碼〕Ａ 〔文章編號(hào)〕１００８－０８２１（２０１０）１２－０１６３－０５

Overview of the Methods of Evaluation on Search EngineFei Wei

（Suzhou Library，Suzhou 215002，China）

〔Ａｂｓｔｒａｃｔ〕The paper reviewd the documents related to the evaluation of search engines based on the ISI Web of Science and CNKI.The methods of these studies were concluded，which were experimentation，survey，observation，data analysis，and review.According to the comparison between domestic and overseas correlational research，the research on the evaluation of search engines was lack of data，as well as scientific analysis and verification.The aim of this paper was to improve the scientificity of the evaluation of search engine in China.

〔Ｋｅｙｗｏｒｄｓ〕search engines;evaluation;research method;overview

搜索引擎評(píng)價(jià)研究涉及很多學(xué)科，如計(jì)算機(jī)科學(xué)、圖書(shū)情報(bào)科學(xué)、統(tǒng)計(jì)學(xué)、認(rèn)知科學(xué)、電子通訊、機(jī)械工程、自動(dòng)化和控制系統(tǒng)等。ISI Web of Science數(shù)據(jù)中搜索引擎評(píng)價(jià)研究涉及到的學(xué)科及其分支學(xué)科有236個(gè)之多（檢索時(shí)間：2010年10月9日），可見(jiàn)搜索引擎評(píng)價(jià)研究具有很強(qiáng)的跨學(xué)科性質(zhì)，因而搜索引擎評(píng)價(jià)的研究方法也不免具有跨學(xué)科的特點(diǎn)。Louise提到搜索引擎評(píng)價(jià)研究方法之一的自然觀察法（Naturalistic studies）［１］被心理學(xué)家、行為學(xué)家和社會(huì)學(xué)家采用，用來(lái)觀察其研究對(duì)象的自然習(xí)慣。Orland總結(jié)的縱向研究法（longitudinal studies）［２］，被普遍應(yīng)用于醫(yī)學(xué)觀察，常用于觀察某一疾病出現(xiàn)的征兆和癥狀。還有一些其他的方法被應(yīng)用于各個(gè)領(lǐng)域的研究和實(shí)踐之中，這些研究方法可以很好地與搜索引擎評(píng)價(jià)研究相結(jié)合，不斷充實(shí)該領(lǐng)域的研究，也逐步加強(qiáng)搜索引擎評(píng)價(jià)研究的嚴(yán)謹(jǐn)性和科學(xué)性。

１ 搜索引擎評(píng)價(jià)研究方法

Louise歸納出搜索引擎評(píng)價(jià)的研究方法有評(píng)論法（Review）、試驗(yàn)法（Experiments）、自然觀察法（Naturalistic studies）、調(diào)查法（Survey）等。Orland綜合了可視化檢索系統(tǒng)的評(píng)價(jià)方法：觀察法（Inspection Methods）、實(shí)驗(yàn)室研究法（Laboratory studies）、現(xiàn)場(chǎng)實(shí)驗(yàn)法（Field Trials）、縱向研究法（Longitudinal Studies）以及系統(tǒng)和日志分析法（Instrumentation and log analysis）等。國(guó)內(nèi)的研究人員也對(duì)搜索引擎評(píng)價(jià)方法進(jìn)行了歸納總結(jié)，如比較分析法和測(cè)試實(shí)驗(yàn)法［３］，如以描述為主的搜索引擎評(píng)價(jià)方式，以查詢(xún)結(jié)果的命中個(gè)數(shù)作為評(píng)價(jià)標(biāo)準(zhǔn)等［４］。

綜合國(guó)內(nèi)外關(guān)于搜索引擎評(píng)價(jià)研究，筆者將搜索引擎評(píng)價(jià)研究方法分為以下幾種。

１.１ 實(shí)驗(yàn)方法

實(shí)驗(yàn)方法越來(lái)越多地被應(yīng)用于搜索引擎評(píng)價(jià)的研究，研究人員根據(jù)其研究課題，力圖探明現(xiàn)象與結(jié)果之間的關(guān)系。在實(shí)驗(yàn)中，研究者首先要提出有關(guān)研究目的的問(wèn)題或假設(shè)，并定義變量與自變量，從實(shí)驗(yàn)中獲取相關(guān)數(shù)據(jù)，通過(guò)數(shù)據(jù)分析來(lái)給出問(wèn)題的答案或論證假設(shè)是否成立。實(shí)驗(yàn)方法有較強(qiáng)的可控性和操作性，其可控性體現(xiàn)為對(duì)實(shí)驗(yàn)中變量和自變量的定義以及數(shù)據(jù)采集的標(biāo)準(zhǔn)和數(shù)據(jù)量的大小等方面。操作性則體現(xiàn)為研究人員按照科學(xué)的實(shí)驗(yàn)方法，結(jié)合研究課題本身的需求，對(duì)實(shí)驗(yàn)步驟進(jìn)行科學(xué)合理的設(shè)計(jì)，規(guī)范數(shù)據(jù)采集的標(biāo)準(zhǔn)并依此標(biāo)準(zhǔn)收集和采集數(shù)據(jù)，并應(yīng)用科學(xué)的工具對(duì)采集的數(shù)據(jù)進(jìn)行分析。

Jansen等在搜索引擎檢索電子商務(wù)信息的性能評(píng)價(jià)研究中提出了3個(gè)假設(shè)，分別定義了變量和自變量，通過(guò)檢索實(shí)例收集了相關(guān)數(shù)據(jù)，并應(yīng)用方差分析法、Tukeys HSD檢驗(yàn)以及回歸分析法等分析了實(shí)驗(yàn)數(shù)據(jù)［５］。通過(guò)實(shí)驗(yàn)研究表明，相較于全文檢索，基于概念的檢索能顯著提升檢準(zhǔn)率，越多的語(yǔ)義因素加入檢索式中，檢準(zhǔn)率就越高［６］。搜索引擎評(píng)價(jià)研究越來(lái)越重視實(shí)驗(yàn)方法，也越來(lái)越多地采取實(shí)驗(yàn)的研究方法。如研究用戶(hù)個(gè)性對(duì)信息檢索系統(tǒng)心理模型的影響的評(píng)價(jià)研究［７］，PageRank檢索學(xué)術(shù)信息能力的評(píng)價(jià)研究［８］，語(yǔ)言及檢索任務(wù)對(duì)相關(guān)性評(píng)價(jià)的影響研究［９］，網(wǎng)頁(yè)是否含有元數(shù)據(jù)對(duì)網(wǎng)頁(yè)被搜索引擎檢索的影響研究［１０］，用戶(hù)在強(qiáng)化主題詞檢索環(huán)境下檢索式擴(kuò)張行為的研究等［１１］。

實(shí)驗(yàn)方法極大地促進(jìn)了搜索引擎評(píng)價(jià)研究的發(fā)展，研究人員針對(duì)搜索引擎的各個(gè)方面展開(kāi)評(píng)價(jià)研究，并取得了一系列的成果。實(shí)驗(yàn)方法具有較強(qiáng)的針對(duì)性、可控性和操作性，不過(guò)這也從某種程度上說(shuō)明實(shí)驗(yàn)方法具有一定的主觀性，在實(shí)驗(yàn)設(shè)計(jì)、標(biāo)準(zhǔn)制定、數(shù)據(jù)采集等步驟中難免融入了研究人員的主觀因素，這或多或少會(huì)對(duì)搜索引擎評(píng)價(jià)的客觀性造成影響。因此，用實(shí)驗(yàn)的方法進(jìn)行搜索引擎評(píng)價(jià)研究需要盡量減少實(shí)驗(yàn)過(guò)程中的主觀性因素，這就對(duì)實(shí)驗(yàn)設(shè)計(jì)、標(biāo)準(zhǔn)制定以及數(shù)據(jù)采集等各方面提出了更高的要求。

２０１０年１２月第３０卷第１２期搜索引擎評(píng)價(jià)研究方法綜述Ｄｅｃ.，２０１０Ｖｏｌ.３０ Ｎｏ.１２１.２ 調(diào)查方法

在搜索引擎的評(píng)價(jià)研究中，研究人員會(huì)針對(duì)利用搜索引擎的行為用戶(hù)進(jìn)行調(diào)研，包括用戶(hù)的背景，如性別、職業(yè)、學(xué)歷等，用戶(hù)選擇搜索引擎的原因，如用戶(hù)慣性、搜索引擎性能、搜索引擎口碑等，用戶(hù)利用搜索引擎的行為，如檢索詞的選擇、檢索式的構(gòu)造、檢索時(shí)間的長(zhǎng)短、對(duì)檢索結(jié)果的處理等。這些信息對(duì)搜索引擎的評(píng)價(jià)研究具有重要的意義，其數(shù)據(jù)直接反映了用戶(hù)利用搜索引擎的各方面信息，很具參考價(jià)值，對(duì)搜索引擎的設(shè)計(jì)和優(yōu)化研究尤為重要。調(diào)查方法首先要設(shè)計(jì)切實(shí)可行的調(diào)查問(wèn)卷，保證問(wèn)卷的邏輯性，必須圍繞研究問(wèn)題進(jìn)行有針對(duì)性地設(shè)計(jì)。

Amanda等對(duì)Excite搜索引擎的用戶(hù)特征與檢索行為之間的關(guān)系進(jìn)行了研究，其數(shù)據(jù)收集主要包括用戶(hù)背景、檢索主題、檢索詞和檢索式、連續(xù)檢索行為等。研究結(jié)果顯示大多數(shù)用戶(hù)的檢索式比較簡(jiǎn)短，很多用戶(hù)的檢索行為具有持續(xù)性，并依次遞進(jìn)，但是搜索引擎在其檢索策略的透明度方面還顯得不夠［１２］。Kruschwitz和Al-Bakour研究了用戶(hù)對(duì)搜索引擎檢索幫助系統(tǒng)的要求，并對(duì)基于任務(wù)的檢索結(jié)果進(jìn)行了評(píng)價(jià)。在研究中，作者根據(jù)TREC-9交互軌跡（Interact Track）的調(diào)查問(wèn)卷設(shè)計(jì)了針對(duì)其研究目的的調(diào)查問(wèn)卷，包括輸入（Entry）、后檢索（Postsearch）、后系統(tǒng)（Postsystem）和輸出（Exit）4個(gè)分問(wèn)卷。結(jié)合問(wèn)卷數(shù)據(jù)和檢索任務(wù)的數(shù)據(jù)分析，研究結(jié)果顯示，相比于標(biāo)準(zhǔn)的搜索引擎只提供排序的檢索結(jié)果，用戶(hù)更傾向于利用提供檢索式修正的搜索引擎，即使在某些方面這些搜索引擎并沒(méi)有那些標(biāo)準(zhǔn)的搜索引擎做得更好［１３］。由于調(diào)查方法能客觀反映用戶(hù)利用搜索引擎的行為習(xí)慣和特點(diǎn)，從數(shù)據(jù)中可以分析獲知當(dāng)前搜索引擎的流行度、檢索性能的滿(mǎn)意度、用戶(hù)的檢索行為等，所以一直深受研究人員的青睞。如針對(duì)用戶(hù)利用搜索引擎經(jīng)驗(yàn)的調(diào)查，結(jié)果顯示檢索經(jīng)驗(yàn)對(duì)用戶(hù)選擇搜索引擎具有重要影響，而且關(guān)鍵詞搜索引擎比目錄式搜索引擎更受歡迎等［１４］。對(duì)全球搜索引擎利用情況的調(diào)查，發(fā)現(xiàn)搜索引擎的使用具有很強(qiáng)的政治、文化和地域色彩。而且，相比于其他因素，搜索引擎的結(jié)果、檢準(zhǔn)率、檢全率和可靠性對(duì)用戶(hù)而言更為重要［１５］。還有對(duì)搜索引擎檢索式翻譯功能效果的調(diào)查研究［１６］，結(jié)果描述對(duì)相關(guān)性影響的研究［１７］，用戶(hù)的品牌意識(shí)對(duì)其利用搜索引擎的影響等［１８］。

通過(guò)以上研究實(shí)例不難看出，搜索引擎評(píng)價(jià)研究采用調(diào)查的方法多是從用戶(hù)角度來(lái)分析搜索引擎的使用情況，從客觀上展示了當(dāng)前用戶(hù)利用搜索引擎的情況，如不同性別、年齡、職業(yè)、學(xué)歷的用戶(hù)群使用搜索引擎的行為特征，搜索引擎的滿(mǎn)意度，不同類(lèi)型搜索引擎的用戶(hù)群，搜索引擎功能的實(shí)際性能等。在搜索引擎評(píng)價(jià)研究的過(guò)程中需要注意的是，用戶(hù)的行為特征固然具有很大的參考價(jià)值，但不能過(guò)分倚重用戶(hù)的經(jīng)驗(yàn)。因?yàn)橛脩?hù)的經(jīng)驗(yàn)反映的是用戶(hù)利用搜索引擎的習(xí)慣，并不能完全說(shuō)明搜索引擎發(fā)展的趨勢(shì)。一些研究表明，用戶(hù)利用搜索引擎的行為和檢索策略還略顯簡(jiǎn)單，有關(guān)機(jī)構(gòu)和單位需要對(duì)用戶(hù)利用搜索引擎進(jìn)行必要的培訓(xùn)和采取積極的引導(dǎo)［１９－２１］。

１.３ 數(shù)據(jù)分析法

數(shù)據(jù)分析是指收集、處理和轉(zhuǎn)化數(shù)據(jù)的一個(gè)過(guò)程，以突出效用信息、提出結(jié)論并支持決策。數(shù)據(jù)分析具有多方面、多途徑和多技術(shù)的特點(diǎn)，在商業(yè)、自然科學(xué)和社會(huì)科學(xué)等領(lǐng)域有不同的術(shù)語(yǔ)表達(dá)方式。如數(shù)據(jù)挖掘就是典型的數(shù)據(jù)分析方法，通過(guò)建模和知識(shí)發(fā)掘來(lái)發(fā)現(xiàn)規(guī)律和實(shí)現(xiàn)預(yù)測(cè)，而不僅僅對(duì)信息和數(shù)據(jù)進(jìn)行描述。

相較于實(shí)驗(yàn)方法和調(diào)查方法，數(shù)據(jù)分析方法的數(shù)據(jù)來(lái)源要略顯快捷，不用設(shè)計(jì)實(shí)驗(yàn)步驟和調(diào)查問(wèn)卷，而是從公開(kāi)的渠道獲取有關(guān)搜索引擎的數(shù)據(jù)和信息進(jìn)行分析研究。其主要數(shù)據(jù)和信息來(lái)源于有關(guān)搜索引擎研究的信息機(jī)構(gòu)、有搜索引擎的網(wǎng)站以及專(zhuān)業(yè)搜索引擎網(wǎng)站，Internet Usage World Stats（http:∥internetworldstats.com）、Pew（http:∥pewinternet.org/）、中國(guó)互聯(lián)網(wǎng)絡(luò)中心（http:∥www.cnnic.net.cn）、iResearch公司（http:∥www.iresearch.com.cn）、Search Engine Watch（http:∥searchenginewatch.com）等機(jī)構(gòu)會(huì)不定期公布有關(guān)搜索引擎的統(tǒng)計(jì)數(shù)據(jù)，如中國(guó)互聯(lián)網(wǎng)絡(luò)中心發(fā)布的《2008年中國(guó)搜索引擎市場(chǎng)廣告主調(diào)查報(bào)告》以及《2008年中國(guó)搜索引擎用戶(hù)行為研究報(bào)告》等。一些具有搜索引擎功能的熱門(mén)網(wǎng)站，其搜索數(shù)據(jù)也是進(jìn)行搜索引擎評(píng)價(jià)的研究人員較為關(guān)注的，如BBC網(wǎng)站的搜索日志［２２］，美國(guó)猶他州政府網(wǎng)站的檢索日志等［２３］。不少專(zhuān)業(yè)搜索引擎網(wǎng)站也會(huì)不定期公布其日志，如Excite、Altavista、Alltheweb、搜狗、天網(wǎng)等。

搜索引擎研究機(jī)構(gòu)公布的數(shù)據(jù)多為描述性的信息，對(duì)其數(shù)據(jù)進(jìn)行深度分析的意義不大。數(shù)據(jù)分析方法在搜索引擎評(píng)價(jià)研究中的應(yīng)用，主要還是對(duì)搜索日志中海量信息的析取和提煉。如Martin Whittle等對(duì)Excite 1天中的1 025 910個(gè)檢索式進(jìn)行分析研究，并從日志的研究分析中獲知用戶(hù)的檢索習(xí)慣［２４］。Bernard J.Jansen等分析了元搜索引擎Dogpile.com的檢索日志，對(duì)2005年5月6日534 507名用戶(hù)的2 465 145次檢索行為進(jìn)行了研究，從中分析了用戶(hù)的檢索式長(zhǎng)短和檢索時(shí)間的長(zhǎng)短等［２５］。David Nicholas等對(duì)Blackwell網(wǎng)站500000條用戶(hù)檢索記錄、OhioLINK的2 250 000條用戶(hù)記錄以及Oxford Scholarship Online（OSO）的4 240條用戶(hù)記錄進(jìn)行了分析，對(duì)在數(shù)字環(huán)境下學(xué)生查詢(xún)信息的行為進(jìn)行了研究，比較分析了學(xué)生群體與其他學(xué)術(shù)團(tuán)體查詢(xún)信息的行為特征［２６］。

數(shù)據(jù)分析法主要應(yīng)用在對(duì)大數(shù)據(jù)和大信息量的用戶(hù)檢索日志的解析，從中發(fā)掘用戶(hù)利用搜索引擎的行為習(xí)慣等有價(jià)值信息，據(jù)此對(duì)搜索引擎的設(shè)計(jì)、改進(jìn)和完善提出積極的策略，并對(duì)用戶(hù)利用搜索引擎的行為缺陷提出修補(bǔ)建議。研究人員或編寫(xiě)程序?qū)?shù)據(jù)進(jìn)行分析，或利用科學(xué)的統(tǒng)計(jì)軟件（如SPSS、SAS等）從數(shù)據(jù)中發(fā)掘規(guī)律性的信息。與實(shí)驗(yàn)方法和調(diào)查法相比，數(shù)據(jù)分析更為客觀。各檢索系統(tǒng)和搜索引擎網(wǎng)站的檢索日志直接來(lái)源于用戶(hù)真實(shí)的信息檢索行為，并且這些數(shù)據(jù)以海量呈現(xiàn)，所以通過(guò)數(shù)據(jù)分析得出的結(jié)論能較為客觀地反映出用戶(hù)的行為特征和搜索引擎的性能。

１.４ 觀察法

觀察法是指研究人員觀察用戶(hù)利用搜索引擎這一現(xiàn)象，借助一定的技術(shù)手段記錄用戶(hù)檢索行為和搜索引擎工作狀況。在觀察的過(guò)程中，研究人員只記錄相關(guān)的數(shù)據(jù)和信息，并不進(jìn)行人工干預(yù)。研究人員應(yīng)用觀察法進(jìn)行搜索引擎評(píng)價(jià)研究時(shí)會(huì)根據(jù)其預(yù)設(shè)的問(wèn)題，挑選合適的觀察對(duì)象，分配一定的檢索任務(wù)。在觀察對(duì)象利用搜索引擎完成檢索任務(wù)的過(guò)程中，研究人員直接觀察或者用電腦屏幕視頻軟件記錄觀察對(duì)象的檢索行為。通過(guò)觀察，研究人員能直觀地了解觀察對(duì)象的行為特征，如檢索式的構(gòu)造、檢索策略的選擇、點(diǎn)擊結(jié)果數(shù)量、查詢(xún)頁(yè)數(shù)、檢索過(guò)程中不同階段的檢索效率等。

一些研究人員通過(guò)觀察研究性別與檢索行為之間的關(guān)系，如Large等通過(guò)觀察學(xué)生的檢索行為發(fā)現(xiàn)，男生和女生在使用搜索引擎時(shí)具有明顯的區(qū)別，男生使用較少的檢索詞，瀏覽單個(gè)結(jié)果頁(yè)面的時(shí)間要短，單位時(shí)間內(nèi)點(diǎn)擊的網(wǎng)頁(yè)數(shù)量要多，男生的檢索行為表現(xiàn)的更為積極［２７］。Roy和Chi根據(jù)檢索結(jié)果的反饋，發(fā)現(xiàn)男生傾向于選擇與女生不同的檢索模式，但檢索模式對(duì)檢索結(jié)果的選擇沒(méi)有決定性的影響［２８］。Lori Lorigo等觀察發(fā)現(xiàn)，性別對(duì)檢索模式和檢索結(jié)果的選擇具有明顯的影響，女性會(huì)查閱更多的結(jié)果文摘［２９］。還有對(duì)特定人群的檢索行為的研究，如Ian Rowlands等對(duì)所謂Google一代（Google generation，1993以后出生的人群）的信息獲取行為進(jìn)行研究，結(jié)果顯示現(xiàn)代通訊技術(shù)的作用被夸大了，這些技術(shù)并不能有效地提升信息檢索、獲取和評(píng)價(jià)的能力［３０］。Andrew等對(duì)兒童使用搜索引擎行為的觀察研究，研究人員給15名兒童分配了檢索任務(wù)，觀察其檢索行為，結(jié)果顯示檢索經(jīng)歷、指導(dǎo)、適應(yīng)虛擬環(huán)境能力等對(duì)其檢索效率具有明顯的影響［３１］。還有其他的一些搜索引擎評(píng)價(jià)研究通過(guò)觀察法來(lái)實(shí)施［３２－３４］。

與實(shí)驗(yàn)方法相比，觀察法獲取的數(shù)據(jù)量可能不大，但是實(shí)驗(yàn)方法只能獲取用戶(hù)的檢索判斷及其產(chǎn)生的檢索結(jié)果，不能通過(guò)檢索過(guò)程獲知用戶(hù)如何做出檢索判斷。觀察法不僅可以分析檢索結(jié)果，更為重要的是可以通過(guò)觀察和記錄對(duì)象的檢索行為，對(duì)搜索引擎的檢索性能進(jìn)行定性研究。但是使用觀察法的不足之處表現(xiàn)為搜索引擎的選取、觀察對(duì)象的選取和檢索任務(wù)的分配都受研究人員的主觀想法的影響。同時(shí)，研究人員在觀察記錄的時(shí)候，雖然記錄的是客觀現(xiàn)象，但在記錄的過(guò)程中難免會(huì)有主觀判斷和選擇。上述這些因素都會(huì)影響到評(píng)價(jià)研究的客觀性。因此如何盡量客觀地實(shí)施實(shí)驗(yàn)和記錄觀察到的現(xiàn)象，減少人為因素的干擾，是在應(yīng)用觀察法時(shí)需要特別注意的。

１.５ 綜述和評(píng)論

綜述和評(píng)論也是搜索引擎評(píng)價(jià)研究中常用的方法，專(zhuān)門(mén)的綜述和評(píng)論，其目的在于理清某一階段搜索引擎評(píng)價(jià)研究某一方面的狀況，揭示研究的不足并總結(jié)出發(fā)展的趨勢(shì)。如Konstantina對(duì)網(wǎng)絡(luò)信息檢索行為的研究進(jìn)行了總結(jié)，認(rèn)為要從用戶(hù)利用搜索引擎的各個(gè)方面進(jìn)行整體研究，要充分考慮用戶(hù)的經(jīng)歷、信息需求、個(gè)性、社會(huì)以及文化背景等［３５］。Manoj和Elizabeth概述了各種元搜索引擎的功能、工作機(jī)制、數(shù)量增長(zhǎng)、演進(jìn)和普及程度等方面的研究現(xiàn)［３６］。秦喜艷、陸偉等對(duì)搜索引擎檢索結(jié)果相關(guān)性的研究成果進(jìn)行了比較分析，包括相關(guān)性的判斷、檢索系統(tǒng)的評(píng)價(jià)指標(biāo)、評(píng)價(jià)方法等［３７］。還有對(duì)外國(guó)搜索引擎檢索結(jié)果研究的綜述［３８］，元搜索引擎研究綜述［３９］，元搜索引擎排序技術(shù)研究綜述等［４０］。與專(zhuān)題研究相結(jié)合的綜述和評(píng)價(jià)研究，其目的與專(zhuān)門(mén)的綜述和評(píng)價(jià)研究相異，一方面在于為研究人員的專(zhuān)題研究提供參考資料，另一方面也闡述了進(jìn)行研究的必要性和可行性。此類(lèi)綜述和評(píng)論常見(jiàn)于期刊和會(huì)議論文中的相關(guān)章節(jié)，如文獻(xiàn)評(píng)述（literature review）、相關(guān)研究（related studies/research）、相關(guān)論著（related work）、前人研究（previous research）等。綜述和評(píng)論是搜索引擎評(píng)價(jià)研究必不可少的研究環(huán)節(jié)。研究人員只有認(rèn)識(shí)和熟知了研究現(xiàn)狀，包括科學(xué)的研究方法、已有的研究成果等，并充分認(rèn)識(shí)到研究的不足之處后，才能進(jìn)一步開(kāi)展相關(guān)研究。

２ 結(jié) 論

搜索引擎研究的評(píng)價(jià)方法并非單獨(dú)存在，而是被綜合應(yīng)用。綜述是研究的基礎(chǔ)，實(shí)驗(yàn)、調(diào)查和觀察等方法開(kāi)展研究的保障，科學(xué)的數(shù)據(jù)分析方法和謹(jǐn)慎的論證則是提高研究質(zhì)量的保證。比照中外研究，國(guó)內(nèi)搜索引擎評(píng)價(jià)研究的方法較為單一，多為描述性評(píng)價(jià)，缺乏數(shù)據(jù)的支撐和科學(xué)的分析論證。因此，本文的目的也旨在通過(guò)對(duì)研究方法的總結(jié)和歸納來(lái)促進(jìn)我國(guó)搜索引擎評(píng)價(jià)研究的科學(xué)化發(fā)展。

參考文獻(xiàn)

［１］Su，L.T.A Comprehensive and Systematic Model of User Evaluation of Web Search Engines:I.Theory and Background［Ｊ］.Journal of the American Society for Information Science and Technology，2008，(13)：1175-1192.

［２］Orland Hoeber.User Evaluation Methods for Visual Web Search Interfaces.Proceedings of the 2009 13th International Conference Information Visualisation，2009：139-145.

［３］陳海龍.搜索引擎的評(píng)價(jià)標(biāo)準(zhǔn)及其方法研究［Ｊ］.情報(bào)雜志，2001，(9)：50-51.

［４］趙華.一種搜索引擎性能的簡(jiǎn)便評(píng)價(jià)方法和案例［Ｊ］.圖書(shū)館理論與實(shí)踐，2005，(6)：114-115.

［５］Bernard J.Jansen，Paulo R.Molina.The Effectiveness of Web Search Engines for Retrieving Relevant Ecommerce Links［Ｊ］.Information Processing and Management，2006，(4)：1075-1098.

［６］Moskovitch R，Martins SB，Behiri E，Weiss A，Shahar Y.A Comparative Evaluation of Full-text，Concept-based，and Context-sensitive Search［Ｊ］.Journal of the American Medical Informatics Association，2007，(2)：164-174.

［７］Zhang，X.M，Chignell，M.Assessment of the Effects of User Characteristics on Mental Models of Information Retrieval Systems［Ｊ］.Journal of the American Society for Information Science and Technology，2001，(6)：445-459.

［８］Mike Thelwall.Can Googles PageRank be Used to Find the most Important Academic Web Pages?［Ｊ］.Journal of Documentation，2003，(2)：205-217.

［９］Preben Hanse，Jussi Karlgren.Effects of Foreign Language and Task Scenario on Relevance Assessment［Ｊ］.Journal of Documentation，200，(5)：623-639.

［１０］Zhang，J.，Dimitroff，A.The Impact of Metadata Implementation on Webpage Visibility in Search Engine Results(Part Ⅱ)［Ｊ］.Information Processing and Management，2005，(3)：691-715.

［１１］Shiri，A.，Revie，Crawford.Query Expansion Behavior Within a Thesaurus-Enhanced Search Environment:A User-Centered Evaluation［Ｊ］.Journal of the American Society for Information Science and Technology，2006，(4)：462-478.

［１２］Spink，A.，Bateman，J.and Jansen，B.J.Searching the Web:survey of Excite users［Ｊ］.Internet Research:Electronic Networking Applications and Policy，1999，(2)：117-128.

［１３］Kruschwitz，U.，Al-Bakour，H.Users Want More Sophisticated Search Assistants:Results of a Task-Based Evaluation［Ｊ］.Journal of the American Society for the Information Science and Technology，2005，(13)：1377-1393.

［１４］Liaw，S.，Huang，H.M.Information Retrieval from the World Wide Web:a User-focused Approach based on Individual Experience with Search Engines［Ｊ］.Computers in Human Behavior，2006，(3)：501-517.

［１５］Dudek，D.，Mastora，A.，Landoni，M.Is Google the answer?A Study into Usability of Search Engines［Ｊ］.Library Review，2006，(3)：224-233.

［１６］Airio，E.Who Benefits from CLIR in Web Retrieval?［Ｊ］.Journal of Documentation，2008，(5)：760-778.

［１７］Lewandowski，D.The Retrieval Effectiveness of Web Search Engines:Considering Results Descriptions［Ｊ］.Journal of Documentation，2008，(6)：915-937.

［１８］Jansen，B.J.，Zhang，M.M.，Zhang，Y.The Effect of Brand Awareness of the Evaluation of Search Engine Results.CHI07 Extended Abstracts on Human Factors in Computing Systems，2007：2471-2476.

［１９］Kleinberg，J.(1999).Hubs，authorities and communities.ACM Computing Surveys，31(4)［ＥＢ］.http:∥www.cs.brown.edu/memex/ACMHypertextTestbed/papers/10.html，2010-10-09．

［２０］Bilal，D.Childrens Use of the Yahooligans!Web Search Engine.III.Cognitive and Physical Behaviors on Fully Self-Generated Search Tasks［Ｊ］.Journal of American Society for Information Science and Technology，2002，(13)：1170-1183.

［２１］Al-Ansari，H.Internet use by the faculty members of Kuwait University［Ｊ］.The Electronic Library，2006，(6)：791-803.

［２２］Huntington，P.，Nicholas，D.，Jamali，H.R.Employing Log Metrics to Evaluate Search Behavior and Success:Case Study BBC Search Engine［Ｊ］.Journal of Information Science，2007，(5)：584-597.

［２３］Chau，M.，F(xiàn)ang，X.，Sheng，O.R.L.Analysis of the Query Logs of a Web Site Search Engine［Ｊ］.Journal of the American Society for Information Science and Technology，2005，(3)：1363-1376．

［２４］Whittle，M.，Eaglestone，B.，F(xiàn)ord，N.，Gillet，V.J.，Madden，A.Data Mining of Search Engine Logs［Ｊ］.Journal of the American Society for Information Science and Technology，2007，(14)：2382-2400.

［２５］Jansen，B.J.，Spink，A.，Blakely，C.，Koshman，S.Defining a Session on Web Search Engines［Ｊ］.Journal of the American Society for Information Science and Technology，2007，(6)：862-871.

［２６］Nicholas，D.，Huntington，P.，etc.Student Digital Information-seeking Behaviour in Context［Ｊ］.Journal of Documentation，2009，(1)：106-132.

［２７］Large，A.，Beheshti，J.，Rahman，T.Gender Differences in Collaborative Web Searching Behavior:an Elementary School Study［Ｊ］.Information Processing and Management，2002，(3)：427-443.

［２８］Roy， M.，Chi，M.T.H.Gender Differences in Patterns of Searching the Web［Ｊ］.Journal of Educational Computing Research，2003，(3)：335-348.

［２９］Lorigo，L.，Pan，B.，Hernbrooke，H.，Joachims，T.，Granka，L.， Gay，G.The Influence of Task and Gender on Search and Evaluation Behavior Using Google［Ｊ］.Information Processing and Management，2006，(4)：1123-1131.

［３０］Rowlands，I.，Nicholas，D.，Williams，P.，etc.The Google Generation:the Information Behaviour of the Researcher of the Future［Ｊ］.Aslib Proceedings:New Information Perspectives，2008，(4)：290-310.

［３１］Madden，A.D.，F(xiàn)ord，N.J.，Miller，D.，Levy，P.Childrens Use of the in Ternet for Information-seeking［Ｊ］.Journal of Documentation，2006，(6)：744-761.

［３２］Spink，A.and Ozmutlu，H.C.Characteristics of Question Format Web Queries:an Exploratory Study［Ｊ］.Information Processing Management，2002，(4)：453-71.

［３３］Spink，A.，Xu，J.L.Selected Results from a Large Study of Web Searching:the Excite Study.Information Research，2000，(1)［ＥＢ］.http:∥InformationR.net/ir/6-1/paper90.html，2010-10-09．

［３４］Broder，A.A taxonomy of web search.ACM SIGIR Forum，2002，(2)［ＥＢ］.www.acm.org/sigir/forum/F2002/broder.pdf，2010-10-09．

［３５］Martzoukou，K.A Review of Web Information Seeking Research:Considerations of Method and Foci of Interest.Information Research，2005，(2)［ＥＢ］.http:∥informationr.net/ir/10-2/infres102.html，2010-10-09．

［３６］Manoj M.，Jacob，E.Information Retrieval on Internet Using Meta-search Engines:A Review［Ｊ］.Journal of Scientific and Industrial Research，2008，(10)：739-746.

［３７］秦喜艷，陸偉，姜捷璞.信息檢索中的相關(guān)性判斷和系統(tǒng)評(píng)價(jià)述評(píng)［Ｊ］.圖書(shū)情報(bào)知識(shí)，2009，(7)：89-94.

［３８］曹超.2002-2007年國(guó)外對(duì)搜索引擎檢索結(jié)果研究綜述［Ｊ］.圖書(shū)情報(bào)知識(shí)，2009，(1)：90-96.

［３９］吳小蘭，汪琪.元搜索引擎研究綜述［Ｊ］.圖書(shū)情報(bào)工作，2009，(5)：46-49.

［４０］曹林，韓立新，吳勝利.元搜索引擎排序技術(shù)綜述［Ｊ］.計(jì)算機(jī)應(yīng)用研究，2009，(2)：411-414.