劉奕群

(清華大學(xué)計算機科學(xué)與技術(shù)系 北京 100084)

搜索引擎用戶滿意度評估

劉奕群

(清華大學(xué)計算機科學(xué)與技術(shù)系 北京 100084)

(yiqunliu@tsinghua.edu.cn)

用戶滿意度評估一直是互聯(lián)網(wǎng)搜索領(lǐng)域的研究熱點，并具有3方面的挑戰(zhàn)：1)傳統(tǒng)的搜索性能評估方法大多基于對檢索結(jié)果相關(guān)性的標注，但大多數(shù)基于相關(guān)性標注的評價指標并非針對互聯(lián)網(wǎng)搜索環(huán)境而設(shè)計，其結(jié)果與搜索用戶主觀滿意度之間的關(guān)系缺乏相應(yīng)研究；2)大多數(shù)已有的工作都基于搜索結(jié)果同質(zhì)化的假設(shè)，但隨著搜索引擎的發(fā)展，異質(zhì)化的搜索結(jié)果元素開始頻繁地出現(xiàn)在搜索結(jié)果列表中；3)已有的關(guān)于搜索滿意度評估的工作主要基于用戶的點擊和查詢修改行為開展，但實際搜索中會有大量的用戶會話中缺失此類信息.總結(jié)了近期為解決這些研究問題開展的實驗研究工作：1)構(gòu)建了用戶行為實驗系統(tǒng)，分析了結(jié)果相關(guān)性與用戶所感知到的結(jié)果效用和滿意度之間的關(guān)系；2)基于仔細設(shè)計的異質(zhì)化搜索結(jié)果頁面，定量地分析了垂直搜索結(jié)果的質(zhì)量、展現(xiàn)形式、位置等因素對用戶滿意度的影響；3)受現(xiàn)有的采用鼠標移動信息進行搜索結(jié)果相關(guān)性預(yù)測的工作啟發(fā)，提出了在搜索結(jié)果頁面上抽取用戶鼠標移動行為模式并進行滿意度評估的方法.實驗結(jié)果表明：在真實搜索環(huán)境下，所提出的方法優(yōu)于現(xiàn)有的模型.

搜索滿意度；相關(guān)性；垂直搜索；鼠標移動信息；網(wǎng)絡(luò)搜索引擎

性能評價作為檢索系統(tǒng)改進排序算法、檢測困難查詢、優(yōu)化查詢系統(tǒng)的重要依據(jù)和保障，一直是信息檢索領(lǐng)域關(guān)注的研究熱點.Cleverdon提出的Cranfield評價體系[1]是檢索系統(tǒng)(包括搜索引擎)性能評價方面的經(jīng)典研究框架，該體系通過標準查詢輸入下系統(tǒng)輸出與標準輸出的差異來衡量檢索系統(tǒng)的性能優(yōu)劣.然而，隨著網(wǎng)絡(luò)搜索相關(guān)技術(shù)的發(fā)展與普及，傳統(tǒng)的以“文檔—查詢”相關(guān)性標注為主要依據(jù)的Cranfield體系在實際應(yīng)用中體現(xiàn)出了越來越多的局限性[2].對搜索引擎性能的評價模式因而變得越來越多樣化，而對搜索引擎用戶的滿意度評估就是其中的一個重要的研究方向.Su[3]在20世紀70年代首次將滿意度評估引入到信息檢索領(lǐng)域.隨后，Kelly完善了對滿意度的概念定義，將其定義為“用戶滿足特定信息需求或達成特定信息獲取目的的程度”[4].對搜索用戶的滿意度評估結(jié)果能夠為搜索引擎商業(yè)運營帶來最直觀的性能描述，也因此受到搜索產(chǎn)品研發(fā)人員和搜索廣告商的高度重視.

雖然已有學(xué)者進行了大量的搜索滿意度評估相關(guān)研究，但當前關(guān)于如何合理量化估計用戶的搜索滿意度方面，仍然存在3方面的研究挑戰(zhàn)：1)基于搜索滿意度的評價結(jié)果和傳統(tǒng)的基于“文檔-查詢”相關(guān)性標注的Cranfield評價結(jié)果之間的關(guān)系缺乏定量研究，搜索用戶滿意度和搜索結(jié)果質(zhì)量之間的關(guān)聯(lián)關(guān)系也需進一步研究.2)現(xiàn)有的大多數(shù)搜索滿意度研究都基于同質(zhì)化的搜索結(jié)果頁面(search engine result pages, SERPs)的假設(shè)進行，即搜索結(jié)果頁面上的所有結(jié)果都具有相同的展現(xiàn)形式：一個帶超鏈接的標題和一個短摘要.近年來，隨著商業(yè)搜索引擎的快速發(fā)展，越來越多的以異質(zhì)化形式呈現(xiàn)的垂直結(jié)果(視頻、圖片、知識圖譜等)出現(xiàn)在搜索結(jié)果頁面，用戶的檢驗和點擊行為也隨之發(fā)生了顯著的改變[5-6]，但用戶異質(zhì)搜索環(huán)境下的滿意度感知過程仍然鮮有研究.3)與采用點擊信息即可達到較好評估效果的搜索結(jié)果相關(guān)性不同，用戶的搜索滿意度可能與大量的交互行為細節(jié)有關(guān)，大多數(shù)現(xiàn)有滿意度評估方法往往僅基于點擊行為或查詢修改行為開展[7-8]，但在相當多的真實搜索會話中點擊和查詢修改往往均不存在[9-10]，這就導(dǎo)致了傳統(tǒng)預(yù)測方法的失效.

基于以上這3方面研究難點，在本文中，我們嘗試提出并回答3個問題：

1) 搜索滿意度評估與傳統(tǒng)的基于Cranfield體系的搜索引擎相關(guān)性評價有什么聯(lián)系與差別？

2) 異質(zhì)搜索環(huán)境下的用戶滿意度感知會受到哪些因素的影響？

3) 有哪些用戶交互行為特征可以協(xié)助我們更好地預(yù)測搜索滿意度？

對于問題1，我們設(shè)計用戶行為實驗，從相關(guān)性標注可能與用戶真實感受到的文檔效用(usefulness)存在差異出發(fā)，分析了文檔效用和滿意度標注之間的差別，并進一步研究說明了效用、相關(guān)性和搜索滿意度之間的關(guān)系，對搜索滿意度和基于相關(guān)性的評價指標之間存在的差異進行了解釋.

對于問題2，我們定量研究了不同展現(xiàn)形式、位置與質(zhì)量的垂直搜索結(jié)果對用戶滿意度感知造成的影響，以深入分析用戶在真實異質(zhì)搜索環(huán)境下的滿意度感知過程.

對于問題3，考慮到鼠標移動信息包含大量豐富的用戶與搜索引擎的交互細節(jié)[11]，并可以被低成本地大規(guī)模收集，我們嘗試從鼠標移動數(shù)據(jù)中挖掘不同滿意度用戶會話之間的行為模式差異，并將其運用到搜索滿意度評估的任務(wù)中.

為了研究以上3個問題，我們搭建了一個實驗性的搜索引擎系統(tǒng)并用以收集用戶在完成搜索任務(wù)時的交互行為信息，同時也收集用戶的滿意度反饋以及標注人員對搜索結(jié)果的相關(guān)性與效用標注信息.本文的主要貢獻包括：

1) 系統(tǒng)分析了相關(guān)性、效用和搜索滿意度之間的關(guān)系，并提出了2種能夠有效估計用戶實際感受的文檔效用的方法；

2) 對異質(zhì)環(huán)境對搜索滿意度的影響進行了系統(tǒng)的研究，并定量分析了垂直結(jié)果的質(zhì)量、展現(xiàn)形式、展現(xiàn)位置等因素對搜索滿意度的影響；

3) 建立了采用鼠標移動模式在搜索環(huán)境下進行搜索滿意度評估的方法框架，并提出了基于距離差異和基于分布差異的2種鼠標移動模式篩選方法，相比傳統(tǒng)方法而言獲得了顯著的效果提升.

1 網(wǎng)絡(luò)搜索用戶實驗

為了研究搜索滿意度，我們組織了一系列用戶實驗(user study)，以收集包含用戶顯式滿意度反饋的搜索行為記錄.在用戶實驗過程中，我們通過招募參與者在實驗室環(huán)境下使用實驗搜索引擎系統(tǒng)完成一系列搜索任務(wù)，出于模擬真實的搜索引擎使用場景的需要，所有的查詢?nèi)蝿?wù)均從搜索引擎查詢?nèi)罩局泻Y選隨機篩選中頻查詢得到.之所以選取中頻查詢，一方面是由于低頻查詢中包含著大量低質(zhì)量乃至拼寫錯誤、內(nèi)容上非法的查詢，使用這些查詢作為用戶實驗的對象會給實驗對象造成很大不便；另一方面，搜索引擎對于高頻查詢的處理技術(shù)已經(jīng)相當成熟，甚至有不少高頻查詢結(jié)果是經(jīng)過手工編輯校訂而非自動生成的，這對于我們考察普遍情況下搜索用戶滿意度情況的實驗?zāi)康臉?gòu)成了障礙.為了確保所有的用戶在進行同樣的查詢?nèi)蝿?wù)實驗時信息查找需求的一致性，我們針對每個查詢都編寫了簡短的查詢?nèi)蝿?wù)說明，明確說明了該查詢的搜索場景、何種資源是用戶需要的，以避免可能的歧義影響.

對于不同的研究問題，我們開展3方面工作：1)設(shè)置了不同的搜索任務(wù)；2)利用實驗搜索引擎實現(xiàn)了控制返回給用戶的結(jié)果、對用戶進行問卷調(diào)查、收集包括搜索滿意度反饋在內(nèi)的顯式反饋、自動記錄搜索行為信息等功能；3)對收集到的用戶搜索行為數(shù)據(jù)進行了不同類型的人工標注.圖1展示了用戶實驗的一般流程.本節(jié)接下來將簡要介紹我們?yōu)榱私鉀Q前述3個研究問題所組織的3次用戶實驗.

Fig. 1 A general protocol of Web search user studies圖1 網(wǎng)絡(luò)搜索用戶實驗的一般流程

1) 用戶實驗1

為了分析相關(guān)性、效用和搜索滿意度之間的關(guān)系，在用戶實驗1中，我們招募了29位參與者，在實驗室環(huán)境下使用我們搭建的實驗搜索引擎分別完成了12個搜索任務(wù).為了模擬真實的搜索環(huán)境，我們所搭建的實驗搜索引擎界面與目前主流的商業(yè)搜索引擎類似，支持用戶自由地進行查詢改寫和翻頁等操作.

在參與者使用實驗搜索引擎完成每一個搜索任務(wù)之后，實驗系統(tǒng)會要求參與者回顧整個搜索過程，對每個點擊過的文檔提交4級(1～4分)的效用反饋，對每個提交的查詢提交5級(1～5分)的查詢級別滿意度反饋，最后對整個任務(wù)提交5級的任務(wù)級別滿意度反饋.圖2展示了參與者進行效用和滿意度反饋時的操作頁面.

在進行用戶實驗收集了包含用戶顯式的效用和滿意度反饋的搜索行為記錄之后，我們請第三方標注者對其進行了相關(guān)性、效用和滿意度標注.我們對所有參與者點擊過的結(jié)果進行了4級(1～4分)相關(guān)性和效用標注；對每個參與者提交的查詢進行了查詢級別的5級搜索滿意度標注；對每個搜索任務(wù)進行了任務(wù)級別的5級搜索滿意度標注；最后，為了分析搜索滿意度與傳統(tǒng)搜索性能評價指標之間的關(guān)系，我們還對每個查詢返回的前5條結(jié)果進行了4級相關(guān)性標注.在進行相關(guān)性標注時，我們會將查詢連同結(jié)果標題和摘要展示給標注人員，并要求標注人員在點擊標題查看結(jié)果內(nèi)容后進行相關(guān)性標注，每個查詢-結(jié)果對會被至少3位標注人員獨立地標注.效用和搜索滿意度標注是同時進行的，為了重現(xiàn)搜索上下文環(huán)境，我們會將參與者在完成該搜索任務(wù)時完整的行為記錄展示給標注人員.這些行為記錄包括在整個搜索會話中參與者提交的查詢、點擊的結(jié)果，以及在每個查詢和點擊的結(jié)果上的停留時間等信息.圖3展示了標注人員進行效用和搜索滿意度標注的標注頁面.我們同樣要求每個搜索任務(wù)記錄被至少3個標注人員獨立地標注.

Fig. 2 User feedback interface圖2 用戶反饋頁面

Fig. 3 Usefulness and satisfaction annotation interface圖3 文檔效用和搜索滿意度標注頁面

2) 用戶實驗2

為了定量研究異質(zhì)化結(jié)果對搜索滿意度的影響，在用戶實驗2中我們對搜索結(jié)果頁面的垂直結(jié)果的質(zhì)量、展現(xiàn)形式、展現(xiàn)位置3個因素分別進行控制.

在用戶實驗2中，我們招募了35位參與者，每個參與者需要完成30個查詢?nèi)蝿?wù)，這些查詢?nèi)蝿?wù)都是日常搜索中常見的中頻查詢，從商業(yè)搜索引擎的大規(guī)模搜索日志中采樣得到.該實驗等概率地在搜索結(jié)果頁面的第1,3,5位插入了文本、圖文、圖片、下載、新聞這5種展現(xiàn)形式的垂直結(jié)果，垂直結(jié)果的質(zhì)量(相關(guān)/不相關(guān))也隨機地進行了控制.在完成每個查詢?nèi)蝿?wù)時，參與者會首先閱讀事先給定的查詢詞和詳細的查詢?nèi)蝿?wù)描述，隨后他將被導(dǎo)引到一個搜索結(jié)果頁面，該頁面的查詢詞固定，并有10個事先從商業(yè)搜索引擎抓取的查詢結(jié)果.參與者可以按照自己的習(xí)慣隨意瀏覽、點擊系統(tǒng)所提供的搜索結(jié)果，如果參與者完成了查詢?nèi)蝿?wù)，或者認為系統(tǒng)所提供的結(jié)果不足以滿足需求，就可以結(jié)束該查詢.

參與者每完成一個查詢，都會被要求給一個1～5分的5級滿意度反饋，其中5表示對剛剛完成的搜索體驗最滿意，1表示對該搜索體驗最不滿意，隨后用戶就可以開始下一個查詢?nèi)蝿?wù).每個參與者在真正開始任務(wù)之前，會先做2個不記錄數(shù)據(jù)的查詢?nèi)蝿?wù)用以熟悉實驗流程.

在所有的參與者完成實驗后，我們還邀請了專業(yè)的標注人員參照用戶的瀏覽日志進行滿意度標注.每個參與者的實驗過程均被完整地錄制，并被提供給標注人員作為參考，以確保標注人員可以最大程度復(fù)現(xiàn)用戶當時的搜索過程.標注人員需要給出和用戶同標準的5級滿意度反饋，每個用戶搜索日志會有2個標注人員進行標注，標注人員在整個數(shù)據(jù)集上的標注一致性為0.48[12].

3) 用戶實驗3

為了研究鼠標移動模式在真實搜索環(huán)境下的預(yù)測效果，在用戶實驗3中我們采用與真實搜索環(huán)境完全一致的搜索結(jié)果頁面.

在用戶實驗3中，我們招募了30位參與者，每人仍需完成與用戶實驗2中相同的30個查詢?nèi)蝿?wù)，與用戶實驗2中所不同的是，用戶實驗3中的搜索結(jié)果頁面是從商業(yè)搜索引擎直接抓取獲得，沒有做任何的結(jié)果篩選或變量控制，因而與真實環(huán)境完全一致，實際得到的搜索結(jié)果列表中，平均一個查詢?nèi)蝿?wù)的10個搜索結(jié)果中包含7.4個垂直結(jié)果.

2 相關(guān)性、效用和搜索滿意度

相關(guān)性(relevance)是信息檢索領(lǐng)域內(nèi)一個非常重要的概念.根據(jù)概率排序原則(probability ranking principle[13])，對于用戶提交的查詢，搜索引擎應(yīng)該盡可能返回一個按照相關(guān)性從高到低排序的結(jié)果列表.而在傳統(tǒng)的Cranfield檢索評價方法[1]中，為了比較不同搜索引擎的有效性(effectiveness)，我們需要構(gòu)建一個包含待查詢語料庫、用于測試的信息需求和查詢集合以及相應(yīng)查詢-結(jié)果對的相關(guān)性標注的測試集合.基于查詢-結(jié)果對的相關(guān)性標注信息，我們可以使用一系列搜索性能評價指標(如MAP,nDCG[14],ERR[15]等)，對搜索引擎針對測試查詢返回的結(jié)果列表進行評價.

在理想狀況下，相關(guān)性標注能反映一個結(jié)果文檔是否能滿足用戶的信息需求，那么基于其計算的搜索引擎評價指標就能較好地反映用戶的搜索滿意度.但在實際中，我們往往無法從真實的搜索用戶那里獲得相關(guān)性反饋信息，而只能依賴第三方標注人員進行相關(guān)性標注.在這種情況下，第三方標注人員只能根據(jù)提交的查詢猜測和估計真實用戶的信息需求.并且，他們很少能獲知真實用戶提交查詢時的搜索上下文信息，而只能獨立地對每一個查詢-結(jié)果對進行相關(guān)性標注.這些限制使得相關(guān)性標注往往只能基于查詢和結(jié)果文檔是否在主題層面上相關(guān)，進而可能與用戶實際感受到的結(jié)果文檔的效用(usefulness)存在較大差異.

針對以上問題，我們通過設(shè)計和組織用戶實驗，嘗試對相關(guān)性(relevance)、效用(usefulness)和搜索滿意度(satisfaction)三者之間的關(guān)系進行研究和分析[16].基于用戶實驗收集到的數(shù)據(jù)，我們提出并嘗試回答4個子研究問題：

1) 用戶感受到的效用和第三方標注人員的相關(guān)性標注之間是否存在差異？

2) 來自用戶的效用反饋和來自標注人員的相關(guān)性標注與用戶的搜索滿意度之間存在怎樣的聯(lián)系？

3) 由于在實際應(yīng)用中，我們不能獲得來自用戶的效用反饋信息.那么，我們能否依賴第三方標注者來獲得文檔級別的效用標注？

4) 我們能否基于搜索日志中的用戶行為和搜索上下文特征，自動地生成可靠的效用標簽？

2.1 相關(guān)性和效用之間的區(qū)別

基于第1節(jié)用戶實驗1中獲得的數(shù)據(jù)，我們首先分析了標注者提供的相關(guān)性標注和用戶提供的文檔效用反饋之間的差異和聯(lián)系.圖4(a)展示了4級相關(guān)性標注R和4級效用反饋Uu之間的聯(lián)合概率分布情況.

Fig. 4 Joint distribution of usefulness feedbacks and annotations圖4 用戶效用反饋與標注者之間的聯(lián)合概率分布

從圖4(a)中我們發(fā)現(xiàn)，盡管相關(guān)性標注和效用反饋之間存在一定正相關(guān)關(guān)系(Pearson相關(guān)系數(shù)，Pearson’s)，它們之間存在系統(tǒng)性的誤差.一方面，在被點擊的結(jié)果中，只有一小部分相關(guān)性級別為1或2的結(jié)果，被用戶認為是有用的(效用級別為3或4)；但在另一方面，有大量相關(guān)性級別為3的結(jié)果被用戶認為是對完成任務(wù)完全沒有幫助(效用反饋級別為1).這說明，結(jié)果文檔的相關(guān)性和其效用并不完全一致，結(jié)果的相關(guān)性高是結(jié)果能給用戶帶來高效用的必要非充分條件.

2.2 相關(guān)性、效用和搜索滿意度的聯(lián)系

由于我們發(fā)現(xiàn)相關(guān)性標注和用戶反饋的結(jié)果效用并不一致，那么從搜索引擎評價和搜索滿意度分析的角度我們進一步分析了相關(guān)性和效用2種文檔級別的指標與查詢級別的搜索滿意度之間的關(guān)系.

由于參與者只對被點擊結(jié)果提供了效用反饋，所以，我們分別使用被點擊結(jié)果的效用反饋和相關(guān)性標注計算了4種基于點擊序列的在線評價指標：點擊累積增益(cCG)、點擊衰減累積增益(cDCG)、最大點擊增益(cMAX)和平均點擊增益(cCG/#clicks).為了進行對比，我們也基于前5位搜索結(jié)果，用相關(guān)性標注計算了包括DCG,MAP和ERR在內(nèi)的傳統(tǒng)評價指標.我們通過計算它們與查詢級別的搜索滿意度反饋之間的Pearson相關(guān)系數(shù)r來衡量不同指標與搜索滿意度之間聯(lián)系的密切程度.

從結(jié)果中我們發(fā)現(xiàn)：

1) 基于效用反饋計算的4種在線評價指標與搜索滿意度之間的相關(guān)系數(shù)均顯著地比基于相關(guān)性標注計算的同一種評價指標對應(yīng)的相關(guān)系數(shù)高.例如，基于效用反饋Uu計算的cDCG(Uu)與搜索滿意度的Pearson相關(guān)系數(shù)r=0.724，而基于相關(guān)性標注R計算的cDCG(R)的相關(guān)系數(shù)r=0.498.其中與搜索滿意度相關(guān)系數(shù)最高的在線評價指標為利用效用反饋Uu計算的cMAX(Ua)(Pearson相關(guān)系數(shù)r=0.751).

2) 4種基于點擊序列的在線評價指標與搜索滿意度之間的相關(guān)系數(shù)明顯高于傳統(tǒng)的基于搜索結(jié)果列表的評價指標.傳統(tǒng)評價指標中與滿意度相關(guān)系數(shù)最高的是DCG@5，相關(guān)系數(shù)r=0.295，顯著地低于基于點擊序列計算的cDCG(R)和cDCG(Uu)與搜索滿意度之間的相關(guān)系數(shù)(r=0.498和r=0.724).

以上發(fā)現(xiàn)說明，效用反饋和在線評價指標相較于相關(guān)性標注和基于結(jié)果排序的傳統(tǒng)評價指標，與用戶實際的搜索滿意度聯(lián)系更為密切.未來我們可以基于它們來構(gòu)建一個更為貼近用戶的搜索引擎評價方法.

2.3 效用標注和效用預(yù)測

由于在實際中，我們無法從真實用戶那里獲得效用反饋，所以，我們嘗試了效用標注和效用預(yù)測2種方法來獲得可靠而有效的效用標簽.

首先，由于我們認為導(dǎo)致相關(guān)性標注不能很好地反映結(jié)果的真實效用的一個重要原因，是在進行相關(guān)性標注時標注人員無法獲知真實的搜索上下文信息和用戶行為信息.所以，在2.1節(jié)介紹的效用標注過程中，我們將這些信息提供給標注者，并要求標注者給出與搜索上下文相關(guān)的效用標注.通?？梢杂脕碜远鄠€獨立的標注者之間的標注一致程度(常用Cohen’sκ統(tǒng)計量衡量)來衡量標注數(shù)據(jù)的可靠性(reliability).我們收集到的4級效用標注的κ值為0.530，達到了中等(moderate)的一致性水平，并且比4級相關(guān)性標注的κ值(0.413，達到合理(fair)的一致水平)更高.這說明，以傳統(tǒng)的相關(guān)性標注為基準，我們提出的效用標注方法是可靠的.提供搜索上下文信息和用戶行為信息實際上能幫助標注者做出更加可靠的判斷.

其次，由于效用標注仍然需要標注人員參與，存在費時費力的問題.我們還嘗試使用機器學(xué)習(xí)方法，利用用戶行為和搜索上下文特征，自動地進行效用預(yù)測.我們使用的特征主要包括：查詢級別(Q)的結(jié)果位置、查詢長度、點擊數(shù)量和點擊停留時間；任務(wù)級別(S)的查詢數(shù)量、無點擊查詢數(shù)量、任務(wù)完成時間和查詢改寫策略；用戶級別(U)的點擊、查詢數(shù)量和停留時間的最小、最大和平均值.我們將效用預(yù)測當作一個利用上述特征預(yù)測用戶實際的效用反饋的回歸問題，并使用Gradient Boosting Regression Tree(GBRT)模型[17]作為我們的回歸模型.

衡量效用標注和效用預(yù)測2種不依賴用戶反饋生成效用標簽的方法是否有效(valid)，最直接的方法就是比較它們和用戶實際的效用反饋是否一致.圖4(b)中展示了效用標注Ua和作為最終標準的效用反饋Uu之間的聯(lián)合概率分布.從圖4(b)中可以發(fā)現(xiàn)，顏色較深的塊均分布在對角線上，和圖4(a)中的相關(guān)性R相比，效用標注Ua和真實的效用反饋Uu更為一致.

而對于效用預(yù)測，我們在表1中展示了采用不同特征組合預(yù)測得到的效用預(yù)測結(jié)果(UQ,UQ+S和UQ+S+U)與真實用戶反饋之間的Pearson相關(guān)系數(shù)(r，越大越好)、平均平方誤差(MSE，越小越好)和平均絕對誤差(MAE，越小越好).我們同時列出了相關(guān)性標注和效用標注的結(jié)果作為參照.從表1中我們可以發(fā)現(xiàn)，利用用戶行為和搜索上下文信息得到的效用預(yù)測，在與用戶真實的效用反饋的一致性方面，顯著地好于相關(guān)性標注，同時達到甚至超過了效用標注的水平.這說明，我們能夠使用機器學(xué)習(xí)方法，有效地節(jié)省人工標注成本，自動生成可用的效用標簽.

Table 1 Results for Usefulness Prediction表1 效用預(yù)測結(jié)果

Notes: The prediction performance is measured in Pearson’s with usefulness feedbackUa. * indicates the performance is signi-ficantly different with relevance annotationRatp<0.05 level, and ** indicates the performance is significantly different with relevance annotationRatp<0.01 level. Darker shade indicates the perfor-mance is significantly different with usefulness annotationUaatp<0.05 level, and lighter shade indicates the performance is signi-ficantly different with usefulness annotationUaatp<0.01 level.

2.4 總 結(jié)

針對用戶實際感受到的結(jié)果效用和傳統(tǒng)相關(guān)性標注可能存在差異這一問題，我們通過用戶實驗收集了一個包含用戶搜索行為記錄、用戶效用和滿意度反饋，以及相應(yīng)的相關(guān)性、效用和滿意度標注的完整數(shù)據(jù)集.基于該數(shù)據(jù)集，我們系統(tǒng)地分析了效用、相關(guān)性和搜索滿意度之間的關(guān)系，發(fā)現(xiàn)：1)結(jié)果相關(guān)性和結(jié)果效用并不完全一致，結(jié)果相關(guān)是結(jié)果能給用戶帶來效用的必要非充分條件；2)基于效用計算的在線評價指標與用戶的搜索滿意度存在較強的正相關(guān)(Pearson相關(guān)系數(shù)r>0.7)；3)我們能夠通過依賴第三方標注人員的效用標注和基于搜索行為記錄的效用預(yù)測來有效地估計用戶真實感受到的效用.結(jié)合以上3點發(fā)現(xiàn)，我們認為在未來可以基于文檔級別效用標簽和基于點擊序列在線評價指標，設(shè)計一種更接近用戶搜索滿意度的搜索引擎評價方法.

3 異質(zhì)化環(huán)境下的搜索滿意度

基于第1節(jié)中用戶實驗2中獲得的數(shù)據(jù)，我們可以研究垂直結(jié)果的質(zhì)量、展現(xiàn)形式和展現(xiàn)位置等因素對搜索滿意度的影響[18].

由于不同參與者對于滿意度的感知標準可能會有所差別，所以在進行實驗分析之前，我們首先將每個用戶所給出的滿意度反饋按照Z-score[18]進行了歸一化，以從一定程度上去除不同參與者的主觀性因素影響.

表2反映了不同展現(xiàn)形式的垂直結(jié)果對搜索滿意度的影響.表格中的第2～4列的數(shù)值是相應(yīng)類型垂直結(jié)果所對應(yīng)的搜索日志的平均滿意度，括號里的數(shù)值反映的是在帶有對應(yīng)類型垂直結(jié)果的情況下的滿意度與不帶垂直結(jié)果的情況下搜索滿意度的差異.

Table 2 Effect of Verticals with Different Presentation Styles on Satisfaction

Notes: *indicates statistical significance atp<0.1 level, and ** indicates statistical significance atp<0.05 level. The values in the parentheses indicate the difference with no vertical values.

從表2中可以看到，與頁面中沒有垂直結(jié)果的情況相比，在頁面中插入相關(guān)的圖文類和下載類垂直結(jié)果可以使用戶和標注者顯著地感到更加滿意.在頁面中插入相關(guān)的圖片類垂直結(jié)果并不會使用戶更滿意，這可能是因為能從圖片中獲取的信息往往也能夠相對容易地在普通文本結(jié)果中獲得.而如果在頁面中插入了不相關(guān)的圖片，則會顯著地使用戶的滿意度降低，這是因為圖片結(jié)果容易引人注意，而不相關(guān)的內(nèi)容就會引起用戶的不悅.新聞類的垂直結(jié)果對用戶滿意度沒有顯著的影響，并且除了新聞類垂直結(jié)果之外，在頁面中插入相關(guān)的另外4種類型的垂直結(jié)果都會比插入不相關(guān)的相應(yīng)垂直結(jié)果更容易讓用戶感到滿意.

我們進一步研究了垂直結(jié)果在頁面中不同位置時對用戶滿意度的影響，相關(guān)結(jié)果如表3所示.垂直結(jié)果被放在整個頁面中的第1、第3、第5個位置進行效果的對比.從表3可以看到，當相關(guān)的垂直結(jié)果放在頁面的高位時，會對用戶的滿意度帶來顯著提升；當有不相關(guān)的垂直結(jié)果放在頁面的首位時，用戶會明顯地感覺到不滿意；而當不相關(guān)的結(jié)果放在其他位置時，搜索滿意度不會受到明顯的影響.

基于以上在異質(zhì)化搜索領(lǐng)域的研究，可以發(fā)現(xiàn)異質(zhì)化結(jié)果的存在確實會對用戶的滿意度感知帶來顯著的影響，可以總結(jié)為4點：1)相關(guān)的圖文類和下載類垂直結(jié)果會帶來顯著的搜索滿意度提升；2)相關(guān)的圖片類垂直結(jié)果對提升用戶滿意度影響不大，但不相關(guān)的圖片結(jié)果會顯著降低搜索滿意度；3)新聞類垂直結(jié)果對搜索滿意度沒有明顯的影響；4)當垂直結(jié)果放在搜索結(jié)果列表中的位置越靠前，對用戶滿意度的影響越大.

Table 3 Effect of Ranking Positions of Verticals on Satisfaction

Notes: * indicates statistical significance atp<0.1 level, and ** indicates statistical significance atp<0.05 level. The values in the parentheses indicate the difference with no vertical values.

4 基于鼠標移動信息的搜索滿意度評估

Lagun等人首次提出鼠標移動模式(mouse movement motif)的概念[19].他們將鼠標移動模式定義為頻繁出現(xiàn)的鼠標位置序列，并實現(xiàn)了在搜索著陸頁(landing page)上自動挖掘鼠標移動模式的算法來進行有效的搜索結(jié)果相關(guān)性預(yù)測.在本節(jié)中，我們嘗試進一步改進鼠標移動模式的抽取和篩選算法，在搜索結(jié)果頁面上直接抽取鼠標移動模式，并將其運用到預(yù)測搜索滿意度的任務(wù)中[20].

圖5展示了用戶在搜索結(jié)果頁面上的鼠標移動軌跡的2個示例，圖5(a)展示的是一個用戶反饋為滿意的例子，圖5(b)是一個用戶反饋為不滿意的例子.鼠標移動軌跡用帶數(shù)字的圓表示，圓中數(shù)字由小到大表示了鼠標移動的順序，圖中紅圈是我們的算法挖掘到的鼠標移動模式.從圖5(a)中可以看到，用戶仔細地檢驗了第1個結(jié)果(能完成對應(yīng)查詢?nèi)蝿?wù)的關(guān)鍵結(jié)果)，隨后快速瀏覽了其他結(jié)果，然后就結(jié)束了查詢.鼠標移動軌跡顯示他只花了相對小的成本就找到了完成任務(wù)所必需的信息.作為對比，圖5(b)中的大多數(shù)結(jié)果都難以滿足用戶的需求，鼠標移動軌跡顯示該用戶檢驗了頁面上的很多結(jié)果，甚至檢驗了頁面最下方的結(jié)果.這意味著用戶花了很大代價卻只獲得了很少的有用信息.圖5的例子說明，搜索結(jié)果頁面上的鼠標移動軌跡包含了豐富的用戶與搜索引擎交互的信息，可以幫助我們預(yù)測用戶滿意度.

4.1 鼠標移動模式抽取和篩選

在Lagun等人提出的算法的基礎(chǔ)上，我們嘗試從搜索結(jié)果頁面直接挖掘具有高區(qū)分度的鼠標移動模式，并將其用于搜索滿意度預(yù)測.

我們首先采用Lagun等人提出的算法[19]從整個數(shù)據(jù)集中挖掘出大量的備選鼠標移動模式，然后在此基礎(chǔ)上進一步設(shè)計了2種鼠標移動模式的篩選算法.與Lagun等人所采用的基于頻率的篩選方式不同，新提出的篩選方式充分利用了數(shù)據(jù)分布信息，能夠篩選出對用戶滿意度具有高區(qū)分度的鼠標移動模式.為了敘述方便，我們用SAT,DSAT分別表示被用戶標注成滿意和不滿意的2類搜索會話，MSAT，MDSAT分別表示從SAT，DSAT中挖掘出的鼠標移動模式.

4.1.1 基于距離差異的篩選策略

(1)

(2)

在計算出所有備選移動模式的評分以后，我們按照該評分由大到小進行排序，并依次挑選一些具有強距離差異的鼠標移動模式.

4.1.2 基于分布差異的篩選策略

基于分布差異的篩選方法基于覆蓋性假設(shè)：MSAT中的具有強區(qū)分度的移動模式應(yīng)當覆蓋足夠多的SAT和足夠少的DSAT，反之亦然.在這種規(guī)則下，我們首先需要判斷一個鼠標移動模式是否能覆蓋某一個會話(表示為一個完整的光標位置的時間序列)，因而，我們首先定義一個鼠標移動模式C與某個搜索日志S的距離：

Dist(C,S)=min(DTW(Ci,C)|Ci∈S).

(3)

亦即，我們通過指定大小的滑動窗口在S中截取多個移動模式備選，而C與這些移動模式備選的距離中最小的一個即為C與會話S的距離.

此時我們再定義鼠標移動模式C在某一數(shù)據(jù)集合D上的覆蓋率：

(4)

有了覆蓋率的定義之后，我們就可以定義一個備選移動模式在SAT和DSAT上的覆蓋率的比值，作為該備選移動模式的分布差異得分：

(5)

(6)

在我們計算出所有備選移動模式的評分以后，我們將其按照分布差異度評分由大到小進行排序，就可以挑選出具有強分布差異的鼠標移動模式.

4.2 滿意度預(yù)測

在挖掘出鼠標移動模式后，按式(3)可以計算鼠標移動模式與搜索會話之間的距離，該距離就可以作為分類特征進行滿意度預(yù)測.

基于第1節(jié)中用戶實驗3所獲得的數(shù)據(jù)，我們驗證鼠標移動模式對搜索滿意度的預(yù)測效果.我們將數(shù)據(jù)中被用戶標記為3的查詢會話去除，因為給出3的評分表示用戶沒有明確的滿意或不滿意的傾向.被用戶標記為4或5的查詢會話被作為滿意的數(shù)據(jù)樣本，被用戶標記為1或2的查詢會話被作為不滿意的數(shù)據(jù)樣本.由于數(shù)據(jù)集的不平衡性，在進行訓(xùn)練的時候我們對滿意的數(shù)據(jù)樣本進行了降采樣，以保證訓(xùn)練集的平衡性(測試集仍保持了原有的不平衡比例).我們采用AUC作為評價指標，因為其相比其他指標更不容易受到數(shù)據(jù)不平衡性的影響[21].所有的結(jié)果都基于5折交叉驗證，預(yù)測所用的鼠標移動模式在每一折的訓(xùn)練集上都會重新計算.

圖6比較了不同鼠標移動模式篩選方法的預(yù)測結(jié)果，橫軸表示預(yù)測所采用的鼠標移動模式數(shù)量，縱軸表示五折交叉驗證的AUC值，不同顏色的折線對應(yīng)于不同的鼠標移動模式篩選方法，其中基于頻率的篩選方法是Lagun在他們的工作中所采用的方法[19].從圖6中可以看出，我們新提出的2種篩選方式的預(yù)測效果顯著優(yōu)于基于頻率的篩選方式，其中采用基于分布差異的篩選方法可以在只用了50個鼠標移動模式的時候就取得最優(yōu)的預(yù)測效果，雖然基于距離的篩選方法在使用大量鼠標移動模式后也可以獲得同等水平的效果，且基于分布的篩選方法在采用更多的鼠標移動模式之后，由于過擬合的原因會造成預(yù)測效果下降，但考慮到鼠標移動模式的抽取過程比較耗時，如果能使用較少的移動模式即可獲得不錯的效果，那將可以大大提升算法的運行效率，所以我們認為基于分布差異的篩選方式是最優(yōu)的選擇策略.

Fig. 6 Prediction performance with different motif selection strategies圖6 不同鼠標移動模式篩選策略的預(yù)測效果

為了進一步驗證鼠標移動模式對未知用戶、查詢的泛化能力，我們采用了3種不同的訓(xùn)練-測試集生成策略：1)隨機采樣.訓(xùn)練集和測試集的數(shù)據(jù)劃分是完全隨機的.2)按用戶采樣.同一用戶完成的搜索日志數(shù)據(jù)要么全在訓(xùn)練集中，要么全在測試集中.3)按查詢采樣.基于同一查詢的搜索日志數(shù)據(jù)要么全在訓(xùn)練集中，要么全在測試集中.

我們實現(xiàn)文獻[11]中的預(yù)測模型并將其作為基線方法，該方法中同時采用了點擊行為等粗粒度特征和滾輪速度等細粒度指標，是當前采用鼠標行為數(shù)據(jù)進行搜索預(yù)測的最新方法之一[22].采用“成本-收益”預(yù)測框架對滿意度進行預(yù)測，并取得了非常好的效果，因而我們也將其中的預(yù)測模型實現(xiàn)作為另一個基線方法.不同預(yù)測方法在不同訓(xùn)練-測試集生成策略上的預(yù)測表現(xiàn)如表4所示，表4中的數(shù)值是5折交叉驗證的AUC值，括號內(nèi)的數(shù)值是基線方法和鼠標移動模式所提供的特征結(jié)合以后的方法相對于相應(yīng)基線方法的效果提升，基于鼠標移動模式的方法采用了50個鼠標移動模式作為特征.從表4中可以看到，采用鼠標移動模式可以獲得與采用其他鼠標行為特征的方法相當?shù)念A(yù)測效果，當我們將鼠標移動信息整合到現(xiàn)有的模型中去時，在幾乎所有的預(yù)測任務(wù)上都可以獲得穩(wěn)定的效果提升.此外，表4中也體現(xiàn)出在不同的數(shù)據(jù)采樣策略下，鼠標移動模式的預(yù)測效果基本穩(wěn)定，這就表示通過小群體的查詢?nèi)罩咎崛〉氖髽艘苿幽Ｊ?，可以對未知的用戶及查詢的搜索滿意度進行很好的預(yù)測，該方法具有很強的泛化能力.

Table 4 Comparison of Different Methods for Predicting Search Satisfaction Across Different Users and Queries

Notes: The values in the parentheses indicate the percent increase of the satisfaction with Motif compared with the original satisfaction.

5 總結(jié)與未來工作

隨著網(wǎng)絡(luò)搜索引擎的不斷發(fā)展，搜索滿意度這一貼近用戶實際感受的評價指標日益受到研究者和搜索引擎公司的重視.我們通過設(shè)計用戶實驗的方式對搜索滿意度進行了全面系統(tǒng)的研究.我們的研究發(fā)現(xiàn)：由于相關(guān)性標注與結(jié)果文檔給用戶帶來的實際效用并不完全一致，傳統(tǒng)的基于相關(guān)性的評價方式不能很好地估計用戶實際感受到的搜索滿意度.同時，針對真實搜索環(huán)境下存在大量異質(zhì)化搜索結(jié)果的現(xiàn)象，我們深入分析了垂直結(jié)果的質(zhì)量、展現(xiàn)形式和展現(xiàn)位置對搜索滿意度的影響.最后，我們提出采用鼠標移動模式進行搜索滿意度的預(yù)測，并提出了基于距離差異和基于分布差異的鼠標移動模式篩選方法，相比傳統(tǒng)方法而言獲得了顯著的效果提升.

本文的研究結(jié)果可能在如下方面對商業(yè)搜索引擎的應(yīng)用產(chǎn)生積極影響:1)用戶滿意度是搜索引擎性能評價的主要標準(gold standard)，通過上述研究，我們成功揭示了滿意度評價結(jié)果與已有的各種離線評價方法(Cranfield方法)之間的關(guān)聯(lián)關(guān)系，為更好地使用具有較強復(fù)用性和魯棒性的離線策略擬合用戶滿意度評價結(jié)果、設(shè)計更合理的離線性能評價指標奠定了基礎(chǔ).2)與傳統(tǒng)用戶滿意度評價需要借助真實用戶反饋，耗費大量人力資源且反饋慢、結(jié)果穩(wěn)定性差不同，本文嘗試提出利用鼠標移動模式這一搜索引擎可以大規(guī)模采集的用戶行為信號進行滿意度預(yù)測，起到更高效的性能評價效果.3)本文提出的基于鼠標移動模式預(yù)測用戶滿意度的方法，客觀上證實了這一反饋信息可以應(yīng)用于搜索引擎的性能提升，我們在未來工作中將考慮應(yīng)用這一思路對搜索引擎排序算法的設(shè)計(如點擊模型設(shè)計)進行改進，試圖在查詢過程中主動利用用戶反饋更好地滿足用戶信息需求.

[1]Cleverdon C. The Cranfield tests on index language devices[G] //Readings in Information Retrieval. San Francisco, CA: Morgan Kaufmann, 1997: 47-59

[2]Lang Hao, Wang Bin, Li Jintao, et al. Predicting query performance for text retrieval[J]. Journal of Software, 2008, 19(2): 291-300 (in Chinese)

(郎皓, 王斌, 李錦濤, 等. 文本檢索的查詢性能預(yù)測[J]. 軟件學(xué)報, 2008, 19(2): 291-300)

[3]Su L T. Evaluation measures for interactive information retrieval[J]. Information Processing & Management, 1992, 28(4): 503-516

[4]Kelly D. Methods for evaluating interactive information retrieval systems with users[J]. Foundations and Trends in Information Retrieval, 2009, 3(1/2): 1-224

[5]Wang Chao, Liu Yiqun, Zhang Min, et al. Incorporating vertical results into search click models[C] //Proc of the 36th Int ACM SIGIR Conf on Research and Development in Information Retrieval. New York: ACM, 2013: 503-512

[6]Liu Zeyang, Liu Yiqun, Zhou Ke, et al. Influence of vertical result in Web search examination[C] //Proc of the 38th Int ACM SIGIR Conf on Research and Development in Information Retrieval. New York: ACM, 2015: 193-202

[7]Ageev M, Guo Qi, Lagun D, et al. Find it if you can: A game for modeling different types of Web search success using interaction data[C] //Proc of the 34th Int ACM SIGIR Conf on Research and Development in Information Retrieval. New York: ACM, 2011: 345-354

[8]Field H A, Allan J, Jones R. Predicting searcher frustration[C] //Proc of the 33rd Int ACM SIGIR Conf on Research and Development in Information Retrieval. New York: ACM, 2010: 34-41

[9]Li J, Huffman S, Tokuda A. Good abandonment in mobile and PC Internet search[C] //Proc of the 32nd Int ACM SIGIR Conf on Research and Development in Information Retrieval. New York: ACM, 2009: 43-50

[10]Huang J, White R W, Dumais S. No clicks, no problem: Using cursor movements to understand and improve search[C] //Proc of the SIGCHI Conf on Human Factors in Computing Systems. New York: ACM, 2011: 1225-1234

[11]Guo Qi, Lagun D, Agichtein, E. Predicting Web search success with fine-grained interaction data[C] //Proc of the 21st ACM Int Conf on Information and Knowledge Management. New York: ACM, 2012: 2050-2054

[12]Cohen J. Weighted kappa: Nominal scale agreement provision for scaled disagreement or partial credit[J]. Psychological Bulletin, 1968, 70(4): 213

[13]Robertson S E. The probability ranking principle in IR[J]. Journal of Documentation, 1977, 33(4): 294-304

[14]J?rvelin K, Kek?l?inen J. Cumulated gain-based evaluation of IR techniques[J]. ACM Trans on Information Systems, 2002, 20(4): 422-446

[15]Chapelle O, Metlzer D, Zhang Y, et al. Expected reciprocal rank for graded relevance[C] //Proc of the 18th ACM Int Conf on Information and Knowledge Management. New York: ACM, 2009: 621-630

[16]Mao Jiaxin, Liu Yiqun, Zhou Ke, et al. When does relevance mean usefulness and user satisfaction in Web search? [C] //Proc of the 39th Int ACM SIGIR Conf on Research and Development in Information Retrieval. New York: ACM, 2016: 463-472

[17]Friedman J H. Greedy function approximation: A gradient boosting machine[J]. Annals of Statistics, 2001, 29(5): 1189-1232

[18]Chen Ye, Liu Yiqun, Zhou Ke, et al. Does vertical bring more satisfaction? Predicting search satisfaction in a heterogeneous environment[C] //Proc of the 24th ACM Int Conf on Information and Knowledge Management. New York: ACM, 2015: 1581-1590

[19]Lagun D, Ageev M, Guo Qi, et al. Discovering common motifs in cursor movement data for improving Web search[C] //Proc of the 7th ACM Int Conf on Web Search and Data Mining. New York: ACM, 2014: 183-192

[20]Liu Yiqun, Chen Ye, Tang Jinhui, et al. Different users, different opinions: Predicting search satisfaction with mouse movement information[C] //Proc of the 38th Int ACM SIGIR Conf on Research and Development in Information Retrieval. New York: ACM, 2015: 493-502

[21]He Haibo, Garcia E A. Learning from imbalanced data[J]. IEEE Trans on Knowledge and Data Engineering, 2009, 21(9): 1263-1284

[22]Jiang Jiepu, Hassan A A, Shi X, et al. Understanding and predicting graded search satisfaction[C] //Proc of the 8th ACM Int Conf on Web Search and Data Mining. New York: ACM, 2015: 57-66

Liu Yiqun, born in 1981. PhD. Associate professor. Senior member of ACM and CCF, and council member of CAAI (China Association of Artificial Intelligence) and CIPSC (Chinese Information Processing Society of China). His main research interests include Web search, user behavior analysis, and natural language processing.

Satisfaction Prediction of Web Search Users

Liu Yiqun

(DepartmentofComputerScience&Technology,TsinghuaUniversity,Beijing100084)

User satisfaction is one of the prime concerns for Web search related studies. It is a non-trivial task for three major reasons: 1) Traditional approaches for search performance evaluation mainly rely on editorial judgments of the relevance of search results. The relationship between search satisfaction and relevance-based evaluation still remains under-investigated. 2) Most existing researches are based on the hypothesis that all results on search result pages (SERPs) are homogeneous while a variety of heterogeneous components have been aggregated into modern SERPs to improve search performance. 3) Most existing studies on satisfaction prediction primarily rely on users’ click-through and query reformulation behaviors but there are plenty of search sessions without such information. In this paper, we summarize our recent efforts to shed light on these research questions. Firstly, we perform a laboratory study to investigate the relationship between relevance and users’ perceived usefulness and satisfaction. After that, we also investigate the impact of vertical results with different qualities, presentation styles and positions on search satisfaction with specifically designed SERPs. Finally, inspired by recent studies in predicting result relevance based on mouse movement patterns, we propose novel strategies to extract high quality mouse movement patterns from SERPs for satisfaction prediction. Experimental results show that our proposed method outperforms existing approaches in heterogeneous search environment.

search satisfaction; relevance; aggregated search; mouse movement; Web search engine

2016-11-10；

2017-02-17

國家自然科學(xué)基金優(yōu)秀青年科學(xué)基金項目(61622208) This work was supported by the National Natural Science Foundation of China for Excellent Young Scientists (61622208).

TP391