陳雪松,張帆,劉奕群*,羅成,張敏,馬少平

(1.青海大學(xué) 計(jì)算機(jī)技術(shù)與應(yīng)用系,青海 西寧 810016;2.清華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)系,北京信息科學(xué)與技術(shù)國(guó)家研究中心,北京 100084)

0 引言

這是一個(gè)數(shù)據(jù)的時(shí)代,人們每天都被大量的數(shù)據(jù)包圍著,網(wǎng)絡(luò)上的數(shù)據(jù)資源更是不可勝數(shù),如何從海量的數(shù)據(jù)中盡快地且高質(zhì)量地尋找出所需數(shù)據(jù)的需求,催生了信息檢索學(xué)科[1-2]的發(fā)展。信息檢索的一個(gè)重要載體是搜索引擎,當(dāng)人們遇到問題的時(shí)候,便會(huì)通過搜索引擎尋找答案。

目前,廣泛應(yīng)用的信息檢索方式是網(wǎng)頁(yè)搜索,隨著日益增長(zhǎng)的物質(zhì)文化需求,用戶對(duì)網(wǎng)頁(yè)搜索形式的文本檢索有了更高的要求,同時(shí),也希望能搜索到更多類型的信息,比如圖像、音樂、視頻等等。圖像搜索便是一個(gè)應(yīng)運(yùn)而生的信息檢索場(chǎng)景。在圖像搜索環(huán)境下,用戶有著多樣的搜索意圖[3-4]。演講者作匯報(bào)展示時(shí),會(huì)尋找恰當(dāng)?shù)膱D片輔助表達(dá)自己的主題;行人走在路邊遇到不認(rèn)識(shí)的植物,希望圖像搜索能夠滿足自己的知識(shí)需求;辦公人員在煩躁的時(shí)刻也希望能通過搞笑圖片調(diào)節(jié)自己的情緒。獲取用戶在不同搜索意圖下的滿意度是提高搜索引擎性能和競(jìng)爭(zhēng)力的重要方式。實(shí)際搜索環(huán)境下,收集每次查詢會(huì)話后的用戶滿意度將會(huì)是一種花費(fèi)很大并且難以實(shí)施的方法,也會(huì)對(duì)用戶的搜索體驗(yàn)產(chǎn)生負(fù)面影響。最近的研究表明,網(wǎng)頁(yè)搜索場(chǎng)景下,用戶在瀏覽過程中與搜索引擎的交互行為如鼠標(biāo)的移動(dòng)、點(diǎn)擊,滑輪的滾動(dòng)等,都是預(yù)測(cè)滿意度的強(qiáng)信號(hào)[5-8]。借助于用戶和搜索引擎的交互行為對(duì)用戶滿意度進(jìn)行預(yù)測(cè)的方法可大致總結(jié)為兩種:一是從交互行為信息中設(shè)計(jì)特征來預(yù)測(cè)滿意度[3,9],二是對(duì)用戶的動(dòng)作序列進(jìn)行建模來預(yù)測(cè)用戶滿意度[10-11]。

Fig.1 Difference between web search and image search圖1 網(wǎng)頁(yè)搜索和圖片搜索區(qū)別示意圖

從網(wǎng)頁(yè)搜索到圖像搜索,如圖1所示,整體搜索結(jié)果(Search Engine Result Pages,SERPs)的展示形式由一維變成了二維;每個(gè)搜索結(jié)果的展示內(nèi)容由標(biāo)題加摘要變成了縮略圖加關(guān)鍵字;同時(shí),翻頁(yè)的控制方式也由點(diǎn)擊按鈕變成了滾動(dòng)滑輪。圖像搜索和網(wǎng)頁(yè)搜索在搜索結(jié)果的展示方式,用戶與搜索引擎的交互方式等方面的改變,勢(shì)必影響了用戶與搜索引擎的交互行為。在圖像搜索環(huán)境中,用戶與搜索引擎的交互行為的變化決定了用戶滿意度的預(yù)測(cè)方法需要重新考量。

本文收集了圖像搜索環(huán)境下,1 500多個(gè)用戶查詢會(huì)話中的交互行為和用戶滿意度的反饋,分析了衡量搜索引擎性能的評(píng)價(jià)指標(biāo)在圖像搜索環(huán)境下的表現(xiàn)情況,根據(jù)指標(biāo)表現(xiàn)來設(shè)計(jì)用戶在瀏覽過程中的動(dòng)作特征,將其作為梯度提升決策樹算法(GBDT)的特征來訓(xùn)練模型從而預(yù)測(cè)用戶滿意度,同時(shí)將用戶在瀏覽過程中,存在的動(dòng)作作為馬爾可夫模型(Markov Model)的狀態(tài),根據(jù)動(dòng)作序列,生成用戶在滿意和不滿意查詢下的狀態(tài)轉(zhuǎn)移概率圖,對(duì)用戶滿意度進(jìn)行預(yù)測(cè)。最后,本文設(shè)計(jì)了GBDT和馬爾可夫模型的組合模型來預(yù)測(cè)用戶滿意度,準(zhǔn)確率達(dá)到了78%。

在20世紀(jì)90年代,用戶滿意度首先被Su引入到信息檢索領(lǐng)域[12],用來表示當(dāng)用戶擁有一個(gè)查詢需求或者目標(biāo)的時(shí)候,他對(duì)于搜索引擎返回結(jié)果的滿意程度。Jones等人[13]強(qiáng)調(diào)了用戶滿意度的重要性并且將其作為信息檢索評(píng)估的基礎(chǔ)。用戶滿意度在信息檢索評(píng)估中占有了極其重要的地位,因此有了很多相關(guān)的工作。Al-Maskari[14]調(diào)研了在信息檢索中,影響用戶滿意度的一些因素。Wang等人[15]論證了用戶的滿意程度在搜索結(jié)果相關(guān)性評(píng)估和查詢建議條目中的重要作用。Hassan的工作表明[16],用戶滿意度在衡量搜索引擎性能時(shí)的價(jià)值比查詢和結(jié)果的相關(guān)性更重要。用戶滿意度的重要性引導(dǎo)著預(yù)測(cè)用戶滿意度工作的開展。他們通過三種不同的方式來衡量點(diǎn)擊到訪頁(yè)面(Landing Page)停留時(shí)間,進(jìn)而對(duì)單次點(diǎn)擊的用戶滿意度進(jìn)行預(yù)測(cè)。也有學(xué)者[8]創(chuàng)新性地建立起鼠標(biāo)的移動(dòng)軌跡中存在的模式來預(yù)測(cè)用戶滿意度。同時(shí),Mehrotra等人[17]通過用戶在查詢過程中點(diǎn)擊、滾動(dòng)等動(dòng)作的次序?qū)τ脩魸M意度進(jìn)行預(yù)測(cè)。隨著移動(dòng)端搜索流量的增加,很多學(xué)者也開始關(guān)注移動(dòng)搜索場(chǎng)景下,用戶滿意度的預(yù)測(cè)方法。

本文在選擇GBDT模型特征時(shí),參考了搜索引擎性能的評(píng)價(jià)指標(biāo)[18-20]。搜索引擎性能評(píng)價(jià)的方式主要包括離線評(píng)價(jià)方式和在線評(píng)價(jià)方式。其中離線評(píng)價(jià)方式考慮了查詢文檔對(duì)的相關(guān)性、結(jié)果的位置、用戶的執(zhí)著程度等因素,該評(píng)價(jià)方法需要外部評(píng)估人員進(jìn)行標(biāo)注,成本較高,因此本文不采用離線指標(biāo)作為特征對(duì)用戶滿意度進(jìn)行預(yù)測(cè)。對(duì)于網(wǎng)頁(yè)搜索中被廣泛使用的在線指標(biāo),如點(diǎn)擊率、點(diǎn)擊結(jié)果排名、UCTR、PLC等,本文通過基于Concordance的區(qū)分度等指數(shù)來衡量這些指標(biāo)在預(yù)測(cè)用戶滿意度中的效用,將效用高的指標(biāo)選為特征,用來訓(xùn)練模型,預(yù)測(cè)滿意度。同時(shí),本文針對(duì)圖像搜索場(chǎng)景,提出了一些新的特征。

本文所使用的馬爾可夫模型主要考慮了在查詢過程中,連續(xù)的動(dòng)作所存在的潛在的關(guān)系對(duì)用戶滿意度的影響。Hassan[6]比較了成功的查詢和不成功的查詢中動(dòng)作的狀態(tài)轉(zhuǎn)移概率問題,并通過馬爾可夫模型預(yù)測(cè)用戶的查詢是否是一次成功的查詢。Wu等人[21]提出了一些預(yù)測(cè)用戶滿意度時(shí),可以作為馬爾可夫狀態(tài)的用戶動(dòng)作。本文考慮了用戶在查詢過程中,不同的動(dòng)作轉(zhuǎn)移應(yīng)占有不同權(quán)重的問題,并且總結(jié)了滿意和不滿意查詢中存在的典型的動(dòng)作轉(zhuǎn)移模式。

1 實(shí)驗(yàn)數(shù)據(jù)收集

實(shí)驗(yàn)采用在校內(nèi)有償招募被試者的方式收集數(shù)據(jù),被試者依次來到實(shí)驗(yàn)室,在指定的機(jī)器上進(jìn)行指定任務(wù)的圖像搜索,在每次查詢會(huì)話完成后,被試者需進(jìn)行滿意度打分。

1.1 實(shí)驗(yàn)環(huán)境

在該實(shí)驗(yàn)數(shù)據(jù)收集過程中,被試者通過Google Chrome瀏覽器,在17英寸,分辨率為1 366×768像素的LCD顯示器上進(jìn)行圖像搜索任務(wù)。用戶在搜索過程中所有的查詢內(nèi)容、鼠標(biāo)移動(dòng)、點(diǎn)擊、劃入(劃出)元素、滑輪的滾動(dòng)、標(biāo)簽的切換等信息都會(huì)被記錄下來。

1.2 實(shí)驗(yàn)過程

本實(shí)驗(yàn)在高校招募了36名本科生(13名女生和22名男生),年齡分布在18到25周歲,來自于工科、人文、社會(huì)科學(xué)和藝術(shù)院系等。所有的被試者在實(shí)驗(yàn)之前均有圖像搜索的經(jīng)歷。

實(shí)驗(yàn)開始前,被試者首先要完成一個(gè)熱身性質(zhì)的圖像搜索任務(wù),從而熟悉整個(gè)用戶實(shí)驗(yàn)。然后被試者按照網(wǎng)頁(yè)提示的信息依次進(jìn)行12個(gè)圖像搜索任務(wù)。對(duì)于每一個(gè)任務(wù),被試者會(huì)首先看到任務(wù)的描述信息,該描述信息用來模擬真實(shí)搜索中的用戶需求,比如說通過圖像搜索引擎找到一張哈利波特的海報(bào)用來做PPT。實(shí)驗(yàn)的具體流程如下:

被試者先讀任務(wù)描述,然后用通俗的語(yǔ)言把任務(wù)重述一遍,保證徹底理解了模擬的用戶需求。然后,被試者點(diǎn)擊“開始任務(wù)”按鈕進(jìn)行圖像搜索。當(dāng)被試者認(rèn)為任務(wù)完成或者找不到滿意的結(jié)果時(shí),便可以點(diǎn)擊“結(jié)束任務(wù)”按鈕來結(jié)束。任務(wù)結(jié)束后,被試者在該任務(wù)下的每次查詢內(nèi)容將再次展示出來,實(shí)驗(yàn)會(huì)要求被試者對(duì)每次查詢進(jìn)行5個(gè)等級(jí)的用戶滿意度打分。

2 GBDT模型

本文通過評(píng)測(cè)在線指標(biāo)與用戶滿意度(5級(jí)標(biāo)注)的Pearson相關(guān)系數(shù)和Concordance一致性指數(shù)及基于Concordance的區(qū)分度指數(shù)進(jìn)行GDBT模型特征的選擇,利用sklearn中GradientBoostingClassifier分類器進(jìn)行訓(xùn)練,采用十折交叉驗(yàn)證的方式進(jìn)行模型評(píng)價(jià)。

2.1 特征顯著性評(píng)測(cè)方法

Pearson相關(guān)系數(shù)和Concordance一致性指數(shù)為常用的相關(guān)性評(píng)價(jià)指標(biāo),本文不再具體介紹。基于Concordance的區(qū)分度指數(shù)算法設(shè)計(jì)如下:

算法1 基于Concordance的區(qū)分度指數(shù)算法INPUT:在線指標(biāo)特征向量OnlineMetricVector,滿意度向量SatisfactionVectorOUTPUT:區(qū)分度指數(shù)distinction1:function CONCORDANCE(OnlineMetricVector,Satis factionVector)2: PairNum←03: PostiveCorrectionScore←04: NegativeCORRECTION Score←05: avg←OnlineMetricVector6: for i=0 j→ LengthOfOnlineMetricVector d07: for j=i→LengthOfSatisfactionVector do8: PairNum←PairNum+19: product←(OnlineMetric[i]一OnlineMetric[j])/avg*(Satisfaction[i]-Satusfactuib[j])10: if product>α then11: PostiveCorrectionScore←PostiveCorrectionScore+112: end if13: if product<α then14: NegativeCorrectionScore←NegativeCorrectionScore+115: end if16: if α<=product<=α then1 7: PostiveCorrectionScore←PostiveCorrectionScore+118: NegativeCorrectionScore←NegativeCorrectionScore+119: end if20: end for21: end for22: Normalization(PostiveCorrectionScore,NegativeCorrectionScore)23: ConcordanceValue=Max(PostiveCorrectionScore,NegativeCorrectionScore)24: distinction=abs(PostiveCorrectionScore-NegativeCorrectionScore)25: return distinction26:end function

在算法1中,在線指標(biāo)特征向量OnlineMetricVector的定義為

(1)

(2)

其中Satisfactionn表示第n次查詢中,用戶的滿意度情況。

在Concordance算法中,由于在線指標(biāo)特征數(shù)值較多,并且存在一定的計(jì)算誤差(鼠標(biāo)移動(dòng)距離,滑輪滾動(dòng)等都不是絕對(duì)精確的數(shù)值)對(duì)于任意兩個(gè)對(duì)應(yīng)位置上歸一化后的在線指標(biāo)特征和用戶滿意度數(shù)值相差不大時(shí)(即絕對(duì)值小于α),則認(rèn)為該對(duì)位置上的值既支持兩個(gè)向量呈正相關(guān),又支持兩個(gè)向量呈負(fù)相關(guān)。如果該種位置對(duì)數(shù)量較多,就會(huì)導(dǎo)致兩個(gè)向量的正相關(guān)和負(fù)相關(guān)Concordance一致性指數(shù)都比較大,但是該在線指標(biāo)特征并不能很好地體現(xiàn)出用戶的滿意度,為了解決此類問題,本文提出了基于Concordance的區(qū)分度指數(shù),其數(shù)值大小體現(xiàn)了支持兩個(gè)向量正相關(guān)和負(fù)相關(guān)的差值。該區(qū)分度指數(shù)與Concordance一致性指數(shù)在衡量在線指標(biāo)是否可以作為GBDT模型特征時(shí)各有所長(zhǎng),本文在選取作為模型特征的在線指標(biāo)時(shí)綜合考慮了Pearson相關(guān)系數(shù)和上述兩個(gè)指數(shù)。

2.2 模型特征

在傳統(tǒng)的網(wǎng)頁(yè)搜索中,常用的在線指標(biāo)匯總?cè)绫?所示。

表1 在線指標(biāo)及其描述

本文充分考慮了圖像搜索場(chǎng)景下的應(yīng)用環(huán)境,提出了如下特征:

Query id:query id中的id表示在同一查詢?nèi)蝿?wù)下,當(dāng)前查詢屬于該任務(wù)中的第幾次查詢。該特征與用戶滿意度呈一般負(fù)相關(guān),也就是說,在同一任務(wù)下,用戶的查詢次數(shù)越多,越容易出現(xiàn)不滿意的查詢。

LastClickToEnd:用戶在當(dāng)前查詢下,最后一次點(diǎn)擊的時(shí)間點(diǎn)與查詢結(jié)束的時(shí)間點(diǎn)之間的時(shí)間長(zhǎng)度。該指標(biāo)與用戶滿意度呈現(xiàn)較強(qiáng)的負(fù)相關(guān)性。也就是說,用戶在點(diǎn)擊圖片后,與結(jié)束查詢的時(shí)間越短,滿意程度越高。如果用戶在查詢結(jié)束和最后一次點(diǎn)擊之間存在較多的動(dòng)作,比如說hover(鼠標(biāo)懸浮),scroll(滑輪滾動(dòng))等,就意味著用戶還在尋找著更合適的圖片,容易感到不滿意?，F(xiàn)有的結(jié)論表示用戶的最后一次點(diǎn)擊一般是得到了滿意的結(jié)果來結(jié)束查詢,用戶滿意后就會(huì)停止查詢,用戶最后一次點(diǎn)擊發(fā)生后,結(jié)束查詢的時(shí)間越短,用戶滿意的可能性就越大,該指標(biāo)能體現(xiàn)用戶的這種行為。

QueryTermNum:用戶使用圖像搜索引擎時(shí),輸入的查詢內(nèi)容不同,對(duì)圖像搜索引擎返回的結(jié)果的期望不同。比如說用戶輸入“襯衫”和“寬松款女士白色襯衫”時(shí),前者表示用戶對(duì)搜索引擎有一個(gè)寬泛的要求,只要是襯衫即可,后者表示用戶對(duì)圖像搜索引擎返回的屬性有了“寬松款”、“女士”、“白色”的要求,期待搜索引擎的返回的結(jié)果能夠滿足所有屬性,因此,需要有一個(gè)對(duì)查詢內(nèi)容復(fù)雜度衡量的指標(biāo)。借助自然語(yǔ)言處理(NLP)中的jieba分詞工具,對(duì)用戶提交的所有query進(jìn)行分詞處理。去掉了查詢內(nèi)容中的停用詞、連詞等,對(duì)查詢內(nèi)容中剩下的以形容詞、名詞為主的單詞進(jìn)行加權(quán)、計(jì)數(shù)得到一個(gè)簡(jiǎn)單的用于估計(jì)查詢內(nèi)容復(fù)雜度的數(shù)值。結(jié)果表明,該數(shù)值與用戶滿意度存在較弱的負(fù)相關(guān),即查詢內(nèi)容中包含單詞越多,數(shù)值越大,用戶滿意度越低。也就是說用戶提交的查詢內(nèi)容中包含的查詢?cè)~越多,搜索引擎越難以讓用戶滿意。

Distribution:在查詢中,將鼠標(biāo)懸停時(shí)間、鼠標(biāo)的移動(dòng)距離和鼠標(biāo)的移動(dòng)速度劃分為不同的區(qū)間,統(tǒng)計(jì)不同區(qū)間中特征在特征總數(shù)的占比,用來作為在線指標(biāo)。其中鼠標(biāo)移動(dòng)速度特征表現(xiàn)較好。對(duì)于鼠標(biāo)移動(dòng)速度來說,鼠標(biāo)移動(dòng)速度非?？?[0,0.5]px/ms)的比重越大用戶在查詢中越容易不滿意,鼠標(biāo)移動(dòng)速度在[0.5,∞px/ms]的比重越大,用戶越容易滿意。換句話說,用戶鼠標(biāo)移動(dòng)速度快的比例大,代表著用戶沒有在搜索結(jié)果頁(yè)面中檢查到滿意的結(jié)果,是一種不耐煩的表現(xiàn)。

NonMoveTimeRatio:已有研究表明[22],在以文字為主的網(wǎng)頁(yè)中,鼠標(biāo)移動(dòng)和人的注意力有很高的相關(guān)性,因此,用戶在鼠標(biāo)移動(dòng)和鼠標(biāo)不移動(dòng)的兩個(gè)狀態(tài)下,對(duì)搜索結(jié)果頁(yè)面的檢查方式不一樣。在鼠標(biāo)不移動(dòng)的狀態(tài)下,搜索結(jié)果中很有可能有用戶感興趣的內(nèi)容,用戶的注意力集中,注意力切換較慢;在鼠標(biāo)移動(dòng)的狀態(tài)下,用戶在查找內(nèi)容,注意力切換快。在一次查詢會(huì)話中,用戶注意力集中的時(shí)間的比例可通過如下公式計(jì)算(T[start,end]表示該次查詢會(huì)話的總時(shí)間,Tmouse_movei表示第i次鼠標(biāo)移動(dòng)的時(shí)間),將該比例作為指標(biāo),表現(xiàn)較好。

(3)

2.3 特征篩選

指標(biāo)TTFC,TTLC,LCTE的應(yīng)用場(chǎng)景是在查詢會(huì)話中存在至少一次點(diǎn)擊的情況,但在用戶的實(shí)際搜索中,有些查詢會(huì)話并不存在點(diǎn)擊行為,對(duì)于該類會(huì)話,假定點(diǎn)擊行為發(fā)生的時(shí)間距離標(biāo)記時(shí)刻(TTFC和TTLC的標(biāo)記時(shí)刻是查詢會(huì)話開始的時(shí)刻,LCTE的標(biāo)記時(shí)刻是查詢會(huì)話結(jié)束的時(shí)刻)無窮遠(yuǎn)。根據(jù)2.1節(jié)中所提出的特征顯著性評(píng)測(cè)方法,對(duì)2.2節(jié)中所有特征進(jìn)行篩選,篩選后的特征及其在3種評(píng)測(cè)方法下的表現(xiàn)如表2所示。

表2 GBDT特征顯著性評(píng)測(cè)結(jié)果

Fig.2 Performance to predict user satisfaction by our designed features圖2 本文所設(shè)計(jì)特征在預(yù)測(cè)用戶滿意度時(shí)的表現(xiàn)

2.4 模型效果

本文首先把用戶滿意度分成兩類,用戶滿意度為4,5的查詢看作是用戶滿意的查詢,用戶滿意度為1,2,3的查詢看作是用戶不滿意的查詢。除本文提出的5個(gè)特征外,剩余的所有在線指標(biāo)為特征訓(xùn)練的模型作為baseline。圖2展示了本文所設(shè)計(jì)的特征在預(yù)測(cè)用戶滿意度時(shí)的表現(xiàn),所有特征對(duì)預(yù)測(cè)用戶滿意度均有不同程度的貢獻(xiàn)。

將上述所有的在線指標(biāo)作為特征用于常見分類器的訓(xùn)練,如k-近鄰(KNN)、支持向量機(jī)(SVM)、樸素貝葉斯(Naive Bayesian)、GBDT等模型,同時(shí)把Wu等人[17]工作中所設(shè)計(jì)的特征訓(xùn)練生成GBDT模型的表現(xiàn)作為Baseline,所有模型的性能對(duì)比如表3所示。

表3 模型性能對(duì)比圖

通過上表可以看出,在所有的分類器中,GBDT模型表現(xiàn)最好。兩個(gè)GBDT模型作為對(duì)比,本文所采用的特征訓(xùn)練所得的模型表現(xiàn)較好,精度提高了3.77%,同時(shí)在Wu的工作中,用到的特征數(shù)量是33個(gè),在本文的模型中,用于GBDT模型的特征數(shù)量有23個(gè)。

3 馬爾可夫模型

3.1 馬爾可夫基準(zhǔn)模型

在馬爾可夫模型中,本文考慮了用戶在整個(gè)查詢會(huì)話中,動(dòng)作轉(zhuǎn)移概率的問題。比如說從查詢開始到點(diǎn)擊動(dòng)作,從點(diǎn)擊動(dòng)作到滑輪滾動(dòng)動(dòng)作等動(dòng)作間的轉(zhuǎn)移概率。本文將所有的動(dòng)作劃分為了六類,具體動(dòng)作及其描述如表4所示。

表4 馬爾可夫模型中動(dòng)作狀態(tài)及其描述

本文首先將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集,在訓(xùn)練集中,將其劃分為用戶滿意的數(shù)據(jù)集部分和用戶不滿意的數(shù)據(jù)集部分,為兩部分?jǐn)?shù)據(jù)集生成兩個(gè)狀態(tài)轉(zhuǎn)移矩陣,也就意味著生成了用戶滿意情況下的狀態(tài)轉(zhuǎn)移圖和用戶不滿意情況下的狀態(tài)轉(zhuǎn)移圖。用戶滿意情況下的狀態(tài)轉(zhuǎn)移圖如圖3所示,用戶不滿意情況下的狀態(tài)轉(zhuǎn)移圖如圖4所示。

Fig.3 Transition diagram under satisfaction圖3 用戶滿意情況下的狀態(tài)轉(zhuǎn)移圖

Fig.4 Transition diagram under dissatisfaction圖4 用戶不滿意情況下的狀態(tài)轉(zhuǎn)移圖

根據(jù)測(cè)試集中一次查詢會(huì)話中的動(dòng)作序列來預(yù)測(cè)用戶滿意度時(shí),兩個(gè)狀態(tài)轉(zhuǎn)移圖均可計(jì)算當(dāng)前查詢所包含的動(dòng)作序列的得分。該查詢?cè)谀膫€(gè)狀態(tài)轉(zhuǎn)移圖的得分越高,就可以說明該查詢中的動(dòng)作序列更符合其狀態(tài)轉(zhuǎn)移圖的預(yù)測(cè)結(jié)果。將此馬爾可夫模型作為baseline。

3.2 典型動(dòng)作模式

對(duì)于馬爾可夫模型中存在的任意兩個(gè)動(dòng)作轉(zhuǎn)移,它支持所在查詢是滿意或者不滿意的程度不同,通過比較用戶滿意和不滿意情況下,狀態(tài)轉(zhuǎn)移概率的比值,可以將兩種情況下的典型動(dòng)作模式篩選出來。典型動(dòng)作模式生成算法如下。

算法2 用戶在滿意和不滿意查詢中典型動(dòng)作模式得分算法INPUT:用戶在滿意查詢中的狀態(tài)轉(zhuǎn)移矩陣SatTransitionMatrix,用戶在不滿意查詢中的狀態(tài)轉(zhuǎn)移矩陣DSatTransition-MtrixOUTPUT:滿意查詢中的動(dòng)作模式SatActionPattern,不滿意查詢中的動(dòng)作模式DSatActionPattern1:function GETACTIONPATTERN(SatTM = SatTransitionMatrix.DSatTM = D SatTransitionMtrixl2: states←[start,hover,click,down,up,end]3: for OriginaIState=start→end do4: for DestinationState=start→end do5: SatOvetDSatValue← SatTM[OriginalState][DestinationState]/DSatTM[OriginaIState][DestinationState]6: DSatOverSatValue← DSatTM[OriginaIState][DestinationState]/SatTM[OriginalState][DestinationState]7: if Sat0verDSatValue>1+α then8: SatActionPattern[OriginalStatel][DestinationState]←SatOverDSatValue9: end if10: if DSatOvetSatValue>1+α then11: DSatActionPattern[OriginalState][DestinationState]←DSatOverDSatValue12: end if13: end for14: end for15:end function

用戶在滿意或者不滿意情況下,存在的典型動(dòng)作模式如圖5和圖6所示。

Fig.5 Typical action pattern under satisfaction search圖5 用戶在滿意查詢中的典型動(dòng)作模式

Fig.6 Typical action pattern under dissatisfaction search圖6 用戶在不滿意查詢中的典型動(dòng)作模式

如果用戶在一次查詢會(huì)話中的動(dòng)作序列為{start, click, end},該序列是用戶在滿意查詢下典型動(dòng)作模式中所存在的序列,在該典型動(dòng)作模式中得分較高,故而用戶該次查詢滿意的概率較大。

3.3 加權(quán)馬爾可夫模型(weighted Markov Model)

通過對(duì)查詢結(jié)束前一個(gè)動(dòng)作內(nèi)容(包括start,scroll,hover,jump in, jump out)進(jìn)行統(tǒng)計(jì)分析,得到不同滿意度下的查詢結(jié)束前動(dòng)作分布圖(見圖7),由動(dòng)作分布圖可以看出,用戶滿意度較低(用戶滿意度為1,2,3)的查詢中,用戶一般以scroll結(jié)束查詢,用戶滿意度高的查詢中,用戶會(huì)以jump in(鼠標(biāo)點(diǎn)擊圖片鏈接后返回搜索結(jié)果頁(yè)面)結(jié)束查詢。用戶以scroll作為查詢結(jié)束的最后一個(gè)動(dòng)作,意味著用戶在結(jié)束當(dāng)前查詢前,仍然用鼠標(biāo)滾動(dòng)滑輪,試圖尋找著滿意的答案,該行為是用戶不滿意的一個(gè)強(qiáng)信號(hào);用戶以jump in作為查詢結(jié)束的最后一個(gè)動(dòng)作,意味著用戶在搜索結(jié)果頁(yè)面中點(diǎn)擊了一個(gè)圖片鏈接,用戶在檢查landing page(圖片詳情頁(yè)面)后,對(duì)整個(gè)查詢是滿意的,回到搜索結(jié)果頁(yè)面(jump in)后,就直接結(jié)束了當(dāng)前查詢。因此,加權(quán)馬爾可夫模型提高了這兩個(gè)動(dòng)作預(yù)測(cè)用戶滿意度時(shí)的權(quán)重。

Fig.7 Distribution of last action before query session under different user satisfaction圖7 不同滿意度下的查詢結(jié)束前動(dòng)作分布圖

4 混合模型

最后,本文將GBDT模型和馬爾可夫模型結(jié)合對(duì)用戶滿意度進(jìn)行預(yù)測(cè)。首先,在馬爾可夫模型中抽取出了兩類特征,一類是馬爾可夫模型的預(yù)測(cè)輸出值,一類是馬爾可夫模型中所存在的典型動(dòng)作模式的得分情況。

(1) 馬爾可夫模型預(yù)測(cè)結(jié)果作為特征:馬爾可夫模型的輸出值可以為GBDT模型提供2維的特征,一維是用戶是否滿意(0或者1,離散值),一維是用戶滿意或者不滿意的可能性(1左右的值,比1越大,代表模型認(rèn)為用戶滿意的可能性越大,比1越小,代表模型認(rèn)為用戶不滿意的可能性越大,連續(xù)值)。

(2) 馬爾可夫典型動(dòng)作模式作為特征:分別計(jì)算要預(yù)測(cè)查詢會(huì)話中存在的動(dòng)作轉(zhuǎn)移在用戶滿意和不滿意情況下典型動(dòng)作模式圖的總得分作為GBDT模型的特征,對(duì)用戶滿意度進(jìn)行預(yù)測(cè)。

本文將抽取的馬爾可夫模型的特征添加至GBDT模型已有的特征中,生成GBDT+馬爾可夫特征模型(GBDT+Markov’s features Model),對(duì)用戶滿意度進(jìn)行預(yù)測(cè)。同時(shí),對(duì)于同一查詢會(huì)話的用戶滿意度預(yù)測(cè),GBDT模型和馬爾可夫模型都會(huì)有一個(gè)預(yù)測(cè)結(jié)果,本文提出的GBDT與馬爾可夫置信度選擇模型(Confidence Selection Model)是將兩個(gè)模型中置信度高的結(jié)果作為對(duì)用戶的滿意度預(yù)測(cè)的最終結(jié)果。

5 模型表現(xiàn)

將GBDT模型和馬爾可夫基準(zhǔn)模型作為baseline,本文提出的所有拓展模型的表現(xiàn)如表5所示(其中,括號(hào)中第一個(gè)值代表相對(duì)于馬爾可夫基準(zhǔn)模型的表現(xiàn),第二個(gè)值代表相對(duì)于作為baseline的GBDT模型的表現(xiàn))。

表5 模型性能表

在所有模型中,GBDT與馬爾可夫置信度選擇模型的預(yù)測(cè)結(jié)果的效果最好,預(yù)測(cè)的精度達(dá)到了78.1%。整體上來看,GBDT相關(guān)的模型比單純基于馬爾可夫模型的相關(guān)模型(馬爾可夫基準(zhǔn)模型和加權(quán)馬爾可夫模型)表現(xiàn)要好一些。

6 結(jié)論

用戶滿意度是衡量搜索引擎性能的關(guān)鍵因素。準(zhǔn)確地預(yù)測(cè)用戶滿意度可以輔助搜索引擎不斷改良,從而具有更高的行業(yè)競(jìng)爭(zhēng)力。在傳統(tǒng)的網(wǎng)頁(yè)搜索中,根據(jù)用戶與搜索引擎交互過程中存在的特征和用戶使用搜索引擎時(shí)的動(dòng)作序列能夠準(zhǔn)確地預(yù)測(cè)用戶的滿意度。相較于網(wǎng)頁(yè)搜索,圖像搜索引擎提供了不同的結(jié)果展示方式,改變了用戶與搜索引擎的交互行為。本文圍繞著圖像搜索環(huán)境下的用戶滿意度預(yù)測(cè)方法進(jìn)行設(shè)計(jì)、研究。

本文首先提出了基于Concordance的區(qū)分度指數(shù),用來衡量用戶與搜索引擎之間的交互信息中存在的一些特征在預(yù)測(cè)用戶滿意度時(shí)的效用。其次,針對(duì)圖像搜索環(huán)境下,提出了的新的特征來描述用戶與圖像搜索引擎間的交互行為,進(jìn)而預(yù)測(cè)用戶滿意度。并設(shè)計(jì)算法總結(jié)出了用戶在滿意查詢和不滿意查詢中存在的典型動(dòng)作模式。最后,本文整合了用戶的行為特征,動(dòng)作模式,動(dòng)作狀態(tài)轉(zhuǎn)移情況等,設(shè)計(jì)出的模型在預(yù)測(cè)用戶滿意度時(shí)的準(zhǔn)確率達(dá)到了78%左右。本工作對(duì)在線指標(biāo)的設(shè)計(jì),用戶滿意度的預(yù)測(cè)等相關(guān)領(lǐng)域的研究都有著一定的參考價(jià)值。

本文中所使用的數(shù)據(jù)集包含了約1 500次本科生進(jìn)行圖像搜索的信息,是一個(gè)較小的數(shù)據(jù)集,該數(shù)據(jù)集在被試者的職業(yè)、年齡上存在局限性,因此所提出用戶滿意度預(yù)測(cè)模型的泛化能力有待評(píng)價(jià)。由于數(shù)據(jù)集較小,對(duì)于用戶在搜索過程中的動(dòng)作類型區(qū)分較少,用戶的行為特征提取較為寬泛,也是導(dǎo)致用戶滿意度的預(yù)測(cè)精度不是很高的原因之一。在實(shí)際的圖像搜索環(huán)境中,用戶可以同時(shí)看到多個(gè)搜索結(jié)果,在對(duì)比圖像結(jié)果后才進(jìn)行點(diǎn)擊查看,圖像本身的吸引性等內(nèi)容特征也對(duì)用戶的滿意度影響較大,因此用戶與圖像搜索引擎存在著更多、更復(fù)雜的交互行為有待研究。同時(shí),如何更好地解釋用于預(yù)測(cè)用戶滿意度的特征的含義也是今后的研究方向之一。