王奕昕, 范春曉, 吳岳辛

(北京郵電大學(xué) 電子工程學(xué)院, 北京 100876)

伴隨著互聯(lián)網(wǎng)的發(fā)展越來越迅速, 互聯(lián)網(wǎng)中的信息越來越繁多, 搜索引擎作為人們獲取互聯(lián)網(wǎng)信息的主要途徑, 其在日常生活中扮演的角色也越發(fā)重要. 但是在檢索過程中, 用戶往往難以根據(jù)其搜索意圖給出簡潔準確的查詢, 從而導(dǎo)致搜索引擎無法為用戶提供最符合其搜索意圖的結(jié)果. 搜索引擎如今通過查詢推薦為用戶構(gòu)造相關(guān)查詢的方法來提升用戶的搜索滿意度.

查詢推薦主要包含查詢自動補全和查詢重構(gòu)兩方面的內(nèi)容. 查詢自動補全指用戶在輸入少量查詢前綴等信息的情境下在搜索框的下拉列表中生成包含輸入前綴的候選查詢； 查詢重構(gòu)指用戶完成輸入后通過對查詢詞替換、刪除等操作來優(yōu)化前面的查詢以獲得更令人滿意的搜索結(jié)果的過程. 近些年伴隨著查詢推薦技術(shù)在信息檢索系統(tǒng)中發(fā)揮著愈發(fā)重要的作用, 發(fā)現(xiàn)查詢自動補全相比查詢重構(gòu)具有局限性, 故更多的查詢推薦研究著重于查詢重構(gòu)推薦.

成功的查詢推薦取決于捕獲用戶的搜索意圖、準確的建模用戶的信息需求, 直觀上需要充分利用查詢上下文信息, 包括同一搜索會話中的歷史查詢信息等.上下文信息在查詢建議和查詢自動補全的研究中被廣泛利用, 傳統(tǒng)的方法依賴于查詢的相似性如術(shù)語復(fù)用和查詢共現(xiàn)[1]等, 其在提供相似度較高的候選查詢的同時存在數(shù)據(jù)稀疏的問題. 而基于深度學(xué)習的方法是如今解決此問題的主流方法, 分層遞歸的編碼-解碼結(jié)構(gòu)[2]在有序編碼上下文的同時解決了數(shù)據(jù)稀疏的問題,反饋記憶網(wǎng)絡(luò)[3]在之前的研究僅將用戶反饋信息作為輔助信息進行聚類的基礎(chǔ)上解決了數(shù)據(jù)稀疏的問題且有利于找到更細粒度的搜索意圖. 查詢重構(gòu)對搜索會話的上下文有極大的影響, 重構(gòu)推理網(wǎng)絡(luò)[4]利用同態(tài)查詢嵌入系統(tǒng)和異構(gòu)網(wǎng)絡(luò)嵌入模型對用戶查詢和查詢重構(gòu)進行建模, 其同時保留了句法和語義屬性, 解決了由于預(yù)定義策略和本體輔助帶來的范圍外策略和歧義查詢的問題.

前述提到的最新研究中仍然存在一系列問題: 在建模用戶查詢意圖的過程中考慮因素比較單一, 無法完整表達用戶的興趣； 使用的圖模型嵌入方法對復(fù)雜的查詢-URL圖無法構(gòu)造清晰準確的嵌入表達； 對同一查詢會話內(nèi)的用戶行為及興趣抽取缺乏相關(guān)性, 使其缺乏表示完整性.

本文提出了基于點擊模型和網(wǎng)絡(luò)嵌入的查詢推薦模型UBM來解決這些問題, 幫助用戶構(gòu)建查詢. 首先通過點擊鏈式模型引入查詢時序, 將其和用戶偏好注意力結(jié)合生成反饋意圖； 利用屬性異構(gòu)網(wǎng)絡(luò)構(gòu)建帶有標題屬性的查詢-URL關(guān)系圖, 并以此建模查詢重構(gòu).引入多頭自注意力機制, 捕獲多個表示子空間的關(guān)系和會話行為的內(nèi)部交互相關(guān)性. 最后采用多任務(wù)學(xué)習來訓(xùn)練查詢鑒別器和查詢生成器來進行查詢推薦.

1 基本概念

定義1. 點擊模型(click model)[5]是根據(jù)用戶的歷史點擊信息, 建模用戶的興趣和行為, 從而預(yù)測用戶的未來點擊行為, 提高點擊間的相關(guān)性. 而用戶的點擊行為受到結(jié)果位置、結(jié)果置信度等因素的影響, 不能直接利用結(jié)果相關(guān)性來估計. 點擊模型包含了用戶的整個搜索過程, 運用不同的假設(shè)去估計不同因素的影響從而更準確地利用用戶的隱式反饋來計算用戶的點擊概率.

定義2. 網(wǎng)絡(luò)嵌入(network embedding)又叫圖嵌入(graph embedding)[6]是用來學(xué)習網(wǎng)絡(luò)中節(jié)點的低維度表示, 并將學(xué)習到的特征用來解決基于圖的各類任務(wù). 其主要思想是找到一種映射函數(shù), 從圖的拓撲結(jié)構(gòu)、頂點間的關(guān)系、子圖以及邊的性質(zhì)等信息中挖掘出復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)中的低緯度信息表示.

2 基于點擊模型和網(wǎng)絡(luò)嵌入的查詢推薦模型

在搜索引擎平臺中, 用戶不能清晰地表達其查詢意圖導(dǎo)致查詢結(jié)果滿意度較低, 因此需要通過查詢推薦策略來幫助用戶構(gòu)建查詢詞. 然而現(xiàn)有的查詢推薦策略無法完整建模用戶興趣從而導(dǎo)致推薦結(jié)果不佳.本文為了解決查詢效率低的問題, 設(shè)計了關(guān)聯(lián)用戶行為的查詢推薦方法來幫助用戶構(gòu)造查詢從而完成檢索過程. 如第1節(jié)所述, 點擊模型可以挖掘出用戶歷史點擊行為的相關(guān)性從而表達用戶興趣, 而網(wǎng)絡(luò)嵌入可以幫助我們從復(fù)雜的查詢-URL二部圖中挖掘出用戶查詢與結(jié)果的關(guān)系從而得到用戶的偏好, 通過結(jié)合兩者的優(yōu)勢, 設(shè)計了基于點擊模型和網(wǎng)絡(luò)嵌入的查詢推薦模型, 捕獲用戶查詢行為和重構(gòu)行為的潛在關(guān)系進而為用戶生成最符合其查詢意圖的推薦結(jié)果. 模型設(shè)計結(jié)構(gòu)如圖1所示. 首先, 在嵌入層引入用戶點擊鏈式模型, 通過對用戶點擊行為的分析, 推斷用戶對返回文檔的興趣度, 綜合用戶單個會話內(nèi)針對同一查詢的多次點擊, 得到對于返回文檔的點擊概率評分矩陣, 將其與偏好注意力編碼結(jié)合得到用戶當前查詢對于返回文檔的反饋意圖行為分布； 另外將URL的標題信息加入到查詢-URL二部圖中作為URL的屬性信息, 并利用屬性異構(gòu)網(wǎng)絡(luò)對其不同類型的節(jié)點與邊進行表示, 將不同維度不同性質(zhì)的向量轉(zhuǎn)換到同一緯度, 并以此建模用戶的查詢重構(gòu)行為； 接著在方法層利用多頭注意力機制捕獲多個表示子空間的信息, 在會話級別抽取出更多的特征； 最后在輸出層利用多任務(wù)學(xué)習來同時訓(xùn)練查詢鑒別器和查詢生成器來解決不同任務(wù)的需求以提高其性能.

圖1 基于點擊模型和網(wǎng)絡(luò)嵌入的查詢推薦模型圖

2.1 嵌入層

嵌入層主要對查詢進行嵌入處理, 對查詢的反饋信息及查詢的重構(gòu)信息進行建模, 將其引入模型之中,按功能分為反饋構(gòu)造器和重構(gòu)構(gòu)造器兩部分.

2.1.1 反饋構(gòu)造器

該部分旨在從用戶的查詢意圖中提取反饋信息,這些信息反映在用戶的點擊順序、用戶的點擊文檔和略過文檔中.

本文利用點擊鏈式模型[7], 根據(jù)用戶在一個查詢會話時間內(nèi)的多次點擊行為, 計算出每次點擊返回的文檔列表的點擊概率得分: 當文檔被瀏覽但被跳過時, 得分總是0, 因為它表示用戶在查看后沒有選擇單擊； 點擊的文檔得分總是1； 點擊文檔后的得分根據(jù)狀態(tài)轉(zhuǎn)移方程得到. 考慮越往后的點擊越能代表用戶的搜索意圖, 而設(shè)計倍增系數(shù) β, 使后續(xù)的每一次點擊概率評分都倍增 β倍:

其中, 二進制隨機變量Ei表示對位置i處的文檔的檢視事件, 二進制隨機變量Ci表示對位置i處的文檔的點擊事件,Ri表示用戶感知的相關(guān)性, αi表示用戶行為參數(shù).

對于查詢返回文檔列表D, 計算文檔概率評分Gn={g1, …,gi, …,gn}, 其中g(shù)i為每次點擊計算出的點擊概率評分的累加(如表1), 之后對文檔概率評分計算歸一化操作得到文檔歸一化評分G:

表1 點擊概率評分累加例子示意表

注意力機制編碼是用來衡量查詢和返回文檔的相關(guān)性, 捕獲查詢中的詞對查詢文檔的重要性, 這代表著具有更高注意力得分的文檔對應(yīng)著用戶更多的查詢意圖.

其中,Emb是詞嵌入矩陣,GRU[8]是一種改良的RNN模型.

對文檔D={d1, …,di, …,dn}中每個文檔用和查詢q同樣的方式不同的參數(shù)進行編碼, 編碼后的注意力向量為

查詢對于每個查詢文檔的注意力權(quán)重是其注意力向量的標準化點積:

根據(jù)文檔概率評分和每個查詢的注意力權(quán)重相加后經(jīng)過Softmax標準化后的值, 通過加權(quán)求和得到用戶的反饋行為分布F:

2.1.2 重構(gòu)構(gòu)造器

查詢重構(gòu)[9,10]是用戶對以前的查詢不滿意, 通過對查詢進行一系列的優(yōu)化得到滿意結(jié)果的過程. 重構(gòu)構(gòu)造器在圖嵌入的基礎(chǔ)上, 參考詞嵌入的句法和語義信息獲取方法, 構(gòu)造重構(gòu)嵌入. 從查詢?nèi)罩境霭l(fā), 結(jié)合每個查詢的特點, 提取查詢詞、URL和標題, 構(gòu)造查詢URL二部圖.

圖2具有以下特點: 第一其查詢及URL均與其附加特征相連, 第二在圖中節(jié)點和邊的類型不完全相同.考慮這些特點, 選用類似屬性異構(gòu)網(wǎng)絡(luò)[11]的方式來構(gòu)建嵌入. 首先對圖中不同類型的頂點使用不同空間的向量表示； 之后使用非線性網(wǎng)絡(luò)函數(shù)對頂點進行向量變換, 轉(zhuǎn)換到同一維度； 最后利用連接邊的鄰居頂點相似來構(gòu)造目標函數(shù).

圖2 包含標題信息的查詢-URL二部圖

基于詞嵌入的定義與圖嵌入的補充, 對于查詢qi和qi+1間 的差異可以定義為查詢重構(gòu)ri:

式中,ri可以從句法和語義兩個方面捕獲查詢間相關(guān)性, 建模查詢重構(gòu)行為.

2.2 方法層

方法層主要對嵌入層的輸出進行兩層結(jié)構(gòu)的編碼:查詢級別的編碼和會話級別的編碼； 查詢級別的編碼主要是將嵌入層的輸出映射到固定長度的向量, 會話級別的編碼主要對順序及位置敏感的信息進行編碼[12].

2.2.1 查詢級別編碼

查詢級別編碼是對用戶的查詢q使用和式(7)相同的形式與參數(shù)將其構(gòu)造為標準的嵌入向量qk. 之后將用戶查詢qk、用戶反饋Fk及 用戶重構(gòu)rk-1三個部分,將其經(jīng)過組合拼接線性變換得到用戶輸入序列X={X1, …,Xi, …,Xn} , 其中Wr為可學(xué)習到的線性變換矩陣.

2.2.2 會話級別編碼

會話級別的編碼使用Transformer[13,14]中的編碼器對輸入序列X進行編碼處理. 最終輸出的隱層向量為X={Xhidden1, …,Xhiddeni, …,XhiddenK}, 上下文向量c可以表示為編碼器隱層向量的加權(quán)和:

其中, γi為隱層權(quán)值.

2.3 輸出層

輸出層的設(shè)計思路來源于查詢推薦問題的場景描述, 其存在兩個場景: 根據(jù)查詢相似度等的候選查詢列表的排序問題和查詢生成問題； 本文根據(jù)不同的場景設(shè)計了多任務(wù)學(xué)習框架, 同時訓(xùn)練兩個不同的模塊: 查詢鑒別器和查詢生成器.

2.3.1 查詢鑒別器

查詢鑒別器的任務(wù)是評估候選查詢列表中的每個候選查詢成為符合查詢意圖的查詢的可能性.

2.3.2 查詢生成器

查詢生成器的任務(wù)是在沒有任何候選查詢的基礎(chǔ)上, 利用方法層編碼器的輸出生成查詢序列.

交叉熵被用作該層兩個模塊的損失函數(shù), 在模型訓(xùn)練和優(yōu)化過程中, 將兩個損失函數(shù)結(jié)合起來, 共同解決任務(wù).

3 實驗分析

3.1 實驗數(shù)據(jù)

本實驗的實驗數(shù)據(jù)來源于搜狗實驗室提供的搜狗搜索引擎在2006年8月中31天的查詢?nèi)罩綶15]. 查詢?nèi)罩景ú樵儠r間、用戶ID、查詢詞、該URL在結(jié)果中的排名、用戶點擊的順序號、用戶點擊的URL等信息. 運用標準的30分鐘間隔[16]劃分數(shù)據(jù)集, 將查詢分為多個會話. 而僅包含一個查詢的會話將被放棄,因為必須有先前查詢的會話作為上下文信息. 把會話中的最后一個查詢視為正確的建議. 由于網(wǎng)頁鏈接的時效性等原因無法從鏈接得到文檔的更多信息, 只能從搜狗本身提供的互聯(lián)網(wǎng)語料庫中找到鏈接對應(yīng)的標題信息, 將其作為文檔的內(nèi)容信息. 將會話隨機分為3個部分: 60%為訓(xùn)練集、30%為開發(fā)集、10%為測試集. 訓(xùn)練集訓(xùn)練神經(jīng)基線模型和我們的模型； 開發(fā)集是在訓(xùn)練集訓(xùn)練出來的模型基礎(chǔ)上進行測試, 通過測試結(jié)果不斷優(yōu)化模型； 測試集評估所有方法. 數(shù)據(jù)集的劃分結(jié)果信息如表2所示.

表2 數(shù)據(jù)集統(tǒng)計信息表

3.2 評價指標

本實驗選用MRR指標作為評價重排序結(jié)果的指標, 選用PER指標作為評估生成結(jié)果好壞的評價指標.MRR是國際上通用的對搜索算法進行評價的機制, 利用平均倒數(shù)排名來評估推薦列表返回結(jié)果的可靠性.PER代表與位置無關(guān)的錯誤率, 它基于生成的查詢和目標查詢之間的單詞覆蓋率, 代表的是忽略單詞順序?qū)⑸傻牟樵冝D(zhuǎn)換為目標查詢所需的最小單詞插入和刪除次數(shù)的長度歸一化表示.

3.3 方法對比

本實驗?zāi)康脑谟跍y試深度學(xué)習環(huán)境下的不同查詢推薦策略對推薦結(jié)果的影響, 因此在此對比以下5個模型:

MPS是一種依靠上下文中的查詢共現(xiàn)來排序查詢的最大似然方法, 其常作為深度學(xué)習方法中生成候選查詢列表的方法.

HRED是利用用戶已經(jīng)提交的查詢基于層次遞歸編碼-解碼器預(yù)測后續(xù)查詢, 進而得到候選查詢推薦序列.

ACG[17]是利用查詢感知的注意力機制增強序列到序列模型以編碼用戶查詢會話的上下文信息, 并提出了復(fù)制和生成兩種機制來確定后續(xù)推薦詞.

FMN將用戶與系統(tǒng)的交互信息加入到了模型之中, 通過用戶反饋在提供相同查詢前綴時給出符合用戶需求的查詢推薦.

RIN是利用異構(gòu)嵌入網(wǎng)絡(luò)和同態(tài)隱空間建模查詢以及查詢重構(gòu), 捕獲重構(gòu)信息對查詢推薦的影響.

3.4 實驗結(jié)果及分析

這部分將首先利用評估指標對兩類任務(wù)進行評估,之后對文章所提出的新思路及方法進行分析和討論.如表3所示為各個模型對于兩類不同任務(wù)在測試集上的結(jié)果.

表3 不同方法在鑒別式和生成式任務(wù)上的表現(xiàn)

3.4.1 基于鑒別式任務(wù)的評估

對于鑒別式任務(wù)使用MRR指標來進行評估, MRR指標越高表明推薦列表的結(jié)果越符合用戶查詢意圖.基于查詢共現(xiàn)的MPS方法僅僅根據(jù)查詢間的相似度及流行度等消息進行排序, 效果相對較差. 選取的基線模型都是深度學(xué)習模型, 主要在于深度學(xué)習模型其對于上下文的關(guān)系以及順序關(guān)系等相對而言有更好的效果. ACG由于其門控機制控制復(fù)制和生成的選擇使模型效果有所提升； FMN建模了用戶的正負反饋行為,使模型更能學(xué)習到用戶興趣相關(guān)的信息； RIN建模了用戶的查詢重構(gòu)行為, 使其對在一個會話中有多次查詢的場景有較好的效果. 本文同時建模了用戶的查詢點擊行為、檢視行為及查詢重構(gòu)行為等, 盡可能地利用了查詢?nèi)罩拘畔砟M了用戶在一次查詢過程中所面對的場景, 使模型在鑒別式任務(wù)的指標上相比之前效果最好的RIN有了7.72%的提升.

3.4.2 基于生成式任務(wù)的評估

對于生成式任務(wù)使用PER指標來進行評估, PER指標越低代表生成的查詢和目標查詢差異越小. MPS不是生成模型所以不考慮. ACG由于其門控的生成器及RIN中的查詢生成器與生成式任務(wù)相貼近, 其相比其它模型在生成式任務(wù)上有一定優(yōu)勢. 本文利用了序列到序列生成模型效果比較好的Transformer中的編碼器-解碼器結(jié)構(gòu), 在生成模型上提升了6.13%的覆蓋率.

3.4.3 分析與討論

為了進一步驗證并深入了解本文所提出的模型,本文進行了消融研究去比較所提出的關(guān)鍵技術(shù)的作用.

點擊鏈式模型的影響. 點擊模型的原理是用戶點擊行為導(dǎo)致的不同位置的文檔的不同點擊可能性. 由于反饋構(gòu)造器部分由點擊鏈式模型與注意力機制編碼構(gòu)成, 圖3展現(xiàn)了反饋構(gòu)造器不同組成對MRR性能的影響. 通過觀察可知, 同時排除點擊鏈式模型與注意力機制編碼的模型UBM(-a-c)與RIN的結(jié)果基本相同.而單獨考慮注意力機制編碼UBM(-c)僅能帶來接近2%的提升, 僅考慮點擊鏈式模型UBM(-a)的效果提升了接近5%說明在反饋構(gòu)造器中起主要作用的是點擊鏈式模型.

圖3 反饋構(gòu)造器不同組成的UBM的MRR性能

屬性異構(gòu)網(wǎng)絡(luò)的影響. 屬性異構(gòu)網(wǎng)絡(luò)的原型是查詢-URL二部圖, 其常規(guī)方法是使用隨機游走[18]或Node2Vec

等圖嵌入方法建立嵌入. 本文引入URL的標題作為輔助信息, 使圖中存在了性質(zhì)不同的邊和節(jié)點. 圖4展現(xiàn)了不同圖嵌入模型及輔助信息影響下的MRR性能影響. RIN中使用的是Node2Vec模型但其沒有考慮標題信息, 其相比添加了標題信息的模型RIN(+title)效果相差不大, 分析原因主要在于Node2Vec對于不同類型節(jié)點的關(guān)系無法正確建模, 導(dǎo)致其存在一些差錯使得整體效果提升不大. 將屬性異構(gòu)網(wǎng)絡(luò)模型嵌入作為圖嵌入模型使用時, 其不添加標題UBM(-title)的效果相比使用Node2Vec的效果提升了5%, 體現(xiàn)了屬性異構(gòu)網(wǎng)絡(luò)本身的優(yōu)越性； 而添加標題后UBM因為其附加的輔助信息與屬性異構(gòu)網(wǎng)絡(luò)的設(shè)計目的相同, 使得模型效果提升了2%.

圖4 不同網(wǎng)絡(luò)嵌入與輔助信息的UBM的MRR性能

4 總結(jié)與展望

在本文中, 我們通過建模用戶行為包括其點擊行為及查詢重構(gòu)行為, 對其查詢意圖進行了分析, 提出了一種基于用戶行為的查詢建議方法. 以用戶檢視行為和點擊行為作為基準設(shè)計了點擊模型, 從而借助注意力機制捕獲了用戶查詢與返回結(jié)果的相關(guān)性, 使得從會話內(nèi)查詢結(jié)果中可以得到更多的用戶查詢意圖信息；接著受日常生活啟發(fā), 了解到標題作為用戶第一時刻檢視的信息, 其極大的影響了用戶的查詢行為, 于是利用屬性異構(gòu)網(wǎng)絡(luò)將標題作為輔助屬性信息引入我們的模型, 并以此來構(gòu)建我們的查詢重構(gòu), 使得重構(gòu)行為更具有可解釋性； 最后利用多頭注意力機制并借助多任務(wù)學(xué)習, 使得該模型在查詢鑒別和查詢生成兩類任務(wù)中都相比于基線模型有了不同程度的提升效果. 此外,對結(jié)果的分析也證明了我們所提出的方法的有效性和魯棒性. 在未來的工作中, 我們試圖通過在不同場景中捕獲的不同輔助信息, 將其集成入我們的模型中, 觀察其是否對這類任務(wù)具有普適性.