丁 俊 戴 岳 周佳威 周震海 周仰東 石 佳

1(蘇州供電公司 江蘇 蘇州 215004)

2(蘇州電力設計研究院有限公司 江蘇 蘇州 215011)

0 引 言

互聯(lián)網(wǎng)用戶對信息的需求是多種多樣的，每天搜索引擎會產(chǎn)生成千上萬次的檢索請求，為了滿足對搜索用戶意圖的理解，往往需要對用戶的行為進行分析和分類。許多研究者聚焦于獲取檢索結果多樣性差異的研究，通過對檢索結果中信息覆蓋度和位置排名的分析，利用數(shù)據(jù)挖掘方法得到可以覆蓋用戶各種行為意圖的結果。根據(jù)用戶的最終搜索目標[1]，可以分為：信息獲取類、地理導航類和事務查詢類。同時，大部分搜索行為會伴隨著結果操作的其他行為而轉移[2]，如購物、查找Web中介服務和下載數(shù)據(jù)等。對用戶檢索意圖理解的提高，可以有效地增加網(wǎng)站和搜索引擎服務的滿意度。

目前實體詞檢索意圖理解是當前搜索研究的熱點，根據(jù)統(tǒng)計，大約70%的檢索詞串中包含了實體名[3]，至少20%～30%是單純的實體名搜索，并且實體詞搜索的結果揭示了用戶的行為意圖和實體詞之間的緊密聯(lián)系。文獻[4]通過統(tǒng)計搜索日志中實體詞和行為意圖出現(xiàn)的頻率，提出了基于貝葉斯模型來挖掘搜索日志中實體詞和檢索意圖之間關系的方法。作者從包含50個行為意圖詞的文集中，試探性進行貝葉斯推理，排除了不是反映用戶真實意圖的行為。文獻[5]利用卷積神經(jīng)網(wǎng)絡模型對搜索問句進行搜索意圖的檢測，搜索問句首先被轉化為語義向量，相似的搜索問句被投射到同一個向量空間中，將行為意圖檢測問題轉化為分類問題。利用已知的數(shù)據(jù)對模型進行訓練，并利用訓練后的模型，對實時的搜索詞進行意圖檢測。Jiang等[6]研究發(fā)現(xiàn)搜索日志中包含大量用戶意圖行為的信息，但只有很少一部分信息被研究者利用。作者對搜索日志中的檢索分組、共享鏈接、搜索時間和相似搜索類等各種隱含信息進行系統(tǒng)分析，提出利用四種不同的方式探尋搜索意圖的方法、基于搜索結果框架、基于搜索主題框架和基于查詢日志潛在主題的方法，使傳統(tǒng)方法可以在多維度進行行為意圖的挖掘。Hu等[7]利用維基百科的文章和搜索點擊日志來理解搜索者的行為意圖。將實體搜索詞及其在維基百科搜索得到的結果建立一個對應關系集，并利用對應關系集來訓練搜索意圖分類模型。提取第一位的搜索結果標題作為檢索實體的類別區(qū)分標志，將第二位和第三位的檢索結果標題作為擴展項，通過用戶點擊日志來找到搜索實體詞與鏈接項的對應關系，并對關系進行分類，來確定用戶的行為意圖。

本文提出一種新的基于實體檢索詞的用戶行為意圖挖掘方法，在開放域中抽取與實體名詞相關的、任何個體或行為主體在任何時刻可能發(fā)生的行為樣本，構建潛在的用戶行為樣本池，并通過對行為樣本在文法和語義層的顯著性、代表性和多樣性特征分析，生成用戶潛在行為意圖排序。

在文法表達上，本文將用戶行為拆分成行為動詞和修飾短語兩個部分，利用前述的三個指標，分別對代表行為的動詞和修飾動詞的短語排序，通過迭代的方式最終生成用戶潛在行為意圖的列表。在行為樣本迭代過程中，顯著性指標用于衡量樣本池中待選行為樣本的使用頻率和用例頻率，即常見且用例獨特的待選行為具有更高的顯著性；代表性指標用于衡量樣本池所代表的語義空間中待選行為樣本的密集程度，即與更多待選樣本有相近語義的行為具有更高的代表性；多樣性指標用于衡量樣本池中待選行為與已選用戶行為在語義空間中的距離，即語義上差異性更大的行為具有更高的多樣性。此方法通過迭代從樣本池中選取三項指標之和最大的樣本，并將其移至已選行為列表末尾，最終生成代表用戶潛在行為意圖的排序列表。

1 行為意圖相關內容

1.1 行為意圖相關定義

(1) 已知一個搜索實體e，行為意圖挖掘算法需要為提交搜索實體e的用戶生成一個后序可能行為的排序列表A，這個過程稱為行為意圖挖掘。

(2) 搜索實體e是現(xiàn)實中存在事物的文本表示，則搜索實體定義為在搜索查詢中提交的實體。

(3) 對給定的實體檢索詞e，其行為意圖列表A是一個可能行為的排序表，可以表示為A=(a1,a2,…，an)。A包含了可以指導搜索用戶對搜索實體e相關操作的潛在信息。

(4)an是一個行為意圖樣本，其包含了一個動詞部分v和一個可選擇的修飾體o,v代表可以執(zhí)行的行為，o代表可修改的行為意圖，也就是行為意圖的變化軌跡。

(5) 搜索實體e的行為池D是基于網(wǎng)絡文本的上下文關聯(lián)性或者與查詢實體e主題相關聯(lián)詞語集合，是一個包含了大量搜索實體可能行為的排序列表。

行為池D是由各種在線搜索結果組成的，查詢實體e的候選可能行為a是從行為池D中按照一定規(guī)則和方法抽取而來。上下文約束條件是指一個行為樣本a要和搜索實體e出現(xiàn)在同一個句子內作為先決條件，同時還要滿足這個行為是出現(xiàn)在基于實體主題e的網(wǎng)絡文本中。

1.2 行為樣本池構建

一般要為查詢實體e構建一個行為樣本池D,本文使用基于多種外部資源的搜索策略。社交網(wǎng)絡服務推特(Twitter)網(wǎng)絡中有大量的活躍用戶，同時實時更新和匯聚大量的信息。之前的研究[8-10]認為Twitter是探索用戶需求的重要而有效的資源之一。

為了查詢和獲取實體e相關的推文，本文提出了四種搜索策略：① 推特歷史推文檢索策略(Q)，利用推特搜索應用(API)對檢索實體e進行歷史推文的檢索，得到與實體e相關聯(lián)的1 500頁推文，實體e作為這些推文中的一個關鍵詞，與推特文章的上下文內容有非常緊密關聯(lián)。② 隨機推文檢索策略(S)，利用推特實時檢索應用，通過對所獲得推文的統(tǒng)計和分析，實體e以不同的方式出現(xiàn)在推文中，但同時也伴有大量的干擾詞語。這種現(xiàn)象出現(xiàn)的原因是因為沒有一種對推特用戶進行評估的方法，從而使大量廣告推廣賬號的推文被檢索到，推文的內容和實體e不具備上下文關聯(lián)。例如推文“和外教一起旅游，讓外語學習更得心應手”，這里希望關聯(lián)的詞語是外語學習，但整句卻是一個旅游的廣告。③ 挖掘實體行為樣本的策略(U)，利用推特作者搜索引擎去搜尋和實體e最有關聯(lián)的1 000名作者，然后利用時間約束條件去找到這些作者最新發(fā)布的推文，推文的內容可能不含有實體e，但作者的興趣和關注點往往和實體e有密切的聯(lián)系。例如，推文“有人發(fā)表一些好玩的英語句子嗎”來自于一位外語學習愛好者，很顯然句子和外語學習實體有相關性。綜上所述，制定挖掘實體行為樣本的策略需要用整體觀的視角去對待。④ 除了利用推特的資源外，本文也考慮利用互聯(lián)網(wǎng)作為外部拓展行為樣本的來源，提出了基于谷歌搜索的策略(G)。與推特的推文相比，互聯(lián)網(wǎng)檢索到的內容更全面，同時局部內容和實體e之間的相關性也更高。谷歌檢索到的行為樣本很少會關聯(lián)到內容的作者本身，但會反饋一些搜索建議和對檢索內容的作者介紹。

2 行為意圖挖掘模型

對給定的實體檢索詞，模型可分析檢索用戶的潛在行為并根據(jù)行為的顯著性、代表性和多樣性生成行為意圖排序列表A。模型分為行為樣本池構建和行為意圖挖掘兩部分。

針對給定的實體檢索詞e，本文提出兩種基于外部資源構建行為樣本池D方法。1) 在如Twitter這樣的社交網(wǎng)絡中存在大量活躍用戶，由這些用戶發(fā)送的實時信息可作為構建行為樣本池的重要外部資源。對于實體檢索詞e，利用Twitter Search API提取前1 500篇包含實體e推文，在句法解析的基礎上提取推文中的行為動詞和修飾短語，構建行為樣本池D(U)。本文利用Twitter Streaming API從數(shù)據(jù)流中隨機提取包含實體e的推文，并以類似的方式提取行為動詞和修飾短語，構建樣本池D(S)、D(Q)。2) 傳統(tǒng)社交網(wǎng)絡的互聯(lián)網(wǎng)存在數(shù)量更加龐大、內容更普遍的文本信息，這些信息可以作為構建用戶行為樣本池的另一重要外部資源。本文利用Google搜索提取與實體檢索詞e關聯(lián)度最高的文檔，并從所有包含檢索詞e的句子中提取行為動詞和修飾短語，構建行為樣本池D(G)。

通過對比研究，發(fā)現(xiàn)利用Twitter Search API提取的行為樣本與實體檢索詞之間存在緊密的語義和邏輯關聯(lián)；而利用Twitter Streaming API提取的行為樣本與實體檢索詞之間的關系則更為復雜，且存在不同程度的噪聲；利用Google搜索提取的行為樣本與實體檢索詞間存在更明顯上下文關聯(lián)或主題關聯(lián)，包含更多對用戶的建議和指導行為，而這些行為同樣是用戶意圖分析的重要組成部分。

行為意圖挖掘是通過對行為樣本的顯著性、代表性和多樣性分析，以迭代的方式從行為樣本池中選取出與實體檢索詞關聯(lián)程度最高的若干用戶潛在行為意圖。行為意圖的文本表述包含行為動詞和修飾短語兩個部分，提案方法首先從樣本池中提取行為動詞，然后為每個行為動詞從樣本池中提取修飾短語，最終組成代表用戶潛在行為意圖的結果列表。

行為動詞的選取指標包括前述的顯著性、代表性和多樣性三個方面。具體地說，行為動詞v顯著性φ(v)由樣本池中v的使用頻率μ(v)和用例頻率σ(v)決定，即：

φ(v)=μ(v)/σ(v)

(1)

使用頻率可以表示為動詞v的使用頻次占樣本池中所有動詞使用頻次之和的比率，即：

μ(v)=c(v)/∑v′∈V(D)c(v′)

(2)

用例頻率可以表示為動詞v的用例數(shù)占樣本池中所有用例的對數(shù)比率，即:

σ(v)=log|D(v)|/|D|

(3)

一般情況下動詞在樣本池中的使用頻率越高表示其代表的行為在潛在的用戶行為列表中越常出現(xiàn)，而動詞在樣本池中的用例頻率越低則表示其代表的行為更具獨特性。因此，提案方法利用顯著性指標，通過衡量動詞和使用頻率和用例頻率，可以從樣本池中選取出用戶常用且有特定含義的行為動詞。

2.1 行為動詞選擇

行為動詞v的代表性φ(v)由樣本池所代表的語義空間中其所在區(qū)域的密集程度決定，即:

φ(v)=∑v′∈V(D)ε(v,v′)/|V(D)|

(4)

式中：ε(v,v′)表示目標行為動詞v與樣本池中任意行為動詞v′在多維語義空間s中的余弦相似度。

(5)

式中：i是語義空間的維度下標；|V(D)|是代表性指標的歸一化參數(shù)。

一般情況下動詞在樣本池所代表的語義空間中有更多與之相近的其他動詞，即其所在區(qū)域的密集度更高，則表示該動詞包含的語義信息具有更高的適用程度，而從另一層面表示該動詞屬于異常樣本的概率更低。在行為意圖挖掘的方案中，選取適用度更高的動詞而避免異常樣本是提高結果有效性的重要方法。

行為動詞v的多樣性由其與迭代過程中已選動詞在語義空間中的最短距離決定，即：

ψ(v)=minv′∈V(A)-ε(v,v′)

(6)

式中：V(A)表示在迭代過程已經(jīng)選擇的動詞集合;-ε(v,v′)表示目標行為動詞v與已選動詞v′在語義空間中的距離。迭代初始V(A)為空，所有行為動詞的多樣性指標均為0.0。

一般而言，目標行為動詞與已選動詞集合中任何一個的距離足夠大，即最短距離足夠大，則表示該動詞包含的語義與已選動詞的語義重疊程度更低，從而避免迭代過程中選取含義相近的動詞，提高結果的豐富程度。

圖1-圖3分別顯示了來自NTCIR-13測試數(shù)據(jù)集中的候選實體詞hair coloring顯著性、代表性和多樣性評價標準的行為樣本池的定量可視化結果,其中評分較高的詞,在圖的圓周中占據(jù)的長度更大,同時也離中心點越近。在顯著性評價中，靠近圓周的have、watch等動詞代表著用戶在搜索hair coloring這個詞時極大可能關聯(lián)的動詞行為。

圖1 “hair coloring”顯著性標準的候選詞可視化

圖2 “hair coloring”多樣性標準的候選詞可視化

圖3 “hair coloring”代表性標準的候選詞可視化

算法1描述了行為動詞v在行為池D中生成一個排序列表的算法。在迭代挖掘之前，將行為池D中的所有行為候選動詞導入到一個預制的集合U中，再初始化一個空的排序列表V，算法每次反復選擇動詞樣本v，通過引入默認的權重參數(shù)λ1和λ2，對重要性、多樣性和代表性三方面評價值求和。根據(jù)最終的評價度得分，按照得分值的大小，將預置集合U中的行為動詞樣本v添加到排序列表V中，最終得到動詞v的排序列表V。

算法1生成行為動詞排序列表的挖掘算法

U={v|v∈D}；

V=?；

fori=1 toi≤ndo

forv∈Udo

S(v)=λ1s(v)+λ2r(v)+d(v)；

end for

v=argmaxS(v)；

//選擇最大值動詞

將行為動詞v從集合U中轉移到排序列表V中；

end for

returnV

2.2 修飾短語選擇

在選取行為動詞結果的基礎上，本文從樣本池中為每個行為動詞提取滿足代表性和多樣性指標的修飾短語。具體地，對于已選行為動詞v，目標短語o的代表性φ(o)由其與樣本池中所有與動詞v構成修飾關系的短語語義的相似度平均決定，即：

(7)

式中：ε(o,o′)表示目標修飾短語與樣本池中其他修飾短語o′在多維語義空間中的余弦相似度，短語的語義向量由組成單詞的語義向量之和表示，|O(D,v)|是代表性指標的歸一化參數(shù)。

目標短語o的多樣性由其與迭代過程中已選修飾短語在語義空間中的最短距離決定，即:

ψ(o)=mino′∈O(A,v)-ε(o,o′)

(8)

式中：O(A,v)表示在迭代過程中已經(jīng)選擇的動詞修飾短語集合；-ε(o,o′)表示目標短語o與已選修飾短語o′在語義空間中的距離。迭代初始O(A,v)為空，所有修飾短語的多樣性指標均為0.0。與行為動詞類似，代表性和多樣性指標在選取動詞的修飾短語過程中保證了用戶行為意圖挖掘結果的有效性和豐富性。

算法2描述了生成一個排序候選語列表O的過程。首先從行為池D中提取v的所有候選修飾短語并構造一個修飾語集M，將修飾語的代表性和多樣性作為給定候選修飾語的評價標準。根據(jù)兩方面評價標準的優(yōu)先度進行量化得分。在兩方面評價得分總和最高的候選修飾語被選為最有可能修飾語，并從候選修飾語集M中提取出，導入到目標修飾語集O中。

算法2生成修飾語排序列表的挖掘算法

N={o|o∈D(v)}；

O=?；

fori=1 toi≤mdo

foro∈Mdo

S(o)=λr(o)+d(o)；

end for

o=argmaxS(o)；

//選擇最大值修飾語

將修飾語o從集合M中轉移到排序列表O中；

end for

returnO

3 實驗與結果分析

3.1 數(shù)據(jù)與搜索策略

本文的實驗數(shù)據(jù)以NTCIR-13的AKG評測數(shù)據(jù)為基礎，分為訓練集和測試集兩部分，分別包含了100和300個種類不同的實體檢索單詞, 在整個行為意圖挖掘數(shù)據(jù)庫中有68種類型的實體。首先利用訓練數(shù)據(jù)集評估不同的搜索策略在生成行為意圖的有效性，即利用Twitter搜索API的(Q)策略、Twitter實時搜索API的(S)策略、Twitter用戶時間軸搜索API的(U)策略和谷歌搜索引擎的(G)策略去生成一個單獨不同的行為池。在此基礎上，利用行為意圖挖掘算法生成對應的行為意圖排序列表A(Q)、A(S)、A(U)和A(G)。從訓練數(shù)據(jù)中隨機選擇20個實體，抽取每個實體產(chǎn)生的行為意圖排序列表的前10位行為，現(xiàn)實中選擇7名評價人員,去人工評估這些行為的可信度并賦予一個可信度數(shù)值。其中分值0.0表示完全不包含行為意圖，分值1.0表示有部分是行為意圖，而分值2.0表示覆蓋了全部的行為意圖。本文計算每種搜索策略得分的平均值，谷歌搜索策略(G)得到1.048 6的平均分,表明其搜索結果包含大多數(shù)的行為意圖，推特搜索(Q)策略和推特人物搜索(U)策略分別得到平均得分為0.941 6和0.874 1，表明其含有部分的行為意圖，而推特實時搜索(S)策略得到的行為意圖最少，其平均值均值只有0.511 2，主要原因是廣告噪聲的影響。通過之前的研究表明，不同的搜索策略可以得到不同特征屬性的文檔結果。為了滿足用戶多樣化的需求，本文進一步將多個行為池組合在一起，以豐富行為意圖挖掘的結果。利用訓練數(shù)據(jù)集對同一個選擇模型進行測試，結果表明搜索組合策略(GQ)、(QG)和(QUG)比其他搜索策略組合或者其他單一搜索策略得到更高的平均值。在正式的測試實驗中，也遵循這種搜索組合策略方式。

3.2 評價方法

實驗為每個實體檢索詞生成至多10個行為動詞，并為每個行為動詞生成不超過5個修飾短語，并依照顯著性、代表性和多樣性指標之和對所有潛在用戶行為意圖排序。實驗采用nERR(normalised Expected Reciprocal Rank)和nDCG(normalized Discounted Cumulative Gain)兩個指標分別衡量行為意圖排序的有效性和用戶對排序結果的整體滿意度。

具體而言，nERR表示歸一化的排名倒數(shù)期望，通常用檢索結果的前k項來衡量，并記作nERR@k。具體的計算公式如下：

nERR@k=ERR@k/idealERR@k

(9)

式中：ERR@k表示用戶要求的結果在檢索結果首次出現(xiàn)的排名倒數(shù)的期望。

(10)

式中：pi是排名第i的檢索結果滿足用戶要求的概率；1-pj是排名第j的檢索結果不滿足用戶要求的概率；1/i是結果首次出現(xiàn)的排名倒數(shù)。ERR@k的數(shù)值取決于首次滿足用戶要求的結果排名，該排名越靠前則ERR@k的數(shù)值越大。idealERR@k表示ERR@k的最大值，用于nERR@k的歸一化。

nDCG表示歸一化的折扣累積增益，同樣適用檢索結果的前k項來衡量，并記作nDCG@k。具體的計算公式如下：

nDCG@k=DCG@k/idealDCG@k

(11)

式中：DCG@k前k項排序結果的質量。

(12)

式中：ri是用戶對排名第i的檢索結果打分；2ri-1是第i個檢索的增益數(shù)值；log2(i+1)是對排名靠后結果的折扣。將所有折扣增益累加后，用最優(yōu)的idealDCG@k數(shù)值對其歸一化，即得到nDCG@k。

3.3 實驗結果與分析

按照NTCIR-13的AM任務[11]，將結果與其他組的結果進行比較，即TLAB和ORG。具體來說,TLAB方式[12]是以概率模型的原理從多個數(shù)據(jù)源獲取最大概率的行為樣本實例作為實體搜索詞的行為意圖動詞。ORG方式利用兩個不同的參數(shù)，在Yahoo Webscope (L4-L9)數(shù)據(jù)集和Quora問答數(shù)據(jù)集進行搜索。

TUA1-0、TUA1-1和TUA1-2代表AM任務2017中已提交的基于搜索組合策略(GQ)、(QG)和(QUG)的結果，INTE代表本文基于(QG)搜索策略實驗的結果，并且在實驗中引入權重參數(shù)λ1=0.05、λ2=0.6和λ=0.6。其中取γ1值偏小是為了控制動詞挖掘算法結果中常用動詞的出現(xiàn)，如get和do等。而適當?shù)販p小γ2和λ值，可以增加挖掘算法中行為意圖的多樣性。

圖4和圖5表示基于nERR@10和nDCG@10評價標準下行為動詞挖掘實驗的所有對比結果，評價對象為排序在前10位的行為動詞。在圖4中，INTE組在nERR@10的最高評價值是0.794 8,最低的值是0.624,均高于其他組的結果。在圖5中,nDCG@10的結果顯示行為動詞排序ORG-1組具有更好的表現(xiàn)，INTE組在最小值上有較好的表現(xiàn),這表明在有難度的實體詞搜索挖掘中,通過利用組合搜索策略和選擇適當?shù)臋嘀貐?shù)γ_1和γ_2可以適當提高意圖動詞挖掘的有效性和用戶對意圖動詞排序的滿意度。

圖4 基于ERR@10的行為動詞挖掘結果

圖5 基于nDCG@10的行為動詞挖掘結果

圖6-圖7表示nERR@10和nDCG@10評價下行為意圖挖掘的對比結果，評價對象為排序在前10位的行為動詞和修飾語組合。修飾語在擴充行為意圖語義的同時提高了結果空間的復雜度，而每個動詞對應一個或多個修飾語，其評價結果相比于行為動詞在語義上具有更準確的衡量。其中INTE組在nERR@10平均值上優(yōu)于其他組，達到了0.617 3，在nDCG@10平均值上得到了0.604 5。nERR@10和nDCG@10評價結果表明，模型對語義更加豐富的行為意圖挖掘表現(xiàn)出更好的穩(wěn)定性。

圖6 基于ERR@10的行為意圖挖掘結果

圖7 基于nDCG@10的行為意圖挖掘結果

3.4 中文搜索服務應用

中文的命名實體與行為意圖在語法表現(xiàn)和語義表達層面的關系與英文中的關系有很多相似之處，都存在查詢詞串本身比較短、特征稀疏、可用信息有限、準確理解用戶意圖比較困難、同一查詢詞串不同的用戶也有不同的搜索意圖等問題。

本文方法基于現(xiàn)有搜索引擎資源提高用戶的搜索效率，實現(xiàn)一種能彌補現(xiàn)有系統(tǒng)不足的方法。例如，利用中文最大社交網(wǎng)絡平臺新浪微博，根據(jù)微博用戶的畫像標簽，按照從事的職業(yè)或者愛好興趣對用戶進行分類，針對每一類的用戶，利用其歷史上轉載和原創(chuàng)微博的內容以及歷史搜索詞記錄，對搜索日志信息進行有效的處理和提取，來構建這一類用戶的搜索詞行為意圖樣本池。再通過顯著性、多樣性和代表性三方面評價標準，挖掘出特定分類用戶的搜索詞行為意圖排序列表，這樣能更精準地為網(wǎng)站搜索用戶服務。

4 結 語

本文提出一種基于實體行為間語義關聯(lián)分析的用戶行為意圖挖掘方法。通過實體檢索詞構建以社交網(wǎng)絡用戶發(fā)布的實時信息以及傳統(tǒng)互聯(lián)網(wǎng)中大量豐富信息作為資源的用戶行為樣本池，進而在對樣本池中潛在行為動詞及修飾短語與實體檢索詞語義關聯(lián)程度的排序算法中提出以詞頻統(tǒng)計和語義空間表示為基礎的行為樣本的顯著性、代表性和多樣性指標，以迭代的方式實現(xiàn)對用戶行為意圖的挖掘。實驗結果表明，提案方法可以準確地提取豐富且有效的用戶行為意圖，行為意圖排序的nERR和nDCG指標較NTCIR-13 AKG評測的最優(yōu)結果有顯著提升。