霍曉駿,賀 樑,楊 燕

(華東師范大學信息科學與技術學院,上海 200241)

1 概述

進入21 世紀,計算機的發(fā)展引發(fā)了電子商務的興起。企業(yè)家通過展示在搜索引擎頁面?zhèn)冗厵诘膹V告來為自己的商品做宣傳,這種方式為廣告發(fā)布者帶來數(shù)以億計的收益[1-2]。Google 和Yahoo 都憑借廣告展示系統(tǒng)獲得了巨大的利潤,這樣的利潤僅來自于用戶對廣告的點擊。一個好的廣告推薦系統(tǒng),能為商家?guī)硪庀氩坏降氖斋@。

廣告推薦系統(tǒng)會在網(wǎng)頁的側邊欄展示多個廣告,吸引用戶點擊。一個廣告有時會多次展示在同個網(wǎng)頁上,有時會展示在不同頁面的不同位置,由此可以計算出一個廣告在一個頁面上的點擊率(Clickthrough Rate,CTR)。如何預測CTR 以及利用CTR來正確推薦廣告是目前研究的熱點。文獻[3]按照基于用戶協(xié)同過濾的思想,根據(jù)CTR 的特點,通過找到與待推薦頁面相似的頁面,為頁面進行來自鄰居的推薦。這類方法存在的問題是,點擊率的高低并不能完全等同于這個廣告與展示它的網(wǎng)頁的相關性,例如某些廣告由于展示位置靠上,從而點擊率較高,但是相關性不高。用戶是否點擊廣告,則是由相關性決定的。因此將點擊率“代替”相關性直接用于協(xié)同推薦系統(tǒng)是值得斟酌的。

文獻[3]將點擊率等同于相關性,從而使得廣告排布不合理,導致用戶對廣告的點擊量下降。為了解決這個問題,文獻[4-5]提出位置模型和級聯(lián)模型,衡量了點擊率、位置影響、相關性三者之間的關系,但是卻各有所短。比如在位置模型中,位置影響通過實驗,如眼球追蹤的實驗和用戶習慣問卷得到,需要耗費大量的人力物力,不適用于商業(yè)系統(tǒng),因此難以推廣。

為彌補這些方法的不足,本文將重點對文獻[3]方法進行改進,考慮位置偏見帶來的影響,提出NPBCF(No Position Bias Collaborative Filtering)方法,利用頁面-廣告相關性來代替點擊率,通過構造貝葉斯公式,合理地解釋點擊率、相關性之間的關系。與傳統(tǒng)方法相比,所有數(shù)據(jù)僅來自于對點擊日志的分析,而無需另行收集。排除歷史數(shù)據(jù)中位置的影響,提取不帶位置偏見的頁面-廣告相關性,將這樣的數(shù)據(jù)用于協(xié)同推薦,能夠獲得更準確的推薦效果。

2 相關工作

為了推薦廣告,無論是預測點擊率,或者是計算頁面與廣告的相關性,均有2 個研究方向：(1)基于模型的算法,建立特征模型預測點擊率；(2)基于鄰域的協(xié)同過濾算法,利用頁面對廣告的相關性,找到頁面或者廣告的相似鄰居,根據(jù)相似鄰居的廣告點擊率將合適的廣告刊登在合適的頁面上。對于這種算法,早期的學者并沒有考慮位置可能帶來的偏見,下文將介紹對位置偏見的相關研究。

2.1 基于模型的機器學習

機器學習可以預測點擊率。通過建立特征模型,從數(shù)據(jù)中提取各種附加特征,如廣告文字內容,甚至廣告顏色、大小等[2],然后統(tǒng)計這些特征下廣告的點擊率,由此,當輸入一些條件時,能夠智能地推斷出這些特征條件對廣告點擊的影響。KDD Cup 2012 中的任務2[6]是對廣告點擊次數(shù)的預測,該比賽提供了豐富的數(shù)據(jù),不僅有最基本的頁面id、廣告id,同時還有廣告的相關屬性,如廣告商、關鍵詞、點擊用戶等。比賽的優(yōu)勝者[6]將這些內容作為機器學習的特征,通過給定的訓練數(shù)據(jù),構建點擊率預測模型。但是對于廣告推薦而言,機器學習的可解釋性差,很難向用戶解釋是出于什么原因為用戶推薦這個廣告,特別是很多用來訓練的特征有時往往會被用戶視為隱私,不愿意被廣告推薦系統(tǒng)提取建模。

2.2 協(xié)同過濾廣告推薦

傳統(tǒng)的協(xié)同推薦系統(tǒng)[7]只使用了用戶的購買記錄,推薦流程盡量少地涉及用戶隱私。文獻[8]對比了協(xié)同過濾中的各種模型,瀏覽模型(UBM)、矩陣分解模型(MFCM)、個性化模型(PCM)并提出獨創(chuàng)的混合個性化模型(HPCM),其創(chuàng)新點在于,將原有的用戶-產(chǎn)品二維矩陣,擴展為用戶、頁面、文檔三維空間,通過張量分解的方式,在這個立方數(shù)據(jù)上計算相似度,進行鄰居推薦。

文獻[3]將協(xié)同過濾應用到廣告推薦系統(tǒng)中。一般的協(xié)同推薦系統(tǒng)是一個向用戶推薦產(chǎn)品的系統(tǒng),當協(xié)同過濾被應用到廣告推薦系統(tǒng)中時,把頁面看成“用戶”,把廣告看成“產(chǎn)品”,把某個頁面中某個廣告的點擊率(CTR)看成是“用戶對產(chǎn)品的評分”,為待推薦頁面找到“行為上”與其相似的頁面,將在這些相似頁面上刊登過的并且CTR 較高的廣告刊登在待推薦頁面中。與基于用戶的協(xié)同推薦相似,用戶可能會接受來自于相似用戶的推薦,那么在廣告推薦場景下,在待推薦頁面上刊登相似頁面的廣告也可能取得較高的點擊率。

但是這種方法存在一個問題,在基于用戶的協(xié)同過濾中,用戶對產(chǎn)品的評分單純地表示了用戶對產(chǎn)品的喜好程度,不受其他因素的影響。相似的用戶有著相似的喜好,來自相似用戶的推薦確實是能夠被待推薦用戶接受。但在廣告推薦中,CTR 不僅表示頁面與廣告的相關程度,同時也受到廣告刊登位置的影響。某些廣告CTR 高,并不說明這個廣告和刊登它的頁面很相關,可能僅僅是因為它的展示位置靠上才吸引了用戶的點擊。如果待推薦頁面刊登了一個并不相關的廣告,就無法吸引用戶的注意,從而成為一次無用的展示。因此,需要從CTR 中分析出“頁面-廣告相關性”,正確地看待位置對CTR、相關性產(chǎn)生的影響,這樣才能獲得更準確的推薦結果。

2.3 廣告推薦中位置的相關研究

2.3.1 位置模型

Hotchkiss 等人[9]發(fā)現(xiàn)了位置對文檔的點擊產(chǎn)生了重大影響。搜索引擎為用戶提交的查詢返回一個結果頁面,其中包含許多查詢結果鏈接以及廣告鏈接,這些鏈接從上至下地排列。文獻[9]將這些鏈接重新排序后展示,統(tǒng)計每個鏈接的點擊率。最終發(fā)現(xiàn),無論這些鏈接如何排序,位置越靠后的鏈接CTR越小。在廣告推薦系統(tǒng)中,也有類似的現(xiàn)象。例如文獻[4]中,作者統(tǒng)計了各位置的廣告點擊數(shù)量,發(fā)現(xiàn)最靠上位置的廣告被點擊的最多。于是,文獻[4]通過貝葉斯公式,將位置看成是一種影響點擊率的條件因素,將點擊率描述為條件概率的形式：

將頁面-廣告點擊率看成是頁面-廣告相關性p(click|ad,seen)和位置因素p(seen|pos)的共同影響,將廣告位置作為一種單獨作用的因素分離出來,強調“廣告在某個位置被看見”這一事件發(fā)生的概率。

2.3.2 級聯(lián)模型

另一種被稱為級聯(lián)模型的廣告點擊率預測方法受到文獻[9]發(fā)現(xiàn)的另一個結果的啟發(fā)。文獻[9]跟蹤用戶在瀏覽網(wǎng)頁時的用戶眼球定位,發(fā)現(xiàn)用戶普遍地瀏覽順序是從上到下,于是Kempe 等人[5]將用戶點擊看成伯努利事件,認為只有當上一個位置的文檔沒有被點擊時,下一個位置的文檔才有可能被點擊。

其中,rai表示廣告ai在頁面q的位置i下被點擊的概率；qai代表廣告ai被認為與頁面q相關的概率；Ci代表拒絕概率；qai代表廣告ai不被認為與頁面q相關的概率；位置因素是通過拒絕概率Ci的連乘實現(xiàn)的。

位置模型和級聯(lián)模型表示了位置因素、點擊率、相關性三者之間的關系,它們都表現(xiàn)出了位置對點擊率的影響。本文工作受到位置模型的啟發(fā),在此基礎上,利用貝葉斯定理推導頁面和廣告的相關性,然后使用協(xié)同過濾的方法,估計頁面和廣告的相關性,形成推薦列表。

除了基于用戶的協(xié)同過濾可以用于廣告推薦,基于模型的協(xié)同過濾[10]也可以用于廣告推薦[6]。另外,文獻[11]也是利用位置模型預測點擊率的一種變體,文獻[12]詳細解析了廣告競拍的原理,文獻[13]則是針對廣告拍賣設計的競拍模型。

3 NPBCF 廣告推薦算法

3.1 級聯(lián)模型和位置模型的弊端

級聯(lián)模型和位置模型作為廣告位置研究的一項重大發(fā)現(xiàn),具有重大影響。為了方便地構建問題模型,研究者們盡量地把問題簡單化,但往往留下了一些弊端。例如在早期的級聯(lián)模型中,只考慮了一次點擊的情況,而用戶先后點擊多個廣告的情況則不予考慮,這是不合邏輯的。后來學者也做了許多改進,使級聯(lián)模型更加符合實際情況,但是卻導致模型極度復雜化,使得實際應用難以實現(xiàn)。

關于位置模型的問題,同樣在于實際應用難實現(xiàn)。按照模型的意義,對于p(seen|pos)這項,表示“某個位置的廣告會被看見的概率”,這個概率一般是很難準確測量得到的。雖然文獻[9]研究了人類的閱讀習慣,可以統(tǒng)計各位置被用戶查看的概率,但該文專門構造了一個實驗環(huán)境,利用精細的攝像機來捕捉人類眼球運動,由此才能得到這些概率。在真實的應用場景下,一般民用攝像頭難以勝任采集數(shù)據(jù)的要求,同時還將要面對侵犯隱私的問題。

3.2 排除位置偏見的頁面-廣告相關性計算方法

當需要計算某個廣告ai在某個頁面qj的相關性時,可以用這個廣告ai和這個頁面qj之間的點擊率p(ai,qi)來衡量相關性,點擊率越大,說明頁面qj和廣告ai越相關。此時：

其中,p(ai|qj)可以認為是廣告ai和頁面qj的相關性；p(qj)可以認為是頁面的吸引作用。通過文獻[4-5]可知,位置因素使得一些廣告雖然和刊登它的頁面有著很高的相關性,點擊率卻出奇的低。點擊率是相關性和位置因素共同作用的產(chǎn)物。如果用p(ai|qj)表示頁面qj和廣告ai的相關性,那么點擊率應該表示為p(ai|qj,pk),其中,pk表示位置。這時不能使用上式來計算相關性,因為p(ai,qj)是無法被統(tǒng)計的,它受到了位置的影響,只能統(tǒng)計例如p(ai,qj,pk)這樣的概率,于是問題轉化成如何用p(ai,qj,pk)來表示p(ai|qj)。

在考慮廣告ai、頁面qj、位置pk三者獨立的情況下,有：

其中,p(ai|pk)和p(ai)并沒有特別的意義,只是為了平衡等式而已。如果位置總共有N種,那么根據(jù)貝葉斯定理,有：

其中,p(ai,qj,pk)代表出現(xiàn)在頁面qj的位置pk的廣告ai的點擊率；p(qj,pk)代表頁面qj的位置pk的所有廣告點擊率；p(ai,pk)代表出現(xiàn)在位置pk的廣告ai的點擊率；p(pk)表示出現(xiàn)在位置pk的所有廣告的點擊率；p(ai)代表廣告ai的點擊率,這些點擊率數(shù)據(jù)都可以通過統(tǒng)計日志信息得到。

為了更加突出位置對點擊率造成的影響,本文人為地修改頁面-廣告相關性。當一個廣告在一個頁面的位置2 處被點擊,令這個頁面-廣告相關性為上式計算結果的1.2 倍,當廣告在頁面的位置3 處被點擊,令這個頁面-廣告相關性為上式計算結果的1.5 倍。一個廣告如果能吸引用戶在不起眼的地方去點擊它,可想而知這個廣告與刊登它的頁面非常相似,以至于克服了不利位置帶來的不利影響。

3.3 NPBCF 廣告推薦流程

根據(jù)式(5)能夠得到有點擊記錄的廣告和頁面之間的相關性,當需要對沒有記錄的頁面-廣告估計相關性時,可以將問題看作協(xié)同過濾。利用協(xié)同過濾中基于鄰居的方法來預測相關性,同第2 節(jié)介紹的利用協(xié)同過濾預測點擊率的方法一樣,在本文方法中,將頁面看成待推薦的用戶,將廣告看成用來推薦的產(chǎn)品,將頁面-廣告相關性看成是用戶對產(chǎn)品的評分。

與傳統(tǒng)的基于用戶的協(xié)同過濾類似,NPBCF 算法的推薦結果來自于用戶的鄰居,即相似的頁面。待推薦頁面的某個鄰居頁面刊登了一些沒有在待推薦頁面上刊登過,并且在鄰居頁面上被點擊過的廣告,如果將這些廣告刊登在待推薦頁面上,很可能就會被點擊。原因在于這個頁面和它的鄰居在點擊行為上是存在相似性的,這種相似性使得它們對同個廣告的相關性也是相近的,如果鄰居頁面與這個廣告的相關程度足以導致被點擊,那么相似頁面與這個廣告的相關程度也可能導致這個廣告在待推薦頁面上被點擊。

首先需要衡量用戶之間的關系,就是要度量不同頁面之間的相似度。如果2 個頁面具有相似的歷史點擊行為,可以認為這2 個頁面是相似的鄰居。相似的歷史點擊行為,不僅指在這2 個頁面上有許多相同的廣告被點擊過,而且2 個頁面對同個廣告的相關性數(shù)值上也要接近。具體而言,根據(jù)相關性構建頁面向量,使用調整余弦相似度相似計算每個頁面之間的相似度[3]：

其中,px為p(ai|qx)；py為p(ai|qy) -；s(qx,qy)表示刊登在頁面qx和頁面qy上的廣告ai集合。

根據(jù)找到相似的頁面進行鄰居推薦,可以利用待推薦頁面與其鄰居的關系以及鄰居對某個廣告的相關性推導待推薦頁面對這個廣告的相關性。如果待推薦頁面與某個鄰居特別相似,那么這個鄰居對某個廣告的相關性將在很大程度上影響待推薦頁面對這個廣告的相關性,具體來說[3]：

其中,QK(qx)表示頁面qx的K個鄰居頁面集合；qy是其中的元素,表示每個相似鄰居頁面,簡單來說是一個加權求和的過程,待推薦頁面綜合考慮了它的鄰居們對某個廣告的看法后,根據(jù)自己與鄰居的差距預估了自己對這個廣告的看法。

根據(jù)式(7)能夠預計出頁面qx與廣告ai的相關性,相關性越大,代表這個廣告要是刊登在這個頁面上,被點擊的可能性就越大,可以選擇最大的M個廣告用于推薦。

NPBCF 算法流程如圖1 所示。

圖1 NPBCF 算法具體流程

4 實驗結果與分析

本節(jié)將對比傳統(tǒng)協(xié)同過濾(Collaborative Filtering,CF)[3]以及本文所提出的排除位置偏見的協(xié)同過濾NPBCF 的性能。

4.1 實驗數(shù)據(jù)與結果分析

4.1.1 數(shù)據(jù)集

本文使用KDD CUP 2012 任務2 的訓練數(shù)據(jù)集。在這個任務中,主辦方收集了騰訊搜搜的廣告點擊數(shù)據(jù)。包含22 023 547 名用戶的641 707 條廣告的共計149 639 105 會話記錄,每條會話記錄包含的特征如表1 所示。

表1 KDD 數(shù)據(jù)集

每個頁面上均展示3 個廣告,從上至下分別表示為位置1、位置2、位置3。使用這個數(shù)據(jù)集完成對特定的10 000 個頁面的廣告推薦,由于采用最基本的協(xié)同過濾來處理推薦任務,有用的數(shù)據(jù)只有Click,Impression,AdID,Position 和QueryID,于是先將相同AdID,Position 和QueryID 的數(shù)據(jù)進行整合,得到3 142 966 條記錄,由于數(shù)據(jù)量巨大,需要進一步處理。

4.1.2 數(shù)據(jù)預處理及劃分

由于采用協(xié)同過濾的方式對頁面進行推薦,而協(xié)同過濾對數(shù)據(jù)稀疏度有較高的要求。通過整理數(shù)據(jù)發(fā)現(xiàn)共有頁面1 848 114 個,廣告255 170 條,稀疏度為99.999 4% 。為了進一步減小稀疏度,需要減小數(shù)據(jù)集。于是選取了點擊記錄最多的10 000 個頁面,只考慮這些頁面的記錄。此時數(shù)據(jù)量被壓縮到2 766 393,包含廣告255 170 條,稀疏度99.89%,勉強能夠進行協(xié)同過濾推薦。在每個頁面刊登的廣告中,隨機選擇20% 的廣告以及這些廣告和頁面的相關性作為測試集,其余數(shù)據(jù)作為訓練集。

4.1.3 測評指標

本文采用TopN 的推薦方式,對推薦結果計算不同鄰居數(shù)情況下的準確率(P)、召回率(R)、以及F 度量值(F)。TopN 推薦是給用戶一個個性化的推薦列表,對應本文的應用場景,是給頁面q一個性化推薦列表。TopN 推薦的預測準確率一般通過召回率/準確率度量,召回率又稱查全率,是正確推薦的比率,準確率是正確推薦結果占全部推薦的比重,即推薦中存在正確推薦的比例,F 度量值是一種兼顧準確率和召回率的算法性能總體表現(xiàn)的一種指標。令R(q)是根據(jù)頁面q在訓練集上的行為給頁面q做出的推薦列表,而T(q)是頁面在測試集上的行為列表,那么推薦結果的準確率、召回率和F 度量值定義為：

4.1.4 數(shù)據(jù)分析

統(tǒng)計每個位置的點擊數(shù)量。有時同樣的廣告會展示在相同頁面的不同位置,例如,廣告“電腦維修”有時展示在頁面“電腦”的位置1 處,有時在位置2 處。假設“電腦維修”在“電腦”的位置1 處展示了10 次,被點擊3 次；位置2 處展示了20 次,未被點擊,那么可以稱“電腦維修-電腦”為一種配對,這種配對在位置1 處的點擊率是30%,在位置2 處的點擊率是0。

對于每一個配對,無論廣告展示在何處,廣告與頁面的相關性是固定不變的,但發(fā)現(xiàn)有51 629 個廣告在相同頁面的位置1 處和位置2 處被點擊過,其中,位置1 的點擊率比位置2 的點擊率更高的廣告有30 143 個,有13 564 個廣告在相同頁面的位置1 處和位置3 處被點擊過,其中,位置1 的點擊率比位置3 的點擊率更高的廣告有8 433 個,這樣的數(shù)據(jù)對比說明位置偏見確實存在。

4.2 結果分析

對比不同鄰居數(shù)目(分別是5,10,15,20,25,30)情況下,采用傳統(tǒng)協(xié)同過濾[3]和本文提出的NPBCF 算法,對10 000 個頁面進行TOP10 推薦,即每個頁面推薦10 個廣告,觀察2 種算法的準確率、召回率以及F 度量值,對比結果如圖2～圖4 所示。

圖2 準確率對比

圖3 召回率對比

圖4 F 度量值對比

通過對比發(fā)現(xiàn),NPBCF 算法的效果比傳統(tǒng)協(xié)同過濾算法至少提高了40%,而且隨著鄰居數(shù)目增多,雖然推薦質量下滑,但是NPBCF 算法對于參數(shù)選取錯誤有著更強的抵抗性。

對于一般的協(xié)同過濾系統(tǒng),鄰居數(shù)目越多,推薦結果越好,但是在本文實驗中發(fā)現(xiàn),當考慮更多的相似頁面,反而使推薦質量嚴重下滑,為此,對比了鄰居數(shù)為5 和鄰居數(shù)為10 情況下NPBCF 算法的頁面相似度和廣告-頁面相關性,如表2 所示。

表2 相似度和相關性的對比

由此可以看出,在廣告系統(tǒng)中,真正相似的頁面數(shù)量十分有限。當系統(tǒng)考慮了更多不相似的鄰居時,這些鄰居頁面刊登了點擊率(相關性)十分高的廣告,以至于這些廣告能夠無視頁面不相似,成為協(xié)同推薦的結果,破壞推薦質量。當不考慮相似度過小的鄰居時,即將10 個鄰居中相似度低于平均相似度的頁面剔除,發(fā)現(xiàn)NPBCF 的F 度量值上升了25% 。只有當系統(tǒng)將真正相似頁面考慮為鄰居,協(xié)同過濾才能發(fā)揮其原本的效果,不相似的頁面對協(xié)同推薦效果有著嚴重的影響。

5 結束語

傳統(tǒng)的觀點誤將頁面-廣告相關性看成頁面-廣告點擊率。點擊率不僅和頁面-廣告相關性有關,同時還受到廣告刊登位置的影響。由于某些廣告展示在靠上的位置,使得這些廣告憑借位置上的優(yōu)勢獲得了更高的點擊率,如果籠統(tǒng)地將點擊率看成相關性,將產(chǎn)生錯誤的推薦。本文提出一個相關性計算方法,能夠排除點擊數(shù)據(jù)中所帶有的位置偏見,正確地計算頁面-廣告相關性,再通過協(xié)同過濾技術,為頁面找到與其相似的其他鄰居頁面,利用鄰居頁面找到合適的廣告。最終通過實驗證明,本文提出的NPBCF 算法能夠比傳統(tǒng)協(xié)同過濾算法得到更準確的推薦結果。

[1]周傲英,周敏奇,宮學慶.計算廣告：以數(shù)據(jù)為核心的Web 綜合應用[J].計算機學報,2011,34 (10)：1805-1819.

[2]Craswell N,Zoeter O,Taylor M,et al.An Experimental Comparison of Click Position-bias Models[C]//Proceedings of International Conference on Web Search and Web Data Mining.[S.l.]：ACM Press,2008：87-94.

[3]Anastasakos T,Hillard D,Kshetramade S,et al.A Collaborative Filtering Approach to Ad Recommendation Using the Query-ad Click Graph[C]//Proceedings of the 18th ACM Conference on Information and Knowledge Management.Hong Kong,China：ACM Press,2009：1927-1930.

[4]Richardson M,Dominowska E,Ragno R.Predicting Clicks：Estimating the Click-through Rate for New Ads[C]// Proceedings of the 16th International Conference on World Wide Web.Alberta,Canada：ACM Press,2007：521-530.

[5]Kempe D,Mahdian M.A Cascade Model for Externalities in Sponsored Search[C]//Proceedings of the 4th International Workshop on Internet and Network Economics.Berlin,Germany：Springer,2008：585-596.

[6]Wu Kuanwei,Ferng Chun-Sung,Ho Chia-Hua,et al.A Two-stage Ensemble of Diverse Models for Ranking Click-through Rates Slides[Z].2012.

[7]Sarwar B,Karypis G,Konstan J,et al.Item-based Collaborative Filtering Recommendation Algorithms[C]//Proceedings of the 10th International Conference on World Wide Web.Hong Kong,China：ACM Press,2001：285-295.

[8]Shen Si,Hu Botao,Chen Weizhu,et al.Personalized Click Model Through Collaborative Filtering [C]//Proceedings of the 5th ACM International Conference on Web Search and Data Mining.Seattle,USA：ACM Press,2012：323-332.

[9]Hotchkiss G,Alston S,Edwards G.Eye Tracking Study[EB/OL].(2005-08-11).http：//www.enquiro.com/eye-tracking-pr.asp.

[10]Koren Y,Bell R,Volinsky C.Matrix Factorization Techniques for Recommender Systems[J].Computer,2009,42(8)：30-37.

[11]Chen Ye,Yan T W.Position-normalized Click Prediction in Search Advertising[C]//Proceedings of the 18th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York,USA：ACM Press,2012：795-803.

[12]Edelman B,Ostrovsky M,Schwarz M.Internet Advertising and the Generalized Second Price Auction：Selling Billions of Dollars Worth of Keywords[J].American Economic Review,2007,97(1)：242-259.

[13]Pin F,Key P.Stochastic Variability in Sponsored Search Auctions：Observations and Models[C]//Proceedings of the 12th ACM Conference on Electronic Commerce.[S.l.]：ACM Press,2011：61-70.