楊華權(quán)

論爬蟲協(xié)議對(duì)互聯(lián)網(wǎng)競(jìng)爭(zhēng)關(guān)系的影響

楊華權(quán)

從爬蟲協(xié)議的法律性質(zhì)出發(fā)，研究了爬蟲協(xié)議的內(nèi)容，區(qū)分了爬蟲協(xié)議以及根據(jù)爬蟲協(xié)議制定的robots.txt。從反不正當(dāng)競(jìng)爭(zhēng)法角度而言，設(shè)置排斥性條款的robots.txt可能違背爬蟲協(xié)議的自由和公平精神，從而違反公認(rèn)的商業(yè)道德和誠(chéng)實(shí)信用原則。從反壟斷法角度而言，如果沒有合理理由，具有市場(chǎng)支配地位的服務(wù)商利用robots.txt進(jìn)行拒絕交易和歧視對(duì)待行為，可構(gòu)成壟斷行為。

搜索引擎爬蟲協(xié)議行業(yè)慣例競(jìng)爭(zhēng)關(guān)系壟斷行為

互聯(lián)網(wǎng)經(jīng)濟(jì)是知識(shí)經(jīng)濟(jì)向縱深發(fā)展的高級(jí)階段。當(dāng)前，互聯(lián)網(wǎng)市場(chǎng)競(jìng)爭(zhēng)主體日益增多，競(jìng)爭(zhēng)日趨激烈，細(xì)分市場(chǎng)格局高度集中?；ヂ?lián)網(wǎng)行業(yè)正經(jīng)歷著從自由競(jìng)爭(zhēng)時(shí)代向壟斷競(jìng)爭(zhēng)時(shí)代的轉(zhuǎn)折，在某些領(lǐng)域已經(jīng)出現(xiàn)了寡頭壟斷，基于商業(yè)模式模仿的同質(zhì)化競(jìng)爭(zhēng)助長(zhǎng)了不正當(dāng)競(jìng)爭(zhēng)行為和濫用市場(chǎng)支配地位行為，a朱乾 龍：《我國(guó) 互聯(lián)網(wǎng)市場(chǎng) 競(jìng)爭(zhēng)現(xiàn)狀與問(wèn)題 分析》，http ∶//www.miit.gov.cn/n11293472/n11293832/n15214847/ n15218234/15475341.html；丁道勤：《我國(guó)互聯(lián)網(wǎng)市場(chǎng)競(jìng)爭(zhēng)對(duì)監(jiān)管的挑戰(zhàn)及應(yīng)對(duì)思考》，http∶//www.cttl.cn/tegd/flfg/201304/ t20130415_917440.html，最后訪問(wèn)日期：2013年8月22日最后訪問(wèn)。損害了市場(chǎng)秩序，破壞了正常競(jìng)爭(zhēng)。因此，對(duì)互聯(lián)網(wǎng)行業(yè)壟斷行為和不正當(dāng)競(jìng)爭(zhēng)行為要高度重視。

北京市第一中級(jí)人民法院于2013年2月8日正式受理，并于同年10月16日開庭審理了北京百度網(wǎng)訊科技有限公司、百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司（以下合稱“百度公司”）訴北京奇虎科技有限公司（以下簡(jiǎn)稱“奇虎公司”）基于搜索引擎領(lǐng)域里robots協(xié)議（即Robots Exclusion Protocol，網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)，亦稱爬蟲協(xié)議、爬蟲規(guī)則、機(jī)器人協(xié)議、蜘蛛?yún)f(xié)議等）的不正當(dāng)競(jìng)爭(zhēng)糾紛一案。b本案由百度公司在2012年10月16日向北京市第一中級(jí)人民法院提起訴訟而引發(fā)，訴由包括不正當(dāng)競(jìng)爭(zhēng)及著作權(quán)侵權(quán)。起訴后，其間經(jīng)歷了庭前調(diào)解階段，百度公司后來(lái)放棄了著作權(quán)侵權(quán)的訴求。該案是百度公司與奇虎公司相互爭(zhēng)奪搜索引擎市場(chǎng)網(wǎng)絡(luò)資源的商業(yè)競(jìng)爭(zhēng)c這場(chǎng) 競(jìng) 爭(zhēng) 被 稱 為 “ 3B 大 戰(zhàn) ” ， 更 進(jìn)一 步的 介紹可 參 見 互 動(dòng) 百 科 詞 條 “ 3B 大 戰(zhàn) ” ， http ∶//www.baike.com/ wiki/3B%E5%A4%A7%E6%88%98， 最后訪問(wèn)日期：2013年6月28日。在訴訟領(lǐng)域的延續(xù)，引起了廣泛關(guān)注。此案一出，robots協(xié)議的法律性質(zhì)面臨正式的司法認(rèn)定，它對(duì)互聯(lián)網(wǎng)競(jìng)爭(zhēng)關(guān)系的影響以及應(yīng)如何完善該協(xié)議迫切需要進(jìn)一步的研究。

在該案中，百度公司訴稱其依據(jù)國(guó)際互聯(lián)網(wǎng)行業(yè)規(guī)則即robots協(xié)議設(shè)置robots.txt文件，但奇虎公司違反該規(guī)則，其所推出的360搜索服務(wù)違規(guī)抓取百度公司經(jīng)營(yíng)的百度網(wǎng)站（http:// www.baidu.com）及百度知道（http://zhidao.baidu. com）、百度百科（http://baike.baidu.com）、百度貼吧（http://tieba.baidu.com）等多個(gè)欄目的內(nèi)容，生成“網(wǎng)頁(yè)快照”復(fù)制件存儲(chǔ)于其自身服務(wù)器中，當(dāng)用戶點(diǎn)擊相應(yīng)搜索結(jié)果的鏈接時(shí)，直接向網(wǎng)民提供該“網(wǎng)頁(yè)快照”以替代百度公司向網(wǎng)民提供相應(yīng)服務(wù)。d楊華權(quán)、曲三強(qiáng)：《論爬蟲協(xié)議的法律性質(zhì)》，載《法律適用》2013年第4期，第30頁(yè)。奇虎公司則表示，robots.txt僅僅是指導(dǎo)和提示搜索引擎蜘蛛程序“善意的提示性txt文件”，既不是法規(guī)或標(biāo)準(zhǔn)，也不是合約，因而不存在違法與不違法的問(wèn)題。e王 曉 雁 ： 《 百 度 訴 奇 虎 360 索 賠 一 億 元 法 院 立 案 》 ， 載 http ∶//www.legaldaily.com.cn/index/content/2013-02/21/ content_4215407.htm?node=20908，最后訪問(wèn)日期：2013年2月28日。

從競(jìng)爭(zhēng)法角度而言，此案對(duì)互聯(lián)網(wǎng)領(lǐng)域的競(jìng)爭(zhēng)關(guān)系提出了新課題、新挑戰(zhàn)。為此，需要從robots.txt文本文件入手，研究robots協(xié)議的法律性質(zhì)，f本文作者已在另一篇論文中詳細(xì)論述了robots協(xié)議的法律性質(zhì)，部分觀點(diǎn)在本文中直接引述。具體參見楊華權(quán)、曲三強(qiáng)：《論爬蟲協(xié)議的法律性質(zhì)》，載《法律適用》2013年第4期。需要注意的是，本文對(duì)其中的觀點(diǎn)有進(jìn)一步的發(fā)展。明確與搜索引擎相關(guān)的不正當(dāng)競(jìng)爭(zhēng)行為與壟斷行為，以期規(guī)范互聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展。

一、爬蟲協(xié)議對(duì)不正當(dāng)競(jìng)爭(zhēng)認(rèn)定的影響

不管是國(guó)內(nèi)還是國(guó)外的法院，盡管判決結(jié)果存在差別，但對(duì)robots協(xié)議的性質(zhì)的認(rèn)識(shí)還比較一致，即：從權(quán)利人角度而言，robots.txt是網(wǎng)絡(luò)環(huán)境下權(quán)利人依據(jù)robots協(xié)議采取的控制訪問(wèn)的技術(shù)手段，或者至少肯定了設(shè)置恰當(dāng)?shù)膔obots.txt可以向搜索引擎蜘蛛程序起到告知（是否允許復(fù)制）的作用；g張金平：《有關(guān)爬蟲協(xié)議的國(guó)外案例評(píng)析》，載《電子知識(shí)產(chǎn)權(quán)》2012年第12期，第84頁(yè)。從搜索引擎蜘蛛程序角度而言，公平、合理的robots.txt應(yīng)該得到尊重和遵守，忽略robots.txt的禁止性規(guī)定而抓取網(wǎng)站相關(guān)內(nèi)容，則可能構(gòu)成惡意行為。從這個(gè)意義上來(lái)講，中外法院認(rèn)定robots協(xié)議構(gòu)成搜索行業(yè)的慣例方面是比較一致的。不過(guò)，這些案例僅僅是認(rèn)定robots協(xié)議可以作為行業(yè)慣例，但是并沒有任何判例對(duì)根據(jù)robots協(xié)議設(shè)立的robots.txt的公平性、合理性進(jìn)行評(píng)定，也沒有任何案例對(duì)搜索引擎蜘蛛程序忽略不公平的robots.txt的禁止性規(guī)定而抓取網(wǎng)頁(yè)的行為性質(zhì)作出評(píng)定。如果僅僅是簡(jiǎn)單認(rèn)定robots協(xié)議可以作為行業(yè)慣例，但罔顧設(shè)定robots.txt的不公平、不合理之處，從而對(duì)案件作出簡(jiǎn)單的裁定，顯然過(guò)于武斷。

在認(rèn)定不正當(dāng)競(jìng)爭(zhēng)案件時(shí)，當(dāng)事人之間是否具有競(jìng)爭(zhēng)關(guān)系往往是構(gòu)成不正當(dāng)競(jìng)爭(zhēng)行為的要件之一。當(dāng)事人之間如果不具有競(jìng)爭(zhēng)關(guān)系，就不會(huì)構(gòu)成不正當(dāng)競(jìng)爭(zhēng)行為。因此，首先確定當(dāng)事人之間是否具有競(jìng)爭(zhēng)關(guān)系具有舉足輕重的作用。

（一）競(jìng)爭(zhēng)關(guān)系

競(jìng)爭(zhēng)將在競(jìng)爭(zhēng)者之間產(chǎn)生一定的競(jìng)爭(zhēng)關(guān)系，存在競(jìng)爭(zhēng)關(guān)系是競(jìng)爭(zhēng)法得以調(diào)整競(jìng)爭(zhēng)者關(guān)系的前提和基礎(chǔ)?！案?jìng)爭(zhēng)關(guān)系是取得經(jīng)營(yíng)資格的平等市場(chǎng)主體之間在競(jìng)爭(zhēng)過(guò)程中形成的社會(huì)關(guān)系。認(rèn)定不正當(dāng)競(jìng)爭(zhēng)，除了要具備一般民事侵權(quán)行為的構(gòu)成要件以外，還要注意審查是否存在競(jìng)爭(zhēng)關(guān)系。存在競(jìng)爭(zhēng)關(guān)系是認(rèn)定構(gòu)成不正當(dāng)競(jìng)爭(zhēng)的條件之一。”h曹建明：《加大知識(shí)產(chǎn)權(quán)司法保護(hù)力度 依法規(guī)范市場(chǎng)競(jìng)爭(zhēng)秩序──在全國(guó)法院知識(shí)產(chǎn)權(quán)審判工作座談會(huì)上的講話》（2004年11月11日）。對(duì)于競(jìng)爭(zhēng)關(guān)系，學(xué)界區(qū)分為廣義競(jìng)爭(zhēng)關(guān)系和狹義競(jìng)爭(zhēng)關(guān)系，認(rèn)為：“反壟斷法所要求的競(jìng)爭(zhēng)關(guān)系是嚴(yán)格意義上的競(jìng)爭(zhēng)關(guān)系，或者說(shuō)狹義的競(jìng)爭(zhēng)關(guān)系；反不正當(dāng)競(jìng)爭(zhēng)法上的競(jìng)爭(zhēng)關(guān)系是一種廣義的競(jìng)爭(zhēng)關(guān)系。”i孔祥?。骸斗磯艛喾ㄔ怼?，中國(guó)法制出版社2001年版，第260頁(yè)。從狹義上而言，競(jìng)爭(zhēng)關(guān)系的主體限于同一相關(guān)市場(chǎng)上的經(jīng)營(yíng)者之間，非同一相關(guān)市場(chǎng)上的經(jīng)營(yíng)者之間不存在競(jìng)爭(zhēng)關(guān)系。從廣義上來(lái)說(shuō)，競(jìng)爭(zhēng)關(guān)系的主體還包括經(jīng)營(yíng)不相同業(yè)務(wù)的經(jīng)營(yíng)者，如果該經(jīng)營(yíng)者的行為違背了《反不正當(dāng)競(jìng)爭(zhēng)法》第2條規(guī)定的競(jìng)爭(zhēng)原則，也可以認(rèn)定相互間存在競(jìng)爭(zhēng)關(guān)系。j曹建明：《加大知識(shí)產(chǎn)權(quán)司法保護(hù)力度 依法規(guī)范市場(chǎng)競(jìng)爭(zhēng)秩序──在全國(guó)法院知識(shí)產(chǎn)權(quán)審判工作座談會(huì)上的講話》（2004年11月11日）。

（二）與robots.txt相關(guān)的網(wǎng)絡(luò)環(huán)境下的競(jìng)爭(zhēng)關(guān)系

robots.txt是存放于網(wǎng)站根目錄下的ASCII編碼的文本文件，它通常告訴搜索引擎蜘蛛程序在此網(wǎng)站中可以抓取和禁止抓取的內(nèi)容。因此，與robots.txt最直接相關(guān)的網(wǎng)站，就是提供搜索引擎服務(wù)的網(wǎng)站以及提供內(nèi)容服務(wù)的網(wǎng)站。與此相關(guān)的競(jìng)爭(zhēng)就是在它們之間展開，不過(guò)其中一方必定是搜索引擎服務(wù)提供者。

1.搜索引擎服務(wù)之間的競(jìng)爭(zhēng)

搜索引擎是指“根據(jù)一定的策略、運(yùn)用特定的計(jì)算機(jī)程序從互聯(lián)網(wǎng)上搜集信息，在對(duì)信息進(jìn)行組織和處理后，為用戶提供檢索服務(wù)，將用戶檢索相關(guān)的信息展示給用戶的系統(tǒng)?！眐百度百科：“搜索引擎”，http∶//baike.baidu.com/view/1154.htm，最后訪問(wèn)日期：2013年10月25日。如果沒有搜索引擎，就難以對(duì)無(wú)序的網(wǎng)絡(luò)信息資源進(jìn)行檢索、交接和共享乃至深層次的開發(fā)利用，形成信息孤島。搜索引擎技術(shù)的目的就是要消除信息孤島，實(shí)現(xiàn)互聯(lián)網(wǎng)上所有資源的全面連通。搜索引擎是用戶訪問(wèn)互聯(lián)網(wǎng)的向?qū)В阉饕婺軌蚋鶕?jù)用戶輸入的關(guān)鍵詞，全面、迅速地將用戶需要的信息從海量的互聯(lián)網(wǎng)信息中揀選出來(lái)并提供給用戶。

搜索引擎按其工作方式主要可分為三種：全文搜索引擎（Ful智庫(kù)百科：“互聯(lián)網(wǎng)內(nèi)容提供商”，http∶//wiki.mbalib.com/wiki/互聯(lián)網(wǎng)內(nèi)容提供商，最后訪問(wèn)日期：2013年10月25日。l Text Search Engine）、目錄索引類搜索引擎（Search Index/Directory）和元搜索引擎（Meta Search Engine）。搜索引擎按照其搜索范圍又可分為站內(nèi)搜索、分類導(dǎo)航搜索和全網(wǎng)搜索。

按照狹義競(jìng)爭(zhēng)關(guān)系的分析，同類產(chǎn)品極易產(chǎn)生競(jìng)爭(zhēng)關(guān)系，尤其對(duì)于消費(fèi)者無(wú)需重復(fù)消費(fèi)的產(chǎn)品和服務(wù)，這樣的競(jìng)爭(zhēng)是明顯的。在搜索引擎服務(wù)商之間，搜索服務(wù)本身具有同一性，即為用戶提供搜索結(jié)果的整合排序，不同搜索平臺(tái)在這個(gè)過(guò)程中是彼此獨(dú)立的，用戶選擇是排他的。因此，同類搜索引擎服務(wù)商之間的競(jìng)爭(zhēng)關(guān)系明朗，例如全網(wǎng)全文搜索之間存在競(jìng)爭(zhēng)關(guān)系的有百度（Baidu）、google、Bing、360搜索、搜狗搜索等。

另外，不同類型搜索引擎之間也具有競(jìng)爭(zhēng)關(guān)系。不同類型的搜索引擎往往存在疊加使用的情況，用戶可能在全網(wǎng)搜索出相關(guān)網(wǎng)站后，并不能立刻鏈接到檢索的具體信息，而是需要再進(jìn)入網(wǎng)站進(jìn)行分類導(dǎo)航或者站內(nèi)搜索，以使搜索結(jié)果更準(zhǔn)確，這時(shí)候，不同類型的搜索引擎并不是排他的，相反，小范圍垂直搜索或站內(nèi)搜索反而成為通用搜索的推廣客戶，彼此合作關(guān)系勝過(guò)競(jìng)爭(zhēng)關(guān)系。但隨著不同產(chǎn)品的革新和完善，各類搜索引擎將更加完善，垂直搜索引擎正在逐漸蠶食通用搜索的市場(chǎng)份額，競(jìng)爭(zhēng)將日趨明顯。

2.搜索引擎服務(wù)與提供內(nèi)容服務(wù)之間的競(jìng)爭(zhēng)

互聯(lián)網(wǎng)內(nèi)容提供商（Internet Content Provider, ICP）是向廣大用戶綜合提供互聯(lián)網(wǎng)信息業(yè)務(wù)和增值業(yè)務(wù)的運(yùn)營(yíng)商，如新浪、搜狐、163等。按服務(wù)對(duì)象和提供的信息內(nèi)容等劃分，ICP主要包括網(wǎng)上媒體運(yùn)營(yíng)商、數(shù)據(jù)庫(kù)運(yùn)營(yíng)商、信息咨詢商和信息發(fā)布代理商。網(wǎng)上媒體運(yùn)營(yíng)商主要通過(guò)免費(fèi)為上網(wǎng)用戶提供信息服務(wù)來(lái)聚集消費(fèi)者，普通用戶通過(guò)自己的瀏覽器輸入媒體運(yùn)營(yíng)商Web網(wǎng)址，進(jìn)入其服務(wù)網(wǎng)站即可獲得媒體運(yùn)營(yíng)商所提供的信息，這些免費(fèi)的信息服務(wù)包括新聞、Internet上的信息目錄分類、Internet上的網(wǎng)頁(yè)和網(wǎng)站搜索、個(gè)人的個(gè)性化信息服務(wù)配置、聊天室和分類廣告等。數(shù)據(jù)庫(kù)運(yùn)營(yíng)商是通過(guò)互聯(lián)網(wǎng)將按專業(yè)領(lǐng)域分類的各種統(tǒng)計(jì)數(shù)據(jù)、文獻(xiàn)書目和論文期刊等提供給用戶，用戶在網(wǎng)上憑會(huì)員用戶名和密碼進(jìn)入數(shù)據(jù)庫(kù)運(yùn)營(yíng)商的Web網(wǎng)站，提交自己要查詢信息的各種要求，數(shù)據(jù)庫(kù)運(yùn)營(yíng)商將使用用戶指定的通信方式，將檢索信息結(jié)果返回給用戶。信息咨詢商主要是為企業(yè)提供戰(zhàn)略規(guī)劃和決策咨詢服務(wù)。信息發(fā)布代理商的業(yè)務(wù)是在傳統(tǒng)的信息中介代理在Internet上展開代理撮合的全新業(yè)務(wù)方式。l智庫(kù)百科：“互聯(lián)網(wǎng)內(nèi)容提供商”，http∶//wiki.mbalib.com/wiki/互聯(lián)網(wǎng)內(nèi)容提供商，最后訪問(wèn)日期：2013年10月25日。

搜索引擎提供信息定位服務(wù)，達(dá)到互聯(lián)網(wǎng)的互聯(lián)互通。因此，搜索信息的全面性是搜索引擎應(yīng)當(dāng)滿足的最基本也最重要的要求，而搜索的快速、搜索結(jié)果順序編排合理以及盡量減少和屏蔽搜索結(jié)果中的垃圾信息及風(fēng)險(xiǎn)網(wǎng)站等則是搜索引擎在全面性基礎(chǔ)之上需要達(dá)到的更高的要求。互聯(lián)網(wǎng)內(nèi)容服務(wù)就是為用戶提供各種信息，包括國(guó)內(nèi)外的政治、經(jīng)濟(jì)、文化、體育、生活、娛樂等信息，具體表現(xiàn)為文字、圖片、文檔、音頻、視頻等，不僅可以在線瀏覽，而且在一定條件下可以提供下載。有了搜索引擎服務(wù)，可以幫助用戶快速訪問(wèn)互聯(lián)網(wǎng)內(nèi)容服務(wù)。從這個(gè)意義上說(shuō)，搜索引擎服務(wù)商與互聯(lián)網(wǎng)內(nèi)容提供商并不是具有直接競(jìng)爭(zhēng)關(guān)系的經(jīng)營(yíng)者。

（三）基于robots.txt的不正當(dāng)競(jìng)爭(zhēng)行為的認(rèn)定

競(jìng)爭(zhēng)的本質(zhì)是市場(chǎng)主體爭(zhēng)取交易機(jī)會(huì)或者獲取交易上競(jìng)爭(zhēng)優(yōu)勢(shì)的活動(dòng)。所謂不正當(dāng)競(jìng)爭(zhēng)行為，就是經(jīng)營(yíng)者采取不正當(dāng)手段爭(zhēng)取交易機(jī)會(huì)的行為。

1.搜索引擎服務(wù)與提供內(nèi)容服務(wù)的競(jìng)爭(zhēng)關(guān)系

在百度公司訴奇虎公司案件中，盡管雙方都是搜索引擎服務(wù)提供商，但該案爭(zhēng)議的焦點(diǎn)不在于百度搜索與360搜索兩種服務(wù)之爭(zhēng)，而在于百度公司提供的內(nèi)容服務(wù)與360搜索引擎服務(wù)之間的爭(zhēng)端。這是確定競(jìng)爭(zhēng)關(guān)系時(shí)首先需要明確的。

如前所述，搜索引擎服務(wù)商與互聯(lián)網(wǎng)內(nèi)容提供商并不是具有直接競(jìng)爭(zhēng)關(guān)系的經(jīng)營(yíng)者。但是，反不正當(dāng)競(jìng)爭(zhēng)法上的不正當(dāng)競(jìng)爭(zhēng)行為不必是經(jīng)營(yíng)同類或者替代商品的對(duì)方經(jīng)營(yíng)者爭(zhēng)奪交易機(jī)會(huì)的行為，而是以不正當(dāng)手段謀取競(jìng)爭(zhēng)優(yōu)勢(shì)或者破壞他人競(jìng)爭(zhēng)優(yōu)勢(shì)的行為，也即是以不正當(dāng)方式與競(jìng)爭(zhēng)對(duì)手或者其他經(jīng)營(yíng)者直接或者間接爭(zhēng)奪交易機(jī)會(huì)的行為，競(jìng)爭(zhēng)關(guān)系就是由此產(chǎn)生的損害與被損害的關(guān)系。mm孔祥俊：《反不正當(dāng)競(jìng)爭(zhēng)法原理》，知識(shí)產(chǎn)權(quán)出版社2005年版，第76頁(yè)。據(jù)此，競(jìng)爭(zhēng)關(guān)系可以歸為三種基本的類型：同業(yè)經(jīng)營(yíng)者之間的競(jìng)爭(zhēng)關(guān)系、為自己或者他人爭(zhēng)取交易機(jī)會(huì)而產(chǎn)生的競(jìng)爭(zhēng)關(guān)系以及因破壞他人競(jìng)爭(zhēng)優(yōu)勢(shì)而產(chǎn)生的競(jìng)爭(zhēng)關(guān)系。第一種類型是狹義上的競(jìng)爭(zhēng)關(guān)系；后兩種類型是廣義上的競(jìng)爭(zhēng)關(guān)系。

從狹義上而言，從百度公司訴奇虎公司的案件事實(shí)和當(dāng)初發(fā)生的客觀情況來(lái)看，奇虎公司是作為搜索引擎服務(wù)商而不是作為內(nèi)容服務(wù)商出現(xiàn)的；百度公司盡管也是搜索引擎服務(wù)商，但在該案中，其主要作用在于提供內(nèi)容服務(wù)，如百度知道、百度百科、百度文庫(kù)、百度貼吧、百度旅游等，而不是提供搜索服務(wù)。這些內(nèi)容網(wǎng)站與百度自身的搜索服務(wù)無(wú)關(guān)。因此，在該案中，雙方提供的服務(wù)不同，二者之間不具有替代關(guān)系。

從廣義上說(shuō)，盡管搜索引擎服務(wù)商與互聯(lián)網(wǎng)內(nèi)容提供商并不是同業(yè)經(jīng)營(yíng)者，雙方之間不存在直接競(jìng)爭(zhēng)關(guān)系，但如果存在謀取競(jìng)爭(zhēng)機(jī)會(huì)、破壞對(duì)方競(jìng)爭(zhēng)優(yōu)勢(shì)的行為，違反了商業(yè)道德和行業(yè)慣例，就可以認(rèn)為雙方之間存在競(jìng)爭(zhēng)關(guān)系。這是從廣義角度來(lái)理解的。目前我國(guó)司法實(shí)踐也是從這個(gè)角度來(lái)理解不正當(dāng)競(jìng)爭(zhēng)行為中的競(jìng)爭(zhēng)關(guān)系。

2.區(qū)分作為商業(yè)慣例的爬蟲協(xié)議與具體的robots.txts.txt

在民商法領(lǐng)域，法律所未規(guī)定者，可依習(xí)慣處理?！侗Ｗo(hù)工業(yè)產(chǎn)權(quán)巴黎公約》第10條之2款規(guī)定，凡在工商業(yè)活動(dòng)中違反誠(chéng)實(shí)的習(xí)慣做法的競(jìng)爭(zhēng)行為，構(gòu)成不正當(dāng)競(jìng)爭(zhēng)行為。在對(duì)該條款的權(quán)威解釋中，在認(rèn)定某一行為是否構(gòu)成不正當(dāng)競(jìng)爭(zhēng)，不限于在請(qǐng)求保護(hù)的該成員國(guó)所存在的誠(chéng)實(shí)的習(xí)慣做法，而且也必須考慮國(guó)際貿(mào)易中形成的誠(chéng)實(shí)的習(xí)慣做法。n［ 奧地利］博登浩森：《保護(hù)工業(yè)產(chǎn)權(quán)巴黎公約指南（附英文文本）》，段瑞林、湯宗舜譯，中國(guó)人民大學(xué)出版社2003年版，第97頁(yè)。我國(guó)《反不正當(dāng)競(jìng)爭(zhēng)法》第2條也要求經(jīng)營(yíng)者在市場(chǎng)交易中，應(yīng)當(dāng)遵循自愿、平等、公平、誠(chéng)實(shí)信用原則，遵守公認(rèn)的商業(yè)道德。已經(jīng)有學(xué)者指出，不管是國(guó)際通用的技術(shù)標(biāo)準(zhǔn)或行業(yè)慣例，還是自愿性的規(guī)范或者基于商業(yè)道德和行業(yè)慣例的自律規(guī)則，都應(yīng)當(dāng)?shù)玫椒傻闹С?，在不正?dāng)競(jìng)爭(zhēng)案件中，可以適用反不正當(dāng)競(jìng)爭(zhēng)法的一般條款。爬蟲協(xié)議就屬于上述的一種情形。o張平：《違反“爬蟲協(xié)議”能否適用反不正當(dāng)競(jìng)爭(zhēng)法一般條款》，載《人民法院報(bào)》2013年6月5日第7版。爬蟲協(xié)議主要基于安全與隱私的原因而建立：“（1）搜索技術(shù)應(yīng)服務(wù)于人類，尊重信息提供者的意愿，并維護(hù)其隱私權(quán)；（2）網(wǎng)站有義務(wù)保護(hù)其使用者的個(gè)人信息和隱私權(quán)不被侵犯?！眕百度百科：robots協(xié)議，http∶//baike.baidu.com/view/9274458.htm， 最后訪問(wèn)日期：2013年11月23日。作為一種行業(yè)慣例，在搜索行業(yè)中已得到經(jīng)常的遵循，從而使人有理由期望它在有爭(zhēng)議的交易中也將得到遵守。q參見美國(guó)《統(tǒng)一商法典》第1—205（2）條。

值得注意的是，作為行業(yè)慣例的爬蟲協(xié)議與具體的robots.txt并非同一概念，但將二者混淆的大有人在，如“Robots協(xié)定r是搜索引擎在抓取網(wǎng)站信息時(shí)要遵守的一個(gè)規(guī)則，是國(guó)際互聯(lián)網(wǎng)界通行的道德規(guī)范。網(wǎng)站主人通過(guò)Robots協(xié)議明示自動(dòng)抓取程序，服務(wù)器上什么內(nèi)容可以被抓取，什么內(nèi)容不可以被抓取?！薄叭绻蛔裱璕obots協(xié)議，將會(huì)破其業(yè)界信任，使得網(wǎng)站不愿意被抓取的內(nèi)容被搜索引擎索引，最終傷害用戶的利益?！眘百度百科：robots協(xié)議，http∶//baike.baidu.com/view/9274458.htm，最后訪問(wèn)日期：2013年11月23日。即使搜索引擎服務(wù)與內(nèi)容服務(wù)具有競(jìng)爭(zhēng)關(guān)系，在不正當(dāng)競(jìng)爭(zhēng)行為的認(rèn)定上，還需進(jìn)一步區(qū)分爬蟲協(xié)議以及具體的robots.txt文本本身?？梢哉f(shuō)，網(wǎng)站是通過(guò)robots.txt文本文件實(shí)現(xiàn)爬蟲協(xié)議，爬蟲協(xié)議確定了robots.txt需要遵循的原則。作為一種行業(yè)慣例，爬蟲協(xié)議具體內(nèi)容應(yīng)該是：

（1）設(shè)置了robots.txt語(yǔ)法規(guī)則；

（2）確定蜘蛛程序訪問(wèn)的范圍并置放于站點(diǎn)根目錄下，作為蜘蛛程序訪問(wèn)該站點(diǎn)的第一個(gè)文件；

（3）確立了公平、開放和促進(jìn)信息自由流動(dòng)的原則。

爬蟲協(xié)議作為一種行業(yè)慣例，體現(xiàn)了一定的商業(yè)道德，其被遵循的應(yīng)該是上述原則和精神。但是，如果將作為一種行業(yè)慣例的爬蟲協(xié)議混同于某一具體的robots.txt，則完全混淆了一般與個(gè)別的界限。不遵守爬蟲協(xié)議是一個(gè)概念，不遵守某一個(gè)具體的robots.txt又是另外一個(gè)概念，不能混同。

3. 含有拒絕交易、歧視對(duì)待內(nèi)容的 robots.bots. txt與商業(yè)道德的關(guān)系

某一具體的robots.txt如果完全符合爬蟲協(xié)議的精神，則要體現(xiàn)公平、開放和促進(jìn)信息自由流動(dòng)的原則。對(duì)robots協(xié)議的尊重以及對(duì)robots. txt的遵守，體現(xiàn)了一種有序競(jìng)爭(zhēng)的商業(yè)道德。從網(wǎng)站角度而言，網(wǎng)站有權(quán)根據(jù)爬蟲協(xié)議來(lái)設(shè)置robots.txt，從而控制蜘蛛程序訪問(wèn)，防止未經(jīng)許可對(duì)網(wǎng)站內(nèi)容的使用，維護(hù)合法權(quán)益不受侵犯；從搜索引擎蜘蛛程序角度而言，robots.txt協(xié)議是訪問(wèn)某一網(wǎng)站內(nèi)容的路徑指令，理應(yīng)得到尊重和遵守，忽略robots.txt而違規(guī)抓取網(wǎng)站內(nèi)容可能構(gòu)成惡意行為。t楊華權(quán)、曲三強(qiáng)：《論爬蟲協(xié)議的法律性質(zhì)》，載《法律適用》2013年第4期，第34頁(yè)。

但是，如果某一具體的robots.txt文本文件采取了拒絕交易、歧視規(guī)定的措施，是否違反誠(chéng)實(shí)信用原則，是否違背商業(yè)道德？

以百度公司訴奇虎公司為例，百度公司設(shè)置的各種robots.txt具體如下：在百度網(wǎng)站的robots.txtu在http∶//www.baidu.com/robots.txt可以訪問(wèn)。中，允許訪問(wèn)的搜索引擎蜘蛛程序有Baiduspider、Googlebot、MSNBot、Baiduspiderimage、YoudaoBot、Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider、JikeSpider、Sosospider、PangusoSpider。禁止Baiduspider抓取網(wǎng)頁(yè)地址以“www.baidu.com/baidu”和“www. baidu.com/s?”開頭的所有網(wǎng)頁(yè)的內(nèi)容；對(duì)于其他搜索引擎，還有禁止訪問(wèn)“www.baidu.com/ shifen”、“www.baidu.com/homepage”目錄及其中的所有內(nèi)容，以及網(wǎng)頁(yè)地址以“www. baidu.com/cpro”為開頭的所有網(wǎng)頁(yè)。除上述所列以外，禁止所有其他搜索引擎蜘蛛程序訪問(wèn)“www.baidu.com”的所有內(nèi)容。在百度知道的robots.txtv在http∶//zhidao.baidu.com/robots.txt可以訪問(wèn)。中，允許抓取的搜索引擎在百度網(wǎng)站允許范圍基礎(chǔ)上增加了Googlebot-Mobile。除了Baiduspider不得抓取網(wǎng)頁(yè)地址以“zhidao.baidu. com/w?” 開頭的所有網(wǎng)頁(yè)內(nèi)容外，允許前述所列其他搜索引擎抓取百度知道欄目的所有內(nèi)容。除上述所列以外，禁止所有其他搜索引擎抓取百度知道欄目的任何內(nèi)容。百度百科的robots.txtww在http∶//baike.baidu.com/robots.txt可以訪問(wèn)。和百度貼吧的robots.txtx在http∶//tieba.baidu.com/robots.txt可以訪問(wèn)。也有大致相似的規(guī)定。

在前述幾個(gè)robots.txt中，360搜索蜘蛛程序（360Spider）均被禁止訪問(wèn)百度網(wǎng)站、百度知道、百度百科和百度貼吧的任何內(nèi)容，但其忽略上述robots.txt的禁止性規(guī)定，抓取相應(yīng)的內(nèi)容，從而引發(fā)訴訟。對(duì)此，百度公司的解釋是，“百度并沒有禁止所有爬蟲抓取問(wèn)答、知道和貼吧的內(nèi)容，百度只是禁止了不規(guī)矩的、存在潛在安全風(fēng)險(xiǎn)的爬蟲，這恰是保護(hù)市場(chǎng)秩序，保護(hù)用戶隱私權(quán)的合理舉措。”y百度百科：“robots協(xié)議”，http∶//baike.baidu.com/view/9274458.htm， 最后訪問(wèn)日期：2013年11月23日。這樣的解釋是否充分合理？

對(duì)于一個(gè)網(wǎng)站來(lái)說(shuō)，設(shè)置robots.txt主要目的在于告訴搜索引擎蜘蛛程序的爬行路徑，保護(hù)網(wǎng)站內(nèi)部信息不被蜘蛛程序抓取，引導(dǎo)蜘蛛程序不要抓取對(duì)用戶沒有價(jià)值的信息，保護(hù)中小網(wǎng)站的流量平衡，避免爬蟲快速抓取給網(wǎng)站服務(wù)器帶來(lái)過(guò)大壓力。一般來(lái)說(shuō)，用戶在利用搜索引擎檢索到內(nèi)容網(wǎng)站時(shí)，對(duì)內(nèi)容網(wǎng)站并不構(gòu)成傷害，反而會(huì)為內(nèi)容網(wǎng)站帶來(lái)更多用戶。如果某一搜索引擎蜘蛛程序“快速抓取導(dǎo)致網(wǎng)站過(guò)載，影響網(wǎng)站正常運(yùn)行；重復(fù)抓取相同的文件，抓取層級(jí)很深的虛擬樹狀目錄，浪費(fèi)服務(wù)器資源；抓取網(wǎng)站管理后臺(tái)等內(nèi)部敏感信息，或抓取臨時(shí)文件等對(duì)用戶沒有價(jià)值的信息；抓取會(huì)對(duì)投票等CGI腳本造成負(fù)面影響，可能出現(xiàn)虛假的投票結(jié)果”z360百科：《robots協(xié)議》，http∶//baike.so.com/doc/4854891.html，最后訪問(wèn)日期：2013年11月23日。的時(shí)候，可能會(huì)被禁止抓取該網(wǎng)站的相關(guān)內(nèi)容。事實(shí)上，百度公司方面未曾有足夠的證據(jù)證明360搜索具有“不規(guī)矩的、存在潛在安全風(fēng)險(xiǎn)”，也未曾證明其具有侵犯隱私方面的證據(jù)，因而其辯解的可信度遭到質(zhì)疑。相反，360搜索為百度公司帶來(lái)不小的流量。

有人可能會(huì)爭(zhēng)辯說(shuō)，網(wǎng)站通過(guò)robots.txt限定允許他人訪問(wèn)的范圍，是法律所允許的自由。即使這種限定是明顯針對(duì)某特定搜索引擎，在其資源不屬于公共資源或因其他原因法律要求必須對(duì)他人平等開放的資源之外，也很難有違法性或違反商業(yè)道德及誠(chéng)信原則的問(wèn)題可言。在網(wǎng)站已明確拒絕特定搜索引擎訪問(wèn)的情況下，該搜索引擎的強(qiáng)行“訪問(wèn)”構(gòu)成民法上的“侵入”（trepass）。有人還發(fā)表評(píng)論指出，robots. txt“就類似客人在酒店住宿時(shí)在門上掛了一塊‘請(qǐng)勿打擾’的牌子，但現(xiàn)在有服務(wù)員說(shuō)要給客人提供貼心的服務(wù)，強(qiáng)行摘下牌子進(jìn)入房間?！边€有人指出“360通過(guò)隱蔽訪問(wèn)來(lái)源等技術(shù)繞開了百度設(shè)置的保護(hù)措施，未經(jīng)許可加以抓取，則涉及不正當(dāng)競(jìng)爭(zhēng)?！盄7敖 祥菲：《3B大戰(zhàn)起訴與反起訴：1億元 PK 4億元》，http∶//www.cq.xinhuanet.com/2013-10/17/c_117753344.htm，最后訪問(wèn)日期：2013年10 月25日。實(shí)際上這樣的評(píng)論只是看到表面，并未了解進(jìn)一步的實(shí)質(zhì)。

由于爬蟲協(xié)議中不僅包括是否允許搜索引擎進(jìn)行抓取的內(nèi)容，還包括允許誰(shuí)和不允許誰(shuí)進(jìn)行搜索的內(nèi)容。這些排斥性條款可能會(huì)被具有市場(chǎng)支配地位的搜索引擎公司利用，用來(lái)強(qiáng)迫一些內(nèi)容網(wǎng)站訂立排他性協(xié)議。Google搜索在擁有壟斷地位之后，就曾利用這些排斥性規(guī)則阻礙后來(lái)的競(jìng)爭(zhēng)者。因此，對(duì)于含有拒絕交易、歧視對(duì)待內(nèi)容的robots.txt，需要結(jié)合該網(wǎng)站是否具有市場(chǎng)支配地位進(jìn)行分析。如果該網(wǎng)站具有市場(chǎng)支配地位，則可能構(gòu)成拒絕交易、歧視對(duì)待的壟斷行為，本文將對(duì)此展開分析。如果該網(wǎng)站不具有市場(chǎng)支配地位，該搜索引擎的強(qiáng)行“訪問(wèn)”未必構(gòu)成民法上的“侵入”（trepass）。

在eBay v. Bidder's Edge中，審理該案的Ronald M. Whyte法官指出，eBay的服務(wù)器是私有財(cái)產(chǎn)，eBay授予公眾可以有條件的訪問(wèn)，并禁止包括BE在內(nèi)所采取的自動(dòng)化式的訪問(wèn)。Whyte法官認(rèn)為，超出同意的范圍，就構(gòu)成對(duì)他人財(cái)產(chǎn)的侵犯；而BE的行為明顯超越了eBay允許的使用范圍，構(gòu)成非授權(quán)的使用，是對(duì)eBay財(cái)產(chǎn)的侵犯。@8e Bay, Inc. v. Bidder's Edge, Inc., 100 F. Supp. 2d 1058 (N.D. Cal. 2000).但Whyte法官是基于滑坡謬誤（Slippery slope）理論，即如果BE的行為被允許繼續(xù)而不受限制，將會(huì)鼓勵(lì)其他拍賣門戶去使用蜘蛛程序參與到類似的查詢中來(lái)，最終將導(dǎo)致對(duì)eBay不可彌補(bǔ)的損害。這種理論通過(guò)對(duì)連串因果關(guān)系的不合理使用，將“可能性”轉(zhuǎn)化為“必然性”，得出錯(cuò)誤的結(jié)論。2003年，在Intel Corp. v. Hamidi一案中，加利福尼亞州最高法院就暗示地推翻了Whyte法官的觀點(diǎn)。在Ticketmaster Corp. v. Tickets.Com, Inc.中，法院則強(qiáng)調(diào)“由于‘蜘蛛’并不會(huì)對(duì)動(dòng)產(chǎn)造成實(shí)質(zhì)損害，必須存在證據(jù)證明使用或利用被‘蜘蛛化的’電腦（或網(wǎng)絡(luò)）時(shí)受到了‘蜘蛛’使用行為的不利影響。于此未見此種證據(jù)。不失尊敬地，本院不同意其他地區(qū)法院關(guān)于以下的認(rèn)定，即認(rèn)定僅僅是使用蜘蛛進(jìn)入一個(gè)對(duì)公眾開放的網(wǎng)頁(yè)來(lái)收集信息的行為就足以滿足侵害動(dòng)產(chǎn)中損害的條件?！盄9“Since the spider does not cause physical injury to the chattel, there must be some evidence that the use or utilityof the computer (or computer network) being ‘spiderized’ is adversely affected by the use of the spider. No such evidence is presented here. This court respectfully disagrees with other district courts' finding that mere use of a spider to enter a publicly available web site to gather information, without more, is sufficient to fulfill the harm requirement for trespass to chattels.” See Ticketmaster Corp. v. Tickets.Com, Inc., 2003 WL 21406289 (C.D.Cal. Mar.7, 2003)。

相反，互聯(lián)網(wǎng)的本質(zhì)要求是“互聯(lián)互通”。誠(chéng)然，互聯(lián)互通并不意味著網(wǎng)站必須允許所有人平等地訪問(wèn)和利用網(wǎng)站，除非網(wǎng)站中的資源屬于公共資源或因其他原因法律要求必須對(duì)他人平等開放的資源，網(wǎng)站可以通過(guò)robots.txt設(shè)定授權(quán)性條款和排斥性條款，將訪問(wèn)的范圍限制于特定的地域或特定的人，或者排除特定地域的訪問(wèn)或特定人的訪問(wèn)。但是，這應(yīng)該有一個(gè)界限，即該種設(shè)定不應(yīng)違背公平、開放和促進(jìn)信息自由流動(dòng)的原則。搜索引擎的使命在于信息定位，為用戶提供訪問(wèn)信息的路徑。百度公司允許Google等搜索引擎蜘蛛程序的訪問(wèn)，卻排斥了360搜索引擎蜘蛛程序的訪問(wèn)，如果僅僅以其網(wǎng)站不屬于“公共資源或因其他原因法律要求必須對(duì)他人平等開放的資源”，理由缺乏正當(dāng)性。

需要注意的是，最高人民法院在山東省食品進(jìn)出口公司、山東山孚集團(tuán)有限公司、山東山孚日水有限公司與馬達(dá)慶、青島圣克達(dá)誠(chéng)貿(mào)易有限公司不正當(dāng)競(jìng)爭(zhēng)糾紛案（“海帶配額”案）中指出：“在規(guī)范市場(chǎng)競(jìng)爭(zhēng)秩序的反不正當(dāng)競(jìng)爭(zhēng)法意義上，誠(chéng)實(shí)信用原則更多的是以公認(rèn)的商業(yè)道德形式體現(xiàn)出來(lái)的。商業(yè)道德要按照特定商業(yè)領(lǐng)域中市場(chǎng)交易參與者即經(jīng)濟(jì)人的倫理標(biāo)準(zhǔn)來(lái)加以評(píng)判，它既不同于個(gè)人品德，也不能等同于一般的社會(huì)公德，所體現(xiàn)的是一種商業(yè)倫理。反不正當(dāng)競(jìng)爭(zhēng)法所要求的商業(yè)道德必須是公認(rèn)的商業(yè)道德，是指特定商業(yè)領(lǐng)域普遍認(rèn)知和接受的行為標(biāo)準(zhǔn)，具有公認(rèn)性和一般性。即使在同一商業(yè)領(lǐng)域，由于是市場(chǎng)交易活動(dòng)中的道德準(zhǔn)則，公認(rèn)的商業(yè)道德也應(yīng)當(dāng)是交易參與者共同并普遍認(rèn)可的行為標(biāo)準(zhǔn)，不能僅從買方或者賣方、企業(yè)或者職工的單方立場(chǎng)來(lái)判斷是否屬于公認(rèn)的商業(yè)道德。具體到個(gè)案中公認(rèn)的商業(yè)道德，應(yīng)當(dāng)根據(jù)特定商業(yè)領(lǐng)域和個(gè)案情形（如特定行業(yè)的一般實(shí)踐、行為后果、交易雙方的主觀狀態(tài)和交易相對(duì)人的自愿選擇等）具體分析確定?！?0#0 最高人民法院（2009）民申字第1065號(hào)民事裁定書。#1 孔祥?。骸斗床徽?dāng)競(jìng)爭(zhēng)法原理》，知識(shí)產(chǎn)權(quán)出版社2005年版，第67頁(yè)。#2 王先林：《中國(guó)反壟斷法實(shí)施熱點(diǎn)問(wèn)題研究》，法律出版社2011年版，第341頁(yè)。

在所有主流搜索引擎中，百度公司唯獨(dú)限制360搜索的蜘蛛程序，有違公平原則；百度公司的限制使得360搜索的用戶無(wú)法正常通過(guò)360搜索獲取百度網(wǎng)站的內(nèi)容，有違開放原則和促進(jìn)信息自由流動(dòng)原則。在沒有正當(dāng)理由的前提下，百度公司設(shè)置的robots.txt嚴(yán)重違反了誠(chéng)實(shí)信用原則和公認(rèn)的商業(yè)道德，從而具有不正當(dāng)性。如果要求其他搜索引擎服務(wù)商遵守這樣有失公平合理的文本文件，顯然會(huì)違背robots協(xié)議的精神，同時(shí)也與搜索引擎的信息定位服務(wù)以及互聯(lián)網(wǎng)的公平、開放和促進(jìn)信息自由流動(dòng)的原則精神格格不入。違背了商業(yè)道德的robots.txt不應(yīng)被遵守。因此，即使從廣義上看，具體到該案，360搜索引擎忽略百度公司設(shè)置的各種robots.txt文本的禁止性規(guī)定而抓取相關(guān)內(nèi)容，并沒有違背誠(chéng)實(shí)信用原則和公認(rèn)的商業(yè)道德。從而，在忽略robots.txt的禁止性規(guī)定而抓取相應(yīng)內(nèi)容時(shí)，需要首先明確robots. txt是否滿足公平、合理和促進(jìn)開放的原則，而不能泛泛地認(rèn)為“robots.txt”構(gòu)成商業(yè)慣例而要求搜索引擎一概無(wú)條件地遵守。

二、爬蟲協(xié)議對(duì)壟斷行為認(rèn)定的影響

如前所述，反壟斷法要求的競(jìng)爭(zhēng)關(guān)系一般為狹義的競(jìng)爭(zhēng)關(guān)系。反壟斷法如此嚴(yán)格界定競(jìng)爭(zhēng)關(guān)系，是與其制止限制競(jìng)爭(zhēng)行為、維護(hù)競(jìng)爭(zhēng)自由的立法目的分不開的。不過(guò)，如果經(jīng)營(yíng)者已經(jīng)取得了壟斷地位，特定的市場(chǎng)結(jié)構(gòu)已不具有競(jìng)爭(zhēng)性或者競(jìng)爭(zhēng)不充分，該經(jīng)營(yíng)者的壟斷行為既可能損害競(jìng)爭(zhēng)對(duì)手或者其他經(jīng)營(yíng)者的利益，也可能損害消費(fèi)者的利益，在這種情況下，其壟斷行為的構(gòu)成并不必然以具有競(jìng)爭(zhēng)關(guān)系為必要，但最終破壞的都是市場(chǎng)競(jìng)爭(zhēng)的機(jī)制。因此，壟斷行為的構(gòu)成也并非一概要求具有競(jìng)爭(zhēng)關(guān)系。#1#0 最高人民法院（2009）民申字第1065號(hào)民事裁定書。#1 孔祥?。骸斗床徽?dāng)競(jìng)爭(zhēng)法原理》，知識(shí)產(chǎn)權(quán)出版社2005年版，第67頁(yè)。#2 王先林：《中國(guó)反壟斷法實(shí)施熱點(diǎn)問(wèn)題研究》，法律出版社2011年版，第341頁(yè)。

在我國(guó)《反壟斷法》第17條規(guī)定的7種濫用市場(chǎng)支配地位的行為中，包含了拒絕交易和歧視交易兩種行為。拒絕交易是指“沒有正當(dāng)理由，拒絕與交易相對(duì)人進(jìn)行交易”；歧視交易是指“沒有正當(dāng)理由，對(duì)條件相同的交易相對(duì)人在交易價(jià)格等交易條件上實(shí)行差別待遇”。

（一）爬蟲協(xié)議對(duì)認(rèn)定拒絕交易的影響

拒絕交易是具有市場(chǎng)支配地位的經(jīng)營(yíng)者拒絕向消費(fèi)者或者其他經(jīng)營(yíng)者提供產(chǎn)品或服務(wù)的行為。拒絕交易行為往往是為了阻止經(jīng)營(yíng)者提供同等服務(wù)或者以拒絕交易為要挾實(shí)現(xiàn)其他目的。#2#0 最高人民法院（2009）民申字第1065號(hào)民事裁定書。#1 孔祥俊：《反不正當(dāng)競(jìng)爭(zhēng)法原理》，知識(shí)產(chǎn)權(quán)出版社2005年版，第67頁(yè)。#2 王先林：《中國(guó)反壟斷法實(shí)施熱點(diǎn)問(wèn)題研究》，法律出版社2011年版，第341頁(yè)。合同自由是市場(chǎng)經(jīng)濟(jì)的基本法律原則，反壟斷法并不一般性地給經(jīng)營(yíng)者強(qiáng)加與其他市場(chǎng)主體交易的義務(wù)。只有當(dāng)市場(chǎng)主體濫用合同原則并對(duì)競(jìng)爭(zhēng)的損害程度超過(guò)合同自由本身受到的限制的損害程度時(shí)，法律才對(duì)合同自由加以限制。受到反壟斷法規(guī)制的拒絕交易方擁有的產(chǎn)品或者服務(wù)往往是獨(dú)有的或者是進(jìn)入某一市場(chǎng)所必須事先購(gòu)買的產(chǎn)品或者服務(wù)。拒絕許可的目的就是排除競(jìng)爭(zhēng)，鞏固和加強(qiáng)自身壟斷地位。

反壟斷法審查知識(shí)產(chǎn)權(quán)拒絕許可行為時(shí)，通常需要考慮以下因素：具有市場(chǎng)支配地位的經(jīng)營(yíng)者是否濫用該優(yōu)勢(shì)地位，對(duì)相關(guān)市場(chǎng)的損害以及拒絕許可的理由與動(dòng)機(jī)，知識(shí)產(chǎn)權(quán)是否構(gòu)成關(guān)鍵設(shè)施和產(chǎn)生壟斷杠桿作用等。
1.拒絕許可的企業(yè)具有市場(chǎng)支配地位
英文中的“獨(dú)占（monopoly）”常被譯為“壟斷”。在反壟斷法上的，獨(dú)占泛指企業(yè)能夠?qū)r(jià)格提高到競(jìng)爭(zhēng)水平以上而獲取利潤(rùn)的所有情形或者狀態(tài)#3#3 孔祥?。骸斗磯艛喾ㄔ怼?，中國(guó)法制出版社2001年版，第494頁(yè)。#4《反壟斷法》第18條：認(rèn)定經(jīng)營(yíng)者具有市場(chǎng)支配地位，應(yīng)當(dāng)依據(jù)下列因素：（一）該經(jīng)營(yíng)者在相關(guān)市場(chǎng)的市場(chǎng)份額，以及相關(guān)市場(chǎng)的競(jìng)爭(zhēng)狀況；（二）該經(jīng)營(yíng)者控制銷售市場(chǎng)或者原材料采購(gòu)市場(chǎng)的能力；（三）該經(jīng)營(yíng)者的財(cái)力和技術(shù)條件；（四）其他經(jīng)營(yíng)者對(duì)該經(jīng)營(yíng)者在交易上的依賴程度；（五）其他經(jīng)營(yíng)者進(jìn)入相關(guān)市場(chǎng)的難易程度；（六）與認(rèn)定該經(jīng)營(yíng)者市場(chǎng)支配地位有關(guān)的其他因素。。獨(dú)占地位與市場(chǎng)力量的概念大體相當(dāng)，在我國(guó)，稱之為市場(chǎng)支配地位。我國(guó)《反壟斷法》第17條定義市場(chǎng)支配地位“是指經(jīng)營(yíng)者在相關(guān)市場(chǎng)內(nèi)具有能夠控制商品價(jià)格、數(shù)量或者其他交易條件，或者能夠阻礙、影響其他經(jīng)營(yíng)者進(jìn)入相關(guān)市場(chǎng)能力的市場(chǎng)地位?！备鲊?guó)對(duì)市場(chǎng)支配地位的表述略有不同，我國(guó)采取了與歐盟一致的表述，我國(guó)《反壟斷法》第18條#4#3 孔祥?。骸斗磯艛喾ㄔ怼?，中國(guó)法制出版社2001年版，第494頁(yè)。#4《反壟斷法》第18條：認(rèn)定經(jīng)營(yíng)者具有市場(chǎng)支配地位，應(yīng)當(dāng)依據(jù)下列因素：（一）該經(jīng)營(yíng)者在相關(guān)市場(chǎng)的市場(chǎng)份額，以及相關(guān)市場(chǎng)的競(jìng)爭(zhēng)狀況；（二）該經(jīng)營(yíng)者控制銷售市場(chǎng)或者原材料采購(gòu)市場(chǎng)的能力；（三）該經(jīng)營(yíng)者的財(cái)力和技術(shù)條件；（四）其他經(jīng)營(yíng)者對(duì)該經(jīng)營(yíng)者在交易上的依賴程度；（五）其他經(jīng)營(yíng)者進(jìn)入相關(guān)市場(chǎng)的難易程度；（六）與認(rèn)定該經(jīng)營(yíng)者市場(chǎng)支配地位有關(guān)的其他因素。規(guī)定了認(rèn)定經(jīng)營(yíng)者具有市場(chǎng)支配地位的必備因素，其列舉方面是較為完全的。然而，即使在必要因素列舉詳細(xì)的情況下，仍然很難認(rèn)定是否具有市場(chǎng)支配地位，因此，第19條規(guī)定了推定經(jīng)營(yíng)者具有市場(chǎng)支配地位的情形，通過(guò)市場(chǎng)占有份額的劃定，判斷經(jīng)營(yíng)者是否具有市場(chǎng)支配地位。這樣的推定排除了確有證據(jù)證明不具有市場(chǎng)支配地位的經(jīng)營(yíng)者。不過(guò)，市場(chǎng)支配地位本身是一個(gè)復(fù)雜的經(jīng)濟(jì)學(xué)問(wèn)題，根據(jù)不同的相關(guān)市場(chǎng)，其取得支配地位的標(biāo)準(zhǔn)也不盡相同，以市場(chǎng)份額這一標(biāo)準(zhǔn)判斷經(jīng)營(yíng)者的地位具有一定的可行性。但進(jìn)一步，以什么數(shù)值判斷市場(chǎng)份額，又是一個(gè)值得探討的問(wèn)題。
當(dāng)然，界定市場(chǎng)支配地位需要首先界定相關(guān)市場(chǎng)。界定相關(guān)市場(chǎng)是一個(gè)回溯過(guò)去的過(guò)程，是在找尋可以維持該行為的最小邊界，要判斷一個(gè)經(jīng)營(yíng)者是否實(shí)施了壟斷行為，其前提就是相關(guān)市場(chǎng)的界定，只有對(duì)市場(chǎng)邊界進(jìn)行了科學(xué)劃分，才能有效判斷經(jīng)營(yíng)者的行為是否對(duì)其他經(jīng)營(yíng)者構(gòu)成限制競(jìng)爭(zhēng)，是否侵害了消費(fèi)者的相關(guān)權(quán)益。相關(guān)市場(chǎng)是行為人開展競(jìng)爭(zhēng)的區(qū)域或者范圍。從世界各國(guó)的規(guī)定來(lái)看，以產(chǎn)品和地域界定相關(guān)市場(chǎng)已經(jīng)成為國(guó)際共識(shí)。
具體到百度公司，百度網(wǎng)站對(duì)其提供的內(nèi)容服務(wù)都強(qiáng)調(diào)其是全球“最大”，如“百度百科—全球最大中文百科全書”、“百度知道——全球最大中文互動(dòng)問(wèn)答平臺(tái)”、“百度貼吧——全球最大中文社區(qū)”、“百度新聞——全球最大的中文新聞平臺(tái)”、“百度統(tǒng)計(jì)——最大中文網(wǎng)站分析工具”、“百度MP3——全球最大中文音樂搜索平臺(tái)”，“百度無(wú)線——全球最大的中文手機(jī)搜索引擎”等。從這些百度公司自己對(duì)相關(guān)網(wǎng)站的介紹亦可看出，百度公司經(jīng)營(yíng)的內(nèi)容網(wǎng)站幾乎均是相關(guān)領(lǐng)域內(nèi)全球最大的中文網(wǎng)站，該等網(wǎng)站的內(nèi)容數(shù)量及其在中文互聯(lián)網(wǎng)中所占比例可見一斑。由上述可知，百度公司已經(jīng)成為我國(guó)最大的內(nèi)容網(wǎng)站提供商。在界定百度公司提供的上述服務(wù)的市場(chǎng)支配地位時(shí)，需要首先準(zhǔn)確界定相關(guān)市場(chǎng)的范圍，才能計(jì)算其占有的市場(chǎng)份額。例如，針對(duì)百度百科、百度貼吧、百度知道等欄目，不能采用都是“內(nèi)容服務(wù)”的標(biāo)準(zhǔn)，而應(yīng)根據(jù)不同內(nèi)容的特征、用途、品質(zhì)，細(xì)分相關(guān)市場(chǎng)。如百度公司自己所陳述的，可以考慮界定“全球中文百科市場(chǎng)”、“全球中文互動(dòng)問(wèn)答平臺(tái)市場(chǎng)”、“全球中文社區(qū)市場(chǎng)”等。根據(jù)最高人民法院《關(guān)于審理因壟斷行為引發(fā)的民事糾紛案件應(yīng)用法律若干問(wèn)題的規(guī)定》第10條規(guī)定，經(jīng)營(yíng)者對(duì)外發(fā)布的信息能夠證明其在相關(guān)市場(chǎng)內(nèi)具有支配地位的，人民法院可以據(jù)此作出認(rèn)定，但有相反證據(jù)足以推翻的除外。當(dāng)然，需要認(rèn)定百度公司分別在百度百科、百度貼吧、百度知道等欄目享有市場(chǎng)支配地位，還需要相關(guān)證據(jù)的支持。

2.拒絕許可損害了市場(chǎng)競(jìng)爭(zhēng)

由式(22)即可得到優(yōu)化矢量選擇器所需要的參考電壓矢量,然后對(duì)所處的扇區(qū)進(jìn)行判斷,得到3個(gè)電壓矢量.最后由價(jià)值函數(shù)對(duì)所在扇區(qū)的3個(gè)電壓矢量進(jìn)行優(yōu)化評(píng)估,得到最接近的電壓矢量,即最優(yōu)電壓矢量.例如,當(dāng)位于第一個(gè)60°扇區(qū)中時(shí),則選擇u0(000/111),u1(100)和u2(110)這3個(gè)電壓矢量用于價(jià)值函數(shù)的優(yōu)化求解.

考察拒絕許可對(duì)競(jìng)爭(zhēng)造成的損害，主要是比較拒絕許可產(chǎn)生的競(jìng)爭(zhēng)優(yōu)勢(shì)與反競(jìng)爭(zhēng)的效果。如果被拒絕的企業(yè)可以在相關(guān)市場(chǎng)上尋找到替代性商品，在合理時(shí)間內(nèi)以合理的成本與第三方進(jìn)行了同樣的交易，那么就沒有造成限制競(jìng)爭(zhēng)的效果。如果具有市場(chǎng)支配地位的經(jīng)營(yíng)者拒絕將其知識(shí)產(chǎn)權(quán)許可給其他經(jīng)營(yíng)者，包括潛在經(jīng)營(yíng)者，會(huì)對(duì)其他經(jīng)營(yíng)者構(gòu)成市場(chǎng)進(jìn)入障礙。尤其在互聯(lián)網(wǎng)領(lǐng)域，拒絕許可會(huì)導(dǎo)致其他經(jīng)營(yíng)者完全無(wú)法與之競(jìng)爭(zhēng)或完全無(wú)法進(jìn)入該相關(guān)市場(chǎng)，無(wú)法實(shí)現(xiàn)信息的互聯(lián)互通和開放流動(dòng)。這不僅對(duì)公平的市場(chǎng)競(jìng)爭(zhēng)秩序造成了破壞，而且剝奪了消費(fèi)者選擇的權(quán)利，將會(huì)或者可以合理預(yù)期會(huì)對(duì)相關(guān)市場(chǎng)的競(jìng)爭(zhēng)有所削弱或消除，損害了市場(chǎng)競(jìng)爭(zhēng)。

百度公司提供的內(nèi)容服務(wù)總體上在我國(guó)所占的比例可能高達(dá)15%甚至以上，而且每一個(gè)單一內(nèi)容服務(wù)市場(chǎng)所占的比例則更高。如果百度公司禁止某一個(gè)搜索引擎抓取其內(nèi)容，則該搜索引擎的搜索結(jié)果中有相當(dāng)于中國(guó)互聯(lián)網(wǎng)內(nèi)容的15%左右成為搜索盲區(qū)?？梢哉f(shuō)，百度公司拒絕360搜索引擎抓取的內(nèi)容構(gòu)成了360搜索引擎服務(wù)不可缺少的核心措施。這將導(dǎo)致兩個(gè)嚴(yán)重后果，一是作為搜索服務(wù)基本要求的搜索內(nèi)容的全面性無(wú)法實(shí)現(xiàn)，用戶無(wú)法在該搜索引擎中全面搜索信息；二是該搜索引擎無(wú)法在搜索引擎服務(wù)市場(chǎng)中生存。這無(wú)疑是對(duì)市場(chǎng)競(jìng)爭(zhēng)的嚴(yán)重?fù)p害。百度公司設(shè)置的各個(gè)robots.txt明確排除360搜索蜘蛛程序抓取其內(nèi)容，而這些內(nèi)容顯然在短期內(nèi)無(wú)法尋找到替代性商品。如果認(rèn)定百度公司具有市場(chǎng)支配地位，百度公司的行為顯然是打擊競(jìng)爭(zhēng)對(duì)手，消滅競(jìng)爭(zhēng)。

3.拒絕許可缺乏合理的理由與動(dòng)機(jī)

反壟斷法在審查權(quán)利人拒絕交易時(shí)，一般從合理分析原則出發(fā)，要求權(quán)利人提出合理的理由，以解釋其拒絕許可的動(dòng)機(jī)不存在違法的故意。在衡量拒絕理由的合理性時(shí)，既需要分析具有市場(chǎng)支配地位的企業(yè)本身的情況，又需要分析被許可方自身的狀況。例如，對(duì)于前者，企業(yè)可以舉證說(shuō)明拒絕交易是為了取得對(duì)其投資的適當(dāng)回報(bào)；對(duì)于后者，可以考慮被許可方的資信狀況不佳、瀕臨破產(chǎn)等。

從目前的情況來(lái)看，百度公司設(shè)置的robots. txt未遵循公平、開放和促進(jìn)信息自由流動(dòng)的原則, 限制360搜索引擎的蜘蛛程序抓取沒有合理理由，更沒有行業(yè)公認(rèn)的合理及正當(dāng)?shù)睦碛伞Ｊ紫龋?60搜索蜘蛛程序?qū)Π俣葍?nèi)容網(wǎng)站的抓取相對(duì)于百度網(wǎng)站每天4～5億用戶的訪問(wèn)量來(lái)講數(shù)量很小，不會(huì)對(duì)百度的服務(wù)器或帶寬造成任何影響，也不會(huì)給百度帶來(lái)任何技術(shù)上的問(wèn)題或障礙；其次，360搜索蜘蛛程序?qū)Π俣葍?nèi)容網(wǎng)站的抓取完全遵循了百度設(shè)置的robots.txt對(duì)于其他搜索引擎蜘蛛程序抓取網(wǎng)頁(yè)內(nèi)容的指導(dǎo)，360搜索蜘蛛程序并未抓取百度不希望被其他搜索引擎蜘蛛程序抓取的內(nèi)容；再次，百度公司所控訴的360搜索蜘蛛程序抓取的內(nèi)容均是百度內(nèi)容網(wǎng)站在互聯(lián)網(wǎng)上公開發(fā)布的內(nèi)容，用戶可以直接訪問(wèn)該等網(wǎng)頁(yè)，也可以通過(guò)百度搜索訪問(wèn)，還可以通過(guò)其他搜索引擎訪問(wèn)，該等網(wǎng)頁(yè)內(nèi)容既不涉及任何隱私或保密的信息，也不是收費(fèi)信息，360搜索蜘蛛程序抓取并在搜索結(jié)果中體現(xiàn)該等網(wǎng)頁(yè)的鏈接不但對(duì)該等百度內(nèi)容網(wǎng)站毫無(wú)影響，相反，還會(huì)給百度帶來(lái)可觀的訪問(wèn)量。

（二）爬蟲協(xié)議對(duì)認(rèn)定歧視交易的影響#5#5 本部分內(nèi)容得到北京理工大學(xué)碩士研究生李婧同學(xué)的大力協(xié)助。#6 孔祥?。骸斗磯艛喾ㄔ怼?，中國(guó)法制出版社2001年版，第581頁(yè)。#7 在http∶//www.dianping.com/robots.txt可以訪問(wèn)。

歧視交易，又稱歧視待遇，是指行為人沒有正當(dāng)理由而對(duì)條件相同的客戶（交易對(duì)方）提供不同的價(jià)格或者其他交易條件，致使有些客戶處于不利的競(jìng)爭(zhēng)地位。#6#5 本部分內(nèi)容得到北京理工大學(xué)碩士研究生李婧同學(xué)的大力協(xié)助。#6 孔祥?。骸斗磯艛喾ㄔ怼?，中國(guó)法制出版社2001年版，第581頁(yè)。#7 在http∶//www.dianping.com/robots.txt可以訪問(wèn)。歧視交易是典型的濫用市場(chǎng)支配地位的行為，在許多國(guó)家和地區(qū)以及國(guó)際組織的法律文件都對(duì)其進(jìn)行了規(guī)定，如美國(guó)《克萊頓法》第2條（a）、德國(guó)《反對(duì)限制競(jìng)爭(zhēng)法》第20條、日本《禁止私人壟斷及確保公正交易法》第2條第9項(xiàng)。我國(guó)《反壟斷法》第17條第6項(xiàng)也規(guī)定，沒有正當(dāng)理由，對(duì)條件相同的交易相對(duì)人在交易價(jià)格等交易條件上實(shí)行差別待遇，是歧視交易行為。

根據(jù)robots協(xié)議的語(yǔ)法規(guī)則，網(wǎng)站可以自行設(shè)置以指示搜索引擎的訪問(wèn)路徑，正如前面所述，不同的robots.txt被放置在不同層級(jí)的網(wǎng)站域名后，并有目的、有針對(duì)性地設(shè)置了不同限制，網(wǎng)站的設(shè)置決不是隨性為之，相反，這種設(shè)置直接關(guān)系到網(wǎng)站的競(jìng)爭(zhēng)與合作關(guān)系。如：在上海漢濤信息咨詢有限公司（大眾點(diǎn)評(píng)網(wǎng)的經(jīng)營(yíng)者）訴愛幫聚信（北京）科技有限公司、愛幫聚信（北京）信息技術(shù)有限公司（愛幫網(wǎng)的經(jīng)營(yíng)者）不正當(dāng)競(jìng)爭(zhēng)糾紛中，原告稱愛幫網(wǎng)與大眾點(diǎn)評(píng)網(wǎng)在受眾人群、盈利模式、經(jīng)營(yíng)范圍、客戶群落等方面完全重合，被告通過(guò)愛幫網(wǎng)長(zhǎng)期大量復(fù)制大眾點(diǎn)評(píng)網(wǎng)站內(nèi)容的“搭便車”行為，獲取不當(dāng)瀏覽量和競(jìng)爭(zhēng)優(yōu)勢(shì)，構(gòu)成不正當(dāng)競(jìng)爭(zhēng)。在該案中，原告提出大眾點(diǎn)評(píng)網(wǎng)的robots.txt中，明確禁止同行業(yè)搜索并復(fù)制其信息，但愛幫網(wǎng)并未遵守該文件。此后，大眾點(diǎn)評(píng)網(wǎng)的robots.txt 中，出現(xiàn)限制愛幫網(wǎng)蜘蛛程序抓取的指令，完全限制愛幫網(wǎng)搜索引擎訪問(wèn)大眾點(diǎn)評(píng)網(wǎng)的內(nèi)容，#7#5 本部分內(nèi)容得到北京理工大學(xué)碩士研究生李婧同學(xué)的大力協(xié)助。#6 孔祥?。骸斗磯艛喾ㄔ怼罚袊?guó)法制出版社2001年版，第581頁(yè)。#7 在http∶//www.dianping.com/robots.txt可以訪問(wèn)。從中我們不難看出大眾點(diǎn)評(píng)網(wǎng)與愛幫網(wǎng)明確且惡化的競(jìng)爭(zhēng)關(guān)系。由此可見，robots.txt已經(jīng)不僅僅是網(wǎng)站維護(hù)其安全與隱私的協(xié)議，更是網(wǎng)站之間競(jìng)爭(zhēng)的工具。

對(duì)于搜索引擎企業(yè)運(yùn)用robots.txt排除競(jìng)爭(zhēng)者訪問(wèn)的行為是否限制了競(jìng)爭(zhēng)，是否構(gòu)成濫用市場(chǎng)支配地位，同樣需要首先確定相關(guān)市場(chǎng)的范圍，進(jìn)而界定該企業(yè)在相關(guān)市場(chǎng)具有市場(chǎng)支配地位。如果某robots.txt 通過(guò)設(shè)定訪問(wèn)權(quán)限，使未被允許訪問(wèn)的搜索引擎蜘蛛程序無(wú)法搜索并獲得網(wǎng)站資源，另一些企業(yè)則因具有訪問(wèn)權(quán)限而獲得了競(jìng)爭(zhēng)優(yōu)勢(shì)，而該網(wǎng)站資源在相關(guān)市場(chǎng)的地位很大程度上決定了這些企業(yè)的競(jìng)爭(zhēng)地位，網(wǎng)站資源地位越重要，對(duì)于競(jìng)爭(zhēng)的損害越大，一旦這些資源是不可或缺、難以重建的，那么無(wú)法取得這些資源的企業(yè)的競(jìng)爭(zhēng)力將明顯降低，限制競(jìng)爭(zhēng)效果顯而易見。例如，百度公司經(jīng)過(guò)多年經(jīng)營(yíng)，已經(jīng)建立了自己的更大的、更全面的搜索數(shù)據(jù)庫(kù)，假設(shè)百度已經(jīng)具有在相關(guān)內(nèi)容服務(wù)市場(chǎng)具有市場(chǎng)支配地位，百度公司的robots.txt文件內(nèi)容就具有高于一般公司的義務(wù)，在沒有正當(dāng)理由的前提下，不得以交易自由為由，允許與其具有直接競(jìng)爭(zhēng)關(guān)系的搜索引擎服務(wù)商訪問(wèn)其相關(guān)欄目，而禁止360搜索訪問(wèn)。這樣的限制有歧視交易之嫌。

三、結(jié) 語(yǔ)

互聯(lián)網(wǎng)的競(jìng)爭(zhēng)紛紛擾擾，層出不窮。對(duì)爬蟲協(xié)議的理解以及因該協(xié)議而引起的紛爭(zhēng)，成為當(dāng)今我國(guó)互聯(lián)網(wǎng)競(jìng)爭(zhēng)的主角，這不免讓人深思。本文的研究就是這方面的一種嘗試。

搜索引擎服務(wù)商與互聯(lián)網(wǎng)內(nèi)容提供商并不具有直接競(jìng)爭(zhēng)關(guān)系。即使經(jīng)營(yíng)業(yè)務(wù)不相同，但其行為違背了《反不正當(dāng)競(jìng)爭(zhēng)法》第2條規(guī)定的競(jìng)爭(zhēng)原則，也可以認(rèn)定具有競(jìng)爭(zhēng)關(guān)系。換言之，如果存在謀取競(jìng)爭(zhēng)機(jī)會(huì)、破壞對(duì)方競(jìng)爭(zhēng)優(yōu)勢(shì)的行為，就可以認(rèn)為雙方之間存在競(jìng)爭(zhēng)關(guān)系。

爬蟲協(xié)議作為一種行業(yè)慣例和事實(shí)標(biāo)準(zhǔn)，其具體內(nèi)容應(yīng)該是：（1）設(shè)置了robots.txt語(yǔ)法規(guī)則；（2）確定蜘蛛程序訪問(wèn)的范圍并置放于站點(diǎn)根目錄下，作為蜘蛛程序訪問(wèn)該站點(diǎn)的第一文件；（3）確立了公平、開放和促進(jìn)信息自由流動(dòng)的原則。robots.txt則是根據(jù)爬蟲協(xié)議確定的原則而設(shè)置的具體文件，其設(shè)置應(yīng)遵循該原則。具有市場(chǎng)支配地位的企業(yè)不能濫用爬蟲協(xié)議，從而損害市場(chǎng)競(jìng)爭(zhēng)。

從不正當(dāng)競(jìng)爭(zhēng)角度而言，即使搜索引擎服務(wù)與內(nèi)容服務(wù)具有競(jìng)爭(zhēng)關(guān)系，但在搜索引擎忽略內(nèi)容服務(wù)商在其robots.txt設(shè)置的禁止抓取條款的行為性質(zhì)上，如果robots.txt內(nèi)容嚴(yán)重違反了誠(chéng)實(shí)信用原則和公認(rèn)的商業(yè)道德，限制某一搜索的蜘蛛程序，則違背了公平、合理和開放的原則。如果要求其他搜索引擎服務(wù)商遵守這樣有失公平合理的文本文件，顯然會(huì)違背robots協(xié)議的精神，同時(shí)也與搜索引擎的信息定位服務(wù)以及互聯(lián)網(wǎng)的公平、開放和促進(jìn)信息自由流動(dòng)的原則精神格格不入。反之，如果認(rèn)定搜索引擎忽略不公平的robots.txt中禁止性規(guī)定而抓取相應(yīng)內(nèi)容構(gòu)成不正當(dāng)競(jìng)爭(zhēng)，顯然也違背了爬蟲協(xié)議確立的公平、開放和促進(jìn)信息自由流動(dòng)的原則。使用蜘蛛程序訪問(wèn)一個(gè)對(duì)公眾開放的網(wǎng)頁(yè)收集信息的行為未必滿足侵害動(dòng)產(chǎn)中損害的條件。

從壟斷行為角度而言，具有市場(chǎng)支配地位的網(wǎng)站通過(guò)其設(shè)置的robots.txt，拒絕某一搜索引擎蜘蛛程序抓取其內(nèi)容，可構(gòu)成拒絕許可，最終破壞市場(chǎng)競(jìng)爭(zhēng)的機(jī)制；它對(duì)條件相同的蜘蛛程序同意抓取其網(wǎng)站內(nèi)容而拒絕某一搜索蜘蛛的抓取，實(shí)行差別待遇，可構(gòu)成歧視交易。

This paper starts from the legal nature of robots exclusion protolol, analyses its content and distinguishes it from a robots.txt which is set under the said protocol. From the perspective of antiunfair competition law, a robots.txt with exclusion clauses may go against to the free and open spirit of the said Protocol, and thereby violates the principle of good faith and the generally accepted business ethics. From the perspective of antitrust law, a service provider with a dominant market position may conduct monopolistic behaviors if they use a robots.txt with exclusion clauses to refuse to trade with others or apply discriminatory treatments to a trading party with equal standing without any justifi able reasons.

search engine; robots exclusion protocol; industry practice; competition relationship; monopolistic behavior

楊華權(quán)，法學(xué)博士，北京理工大學(xué)法學(xué)院碩士生導(dǎo)師，中關(guān)村知識(shí)產(chǎn)權(quán)法律保護(hù)研究院研究員