文銘 劉博

摘要：網(wǎng)絡(luò)爬蟲(chóng)是依據(jù)一定算法運(yùn)行程序?qū)θf(wàn)維網(wǎng)進(jìn)行所需數(shù)據(jù)的提取技術(shù)。爬蟲(chóng)技術(shù)雖然給人們生活帶來(lái)了極大便利，但也存在惡意掠奪資源的行為，嚴(yán)重?cái)噥y了互聯(lián)網(wǎng)社會(huì)網(wǎng)絡(luò)秩序，也侵犯了公民的隱私。不正當(dāng)?shù)呐廊⌒畔⑿袨?，給企業(yè)、政府造成極大的資源浪費(fèi)，同時(shí)也威脅到公民的信息安全。所以在數(shù)據(jù)時(shí)代，我們亟需明確技術(shù)發(fā)展邊界，確定數(shù)據(jù)性質(zhì)和訪問(wèn)秩序，并運(yùn)用法律來(lái)捍衛(wèi)正當(dāng)使用信息、數(shù)據(jù)的權(quán)利。當(dāng)前應(yīng)從立法建議、政府規(guī)制和商業(yè)保護(hù)三個(gè)維度對(duì)惡意爬取行為進(jìn)行規(guī)制，結(jié)合技術(shù)發(fā)展前景和網(wǎng)絡(luò)爬蟲(chóng)配置信息資源背景，在不損害公民權(quán)益和公共利益基礎(chǔ)上，保衛(wèi)公民的隱私安全，力求發(fā)揮法律預(yù)測(cè)和規(guī)范作用，達(dá)到法律保障科技和諧進(jìn)步的目的。

關(guān)鍵詞：網(wǎng)絡(luò)爬蟲(chóng);個(gè)人信息;隱私權(quán);反不正當(dāng)競(jìng)爭(zhēng);技術(shù)中立

中圖分類號(hào)：D9 ? 文獻(xiàn)標(biāo)志碼：A ? ?文章編號(hào)：1009-3605（2021）04-0043-10

引言

雖然大眾不了解網(wǎng)絡(luò)爬蟲(chóng)，但這一技術(shù)早已應(yīng)用在日常生活中，如搜索引擎、出行搶票、購(gòu)物比價(jià)等軟件，這些都是利用網(wǎng)絡(luò)爬蟲(chóng)得以實(shí)現(xiàn)。而換取這種便利的代價(jià)便是個(gè)人信息更容易被企業(yè)以及不法分子獲取。通過(guò)搜索記錄、平臺(tái)點(diǎn)贊和喜好關(guān)注等行為，可以輕易獲取用戶網(wǎng)絡(luò)痕跡以及個(gè)人偏好，使得公民隱私暴露在互聯(lián)網(wǎng)中，從而被企業(yè)用于諸如廣告精準(zhǔn)推送等商業(yè)獲利行為，甚至更有不法分子還將爬取到的信息進(jìn)行販賣(mài)、實(shí)行欺詐等。

現(xiàn)在規(guī)制爬蟲(chóng)技術(shù)主要依賴于道德協(xié)議——Robots協(xié)議，這是當(dāng)今社會(huì)為實(shí)現(xiàn)爬取方和被爬取方技術(shù)溝通而設(shè)定在互聯(lián)網(wǎng)內(nèi)通用的一種信息程序。Robots協(xié)議提示網(wǎng)絡(luò)機(jī)器人哪些網(wǎng)頁(yè)不應(yīng)被抓取，而哪些網(wǎng)頁(yè)可以抓取[1]。在如今信息就是財(cái)富的時(shí)代，互聯(lián)網(wǎng)企業(yè)利用公民對(duì)于網(wǎng)絡(luò)的依賴，通過(guò)采集、挖掘等途徑利用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)獲取個(gè)人信息，并將信息轉(zhuǎn)化為企業(yè)自身數(shù)據(jù)性財(cái)產(chǎn)。如淘寶蘇安徽美景（參見(jiàn)杭州鐵路運(yùn)輸法院（2017）浙8601民初4034號(hào)民事判決書(shū)）和大眾點(diǎn)評(píng)訴百度地圖（參見(jiàn)上海知識(shí)產(chǎn)權(quán)法院（2016）滬73民終242號(hào)民事判決書(shū)）等案件，說(shuō)明了企業(yè)利用網(wǎng)絡(luò)爬蟲(chóng)采集信息，進(jìn)而分析市場(chǎng)近期發(fā)展趨勢(shì)、競(jìng)爭(zhēng)對(duì)手動(dòng)態(tài)和獲取盈利線索。信息分析和采集能力都是發(fā)展的決勝關(guān)鍵，但信息不像傳統(tǒng)財(cái)產(chǎn)一樣具有可視性，而以無(wú)形、可共享及可傳輸為主要形式[2]，所以，在面對(duì)“隱形”不法侵害時(shí)，應(yīng)以有力的法律武器捍衛(wèi)自身權(quán)益。

一、網(wǎng)絡(luò)爬蟲(chóng)技術(shù)概述

（一）網(wǎng)絡(luò)爬蟲(chóng)的誕生

網(wǎng)絡(luò)爬蟲(chóng)（web crawler）是指按照一定的規(guī)則，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本[3]。但在互聯(lián)網(wǎng)早期并不提供搜索信息的服務(wù)，互聯(lián)網(wǎng)僅是一個(gè)大型的文件傳輸協(xié)議（FTP）的“匯集地”，使用互聯(lián)網(wǎng)用戶僅能通過(guò)各個(gè)網(wǎng)站（匯集點(diǎn)）中的導(dǎo)航來(lái)尋找自己所需要的文件或信息。隨著技術(shù)不斷發(fā)展，網(wǎng)絡(luò)端口越來(lái)越多，互聯(lián)網(wǎng)中大型數(shù)量級(jí)網(wǎng)頁(yè)層出不窮，因其內(nèi)含種類豐富（包含各種文本資料、圖片、視頻和音頻等），網(wǎng)頁(yè)變成了向公眾開(kāi)放的數(shù)據(jù)匯集地。大量網(wǎng)頁(yè)的公開(kāi)使得人們無(wú)法在海量分散的信息中精準(zhǔn)找到自己需要的信息，而當(dāng)時(shí)網(wǎng)站為了增加用戶的訪問(wèn)，并非都會(huì)給用戶提供下載信息的鏈接，手動(dòng)檢索效率極其低下并乏味。為了方便用戶查找互聯(lián)網(wǎng)上分散的信息和數(shù)據(jù)，技術(shù)人員創(chuàng)建了一個(gè)自動(dòng)抓取程序，它可以通過(guò)你的關(guān)鍵詞來(lái)檢索全網(wǎng)分布的信息并抓取互聯(lián)網(wǎng)上所有與之有關(guān)的網(wǎng)頁(yè)，并將這些網(wǎng)頁(yè)上的信息復(fù)制到后臺(tái)數(shù)據(jù)庫(kù)中制成搜索“書(shū)簽”，這就是早期爬蟲(chóng)的網(wǎng)絡(luò)搜索引擎——JumpStation[4]。當(dāng)時(shí)因?yàn)榧夹g(shù)發(fā)展所限，早期的網(wǎng)絡(luò)爬蟲(chóng)能檢索的網(wǎng)頁(yè)規(guī)模十分有限，僅能抓取和復(fù)制萬(wàn)維網(wǎng)特定公開(kāi)的數(shù)據(jù)，比如政府公開(kāi)信息、企業(yè)部分開(kāi)放數(shù)據(jù)等。

（二）網(wǎng)絡(luò)爬蟲(chóng)的作用

伴隨著科學(xué)技術(shù)進(jìn)步，互聯(lián)網(wǎng)得以飛速發(fā)展，人們?cè)絹?lái)越頻繁和網(wǎng)絡(luò)發(fā)生互動(dòng)。而且每一次用戶進(jìn)行“網(wǎng)上沖浪”時(shí)都會(huì)不可避免地使用爬蟲(chóng)技術(shù)來(lái)獲取自己需要的信息。當(dāng)我們需要從網(wǎng)頁(yè)上獲得非結(jié)構(gòu)型量化數(shù)據(jù)時(shí)就要利用爬蟲(chóng)技術(shù)，而單一的爬蟲(chóng)技術(shù)不可能精準(zhǔn)抓取網(wǎng)頁(yè)數(shù)據(jù)，現(xiàn)實(shí)發(fā)展的需要使得今天的爬蟲(chóng)技術(shù)是多種技術(shù)融合的產(chǎn)物。

1.爬蟲(chóng)技術(shù)構(gòu)成網(wǎng)絡(luò)搜索引擎系統(tǒng)。利用聚焦爬蟲(chóng)技術(shù)可以最大效率地發(fā)現(xiàn)與之搜索關(guān)鍵詞或主題關(guān)聯(lián)度最高的網(wǎng)頁(yè)，而通用爬蟲(chóng)可以給人們提供搜索入口，如創(chuàng)建快照或快捷鏈接等。利用爬蟲(chóng)技術(shù)搜索系統(tǒng)可以更加高效快捷地為用戶提供精確的內(nèi)容。

2.建立大型信息數(shù)據(jù)庫(kù)。爬蟲(chóng)技術(shù)獲取信息的關(guān)鍵在于必須擁有大型信息數(shù)據(jù)庫(kù)。建立信息數(shù)據(jù)庫(kù)可以幫助企業(yè)分析網(wǎng)絡(luò)用戶的愛(ài)好、行為以及了解到競(jìng)爭(zhēng)對(duì)手的近期動(dòng)態(tài);也可以幫助政府收集公民或行業(yè)信息，以便制定合理政策并分析行業(yè)發(fā)展趨勢(shì);學(xué)者也可以利用爬蟲(chóng)收集的數(shù)據(jù)和信息進(jìn)行合理的學(xué)術(shù)研究等。

（三）網(wǎng)絡(luò)爬蟲(chóng)運(yùn)行機(jī)制

網(wǎng)絡(luò)爬蟲(chóng)整體爬取流程簡(jiǎn)言之是用戶通過(guò)網(wǎng)絡(luò)發(fā)起爬取信息Request（瀏覽器發(fā)送消息給網(wǎng)址所在的服務(wù)器，這個(gè)過(guò)程就叫做HTPP Request），當(dāng)網(wǎng)絡(luò)服務(wù)器中的爬蟲(chóng)系統(tǒng)檢查到用戶的請(qǐng)求時(shí)，為了Response（其內(nèi)容便是所要獲取的頁(yè)面內(nèi)容，類型可能是HTML，Json字符串，二進(jìn)制數(shù)據(jù)如圖片或者視頻等類型）用戶的請(qǐng)求，爬蟲(chóng)利用數(shù)據(jù)信息庫(kù)所儲(chǔ)備的信息在內(nèi)部進(jìn)行數(shù)據(jù)檢索并解析信息，最后將解析后的信息保存在數(shù)據(jù)庫(kù)內(nèi)，同時(shí)將解析后匯總的信息輸出給發(fā)起Request的用戶。

二、網(wǎng)絡(luò)爬蟲(chóng)應(yīng)用中存在的問(wèn)題

（一）網(wǎng)絡(luò)爬蟲(chóng)的應(yīng)用

在日常生活里爬蟲(chóng)技術(shù)不僅應(yīng)用在搜索系統(tǒng)中，還應(yīng)用于很多領(lǐng)域。

1.輿情監(jiān)測(cè)。通過(guò)對(duì)網(wǎng)絡(luò)上散布于各種介質(zhì)中如搜索引擎、新聞網(wǎng)頁(yè)、微視頻、博客、論壇帖子、電子報(bào)刊、微信等相關(guān)輿情信息，利用大數(shù)據(jù)采集并篩選，從而有效準(zhǔn)確地發(fā)現(xiàn)民眾發(fā)表關(guān)于社會(huì)的輿論情況，幫助政府或企業(yè)及時(shí)采取應(yīng)對(duì)措施并將負(fù)面輿論的危害減到最小。

2.比價(jià)、搶票類APP。大數(shù)據(jù)家維克托·邁爾舍恩伯格曾經(jīng)說(shuō)過(guò)：世界的本質(zhì)是數(shù)據(jù)。如今信息冗雜、平臺(tái)眾多，針對(duì)用戶想在眾多電商中挑選到最高性價(jià)比商品的心理，便催生出比價(jià)APP——返利網(wǎng)、拼多多等。這些APP利用爬蟲(chóng)技術(shù)監(jiān)控各大電商平臺(tái)的商品價(jià)格設(shè)置系統(tǒng)爬取數(shù)據(jù)進(jìn)行匯總，并對(duì)商品種類、價(jià)格、型號(hào)、配置等數(shù)據(jù)采集，然后再實(shí)現(xiàn)數(shù)據(jù)的整合、分析并反饋給用戶，出行類搶票APP亦然。各大電商平臺(tái)對(duì)于比價(jià)爬蟲(chóng)深惡痛絕，因?yàn)槠鋵?dǎo)致平臺(tái)工作量大大增加，但卻沒(méi)有給平臺(tái)帶來(lái)任何流量和經(jīng)濟(jì)效益。同時(shí)，電商平臺(tái)還不能設(shè)置過(guò)于復(fù)雜驗(yàn)證碼來(lái)防止爬蟲(chóng)侵?jǐn)_，因?yàn)橐坏?yàn)證碼過(guò)于復(fù)雜就會(huì)損失大量真實(shí)客戶，所以通常采取手動(dòng)拉取滑塊到指定位置等驗(yàn)證方式來(lái)減少一些低級(jí)爬蟲(chóng)侵?jǐn)_，但對(duì)于采用pytesser、PIL技術(shù)的爬蟲(chóng)系統(tǒng)則可以輕易破解“滑塊”這類驗(yàn)證碼。

3.虛擬貨幣套利。因?yàn)闀r(shí)差和匯率的變動(dòng)，而虛擬貨幣是跨境交易，所以受時(shí)差、匯率、費(fèi)率以及國(guó)家政策影響，不同交易平臺(tái)的售價(jià)是有差異的，虛擬貨幣的投資者為了使其自身利益獲得最大化，可以利用爬蟲(chóng)技術(shù)設(shè)置運(yùn)行程序自動(dòng)監(jiān)測(cè)不同平臺(tái)虛擬貨幣的價(jià)格變動(dòng)，以期在最佳價(jià)格及時(shí)拋出虛擬貨幣從而賺取豐盈差價(jià)。

4.儲(chǔ)備信息、知識(shí)等資料。網(wǎng)絡(luò)爬蟲(chóng)掃描、分析和保存信息，幫助識(shí)別和提取數(shù)據(jù)以供分析，匯總來(lái)自不同來(lái)源的信息，如通過(guò)知網(wǎng)、萬(wàn)方等學(xué)術(shù)網(wǎng)站檢索關(guān)鍵詞來(lái)獲取學(xué)術(shù)報(bào)告、文獻(xiàn)、期刊;通過(guò)小說(shuō)網(wǎng)站下載電子小說(shuō);通過(guò)音頻網(wǎng)站收聽(tīng)有聲小說(shuō)、廣播劇等都是爬蟲(chóng)技術(shù)的應(yīng)用。

（二）網(wǎng)絡(luò)爬蟲(chóng)應(yīng)用中存在的問(wèn)題

現(xiàn)如今互聯(lián)網(wǎng)中早已經(jīng)爬滿了“爬蟲(chóng)”，而且越是與用戶利益和信息相關(guān)的地方，就是“爬蟲(chóng)”越喜歡的地方。但這些爬蟲(chóng)善惡不同、心思各異。而搶占公共資源、爬取用戶隱私、商業(yè)秘密的“壞爬蟲(chóng)”，則應(yīng)該進(jìn)行規(guī)制。

1.搶占公共資源。因?yàn)閻阂馀老x(chóng)違背了Robots協(xié)議，爬取大量信息、甚至攻擊企業(yè)網(wǎng)站，使得網(wǎng)站不能正常運(yùn)行，嚴(yán)重會(huì)造成大量人力財(cái)力的浪費(fèi)。如搶票軟件應(yīng)用中，當(dāng)爬蟲(chóng)利用虛假客源但卻用真實(shí)的身份信息成功搶票時(shí)，便已破壞了社會(huì)公平秩序并且消耗了大量的網(wǎng)絡(luò)資源，且不產(chǎn)生有效收益，造成社會(huì)資源的浪費(fèi)。

2.網(wǎng)絡(luò)安全問(wèn)題。（1）個(gè)人信息泄露。部分政府職能部門(mén)或企業(yè)機(jī)構(gòu)為了減少民眾的奔波之苦，如繳納社保、公積金查詢、企業(yè)信息核查在互聯(lián)網(wǎng)或APP上就可以完成。但這些個(gè)人和商業(yè)秘密信息都存在被不法機(jī)構(gòu)利用爬蟲(chóng)技術(shù)獲取的風(fēng)險(xiǎn)。甚至爬蟲(chóng)技術(shù)還可以進(jìn)行更高級(jí)別的密碼破解。雖然隨著反爬蟲(chóng)技術(shù)不斷發(fā)展，簡(jiǎn)單爬蟲(chóng)并不能破解包含動(dòng)態(tài)驗(yàn)證碼等密碼程序，但若利用其他機(jī)構(gòu)服務(wù)或設(shè)置破解、識(shí)別復(fù)雜驗(yàn)證碼的算法讓爬蟲(chóng)進(jìn)行學(xué)習(xí)，爬蟲(chóng)識(shí)別后自動(dòng)輸入驗(yàn)證碼則可繼續(xù)爬取數(shù)據(jù)[6]。（2）過(guò)度爬取信息。金融貸款機(jī)構(gòu)等平臺(tái)，利用爬蟲(chóng)繞過(guò)反爬蟲(chóng)設(shè)置或主動(dòng)爬取超過(guò)軟件使用目的范圍的信息，甚至侵害企業(yè)法益。訪問(wèn)地理位置、人臉照片、通訊錄訪問(wèn)等非必要信息。信息獲取之后，商家有的收為己用，有的則進(jìn)行非法販賣(mài)交易。不僅侵害了商業(yè)秘密還損害了個(gè)人財(cái)產(chǎn)利益[7]，甚至是違反了不正當(dāng)競(jìng)爭(zhēng)的規(guī)定。（3）平臺(tái)不正當(dāng)競(jìng)爭(zhēng)。用戶或運(yùn)營(yíng)方在協(xié)議中也鮮少提及個(gè)人信息是否會(huì)被用在公司的商業(yè)化運(yùn)營(yíng)中，是否個(gè)人信息會(huì)被企業(yè)用于商業(yè)輸出等細(xì)節(jié)，而目前現(xiàn)狀則是，沒(méi)有下限采集、抓取用戶信息，如金融平臺(tái)保存的用戶個(gè)人身份號(hào)碼、家庭詳細(xì)住址;交流平臺(tái)儲(chǔ)存的用戶偏好;電商平臺(tái)留存的銀行卡信息和消費(fèi)限度等個(gè)人信息，也是企業(yè)的商業(yè)秘密。平臺(tái)利用用戶習(xí)慣吸引更多的用戶從而掌握更多的信息，而平臺(tái)利用滾雪球式的網(wǎng)絡(luò)效應(yīng)將掌握的數(shù)據(jù)視為競(jìng)爭(zhēng)中的核心資產(chǎn)，從而在殘酷競(jìng)爭(zhēng)的網(wǎng)絡(luò)時(shí)代獲得有利地位和詳盡的信息。微博訴脈脈（參見(jiàn)北京知識(shí)產(chǎn)權(quán)法院（2016）京73、淘寶蘇民終588號(hào)民事判決書(shū)）案中利用爬蟲(chóng)技術(shù)抓取微博網(wǎng)站中的高價(jià)值信息和用戶數(shù)據(jù)，脈脈將爬蟲(chóng)技術(shù)轉(zhuǎn)化成其利益輸送的工具。數(shù)據(jù)協(xié)議僅是個(gè)人與運(yùn)營(yíng)方雙方之間的協(xié)議，缺乏平臺(tái)之間“搭便車(chē)”的監(jiān)管，對(duì)于協(xié)議是否公平，是否合規(guī)，不僅需要反爬蟲(chóng)技術(shù)進(jìn)行實(shí)時(shí)監(jiān)控，還需要第三方機(jī)構(gòu)或政府部門(mén)進(jìn)行監(jiān)督審查。

3.“數(shù)據(jù)壁壘”。互聯(lián)網(wǎng)公司憑借早期的發(fā)展積累了大量用戶并且掌握眾多用戶信息，擁有龐大的個(gè)人信息數(shù)據(jù)庫(kù)。但對(duì)大公司掌握的數(shù)據(jù)不能共享，使得新興的互聯(lián)網(wǎng)公司為了快速取得市場(chǎng)，則利用爬蟲(chóng)技術(shù)設(shè)定爬取某些公司網(wǎng)站源代碼程序，從而竊取商業(yè)秘密。或者利用第三方機(jī)構(gòu)程序來(lái)監(jiān)控部分企業(yè)網(wǎng)站變化，爬取用戶信息變?yōu)橐延谩Ｒ驗(yàn)楝F(xiàn)在網(wǎng)絡(luò)信息、資源的不平衡形成的“數(shù)據(jù)壁壘”使得利用爬蟲(chóng)技術(shù)獲取不當(dāng)利益的行為日益增多，這需要政府來(lái)保障行業(yè)資源平衡分配從而給予小企業(yè)生存空間，但更應(yīng)該從法律源頭杜絕爬蟲(chóng)技術(shù)非法爬取信息破壞行業(yè)競(jìng)爭(zhēng)秩序。

三、國(guó)內(nèi)外關(guān)于爬蟲(chóng)爬取個(gè)人信息的法律規(guī)定

（一）域外的法律規(guī)定

通過(guò)表一可以看出，目前針對(duì)爬蟲(chóng)技術(shù)僅有美國(guó)設(shè)置專項(xiàng)法律條文進(jìn)行規(guī)制，而其余國(guó)家則是從保護(hù)個(gè)人信息角度出發(fā)間接進(jìn)行規(guī)制。美國(guó)趨向于利用其網(wǎng)絡(luò)技術(shù)審核、檢測(cè)系統(tǒng)保障爬蟲(chóng)技術(shù)發(fā)展，并且以明確的法律歸責(zé)條款，減低運(yùn)營(yíng)機(jī)構(gòu)入罪標(biāo)準(zhǔn)。而日本和歐盟則要求對(duì)于采集到的信息進(jìn)行“匿名化”處理來(lái)保障信息安全，從而減少爬蟲(chóng)爬取個(gè)人信息的危害。德國(guó)采取默示使用原則，認(rèn)為不及時(shí)采取措施就是允許，對(duì)爬蟲(chóng)發(fā)展采取極大寬容的規(guī)定。比利時(shí)則相反，采取授權(quán)使用原則。可見(jiàn)全世界針對(duì)爬蟲(chóng)爬取信息的法律規(guī)定并無(wú)統(tǒng)一規(guī)制標(biāo)準(zhǔn)，但卻都一致認(rèn)為，爬蟲(chóng)僅為行為人為達(dá)到其目的而采用一種技術(shù)手段而已，各國(guó)都并不限制爬蟲(chóng)技術(shù)的發(fā)展。同時(shí)，各國(guó)都在通過(guò)加強(qiáng)自身數(shù)據(jù)控制力、重視自身網(wǎng)絡(luò)空間安全建設(shè)和減少自身數(shù)據(jù)泄露發(fā)生等維度來(lái)完善自身信息安全的保護(hù)。

（二）國(guó)內(nèi)的法律規(guī)定

我國(guó)目前并無(wú)具體法律對(duì)網(wǎng)絡(luò)爬蟲(chóng)進(jìn)行規(guī)制，但是相關(guān)法律中某些條文從個(gè)人信息保護(hù)、網(wǎng)絡(luò)運(yùn)營(yíng)者權(quán)責(zé)以及市場(chǎng)運(yùn)行秩序等多個(gè)維度進(jìn)行了規(guī)定，從而限制“惡意爬蟲(chóng)”的行為。（見(jiàn)表2）

我國(guó)針對(duì)網(wǎng)絡(luò)爬蟲(chóng)獲取信息的法律規(guī)定分散。現(xiàn)行法律并未對(duì)爬蟲(chóng)性質(zhì)和爬蟲(chóng)抓取信息的行為進(jìn)行性質(zhì)界定和技術(shù)識(shí)別，而是采取統(tǒng)一罪名認(rèn)定，這導(dǎo)致針對(duì)爬蟲(chóng)的罪責(zé)處罰范圍較大：僅依據(jù)數(shù)量和結(jié)果造成嚴(yán)重后果時(shí)才認(rèn)定犯罪，顯得過(guò)于片面和死板。同時(shí)，我國(guó)現(xiàn)在關(guān)于網(wǎng)絡(luò)安全的立法較為單薄且并未針對(duì)數(shù)據(jù)權(quán)屬進(jìn)行專項(xiàng)規(guī)定，使得法律難以界定爬蟲(chóng)獲取信息侵害的不同法益。另外，現(xiàn)在數(shù)據(jù)種類眾多，但是我國(guó)法律并未規(guī)定明確的“數(shù)據(jù)權(quán)”，使得關(guān)于確定爬蟲(chóng)爬取信息罪責(zé)更是難上加難。我國(guó)法律應(yīng)該逐步建立個(gè)人信息的全面保護(hù)，對(duì)數(shù)據(jù)爬取的違法行為進(jìn)行全覆蓋，才能有效保護(hù)不同法益。

四、網(wǎng)絡(luò)爬蟲(chóng)爬取個(gè)人信息的法律規(guī)制建議

爬蟲(chóng)技術(shù)是我國(guó)科技網(wǎng)絡(luò)發(fā)展的重要技術(shù)，完善法律規(guī)范更應(yīng)使其成為科技發(fā)展的堅(jiān)強(qiáng)保障。若當(dāng)網(wǎng)絡(luò)用戶的權(quán)益受到爬蟲(chóng)侵害時(shí)，僅有Robots協(xié)議并不能完全規(guī)制爬蟲(chóng)非法獲取信息的行為，所以樹(shù)立明確的行業(yè)標(biāo)準(zhǔn)，建立健全法律規(guī)制刻不容緩，堅(jiān)決做到有法可依，保衛(wèi)公民的合法權(quán)益。

（一）加強(qiáng)頂層設(shè)計(jì)，完善立法保障

在網(wǎng)絡(luò)時(shí)代數(shù)據(jù)即金錢(qián)，而技術(shù)則是決定互聯(lián)網(wǎng)發(fā)展方向和前景的關(guān)鍵因素。法律不應(yīng)限制科技的發(fā)展，更應(yīng)鼓勵(lì)技術(shù)創(chuàng)新。不過(guò)，也要考慮適度原則，若過(guò)度保護(hù)技術(shù)則可能會(huì)導(dǎo)致行業(yè)壟斷、數(shù)據(jù)資源不平衡等問(wèn)題。法律應(yīng)尋求技術(shù)發(fā)展和保護(hù)用戶權(quán)益之間的平衡點(diǎn)。

1.堅(jiān)持技術(shù)中立發(fā)展的方向。從法律角度看，技術(shù)本身無(wú)錯(cuò)，談何規(guī)制技術(shù)使用？關(guān)鍵在于持有、利用技術(shù)的人是從何種心思、目的來(lái)應(yīng)用它。所以，應(yīng)從技術(shù)利用者的目的、行為判斷是否與法律規(guī)定相沖突，確定其是要承擔(dān)相應(yīng)的法律責(zé)任還是應(yīng)認(rèn)定為合理使用。若其行為破壞社會(huì)正常運(yùn)行秩序，不利于市場(chǎng)正常競(jìng)爭(zhēng)，侵?jǐn)_個(gè)人合法權(quán)益等則認(rèn)定為惡意利用技術(shù)行為，應(yīng)受到法律強(qiáng)制力的制裁。確定技術(shù)行為的重要性在于，這是判斷是否構(gòu)成犯罪的標(biāo)準(zhǔn)之一。另外，法律也應(yīng)明確技術(shù)使用方應(yīng)注意的義務(wù)，使得提供技術(shù)方在法律的框架內(nèi)實(shí)現(xiàn)技術(shù)創(chuàng)新。

2.建立綜合法律治理體系。我國(guó)需要建立健全網(wǎng)絡(luò)時(shí)代法律體系：明確網(wǎng)絡(luò)數(shù)據(jù)的權(quán)利屬性、確定電子信息法益。建立以網(wǎng)絡(luò)安全為主導(dǎo)，綜合民事、刑事、行政等法律融合的治理體系，完善我國(guó)網(wǎng)絡(luò)安全的刑事責(zé)任、民事責(zé)任和民事賠償制度。實(shí)現(xiàn)公民權(quán)益和技術(shù)發(fā)展的和諧。做到在一定范圍內(nèi)法律既保護(hù)信息流通，又保全網(wǎng)絡(luò)用戶的合法權(quán)益，從而依法鼓勵(lì)技術(shù)不斷創(chuàng)新。用法律來(lái)維持網(wǎng)絡(luò)空間發(fā)展秩序，自由不應(yīng)以失去自由代價(jià)。

3.界定惡意爬蟲(chóng)罪行性質(zhì)。網(wǎng)絡(luò)商業(yè)環(huán)境的錯(cuò)綜復(fù)雜和行業(yè)更新?lián)Q代頻率日益加快，使得更加難以定性爬蟲(chóng)爬取信息行為性質(zhì)。由于我國(guó)目前的法律規(guī)定難以對(duì)惡意爬蟲(chóng)爬取個(gè)人信息進(jìn)行準(zhǔn)確的罪行認(rèn)定，就會(huì)造成一些不法分子難以被法律懲戒，或者處罰過(guò)于輕微難以達(dá)到教育目的。爬取方可能利用法律漏洞，從而給自身披上“合法外套”來(lái)獲取個(gè)人隱私信息、政府重要數(shù)據(jù)、商業(yè)秘密等，但不同種類的信息危害社會(huì)、法律秩序的程度不同，其行為侵害的法益也不同。建議立法者應(yīng)從法律層面界定不同爬蟲(chóng)行為的危害程度來(lái)確立不同罪名，實(shí)現(xiàn)有效規(guī)制惡意爬蟲(chóng)。

（二）強(qiáng)化政府職能，營(yíng)造法治環(huán)境

1.創(chuàng)造和諧的發(fā)展環(huán)境。政府在面對(duì)新技術(shù)發(fā)展背景下，應(yīng)擺脫“一刀切”規(guī)制方法，采取有限度的自由發(fā)展策略激勵(lì)企業(yè)進(jìn)行技術(shù)創(chuàng)新，維護(hù)企業(yè)的經(jīng)濟(jì)效益。同時(shí)，針對(duì)利用技術(shù)進(jìn)行破壞市場(chǎng)合理競(jìng)爭(zhēng)秩序的行為進(jìn)行嚴(yán)厲打擊，開(kāi)展專項(xiàng)打擊網(wǎng)絡(luò)違法犯罪、販賣(mài)個(gè)人信息的“黑灰”產(chǎn)業(yè)活動(dòng)，給企業(yè)創(chuàng)造一個(gè)安定有序的發(fā)展環(huán)境。

2.加強(qiáng)政府監(jiān)督職能。政府應(yīng)定期檢測(cè)網(wǎng)絡(luò)行業(yè)的技術(shù)設(shè)備、安全設(shè)施系統(tǒng)，確立訪問(wèn)數(shù)據(jù)規(guī)則界限，以保障公民信息安全。同時(shí)也應(yīng)建立第三方監(jiān)測(cè)系統(tǒng)，監(jiān)測(cè)企業(yè)不法利用爬蟲(chóng)技術(shù)行為。一經(jīng)發(fā)現(xiàn)則及時(shí)采取措施中止爬取信息的行為，并對(duì)相關(guān)企業(yè)進(jìn)行警告，造成嚴(yán)重的后果的應(yīng)采取強(qiáng)制措施，造成不可逆損害的應(yīng)對(duì)其進(jìn)行相應(yīng)經(jīng)濟(jì)懲罰。

3.打破數(shù)據(jù)壁壘?，F(xiàn)在互聯(lián)網(wǎng)企業(yè)不可能依靠單一爬蟲(chóng)技術(shù)來(lái)支持運(yùn)營(yíng)，而是應(yīng)用多種爬蟲(chóng)模式收集、整合各類數(shù)據(jù)，并結(jié)合自身信息庫(kù)進(jìn)行有效運(yùn)營(yíng)。因?yàn)閿?shù)據(jù)具有不可取代性，對(duì)于商家來(lái)說(shuō)若稀缺性的數(shù)據(jù)不能及時(shí)獲取就會(huì)失去大量商機(jī)。為了避免陷入壟斷危機(jī)，立法者應(yīng)引入“必要設(shè)施理論”，使稀缺數(shù)據(jù)持有人承擔(dān)開(kāi)放數(shù)據(jù)義務(wù)，力促打破數(shù)據(jù)壁壘，實(shí)現(xiàn)資源共享，促進(jìn)企業(yè)和互聯(lián)網(wǎng)技術(shù)和諧有序發(fā)展，維護(hù)三方的權(quán)益。

4.公共信息增值開(kāi)發(fā)。政府公開(kāi)信息是共享的，但是這些信息分布零散且冗雜，不易直接使用。政府可將這些共享信息進(jìn)行增值開(kāi)發(fā)，減少社會(huì)資源分配不均問(wèn)題的產(chǎn)生。采取“誰(shuí)使用誰(shuí)付費(fèi)”的原則，向數(shù)據(jù)使用者收費(fèi)。有利于減少數(shù)據(jù)擁堵的發(fā)生，同時(shí)還可以減輕政府對(duì)信息增值和信息個(gè)性化加工支出的費(fèi)用，并有利于矯正爬蟲(chóng)行為的負(fù)外部效應(yīng)。

（三）強(qiáng)化行業(yè)責(zé)任，減少不正當(dāng)競(jìng)爭(zhēng)

爬蟲(chóng)爬取信息而窮盡網(wǎng)頁(yè)資源（如圖3）?，F(xiàn)互聯(lián)網(wǎng)行業(yè)制定自律公約——《互聯(lián)網(wǎng)搜索引擎服務(wù)自律公約》（下文簡(jiǎn)稱公約），其作為行業(yè)公約限制惡意爬蟲(chóng)的作用十分有限，因?yàn)榕老x(chóng)獲取信息并不僅限于搜索引擎而已經(jīng)擴(kuò)展到其他互聯(lián)網(wǎng)的領(lǐng)域，則《公約》顯得心有余而力不足了。所以應(yīng)從源頭進(jìn)行規(guī)制，限制其訪問(wèn)源，并設(shè)置嚴(yán)格的反爬蟲(chóng)措施來(lái)防范爬蟲(chóng)的侵?jǐn)_。

1.保障網(wǎng)絡(luò)空間安全。（1）嚴(yán)格把控信息。源頭黑客技術(shù)、惡意竊取信息技術(shù)屢禁不止，為了從根本上保護(hù)信息安全，最重要的是從源頭截?cái)嘁磺锌赡苋肭值男袕?。?duì)源頭數(shù)據(jù)進(jìn)行技術(shù)加密，并對(duì)數(shù)據(jù)本身進(jìn)行加密處理。即使信息在傳輸、儲(chǔ)存、整合的過(guò)程中被爬蟲(chóng)爬取了信息，只要沒(méi)有掌握數(shù)據(jù)加密的運(yùn)算程序，就不可能破解數(shù)據(jù)所包含的信息。應(yīng)使信息加密成為行業(yè)必備的保護(hù)信息的手段之一，保衛(wèi)網(wǎng)絡(luò)空間的安全。（2）限制爬蟲(chóng)訪問(wèn)源。在信息日益膨脹的時(shí)代，要愈加重視信息的保護(hù)。設(shè)置有效的技術(shù)手段防止爬蟲(chóng)爬取用戶信息，如網(wǎng)頁(yè)反作弊措施。而針對(duì)網(wǎng)絡(luò)中公民公開(kāi)的信息，平臺(tái)應(yīng)堅(jiān)持適度使用原則，尊重用戶意愿，打破“行業(yè)壁壘”，堅(jiān)持?jǐn)?shù)據(jù)共享理念，實(shí)現(xiàn)有序發(fā)展。（3）構(gòu)建專業(yè)反爬蟲(chóng)平臺(tái)。因?yàn)榕老x(chóng)變化多端，所以反爬蟲(chóng)技術(shù)需要復(fù)雜的技術(shù)支持和專業(yè)團(tuán)隊(duì)及時(shí)更新系統(tǒng)，費(fèi)時(shí)又費(fèi)力。建議行業(yè)應(yīng)統(tǒng)一構(gòu)建專業(yè)的反爬蟲(chóng)平臺(tái)，可以實(shí)時(shí)監(jiān)控爬蟲(chóng)技術(shù)的變化，提高各企業(yè)應(yīng)對(duì)惡意爬蟲(chóng)的反應(yīng)速度，同時(shí)減少各企業(yè)應(yīng)對(duì)惡意爬蟲(chóng)的經(jīng)濟(jì)成本，有利于各行業(yè)的應(yīng)對(duì)策略迅速發(fā)揮作用。

2.搭建產(chǎn)權(quán)保護(hù)平臺(tái)。大企業(yè)應(yīng)承擔(dān)相應(yīng)社會(huì)責(zé)任，推行網(wǎng)絡(luò)運(yùn)營(yíng)平臺(tái)、技術(shù)服務(wù)的信用評(píng)分系統(tǒng)，以身作則接受全社會(huì)的監(jiān)督。杜絕深度鏈接和加框鏈接等不正當(dāng)截取信息的行為，以誠(chéng)實(shí)信用原則作為行為的依據(jù)，維護(hù)用戶、平臺(tái)雙方利益。尊重用戶意愿，行業(yè)應(yīng)分化“搭便車(chē)”和侵權(quán)權(quán)益，建立數(shù)據(jù)使用、流通的平臺(tái)，應(yīng)不斷調(diào)整獲取信息的規(guī)則，避免日新月異的發(fā)展中格式化和機(jī)器化。搭建產(chǎn)權(quán)保護(hù)平臺(tái)也應(yīng)充分調(diào)動(dòng)用戶的積極性，發(fā)揮用戶和輿論的監(jiān)督作用。

3.落實(shí)平臺(tái)監(jiān)督管理責(zé)任。各行業(yè)應(yīng)樹(shù)立自身主體意識(shí)，落實(shí)舉報(bào)監(jiān)督核查體系，確保監(jiān)督工作的可操作性。行業(yè)應(yīng)積極促使行業(yè)規(guī)范和相關(guān)法律法規(guī)的有機(jī)結(jié)合和無(wú)縫對(duì)接。平臺(tái)應(yīng)采取多種渠道監(jiān)督，如網(wǎng)絡(luò)監(jiān)測(cè)、運(yùn)算程序重點(diǎn)排查、及時(shí)糾錯(cuò)等形式，定期梳理平臺(tái)的信息，防止爬蟲(chóng)抓取信息，有利于企業(yè)保護(hù)自身商業(yè)數(shù)據(jù)，提升平臺(tái)發(fā)展前景。平臺(tái)應(yīng)定期允許第三方機(jī)構(gòu)檢測(cè)爬蟲(chóng)爬取信息行為是否違反行業(yè)秩序或法律規(guī)定，盡到平臺(tái)管理責(zé)任，保證商家合法運(yùn)營(yíng)。同時(shí)也促使商家用高質(zhì)量的服務(wù)贏得用戶，保持良性網(wǎng)絡(luò)行業(yè)的發(fā)展。

結(jié)語(yǔ)

爬蟲(chóng)技術(shù)不應(yīng)為人類的不正當(dāng)使用行為“背鍋”。我們應(yīng)從數(shù)據(jù)用途和使用渠道來(lái)規(guī)避其侵害產(chǎn)權(quán)，但物競(jìng)天擇，正當(dāng)競(jìng)爭(zhēng)造成的損害是有益于進(jìn)步的，也會(huì)激勵(lì)創(chuàng)新，而惡意利用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)則破壞了市場(chǎng)秩序，它竊取用戶信息、企業(yè)商業(yè)秘密等行為打破了用戶、運(yùn)營(yíng)者和作者三方的平衡。我們應(yīng)發(fā)揮爬蟲(chóng)技術(shù)的中立性，實(shí)現(xiàn)互聯(lián)網(wǎng)塑造融合開(kāi)放共享的理念，保護(hù)用戶權(quán)益，推動(dòng)網(wǎng)絡(luò)的繁榮發(fā)展，促使技術(shù)和法律和諧發(fā)展。我們應(yīng)發(fā)揮法律的預(yù)測(cè)作用，不斷調(diào)整法律使之適應(yīng)社會(huì)的快速發(fā)展，否則在未來(lái)，網(wǎng)絡(luò)世界可能面臨著無(wú)所不在的信息安全隱患問(wèn)題。

參考文獻(xiàn)：

[1]李帥.網(wǎng)絡(luò)爬蟲(chóng)行為對(duì)數(shù)據(jù)資產(chǎn)確權(quán)的影響[J].財(cái)經(jīng)法學(xué)，2020（1）：25-34.

[2]劉金瑞.數(shù)據(jù)財(cái)產(chǎn)保護(hù)的權(quán)利進(jìn)路初探[J].中國(guó)信息安全，2017（12）：37-39.

[3]楊定中，趙剛，王泰.網(wǎng)絡(luò)爬蟲(chóng)在 Web 信息搜索與數(shù)據(jù)挖掘中應(yīng)用[J].計(jì)算機(jī)工程與設(shè)計(jì)，2009（24）：5658-5662.

[4]Kimmel-Smith-S.Robot-generated databases on the World Wide Web[J].Database，1996，19（1）：N /A.

[5]騰訊云鼎實(shí)驗(yàn)室發(fā)布《2018上半年互聯(lián)網(wǎng)惡意爬蟲(chóng)分析》[EB/OL].（2018-09-12）[2020-08-01]https：//cloud.tencent.com/developer/article/1336209.

[6]張曄，孫光光，徐洪云，等.國(guó)外科技網(wǎng)站反爬蟲(chóng)研究及數(shù)據(jù)獲取對(duì)策研究[J].競(jìng)爭(zhēng)情報(bào)，2020（1）：24-28.

[7]王燃.論網(wǎng)絡(luò)開(kāi)放平臺(tái)數(shù)據(jù)利益分配規(guī)則[J].電子知識(shí)產(chǎn)權(quán)，2020（8）：45-55.

[8]劉曉春. 數(shù)據(jù)抓取的邊界在哪里？[N].人民法院報(bào)，2020-03-19（07）.

責(zé)任編輯：周育平