劉琛

摘 要：在進(jìn)行空間統(tǒng)計(jì)分析的方法中，傳統(tǒng)的空間統(tǒng)計(jì)方法在構(gòu)建空間權(quán)重矩陣時(shí)，往往需要進(jìn)行人工測量和手寫，這些可能步驟會降低精準(zhǔn)度和增大誤差的偶然性，為了簡化空間統(tǒng)計(jì)分析中構(gòu)建空間權(quán)重矩陣的步驟，提出了一種基于百度地圖API和Moran'sI指數(shù)的空間統(tǒng)計(jì)分析方法。該方法調(diào)用了百度地圖開放的免費(fèi)接口可以得到目標(biāo)地點(diǎn)的精確位置，從而利用了百度地圖的準(zhǔn)確性，減少了人工構(gòu)建矩陣的誤差可能性。經(jīng)過對江蘇省代理ip延遲分布的空間自相關(guān)分析實(shí)驗(yàn)，得到江蘇省代理ip存在空間自相關(guān)的結(jié)論，驗(yàn)證了該方法的可行性。雖然在驗(yàn)證的過程中使用的是傳統(tǒng)的Moran'sI檢驗(yàn)，但經(jīng)過可視化處理后觀察得到與模型結(jié)論的一致性，驗(yàn)證了模型的可行性。因此提出的方法有效的提高了模型的準(zhǔn)確性和簡化了模型的構(gòu)建難度。

關(guān)鍵詞：百度地圖接口;代理ip;空間權(quán)重矩陣;Moran'sI檢驗(yàn)

中圖分類號：TB 文獻(xiàn)標(biāo)識碼：Adoi：10.19311/j.cnki.1672-3198.2019.26.106

1 引言

隨機(jī)互聯(lián)網(wǎng)發(fā)展迅猛，重要數(shù)據(jù)很容易沉沒于互聯(lián)網(wǎng)之海。人工采集數(shù)據(jù)的方法已經(jīng)不能滿足快速獲取有效信息的需求。網(wǎng)絡(luò)爬蟲成了當(dāng)下獲取網(wǎng)絡(luò)信息的一大渠道，同時(shí)各網(wǎng)站也出現(xiàn)了對應(yīng)的反爬蟲策略，比如將爬蟲的ip拉入黑名單就是最常用的策略。通常避免ip黑名單的方法就是加入代理ip。并且免費(fèi)代理ip在西刺代理、快代理等各大網(wǎng)站有發(fā)布。面對雜亂無章的代理ip列表，對各地列表進(jìn)行空間統(tǒng)計(jì)分析，作為采集ip的一種參考。

空間相關(guān)性研究是空間統(tǒng)計(jì)學(xué)的研究手法，其應(yīng)用領(lǐng)域已經(jīng)進(jìn)入到金融學(xué)、病理研究、社會學(xué)、環(huán)境學(xué)等多種領(lǐng)域。對于傳統(tǒng)空間統(tǒng)計(jì)方法有MoransI檢驗(yàn)和GearysC檢驗(yàn)，但幾乎所有空間統(tǒng)計(jì)方法需要用到空間權(quán)重矩陣，該矩陣一般由研究者監(jiān)測和手寫，有不易編輯的缺陷。百度地圖 API 是百度公司免費(fèi)為開發(fā)者提供的地圖應(yīng)用網(wǎng)絡(luò)編程接口，無須任何版權(quán)費(fèi)用，利用它可以很好地實(shí)現(xiàn)本系統(tǒng)的開發(fā)。本文充分利用百度地圖 API 提供的豐富的地圖接口進(jìn)行開發(fā)計(jì)算空間權(quán)重矩陣，以我國代理ip網(wǎng)站特點(diǎn)的基礎(chǔ)，將空間統(tǒng)計(jì)分析方法運(yùn)用到免費(fèi)代理ip分布研究中。

2 相關(guān)技術(shù)研究

2.1 空間自相關(guān)指標(biāo)Moran'sI指數(shù)

空間單元的分布特征和聚集趨勢可以由空間自相關(guān)性來反應(yīng)，因此對空間相關(guān)性進(jìn)行測度，也就是單元聚集趨勢的程度。Moran指數(shù)是由Moran于1948年提出的 ，反映的是空間鄰接或空間鄰近的區(qū)域單元屬性值的相似程度。MoransI檢驗(yàn)是對已知某種屬性的數(shù)據(jù)數(shù)組進(jìn)行評估，從而判斷其是否滿足離散模式、聚類模式或是隨機(jī)模式。指數(shù)計(jì)算公式如式（1）。

在（1）式中，I為全局MoransI指數(shù)，Ii為局部MoransI指數(shù)，wij為空間權(quán)重矩陣i行j列元素，xi為空間觀測值矩陣第i個(gè)觀測值，xMean為觀測值平均值，n為觀測值個(gè)數(shù)。I的取值可經(jīng)過標(biāo)準(zhǔn)化到[-1，1]中，正數(shù)表示觀測值相似的空間會趨近在一起，負(fù)數(shù)表示觀測值相近的空間會遠(yuǎn)離，等于0表示不存在空間自相關(guān);I值與1的差越小，空間單元之間差距越小。I值與-1的差越小，空間單元差距越大。當(dāng)I接近于-1/（n-1）時(shí)，觀測值之間才相互獨(dú)立，即屬性的分布呈無規(guī)律的隨機(jī)分布狀態(tài)。全局型指標(biāo)能夠判斷出現(xiàn)像在空間上的整體分布情況，但難以探測出聚集的位置所在及區(qū)域相關(guān)的程度。忽略了空間過程的潛在不穩(wěn)定。到底是高高集聚還是低低集聚？哪個(gè)區(qū)域單元對全局貢獻(xiàn)更大？這就必須進(jìn)行局部空間自相關(guān)分析。局部指標(biāo)用于反映整個(gè)大區(qū)域中一個(gè)局部小區(qū)域單元上的某屬性值與相鄰局部小區(qū)域單元上同一屬性值的相關(guān)程度。對觀測值在空間上是否存在空間自相關(guān)，可計(jì)算Z值推斷，計(jì)算公式如式（2）。

2.2 百度地圖坐標(biāo)接口

百度地圖為開發(fā)者提供了豐富的接口調(diào)用主要提供JavaScript、iframe、WebService和http + xml 等接口，包括定位、地圖、搜索、鷹眼軌跡、導(dǎo)航路線規(guī)劃路況等功能。開發(fā)者可以很方便地訪問百度服務(wù)和數(shù)據(jù)，創(chuàng)建功能全面、交互性強(qiáng)的地圖應(yīng)用程序，支持 PC端和移動(dòng)端基于瀏覽器的地圖應(yīng)用開發(fā)，且支持HTML5特性的地圖開發(fā)。其中的正/逆地理編碼功能即可得到對應(yīng)地點(diǎn)的經(jīng)緯度，利用Python的requests模塊對百度地圖應(yīng)用發(fā)起請求可隨時(shí)使用該功能。百度地圖的開發(fā)文檔可見網(wǎng)址http：//lbsyun.baidu.com/index.php？title=webapi/guide/webservice-geocoding，請求需要填寫的參數(shù)如表1。

2.3 爬蟲爬取免費(fèi)代理網(wǎng)站

為了研究代理ip的分布特征，需要爬取代理ip的數(shù)據(jù)，數(shù)據(jù)公布較全面、反爬蟲策略較少、更新及時(shí)的網(wǎng)站適合作為數(shù)據(jù)來源。反爬蟲機(jī)制，即一系列反爬蟲措施的集合。反爬蟲機(jī)制通過預(yù)處理請求頭、封鎖IP、異步加載、使用加密JS算法、設(shè)置驗(yàn)證碼等措施達(dá)到封鎖爬蟲的目的。支持網(wǎng)絡(luò)通信的編程語言均可以編寫網(wǎng)絡(luò)爬蟲，Python因?yàn)橛写罅績?yōu)秀的爬蟲庫，代碼簡潔易懂，在網(wǎng)絡(luò)爬蟲領(lǐng)域有著廣泛的應(yīng)用。與調(diào)研百度地圖API的原理相同，需要用到Python的requests模塊對免費(fèi)代理網(wǎng)站進(jìn)行訪問。在獲得網(wǎng)頁HTML源碼后，利用xpath表達(dá)式可以得到對應(yīng)網(wǎng)頁中的元素，其中xpath表達(dá)式可在瀏覽器進(jìn)入代理網(wǎng)站后，右擊對應(yīng)元素打開開發(fā)者工具可以得到瀏覽器提供的表達(dá)式。最后將數(shù)據(jù)寫入sqlite數(shù)據(jù)庫，供后續(xù)程序調(diào)用。

3 基于百度地圖API和Moran'sI指數(shù)的空間統(tǒng)計(jì)分析方法

代理ip廣泛應(yīng)用與信息安全領(lǐng)域，本文研究的方法以江蘇省代理ip延遲在空間自相關(guān)的統(tǒng)計(jì)分析為例，在爬取完數(shù)據(jù)后，數(shù)據(jù)應(yīng)有ip、端口、延遲時(shí)間、地點(diǎn)等屬性，數(shù)據(jù)庫中部分代理ip如表2。

3.1 利用百度地圖API構(gòu)建空間權(quán)重矩陣

按照文檔內(nèi)容，利用python的requests編寫爬蟲填寫表1參數(shù)發(fā)起get請求即可得到對應(yīng)地點(diǎn)的經(jīng)緯度?？臻g數(shù)據(jù)自身帶有空間位置屬性，隱含了相對地理位置關(guān)系，因此需構(gòu)造空間權(quán)重矩陣度量空間單元的距離，把空間信息轉(zhuǎn)化為數(shù)值，利用API獲得經(jīng)緯度如表3。

對兩地坐標(biāo)計(jì)算歐氏距離，然后以反距離權(quán)重法計(jì)算距離的p次方的倒數(shù)作為權(quán)重，本文的p為3，為了得到標(biāo)準(zhǔn)的Moran'sI指數(shù)，需要進(jìn)一步的將矩陣進(jìn)行行歸一化使得行元素和為1如式（4），最終的權(quán)重矩陣下：

空間權(quán)重矩陣行列索引均為[南京市，南通市，常州市，徐州市，無錫市，淮安市，鹽城市，蘇州市，鎮(zhèn)江市]。市區(qū)與市區(qū)間的權(quán)重表示距離，距離越大，權(quán)重越小，主對角元素為0表示自己不與自己相鄰?？臻g權(quán)重歸一化后，不再有數(shù)量級影響，只反應(yīng)空間單元的位置關(guān)系。

3.2 Moran'sI檢驗(yàn)

本文的觀測矩陣為2016年江蘇省代理ip的延遲均值，觀測空間為江蘇省9個(gè)市，因?yàn)榫W(wǎng)站對2016年公布的代理ip最為齊全，保證各市當(dāng)年樣本量大于30，觀測矩陣如表4。

根據(jù)式（1）可求得全局Moran'sI指數(shù)為0.37710，說明江蘇省市級之間的ip代理之間呈空間正相關(guān)，局部Moran'sI指數(shù)見表5，Moran散點(diǎn)圖如圖1，以觀測離差值和標(biāo)準(zhǔn)化觀測值為坐標(biāo)點(diǎn)的Moran散點(diǎn)圖，常來研究局部的空間不穩(wěn)定性，它對空間滯后因子進(jìn)行可視化。變量觀測值和其空間滯后之間的擬合程度（直線的斜率）恰好是Moran'sI系數(shù)。

可見無錫市、鎮(zhèn)江市和蘇州市存在顯著空間正相關(guān)，呈現(xiàn)空間聚集模式，對全局的空間聚集模式貢獻(xiàn)較大，將觀測值和局部Moran'sI指數(shù)進(jìn)行可視化繪制熱力圖，如圖2和圖3。

由圖1和圖2可看出江蘇地區(qū)的代理ip延遲有屬性值高的區(qū)域與屬性值高的區(qū)域聚集在一起現(xiàn)象，為了進(jìn)一步驗(yàn)證該特征，需進(jìn)行Z值檢驗(yàn)以確認(rèn)造成此種相關(guān)性的原因是由于偶然因素或系統(tǒng)過程，根據(jù)式（2）可以得到全局Z檢驗(yàn)數(shù)為2.3906，局部Z檢驗(yàn)數(shù)如表6。

原假設(shè)為觀測空間上不存在空間自相關(guān)，全局Z檢驗(yàn)數(shù)>1.96，證明觀測值在0.05的水平上顯著，選擇拒絕原假設(shè)，因此認(rèn)為觀測空間上存在空間自相關(guān)，Z值大于0且顯著，相似的觀測值（高值或低值）趨于空間聚集。

4 結(jié)論

本文提出一種基于百度地圖API和Moran'sI指數(shù)的空間統(tǒng)計(jì)分析方法，以江蘇省各市的免費(fèi)代理ip分布為例，首先用Python編寫爬蟲爬取得到代理網(wǎng)站的數(shù)據(jù)。整理得到各市的代理ip延遲時(shí)間平均值作為觀測值矩陣，然后編寫爬蟲發(fā)起網(wǎng)絡(luò)請求調(diào)用百度地圖API得到江蘇省各市的經(jīng)緯度，使用反距離權(quán)重法求得空間權(quán)重矩陣，最后求出全局和局部Moran'sI指數(shù)，進(jìn)行顯著性驗(yàn)證后得到江蘇省代理ip延遲存在空間自相關(guān)的結(jié)論。整個(gè)過程驗(yàn)證了該研究方法的可行性，成功緩解了傳統(tǒng)研究方法對生成空間權(quán)重矩陣的不便，同時(shí)利用了百度地圖的精準(zhǔn)度提高了研究的精準(zhǔn)度。

本文利用基于百度地圖API和Moran'sI指數(shù)的空間統(tǒng)計(jì)分析方法進(jìn)行實(shí)驗(yàn)，并取得了良好的實(shí)驗(yàn)效果，但該方法并沒有考慮空間統(tǒng)計(jì)學(xué)中時(shí)間維度的影響，也沒有采用當(dāng)下更前端的空間統(tǒng)計(jì)檢驗(yàn)方法，只是從技術(shù)層改進(jìn)了傳統(tǒng)空間統(tǒng)計(jì)的步驟，所以討論更多改良算法是下一步研究的重點(diǎn)。

參考文獻(xiàn)

[1]白楊.Python代理IP定向采集爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J].中國新通信，2019，21（01）：40-41.

[2]劉石磊.對反爬蟲網(wǎng)站的應(yīng)對策略[J].電腦知識與技術(shù)，2017，13（15）：19-21.

[3]王雪青，陳媛，劉炳勝.中國區(qū)域房地產(chǎn)經(jīng)濟(jì)發(fā)展水平空間統(tǒng)計(jì)分析——全局Moran's I、Moran散點(diǎn)圖與LISA集聚圖的組合研究[J].數(shù)理統(tǒng)計(jì)與管理，2014，33（1）：59-71.

[4]王仲君，鄒亞娟，趙華玲.基于空間自相關(guān)的肺結(jié)核擴(kuò)散的機(jī)理分析[J].中國衛(wèi)生統(tǒng)計(jì)，2013，30（5）：630-634.

[5]曾昭法，左杰.中國省域城鎮(zhèn)化的空間集聚與驅(qū)動(dòng)機(jī)制研究——基于空間面板數(shù)據(jù)模型[J].中國管理科學(xué)，2013，（S2）：580-586.

[6]潘竟虎，張文，李俊峰，等.中國大范圍霧霾期間主要城市空氣污染物分布特征[J].生態(tài)學(xué)雜志，2014，33（12）：3423-3431.

[7]王紅崧，周海晏.基于百度地圖API的旅游地理信息系統(tǒng)開發(fā)[J].現(xiàn)代計(jì)算機(jī)（專業(yè)版），2012（23）：60-63.

[8]戴平生，陳建寶.空間統(tǒng)計(jì)學(xué)研究應(yīng)用綜述[C]//國際應(yīng)用統(tǒng)計(jì)學(xué)術(shù)研討會，2008.

[9]鄭靜，許學(xué)強(qiáng)，陳浩光.廣州市人口結(jié)構(gòu)的空間分布特征分析[J].熱帶地理，1994，14（2）：133-142.

[10]Cliff A D，Ord J K.Spatial Processes[M].London：Pion，1981：266.

[11]苗得文，邱滿，許忠奇，等.基于NewMap API的地圖服務(wù)系統(tǒng)在交通擁堵識別中的應(yīng)用研究[J].計(jì)算機(jī)科學(xué)，2013，40（Z6）：384-386.

[12]王靜.基于Scrapy的電子商務(wù)網(wǎng)絡(luò)測量與網(wǎng)絡(luò)特征分析[D].北京：北京交通大學(xué)，2012.

[13]彭程.基于空間統(tǒng)計(jì)分析的農(nóng)產(chǎn)品價(jià)格數(shù)據(jù)挖掘——以豬肉價(jià)格為例[J].農(nóng)業(yè)現(xiàn)代化研究，2014，35（1）：000029-32.

[14]李新，程國棟，盧玲.空間內(nèi)插方法比較[J].地球科學(xué)進(jìn)展，2000，15（3）：260-265.

[15]徐偉嘉，何芳芳，李紅霞，等.珠三角區(qū)域PM_（2.5）時(shí)空變異特征[J].環(huán)境科學(xué)研究，2014，27（9）：951-957.