張建根 于耀祖

關(guān)鍵詞：網(wǎng)絡(luò)爬蟲;工程項(xiàng)目;數(shù)據(jù)分析

一、緒論

工程項(xiàng)目建設(shè)是社會(huì)經(jīng)濟(jì)活動(dòng)的重要組成部分，反映社會(huì)基礎(chǔ)建設(shè)資金投入方向，如果一段時(shí)間內(nèi)社會(huì)資金集中投向某一行業(yè)，說明該行業(yè)處于發(fā)展上升期間，反之，則說明該行業(yè)處于停滯甚至衰退期。因此工程項(xiàng)目建設(shè)是社會(huì)行業(yè)發(fā)展的晴雨表，甚至在一定程度上影響未來宏觀經(jīng)濟(jì)運(yùn)行趨勢(shì)，所以對(duì)擬在建工程項(xiàng)目的統(tǒng)計(jì)分析不僅對(duì)社會(huì)企業(yè)發(fā)展，而且對(duì)社會(huì)治理都具有十分重要的意義。

中項(xiàng)網(wǎng)（https：//www.ecpe360.corn/）依靠健全的信息渠道和強(qiáng)大的信息收集加工能力，經(jīng)驗(yàn)豐富的強(qiáng)大調(diào)研跟蹤團(tuán)隊(duì)和扎實(shí)的團(tuán)隊(duì)作風(fēng)，采集一線實(shí)際項(xiàng)目投資建設(shè)實(shí)況數(shù)據(jù)，形成了全面系統(tǒng)、精準(zhǔn)高效的擬在建項(xiàng)目信息匯總發(fā)布平臺(tái)。本文通過爬蟲技術(shù)對(duì)中項(xiàng)網(wǎng)項(xiàng)目信息進(jìn)行抓取，并對(duì)項(xiàng)目數(shù)據(jù)進(jìn)行匯總分析，以期對(duì)行業(yè)分析、區(qū)域發(fā)展、社會(huì)治理提供一定的幫助。

二、相關(guān)技術(shù)介紹

網(wǎng)絡(luò)爬蟲是一種按照提前設(shè)定好的規(guī)則，自動(dòng)地抓取互聯(lián)網(wǎng)信息的程序或者腳本。從互聯(lián)網(wǎng)網(wǎng)站抓取公開信息并保存至本地?cái)?shù)據(jù)庫(kù)，從而解決難以大量獲取互聯(lián)網(wǎng)數(shù)據(jù)的困難。最初被用于搜索引擎抓取網(wǎng)站數(shù)據(jù)。而在當(dāng)今信息化時(shí)代，得數(shù)據(jù)者得天下。因此網(wǎng)絡(luò)爬蟲廣泛用于各種互聯(lián)網(wǎng)應(yīng)用。一方面，網(wǎng)絡(luò)爬蟲使數(shù)據(jù)獲取變得容易;但另一方面，網(wǎng)絡(luò)爬蟲不僅消耗公共網(wǎng)絡(luò)資源，而且損害互聯(lián)網(wǎng)服務(wù)站點(diǎn)，被爬取的服務(wù)站點(diǎn)需要消耗大量的物理資源應(yīng)對(duì)網(wǎng)絡(luò)爬蟲，甚至發(fā)生宕機(jī)事故。因此一些網(wǎng)站采取措施防止被網(wǎng)絡(luò)爬蟲，比如驗(yàn)證碼、IP限制、用戶行為檢測(cè)、JS渲染等。網(wǎng)絡(luò)爬蟲技術(shù)在數(shù)據(jù)量爆發(fā)式增長(zhǎng)的機(jī)遇和反爬蟲制約的挑戰(zhàn)雙重環(huán)境下不斷發(fā)展，促生了大量應(yīng)用框架的誕生。

Python是一個(gè)高層次腳本語言，具有解釋性、編譯性、互動(dòng)性和面向?qū)ο蟆⒖缙脚_(tái)等特點(diǎn)，已經(jīng)成為一種非常流行的計(jì)算機(jī)程序設(shè)計(jì)語言。因其開源、簡(jiǎn)單、易學(xué)、可移植、可擴(kuò)展、易維護(hù)的特點(diǎn)，催生了多種網(wǎng)絡(luò)爬蟲框架，例如：Scrapy、Crawley、Portia、Newspaper、Python-goose。其中，最為流行的開源框架是Scrapy，可以快速、簡(jiǎn)單、高效的爬取Web頁(yè)面并提取出結(jié)構(gòu)化數(shù)據(jù)，已經(jīng)被廣泛用于各類應(yīng)用。

三、工程項(xiàng)目信息爬取

本文爬取的項(xiàng)目信息為中項(xiàng)網(wǎng)項(xiàng)目信息（https：//www.ccpc360.com/xiangmu/），上述頁(yè)面采用表格方式展現(xiàn)項(xiàng)目的基本信息，包括項(xiàng)目名稱、領(lǐng)域類型、地區(qū)、投資金額（萬元）、進(jìn)展階段、行業(yè)/類型、發(fā)布時(shí)間等內(nèi)容。由于項(xiàng)目信息條數(shù)太多，不利于在單一頁(yè)面展現(xiàn)，該頁(yè)面采用了分頁(yè)技術(shù)。項(xiàng)目信息爬取是指由程序自動(dòng)獲取項(xiàng)目信息的過程，其流程圖如圖1所示：

四、工程項(xiàng)目信息分析

本文爬取2019年7月至2020年12月18個(gè)月內(nèi)中項(xiàng)網(wǎng)發(fā)布的項(xiàng)目信息（如圖2所示），共17061項(xiàng)條，去除848項(xiàng)境外項(xiàng)目，剩余169769項(xiàng)國(guó)內(nèi)項(xiàng)目，分別處于土建施工、施工圖設(shè)計(jì)、施工招標(biāo)、設(shè)計(jì)招標(biāo)、暫停、取消等共27個(gè)進(jìn)展階段，其中處于取消階段項(xiàng)目535項(xiàng)，處于暫停階段項(xiàng)目476項(xiàng)，去除以上兩項(xiàng)無效階段項(xiàng)目，國(guó)內(nèi)有效項(xiàng)目共168758項(xiàng)。項(xiàng)目屬地覆蓋東北、華北、華東、華南、華中、西北、西南七大區(qū)域;項(xiàng)目分屬輕工紡織食品、石油化學(xué)工程、機(jī)械電子電器、電力、環(huán)保、能源工業(yè)、制藥工程、倉(cāng)儲(chǔ)物流、建筑房地產(chǎn)、建材、市政、冶金礦產(chǎn)、農(nóng)林水利、交通設(shè)施等20個(gè)行業(yè)分類;涉及碼頭港口、水庫(kù)、鐵路、醫(yī)院、食品、設(shè)備制造風(fēng)力發(fā)電、污水等243個(gè)領(lǐng)域。

（一）項(xiàng)目區(qū)域分析

18個(gè)月內(nèi)東北、華北、華東、華南、華中、西北、西南七大區(qū)域項(xiàng)目數(shù)分別為：8604項(xiàng)、24846項(xiàng)、55812項(xiàng)、17113項(xiàng)、27852項(xiàng)、13133項(xiàng)和21398項(xiàng)?？梢钥闯鋈A東擬在建項(xiàng)目數(shù)最多，這與華東地區(qū)經(jīng)濟(jì)發(fā)達(dá)，市場(chǎng)活動(dòng)活躍有直接關(guān)系;東北地區(qū)擬在建項(xiàng)目數(shù)最少，這與東北地區(qū)近年來經(jīng)濟(jì)發(fā)展速度較慢，市場(chǎng)經(jīng)濟(jì)活動(dòng)較少相關(guān)。

從圖3可以看出，各地區(qū)在2020年上半年擬在建項(xiàng)目數(shù)量均有不同程度下降。2020年下半年經(jīng)濟(jì)復(fù)蘇，市場(chǎng)行為開始活躍，因此擬在建項(xiàng)目數(shù)量開始增加。明顯可以看出華東地區(qū)在擬在建項(xiàng)目基數(shù)較大的情況下，仍實(shí)現(xiàn)了最快的增長(zhǎng)率，反映出華東地區(qū)經(jīng)濟(jì)基礎(chǔ)好，市場(chǎng)成熟度高，經(jīng)營(yíng)主體活躍等特點(diǎn)。

（二）項(xiàng)目行業(yè)分析

18個(gè)月內(nèi)環(huán)保、輕工紡織食品、石油化工工程、電力、機(jī)械電子電器五類行業(yè)位居擬在建項(xiàng)目的前五位，分別達(dá)到24692、20372、18938、18447、16973項(xiàng)，占項(xiàng)目總數(shù)的58.91%，詳見圖4。

從圖4可以看出環(huán)保在項(xiàng)目建設(shè)中占據(jù)了首要位置，充分體現(xiàn)了綠色發(fā)展、持續(xù)發(fā)展的理念;建筑房地產(chǎn)項(xiàng)目雖然也占據(jù)了較為靠前的位置，但其整體比例并不高，體現(xiàn)了“住房不炒”的理念;但是農(nóng)林水利方面的項(xiàng)目數(shù)量明顯偏少，與鄉(xiāng)村振興戰(zhàn)略地位明顯不符。

（三）項(xiàng)目領(lǐng)域分析

18個(gè)月內(nèi)化學(xué)制品、生活污水、醫(yī)院、食品、設(shè)備制造5個(gè)領(lǐng)域位居擬在建項(xiàng)目的前5位，分別達(dá)11237、7795、7573、6988、6516項(xiàng)，占總數(shù)的23.8%，且前20個(gè)領(lǐng)域內(nèi)的項(xiàng)目建設(shè)已超過全部項(xiàng)目的50%，詳見圖5。

從圖5可以看出生活污水、環(huán)境綜合治理、污水、太陽(yáng)能發(fā)電、風(fēng)力發(fā)電、垃圾處理等于環(huán)保相關(guān)領(lǐng)域項(xiàng)目建設(shè)占據(jù)較大比例，說明社會(huì)發(fā)展在環(huán)保領(lǐng)域的持續(xù)發(fā)力。充電樁（680項(xiàng)）、5G建設(shè)（458項(xiàng)）、工業(yè)互聯(lián)網(wǎng)（257項(xiàng)）、大數(shù)據(jù)中心（184項(xiàng)）等新興領(lǐng)域則顯得投入不足。

五、結(jié)語

針對(duì)中項(xiàng)網(wǎng)項(xiàng)目發(fā)布信息，利用爬蟲技術(shù)設(shè)計(jì)了項(xiàng)目數(shù)據(jù)采集程序。分析采集到的2019年7月至2020年12月共18個(gè)月內(nèi)項(xiàng)目信息顯示，2020年下半年，我國(guó)項(xiàng)目建設(shè)活動(dòng)較2020年上半年有較大幅度增加，說明我國(guó)經(jīng)濟(jì)發(fā)展具有堅(jiān)實(shí)的基礎(chǔ)和頑強(qiáng)的韌勁;同時(shí)也應(yīng)注意到當(dāng)前項(xiàng)目建設(shè)投資動(dòng)向與國(guó)家發(fā)展方向大致相同，但是在一些行業(yè)和領(lǐng)域仍需政府機(jī)構(gòu)加強(qiáng)宏觀調(diào)控和政策引導(dǎo)。