亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        網(wǎng)絡(luò)爬蟲在擬在工程項(xiàng)目數(shù)據(jù)分析中的應(yīng)用

        2021-09-07 14:34:41張建根于耀祖
        科技風(fēng) 2021年19期
        關(guān)鍵詞:數(shù)據(jù)分析工程項(xiàng)目

        張建根 于耀祖

        關(guān)鍵詞:網(wǎng)絡(luò)爬蟲;工程項(xiàng)目;數(shù)據(jù)分析

        一、緒論

        工程項(xiàng)目建設(shè)是社會(huì)經(jīng)濟(jì)活動(dòng)的重要組成部分,反映社會(huì)基礎(chǔ)建設(shè)資金投入方向,如果一段時(shí)間內(nèi)社會(huì)資金集中投向某一行業(yè),說明該行業(yè)處于發(fā)展上升期間,反之,則說明該行業(yè)處于停滯甚至衰退期。因此工程項(xiàng)目建設(shè)是社會(huì)行業(yè)發(fā)展的晴雨表,甚至在一定程度上影響未來宏觀經(jīng)濟(jì)運(yùn)行趨勢(shì),所以對(duì)擬在建工程項(xiàng)目的統(tǒng)計(jì)分析不僅對(duì)社會(huì)企業(yè)發(fā)展,而且對(duì)社會(huì)治理都具有十分重要的意義。

        中項(xiàng)網(wǎng)(https://www.ecpe360.corn/)依靠健全的信息渠道和強(qiáng)大的信息收集加工能力,經(jīng)驗(yàn)豐富的強(qiáng)大調(diào)研跟蹤團(tuán)隊(duì)和扎實(shí)的團(tuán)隊(duì)作風(fēng),采集一線實(shí)際項(xiàng)目投資建設(shè)實(shí)況數(shù)據(jù),形成了全面系統(tǒng)、精準(zhǔn)高效的擬在建項(xiàng)目信息匯總發(fā)布平臺(tái)。本文通過爬蟲技術(shù)對(duì)中項(xiàng)網(wǎng)項(xiàng)目信息進(jìn)行抓取,并對(duì)項(xiàng)目數(shù)據(jù)進(jìn)行匯總分析,以期對(duì)行業(yè)分析、區(qū)域發(fā)展、社會(huì)治理提供一定的幫助。

        二、相關(guān)技術(shù)介紹

        網(wǎng)絡(luò)爬蟲是一種按照提前設(shè)定好的規(guī)則,自動(dòng)地抓取互聯(lián)網(wǎng)信息的程序或者腳本。從互聯(lián)網(wǎng)網(wǎng)站抓取公開信息并保存至本地?cái)?shù)據(jù)庫(kù),從而解決難以大量獲取互聯(lián)網(wǎng)數(shù)據(jù)的困難。最初被用于搜索引擎抓取網(wǎng)站數(shù)據(jù)。而在當(dāng)今信息化時(shí)代,得數(shù)據(jù)者得天下。因此網(wǎng)絡(luò)爬蟲廣泛用于各種互聯(lián)網(wǎng)應(yīng)用。一方面,網(wǎng)絡(luò)爬蟲使數(shù)據(jù)獲取變得容易;但另一方面,網(wǎng)絡(luò)爬蟲不僅消耗公共網(wǎng)絡(luò)資源,而且損害互聯(lián)網(wǎng)服務(wù)站點(diǎn),被爬取的服務(wù)站點(diǎn)需要消耗大量的物理資源應(yīng)對(duì)網(wǎng)絡(luò)爬蟲,甚至發(fā)生宕機(jī)事故。因此一些網(wǎng)站采取措施防止被網(wǎng)絡(luò)爬蟲,比如驗(yàn)證碼、IP限制、用戶行為檢測(cè)、JS渲染等。網(wǎng)絡(luò)爬蟲技術(shù)在數(shù)據(jù)量爆發(fā)式增長(zhǎng)的機(jī)遇和反爬蟲制約的挑戰(zhàn)雙重環(huán)境下不斷發(fā)展,促生了大量應(yīng)用框架的誕生。

        Python是一個(gè)高層次腳本語言,具有解釋性、編譯性、互動(dòng)性和面向?qū)ο蟆⒖缙脚_(tái)等特點(diǎn),已經(jīng)成為一種非常流行的計(jì)算機(jī)程序設(shè)計(jì)語言。因其開源、簡(jiǎn)單、易學(xué)、可移植、可擴(kuò)展、易維護(hù)的特點(diǎn),催生了多種網(wǎng)絡(luò)爬蟲框架,例如:Scrapy、Crawley、Portia、Newspaper、Python-goose。其中,最為流行的開源框架是Scrapy,可以快速、簡(jiǎn)單、高效的爬取Web頁(yè)面并提取出結(jié)構(gòu)化數(shù)據(jù),已經(jīng)被廣泛用于各類應(yīng)用。

        三、工程項(xiàng)目信息爬取

        本文爬取的項(xiàng)目信息為中項(xiàng)網(wǎng)項(xiàng)目信息(https://www.ccpc360.com/xiangmu/),上述頁(yè)面采用表格方式展現(xiàn)項(xiàng)目的基本信息,包括項(xiàng)目名稱、領(lǐng)域類型、地區(qū)、投資金額(萬元)、進(jìn)展階段、行業(yè)/類型、發(fā)布時(shí)間等內(nèi)容。由于項(xiàng)目信息條數(shù)太多,不利于在單一頁(yè)面展現(xiàn),該頁(yè)面采用了分頁(yè)技術(shù)。項(xiàng)目信息爬取是指由程序自動(dòng)獲取項(xiàng)目信息的過程,其流程圖如圖1所示:

        四、工程項(xiàng)目信息分析

        本文爬取2019年7月至2020年12月18個(gè)月內(nèi)中項(xiàng)網(wǎng)發(fā)布的項(xiàng)目信息(如圖2所示),共17061項(xiàng)條,去除848項(xiàng)境外項(xiàng)目,剩余169769項(xiàng)國(guó)內(nèi)項(xiàng)目,分別處于土建施工、施工圖設(shè)計(jì)、施工招標(biāo)、設(shè)計(jì)招標(biāo)、暫停、取消等共27個(gè)進(jìn)展階段,其中處于取消階段項(xiàng)目535項(xiàng),處于暫停階段項(xiàng)目476項(xiàng),去除以上兩項(xiàng)無效階段項(xiàng)目,國(guó)內(nèi)有效項(xiàng)目共168758項(xiàng)。項(xiàng)目屬地覆蓋東北、華北、華東、華南、華中、西北、西南七大區(qū)域;項(xiàng)目分屬輕工紡織食品、石油化學(xué)工程、機(jī)械電子電器、電力、環(huán)保、能源工業(yè)、制藥工程、倉(cāng)儲(chǔ)物流、建筑房地產(chǎn)、建材、市政、冶金礦產(chǎn)、農(nóng)林水利、交通設(shè)施等20個(gè)行業(yè)分類;涉及碼頭港口、水庫(kù)、鐵路、醫(yī)院、食品、設(shè)備制造風(fēng)力發(fā)電、污水等243個(gè)領(lǐng)域。

        (一)項(xiàng)目區(qū)域分析

        18個(gè)月內(nèi)東北、華北、華東、華南、華中、西北、西南七大區(qū)域項(xiàng)目數(shù)分別為:8604項(xiàng)、24846項(xiàng)、55812項(xiàng)、17113項(xiàng)、27852項(xiàng)、13133項(xiàng)和21398項(xiàng)??梢钥闯鋈A東擬在建項(xiàng)目數(shù)最多,這與華東地區(qū)經(jīng)濟(jì)發(fā)達(dá),市場(chǎng)活動(dòng)活躍有直接關(guān)系;東北地區(qū)擬在建項(xiàng)目數(shù)最少,這與東北地區(qū)近年來經(jīng)濟(jì)發(fā)展速度較慢,市場(chǎng)經(jīng)濟(jì)活動(dòng)較少相關(guān)。

        從圖3可以看出,各地區(qū)在2020年上半年擬在建項(xiàng)目數(shù)量均有不同程度下降。2020年下半年經(jīng)濟(jì)復(fù)蘇,市場(chǎng)行為開始活躍,因此擬在建項(xiàng)目數(shù)量開始增加。明顯可以看出華東地區(qū)在擬在建項(xiàng)目基數(shù)較大的情況下,仍實(shí)現(xiàn)了最快的增長(zhǎng)率,反映出華東地區(qū)經(jīng)濟(jì)基礎(chǔ)好,市場(chǎng)成熟度高,經(jīng)營(yíng)主體活躍等特點(diǎn)。

        (二)項(xiàng)目行業(yè)分析

        18個(gè)月內(nèi)環(huán)保、輕工紡織食品、石油化工工程、電力、機(jī)械電子電器五類行業(yè)位居擬在建項(xiàng)目的前五位,分別達(dá)到24692、20372、18938、18447、16973項(xiàng),占項(xiàng)目總數(shù)的58.91%,詳見圖4。

        從圖4可以看出環(huán)保在項(xiàng)目建設(shè)中占據(jù)了首要位置,充分體現(xiàn)了綠色發(fā)展、持續(xù)發(fā)展的理念;建筑房地產(chǎn)項(xiàng)目雖然也占據(jù)了較為靠前的位置,但其整體比例并不高,體現(xiàn)了“住房不炒”的理念;但是農(nóng)林水利方面的項(xiàng)目數(shù)量明顯偏少,與鄉(xiāng)村振興戰(zhàn)略地位明顯不符。

        (三)項(xiàng)目領(lǐng)域分析

        18個(gè)月內(nèi)化學(xué)制品、生活污水、醫(yī)院、食品、設(shè)備制造5個(gè)領(lǐng)域位居擬在建項(xiàng)目的前5位,分別達(dá)11237、7795、7573、6988、6516項(xiàng),占總數(shù)的23.8%,且前20個(gè)領(lǐng)域內(nèi)的項(xiàng)目建設(shè)已超過全部項(xiàng)目的50%,詳見圖5。

        從圖5可以看出生活污水、環(huán)境綜合治理、污水、太陽(yáng)能發(fā)電、風(fēng)力發(fā)電、垃圾處理等于環(huán)保相關(guān)領(lǐng)域項(xiàng)目建設(shè)占據(jù)較大比例,說明社會(huì)發(fā)展在環(huán)保領(lǐng)域的持續(xù)發(fā)力。充電樁(680項(xiàng))、5G建設(shè)(458項(xiàng))、工業(yè)互聯(lián)網(wǎng)(257項(xiàng))、大數(shù)據(jù)中心(184項(xiàng))等新興領(lǐng)域則顯得投入不足。

        五、結(jié)語

        針對(duì)中項(xiàng)網(wǎng)項(xiàng)目發(fā)布信息,利用爬蟲技術(shù)設(shè)計(jì)了項(xiàng)目數(shù)據(jù)采集程序。分析采集到的2019年7月至2020年12月共18個(gè)月內(nèi)項(xiàng)目信息顯示,2020年下半年,我國(guó)項(xiàng)目建設(shè)活動(dòng)較2020年上半年有較大幅度增加,說明我國(guó)經(jīng)濟(jì)發(fā)展具有堅(jiān)實(shí)的基礎(chǔ)和頑強(qiáng)的韌勁;同時(shí)也應(yīng)注意到當(dāng)前項(xiàng)目建設(shè)投資動(dòng)向與國(guó)家發(fā)展方向大致相同,但是在一些行業(yè)和領(lǐng)域仍需政府機(jī)構(gòu)加強(qiáng)宏觀調(diào)控和政策引導(dǎo)。

        猜你喜歡
        數(shù)據(jù)分析工程項(xiàng)目
        工程項(xiàng)目造價(jià)控制中常見問題的探討
        江西建材(2018年1期)2018-04-04 05:26:40
        我校如何利用體育大課間活動(dòng)解決男生引體向上這個(gè)薄弱環(huán)節(jié)
        Excel電子表格在財(cái)務(wù)日常工作中的應(yīng)用
        淺析大數(shù)據(jù)時(shí)代背景下的市場(chǎng)營(yíng)銷策略
        新常態(tài)下集團(tuán)公司內(nèi)部審計(jì)工作研究
        淺析大數(shù)據(jù)時(shí)代對(duì)企業(yè)營(yíng)銷模式的影響
        基于讀者到館行為數(shù)據(jù)分析的高校圖書館服務(wù)優(yōu)化建議
        科技視界(2016年22期)2016-10-18 14:37:36
        加強(qiáng)工程項(xiàng)目檔案管理的有效途徑
        成套集團(tuán)工程項(xiàng)目管理模式的實(shí)踐和探索
        工程項(xiàng)目管理模式的特征分析與選擇
        国产a国产片国产| 国产极品嫩模大尺度在线播放| 亚洲女同一区二区三区| 麻豆国产精品久久人妻| 国语自产偷拍精品视频偷| 久久无码一一区| 国产一区二区在线观看av| av在线观看一区二区三区| 国产麻豆md传媒视频| 亚洲av日韩av综合aⅴxxx| 亚洲视频观看一区二区| 无码专区人妻系列日韩精品 | 人妻有码中文字幕在线不卡| 亚洲av网一区二区三区成人| 国产三级在线观看完整版| 亚洲av日韩av无码av| 日韩不卡无码三区| 国内嫩模自拍偷拍视频| 少妇高潮流白浆在线观看 | 国产精品美女一级在线观看| 蜜桃av中文字幕在线观看| 国产偷国产偷精品高清尤物| 成年视频国产免费观看| 黑人免费一区二区三区| 91精品亚洲成人一区二区三区| 色噜噜狠狠一区二区三区果冻| 999精品免费视频观看| 国产一区二区熟女精品免费| 国产亚洲精品久久久闺蜜| 日韩黑人欧美在线视频观看| 国产精品污一区二区三区在线观看 | 18成人片黄网站www| www.五月激情| 国产91精品在线观看| 狠狠躁天天躁中文字幕| 伊人一道本| 国产激情小视频在线观看的| 草色噜噜噜av在线观看香蕉| 国产黑色丝袜在线观看下| 国模一区二区三区白浆| 国产一区二区三区日韩精品|