亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        Python和FME下的疫情數(shù)據(jù)可視化

        2021-01-26 08:34:28譚仁春馬藝文陳俊偉
        地理空間信息 2021年1期
        關(guān)鍵詞:可視化疫情

        譚仁春,江 威*,馬藝文,陳俊偉

        (1.武漢市測(cè)繪研究院,湖北 武漢 430022;2.武漢市自然資源和規(guī)劃信息中心,湖北 武漢 430014;3.湖北金拓維信息技術(shù)有限公司,湖北 武漢 430223)

        時(shí)間和空間是現(xiàn)實(shí)世界最基本最重要的屬性,有研究表明,現(xiàn)實(shí)世界中的數(shù)據(jù)超過(guò)80%與地理位置有關(guān)[1]。地理信息系統(tǒng)(GIS)技術(shù)的出現(xiàn)和發(fā)展,為傳染病的研究工作提供了強(qiáng)有力的工具和獨(dú)特的研究方法[2]。3S 技術(shù)的發(fā)展與應(yīng)用,成為從時(shí)間和空間上跟蹤、監(jiān)測(cè)傳染病蔓延、傳播的重要手段,尤其是涉及大范圍、多因素的動(dòng)態(tài)研究,多源多時(shí)相多尺度的空間數(shù)據(jù)更能體現(xiàn)出其獨(dú)特優(yōu)勢(shì)[3]。3S 技術(shù)和時(shí)空大數(shù)據(jù)等信息化技術(shù)的高速發(fā)展和應(yīng)用,為傳統(tǒng)的各類公共衛(wèi)生信息和數(shù)據(jù)提供了豐富的分析方式和手段,改變了數(shù)據(jù)分析理論滯后和分析技術(shù)缺失的現(xiàn)狀,可以充分挖掘數(shù)據(jù)的隱含知識(shí)和潛在應(yīng)用價(jià)值。

        傳染病的防治和應(yīng)對(duì)是健康城市建設(shè)的重要方面[4]。在人口流動(dòng)不斷加快加大、全球重大傳染病疫情頻發(fā)的時(shí)代,傳染病預(yù)防控制工作已成為我國(guó)可持續(xù)發(fā)展工作的重要組成部分[5]。新型冠狀病毒肺炎是近百年來(lái)人類遭遇的影響范圍最廣的全球性大流行病,對(duì)全世界是一次嚴(yán)重危機(jī)和嚴(yán)峻考驗(yàn),人類生命安全和健康面臨重大威脅[6]。應(yīng)從數(shù)據(jù)分析的角度,對(duì)歷史數(shù)據(jù)進(jìn)行深入的結(jié)構(gòu)性分析,從中挖掘出具有社會(huì)意義和理論價(jià)值的知識(shí),作為決策的科學(xué)依據(jù)[7]。結(jié)合GIS 領(lǐng)域的中間件工具FME 和面向?qū)ο蟮淖匀婚_發(fā)語(yǔ)言Python,本文設(shè)計(jì)了一套獲取COVID-19 數(shù)據(jù)并繪制疫情地圖的算法流程,實(shí)現(xiàn)了疫情數(shù)據(jù)獲取、展示、發(fā)布和應(yīng)用的集成管理。

        1 技術(shù)路線

        FME 是空間數(shù)據(jù)轉(zhuǎn)換處理系統(tǒng),提供了完整的空間ETL 解決方案。ArcPy 是一個(gè)Python 站點(diǎn)包,通過(guò)Python 實(shí)現(xiàn)地理數(shù)據(jù)分析、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)管理和地圖自動(dòng)化。Anaconda 是一個(gè)用于科學(xué)計(jì)算的開源Python 發(fā)行版本,提供跨平臺(tái)的包管理和環(huán)境管理功能,可以很方便地解決多版本Python 并存、切換以及各種第三方包安裝問(wèn)題。在跨平臺(tái)整合方面,F(xiàn)ME Workbench 中可實(shí)現(xiàn)fmepython、ArcPy 和Anaconda 的集成,只需在模板調(diào)試時(shí)配置Python 編譯器分別指向Anaconda 和ArcPy 即可。由于fmepython 尚未封裝為獨(dú)立包,脫離FME Workbench 開發(fā)平臺(tái)和環(huán)境后,無(wú)法調(diào)用fmepython 和FME Workbench 中的轉(zhuǎn)換器。目前通過(guò)PyCharm 等IDE 支持ArcPy 和Anaconda 的集成,不能調(diào)用fmepython。

        結(jié)合現(xiàn)有的平臺(tái)軟件和專業(yè)化工具,本文設(shè)計(jì)了時(shí)空疫情大數(shù)據(jù)可視化技術(shù)路線,最終形成發(fā)布為Web 應(yīng)用的疫情時(shí)序變化地圖。技術(shù)路線包括數(shù)據(jù)抓取、數(shù)據(jù)清洗、數(shù)據(jù)可視化和疫情地圖發(fā)布4 個(gè)關(guān)鍵步驟,如圖1 所示。

        圖1 技術(shù)路線圖

        2 疫情數(shù)據(jù)抓取與清洗

        2.1 數(shù)據(jù)抓取

        基于Python 和FME,本文設(shè)計(jì)了疫情聚合數(shù)據(jù)抓取的兩條技術(shù)路線:①在FME Workbench 中調(diào)用Anaconda 抓取數(shù)據(jù),再結(jié)合fmepython 和其他轉(zhuǎn)換器進(jìn)行數(shù)據(jù)預(yù)處理和輸出;②在PyCharm 中調(diào)用Anaconda抓取數(shù)據(jù),保存為xls 格式或其他格式到本地。

        兩條技術(shù)路線均可從丁香園、騰訊網(wǎng)和其他發(fā)布網(wǎng)頁(yè)上爬取疫情數(shù)據(jù)。數(shù)據(jù)源不同解析時(shí)采用的方法略有不同,但核心步驟基本為:①網(wǎng)頁(yè)端獲取數(shù)據(jù);②JSON數(shù)據(jù)標(biāo)準(zhǔn)化;③解析JSON 數(shù)據(jù);④以xls 或其他格式輸出到本地。技術(shù)路線1 在網(wǎng)頁(yè)端獲取數(shù)據(jù)時(shí)采用HTTPCaller 和HTTPExtractor 轉(zhuǎn)換器,類似于PyCharm中調(diào)用Requests 包獲取網(wǎng)頁(yè)信息。JSONFragmenter 轉(zhuǎn)換器解析JSON 數(shù)據(jù)的思路與PyCharm 中調(diào)用JSON包一致。在數(shù)據(jù)輸出方面,F(xiàn)ME 直接寫出為xls 模塊,PyCharm 中則調(diào)用Pandas 進(jìn)行表格數(shù)據(jù)輸出。

        2.2 數(shù)據(jù)清洗

        數(shù)據(jù)是大數(shù)據(jù)技術(shù)的核心,進(jìn)行大數(shù)據(jù)挖掘分析與應(yīng)用時(shí)大量的工作是解決數(shù)據(jù)存在的數(shù)據(jù)質(zhì)量問(wèn)題[8]。數(shù)據(jù)清洗是數(shù)據(jù)質(zhì)量研究的起點(diǎn),是提高數(shù)據(jù)質(zhì)量的重要手段之一。數(shù)據(jù)清洗的目的是對(duì)海量冗余度較高的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化檢查,同時(shí)挖掘出后續(xù)數(shù)據(jù)分析和可視化等所必需的關(guān)鍵數(shù)據(jù)信息。疫情數(shù)據(jù)清洗包括時(shí)空數(shù)據(jù)一體化清洗和時(shí)空數(shù)據(jù)分省扇出。抓取到的疫情數(shù)據(jù)中存在時(shí)間和空間上的大量冗余,空間信息以省份名稱和城市名稱體現(xiàn),時(shí)間信息記錄在時(shí)間戳中。本文利用FME Workbench 中DateTime 相關(guān)轉(zhuǎn)換器和函數(shù)進(jìn)行數(shù)據(jù)清洗,主要流程為:①以省份和城市為組,按爬取時(shí)間排序;②利用DateTimeParse 函數(shù)輸出FME 格式的時(shí)間字符串;③利用DateTimeDiff 函數(shù)計(jì)算相鄰記錄的時(shí)間差;④過(guò)濾提取時(shí)間差值為1 或?yàn)榭盏挠涗洝?/p>

        時(shí)空數(shù)據(jù)一體化清洗后的數(shù)據(jù)為全國(guó)范圍的疫情數(shù)據(jù),結(jié)合省份名稱扇出數(shù)據(jù),最終形成各省份疫情專題數(shù)據(jù)。數(shù)據(jù)以FME 格式的日期字符串命名,便于后續(xù)進(jìn)行時(shí)空可視化展示。

        3 疫情數(shù)據(jù)可視化

        3.1 FME 疫情可視化

        FME Workbench 2019 中集成了Data Inspector,從而具備了數(shù)據(jù)可視化的能力。FME Workbench 中包含HTML ReportGenerator 和ChartGenerator 兩個(gè)轉(zhuǎn)換器,可用于數(shù)據(jù)成果的可視化展示。HTML ReportGenerator轉(zhuǎn)換器支持生成HTML 前端頁(yè)面,頁(yè)面中可嵌入折線圖Line、餅狀圖Pie、柱狀圖Bar 和地圖Map,也可結(jié)合具體需要進(jìn)行多種表現(xiàn)形式的展示,如圖2、3 所示。ChartGenerator 轉(zhuǎn)換器直接生成一個(gè)統(tǒng)計(jì)圖的柵格數(shù)據(jù),另存為jpg 或pdf 格式。

        圖2 廣東省現(xiàn)存確診餅狀圖(2020 年4 月12 日)

        圖3 廣東省治愈以及死亡柱狀圖(2020 年4 月12 日)

        3.2 Pyecharts 疫情可視化

        Echarts 是一個(gè)百度開源的數(shù)據(jù)可視化圖表庫(kù),憑借其良好的交互性、精巧的圖表設(shè)計(jì),得到了眾多開發(fā)者的認(rèn)可。Python 是一種富有表達(dá)力的語(yǔ)言,適用于數(shù)據(jù)處理。將數(shù)據(jù)分析與數(shù)據(jù)可視化相結(jié)合,用戶可通過(guò)設(shè)置全局配置項(xiàng)和系統(tǒng)配置項(xiàng)等輕松便捷地實(shí)現(xiàn)Pyecharts 的初始化和集成展示。

        本文利用2020 年3 月1 日-2020 年4 月18 日的疫情數(shù)據(jù)制作了湖北省COVID-19 疫情時(shí)序化地圖,動(dòng)態(tài)展示了湖北省各城市COVID-19 累計(jì)確診和現(xiàn)存確診情況,如圖4、5 所示。疫情時(shí)序化地圖(累計(jì)確診)由中間的地圖組件Map、底部的時(shí)間軸組件Timeline 和左下角旋轉(zhuǎn)后的柱狀圖Bar 組成。

        3.3 Streamlit 輕量級(jí)Web 應(yīng)用

        Streamlit 是第一個(gè)專門針對(duì)機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)團(tuán)隊(duì)的應(yīng)用開發(fā)框架,是開發(fā)自定義機(jī)器學(xué)習(xí)工具最快的方法。利用Streamlit 可搭建一個(gè)輕量級(jí)的Web 應(yīng)用,快速高效地集成展示COVID-19 疫情時(shí)序化地圖(圖6)。

        圖4 湖北省COVID-19 疫情時(shí)序化地圖(累計(jì)確診)

        圖5 湖北省COVID-19 疫情時(shí)序化地圖(現(xiàn)存確診)

        圖6 輕量級(jí)疫情可視化Web 應(yīng)用

        4 結(jié) 語(yǔ)

        COVID-19 疫情深刻影響著人類的發(fā)展進(jìn)程,在數(shù)據(jù)抗疫和科技抗疫技術(shù)理念的驅(qū)動(dòng)下,本文利用Python和FME 極大地提升了數(shù)據(jù)爬取、可視化、數(shù)據(jù)挖掘和分析的效率,并將疫情數(shù)據(jù)與手機(jī)信令等活動(dòng)軌跡大數(shù)據(jù)進(jìn)行融合,可模擬和預(yù)測(cè)疫情發(fā)展趨勢(shì)。

        猜你喜歡
        可視化疫情
        基于CiteSpace的足三里穴研究可視化分析
        戰(zhàn)疫情
        基于Power BI的油田注水運(yùn)行動(dòng)態(tài)分析與可視化展示
        云南化工(2021年8期)2021-12-21 06:37:54
        抗疫情 顯擔(dān)當(dāng)
        疫情中的我
        基于CGAL和OpenGL的海底地形三維可視化
        37°女人(2020年5期)2020-05-11 05:58:52
        “融評(píng)”:黨媒評(píng)論的可視化創(chuàng)新
        国产亚洲91精品色在线| 免费看国产精品久久久久| 久久视频在线视频精品 | 精品一区二区三区蜜桃麻豆| 女局长白白嫩嫩大屁股| 精品国产成人亚洲午夜福利| 无码高潮少妇毛多水多水免费| 青青草免费手机直播视频| 久久精品aⅴ无码中文字字幕| 色一情一区二| 成激情人妻视频| 国产一区二区免费在线视频| 国产精品一卡二卡三卡| 国内揄拍国内精品| 久久精品国产亚洲av桥本有菜| 91视色国内揄拍国内精品人妻| 美女把尿囗扒开让男人添| 好吊妞人成免费视频观看| 日本无吗一区二区视频| av熟妇一区二区三区| 亚洲av无码一区二区三区人妖| 无码天堂亚洲国产av麻豆| 蜜桃视频网址在线观看| 乱老年女人伦免费视频| 一道久在线无码加勒比| 亚洲综合久久一本久道| 日韩精品在线一二三四区| 大肉大捧一进一出视频 | 久久久精品人妻一区二区三区日本| 三级日韩视频在线观看| 亚洲精品www久久久| 国产成人精品自在线无码| 日本女优中文字幕有码| 电影内射视频免费观看| 国产又黄又猛又粗又爽的a片动漫| 久久久久久人妻一区二区无码Av | 亚洲国产精品日本无码网站 | 国产午夜福利在线播放| 人妻系列无码专区久久五月天 | 亚洲色无码中文字幕| 中文字幕影片免费人妻少妇|