吳燕

摘 要 隨著社會(huì)快速發(fā)展、人口數(shù)量不斷增長(zhǎng)，空氣質(zhì)量問(wèn)題越來(lái)越突出。本文以寧夏石嘴山地區(qū)空氣質(zhì)量為研究?jī)?nèi)容，通過(guò)Python語(yǔ)言的網(wǎng)絡(luò)爬蟲(chóng)技術(shù)完成該地區(qū)近八年來(lái)的歷史數(shù)據(jù)的獲取，并對(duì)數(shù)據(jù)進(jìn)行清洗、處理，最后通過(guò)HTML語(yǔ)言、JS語(yǔ)言、Echarts等技術(shù)實(shí)現(xiàn)對(duì)數(shù)據(jù)的加載和可視化等功能。完成后的系統(tǒng)，界面友好、數(shù)據(jù)分析準(zhǔn)確度高、統(tǒng)計(jì)功能較完備、分析結(jié)果展示人性化，為石嘴山地區(qū)的環(huán)境保護(hù)提供一系列決策依據(jù)。

關(guān)鍵詞 空氣質(zhì)量 數(shù)據(jù)爬取 可視化

中圖分類號(hào)：X51 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-0745（2021）10-0026-03

1 研究背景及意義

空氣質(zhì)量與人們的生活和健康息息相關(guān)，不論在室內(nèi)還是室外，人們的生活都離不開(kāi)空氣。我國(guó)自90年代以來(lái)，已建成5000多個(gè)環(huán)境空氣質(zhì)量監(jiān)測(cè)點(diǎn)，其中涉及到的有從縣、到市、到省最后到國(guó)家。從監(jiān)測(cè)功能上講，涵蓋城市環(huán)境空氣質(zhì)量監(jiān)測(cè)、區(qū)域環(huán)境空氣質(zhì)量監(jiān)測(cè)、背景環(huán)境空氣質(zhì)量監(jiān)測(cè)，還包括溫室氣體、酸雨、沙塵影響空氣質(zhì)量監(jiān)測(cè)等[1]。同時(shí)基于物聯(lián)網(wǎng)技術(shù)、互聯(lián)網(wǎng)、網(wǎng)絡(luò)爬取技術(shù)等應(yīng)用將不同類型、不同地域的監(jiān)測(cè)點(diǎn)的數(shù)據(jù)實(shí)時(shí)匯總至國(guó)家氣象局并進(jìn)行實(shí)時(shí)分析和統(tǒng)計(jì)，數(shù)據(jù)對(duì)民眾開(kāi)放。

寧夏石嘴山市是傳統(tǒng)的資源依賴型城市，形成了以煤炭、冶金、機(jī)械、化工、陶瓷等多類非常齊全的重工業(yè)體系。石嘴山市地處寧夏回族自治區(qū)最北端，緊靠?jī)?nèi)蒙古地區(qū)。蒸發(fā)強(qiáng)烈、空氣干燥，年平均降水量不到蒸發(fā)量的十分之一。多年來(lái)快速的工業(yè)化發(fā)展進(jìn)程，雖然帶來(lái)了經(jīng)濟(jì)體量的提升和該地區(qū)人們物質(zhì)生活質(zhì)量的提升，但同時(shí)也帶來(lái)了嚴(yán)重的空氣污染問(wèn)題。

基于當(dāng)前石嘴山地區(qū)的空氣質(zhì)量監(jiān)測(cè)已經(jīng)較為完整的情況，本文通過(guò)對(duì)該地區(qū)自2013年至今的所有空氣質(zhì)量數(shù)據(jù)、境內(nèi)企業(yè)相關(guān)數(shù)據(jù)、城市周邊環(huán)境數(shù)據(jù)等進(jìn)行數(shù)據(jù)獲取和數(shù)據(jù)分析。選取合適的數(shù)據(jù)分析方法和可視化技術(shù)，設(shè)計(jì)具有實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)、PM2.5濃度分析、AQI指數(shù)分析的空氣質(zhì)量分析系統(tǒng)，該系統(tǒng)能夠在一定程度上具有自動(dòng)化、網(wǎng)絡(luò)化等特點(diǎn)。通過(guò)對(duì)影響空氣質(zhì)量的各種因子（如PM2.5、SO2、NO2、CO、O3）的數(shù)據(jù)分析結(jié)果為為政府部門(mén)制訂空氣質(zhì)量提升政策提供依據(jù)。

2 需求分析

2.1 對(duì)石嘴山地區(qū)空氣質(zhì)量數(shù)據(jù)進(jìn)行實(shí)時(shí)采集，并在此基礎(chǔ)上進(jìn)行相關(guān)數(shù)據(jù)分析

通過(guò)獲取石嘴山地區(qū)空氣質(zhì)量實(shí)時(shí)數(shù)據(jù)，分別采用圖形UI、監(jiān)測(cè)點(diǎn)數(shù)據(jù)列表的方式展示24小時(shí)內(nèi)的AQI指數(shù)趨勢(shì)。

2.2 基于歷史數(shù)據(jù)進(jìn)行相關(guān)分析與結(jié)果展示

數(shù)據(jù)統(tǒng)計(jì)分析模塊采用多樣化的圖表展示，根據(jù)獲取數(shù)據(jù)的內(nèi)容，統(tǒng)計(jì)分析模塊包括對(duì)歷年數(shù)據(jù)的整體統(tǒng)計(jì)（可以使用PM2.5或AQI指數(shù)），對(duì)比多年來(lái)的數(shù)據(jù)均值，以直觀對(duì)比年度數(shù)據(jù)。

2.3 繪制2021年以來(lái)PM2.5數(shù)據(jù)折線圖，直觀展示空氣質(zhì)量走勢(shì)

為更加直觀的了解到歷年來(lái)空氣質(zhì)量高點(diǎn)變化情況，對(duì)歷年數(shù)據(jù)中AQI指數(shù)>50的數(shù)值進(jìn)行統(tǒng)計(jì)展示。

3 系統(tǒng)可行性分析

3.1 經(jīng)濟(jì)可行性

系統(tǒng)設(shè)計(jì)開(kāi)發(fā)對(duì)硬件要求需求不高，所需開(kāi)發(fā)工具均為開(kāi)源，無(wú)需過(guò)多支出，因此在開(kāi)發(fā)階段實(shí)現(xiàn)了經(jīng)濟(jì)可行。

3.2 技術(shù)可行性

系統(tǒng)實(shí)現(xiàn)過(guò)程所需相關(guān)技術(shù)主要涉及到的有Python語(yǔ)言、CSS和成熟的網(wǎng)頁(yè)解析技術(shù)以及數(shù)據(jù)庫(kù)等技術(shù)[2]，均為市場(chǎng)成熟技術(shù)且被開(kāi)發(fā)者熟練掌握，因此實(shí)現(xiàn)了技術(shù)可行。

3.3 操作可行性

該系統(tǒng)布局簡(jiǎn)單、操作簡(jiǎn)便、互動(dòng)性強(qiáng)，便于用戶使用，因此實(shí)現(xiàn)了操作可行。

4 系統(tǒng)總體設(shè)計(jì)

石嘴山市空氣質(zhì)量分析系統(tǒng)包括實(shí)時(shí)數(shù)據(jù)可視化管理模塊、歷史數(shù)據(jù)可視化管理模塊兩大模塊，每個(gè)模塊下又包含若干子模塊，具體內(nèi)容如下圖1所示。

4.1 實(shí)時(shí)數(shù)據(jù)分析與展示模塊設(shè)計(jì)

該模塊分為數(shù)據(jù)獲取、圖形化數(shù)據(jù)展示、AQI數(shù)據(jù)可視化三個(gè)子模塊。

4.2 歷史數(shù)據(jù)分析與展示模塊設(shè)計(jì)

該模塊分為歷史數(shù)據(jù)列表展示、歷史數(shù)據(jù)分析、歷史數(shù)據(jù)可視化三個(gè)子模塊。

5 系統(tǒng)數(shù)據(jù)庫(kù)設(shè)計(jì)

根據(jù)系統(tǒng)需求分析，本文所實(shí)現(xiàn)的系統(tǒng)在滿足功能設(shè)計(jì)的基礎(chǔ)上，數(shù)據(jù)庫(kù)包含實(shí)時(shí)數(shù)據(jù)管理表、歷史數(shù)據(jù)管理表。

5.1 數(shù)據(jù)庫(kù)E-R圖設(shè)計(jì)

空氣質(zhì)量管理主要有城市、空氣質(zhì)量、監(jiān)測(cè)站點(diǎn)等實(shí)體，城市信息實(shí)體的屬性有ID、名稱?？諝赓|(zhì)量實(shí)體的屬性有二氧化硫、監(jiān)測(cè)站點(diǎn)名稱、監(jiān)測(cè)時(shí)間、空氣質(zhì)量指數(shù)、AQI等信息。監(jiān)測(cè)站實(shí)體包括監(jiān)測(cè)站名稱、監(jiān)測(cè)ID等信息。相關(guān)E-R圖，如圖2所示。

5.2 數(shù)據(jù)庫(kù)邏輯結(jié)構(gòu)設(shè)計(jì)

數(shù)據(jù)庫(kù)邏輯結(jié)構(gòu)設(shè)計(jì)就是把概念結(jié)構(gòu)設(shè)計(jì)階段完成的實(shí)體-關(guān)系圖轉(zhuǎn)化為與選用數(shù)據(jù)庫(kù)管理系統(tǒng)產(chǎn)品所支持的數(shù)據(jù)模型相符合的邏輯結(jié)構(gòu)。本系統(tǒng)數(shù)據(jù)庫(kù)包含實(shí)時(shí)空氣質(zhì)量表與歷史空氣質(zhì)量表。

6 基于網(wǎng)絡(luò)爬蟲(chóng)與API的數(shù)據(jù)獲取實(shí)現(xiàn)

通過(guò)網(wǎng)絡(luò)爬取來(lái)獲取網(wǎng)頁(yè)中包含的數(shù)據(jù)，從而獲取歷史空氣質(zhì)量。通過(guò)開(kāi)發(fā)者工具分析網(wǎng)頁(yè)結(jié)構(gòu)，所獲取的數(shù)據(jù)是以半結(jié)構(gòu)化（HTML）的格式存在于該網(wǎng)站，主要獲取的字段包括日期、質(zhì)量等級(jí)、AQI指數(shù)、當(dāng)天AQI排名、PM2.5、二氧化硫、二氧化氮、一氧化碳、臭氧等。

通過(guò)API（應(yīng)用程序編程接口）可以更為便捷地獲取目標(biāo)地區(qū)的空氣質(zhì)量數(shù)據(jù)，如AQI指數(shù)、空氣質(zhì)量等級(jí)等。該接口調(diào)用由Python的請(qǐng)求庫(kù)訪問(wèn)，一般為get或post請(qǐng)求[3]。請(qǐng)求返回結(jié)果以JSON格式解析，經(jīng)提取數(shù)據(jù)后存入到數(shù)據(jù)庫(kù)中。

7 數(shù)據(jù)分析過(guò)程及結(jié)果

7.1 歷史空氣數(shù)據(jù)的獲取

空氣質(zhì)量數(shù)據(jù)的獲取通過(guò)爬取目標(biāo)網(wǎng)站“天氣網(wǎng)”中的石嘴山市所有發(fā)布的空氣質(zhì)量監(jiān)測(cè)的數(shù)據(jù)，存儲(chǔ)于MYSQL數(shù)據(jù)庫(kù)中，通過(guò)JSON轉(zhuǎn)換等加載到前臺(tái)界面中。

7.2 歷史空氣質(zhì)量數(shù)據(jù)列表化展示

該列表支持用戶自動(dòng)設(shè)置界面每次展示多少條數(shù)據(jù)、界面上翻和下翻的后臺(tái)服務(wù)端分頁(yè)的功能。

7.3 歷史空氣質(zhì)量數(shù)據(jù)可視化展示

數(shù)據(jù)統(tǒng)計(jì)分析模塊采用多樣化的圖表展示，幫助用戶直觀了解過(guò)去以及現(xiàn)在空氣質(zhì)量指數(shù)以及PM2.5的變化情況及趨勢(shì)[4]。

根據(jù)本系統(tǒng)的數(shù)據(jù)獲取的內(nèi)容，數(shù)據(jù)統(tǒng)計(jì)分析模塊應(yīng)包括對(duì)歷年來(lái)獲取的數(shù)據(jù)整體統(tǒng)計(jì)（可使用PM2.5或AQI指數(shù)），并通過(guò)對(duì)比多年來(lái)的數(shù)據(jù)均值，以直觀查看各年度數(shù)據(jù)。

7.4 數(shù)據(jù)分析結(jié)論

根據(jù)均值對(duì)比圖統(tǒng)計(jì)，可知：2014年到2017年底，石嘴山市的PM2.5濃度一直較高。結(jié)合相關(guān)資料調(diào)查，這是由于石嘴山市在2018年前推動(dòng)大氣污染治理還未取得較好效果，境內(nèi)以煤炭為主的生產(chǎn)加工企業(yè)較多。從2018年開(kāi)始PM2.5濃度明顯下降，說(shuō)明政府以及民眾的重視度提高，采取很大力度的措施得到顯著的效果。但是2020年P(guān)M2.5又有了上升的趨勢(shì)，是由于靜穩(wěn)天氣的影響使得一月份PM2.5有升高的趨勢(shì)，從而影響了整年度的PM2.5值。

從2021年變化走勢(shì)圖可知：2021年P(guān)M2.5濃度總體有所改善，僅有個(gè)別幾天有明顯上升的趨勢(shì)。以3月15日為例，石嘴山市出現(xiàn)大范圍沙塵暴天氣，嚴(yán)重是影響空氣質(zhì)量。

結(jié)論：對(duì)比2013年到2021年3月份空氣質(zhì)量指數(shù)數(shù)據(jù)顯示，以AQI指數(shù)為衡量標(biāo)準(zhǔn)，石嘴山市2018年以前的空氣質(zhì)量大于50的天氣比較密集也比較多，從2018年以后污染情況逐漸改善。

8 結(jié)語(yǔ)

隨著人們對(duì)空氣污染問(wèn)題的重視度越來(lái)越高，空氣質(zhì)量在逐漸改善，基于該系統(tǒng)的實(shí)現(xiàn)，相信在以后的發(fā)展中，空氣監(jiān)測(cè)系統(tǒng)會(huì)越來(lái)越完善，會(huì)通過(guò)歷史數(shù)據(jù)作出分析、預(yù)測(cè)，為監(jiān)測(cè)人員提供依據(jù)。

總體而言，系統(tǒng)功能完備、界面交互性強(qiáng)，具有非常好的社會(huì)價(jià)值和使用意義。通過(guò)Bootstrap、CSS使界面更加美觀，并減少開(kāi)發(fā)所需時(shí)間，提高開(kāi)發(fā)效率。隨著人們對(duì)空氣污染問(wèn)題的重視度越來(lái)越高，空氣質(zhì)量在逐漸改善，基于該系統(tǒng)的實(shí)現(xiàn)，相信在以后的發(fā)展中，空氣監(jiān)測(cè)系統(tǒng)會(huì)越來(lái)越完善，會(huì)通過(guò)歷史數(shù)據(jù)作出分析、預(yù)測(cè)，為監(jiān)測(cè)人員提供依據(jù)。

參考文獻(xiàn)：

[1] 劉姝童，劉詩(shī)嬌，夏鳴，梁鈺薇，姚婷瑋.天津機(jī)場(chǎng)運(yùn)行對(duì)區(qū)域空氣質(zhì)量影響評(píng)估研究[J].科技風(fēng)，2021（09）：141-144.

[2] 司桂靜，崔向前，鄒坤，戚昭岳.基于Python和Django實(shí)現(xiàn)城域網(wǎng)流量統(tǒng)計(jì)監(jiān)控系統(tǒng)[J].山東通信技術(shù)，2020，40（01）： 26-27.

[3] 白昌盛.基于Django的Python Web開(kāi)發(fā)[J].信息與電腦（理論版），2019，31（24）：37-40.

[4] 李錦華，孫萌，陳緣，呂海波.2014-2020年渭南市霧霾發(fā)展?fàn)顩r分析[J].科學(xué)咨詢（科技·管理），2021（03）：70-71.