浙江東方職業(yè)技術(shù)學(xué)院 鄭定超

隨著經(jīng)濟(jì)水平快速發(fā)展，垃圾產(chǎn)生的數(shù)量、速度也是一直在加快，如何進(jìn)行垃圾處理和回收成為急需解決的問題之一。傳統(tǒng)的投放垃圾回收終端設(shè)備需要龐大的資金以及政府的相關(guān)政策支持，難以可持續(xù)性發(fā)展。通過引入大數(shù)據(jù)技術(shù)，對海量的垃圾數(shù)據(jù)進(jìn)行分析處理，挖掘背后的數(shù)據(jù)價值，為有關(guān)政府部門、企業(yè)提供數(shù)據(jù)咨詢服務(wù)，吸引資金與政策支持，幫助解決垃圾處理問題，實現(xiàn)可持續(xù)發(fā)展。利用相關(guān)軟件技術(shù)設(shè)計一個“垃圾處理”大數(shù)據(jù)平臺，能夠進(jìn)行數(shù)據(jù)的分析與可視化，效果良好。

為了提高垃圾處理水平、改善生態(tài)環(huán)境，實現(xiàn)垃圾無害化和資源化處理，使經(jīng)濟(jì)發(fā)展具有可持續(xù)性，在垃圾分類治理中利用大數(shù)據(jù)技術(shù)。針對海量的“垃圾”相關(guān)數(shù)據(jù)，通過大數(shù)據(jù)技術(shù)進(jìn)行處理、存儲與分析，挖掘數(shù)據(jù)背后的價值，提供科學(xué)直觀的數(shù)據(jù)分析報告，讓政府及有關(guān)公司決策更加科學(xué)、準(zhǔn)確，使垃圾處理問題得到更加妥善的解決。實踐表明，大數(shù)據(jù)技術(shù)的利用能很好地提高垃圾的分類資源回收利用率。

1 相關(guān)技術(shù)

大數(shù)據(jù)（Big Data）是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。面對海量的數(shù)據(jù)信息，大數(shù)據(jù)技術(shù)包括數(shù)據(jù)獲取、清洗、存儲、分析與可視化，對數(shù)據(jù)進(jìn)行加工，實現(xiàn)數(shù)據(jù)的價值。大數(shù)據(jù)處理流程如圖1所示。

圖1 大數(shù)據(jù)處理流程

大數(shù)據(jù)的5V特點主要為大量（Volume）、高速（Velocity）、多樣（Variety）、低價值密度（Value）、真實性（Veracity）。

1.1 Hadoop分布式系統(tǒng)基礎(chǔ)架構(gòu)

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，用戶可以在不了解分布式底層細(xì)節(jié)的情況下開發(fā)分布式程序，充分利用集群進(jìn)行高速運算和存儲。Hadoop框架核心主要為HDFS（Hadoop Distributed File System）和MapReduce。HDFS實現(xiàn)海量數(shù)據(jù)的分布式存儲，MapReduce則是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。

分布式存儲系統(tǒng)是將數(shù)據(jù)分散存儲在多臺獨立的設(shè)備上。分布式網(wǎng)絡(luò)存儲系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺存儲服務(wù)器分擔(dān)存儲負(fù)荷，利用位置服務(wù)器定位存儲信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。

MapReduce的核心思想是“分而治之”。所謂“分而治之”就是把一個復(fù)雜的問題，按照一定的“分解”方法分為等價的規(guī)模較小的若干部分，然后逐個解決，分別找出各部分的結(jié)果，把各部分的結(jié)果組成整個問題的結(jié)果。

1.2 Flask Web框架

Flask是一個輕量級的可定制框架，使用Python語言編寫，較其他同類型框架更為靈活、輕便、安全且容易上手。Flask主要包括Werkzeug和Jinja2兩個核心函數(shù)庫。其中，Werkzeug庫支持URL路由請求集成，支持交互式Javascript調(diào)試，提高用戶體驗；其可處理HTTP基本事務(wù)，快速響應(yīng)客戶端推送過來的訪問請求；Jinja2庫支持自動HTML轉(zhuǎn)移功能，能夠很好控制外部黑客的腳本攻擊。

Flask的基本模式是在程序里將一個視圖函數(shù)分配給一個URL，每當(dāng)用戶訪問這個URL時，系統(tǒng)就會執(zhí)行給該URL分配好的視圖函數(shù)，獲取函數(shù)的返回值并將其顯示到瀏覽器上。

2 系統(tǒng)設(shè)計

本項目通過智能垃圾桶收集到相關(guān)的“垃圾”數(shù)據(jù)后，采用大數(shù)據(jù)技術(shù)進(jìn)行清洗、分析、存儲、可視化，生成“垃圾”報告，包含垃圾投放的數(shù)量、地點、時間、種類等信息，可以提供給相關(guān)政府或公司，幫助他們制定相關(guān)政策。比如：何時清運垃圾最好、哪些區(qū)域容易產(chǎn)生垃圾應(yīng)該重點治理、哪種垃圾產(chǎn)生最多等、對于可回收垃圾進(jìn)行及時有效回收等。大數(shù)據(jù)處理“垃圾數(shù)據(jù)”平臺方案的設(shè)計框圖如圖2所示。

圖2 “垃圾處理”大數(shù)據(jù)平臺

“垃圾處理”大數(shù)據(jù)平臺能夠?qū)ⅰ袄毙畔?shù)據(jù)上傳到Hadoop大數(shù)據(jù)平臺，然后采用MapReduce技術(shù)，在Hadoop平臺上直接用map函數(shù)和reduce函數(shù)進(jìn)行數(shù)據(jù)分析得到分析結(jié)果，最后用Python語言進(jìn)行可視化得到數(shù)據(jù)展示。

3 系統(tǒng)實現(xiàn)

項目通過智能垃圾桶收集“垃圾”相關(guān)的數(shù)據(jù)，選取了3個小區(qū)，歷時2個月，最終得到上萬條的“垃圾”數(shù)據(jù)，每條數(shù)據(jù)包括小區(qū)名稱、投放日期時間、垃圾名稱、類別等屬性。

3.1 數(shù)據(jù)分析處理

首先對收集到的數(shù)據(jù)進(jìn)行清洗和存入數(shù)據(jù)庫，然后根據(jù)信息的屬性分析制作了3種分析圖形。用條形圖表示不同小區(qū)在各類垃圾產(chǎn)生數(shù)量的比較，可以看出不同小區(qū)產(chǎn)生的各類垃圾的數(shù)量，相互之間可以比較，根據(jù)不同種類的垃圾數(shù)量，可以制定回收的策略。

用餅圖表示各小區(qū)產(chǎn)生垃圾占總垃圾數(shù)量的比例，可以得出哪個小區(qū)產(chǎn)生的垃圾最多，從而協(xié)調(diào)垃圾清運的次數(shù)。

用折線圖表示各個時間段產(chǎn)生的垃圾數(shù)量對比，可以分析出某個時間段產(chǎn)生的垃圾數(shù)量最多，從而判斷人們的活動越頻繁。

3.2 數(shù)據(jù)查詢

為了讓每條垃圾數(shù)據(jù)都有記錄可查，系統(tǒng)提供了模糊查詢功能，用戶輸入想要查詢的關(guān)鍵字，就會顯示所以的相關(guān)的垃圾數(shù)據(jù)，如圖3所示。

圖3 垃圾查詢

結(jié)論：每個人在生產(chǎn)生活中都會不可避免的產(chǎn)生垃圾，垃圾產(chǎn)生的數(shù)量、速度越來越快，如何有效的進(jìn)行垃圾處理、回收至關(guān)重要。在實際社會中，投放垃圾分類終端設(shè)備需要巨大的資金支持，因此除了垃圾分類回收的利潤之外，通過終端設(shè)備在分類回收垃圾時收集相關(guān)信息數(shù)據(jù)。在數(shù)字經(jīng)濟(jì)時代，城市居民的消費數(shù)據(jù)可以幫助相關(guān)企業(yè)優(yōu)化生產(chǎn)、物流、營銷、研發(fā)等工作，具有極大的商業(yè)價值。我們通過分析垃圾背后的數(shù)據(jù)，提供結(jié)論給政府、企業(yè)等相關(guān)部門，吸引投資，最終幫助我們解決垃圾問題。