□黃啟航 曾廣新 謝建行 趙 永

（海南易鼎天成電子科技有限公司 海南 571100）

基于Hadoop農(nóng)產(chǎn)品價格分析平臺

□黃啟航 曾廣新 謝建行 趙 永

（海南易鼎天成電子科技有限公司 海南 571100）

農(nóng)產(chǎn)品價格分析平臺是基于Hadoop分布式文件系統(tǒng)和并行計算方法設(shè)計的大數(shù)據(jù)背景下海南農(nóng)產(chǎn)品價格分析及預(yù)測平臺，主要是針對海南農(nóng)產(chǎn)品歷史價格信息及氣候或自然災(zāi)害等影響價格波動的因素進(jìn)行大數(shù)據(jù)分析，并預(yù)測未來幾天的價格波動趨勢，從而達(dá)到價格預(yù)警的作用，并為相關(guān)部門提供決策支持。

農(nóng)產(chǎn)品；大數(shù)據(jù)；分析預(yù)測；數(shù)據(jù)分析；hadoop

近年來，農(nóng)產(chǎn)品價格的大幅度上升和頻繁波動，成為影響了農(nóng)業(yè)生產(chǎn)者決策又影響了消費(fèi)者生活的重大經(jīng)濟(jì)問題。為了保障生活質(zhì)量，對農(nóng)產(chǎn)品價格波動要做出預(yù)測和防范，對未來農(nóng)產(chǎn)品價格波動做出分析，才能夠很好的防范市場價格的變動，生活質(zhì)量才得以保障。如何對農(nóng)產(chǎn)品價格分析就成為本次討論的課題，首先，要深入多個區(qū)域的市場調(diào)查，找出影響農(nóng)產(chǎn)品價格的因素，把各類因素進(jìn)行統(tǒng)計，根據(jù)各影響因素的數(shù)據(jù)進(jìn)行分析運(yùn)算，最后得出未來農(nóng)產(chǎn)品價格的趨向波動。

1 分析農(nóng)產(chǎn)品價格背景

隨著社會突飛猛進(jìn)的發(fā)展，農(nóng)產(chǎn)品需求不僅僅表現(xiàn)在食用上，飼料使用、酒精、淀粉等工業(yè)深加工所占比重逐步增加，農(nóng)產(chǎn)品的用途是越來越廣，如果在產(chǎn)量方面出現(xiàn)了缺失將會大大影響到農(nóng)產(chǎn)品的價格波動。據(jù)相關(guān)數(shù)據(jù)表明，2015年海南省海口市出現(xiàn)空心菜二十五元一斤、香菜三十元一斤等農(nóng)產(chǎn)品價格波動較高的現(xiàn)象，已經(jīng)打破了人們常識中肉比菜貴的印象，對于這些突如其來的價格是難以理解和無法接受的。然而有時候農(nóng)產(chǎn)品的價格又過于低落，在過去，市場上曾經(jīng)出現(xiàn)過一毛錢一斤的白菜還無人問津，這樣的現(xiàn)象對于菜農(nóng)來說是很大的打擊。因此，菜貴傷民、菜賤傷農(nóng)，農(nóng)產(chǎn)品價格的頻繁波動會直接影響到人們的生活，為了防止菜貴傷民、菜賤傷農(nóng)現(xiàn)象的發(fā)生，所以，分析農(nóng)產(chǎn)品價格、抓住農(nóng)產(chǎn)品價格走向是當(dāng)今急需解決的問題。

2 如何分析農(nóng)產(chǎn)品價格

要對農(nóng)產(chǎn)品價格進(jìn)行分析就要找出影響農(nóng)產(chǎn)品價格的因素，根據(jù)影響因素的歷史數(shù)據(jù)為依據(jù)，結(jié)合相關(guān)算法，分析得出結(jié)果。影響到農(nóng)產(chǎn)品價格的因素有很多，如：產(chǎn)量、氣象、品種類型等，各個地區(qū)相同的農(nóng)產(chǎn)品在價格上也有差異，要對各個地區(qū)的農(nóng)產(chǎn)品價格進(jìn)行分析，就要收集各個地區(qū)的歷史農(nóng)產(chǎn)品產(chǎn)量數(shù)據(jù)信息、歷史氣象數(shù)據(jù)信息和歷史品種價格數(shù)據(jù)信息，這些信息量的特點(diǎn)是規(guī)模巨大，一般分布比較分散，分布式的組織和管理成為一種必要的手段。

Hadoop作為一種開源的架構(gòu)適合使用在廉價機(jī)器上對各種資源數(shù)據(jù)進(jìn)行分布式存儲和分布式管理，具有可伸縮性和高容錯性。本文在研究開源框架Hadoop的基礎(chǔ)上，開發(fā)實(shí)現(xiàn)基于Hadoop農(nóng)產(chǎn)品價格分析平臺。

2.1 平臺結(jié)構(gòu)與功能

農(nóng)產(chǎn)品價格分析平臺的設(shè)計目標(biāo)是實(shí)現(xiàn)多區(qū)域多品種的價格分析、數(shù)據(jù)管理與信息服務(wù)。平臺由數(shù)據(jù)采集系統(tǒng)、大數(shù)據(jù)管理分析系統(tǒng)、信息服務(wù)平臺三個部分組成。平臺在設(shè)計上采用分布式、分層結(jié)構(gòu)，將采集到的數(shù)據(jù)進(jìn)行分析集群于數(shù)據(jù)集市（Data Mark）中，數(shù)據(jù)集市（Data Mark）與信息服務(wù)平臺構(gòu)成映射檢索關(guān)系，信息服務(wù)平臺主要是為用戶提供服務(wù)。平臺結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)與功能模塊

2.2 數(shù)據(jù)采集系統(tǒng)

數(shù)據(jù)采集系統(tǒng)主要實(shí)現(xiàn)數(shù)據(jù)源的采集和清洗，數(shù)據(jù)采集系統(tǒng)根據(jù)指定網(wǎng)站URL進(jìn)行大規(guī)模的過濾挖掘網(wǎng)站公開數(shù)據(jù)，將各數(shù)據(jù)類型從來源端把數(shù)據(jù)進(jìn)行清洗，根據(jù)數(shù)據(jù)類型的不同清洗過程也不同，數(shù)據(jù)經(jīng)過抽?。‥xtract）、轉(zhuǎn)換（Transform）、加載（Load）至數(shù)據(jù)倉庫，清洗技術(shù)簡稱ETL；或經(jīng)過解析（Parsing）、轉(zhuǎn)換（Transform）、加載（Load）至數(shù)據(jù)倉庫，簡稱 PTL。基本流程如圖2所示。

圖2 數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)圖

2.3 大數(shù)據(jù)管理分析系統(tǒng)

大數(shù)據(jù)管理系統(tǒng)主要包括數(shù)據(jù)分析和數(shù)據(jù)管理兩個模塊，數(shù)據(jù)分析首先要從數(shù)據(jù)倉庫中提取出需要分析的數(shù)據(jù)，每分析某個地區(qū)的某個農(nóng)產(chǎn)品價格都需要很大的數(shù)據(jù)量，當(dāng)同時分析多條數(shù)據(jù)時，要從海量的數(shù)據(jù)倉庫中提取分析的數(shù)據(jù)源就會更多，系統(tǒng)運(yùn)行也會很慢，導(dǎo)致分析過程的時間很長，采用Hadoop分布式來進(jìn)行數(shù)據(jù)提取分析，將會大大縮短分析過程的時間，工作效率也提高很多。如圖3中所示，Hadoop分布式分析模塊中有各種數(shù)據(jù)（氣象數(shù)據(jù)、價格數(shù)據(jù)等）對應(yīng)的解析引擎，解析引擎將快速的檢索提取出全部同一類型的數(shù)據(jù)，Hadoop分布式分析模塊中的適配器再把這一類數(shù)據(jù)進(jìn)行整合有序排列，適配器整合好的數(shù)據(jù)傳輸?shù)狡ヅ淦髦校ヅ淦鞲鶕?jù)日期匹配對應(yīng)時間上各地區(qū)的各農(nóng)產(chǎn)品價格和各氣象狀況和各農(nóng)產(chǎn)品產(chǎn)量等信息結(jié)合起來（如圖4所示），存儲于局部存儲庫中。數(shù)據(jù)解析模塊根據(jù)區(qū)域名稱和品種類型名稱，從局部存儲庫中提取出需要分析的某個地區(qū)某個品種的全部歷史信息，數(shù)據(jù)解析模塊運(yùn)用濾波算法和復(fù)雜的數(shù)學(xué)計算對提取到的數(shù)據(jù)進(jìn)行運(yùn)算分析，最后將分析出來的結(jié)果存儲于數(shù)據(jù)集市（Data Mark）中。

圖3 大數(shù)據(jù)管理系統(tǒng)結(jié)構(gòu)圖

圖4 數(shù)據(jù)整合信息圖

2.4 信息服務(wù)平臺

信息服務(wù)平臺主要是為用戶提供信息服務(wù)，為用戶提供分析未來的數(shù)據(jù)信息查詢、消息推送、產(chǎn)品展示等服務(wù)，在數(shù)據(jù)集市（Data Mark）中存儲著已經(jīng)分析出來的結(jié)果數(shù)據(jù)，信息服務(wù)平臺只需要和數(shù)據(jù)集市（Data Mark）建立一種檢索查詢的關(guān)系，就可以實(shí)現(xiàn)用戶信息服務(wù)。

3 平臺實(shí)現(xiàn)關(guān)鍵技術(shù)

對于市場變幻莫測的農(nóng)產(chǎn)品價格，常常出現(xiàn)同一類型農(nóng)產(chǎn)品在不同市場存在著很大的差異，也受天氣、臺風(fēng)的影響，因此，很多農(nóng)產(chǎn)品的價格臺高了很多，也曾出現(xiàn)過一天一個菜價的形式，這些狀況在生活中出現(xiàn)時都是難以接受的。為了對以上各種狀況的出現(xiàn)做出一定的預(yù)測和預(yù)防準(zhǔn)備，該平臺每天都對各個市場農(nóng)產(chǎn)品的價格信息不斷的收集，及結(jié)合以前的歷史價格信息，以及氣象對農(nóng)產(chǎn)品價格產(chǎn)生影響度的信息，統(tǒng)一起來做一系列的分析運(yùn)算，分析預(yù)測出未來可能出現(xiàn)的價位，實(shí)現(xiàn)對自然災(zāi)害和市場變化做出預(yù)測結(jié)果，起到預(yù)防作用。在實(shí)現(xiàn)價格分析模塊中，分析每一個品種價格時需要提取的數(shù)據(jù)量都很大，同時分析多個農(nóng)產(chǎn)品價格時需要提取的數(shù)據(jù)量就更大，以傳統(tǒng)的查詢提取方法會花費(fèi)很多時間，降低工作效率，選用Hadoop框架，構(gòu)建了基于HDFS的文件存儲系統(tǒng)，并對原始的大文件進(jìn)行分塊，然后為分塊設(shè)計存儲管理策略，以增強(qiáng)對數(shù)據(jù)集的并發(fā)讀寫能力。

4 平臺實(shí)現(xiàn)及其效果

4.1 平臺實(shí)現(xiàn)

本平臺采集各個大小市場零散的價格數(shù)據(jù)信息，以及影響農(nóng)產(chǎn)品價格因素信息，把各種信息集群于數(shù)據(jù)倉庫中分類存儲和管理，數(shù)據(jù)的管理和調(diào)度通過Hadoop分布式方式進(jìn)行管理調(diào)度，快速的提取數(shù)據(jù)和分析數(shù)據(jù)結(jié)果。平臺在JAVA的Eclipse開發(fā)環(huán)境上基于組件模式開發(fā)實(shí)現(xiàn)，用爬蟲技術(shù)對相關(guān)網(wǎng)站的數(shù)據(jù)進(jìn)行爬取挖掘，從數(shù)據(jù)的田頭開始采集，時刻跟隨著市場的變動；使用PTL、ETL對田頭采集的數(shù)據(jù)進(jìn)行過濾清洗至數(shù)據(jù)倉庫中，在大數(shù)據(jù)管理分析系統(tǒng)中，以Hadoop框架實(shí)現(xiàn)數(shù)據(jù)分布式調(diào)度和管理，準(zhǔn)確快速的提取出需要分析的數(shù)據(jù)，采用濾波算法和復(fù)雜的數(shù)學(xué)計算對數(shù)據(jù)進(jìn)行分析，分析出來的結(jié)果存儲于數(shù)據(jù)集市（Data Mark）中；數(shù)據(jù)集市（Data Mark）與信息服務(wù)平臺構(gòu)建一種檢索查詢的方式為用戶提供服務(wù)。

4.2 實(shí)驗(yàn)效果

在部署好的系統(tǒng)中進(jìn)行相關(guān)的實(shí)驗(yàn)，驗(yàn)證本文提出的基于Hadoop農(nóng)產(chǎn)品價格分析是否實(shí)現(xiàn)未來價格的分析。

環(huán)境配置如下，CPU：3.30GHz；硬盤：500GB；內(nèi)存：8GB；以太網(wǎng)卡：11MB/S；操作系統(tǒng)：Windows7。實(shí)驗(yàn)開始由一個蔬菜網(wǎng)站源頭的URL和一個氣象網(wǎng)站源頭的URL進(jìn)行數(shù)據(jù)爬取采集，每個網(wǎng)站都有大量的子URL，平臺以樹狀型的形式不斷循環(huán)過濾URL對每一個URL進(jìn)行爬取挖掘數(shù)據(jù)，經(jīng)過對源頭挖掘的數(shù)據(jù)進(jìn)行過濾清洗，再提取出分析的數(shù)據(jù)進(jìn)行分析，將分析出來的結(jié)果在信息服務(wù)平臺上展示，如圖5所示。

圖5 分析曲線統(tǒng)計圖

圖6 農(nóng)產(chǎn)品價格信息表圖

圖5中實(shí)現(xiàn)部分的為歷史價格，虛線部分為分析的未來價格，圖中展示的只是某一地區(qū)某一品種的預(yù)測價格。信息服務(wù)平臺還以列表形式展示出各地區(qū)的所有品種的分析預(yù)測價格，展示效果如圖6所示。綜上信息表明，該平臺可以完成農(nóng)產(chǎn)品價格的分析。

結(jié)束語

目前，基于Hadoop農(nóng)產(chǎn)品價格分析平臺已經(jīng)研發(fā)完成，也成功通過測試現(xiàn)實(shí)了農(nóng)產(chǎn)品價格分析，即將投入于社會中使用，該平臺的預(yù)測結(jié)果會給予相關(guān)部門作為價格參照模型，預(yù)防出現(xiàn)較大價格波動時，能夠有效的對農(nóng)產(chǎn)品價格出現(xiàn)過大波動做出相應(yīng)的預(yù)防策略。在今后，該平臺也會對社會的需求而不斷的改進(jìn)和開發(fā)出新的功能模塊，讓平臺不斷的擴(kuò)大和推廣。

[1]大數(shù)據(jù)思維與決策[N].人民郵電出版社.

[2]大數(shù)據(jù)處理之道[N].電子工業(yè)出版社.

[3]Hadoop權(quán)威指南[N].清華大學(xué)出版社.

1004-7026（2017）19-0045-03

TP311.13

A

10.16675/j.cnki.cn14-1065/f.2017.19.029

2015年度海南省產(chǎn)學(xué)研一體化專項(xiàng)項(xiàng)目（cxy20150037）。

黃啟航（1975.12-），男，海南省儋州人，本科，工程師，海南易鼎天成電子科技有限公司軟件技術(shù)經(jīng)理。

曾廣新（1964.12-），男，海南海口市人，本科，高級工程師，海南省科學(xué)技術(shù)信息研究所副所長。

謝建行（1976.1-），男，海南省儋州人，研究生，工程師，海南易鼎天成電子科技有限公司軟件技術(shù)經(jīng)理。

趙 永（1987.7-），男，江蘇省南京市人，研究生，博士生，海南省科學(xué)技術(shù)信息研究所科員。