劉長悅+張遠(yuǎn)芳+王海亮+郝志愚+吳貺+王坤+劉偉+王建春+郭銳

摘 要：農(nóng)業(yè)大數(shù)據(jù)是運(yùn)用大數(shù)據(jù)的技術(shù)和方法，解決農(nóng)業(yè)或涉農(nóng)領(lǐng)域數(shù)據(jù)的采集、存儲、計(jì)算與應(yīng)用等一系列問題，為食品安全、環(huán)境監(jiān)測、精細(xì)生產(chǎn)、產(chǎn)品溯源、生物感知以及農(nóng)業(yè)科研等管理與研究提供科學(xué)支撐。本文論述了基于Resin系統(tǒng)的數(shù)據(jù)自動(dòng)采集分析平臺的建設(shè)方法，及其實(shí)現(xiàn)了數(shù)據(jù)采集、遠(yuǎn)程傳輸、數(shù)據(jù)篩選和環(huán)境分析的功能。

關(guān)鍵詞：大數(shù)據(jù)；采集；分析；溫室環(huán)境；Resin

中圖分類號：TP274+.2 文獻(xiàn)標(biāo)識碼：A DOI 編碼：10.3969/j.issn.1006-6500.2017.08.016

Abstract： Agriculture big data wasto solve the problems of agriculture data acquisition， storage， calculation and analysis， to provide scientific support for food safety， environmental monitoring， precision production， product traceability and biological sensing of agricultural scientific research management and research. This paper discusses the construction methods of automatic data acquisition and analysis platform based on Resin system， and how it realizes the functions of data acquisition， remote transmission， data screening and environment analysis.

Key words： big data； acquisition； analysis； greenhouse environment； Resin

隨著信息技術(shù)的不斷進(jìn)步，利用現(xiàn)代信息技術(shù)和信息系統(tǒng)為農(nóng)業(yè)生產(chǎn)、供、銷及相關(guān)的管理和服務(wù)提供有效的信息支持，已經(jīng)成為當(dāng)今農(nóng)業(yè)發(fā)展的主流趨勢[1]。在農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)的帶動(dòng)下，傳統(tǒng)農(nóng)業(yè)信息化也逐漸升級為智能化農(nóng)業(yè)和大數(shù)據(jù)農(nóng)業(yè)。大數(shù)據(jù)是數(shù)量龐大的數(shù)據(jù)集合，而農(nóng)業(yè)大數(shù)據(jù)有著密度低，數(shù)量廣，特征多樣的特點(diǎn)[2-3]。目前，對農(nóng)業(yè)大數(shù)據(jù)的研究還處于剛剛起步的階段，但是科研人員已經(jīng)意識到大數(shù)據(jù)的價(jià)值，國內(nèi)外的政府和研究機(jī)構(gòu)都在加大對農(nóng)業(yè)大數(shù)據(jù)領(lǐng)域的投入[4-5]。在農(nóng)業(yè)種植領(lǐng)域，大數(shù)據(jù)的采集和分析具有系統(tǒng)性、智能化、自動(dòng)化的特點(diǎn)[6-7]。數(shù)據(jù)采集分析系統(tǒng)一般由以下部分構(gòu)成：（1）環(huán)境感知采集設(shè)備，如土壤傳感器、氣體傳感器、溫濕度傳感器等，通過傳感器進(jìn)行基礎(chǔ)數(shù)據(jù)的收集[8]；（2）網(wǎng)絡(luò)傳輸設(shè)備，由無線WIFI、ZigBee網(wǎng)絡(luò)、數(shù)據(jù)接口等構(gòu)成，對采集到的數(shù)據(jù)進(jìn)行傳輸，對數(shù)據(jù)分析結(jié)果和控制指令進(jìn)行傳達(dá)[9-10]；（3）分析決策設(shè)備，包括數(shù)據(jù)庫服務(wù)器，應(yīng)用服務(wù)器等，是云計(jì)算技術(shù)支持下進(jìn)行數(shù)據(jù)篩選、儲存、處理、分析的核心平臺[11]；（4）終端執(zhí)行反饋設(shè)備，如種植現(xiàn)場的灌溉設(shè)備，溫室大棚的卷簾機(jī)、風(fēng)扇等，核心平臺對數(shù)據(jù)經(jīng)過分析處理后對終端執(zhí)行反饋設(shè)備發(fā)布命令，執(zhí)行相應(yīng)的動(dòng)作來調(diào)整農(nóng)業(yè)生產(chǎn)。隨著數(shù)據(jù)采集設(shè)備、傳播手段和數(shù)據(jù)儲存環(huán)境的不斷升級，數(shù)據(jù)采集分析過程呈現(xiàn)體量龐大、模態(tài)多元、實(shí)時(shí)性強(qiáng)、關(guān)聯(lián)復(fù)雜的特點(diǎn)[12—14]。筆者開發(fā)的基于Resin系統(tǒng)的數(shù)據(jù)自動(dòng)采集分析平臺，實(shí)現(xiàn)了數(shù)據(jù)采集、遠(yuǎn)程傳輸、數(shù)據(jù)篩選和環(huán)境分析的功能，大大減小了傳統(tǒng)數(shù)據(jù)采集過程中受空間和時(shí)間條件限制的問題，提高了對有效數(shù)據(jù)利用和分析的程度。

1 平臺設(shè)計(jì)與實(shí)現(xiàn)

1.1 平臺設(shè)計(jì)

WebService數(shù)據(jù)自動(dòng)采集分析平臺通過分析溫室植物種植數(shù)據(jù)，采集系統(tǒng)功能與實(shí)現(xiàn)的要求，結(jié)合軟件使用習(xí)慣架構(gòu)將整個(gè)系統(tǒng)劃分為4個(gè)基本模塊：氣象數(shù)據(jù)、環(huán)境調(diào)控、溫室信息、田間數(shù)據(jù)。數(shù)據(jù)采集的硬件部分包括溫度、濕度、光照強(qiáng)度傳感器。軟件部分?jǐn)?shù)據(jù)節(jié)點(diǎn)操作系統(tǒng)為centOs系統(tǒng)，應(yīng)用服務(wù)器和數(shù)據(jù)庫服務(wù)器分別為Resin 3.0和Oracle 11g系統(tǒng)，信息搜索和共享由Hadoop實(shí)現(xiàn)，平臺的開發(fā)工具為Eclipse。

1.2 平臺實(shí)現(xiàn)

氣象數(shù)據(jù)模塊包括收集與整理京津冀地區(qū)近十年來的氣象數(shù)據(jù)，數(shù)據(jù)主要包括氣溫、地溫、積溫、濕度、降雨量、氣壓、蒸發(fā)量、風(fēng)速、光照等（圖1）。環(huán)境調(diào)控模塊包括作物生長發(fā)育與環(huán)境之間的相互作用及良好的生長相關(guān)參數(shù)（圖2）。

大棚信息模塊通過Web Service接口自動(dòng)采集溫室實(shí)時(shí)環(huán)境數(shù)據(jù)，主要包括空氣溫度、空氣濕度、土壤溫度、土壤濕度、光照、二氧化碳含量等數(shù)據(jù)，并進(jìn)行分析及圖表展示。數(shù)據(jù)可由采集傳感器實(shí)時(shí)傳輸，也可通過Excel表格批量上傳數(shù)據(jù)，實(shí)現(xiàn)新建、修改和刪除功能（圖3～圖5）。

田間數(shù)據(jù)模塊負(fù)責(zé)收集與整理日光溫室日常田間作業(yè)數(shù)據(jù)，主要包括試驗(yàn)數(shù)據(jù)管理、生成管理記錄、生成前期準(zhǔn)備、施肥情況管理、病蟲害防治信息管理、作物生長狀態(tài)記錄等（圖6）。

2 結(jié)果與分析

2.1 Oracle 11g數(shù)據(jù)庫寫入數(shù)據(jù)測試

本試驗(yàn)選取5個(gè)數(shù)據(jù)采集點(diǎn)，將2016年11月至2017年5月采集的到全部環(huán)境數(shù)據(jù)進(jìn)行寫入測試。分別采用服務(wù)器默認(rèn)配置（簡稱“默認(rèn)”），無預(yù)分區(qū)并設(shè)置10M緩存區(qū)（簡稱“無預(yù)分”），設(shè)置6個(gè)預(yù)分區(qū)并設(shè)置10M緩存區(qū)（簡稱“預(yù)分”）3種試驗(yàn)方案，運(yùn)行于10個(gè)節(jié)點(diǎn)的分布式集群中，測試的數(shù)據(jù)量分別為100萬，200萬，300萬，400萬條，得出數(shù)據(jù)量與運(yùn)行時(shí)間的折線圖（圖7）。

圖7可見，使用預(yù)分區(qū)設(shè)置的方式寫入數(shù)據(jù)，曲線傾斜率最小，時(shí)間增長率低，說明在數(shù)據(jù)量增大的時(shí)候，預(yù)分區(qū)設(shè)置的寫入性能優(yōu)于默認(rèn)設(shè)置和無預(yù)分區(qū)設(shè)置。

2.2 回歸性分析性能測試

本測試以空氣溫度、空氣濕度、土壤溫度、土壤濕度與番茄果實(shí)重量的回歸分析為例。環(huán)境指標(biāo)存于不同Condition表中，以天為單位計(jì)算Condition表中平均值計(jì)入Test表中，果實(shí)數(shù)據(jù)存于Result表中。根據(jù)Test和Result表中數(shù)據(jù)計(jì)算得出回歸方程。

每組Condition表初始數(shù)據(jù)為200萬條，以200萬條單位遞增生成5組測試數(shù)據(jù)，隨著Condition組增加，不同數(shù)據(jù)量對運(yùn)行時(shí)間的影響，結(jié)果如圖8所示。

圖8可見，時(shí)間增長率并未隨著數(shù)據(jù)量增加和環(huán)境條件增加而變大，說明本平臺適合處理大量數(shù)據(jù)和多指標(biāo)參數(shù)的復(fù)雜數(shù)據(jù)，并具有良好的擴(kuò)展性。

3 結(jié) 論

（1）首次建立農(nóng)業(yè)種植大數(shù)據(jù)平臺，將多指標(biāo)環(huán)境參數(shù)進(jìn)行綜合性回歸分析。該平臺具有良好的擴(kuò)展性，可通過添加或更換相應(yīng)的傳感器，再對系統(tǒng)進(jìn)行改進(jìn)和調(diào)試，從而進(jìn)行更復(fù)雜的生長模型分析。

（2）首次將歷史環(huán)境數(shù)據(jù)庫融入數(shù)據(jù)平臺建設(shè)，并在后臺進(jìn)行數(shù)據(jù)分析和新老數(shù)據(jù)對比，此舉有助于提高今后大數(shù)據(jù)分析的準(zhǔn)確性。

參考文獻(xiàn)：

[1]汪偉偉，李紹穩(wěn)，孟浩，等. 基于Data Socket的果園生態(tài)環(huán)境遠(yuǎn)程數(shù)據(jù)采集系統(tǒng)[J].微計(jì)算機(jī)信息， 2007， 23（13）：117-119.

[2]孟祥寶，謝秋波，劉海峰，等. 農(nóng)業(yè)大數(shù)據(jù)應(yīng)用體系架構(gòu)和平臺建設(shè)[J]. 廣東農(nóng)業(yè)科學(xué)， 2014 ， 41 （14）：173-178.

[3]袁偉，羅麗瓊，趙路，等. 基于Hadoop的葡萄種植環(huán)境數(shù)據(jù)處理及性能測試[J]. 山東農(nóng)業(yè)科學(xué)， 2015，47（8）：119-122，126；

[4]余歡，劉勇，鄭秀國，等. 基于STM32的農(nóng)業(yè)環(huán)境數(shù)據(jù)采集終端設(shè)計(jì)與開發(fā)[J]. 上海農(nóng)業(yè)學(xué)報(bào)， 2016，32（4）：140-146.

[5]周國民，樊景超，吳定峰，等. 基于XML的果園環(huán)境數(shù)據(jù)采集和數(shù)據(jù)表示[J]. 農(nóng)業(yè)經(jīng)濟(jì)與信息技術(shù)， 2015，21（12）：76-79，83；

[6]華雪琦，孫明喆，黃冠博，等. 農(nóng)業(yè)物聯(lián)網(wǎng)示范基地環(huán)境數(shù)據(jù)共享與管理系統(tǒng)研發(fā)[J]. 天津農(nóng)林科技，2015（S）： 57-58.

[7]羅桂蘭，張梅，馮立波，等. 生態(tài)環(huán)境數(shù)據(jù)預(yù)測方法研究[J]. 大理學(xué)院院報(bào)，2015， 14 （6）：13-17.

[8]李秀峰，陳守合，郭雷風(fēng). 大數(shù)據(jù)時(shí)代農(nóng)業(yè)信息服務(wù)的技術(shù)創(chuàng)新[J].中國農(nóng)業(yè)科技導(dǎo)報(bào)， 2014，16（4）：10-15；

[9]郭承坤，劉延忠，陳英義，等. 發(fā)展農(nóng)業(yè)大數(shù)據(jù)的主要問題及任務(wù)[J]. 安徽農(nóng)業(yè)科學(xué)， 2014，42（27）：9642-9645；

[10]王文生，郭雷風(fēng). 關(guān)于我國農(nóng)業(yè)大數(shù)據(jù)中心建設(shè)的設(shè)想[J]. 大數(shù)據(jù)， 2016， 2 （1）：28-34.

[11]黎玲萍，毛克彪，付秀麗，等. 國內(nèi)外農(nóng)業(yè)大數(shù)據(jù)應(yīng)用研究分析[J]. 高技術(shù)通訊， 2016， 26 （4）：414-422.

[12]陶佰睿，李春輝，苗鳳娟，等. 基于云端的農(nóng)業(yè)大數(shù)據(jù)采集與管理系統(tǒng)淺析[J]. 工業(yè)和信息化教育， 2016 （9）：81-89.

[13]王文生，郭雷風(fēng). 農(nóng)業(yè)大數(shù)據(jù)機(jī)器應(yīng)用展望[J]. 江蘇農(nóng)業(yè)科學(xué)，2015，43（9）：1-5.

[14]溫孚江. 農(nóng)業(yè)大數(shù)據(jù)研究的戰(zhàn)略意議與協(xié)同機(jī)制[J]. 高等農(nóng)業(yè)教育， 2013 （11）：3-6.