胡怡文

（四川工商學院，四川 成都 611743）

當前信息化的技術和裝備正逐漸成為社會發(fā)展和變革的重要推動力，而互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等現(xiàn)代信息技術和裝備讓農(nóng)業(yè)種植工作呈現(xiàn)了欣欣向榮的科技化發(fā)展態(tài)勢。在農(nóng)業(yè)生產(chǎn)過程中準確獲取有效信息、存儲數(shù)據(jù)、對數(shù)據(jù)進行分析和挖掘、應用數(shù)據(jù)信息對農(nóng)作物生長需求、自然災害、農(nóng)業(yè)產(chǎn)量做出準確預測。

1 農(nóng)業(yè)大數(shù)據(jù)概述

大數(shù)據(jù)技術是驅動現(xiàn)代化農(nóng)業(yè)發(fā)展的核心動力。農(nóng)業(yè)大數(shù)據(jù)滿足大數(shù)據(jù)的五個特性，數(shù)據(jù)量大（Volume）、處理速度快（Velocity）、數(shù)據(jù)類型多（Variety）、價值大（Value）、精確性高（Veracity）是融合了農(nóng)業(yè)地域性、季節(jié)性、多樣性、周期性等自身特征后產(chǎn)生的來源廣泛、類型多樣、結構復雜、具有潛在價值，并難以應用通常方法處理和分析的數(shù)據(jù)集合。

我國作為傳統(tǒng)的農(nóng)業(yè)大國，僅靠國內資源卻已經(jīng)難以保障“中國人的飯碗”。2018年，我國農(nóng)產(chǎn)品進出口額2168.1億美元，同比增7.7%。其中，出口797.1億美元，增5.5%；進口1371.0億美元，增8.9%；貿易逆差573.8億美元，增14.0%。而隨著城鄉(xiāng)一體化的加快推進，國人對糧食等農(nóng)產(chǎn)品的需求還將進一步增加。綜合起來分析，目前在管理和處理農(nóng)業(yè)大數(shù)據(jù)方面存在以下問題：①互聯(lián)網(wǎng)農(nóng)業(yè)基礎設施不足、缺乏信息平臺。②農(nóng)業(yè)產(chǎn)品的產(chǎn)量不穩(wěn)定，經(jīng)營者靠天吃飯。③海量數(shù)據(jù)存儲，如何統(tǒng)一管理和統(tǒng)一調度。④農(nóng)業(yè)大數(shù)據(jù)的價值挖掘和利用方面不夠全面。

2 系統(tǒng)架構設計方案

云存儲是指通過集群應用、網(wǎng)格技術及分布式文件系統(tǒng)等功能，將網(wǎng)絡中大量不同類型的存儲設備通過應用軟件集群起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。

整個系統(tǒng)架構分由：數(shù)據(jù)采集層、數(shù)據(jù)存儲層、數(shù)據(jù)管理層、數(shù)據(jù)服務層、用戶訪問層等五個部分組成。搭建Zookeeper+Hadoop+Hbase完全分布式平臺，利用Hadoop分布式數(shù)據(jù)處理框架，完成對數(shù)據(jù)的存儲、管理、服務；利用zookeeper存儲配置信息，將文件發(fā)給集群中所有主機，發(fā)送目標用戶為集群專用用戶admin，實現(xiàn)資源的共享。

2.1 數(shù)據(jù)采集層

大數(shù)據(jù)智能感知層主要包括數(shù)據(jù)傳感體系、網(wǎng)絡通信體系、傳感適配體系、智能識別體系及軟硬件資源接入系統(tǒng)。

2.2 基礎支撐層

基礎支撐層提供大數(shù)據(jù)服務平臺所需的虛擬服務器，結構化、半結構化及非結構化數(shù)據(jù)的數(shù)據(jù)庫及物聯(lián)網(wǎng)絡資源等基礎支撐環(huán)境。

相比傳統(tǒng)農(nóng)業(yè)氣象觀測方法，通過傳感器、移動互聯(lián)網(wǎng)等方式獲得的各種類型的結構化、半結構化（或稱之為弱結構化）及非結構化的海量農(nóng)作物生長情況相關的數(shù)據(jù)，例如：光照、空氣濕度、溫度、土壤品質、生長狀況等，實現(xiàn)智能化識別、定位、跟蹤、接入、傳輸、信號轉換、監(jiān)控、初步處理和管理，一方面提高了農(nóng)情信息收集效率，同時使利用的數(shù)據(jù)更加精確，另一方面，可以為分析蔬菜氣象條件利弊、開展災害指標研究等提供可靠的數(shù)據(jù)支撐。

2.3 數(shù)據(jù)存儲層

目前，通過小型電子感受器，追蹤單粒種子的種植、栽培、土壤、灌溉等情況，如果儲存以上追蹤的信息，每株植物需要0.85K的數(shù)據(jù)存儲，每年每公頃需要26M的數(shù)據(jù)空間，因此如何讓農(nóng)業(yè)大數(shù)據(jù)全面、充分的發(fā)揮出其潛在價值，一個必要前提就是數(shù)據(jù)需要被妥善保管在可靠、可信、可管理的平臺中，數(shù)據(jù)的完整性和可信度需要得到保障，而且可以隨時隨地且方便的存取。

2.4 Zookeeper

通過完全分布模式的整合平臺中Zookeeper的完全分布模式的安裝，在一個zookeeper集群中，選出一個leader節(jié)點，實現(xiàn)廣播即數(shù)據(jù)同步。

2.5 Hadoop集群

Hadoop是一個可以更容易開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺。能夠將大量的離線數(shù)據(jù)進行切片計算分布式處理的軟件框架。具有可靠、高效、可伸縮的特點。充分利用集群的威力高速運算和存儲。對于實時數(shù)據(jù)采用流式計算。

2.6 HBase

HBase是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，適合于存儲大表數(shù)據(jù)，表的規(guī)?？梢赃_到數(shù)十億行以及數(shù)百萬列，并且對大表數(shù)據(jù)的讀、寫訪問可以達到實時級別。以表的形式存儲數(shù)據(jù)，創(chuàng)建的表可以被拆分為多塊，每個塊稱為一個HRegion。每個HRegion會保存一段表中的連續(xù)數(shù)據(jù)，由Master分配給對應的RegionServer進行管理。

2.7HDFS

HDFS是一個分布式文件系統(tǒng)，在hadoop體系中數(shù)據(jù)存儲管理的基礎。有著高容錯性的特點能檢測和應對硬件故障，數(shù)據(jù)以塊的形式，同時分布存儲在不同的物理機器上，基于流數(shù)據(jù)模式訪問和處理超大文件的需求，適合那些有著超大數(shù)據(jù)集的應用程序。

2.8 數(shù)據(jù)分析和挖掘

數(shù)據(jù)挖掘主要過程是根據(jù)分析挖掘目標，從數(shù)據(jù)庫中把數(shù)據(jù)提取出來，然后采用機器學習、統(tǒng)計、神經(jīng)網(wǎng)絡和數(shù)據(jù)庫等方法，經(jīng)過ETL（Extract-Transform-Load）組織成適合分析挖掘算法使用寬表，實現(xiàn)內容的分發(fā)、數(shù)據(jù)壓縮、數(shù)據(jù)去冗，對數(shù)據(jù)進行加密、備份和容災，對關系數(shù)據(jù)庫進行挖掘，農(nóng)業(yè)大數(shù)據(jù)的清洗和抽取，進行分門別類地存儲和管理，滿足對數(shù)據(jù)完整性、準確性、規(guī)范性的要求。在農(nóng)業(yè)生產(chǎn)中，結合農(nóng)業(yè)的季節(jié)性、多樣性、周期性、生長環(huán)境，對采取數(shù)據(jù)進行分析，確定最優(yōu)種植品種，選定最佳的施肥方案，預測氣候風險，如干旱或洪澇影響農(nóng)作物的具體時間，預測病蟲害預測最好收獲的時間。以此提高農(nóng)業(yè)生產(chǎn)率和生產(chǎn)品質。

2.9 數(shù)據(jù)服務層

實現(xiàn)網(wǎng)絡的接入、身份認證、訪問控制、API接口、應用軟件、Web服務等。系統(tǒng)中配置完全分布模式的整合平臺相關的網(wǎng)絡屬性，完成農(nóng)業(yè)生產(chǎn)中實時數(shù)據(jù)的更新和共享。監(jiān)控系統(tǒng)檢測到有潛在的病蟲害危險時會發(fā)出警報，同時調用病蟲害知識庫，推送出合理有效的防治措施。同時利用互聯(lián)網(wǎng)上傳圖片至專家資源庫，若出現(xiàn)新型病例，可以利用內部網(wǎng)絡將相關圖片和文檔上傳至數(shù)據(jù)庫。

2.10 用戶訪問層

農(nóng)業(yè)工作者通過標準的公共應用接口登錄云存儲系統(tǒng)實現(xiàn)資源共享和數(shù)據(jù)的更新，加強行業(yè)的信息交流以促進整體的發(fā)展。

3結語

綜上所述，農(nóng)業(yè)大數(shù)據(jù)帶來了農(nóng)業(yè)科學研究革新的新起點。應用互聯(lián)網(wǎng)技術可從科學的角度準確的檢測出數(shù)據(jù)、存儲數(shù)據(jù)、分析和挖掘數(shù)據(jù)，開發(fā)了數(shù)據(jù)的潛能，極大地提高農(nóng)業(yè)生產(chǎn)率和生產(chǎn)品質。