陳穎博

摘要：分析了智慧農業(yè)中大數(shù)據(jù)的處理流程，設計了智慧農業(yè)大數(shù)據(jù)的總體框架，探究了大數(shù)據(jù)采集技術、管理技術和處理技術等在農業(yè)領域的應用，并結合具體實例進行了研究。對于促進農業(yè)轉型升級，加快智慧農業(yè)發(fā)展具有重要的現(xiàn)實意義和應用價值。

關鍵詞：智慧農業(yè);大數(shù)據(jù);云計算;農業(yè)監(jiān)測系統(tǒng);可視化農業(yè)

中圖分類號：S24 ? ? ? ? 文獻標識碼：A

文章編號：0439-8114（2020）01-0017-05

DOI：10.14088/j.cnki.issn0439-8114.2020.01.003 ? ? ? ? ? 開放科學（資源服務）標識碼（OSID）：

Abstract： The processing flow of big data in intelligent agriculture was analyzed， the overall framework of agricultural big data was designed， the application of big data collection technology， management technology and processing technology in the field of agriculture were explored and these application were studied with specific examples. It is of great practical significance and application value to promote the transformation and upgrading of agriculture and speed up the development of intelligent agriculture.

Key words： intelligent agriculture; big data; cloud computing; agricultural monitoring system; visual agriculture

“十三五”以來，以物聯(lián)網和智能裝備為代表的智慧農業(yè)技術逐步滲透到農業(yè)生產經營的各個環(huán)節(jié)中，農業(yè)形態(tài)和生產過程都發(fā)生了重大的變化。一是“智慧化感知”，智能傳感系統(tǒng)的廣泛應用實現(xiàn)了農業(yè)生產全過程的可視化、可感知，包括農作物生長態(tài)勢、作物營養(yǎng)狀況、土壤狀況、氣候條件等;二是“泛在化互聯(lián)”，物聯(lián)網、傳感器、互聯(lián)網等在農業(yè)中的廣泛應用，一方面實現(xiàn)了農戶、農作物與資源環(huán)境的互聯(lián)互通，另一方面實現(xiàn)了消費者、農產品、市場的無縫鏈接;三是“更深入的智能化”，通過云計算、大數(shù)據(jù)等技術的應用，對獲得的海量數(shù)據(jù)進行深度處理，使農業(yè)生產決策、農產品市場管理更加智慧化。

為了促進智慧農業(yè)的發(fā)展，國家相繼出臺了一系列支持性文件。2015年8月，國務院印發(fā)了《促進大數(shù)據(jù)發(fā)展行動綱要》，明確提出加快大數(shù)據(jù)在智慧農業(yè)中的深入應用;2015年12月，農業(yè)部印發(fā)了《關于推進智慧農業(yè)大數(shù)據(jù)發(fā)展的實施意見》;2016 年1月，國家發(fā)展改革委員會發(fā)布了《關于組織實施促進大數(shù)據(jù)發(fā)展重大工程的通知》（發(fā)改辦高技〔2016〕42 號），將大數(shù)據(jù)作為智慧發(fā)展的重點支持內容。由此可見，國家對大數(shù)據(jù)的發(fā)展相當重視，大數(shù)據(jù)對于智慧農業(yè)的發(fā)展有著重要的意義。

1 ?相關概念

智慧農業(yè)是伴隨著智慧地球概念的發(fā)展而產生的，英文為Smart Agriculture或Smart Farm，由于嵌入式技術的迅速發(fā)展，通過微型處理器、傳感器，現(xiàn)實世界的各種實體都將具有標簽，能夠自動采集各種數(shù)據(jù)，并對數(shù)據(jù)進行處理和分析，可以與其他實體進行交互與通信。在遙感衛(wèi)星和無線傳感技術的支持下，生產設備能夠實現(xiàn)自動化生產，使農資的利用率達到最大化，農產品生產實現(xiàn)綠色、量產化。智慧農業(yè)的主要組成部分包括：①環(huán)境感知設備，比如溫濕度傳感器、土壤傳感器、空氣傳感器等，通過無線傳感器采集農產品生產的基本數(shù)據(jù);②網絡傳輸設備，主要由無線 WIFI、ZigBee 網絡等組成，主要用來傳輸信息，在不同設備之間聯(lián)通;③決策支持中心，以云計算、大數(shù)據(jù)等為技術支撐構建的用于數(shù)據(jù)存儲、數(shù)據(jù)處理、決策分析的平臺，通過對采集的數(shù)據(jù)進行挖掘分析，產生決策依據(jù)并實現(xiàn)遠程控制、發(fā)布命令;④終端設備，例如溫室大棚中的卷簾機、噴水機、加濕機等，通過決策支持中心對所有終端設備發(fā)布控制命令，驅動設備運行，對生產環(huán)境進行調節(jié)。

2011年5月，國際數(shù)據(jù)公司（IDC）發(fā)布數(shù)字宇宙研究報告，對大數(shù)據(jù)進行了定義，大數(shù)據(jù)是新一代的信息技術架構和基礎設施，可以通過快速的數(shù)據(jù)采集、處理、分析和發(fā)現(xiàn)，從大體量（Volumes）、多類別（Variety）的數(shù)據(jù)中提取價值（Value）。從大數(shù)據(jù)中價值發(fā)現(xiàn)的角度，通過流程對大數(shù)據(jù)進行界定。

智慧農業(yè)中的大數(shù)據(jù)主要包括土壤信息、水資源信息、氣象信息等農業(yè)資源環(huán)境數(shù)據(jù)，農業(yè)生物資源、農業(yè)物種資源等農業(yè)生物數(shù)據(jù)等。就農業(yè)生產、加工、銷售整個流程而言，智慧農業(yè)中的大數(shù)據(jù)包括農資數(shù)據(jù)、技術支持數(shù)據(jù)、農業(yè)生產數(shù)據(jù)、農產品物流數(shù)據(jù)、農產品儲藏數(shù)據(jù)、農產品加工數(shù)據(jù)、農產品市場流通數(shù)據(jù)以及農產品質量安全數(shù)據(jù)等[1]。大數(shù)據(jù)在智慧農業(yè)中的應用主要體現(xiàn)在以下幾個方面：一是通過智能終端、感知終端、視頻采集終端、音頻終端等設備采集在農產品生產、加工以及農產品流通、消費等過程中產生的文本、圖形、圖像、聲音、視頻等數(shù)據(jù); 二是融合了各領域、學科的交叉數(shù)據(jù)，綜合、關聯(lián)的融合式數(shù)據(jù)共享平臺取代了傳統(tǒng)的關系型數(shù)據(jù)庫，成為新的數(shù)據(jù)存儲管理形式?；诖髷?shù)據(jù)流、智能化的大數(shù)據(jù)處理平臺在農業(yè)中廣泛深入的應用，通過可視化交互、社會網絡分析、智能管理等技術實現(xiàn)農業(yè)生產環(huán)境監(jiān)測、農產品安全溯源;三是在農業(yè)產業(yè)鏈上各個環(huán)節(jié)的政府、科研機構、高校、企業(yè)形成競爭協(xié)同作業(yè)機制，共同促進智慧農業(yè)的發(fā)展。智慧大數(shù)據(jù)形成一個可持續(xù)、可循環(huán)、高效、完整的生態(tài)圈。

2 ?智慧農業(yè)中的大數(shù)據(jù)

智慧農業(yè)中大數(shù)據(jù)的應用提高了農業(yè)的生產效率，實現(xiàn)了農業(yè)生產的智能化，保障了農產品的綠色安全，實現(xiàn)了農業(yè)系統(tǒng)的生態(tài)化。

2.1 ?智慧農業(yè)中大數(shù)據(jù)的系統(tǒng)構架

智慧農業(yè)中大數(shù)據(jù)的系統(tǒng)構架見圖1。

第一層，主要是各種農業(yè)生產領域，包括農產品種植、畜牧養(yǎng)殖等和農業(yè)關聯(lián)的各種資源環(huán)境、科研數(shù)據(jù)、自然災害及農業(yè)產業(yè)鏈等數(shù)據(jù)。

第二層，構建適合各個農業(yè)元素的數(shù)據(jù)采集網絡。利用各種智能終端實時采集各種農情數(shù)據(jù);通過物聯(lián)網、互聯(lián)網建立數(shù)據(jù)的實時傳輸通道、實時監(jiān)測農業(yè)環(huán)境數(shù)據(jù)。

第三層，借助大數(shù)據(jù)、云計算、云存儲等技術，建立智慧農業(yè)大數(shù)據(jù)中心。①在這個過程中要對采集的原始數(shù)據(jù)，運用數(shù)據(jù)挖掘的技術對其進行數(shù)據(jù)預處理數(shù)據(jù)清洗、去噪、集成等，保證數(shù)據(jù)質量，形成精準的數(shù)據(jù)源[2];②通過數(shù)據(jù)融合實現(xiàn)與氣象、水利、地質、國土、林業(yè)、環(huán)保等數(shù)據(jù)共用共享，形成大數(shù)據(jù)共享中心。

第四層，利用關聯(lián)分析、可視化分析、數(shù)據(jù)挖掘、數(shù)據(jù)融合等大數(shù)據(jù)分析方法，解決農業(yè)領域的數(shù)據(jù)監(jiān)測和數(shù)據(jù)發(fā)現(xiàn)。①在數(shù)據(jù)價值發(fā)現(xiàn)方面，包括精準農業(yè)、農業(yè)衛(wèi)星遙感數(shù)據(jù)、農業(yè)生物基因數(shù)據(jù)農產品質量追溯、農村綜合信息等;②可以對各種數(shù)據(jù)進行監(jiān)測預警，比如農業(yè)資源環(huán)境、農業(yè)自然災害、農業(yè)環(huán)境污染、農產品市場監(jiān)測預警等[3]。

第五層，利用智慧農業(yè)中采集的大數(shù)據(jù)，構建“數(shù)據(jù)支撐、智能監(jiān)測，產出高效、產品安全，資源節(jié)約、環(huán)境友好”的智慧農業(yè)。

2.2 ?智慧農業(yè)中大數(shù)據(jù)的處理流程

智慧農業(yè)中大數(shù)據(jù)的處理主要包括基礎數(shù)據(jù)的采集、預處理、管理、處理和分析等（圖2）。在數(shù)據(jù)采集階段，主要通過各種終端采集設備，如傳感器、移動終端、無人機、溫度計等獲取環(huán)境數(shù)據(jù);在數(shù)據(jù)預處理階段，主要完成數(shù)據(jù)標準化、數(shù)據(jù)去噪等工作;在數(shù)據(jù)管理階段，主要依托大型的數(shù)據(jù)庫管理系統(tǒng)對海量數(shù)據(jù)進行維護和管理;在數(shù)據(jù)處理階段，面對不同的應用場景用不同的技術或平臺來處理，比如分布式處理等;數(shù)據(jù)分析階段主要是通過數(shù)據(jù)建模、利用挖掘分析軟件進行深層次數(shù)量分析，獲取數(shù)據(jù)規(guī)律或者事件結果。

3 ?大數(shù)據(jù)在智慧農業(yè)中的應用

3.1 ?智慧農業(yè)中大數(shù)據(jù)的采集

3.1.1 ?農業(yè)遙感數(shù)據(jù)獲取 ?智慧農業(yè)遙感數(shù)據(jù)獲取主要通過農業(yè)衛(wèi)星、飛行器等對地面農作物進行大范圍監(jiān)測。

3.1.2 ?農業(yè)生產環(huán)境數(shù)據(jù)獲取 ?智慧農業(yè)生產環(huán)境數(shù)據(jù)獲取是對影響農作物生長的氣象因子、非生物環(huán)境、土壤條件等數(shù)據(jù)進行動態(tài)監(jiān)測、采集，主要利用農業(yè)遙感技術、智能傳感網技術等。隨著各學科的交叉融合，光纖傳感器、微機電系統(tǒng)、仿生傳感器、電化學傳感器等新型傳感器技術以及多光譜、高光譜、核磁共振等先進檢測方法在植物、土壤、環(huán)境信息采集方面廣泛應用，農業(yè)生產環(huán)境數(shù)據(jù)的精度、廣度、頻度大幅度提高。

3.1.3 ?農產品市場經濟數(shù)據(jù)采集 ?農產品市場經濟數(shù)據(jù)采集是指對農產品的成本、需求、庫存、進出口、市場行情等數(shù)據(jù)進行動態(tài)采集，涉及農業(yè)流通、農產品價格、農產品市場、農產品質量安全等，具有較強的突發(fā)性、動態(tài)性、實時性、變化性，一般由“智能終端+通信網絡+專業(yè)群體”組成。

3.2 ?基于Scrapy的智慧網絡數(shù)據(jù)采集技術應用

3.2.1 ?智慧農業(yè)網絡數(shù)據(jù)抓取 ?智慧農業(yè)網絡數(shù)據(jù)抓取指利用爬蟲等網絡數(shù)據(jù)抓取技術對網站、論壇、微博、博客中涉農數(shù)據(jù)進行動態(tài)監(jiān)測、定向采集的過程，實現(xiàn)各種涉農數(shù)據(jù)的集成、匯聚，以便下一步進行分析（圖3）。Scrapy的爬蟲主要有以下幾步：①以初始的URL初始化Request，并設置回調函數(shù)。當該Request下載完畢并返回時，將生成Response，并作為參數(shù)傳給該回調函數(shù);②在回調函數(shù)內分析返回的（網頁）內容，返回Item對象或者Request或者一個包括二者的可迭代容器[4];③在回調函數(shù)內可以使用選擇器（Selectors）來分析網頁內容，并根據(jù)分析的數(shù)據(jù)生成Item;④由Spider返回的Item將數(shù)據(jù)存到數(shù)據(jù)庫或使用Feed exports存入到文件中[5]。

3.2.2 ?技術實現(xiàn)

1）先通過Pip install Scrapy命令安裝Scrapy，Scrapy必須安裝在Python 2.7以上。

2）安裝完成后，通過Ins/usr/local/python 2.7/bin/scrapy/bin/scrapy命令，將Scrapy配置為全局變量。通過Scrapy startproject tutorial新建一個Scrapy項目。

3）通過Scrapy genspider caas命令，創(chuàng)建一個新的Spider。對于不同網站的爬取，需要建立多個 Spider，多個Spider并發(fā)執(zhí)行，即可實現(xiàn)大量網絡資源數(shù)據(jù)的采集。

4）執(zhí)行Spider進行數(shù)據(jù)爬取，結果可以導出為json、xml、csv等格式文件。本文將數(shù)據(jù)導出格式設置為xml 格式。

通過執(zhí)行Scrapy crawl moao moa.xml命令采集安康市農業(yè)科學研究所數(shù)據(jù)，見圖4。

通過執(zhí)行Scrapy crawl moao moa.xml命令采集安康市農業(yè)局數(shù)據(jù)，見圖5。

3.3 ?大數(shù)據(jù)管理技術及應用

Neo4j是一個高性能的Nosql圖形數(shù)據(jù)庫，它將結構化數(shù)據(jù)存儲在網絡上而不是表中。它具有如下特征：完整的Acid支持，保證數(shù)據(jù)一致性;高可用性，不管桌面應用如何變化，Neo4j只會受到計算機硬件性能的影響，不受應用本身的約束;輕易擴展到上億級別的節(jié)點和關系，一個Neo4j服務器便可以承載上億級的節(jié)點和關系，并且支持分布式集群部署;通過遍歷工具高速檢索數(shù)據(jù)，每秒可以達到上億級的檢索量，一個檢索操作類似于Rdmbs里面的連接（Join）操作，讀性能可以實現(xiàn)每毫秒遍歷2 000關系[6]。

3.4 ?大數(shù)據(jù)處理技術應用

智慧農業(yè)中的研究主要以對農業(yè)采集數(shù)據(jù)處理為目的，分析出農業(yè)大數(shù)據(jù)中潛在的價值和規(guī)律，對農業(yè)經濟發(fā)展進行合理的推斷和預測，進而指導農業(yè)生產活動。

3.4.1 ?大數(shù)據(jù)處理的關鍵技術 ?Spark是Apache旗下的一種基于內存計算、快速、通用、可擴展的開源集群計算系統(tǒng)，是繼 Hadoop 之后的新一代大數(shù)據(jù)分布式處理框架，提供高層次的Java、Scala、Python以及R語言的API接入，支持通用的圖處理[7]。

Spark主要側重于輕量級數(shù)據(jù)處理的應用，代碼小，處理速度快，設計靈巧，在技術層面上兼容Hadoop存儲層的API可訪問HdfsHbase，Sequence File等[8];支持交互式操作，Spark-Shell支持交互式Spark環(huán)境，能夠提供交互式查詢;具有良好的容錯機制[9]。Spark運行架構見圖6。

3.4.2 ?基于Spark的農技推廣數(shù)據(jù)處理研究

1）軟硬件環(huán)境要求。項目采用 Vmvare 虛擬機，配置硬件參數(shù)為：內存4GB，八核CPU，安裝操作系統(tǒng)版本為Red Hat Enterprise Linux Server release 6.4[10]。其余軟件版本如下：jieba-0.38.zip（md5），Python 2.6.6，mysql Ver 14.14， Distrib 5.1.66，for redhat-linux-gnu （i686） using readline 5.1，Spark-1.6.0-bin-hadoop 2.6。

2）操作步驟。將數(shù)據(jù)導入到Mysql數(shù)據(jù)庫中;為了避免亂碼問題，采用utf8數(shù)據(jù)格式：Set names utf8;source resource.sql登陸數(shù)據(jù)庫[11]，查看表結構見圖7。

3）利用jieba軟件包，使用Python讀取數(shù)據(jù)表中的字段，對title列的數(shù)據(jù)進行切詞處理。本文采用半自動安裝模式，下載jieba-0.38 安裝文件[12]，解壓后運行python setup.py install[13]。采用精確模式進行切詞，不對停用詞、特殊字符等進行處理，前10行切詞效果見表1。

4）搭建Spark平臺，通過在Spark上對切詞代碼進行執(zhí)行，對比執(zhí)行時間[14]，見表2。

4 ?小結

本文圍繞智慧農業(yè)發(fā)展的需求，分析了大數(shù)據(jù)對于傳統(tǒng)農業(yè)轉型升級的重要作用。通過實例分析了智慧農業(yè)中大數(shù)據(jù)的采集、海量數(shù)據(jù)的存儲、大數(shù)據(jù)管理、大數(shù)據(jù)分析等技術，探索了大數(shù)據(jù)在智慧農業(yè)中的應用。利用大數(shù)據(jù)技術對農業(yè)大數(shù)據(jù)進行清洗、集成、融合、挖掘等，發(fā)現(xiàn)隱藏其間的數(shù)據(jù)價值，可為農業(yè)生產經營提供指導，為農業(yè)市場經濟早期預警，為政府決策提供科學依據(jù)，培育新型農業(yè)經營主體，推動現(xiàn)代農業(yè)建設，保障國家糧食安全。

參考文獻：

[1] 趙春江，薛緒掌，王秀精，等.準農業(yè)技術體系的研究進展與展望[J].農業(yè)工程學報.2003，19（4）：7-12.

[2] 李國杰，程學旗.大數(shù)據(jù)研究：未來科技及經濟社會發(fā)展的重大戰(zhàn)略領域[J].中國科學院院刊，2012，27（6）：647-657.

[3] 孟小峰，慈 ?祥.大數(shù)據(jù)管理：概念、技術與挑戰(zhàn)[J].計算機研究與發(fā)展，2013，50（1）：146-169.

[4] 王 ?珊，王會舉，覃雄派，等.架構大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與展望[J].計算機學報，2011，34（10）：1741-1752.

[5] 于 ?戈，谷 ?峪，鮑玉斌，等.云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術[J].計算機報，2011，34（10）：53-67.

[6] 羅軍舟，金嘉暉，宋愛波，等.云計算：體系架構與關鍵技術[J].通信學報，2011，32（7）：3-21.

[7] 陸嘉恒.大數(shù)據(jù)挑戰(zhàn)與NoSQL數(shù)據(jù)庫技術[M].北京：電子工業(yè)出版社，2013.

[8] 董 ?輝.基于SOA架構的山東農產品電子商務平臺的構建[J].科技信息，2012（25）：34-35.

[9] 廖亮權.基于WAMP的農村電子商務交易平臺的設計與實現(xiàn)[D].南昌：南昌大學，2013.

[10] 程翠玉.農產品電子商務交易系統(tǒng)的設計與實現(xiàn)[D].山東青島：中國海洋大學，2011.

[11] 洪 ?穎.基于J2EE農產品電子商務平臺的設計[J].湖北農業(yè)科學，2015，54（1）：193-195.

[12] 李承高.環(huán)洞庭湖區(qū)農產品電子商務平臺的構建探討[J].時代金融，2017（3）：65-68.

[13] 連奕錦，邢玉升.試論“互聯(lián)網+農業(yè)”的發(fā)展策略[J].北方經貿，2017（4）：34-35.

[14] 夏 ?曼.基于云計算的農產品電子商務平臺的設計與實現(xiàn)[D].南寧：廣西大學，2015.