陳穎博

摘要：分析了智慧農(nóng)業(yè)中大數(shù)據(jù)的處理流程，設(shè)計(jì)了智慧農(nóng)業(yè)大數(shù)據(jù)的總體框架，探究了大數(shù)據(jù)采集技術(shù)、管理技術(shù)和處理技術(shù)等在農(nóng)業(yè)領(lǐng)域的應(yīng)用，并結(jié)合具體實(shí)例進(jìn)行了研究。對(duì)于促進(jìn)農(nóng)業(yè)轉(zhuǎn)型升級(jí)，加快智慧農(nóng)業(yè)發(fā)展具有重要的現(xiàn)實(shí)意義和應(yīng)用價(jià)值。

關(guān)鍵詞：智慧農(nóng)業(yè);大數(shù)據(jù);云計(jì)算;農(nóng)業(yè)監(jiān)測(cè)系統(tǒng);可視化農(nóng)業(yè)

中圖分類(lèi)號(hào)：S24 ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：0439-8114（2020）01-0017-05

DOI：10.14088/j.cnki.issn0439-8114.2020.01.003 ? ? ? ? ? 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Abstract： The processing flow of big data in intelligent agriculture was analyzed， the overall framework of agricultural big data was designed， the application of big data collection technology， management technology and processing technology in the field of agriculture were explored and these application were studied with specific examples. It is of great practical significance and application value to promote the transformation and upgrading of agriculture and speed up the development of intelligent agriculture.

Key words： intelligent agriculture; big data; cloud computing; agricultural monitoring system; visual agriculture

“十三五”以來(lái)，以物聯(lián)網(wǎng)和智能裝備為代表的智慧農(nóng)業(yè)技術(shù)逐步滲透到農(nóng)業(yè)生產(chǎn)經(jīng)營(yíng)的各個(gè)環(huán)節(jié)中，農(nóng)業(yè)形態(tài)和生產(chǎn)過(guò)程都發(fā)生了重大的變化。一是“智慧化感知”，智能傳感系統(tǒng)的廣泛應(yīng)用實(shí)現(xiàn)了農(nóng)業(yè)生產(chǎn)全過(guò)程的可視化、可感知，包括農(nóng)作物生長(zhǎng)態(tài)勢(shì)、作物營(yíng)養(yǎng)狀況、土壤狀況、氣候條件等;二是“泛在化互聯(lián)”，物聯(lián)網(wǎng)、傳感器、互聯(lián)網(wǎng)等在農(nóng)業(yè)中的廣泛應(yīng)用，一方面實(shí)現(xiàn)了農(nóng)戶(hù)、農(nóng)作物與資源環(huán)境的互聯(lián)互通，另一方面實(shí)現(xiàn)了消費(fèi)者、農(nóng)產(chǎn)品、市場(chǎng)的無(wú)縫鏈接;三是“更深入的智能化”，通過(guò)云計(jì)算、大數(shù)據(jù)等技術(shù)的應(yīng)用，對(duì)獲得的海量數(shù)據(jù)進(jìn)行深度處理，使農(nóng)業(yè)生產(chǎn)決策、農(nóng)產(chǎn)品市場(chǎng)管理更加智慧化。

為了促進(jìn)智慧農(nóng)業(yè)的發(fā)展，國(guó)家相繼出臺(tái)了一系列支持性文件。2015年8月，國(guó)務(wù)院印發(fā)了《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》，明確提出加快大數(shù)據(jù)在智慧農(nóng)業(yè)中的深入應(yīng)用;2015年12月，農(nóng)業(yè)部印發(fā)了《關(guān)于推進(jìn)智慧農(nóng)業(yè)大數(shù)據(jù)發(fā)展的實(shí)施意見(jiàn)》;2016 年1月，國(guó)家發(fā)展改革委員會(huì)發(fā)布了《關(guān)于組織實(shí)施促進(jìn)大數(shù)據(jù)發(fā)展重大工程的通知》（發(fā)改辦高技〔2016〕42 號(hào)），將大數(shù)據(jù)作為智慧發(fā)展的重點(diǎn)支持內(nèi)容。由此可見(jiàn)，國(guó)家對(duì)大數(shù)據(jù)的發(fā)展相當(dāng)重視，大數(shù)據(jù)對(duì)于智慧農(nóng)業(yè)的發(fā)展有著重要的意義。

1 ?相關(guān)概念

智慧農(nóng)業(yè)是伴隨著智慧地球概念的發(fā)展而產(chǎn)生的，英文為Smart Agriculture或Smart Farm，由于嵌入式技術(shù)的迅速發(fā)展，通過(guò)微型處理器、傳感器，現(xiàn)實(shí)世界的各種實(shí)體都將具有標(biāo)簽，能夠自動(dòng)采集各種數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行處理和分析，可以與其他實(shí)體進(jìn)行交互與通信。在遙感衛(wèi)星和無(wú)線傳感技術(shù)的支持下，生產(chǎn)設(shè)備能夠?qū)崿F(xiàn)自動(dòng)化生產(chǎn)，使農(nóng)資的利用率達(dá)到最大化，農(nóng)產(chǎn)品生產(chǎn)實(shí)現(xiàn)綠色、量產(chǎn)化。智慧農(nóng)業(yè)的主要組成部分包括：①環(huán)境感知設(shè)備，比如溫濕度傳感器、土壤傳感器、空氣傳感器等，通過(guò)無(wú)線傳感器采集農(nóng)產(chǎn)品生產(chǎn)的基本數(shù)據(jù);②網(wǎng)絡(luò)傳輸設(shè)備，主要由無(wú)線 WIFI、ZigBee 網(wǎng)絡(luò)等組成，主要用來(lái)傳輸信息，在不同設(shè)備之間聯(lián)通;③決策支持中心，以云計(jì)算、大數(shù)據(jù)等為技術(shù)支撐構(gòu)建的用于數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、決策分析的平臺(tái)，通過(guò)對(duì)采集的數(shù)據(jù)進(jìn)行挖掘分析，產(chǎn)生決策依據(jù)并實(shí)現(xiàn)遠(yuǎn)程控制、發(fā)布命令;④終端設(shè)備，例如溫室大棚中的卷簾機(jī)、噴水機(jī)、加濕機(jī)等，通過(guò)決策支持中心對(duì)所有終端設(shè)備發(fā)布控制命令，驅(qū)動(dòng)設(shè)備運(yùn)行，對(duì)生產(chǎn)環(huán)境進(jìn)行調(diào)節(jié)。

2011年5月，國(guó)際數(shù)據(jù)公司（IDC）發(fā)布數(shù)字宇宙研究報(bào)告，對(duì)大數(shù)據(jù)進(jìn)行了定義，大數(shù)據(jù)是新一代的信息技術(shù)架構(gòu)和基礎(chǔ)設(shè)施，可以通過(guò)快速的數(shù)據(jù)采集、處理、分析和發(fā)現(xiàn)，從大體量（Volumes）、多類(lèi)別（Variety）的數(shù)據(jù)中提取價(jià)值（Value）。從大數(shù)據(jù)中價(jià)值發(fā)現(xiàn)的角度，通過(guò)流程對(duì)大數(shù)據(jù)進(jìn)行界定。

智慧農(nóng)業(yè)中的大數(shù)據(jù)主要包括土壤信息、水資源信息、氣象信息等農(nóng)業(yè)資源環(huán)境數(shù)據(jù)，農(nóng)業(yè)生物資源、農(nóng)業(yè)物種資源等農(nóng)業(yè)生物數(shù)據(jù)等。就農(nóng)業(yè)生產(chǎn)、加工、銷(xiāo)售整個(gè)流程而言，智慧農(nóng)業(yè)中的大數(shù)據(jù)包括農(nóng)資數(shù)據(jù)、技術(shù)支持?jǐn)?shù)據(jù)、農(nóng)業(yè)生產(chǎn)數(shù)據(jù)、農(nóng)產(chǎn)品物流數(shù)據(jù)、農(nóng)產(chǎn)品儲(chǔ)藏?cái)?shù)據(jù)、農(nóng)產(chǎn)品加工數(shù)據(jù)、農(nóng)產(chǎn)品市場(chǎng)流通數(shù)據(jù)以及農(nóng)產(chǎn)品質(zhì)量安全數(shù)據(jù)等[1]。大數(shù)據(jù)在智慧農(nóng)業(yè)中的應(yīng)用主要體現(xiàn)在以下幾個(gè)方面：一是通過(guò)智能終端、感知終端、視頻采集終端、音頻終端等設(shè)備采集在農(nóng)產(chǎn)品生產(chǎn)、加工以及農(nóng)產(chǎn)品流通、消費(fèi)等過(guò)程中產(chǎn)生的文本、圖形、圖像、聲音、視頻等數(shù)據(jù); 二是融合了各領(lǐng)域、學(xué)科的交叉數(shù)據(jù)，綜合、關(guān)聯(lián)的融合式數(shù)據(jù)共享平臺(tái)取代了傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，成為新的數(shù)據(jù)存儲(chǔ)管理形式。基于大數(shù)據(jù)流、智能化的大數(shù)據(jù)處理平臺(tái)在農(nóng)業(yè)中廣泛深入的應(yīng)用，通過(guò)可視化交互、社會(huì)網(wǎng)絡(luò)分析、智能管理等技術(shù)實(shí)現(xiàn)農(nóng)業(yè)生產(chǎn)環(huán)境監(jiān)測(cè)、農(nóng)產(chǎn)品安全溯源;三是在農(nóng)業(yè)產(chǎn)業(yè)鏈上各個(gè)環(huán)節(jié)的政府、科研機(jī)構(gòu)、高校、企業(yè)形成競(jìng)爭(zhēng)協(xié)同作業(yè)機(jī)制，共同促進(jìn)智慧農(nóng)業(yè)的發(fā)展。智慧大數(shù)據(jù)形成一個(gè)可持續(xù)、可循環(huán)、高效、完整的生態(tài)圈。

2 ?智慧農(nóng)業(yè)中的大數(shù)據(jù)

智慧農(nóng)業(yè)中大數(shù)據(jù)的應(yīng)用提高了農(nóng)業(yè)的生產(chǎn)效率，實(shí)現(xiàn)了農(nóng)業(yè)生產(chǎn)的智能化，保障了農(nóng)產(chǎn)品的綠色安全，實(shí)現(xiàn)了農(nóng)業(yè)系統(tǒng)的生態(tài)化。

2.1 ?智慧農(nóng)業(yè)中大數(shù)據(jù)的系統(tǒng)構(gòu)架

智慧農(nóng)業(yè)中大數(shù)據(jù)的系統(tǒng)構(gòu)架見(jiàn)圖1。

第一層，主要是各種農(nóng)業(yè)生產(chǎn)領(lǐng)域，包括農(nóng)產(chǎn)品種植、畜牧養(yǎng)殖等和農(nóng)業(yè)關(guān)聯(lián)的各種資源環(huán)境、科研數(shù)據(jù)、自然災(zāi)害及農(nóng)業(yè)產(chǎn)業(yè)鏈等數(shù)據(jù)。

第二層，構(gòu)建適合各個(gè)農(nóng)業(yè)元素的數(shù)據(jù)采集網(wǎng)絡(luò)。利用各種智能終端實(shí)時(shí)采集各種農(nóng)情數(shù)據(jù);通過(guò)物聯(lián)網(wǎng)、互聯(lián)網(wǎng)建立數(shù)據(jù)的實(shí)時(shí)傳輸通道、實(shí)時(shí)監(jiān)測(cè)農(nóng)業(yè)環(huán)境數(shù)據(jù)。

第三層，借助大數(shù)據(jù)、云計(jì)算、云存儲(chǔ)等技術(shù)，建立智慧農(nóng)業(yè)大數(shù)據(jù)中心。①在這個(gè)過(guò)程中要對(duì)采集的原始數(shù)據(jù)，運(yùn)用數(shù)據(jù)挖掘的技術(shù)對(duì)其進(jìn)行數(shù)據(jù)預(yù)處理數(shù)據(jù)清洗、去噪、集成等，保證數(shù)據(jù)質(zhì)量，形成精準(zhǔn)的數(shù)據(jù)源[2];②通過(guò)數(shù)據(jù)融合實(shí)現(xiàn)與氣象、水利、地質(zhì)、國(guó)土、林業(yè)、環(huán)保等數(shù)據(jù)共用共享，形成大數(shù)據(jù)共享中心。

第四層，利用關(guān)聯(lián)分析、可視化分析、數(shù)據(jù)挖掘、數(shù)據(jù)融合等大數(shù)據(jù)分析方法，解決農(nóng)業(yè)領(lǐng)域的數(shù)據(jù)監(jiān)測(cè)和數(shù)據(jù)發(fā)現(xiàn)。①在數(shù)據(jù)價(jià)值發(fā)現(xiàn)方面，包括精準(zhǔn)農(nóng)業(yè)、農(nóng)業(yè)衛(wèi)星遙感數(shù)據(jù)、農(nóng)業(yè)生物基因數(shù)據(jù)農(nóng)產(chǎn)品質(zhì)量追溯、農(nóng)村綜合信息等;②可以對(duì)各種數(shù)據(jù)進(jìn)行監(jiān)測(cè)預(yù)警，比如農(nóng)業(yè)資源環(huán)境、農(nóng)業(yè)自然災(zāi)害、農(nóng)業(yè)環(huán)境污染、農(nóng)產(chǎn)品市場(chǎng)監(jiān)測(cè)預(yù)警等[3]。

第五層，利用智慧農(nóng)業(yè)中采集的大數(shù)據(jù)，構(gòu)建“數(shù)據(jù)支撐、智能監(jiān)測(cè)，產(chǎn)出高效、產(chǎn)品安全，資源節(jié)約、環(huán)境友好”的智慧農(nóng)業(yè)。

2.2 ?智慧農(nóng)業(yè)中大數(shù)據(jù)的處理流程

智慧農(nóng)業(yè)中大數(shù)據(jù)的處理主要包括基礎(chǔ)數(shù)據(jù)的采集、預(yù)處理、管理、處理和分析等（圖2）。在數(shù)據(jù)采集階段，主要通過(guò)各種終端采集設(shè)備，如傳感器、移動(dòng)終端、無(wú)人機(jī)、溫度計(jì)等獲取環(huán)境數(shù)據(jù);在數(shù)據(jù)預(yù)處理階段，主要完成數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)去噪等工作;在數(shù)據(jù)管理階段，主要依托大型的數(shù)據(jù)庫(kù)管理系統(tǒng)對(duì)海量數(shù)據(jù)進(jìn)行維護(hù)和管理;在數(shù)據(jù)處理階段，面對(duì)不同的應(yīng)用場(chǎng)景用不同的技術(shù)或平臺(tái)來(lái)處理，比如分布式處理等;數(shù)據(jù)分析階段主要是通過(guò)數(shù)據(jù)建模、利用挖掘分析軟件進(jìn)行深層次數(shù)量分析，獲取數(shù)據(jù)規(guī)律或者事件結(jié)果。

3 ?大數(shù)據(jù)在智慧農(nóng)業(yè)中的應(yīng)用

3.1 ?智慧農(nóng)業(yè)中大數(shù)據(jù)的采集

3.1.1 ?農(nóng)業(yè)遙感數(shù)據(jù)獲取 ?智慧農(nóng)業(yè)遙感數(shù)據(jù)獲取主要通過(guò)農(nóng)業(yè)衛(wèi)星、飛行器等對(duì)地面農(nóng)作物進(jìn)行大范圍監(jiān)測(cè)。

3.1.2 ?農(nóng)業(yè)生產(chǎn)環(huán)境數(shù)據(jù)獲取 ?智慧農(nóng)業(yè)生產(chǎn)環(huán)境數(shù)據(jù)獲取是對(duì)影響農(nóng)作物生長(zhǎng)的氣象因子、非生物環(huán)境、土壤條件等數(shù)據(jù)進(jìn)行動(dòng)態(tài)監(jiān)測(cè)、采集，主要利用農(nóng)業(yè)遙感技術(shù)、智能傳感網(wǎng)技術(shù)等。隨著各學(xué)科的交叉融合，光纖傳感器、微機(jī)電系統(tǒng)、仿生傳感器、電化學(xué)傳感器等新型傳感器技術(shù)以及多光譜、高光譜、核磁共振等先進(jìn)檢測(cè)方法在植物、土壤、環(huán)境信息采集方面廣泛應(yīng)用，農(nóng)業(yè)生產(chǎn)環(huán)境數(shù)據(jù)的精度、廣度、頻度大幅度提高。

3.1.3 ?農(nóng)產(chǎn)品市場(chǎng)經(jīng)濟(jì)數(shù)據(jù)采集 ?農(nóng)產(chǎn)品市場(chǎng)經(jīng)濟(jì)數(shù)據(jù)采集是指對(duì)農(nóng)產(chǎn)品的成本、需求、庫(kù)存、進(jìn)出口、市場(chǎng)行情等數(shù)據(jù)進(jìn)行動(dòng)態(tài)采集，涉及農(nóng)業(yè)流通、農(nóng)產(chǎn)品價(jià)格、農(nóng)產(chǎn)品市場(chǎng)、農(nóng)產(chǎn)品質(zhì)量安全等，具有較強(qiáng)的突發(fā)性、動(dòng)態(tài)性、實(shí)時(shí)性、變化性，一般由“智能終端+通信網(wǎng)絡(luò)+專(zhuān)業(yè)群體”組成。

3.2 ?基于Scrapy的智慧網(wǎng)絡(luò)數(shù)據(jù)采集技術(shù)應(yīng)用

3.2.1 ?智慧農(nóng)業(yè)網(wǎng)絡(luò)數(shù)據(jù)抓取 ?智慧農(nóng)業(yè)網(wǎng)絡(luò)數(shù)據(jù)抓取指利用爬蟲(chóng)等網(wǎng)絡(luò)數(shù)據(jù)抓取技術(shù)對(duì)網(wǎng)站、論壇、微博、博客中涉農(nóng)數(shù)據(jù)進(jìn)行動(dòng)態(tài)監(jiān)測(cè)、定向采集的過(guò)程，實(shí)現(xiàn)各種涉農(nóng)數(shù)據(jù)的集成、匯聚，以便下一步進(jìn)行分析（圖3）。Scrapy的爬蟲(chóng)主要有以下幾步：①以初始的URL初始化Request，并設(shè)置回調(diào)函數(shù)。當(dāng)該Request下載完畢并返回時(shí)，將生成Response，并作為參數(shù)傳給該回調(diào)函數(shù);②在回調(diào)函數(shù)內(nèi)分析返回的（網(wǎng)頁(yè)）內(nèi)容，返回Item對(duì)象或者Request或者一個(gè)包括二者的可迭代容器[4];③在回調(diào)函數(shù)內(nèi)可以使用選擇器（Selectors）來(lái)分析網(wǎng)頁(yè)內(nèi)容，并根據(jù)分析的數(shù)據(jù)生成Item;④由Spider返回的Item將數(shù)據(jù)存到數(shù)據(jù)庫(kù)或使用Feed exports存入到文件中[5]。

3.2.2 ?技術(shù)實(shí)現(xiàn)

1）先通過(guò)Pip install Scrapy命令安裝Scrapy，Scrapy必須安裝在Python 2.7以上。

2）安裝完成后，通過(guò)Ins/usr/local/python 2.7/bin/scrapy/bin/scrapy命令，將Scrapy配置為全局變量。通過(guò)Scrapy startproject tutorial新建一個(gè)Scrapy項(xiàng)目。

3）通過(guò)Scrapy genspider caas命令，創(chuàng)建一個(gè)新的Spider。對(duì)于不同網(wǎng)站的爬取，需要建立多個(gè) Spider，多個(gè)Spider并發(fā)執(zhí)行，即可實(shí)現(xiàn)大量網(wǎng)絡(luò)資源數(shù)據(jù)的采集。

4）執(zhí)行Spider進(jìn)行數(shù)據(jù)爬取，結(jié)果可以導(dǎo)出為json、xml、csv等格式文件。本文將數(shù)據(jù)導(dǎo)出格式設(shè)置為xml 格式。

通過(guò)執(zhí)行Scrapy crawl moao moa.xml命令采集安康市農(nóng)業(yè)科學(xué)研究所數(shù)據(jù)，見(jiàn)圖4。

通過(guò)執(zhí)行Scrapy crawl moao moa.xml命令采集安康市農(nóng)業(yè)局?jǐn)?shù)據(jù)，見(jiàn)圖5。

3.3 ?大數(shù)據(jù)管理技術(shù)及應(yīng)用

Neo4j是一個(gè)高性能的Nosql圖形數(shù)據(jù)庫(kù)，它將結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在網(wǎng)絡(luò)上而不是表中。它具有如下特征：完整的Acid支持，保證數(shù)據(jù)一致性;高可用性，不管桌面應(yīng)用如何變化，Neo4j只會(huì)受到計(jì)算機(jī)硬件性能的影響，不受應(yīng)用本身的約束;輕易擴(kuò)展到上億級(jí)別的節(jié)點(diǎn)和關(guān)系，一個(gè)Neo4j服務(wù)器便可以承載上億級(jí)的節(jié)點(diǎn)和關(guān)系，并且支持分布式集群部署;通過(guò)遍歷工具高速檢索數(shù)據(jù)，每秒可以達(dá)到上億級(jí)的檢索量，一個(gè)檢索操作類(lèi)似于Rdmbs里面的連接（Join）操作，讀性能可以實(shí)現(xiàn)每毫秒遍歷2 000關(guān)系[6]。

3.4 ?大數(shù)據(jù)處理技術(shù)應(yīng)用

智慧農(nóng)業(yè)中的研究主要以對(duì)農(nóng)業(yè)采集數(shù)據(jù)處理為目的，分析出農(nóng)業(yè)大數(shù)據(jù)中潛在的價(jià)值和規(guī)律，對(duì)農(nóng)業(yè)經(jīng)濟(jì)發(fā)展進(jìn)行合理的推斷和預(yù)測(cè)，進(jìn)而指導(dǎo)農(nóng)業(yè)生產(chǎn)活動(dòng)。

3.4.1 ?大數(shù)據(jù)處理的關(guān)鍵技術(shù) ?Spark是Apache旗下的一種基于內(nèi)存計(jì)算、快速、通用、可擴(kuò)展的開(kāi)源集群計(jì)算系統(tǒng)，是繼 Hadoop 之后的新一代大數(shù)據(jù)分布式處理框架，提供高層次的Java、Scala、Python以及R語(yǔ)言的API接入，支持通用的圖處理[7]。

Spark主要側(cè)重于輕量級(jí)數(shù)據(jù)處理的應(yīng)用，代碼小，處理速度快，設(shè)計(jì)靈巧，在技術(shù)層面上兼容Hadoop存儲(chǔ)層的API可訪問(wèn)HdfsHbase，Sequence File等[8];支持交互式操作，Spark-Shell支持交互式Spark環(huán)境，能夠提供交互式查詢(xún);具有良好的容錯(cuò)機(jī)制[9]。Spark運(yùn)行架構(gòu)見(jiàn)圖6。

3.4.2 ?基于Spark的農(nóng)技推廣數(shù)據(jù)處理研究

1）軟硬件環(huán)境要求。項(xiàng)目采用 Vmvare 虛擬機(jī)，配置硬件參數(shù)為：內(nèi)存4GB，八核CPU，安裝操作系統(tǒng)版本為Red Hat Enterprise Linux Server release 6.4[10]。其余軟件版本如下：jieba-0.38.zip（md5），Python 2.6.6，mysql Ver 14.14， Distrib 5.1.66，for redhat-linux-gnu （i686） using readline 5.1，Spark-1.6.0-bin-hadoop 2.6。

2）操作步驟。將數(shù)據(jù)導(dǎo)入到Mysql數(shù)據(jù)庫(kù)中;為了避免亂碼問(wèn)題，采用utf8數(shù)據(jù)格式：Set names utf8;source resource.sql登陸數(shù)據(jù)庫(kù)[11]，查看表結(jié)構(gòu)見(jiàn)圖7。

3）利用jieba軟件包，使用Python讀取數(shù)據(jù)表中的字段，對(duì)title列的數(shù)據(jù)進(jìn)行切詞處理。本文采用半自動(dòng)安裝模式，下載jieba-0.38 安裝文件[12]，解壓后運(yùn)行python setup.py install[13]。采用精確模式進(jìn)行切詞，不對(duì)停用詞、特殊字符等進(jìn)行處理，前10行切詞效果見(jiàn)表1。

4）搭建Spark平臺(tái)，通過(guò)在Spark上對(duì)切詞代碼進(jìn)行執(zhí)行，對(duì)比執(zhí)行時(shí)間[14]，見(jiàn)表2。

4 ?小結(jié)

本文圍繞智慧農(nóng)業(yè)發(fā)展的需求，分析了大數(shù)據(jù)對(duì)于傳統(tǒng)農(nóng)業(yè)轉(zhuǎn)型升級(jí)的重要作用。通過(guò)實(shí)例分析了智慧農(nóng)業(yè)中大數(shù)據(jù)的采集、海量數(shù)據(jù)的存儲(chǔ)、大數(shù)據(jù)管理、大數(shù)據(jù)分析等技術(shù)，探索了大數(shù)據(jù)在智慧農(nóng)業(yè)中的應(yīng)用。利用大數(shù)據(jù)技術(shù)對(duì)農(nóng)業(yè)大數(shù)據(jù)進(jìn)行清洗、集成、融合、挖掘等，發(fā)現(xiàn)隱藏其間的數(shù)據(jù)價(jià)值，可為農(nóng)業(yè)生產(chǎn)經(jīng)營(yíng)提供指導(dǎo)，為農(nóng)業(yè)市場(chǎng)經(jīng)濟(jì)早期預(yù)警，為政府決策提供科學(xué)依據(jù)，培育新型農(nóng)業(yè)經(jīng)營(yíng)主體，推動(dòng)現(xiàn)代農(nóng)業(yè)建設(shè)，保障國(guó)家糧食安全。

參考文獻(xiàn)：

[1] 趙春江，薛緒掌，王秀精，等.準(zhǔn)農(nóng)業(yè)技術(shù)體系的研究進(jìn)展與展望[J].農(nóng)業(yè)工程學(xué)報(bào).2003，19（4）：7-12.

[2] 李國(guó)杰，程學(xué)旗.大數(shù)據(jù)研究：未來(lái)科技及經(jīng)濟(jì)社會(huì)發(fā)展的重大戰(zhàn)略領(lǐng)域[J].中國(guó)科學(xué)院院刊，2012，27（6）：647-657.

[3] 孟小峰，慈 ?祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展，2013，50（1）：146-169.

[4] 王 ?珊，王會(huì)舉，覃雄派，等.架構(gòu)大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與展望[J].計(jì)算機(jī)學(xué)報(bào)，2011，34（10）：1741-1752.

[5] 于 ?戈，谷 ?峪，鮑玉斌，等.云計(jì)算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)[J].計(jì)算機(jī)報(bào)，2011，34（10）：53-67.

[6] 羅軍舟，金嘉暉，宋愛(ài)波，等.云計(jì)算：體系架構(gòu)與關(guān)鍵技術(shù)[J].通信學(xué)報(bào)，2011，32（7）：3-21.

[7] 陸嘉恒.大數(shù)據(jù)挑戰(zhàn)與NoSQL數(shù)據(jù)庫(kù)技術(shù)[M].北京：電子工業(yè)出版社，2013.

[8] 董 ?輝.基于SOA架構(gòu)的山東農(nóng)產(chǎn)品電子商務(wù)平臺(tái)的構(gòu)建[J].科技信息，2012（25）：34-35.

[9] 廖亮權(quán).基于WAMP的農(nóng)村電子商務(wù)交易平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].南昌：南昌大學(xué)，2013.

[10] 程翠玉.農(nóng)產(chǎn)品電子商務(wù)交易系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].山東青島：中國(guó)海洋大學(xué)，2011.

[11] 洪 ?穎.基于J2EE農(nóng)產(chǎn)品電子商務(wù)平臺(tái)的設(shè)計(jì)[J].湖北農(nóng)業(yè)科學(xué)，2015，54（1）：193-195.

[12] 李承高.環(huán)洞庭湖區(qū)農(nóng)產(chǎn)品電子商務(wù)平臺(tái)的構(gòu)建探討[J].時(shí)代金融，2017（3）：65-68.

[13] 連奕錦，邢玉升.試論“互聯(lián)網(wǎng)+農(nóng)業(yè)”的發(fā)展策略[J].北方經(jīng)貿(mào)，2017（4）：34-35.

[14] 夏 ?曼.基于云計(jì)算的農(nóng)產(chǎn)品電子商務(wù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].南寧：廣西大學(xué)，2015.