李瑾++顧戈琦

摘要：“互聯(lián)網(wǎng)+”可有效提高農(nóng)業(yè)各個(gè)環(huán)節(jié)的運(yùn)行效率。介紹了農(nóng)業(yè)大數(shù)據(jù)發(fā)展現(xiàn)狀，總結(jié)分析現(xiàn)階段農(nóng)業(yè)大數(shù)據(jù)發(fā)展過程中存在數(shù)據(jù)孤島、數(shù)據(jù)系統(tǒng)擴(kuò)容能力弱、數(shù)據(jù)服務(wù)類型單一等問題，并針對(duì)這些問題，結(jié)合互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等信息化手段，從設(shè)計(jì)原則、思路、框架及功能模塊對(duì)農(nóng)業(yè)大數(shù)據(jù)平臺(tái)進(jìn)行設(shè)計(jì)，根據(jù)多源接入、標(biāo)準(zhǔn)處理、分級(jí)使用、開放應(yīng)用的原則，構(gòu)建了歷史數(shù)據(jù)提取、異源數(shù)據(jù)共享、數(shù)據(jù)直采的數(shù)據(jù)采集功能，數(shù)據(jù)標(biāo)準(zhǔn)化匯集、多源數(shù)據(jù)驗(yàn)證細(xì)化了數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)應(yīng)用功能應(yīng)用，建立創(chuàng)新數(shù)據(jù)應(yīng)用模式，為全面提升現(xiàn)代農(nóng)業(yè)效率助力。

關(guān)鍵詞：“互聯(lián)網(wǎng)+”；大數(shù)據(jù)；農(nóng)業(yè)；平臺(tái)構(gòu)建

中圖分類號(hào)：TP392；S126 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：0439-8114（2017）10-1947-06

DOI：10.14088/j.cnki.issn0439-8114.2017.10.037

Construction of Agricultural Big Data Platform Based on “Internet +”

LI Jin， GU Ge-qi

（Beijing Research Center for Information Technology in Agriculture/National Engineering Research Center for Information Technology in Agriculture/Key Laboratory of Agri-informatics，Ministry of Agriculture/Beijing Engineering Research Center of Agricultural Internet of Things， Beijing 100097，China）

Abstract：“Internet +” can effectively improve agricultural efficiency of each part. This paper introduces the developing situation of the agricultural big data， summary analysis of the present stage in the process of developing the agricultural big data data islands， weak data system capacity， data service type single and other issues， and to solve these problems， combined with information technology means such as Internet， mobile Internet， Internet of things， from the design principle， train of thought， framework and function module design for the big data platform for agriculture， according to a multi-source access， standard processing and classification using， open the application principle， constructs the history data extraction， data sharing， data mining of the data acquisition function， standardization of data collection， the details of multi-source data verify the function of data acquisition， data processing， data application， application mode， establish innovative data to maximize the overall efficiency of modern agriculture.

Key word：“Internet +”； big data； agriculture； platform construction

“互聯(lián)網(wǎng)+農(nóng)業(yè)”就是應(yīng)用互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等信息化手段，改造農(nóng)業(yè)原有的產(chǎn)業(yè)鏈條，重塑產(chǎn)業(yè)結(jié)構(gòu)，通過連接生產(chǎn)、流通、消費(fèi)的各個(gè)環(huán)節(jié)，產(chǎn)生協(xié)同價(jià)值，大幅提升農(nóng)業(yè)的生產(chǎn)效率。隨著農(nóng)業(yè)物聯(lián)網(wǎng)、農(nóng)業(yè)智能裝備等技術(shù)的應(yīng)用，農(nóng)業(yè)生產(chǎn)、流通、消費(fèi)實(shí)現(xiàn)了全過程的數(shù)字化與可感知，產(chǎn)生了生產(chǎn)管理、土壤信息、農(nóng)資投入、農(nóng)產(chǎn)品流通以及消費(fèi)信息等海量數(shù)據(jù)，為發(fā)展現(xiàn)代農(nóng)業(yè)提供了重要的數(shù)據(jù)支撐[1]。但現(xiàn)階段農(nóng)業(yè)數(shù)據(jù)大多分散于不同信息系統(tǒng)中，信息流通速度較慢，數(shù)據(jù)深入處理能力弱，無法產(chǎn)生更大的價(jià)值。需借助互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)等技術(shù)手段，建立基于互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)的農(nóng)業(yè)大數(shù)據(jù)平臺(tái)，匯集海量數(shù)據(jù)、建立大數(shù)據(jù)云平臺(tái)、深入挖掘數(shù)據(jù)價(jià)值、建立創(chuàng)新數(shù)據(jù)應(yīng)用模式，全面提升現(xiàn)代農(nóng)業(yè)的生產(chǎn)效率[2]。

1 農(nóng)業(yè)大數(shù)據(jù)發(fā)展現(xiàn)狀

1.1 數(shù)據(jù)意識(shí)較強(qiáng)，政策支持力度較大

政府部門、科研單位、農(nóng)業(yè)企業(yè)都認(rèn)識(shí)到了數(shù)據(jù)的價(jià)值，對(duì)數(shù)據(jù)采集、存儲(chǔ)、應(yīng)用工作都非常重視，農(nóng)業(yè)部發(fā)布了《農(nóng)業(yè)部關(guān)于推進(jìn)農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展的實(shí)施意見》，各省也發(fā)布了各省的大數(shù)據(jù)發(fā)展政策與規(guī)劃，例如貴州省將大數(shù)據(jù)作為“十三五”時(shí)期全省發(fā)展全局的戰(zhàn)略引擎，印發(fā)了《關(guān)于加快大數(shù)據(jù)產(chǎn)業(yè)發(fā)展應(yīng)用若干政策的意見》和《貴州省大數(shù)據(jù)產(chǎn)業(yè)發(fā)展應(yīng)用規(guī)劃綱要（2014-2020年）》，山東農(nóng)業(yè)大學(xué)成立了全國首個(gè)農(nóng)業(yè)大數(shù)據(jù)研究中心，部分企業(yè)也建立了企業(yè)的ERP系統(tǒng)，可溯源信息系統(tǒng)等信息系統(tǒng)。

1.2 大數(shù)據(jù)技術(shù)在農(nóng)業(yè)領(lǐng)域應(yīng)用逐漸深入

隨著農(nóng)業(yè)及農(nóng)業(yè)信息化的進(jìn)步，大數(shù)據(jù)和農(nóng)業(yè)結(jié)合愈發(fā)緊密，山東農(nóng)業(yè)大學(xué)發(fā)起了農(nóng)業(yè)大數(shù)據(jù)產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟，建成了“農(nóng)業(yè)大數(shù)據(jù)應(yīng)用云平臺(tái)”，匯集全國各?。ㄊ校┙?jīng)濟(jì)數(shù)據(jù)、全國農(nóng)產(chǎn)品進(jìn)出口數(shù)據(jù)、全國涉農(nóng)企業(yè)行業(yè)結(jié)構(gòu)分析數(shù)據(jù)等涉農(nóng)數(shù)據(jù)。同時(shí)研建了“渤海糧倉科技示范工程”、“奶牛數(shù)字化精準(zhǔn)養(yǎng)殖系統(tǒng)”、“山東省小麥、玉米主要蟲害特征數(shù)據(jù)采集與預(yù)警平臺(tái)”等一系列利用大數(shù)據(jù)技術(shù)指導(dǎo)實(shí)際農(nóng)業(yè)生產(chǎn)的應(yīng)用項(xiàng)目?！安澈＜Z倉科技示范工程”項(xiàng)目利用互聯(lián)網(wǎng)、大數(shù)據(jù)等信息技術(shù)，改造環(huán)渤海低平原地區(qū)的鹽堿荒地，取得了顯著的成果，2012年該試驗(yàn)田小麥單產(chǎn)量達(dá)到4 725 kg/hm2，創(chuàng)出重度鹽堿地種植小麥高產(chǎn)紀(jì)錄[3]?！稗r(nóng)業(yè)大數(shù)據(jù)應(yīng)用云平臺(tái)”建有開放數(shù)據(jù)可視化平臺(tái)，用戶僅需3步即可建立自己的數(shù)據(jù)可視化分析報(bào)告，并公開發(fā)布分析成果。

1.3 農(nóng)村地區(qū)信息化基礎(chǔ)較好

中國農(nóng)業(yè)農(nóng)村信息化能力逐年提升。截至2014年，僅中國移動(dòng)就覆蓋121 243個(gè)邊遠(yuǎn)村莊，27 995個(gè)行政村接通寬帶，農(nóng)村渠道網(wǎng)點(diǎn)超過60.2萬個(gè)，“農(nóng)信通”客戶超過在6 266萬人，農(nóng)村信息網(wǎng)累計(jì)發(fā)送涉農(nóng)信息超過350.2億條。中國聯(lián)通也推出以“農(nóng)機(jī)通”及“12316”綜合服務(wù)平臺(tái)為代表的涉農(nóng)信息化應(yīng)用，截至2014年為止，全國各省“農(nóng)機(jī)通”用戶累計(jì)達(dá)20萬戶；“12316”共受理農(nóng)民咨詢電話超過1 000萬次，每年幫助農(nóng)民減損增收10億元以上。中國大部分省市已建成省、市、縣、鄉(xiāng)四級(jí)網(wǎng)絡(luò)，為農(nóng)業(yè)數(shù)據(jù)采集、傳輸提供良好支撐。

2 農(nóng)業(yè)大數(shù)據(jù)存在問題

2.1 存在數(shù)據(jù)孤島，缺少數(shù)據(jù)共享機(jī)制

政府、企業(yè)、科研單位雖已認(rèn)識(shí)到數(shù)據(jù)的重要性，但數(shù)據(jù)共享意識(shí)還有待提高，仍然將數(shù)據(jù)作為自己的秘密財(cái)富，不愿與外界分享，導(dǎo)致數(shù)據(jù)壁壘出現(xiàn)，甚至同一單位內(nèi)部不同部門間，數(shù)據(jù)都無法做到有效共享。國家在數(shù)據(jù)公開共享等方面缺乏具體的標(biāo)準(zhǔn)和政策指導(dǎo)，導(dǎo)致政府、科研單位等公共機(jī)構(gòu)，即使有數(shù)據(jù)共享的意愿，也數(shù)據(jù)共享也較難開展[4]。在各個(gè)單位之間以及單位內(nèi)部不同部門間，由于各個(gè)信息系統(tǒng)建設(shè)時(shí)間、建設(shè)標(biāo)準(zhǔn)、建設(shè)目的不同，導(dǎo)致在不同信息系統(tǒng)間數(shù)據(jù)粒度、數(shù)據(jù)密度等都有較大不同，進(jìn)行數(shù)據(jù)共享難度較大，即使有數(shù)據(jù)共享的意愿，數(shù)據(jù)標(biāo)準(zhǔn)化處理的難度也非常大[5]。

2.2 數(shù)據(jù)來源單薄，技術(shù)應(yīng)用不足

農(nóng)業(yè)數(shù)據(jù)采集系統(tǒng)多由政府、科研單位等公共機(jī)構(gòu)建設(shè)，企業(yè)參與程度較低。由于農(nóng)業(yè)相較于互聯(lián)網(wǎng)、金融等行業(yè)發(fā)展較弱，農(nóng)業(yè)領(lǐng)域內(nèi)由企業(yè)提供的信息服務(wù)非常少，導(dǎo)致數(shù)據(jù)覆蓋品種、面積有限，數(shù)據(jù)定制化服務(wù)缺失[6]。數(shù)據(jù)采集多依賴人工采集，信息化程度有限，部分信息化程度較高的地區(qū)借助電腦終端、互聯(lián)網(wǎng)進(jìn)行信息錄入、存儲(chǔ)、傳輸，利用移動(dòng)終端、移動(dòng)互聯(lián)網(wǎng)技術(shù)的移動(dòng)采集實(shí)時(shí)傳輸?shù)男畔⒉杉到y(tǒng)較少，利用物聯(lián)網(wǎng)技術(shù)的自動(dòng)化信息采集系統(tǒng)也較少，部分地區(qū)還依賴人工采集、紙筆錄入、逐級(jí)上報(bào)的信息采集方式，導(dǎo)致信息采集效率低、誤差率高、時(shí)效性差等問題。

2.3 系統(tǒng)建設(shè)缺乏彈性，數(shù)據(jù)擴(kuò)展能力較弱

農(nóng)業(yè)信息平臺(tái)多為特定目的建設(shè)，大多只能處理該系統(tǒng)設(shè)計(jì)范圍內(nèi)的數(shù)據(jù)，對(duì)于初期設(shè)計(jì)范圍外的數(shù)據(jù)類型、來自于其他信息平臺(tái)的數(shù)據(jù)兼容性較差，平臺(tái)擴(kuò)展性較低。對(duì)于數(shù)據(jù)本身，由于缺乏統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，導(dǎo)致數(shù)據(jù)采集、存儲(chǔ)都依據(jù)初期設(shè)計(jì)時(shí)的標(biāo)準(zhǔn)采集，限制了后期系統(tǒng)升級(jí)、數(shù)據(jù)擴(kuò)展以及不同平臺(tái)間數(shù)據(jù)的共享。受限于數(shù)據(jù)平臺(tái)的特定性，其數(shù)據(jù)來源、數(shù)據(jù)類型等特征較為相似，較難開展數(shù)據(jù)交叉驗(yàn)證工作，數(shù)據(jù)的準(zhǔn)確性更多依賴于數(shù)據(jù)采集端，在數(shù)據(jù)平臺(tái)本身無法再次校驗(yàn)數(shù)據(jù)[7]。

2.4 數(shù)據(jù)服務(wù)類型單一，數(shù)據(jù)使用門檻較高

大數(shù)據(jù)平臺(tái)大多提供數(shù)據(jù)查詢服務(wù)，但是缺乏結(jié)合海量數(shù)據(jù)和實(shí)際需求的深度分析服務(wù)，導(dǎo)致平臺(tái)使用門檻較高，使用者多為具有一定數(shù)據(jù)分析能力的專業(yè)人士，而農(nóng)場(chǎng)主、農(nóng)戶等接觸數(shù)據(jù)分析經(jīng)驗(yàn)較少的用戶就很難有效利用數(shù)據(jù)指導(dǎo)生產(chǎn)、生活[8]?，F(xiàn)階段農(nóng)村從事種養(yǎng)殖生產(chǎn)的農(nóng)戶大多年齡偏大，獲取信息多依賴智能手機(jī)、功能手機(jī)等渠道，信息需求強(qiáng)但信息獲取、應(yīng)用能力較弱，現(xiàn)有農(nóng)業(yè)大數(shù)據(jù)平臺(tái)提供數(shù)據(jù)定制化服務(wù)能力較弱，部分平臺(tái)開發(fā)了手機(jī)端應(yīng)用軟件，其功能多為數(shù)據(jù)推送服務(wù)，綜合生產(chǎn)建議較少，農(nóng)戶應(yīng)用難度較高。

3 農(nóng)業(yè)大數(shù)據(jù)平臺(tái)模式設(shè)計(jì)

3.1 設(shè)計(jì)原則

1）多源接入，匯集數(shù)據(jù)。大數(shù)據(jù)平臺(tái)匯集農(nóng)業(yè)相關(guān)的各類數(shù)據(jù)，無論是存儲(chǔ)于紙媒、光盤的歷史數(shù)據(jù)，還是存在于已建系統(tǒng)中的數(shù)據(jù)，無論是結(jié)構(gòu)化文本數(shù)據(jù)，還是非結(jié)構(gòu)化的文本、視頻、音頻數(shù)據(jù)，大數(shù)據(jù)平臺(tái)都通過相應(yīng)的技術(shù)手段，將其匯集到大數(shù)據(jù)平臺(tái)中，有效打破數(shù)據(jù)壁壘，匯集多源、多類型數(shù)據(jù)，真正發(fā)揮大數(shù)據(jù)的威力。

2）標(biāo)準(zhǔn)處理，統(tǒng)一管理。大數(shù)據(jù)平臺(tái)建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，歷史數(shù)據(jù)、已建系統(tǒng)數(shù)據(jù)、直采數(shù)據(jù)都需按照大數(shù)據(jù)平臺(tái)的標(biāo)準(zhǔn)進(jìn)行相應(yīng)的標(biāo)準(zhǔn)化處理，便于數(shù)據(jù)應(yīng)用層使用。大數(shù)據(jù)平臺(tái)成為數(shù)據(jù)統(tǒng)一儲(chǔ)存、處理平臺(tái)，各單位不用再建立自己的數(shù)據(jù)平臺(tái)，減少數(shù)據(jù)數(shù)據(jù)儲(chǔ)存、運(yùn)維等方面的相關(guān)投入。

3）分級(jí)使用，保護(hù)隱私。數(shù)據(jù)隱私是數(shù)據(jù)供給者最為關(guān)心的問題，大數(shù)據(jù)平臺(tái)通過多級(jí)隱私權(quán)限設(shè)置來保護(hù)用戶數(shù)據(jù)隱私，對(duì)于分享到平臺(tái)的數(shù)據(jù)，也會(huì)根據(jù)數(shù)據(jù)敏感程度，進(jìn)行數(shù)據(jù)使用權(quán)限分級(jí)，針對(duì)高敏感度的數(shù)據(jù)，只有通過審核的用戶可以使用。通過這些機(jī)制設(shè)置，平臺(tái)有效解決了數(shù)據(jù)隱私保護(hù)和數(shù)據(jù)共享的矛盾。

4）應(yīng)用平臺(tái)，開放易用。數(shù)據(jù)使用者的數(shù)據(jù)分析能力各不相同，大數(shù)據(jù)平臺(tái)提供二次開發(fā)平臺(tái)、可視化分析工具、個(gè)性化訂閱等服務(wù)，用戶既可以開發(fā)復(fù)雜的數(shù)據(jù)應(yīng)用，也可使用系統(tǒng)內(nèi)置的數(shù)據(jù)分析工具進(jìn)行便捷、快速地?cái)?shù)據(jù)分析，有效滿足不同數(shù)據(jù)分析能力、不同數(shù)據(jù)使用需求的用戶。

3.2 設(shè)計(jì)思路

大數(shù)據(jù)平臺(tái)利用先進(jìn)的信息技術(shù)手段，廣泛采集儲(chǔ)存在紙媒、光盤媒體中的孤島數(shù)據(jù)，實(shí)時(shí)獲取已建信息系統(tǒng)、移動(dòng)采集器、物聯(lián)網(wǎng)傳感器中的數(shù)據(jù)，建立覆蓋土肥數(shù)據(jù)、價(jià)格數(shù)據(jù)、氣象數(shù)據(jù)等多種類型數(shù)據(jù)的海量數(shù)據(jù)平臺(tái)，并通過數(shù)據(jù)標(biāo)準(zhǔn)化、交叉驗(yàn)證等處理，供用戶進(jìn)行深度定制、可視化應(yīng)用、個(gè)性化定制等多種操作，充分發(fā)揮農(nóng)業(yè)大數(shù)據(jù)對(duì)于農(nóng)業(yè)生產(chǎn)、生活的指導(dǎo)作用。

3.3 總體架構(gòu)

大數(shù)據(jù)平臺(tái)包含基礎(chǔ)設(shè)備層、數(shù)據(jù)采集層、數(shù)據(jù)處理層、數(shù)據(jù)應(yīng)用層（圖1），同時(shí)建立相匹配的信息管理制度與安全機(jī)制[9]。基礎(chǔ)設(shè)備層是大數(shù)據(jù)平臺(tái)的基礎(chǔ)，包含輸入設(shè)備、存儲(chǔ)設(shè)備、處理設(shè)備、網(wǎng)絡(luò)設(shè)備、輸出設(shè)備等，確保整個(gè)平臺(tái)的數(shù)據(jù)采集、處理、應(yīng)用工作能夠高效運(yùn)行。數(shù)據(jù)采集層針對(duì)不同類型的數(shù)據(jù)，開放數(shù)據(jù)采集接口，可以直接連接紙媒、磁媒等讀取設(shè)備，直接讀取數(shù)據(jù)；可以直接連接已建系統(tǒng)，實(shí)時(shí)采集數(shù)據(jù)；可連接移動(dòng)直采設(shè)備，實(shí)時(shí)采集數(shù)據(jù)。數(shù)據(jù)處理層可將異構(gòu)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，并對(duì)異源數(shù)據(jù)進(jìn)行交叉驗(yàn)證，提高數(shù)據(jù)可靠性，還可設(shè)置數(shù)據(jù)分享、使用權(quán)限，保護(hù)數(shù)據(jù)隱私。數(shù)據(jù)應(yīng)用層提供不同層次的數(shù)據(jù)服務(wù)，具二次開發(fā)接口，可滿足深度定制需求，提供易用可視化服務(wù)，滿足快速應(yīng)用需求，提供數(shù)據(jù)訂閱功能，滿足數(shù)據(jù)監(jiān)控需求。

3.4 數(shù)據(jù)采集功能設(shè)計(jì)

3.4.1 歷史數(shù)據(jù)提取功能 在電腦普及前，各項(xiàng)數(shù)據(jù)多以紙媒為存儲(chǔ)媒介，在電腦和互聯(lián)網(wǎng)普及初期，還有大量信息存儲(chǔ)在磁帶、軟盤、光盤等存儲(chǔ)介質(zhì)中，大數(shù)據(jù)平臺(tái)根據(jù)這些存儲(chǔ)介質(zhì)的不同，開放不同的數(shù)據(jù)提取方法。針對(duì)紙質(zhì)數(shù)據(jù)文件，提供掃描文件解析功能，可自動(dòng)批量提取紙質(zhì)文件電子化文檔中的數(shù)據(jù)，結(jié)合智能算法對(duì)解析數(shù)據(jù)進(jìn)行自動(dòng)清洗、補(bǔ)全、初級(jí)校正，轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)，根據(jù)標(biāo)題、正文等信息自動(dòng)歸類，將信息存入原始數(shù)據(jù)庫中。針對(duì)磁帶、軟盤、光盤中存儲(chǔ)的信息，通過對(duì)應(yīng)的技術(shù)手段將數(shù)據(jù)從孤島介質(zhì)中采集到大數(shù)據(jù)平臺(tái)中，掃描數(shù)據(jù)包內(nèi)容，自動(dòng)轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)，并根據(jù)數(shù)據(jù)包的特征信息自動(dòng)歸類，存入原始數(shù)據(jù)庫。

3.4.2 異源數(shù)據(jù)共享功能 政府、科研單位、企業(yè)大多都根據(jù)自己的工作需求，建立了特定的信息系統(tǒng)。例如：農(nóng)產(chǎn)品價(jià)格信息系統(tǒng)、土地產(chǎn)權(quán)信息系統(tǒng)、農(nóng)資銷售信息系統(tǒng)等，這些系統(tǒng)中包含有海量信息，具有重要的價(jià)值[10]，但受限于管理制度、商業(yè)秘密、技術(shù)手段等諸多原因，這些系統(tǒng)大多相互獨(dú)立，甚至同一單位內(nèi)部的信息系統(tǒng)間，也沒有互聯(lián)互通。大數(shù)據(jù)平臺(tái)開放通用數(shù)據(jù)接入端口，適配使用不同技術(shù)開發(fā)的信息系統(tǒng)，同時(shí)，系統(tǒng)管理員可以設(shè)置數(shù)據(jù)共享范圍、數(shù)據(jù)粒度、更新頻率等共享權(quán)限，控制數(shù)據(jù)共享范圍，保護(hù)數(shù)據(jù)隱私，平臺(tái)根據(jù)系統(tǒng)管理員的設(shè)置，自動(dòng)實(shí)時(shí)采集系統(tǒng)信息，存入原始數(shù)據(jù)庫。

3.4.3 數(shù)據(jù)信息直采功能 大數(shù)據(jù)平臺(tái)利用傳感器、RFID、二維碼、GPS、遙感等技術(shù)，實(shí)時(shí)直接采集溫度、濕度、種植面積、農(nóng)產(chǎn)品價(jià)格等信息。大數(shù)據(jù)平臺(tái)直接連接溫室、大田中的物聯(lián)網(wǎng)傳感器，通過空氣溫濕度、土壤溫濕度、光照度、二氧化碳濃度等傳感器，實(shí)時(shí)采集生產(chǎn)環(huán)境信息。大數(shù)據(jù)平臺(tái)直接連接手持信息采集器，用戶通過手持設(shè)備掃描二維碼、RFID標(biāo)簽時(shí)，會(huì)將采集到的信息實(shí)時(shí)傳輸?shù)酱髷?shù)據(jù)平臺(tái)。對(duì)于依賴人工輸入的信息，大數(shù)據(jù)平臺(tái)可以通過收集采集設(shè)備的地理信息、時(shí)間信息等信息，綜合驗(yàn)證輸入信息有效性，減少人為因素造成的誤差。

3.5 數(shù)據(jù)處理功能設(shè)計(jì)

3.5.1 數(shù)據(jù)標(biāo)準(zhǔn)化匯集功能 不同來源的數(shù)據(jù)采用不同的數(shù)據(jù)結(jié)構(gòu)，即使是同一類型的數(shù)據(jù)，由于采集單位、采集目的不同，數(shù)據(jù)在采集頻率、信息粒度、覆蓋范圍等方面都會(huì)存在不同，例如農(nóng)產(chǎn)品價(jià)格數(shù)據(jù)，中央級(jí)的信息采集系統(tǒng)就會(huì)覆蓋全國重要農(nóng)產(chǎn)品批發(fā)市場(chǎng)，數(shù)據(jù)采集也多為日度，省市級(jí)的信息采集系統(tǒng)多會(huì)覆蓋該省重要農(nóng)產(chǎn)品批發(fā)市場(chǎng)、零售市場(chǎng)和超市，數(shù)據(jù)采集有日度、雙日度、周度等頻率，覆蓋范圍更小但市場(chǎng)覆蓋更為全面，單一批發(fā)市場(chǎng)的信息采集則包含更多的品種但只來源于單個(gè)批發(fā)市場(chǎng)。標(biāo)準(zhǔn)化處理功能根據(jù)應(yīng)用層對(duì)數(shù)據(jù)的需求，通過差異屏蔽處理，對(duì)異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行統(tǒng)一檢索，然后將對(duì)應(yīng)數(shù)據(jù)返回給數(shù)據(jù)應(yīng)用層使用[11]。針對(duì)更新頻率不高的異構(gòu)數(shù)據(jù)，按一定標(biāo)準(zhǔn)對(duì)異構(gòu)數(shù)據(jù)進(jìn)行標(biāo)引，組成一個(gè)元數(shù)據(jù)集，通過發(fā)布系統(tǒng)與應(yīng)用層交互。針對(duì)更新頻率較高的異構(gòu)數(shù)據(jù)，采用中間件技術(shù)，將應(yīng)用層的數(shù)據(jù)請(qǐng)求分解成對(duì)不同數(shù)據(jù)源的獨(dú)立訪問請(qǐng)求，通過標(biāo)準(zhǔn)（ODBC/JDBC）或非標(biāo)準(zhǔn)的數(shù)據(jù)訪問接口（API）對(duì)原始數(shù)據(jù)源進(jìn)行實(shí)時(shí)訪問，并通過發(fā)布系統(tǒng)與應(yīng)用層交互。

3.5.2 多源數(shù)據(jù)驗(yàn)證功能 針對(duì)提取歷史數(shù)據(jù)，受提取技術(shù)限制，自動(dòng)提取歷史數(shù)據(jù)存在一定的遺漏、亂碼、錯(cuò)誤歸類等問題，大數(shù)據(jù)平臺(tái)首先會(huì)驗(yàn)證信息完整性、準(zhǔn)確性，根據(jù)數(shù)據(jù)質(zhì)量評(píng)級(jí)，達(dá)到一定標(biāo)準(zhǔn)的數(shù)據(jù)準(zhǔn)許接入大數(shù)據(jù)平臺(tái)，不達(dá)標(biāo)的數(shù)據(jù)再次重新采集，部分情況可以加入人工校正。針對(duì)異源系統(tǒng)共享數(shù)據(jù)和大數(shù)據(jù)平臺(tái)直采數(shù)據(jù)，平臺(tái)會(huì)從錄入控制、域完整性、實(shí)體完整性和參照完整性4個(gè)層次去驗(yàn)證數(shù)據(jù)[12]。根據(jù)驗(yàn)證結(jié)果對(duì)數(shù)據(jù)源評(píng)級(jí)，針對(duì)評(píng)級(jí)較高的數(shù)據(jù)源減少驗(yàn)證工作量，提高數(shù)據(jù)接入時(shí)效性，并根據(jù)數(shù)據(jù)質(zhì)量的變化動(dòng)態(tài)調(diào)整數(shù)據(jù)源評(píng)級(jí)。針對(duì)準(zhǔn)許接入平臺(tái)的數(shù)據(jù)，大數(shù)據(jù)平臺(tái)會(huì)使用異源同類數(shù)據(jù)、異源相關(guān)數(shù)據(jù)進(jìn)行交叉驗(yàn)證數(shù)據(jù)可信度、準(zhǔn)確性等指標(biāo)，根據(jù)數(shù)據(jù)質(zhì)量評(píng)級(jí)，達(dá)標(biāo)數(shù)據(jù)接入應(yīng)用平臺(tái)供用戶使用。

3.6 數(shù)據(jù)應(yīng)用功能設(shè)計(jì)

3.6.1 數(shù)據(jù)開放應(yīng)用平臺(tái) 針對(duì)有二次開發(fā)能力的用戶，大數(shù)據(jù)平臺(tái)提供二次開發(fā)API與數(shù)據(jù)分析功能模塊，用戶可以根據(jù)自己的特定需求開發(fā)精確匹配自己需求的大數(shù)據(jù)應(yīng)用，用戶不再需要考慮數(shù)據(jù)處理、服務(wù)器編程等基礎(chǔ)工作[13]，只需專注于業(yè)務(wù)邏輯與需求，便捷地滿足企業(yè)的數(shù)據(jù)需求。大數(shù)據(jù)平臺(tái)也具有云系統(tǒng)功能，政府、企業(yè)、合作社等單位可以直接在大數(shù)據(jù)平臺(tái)上建立自己的私有云系統(tǒng)，云系統(tǒng)也可設(shè)置數(shù)據(jù)共享范圍、數(shù)據(jù)粒度等共享權(quán)限，對(duì)于部分單位既可節(jié)省硬件、運(yùn)維的投入，也可有效保護(hù)數(shù)據(jù)隱私與價(jià)值。

3.6.2 可視化易用功能 大數(shù)據(jù)平臺(tái)簡(jiǎn)化數(shù)據(jù)可視化分析的復(fù)雜度，針對(duì)不具備二次開發(fā)能力的用戶，提供拖拽建模功能，用戶只需選擇自己需要的數(shù)據(jù)以及相應(yīng)的數(shù)據(jù)表格式，即可快速建立數(shù)據(jù)分析表，并可根據(jù)用戶需求微調(diào)數(shù)據(jù)表細(xì)節(jié)，靈活、高效地將用戶數(shù)據(jù)需求轉(zhuǎn)化成分析結(jié)果。針對(duì)同一批數(shù)據(jù)，大數(shù)據(jù)平臺(tái)可智能匹配多種分析模型，從不同角度分析數(shù)據(jù)，幫助用戶拓展思路，發(fā)現(xiàn)隱藏問題。針對(duì)管理決策人員，大數(shù)據(jù)平臺(tái)可以根據(jù)選定主題，智能匹配相關(guān)數(shù)據(jù)，自動(dòng)生成分析報(bào)表，使管理人員脫離數(shù)據(jù)細(xì)節(jié)，專注于管理決策事件。

3.6.3 個(gè)性化訂閱功能 大數(shù)據(jù)平臺(tái)具有高效的數(shù)據(jù)驅(qū)動(dòng)機(jī)制，借助事件引擎以及平臺(tái)提供的事件訂閱功能[13]，用戶可以根據(jù)自己的需求設(shè)置所需的觸發(fā)條件，當(dāng)特定傳感器達(dá)到設(shè)定閾值時(shí)，自動(dòng)觸發(fā)相應(yīng)操作，例如當(dāng)溫室溫度過高則自動(dòng)啟動(dòng)排風(fēng)扇并通過短信通知農(nóng)場(chǎng)主。用戶也可根據(jù)自身需求，訂閱大數(shù)據(jù)平臺(tái)上的數(shù)據(jù)及分析報(bào)告，平臺(tái)會(huì)根據(jù)用戶的設(shè)置，給用戶推送相應(yīng)的數(shù)據(jù)資料。

3.6.4 數(shù)據(jù)服務(wù)交易功能 大數(shù)據(jù)平臺(tái)提供數(shù)據(jù)中介服務(wù)，針對(duì)已經(jīng)過處理的基礎(chǔ)數(shù)據(jù)，平臺(tái)根據(jù)應(yīng)用場(chǎng)景分類，自動(dòng)匹配企業(yè)需求，提高數(shù)據(jù)匹配效率。平臺(tái)通過信息安全、信用擔(dān)保等手段，確認(rèn)數(shù)據(jù)的所有權(quán)，保護(hù)數(shù)據(jù)供給者的利益。平臺(tái)引入第三方數(shù)據(jù)分析服務(wù)商，使數(shù)據(jù)分析能力有限的單位可根據(jù)自己的需求訂制分析服務(wù)，需求方可以不受數(shù)據(jù)本身的限制與干擾，專注于業(yè)務(wù)需求。

4 平臺(tái)優(yōu)勢(shì)和特點(diǎn)

4.1 創(chuàng)新采集技術(shù)，匯集多源海量數(shù)據(jù)

大數(shù)據(jù)平臺(tái)創(chuàng)新數(shù)據(jù)采集技術(shù)，針對(duì)歷史數(shù)據(jù)，平臺(tái)結(jié)合ORC、人工智能等技術(shù)，自動(dòng)將儲(chǔ)存于紙媒、磁帶、光盤等介質(zhì)的數(shù)據(jù)電子化、結(jié)構(gòu)化并自動(dòng)歸類儲(chǔ)存，極大地提高了歷史數(shù)據(jù)的可用性、準(zhǔn)確性。針對(duì)現(xiàn)有信息系統(tǒng)，平臺(tái)通過開放數(shù)據(jù)接口，只需簡(jiǎn)單地配置即可接入不同信息系統(tǒng)的數(shù)據(jù)，不受原信息系統(tǒng)開發(fā)技術(shù)的限制，同時(shí)，系統(tǒng)管理員還可配置共享數(shù)據(jù)權(quán)限，保護(hù)數(shù)據(jù)隱私，大幅降低了數(shù)據(jù)共享的難度并有效保護(hù)了隱私數(shù)據(jù)不外傳。針對(duì)大數(shù)據(jù)平臺(tái)直采數(shù)據(jù)，平臺(tái)提供數(shù)據(jù)采集接口，可直接入物聯(lián)網(wǎng)傳感器、RIFD采集器、二維碼讀取器等設(shè)備的采集數(shù)據(jù)，平臺(tái)根據(jù)相應(yīng)的技術(shù)，將原始數(shù)據(jù)自動(dòng)結(jié)構(gòu)化。對(duì)于人工采集的數(shù)據(jù)，平臺(tái)根據(jù)GPS坐標(biāo)、系統(tǒng)時(shí)間等指標(biāo)進(jìn)行綜合驗(yàn)證，大幅提高了數(shù)據(jù)采集、傳輸?shù)乃俾屎蛿?shù)據(jù)的準(zhǔn)確性。大數(shù)據(jù)平臺(tái)通過廣泛鏈接各類數(shù)據(jù)源，將儲(chǔ)存在紙媒、磁帶、光盤、私有信息系統(tǒng)中的孤島數(shù)據(jù)匯集，并通過各類數(shù)據(jù)接口，實(shí)時(shí)匯集異源數(shù)據(jù)，建立了一個(gè)包含多來源、多類型、多層次的海量數(shù)據(jù)平臺(tái)。

4.2 依據(jù)標(biāo)準(zhǔn)處理，建立統(tǒng)一大數(shù)據(jù)云平臺(tái)

大數(shù)據(jù)平臺(tái)接入來自不同信息系統(tǒng)、采集系統(tǒng)、歷史資料的數(shù)據(jù)，這些數(shù)據(jù)有不同的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)特征。根據(jù)數(shù)據(jù)接入的更新頻率不同，大數(shù)據(jù)平臺(tái)使用中間件技術(shù)或標(biāo)準(zhǔn)（ODBC/JDBC）或非標(biāo)準(zhǔn)的數(shù)據(jù)訪問接口（API）來統(tǒng)一處理，由發(fā)布系統(tǒng)與應(yīng)用層交互，是應(yīng)用層只需專注于業(yè)務(wù)需求，不需考慮異源異構(gòu)數(shù)據(jù)特征，大幅降低數(shù)據(jù)使用難度。針對(duì)異源數(shù)據(jù)，大數(shù)據(jù)平臺(tái)會(huì)依據(jù)數(shù)據(jù)相關(guān)性利用人工智能技術(shù)進(jìn)行交叉校驗(yàn)，從不同角度檢驗(yàn)數(shù)據(jù)的準(zhǔn)確性和可靠性，可以發(fā)現(xiàn)單一系統(tǒng)中無法發(fā)覺的數(shù)據(jù)錯(cuò)誤，大幅提高了數(shù)據(jù)真實(shí)性、準(zhǔn)確性和可用性。

4.3 開放創(chuàng)新，滿足不同類型的數(shù)據(jù)需求

大數(shù)據(jù)平臺(tái)針對(duì)不同數(shù)據(jù)分析能力、不同數(shù)據(jù)需求的用戶，開放不同層級(jí)的數(shù)據(jù)應(yīng)用。針對(duì)數(shù)據(jù)需求復(fù)雜、具有一定開發(fā)能力的用戶，大數(shù)據(jù)平臺(tái)提供二次開發(fā)API和一些基礎(chǔ)數(shù)據(jù)分析模塊，使用戶可以基于大數(shù)據(jù)平臺(tái)進(jìn)行二次開發(fā)，利用平臺(tái)的海量數(shù)據(jù)和彈性計(jì)算能力，開發(fā)能更好滿足自己數(shù)據(jù)需求的產(chǎn)品。針對(duì)開發(fā)能力較弱的用戶，大數(shù)據(jù)平臺(tái)提供可視化分析功能，僅需拖拽即可生成多種不同的分析報(bào)表，并可根據(jù)自己的數(shù)據(jù)分析需求進(jìn)一步修改報(bào)表，使用戶可以便捷地利用海量數(shù)據(jù)進(jìn)行分析建模工作。針對(duì)數(shù)據(jù)分析能力較弱的用戶，大數(shù)據(jù)平臺(tái)提供個(gè)性化數(shù)據(jù)訂閱功能，用戶可以訂閱對(duì)自己生產(chǎn)、生活影響較大的關(guān)鍵數(shù)據(jù)，也可以購買第三方服務(wù)商的分析報(bào)告，提高了數(shù)據(jù)的時(shí)效性、降低了數(shù)據(jù)使用的門檻。針對(duì)大數(shù)據(jù)平臺(tái)的海量數(shù)據(jù)，平臺(tái)還提供數(shù)據(jù)交易服務(wù)，使數(shù)據(jù)能更好的匹配需求方，平臺(tái)也通過技術(shù)、法律等手段，保護(hù)數(shù)據(jù)供給方的利益。

“互聯(lián)網(wǎng)+”具有跨界融合、連接一切、開放生態(tài)的特點(diǎn)，基于“互聯(lián)網(wǎng)+”的農(nóng)業(yè)大數(shù)據(jù)平臺(tái)廣泛匯集育種、生產(chǎn)、流通、銷售等各個(gè)環(huán)節(jié)的數(shù)據(jù)，進(jìn)行標(biāo)準(zhǔn)化處理和交叉驗(yàn)證，建立數(shù)據(jù)開放應(yīng)用平臺(tái)，實(shí)現(xiàn)了海量數(shù)據(jù)整合共享、多源數(shù)據(jù)實(shí)時(shí)匯集、數(shù)據(jù)服務(wù)便捷易用，為政府決策、農(nóng)企高效管理、農(nóng)民生產(chǎn)增收提供有力支持與有效指導(dǎo)。

參考文獻(xiàn)：

[1] 溫孚江.農(nóng)業(yè)大數(shù)據(jù)研究的戰(zhàn)略意義與協(xié)同機(jī)制[J].高等農(nóng)業(yè)教育，2013（11）：3-6.

[2] 王文生，郭雷風(fēng).農(nóng)業(yè)大數(shù)據(jù)及其應(yīng)用展望[J].江蘇農(nóng)業(yè)科學(xué)， 2015，43（9）：1-5.

[3] 柳平增.農(nóng)業(yè)大數(shù)據(jù)平臺(tái)在智慧農(nóng)業(yè)中的應(yīng)用——以渤海糧倉科技示范工程大數(shù)據(jù)平臺(tái)為例[J].高科技與產(chǎn)業(yè)化，2015（5）：68-71.

[4] 屈冬玉.要抓緊實(shí)施農(nóng)業(yè)大數(shù)據(jù)工程[J].農(nóng)村工作通訊，2015（23）：44.

[5] 張浩然，李中良，鄒騰飛，等.農(nóng)業(yè)大數(shù)據(jù)綜述[J].計(jì)算機(jī)科學(xué)， 2014，41（S2）：387-392.

[6] 秦學(xué)敏，陳位政，譚立偉，等.互聯(lián)網(wǎng)思維下農(nóng)業(yè)大數(shù)據(jù)的需求、現(xiàn)狀與發(fā)展思考[J].農(nóng)業(yè)工程技術(shù)，2015（12）：44-47.

[7] 郭承坤，劉延忠，陳英義，等.發(fā)展農(nóng)業(yè)大數(shù)據(jù)的主要問題及主要任務(wù)[J].安徽農(nóng)業(yè)科學(xué)，2014，42（27）：9642-9645.

[8] 周子琦.制約我國農(nóng)業(yè)大數(shù)據(jù)應(yīng)用的因素及對(duì)策分析[J].商情， 2015（4）：168.

[9] 孟祥寶，謝秋波，劉海峰，等.農(nóng)業(yè)大數(shù)據(jù)應(yīng)用體系架構(gòu)和平臺(tái)建設(shè)[J].廣東農(nóng)業(yè)科學(xué)，2014，41（14）：173-178.

[10] 許世衛(wèi).農(nóng)業(yè)大數(shù)據(jù)與農(nóng)產(chǎn)品監(jiān)測(cè)預(yù)警[J].中國農(nóng)業(yè)科技導(dǎo)報(bào)，2014，16（5）：14-20.

[11] 楊寒光，李艷玲.分布式異構(gòu)數(shù)據(jù)源標(biāo)準(zhǔn)化查詢?cè)O(shè)計(jì)與實(shí)現(xiàn)[J]. 土木建筑工程信息技術(shù)，2013，5（4）：61-63.

[12] 劉 洋，張 鋼，韓 璐.基于物聯(lián)網(wǎng)與云計(jì)算服務(wù)的農(nóng)業(yè)溫室智能化平臺(tái)研究與應(yīng)用[J].計(jì)算機(jī)應(yīng)用研究，2013，30（11）：3331-3335.

[13] 黃 鶯.基于Android系統(tǒng)的蔬菜大棚環(huán)境參數(shù)監(jiān)控系統(tǒng)[J]. 江蘇農(nóng)業(yè)科學(xué)，2014，42（12）：423-425.