王文生++郭雷風
摘要:大數(shù)據(jù)擁有巨大的潛在價值,成為各行各業(yè)研究和關注的重點。針對大數(shù)據(jù)提供的機遇和挑戰(zhàn),從農(nóng)業(yè)視角對大數(shù)據(jù)技術農(nóng)業(yè)的應用進行了探討。首先對大數(shù)據(jù)的發(fā)展背景、相關概念、特征進行介紹;然后,對農(nóng)業(yè)大數(shù)據(jù)的內涵進行詮釋,并從農(nóng)業(yè)生產(chǎn)環(huán)境數(shù)據(jù)獲取、農(nóng)業(yè)生命信息感知等6個方面分析了農(nóng)業(yè)大數(shù)據(jù)獲取的途徑,對農(nóng)業(yè)大數(shù)據(jù)現(xiàn)狀進行了介紹;最后,結合當前農(nóng)業(yè)信息技術體系,從精準農(nóng)業(yè)可靠決策支持系統(tǒng)、國家農(nóng)村綜合信息服務系統(tǒng)等5個方面對農(nóng)業(yè)大數(shù)據(jù)的應用進行了展望。
關鍵詞:農(nóng)業(yè)大數(shù)據(jù);獲??;應用展望
中圖分類號:S126 文獻標志碼: A文章編號:1002-1302(2015)09-0001-04
主要從事農(nóng)業(yè)信息服務、農(nóng)業(yè)大數(shù)據(jù)等方面的研究。E-mail:guoleifeng@caas.cn。大數(shù)據(jù)主要來源于大聯(lián)網(wǎng)、大集中、大移動等信息技術的社會應用,不但是信息技術從單項應用到多項融合的結果,而且是信息技術從前端簡單處理向后端復雜分析演變的表現(xiàn),更是社會高度信息化的必然產(chǎn)物。大數(shù)據(jù)的出現(xiàn)有其必然性:一方面,信息技術與網(wǎng)絡通信技術的融合,極大促進了移動互聯(lián)網(wǎng)、智能傳感網(wǎng)等快速興起,以及各種移動智能終端的快速普及和廣泛應用,人類社會產(chǎn)生數(shù)據(jù)、獲取數(shù)據(jù)、傳輸數(shù)據(jù)的能力得到了前所未有的提高;另一方面,云計算、集群計算等新一代信息基礎設施為海量數(shù)據(jù)聚集提供了可能,圖片、視頻、音頻、日志等非結構數(shù)據(jù)得以長久保存,數(shù)據(jù)處理、存儲能力從GB、TB級達到了PB、ZB甚至更高,突破了原有數(shù)據(jù)規(guī)模和范疇。國際數(shù)據(jù)公司(IDC)的研究結果[1]表明,2011年全球被創(chuàng)建和復制的數(shù)據(jù)總量為1.8 ZB,遠遠超過人類有史以來所有印刷材料的數(shù)據(jù)總量(200 PB)。大數(shù)據(jù)將給我們帶來更大的視野和更新的發(fā)現(xiàn),進而改變我們的生活、工作和思維方式。許多科學家預言,在21世紀,無論是自然科學領域還是社會科學領域,大數(shù)據(jù)都將帶來無限的發(fā)展機遇。
計算機技術應用于農(nóng)業(yè)已有30多年的歷史了,經(jīng)歷了從起步、普及、提高、推進等一系列階段。進入21世紀以來,農(nóng)業(yè)與農(nóng)村信息技術的研究和應用進入高速發(fā)展階段,已成為現(xiàn)代農(nóng)業(yè)的重要標志。進入“十二五”規(guī)劃以來,以農(nóng)業(yè)物聯(lián)網(wǎng)技術和智能裝備技術為代表的農(nóng)業(yè)信息技術正逐步融入到農(nóng)業(yè)生產(chǎn)經(jīng)營的全過程,農(nóng)業(yè)形態(tài)和過程都發(fā)生了深刻變化,表現(xiàn)在以下幾個方面:一是“更透徹的感知”,通過智能傳感設備廣泛應用,實現(xiàn)農(nóng)業(yè)生產(chǎn)全過程的數(shù)字化與可感知,包括作物長勢、作物營養(yǎng)、畜禽生長信息、土壤參數(shù)、環(huán)境信息、氣候變化等;二是“更全面的互聯(lián)互通”,物聯(lián)網(wǎng)、傳感網(wǎng)、因特網(wǎng)等在農(nóng)業(yè)領域應用,實現(xiàn)了農(nóng)民、生命體與資源環(huán)境的互聯(lián)互通,實現(xiàn)了消費者、農(nóng)產(chǎn)品、市場的互聯(lián)互通;三是“更深入的智能化”,通過云計算和超級計算機等先進技術,對感知的海量數(shù)據(jù)進行分析處理,使農(nóng)業(yè)生產(chǎn)決策、農(nóng)產(chǎn)品市場管理等更加智能。從數(shù)據(jù)角度分析,可以歸結為:產(chǎn)生的數(shù)據(jù)多、傳輸?shù)臄?shù)據(jù)多、處理的數(shù)據(jù)多。可見,農(nóng)業(yè)領域每一項技術的進步,都從某種程度上加深了農(nóng)業(yè)大數(shù)據(jù)存在和研究的必要性。
我國是農(nóng)業(yè)大國,一直非常重視全國性的農(nóng)業(yè)科技信息數(shù)據(jù)資源建設[2-3]。農(nóng)業(yè)領域是大數(shù)據(jù)產(chǎn)生的無盡源泉,具有浩大的數(shù)據(jù)基礎。隨著各種智能傳感終端在農(nóng)業(yè)領域的應用,農(nóng)業(yè)數(shù)據(jù)來源更加廣泛、新穎、迅速,類型更加多樣,農(nóng)業(yè)數(shù)據(jù)體量大、結構復雜、模態(tài)多變、實時性強、關聯(lián)度高,利用大數(shù)據(jù)技術進行農(nóng)業(yè)相關應用研究,其意義將非常明顯。我國在農(nóng)業(yè)數(shù)據(jù)處理與分析等相關方面的研究已經(jīng)具有一定基礎,然而面對大數(shù)據(jù)提供的種種機遇和挑戰(zhàn),農(nóng)業(yè)大數(shù)據(jù)具體的發(fā)展應用需要進一步提升和剖析。
1大數(shù)據(jù)
與云計算的橫空出世非常相似,大數(shù)據(jù)似乎也在一夜之間家喻戶曉。但略有不同的是,云計算發(fā)展早期主要由企業(yè)推動,而大數(shù)據(jù)則幾乎同時得到了政府、企業(yè)、學術界等各方面的共同青睞。大數(shù)據(jù)最早是由著名未來學家阿爾文·托夫勒在1980年提出的,他在《第三次浪潮》中,將大數(shù)據(jù)稱為“第三次浪潮的華彩樂章”。2001年,Gartner的分析員道格·萊尼在1份關于電子商務的報告[4]中,提出未來數(shù)據(jù)管理的挑戰(zhàn)主要來自于3個方面:量(volume)、速(velocity)、多變(variety),大數(shù)據(jù)“3V”描述即起源于此。然后,直到2008年以后,大數(shù)據(jù)的概念才逐步被認可,并被政府、企業(yè)以及學術界所廣泛傳播。2008 年《Nature》出版??禕ig Data》,從互聯(lián)網(wǎng)技術、網(wǎng)絡經(jīng)濟學、超級計算、環(huán)境科學、生物醫(yī)藥等多個方面介紹了海量數(shù)據(jù)帶來的挑戰(zhàn)。2011年《Science》推出關于數(shù)據(jù)處理的專刊《Dealing with Data》,討論了數(shù)據(jù)洪流(data deluge)所帶來的挑戰(zhàn),特別指出,倘若能夠更有效地組織和使用這些數(shù)據(jù),人們將得到更多的機會發(fā)揮科學技術對社會發(fā)展的巨大推動作用。2012 年,奧巴馬宣布美國政府投資2億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃(big data research and development initiative)”。2013年,英國政府發(fā)布了《英國農(nóng)業(yè)技術戰(zhàn)略》,表明英國今后對農(nóng)業(yè)技術的投資將集中在大數(shù)據(jù)上。2013年,日本發(fā)布《信息通信白皮書》,計劃充分利用個人購物數(shù)據(jù)等龐大數(shù)據(jù)提供服務。
關于大數(shù)據(jù)的概念目前尚沒有非常統(tǒng)一的定義,表述方式也不盡相同。維基百科認為“大數(shù)據(jù),或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料,指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工在合理時間內達到截取、管理、處理,并整理成為人類所能解讀的信息”。麥肯錫認為大數(shù)據(jù)是指“大小超出了典型數(shù)據(jù)庫軟件工具收集、存儲、管理和分析能力的數(shù)據(jù)集”[5]。高德納認為大數(shù)據(jù)是指“超出了常用軟件環(huán)境和軟件工具在可接受的時間內為其用戶收集、管理和處理數(shù)據(jù)的能力”[6]。IBM將大數(shù)據(jù)的特征相結合對大數(shù)據(jù)進行定義,認為大數(shù)據(jù)具備3個基本特征:體量浩大(volume)、模態(tài)繁多(variety)、生成快速(velocity),或者就是簡單的“3V”,即龐大容量、極快速度、種類豐富的數(shù)據(jù)[7]。
一般來講,大數(shù)據(jù)具有以下幾個特征。(1)數(shù)據(jù)量龐大:大數(shù)據(jù)時代的數(shù)據(jù)量是以PB、EB、ZB為存儲單位的,PB級別是常態(tài)。(2)數(shù)據(jù)增長、變化速度快:大數(shù)據(jù)環(huán)境下,數(shù)據(jù)產(chǎn)生、存儲和變化的速率十分驚人,目前因特網(wǎng)上1 s產(chǎn)生的數(shù)據(jù)量比20年前整個因特網(wǎng)所存儲的數(shù)據(jù)量還巨大。(3)數(shù)據(jù)具有多樣性:數(shù)據(jù)格式除了傳統(tǒng)的格式化數(shù)據(jù)外,還包括半結構化或非結構化數(shù)據(jù),并且半結構化、非結構化數(shù)據(jù)還呈現(xiàn)出逐漸增多的趨勢。
2農(nóng)業(yè)大數(shù)據(jù)
2.1農(nóng)業(yè)大數(shù)據(jù)內涵
農(nóng)業(yè)數(shù)據(jù)主要是對各種農(nóng)業(yè)對象、關系、行為的客觀反映,一直以來都是農(nóng)業(yè)研究和應用的重要內容,但是由于技術、理念、思維等原因,對農(nóng)業(yè)數(shù)據(jù)的開發(fā)和利用程度不夠,一些深藏的價值關系不能被有效發(fā)現(xiàn)。隨著大數(shù)據(jù)技術在各行各業(yè)廣泛研究,農(nóng)業(yè)大數(shù)據(jù)也逐漸成為當前研究的熱點。筆者認為農(nóng)業(yè)大數(shù)據(jù)不是脫離現(xiàn)有農(nóng)業(yè)信息技術體系的新技術,而是通過快速的數(shù)據(jù)處理、綜合的數(shù)據(jù)分析,發(fā)現(xiàn)數(shù)據(jù)之間潛在的價值關系,對現(xiàn)有農(nóng)業(yè)信息化應用進行提升和完善的一種數(shù)據(jù)應用新模式。
簡單地講,農(nóng)業(yè)大數(shù)據(jù)是指大數(shù)據(jù)技術、理念、思維在農(nóng)業(yè)領域的應用[8]。從更深層次考慮,農(nóng)業(yè)大數(shù)據(jù)是智慧化、協(xié)作化、智能化、精準化、網(wǎng)絡化、先覺泛在的現(xiàn)代信息技術不斷發(fā)展而衍生的一種計算機技術農(nóng)業(yè)應用的高級階段,是結構化、半結構化、非結構化的多維度、多粒度、多模型、多形態(tài)的海量農(nóng)業(yè)數(shù)據(jù)的抽象描述,是農(nóng)業(yè)生產(chǎn)、加工、銷售、資源、環(huán)境、過程等全產(chǎn)業(yè)鏈的跨行業(yè)、跨專業(yè)、跨業(yè)務、跨地域的農(nóng)業(yè)數(shù)據(jù)大集中有效工具,是汲取農(nóng)業(yè)數(shù)據(jù)價值、促進農(nóng)業(yè)信息消費、加快農(nóng)業(yè)經(jīng)濟轉型升級的重要手段,是加快農(nóng)業(yè)現(xiàn)代化、實現(xiàn)農(nóng)業(yè)走向更高級階段的必經(jīng)過程。
農(nóng)業(yè)大數(shù)據(jù)解決的問題不是存量數(shù)據(jù)激活的問題,而是實時數(shù)據(jù)的快速采集和利用的問題;農(nóng)業(yè)大數(shù)據(jù)解決的問題不是關系型數(shù)據(jù)庫集成共享的問題,而是不同行業(yè)、不同結構的數(shù)據(jù)交叉分析的問題。農(nóng)業(yè)大數(shù)據(jù)至少包括下述幾層含義:
(1)基于智能終端、移動終端、視頻終端、音頻終端等現(xiàn)代信息采集技術在農(nóng)業(yè)生產(chǎn)、加工以及農(nóng)產(chǎn)品流通、消費等過程中廣泛使用,文本、圖形、圖像、視頻、聲音、文檔等結構化、半結構化、非結構化數(shù)據(jù)被大量采集,農(nóng)業(yè)數(shù)據(jù)的獲取方式、獲取時間、獲取空間、獲取范圍、獲取力度發(fā)生深刻變化,極大地提高農(nóng)業(yè)數(shù)據(jù)的采集能力。
(2)跨領域、跨行業(yè)、跨學科、多結構的交叉、綜合、關聯(lián)的農(nóng)業(yè)數(shù)據(jù)集成共享平臺取代了關系型數(shù)據(jù)庫成為數(shù)據(jù)存儲與管理的主要形式,基于數(shù)據(jù)流、批處理的大數(shù)據(jù)處理平臺在農(nóng)業(yè)領域中的應用越來越頻繁,交互可視化、社會網(wǎng)絡分析、智能管理等技術在農(nóng)業(yè)生態(tài)環(huán)境監(jiān)測、農(nóng)產(chǎn)品質量安全溯源、設施農(nóng)業(yè)、精準農(nóng)業(yè)等環(huán)節(jié)大量應用。
(3)農(nóng)業(yè)產(chǎn)業(yè)鏈各個環(huán)節(jié)的政府、科研機構、高校、企業(yè)達成競爭與合作的平衡,農(nóng)業(yè)大數(shù)據(jù)協(xié)同效應得到更好的體現(xiàn)。農(nóng)業(yè)大數(shù)據(jù)形成一個可持續(xù)、可循環(huán)、高效、完整的生態(tài)圈,數(shù)據(jù)隔離的局面被打破,不同部門樂于將自己的數(shù)據(jù)共享出來,全局、整體的產(chǎn)業(yè)鏈得以形成,數(shù)據(jù)獲取的成本大大降低。
(4)大數(shù)據(jù)的理念、思維被政府、企業(yè)、農(nóng)民等廣泛接受,海量的農(nóng)業(yè)數(shù)據(jù)成為決策的依據(jù)和基礎,天氣信息、食品安全、消費需求、生產(chǎn)成本、市場價格等多源數(shù)據(jù)被用來預測農(nóng)產(chǎn)品價格走勢,耕地數(shù)量、農(nóng)田質量、氣候變化、作物品種、栽培技術、產(chǎn)業(yè)結構、農(nóng)資配置、國際市場糧價等多種因素被用來分析糧食安全問題,政府決策更加精準,政府管理能力、企業(yè)服務水平、農(nóng)民生產(chǎn)能力都得到大幅度提高。
2.2農(nóng)業(yè)大數(shù)據(jù)獲取
農(nóng)業(yè)大數(shù)據(jù)獲取是指利用信息技術將農(nóng)業(yè)要素數(shù)字化并進行有效采集、傳輸?shù)倪^程。目前,農(nóng)業(yè)領域的數(shù)據(jù)積累還處于相對初級階段,達不到電信、金融、互聯(lián)網(wǎng)等領域的數(shù)據(jù)積累水平。然而隨著農(nóng)業(yè)數(shù)據(jù)采集方式的變化,自動化、智能化、人工化信息終端的大量涌現(xiàn),數(shù)據(jù)的實時、高清以及長久保存等需求使得農(nóng)業(yè)大數(shù)據(jù)成為可能。農(nóng)業(yè)大數(shù)據(jù)源來自農(nóng)業(yè)生產(chǎn)、農(nóng)業(yè)科技、農(nóng)業(yè)經(jīng)濟、農(nóng)業(yè)流通等方方面面,不同的數(shù)據(jù)源,對應不同的數(shù)據(jù)獲取技術。從目前情況分析,農(nóng)業(yè)大數(shù)據(jù)獲取主要包括以下幾個方面。
(1)農(nóng)業(yè)生產(chǎn)環(huán)境數(shù)據(jù)獲取。農(nóng)業(yè)生產(chǎn)環(huán)境數(shù)據(jù)獲取[9]是指對與動植物生長密切相關的空氣溫濕度、土壤溫濕度、營養(yǎng)元素、CO2含量、氣壓、光照等環(huán)境數(shù)據(jù)進行動態(tài)監(jiān)測、采集,主要依靠農(nóng)業(yè)智能傳感器技術、傳感網(wǎng)技術等。隨著多學科交叉技術的綜合應用,光纖傳感器、MEMS(micro-electro mechanical systems)微機電系統(tǒng)、仿生傳感器、電化學傳感器等新一代傳感器技術以及光譜、多光譜、高光譜、核磁共振等先進檢測方法[10]在植物、土壤、環(huán)境信息采集方面廣泛應用,農(nóng)業(yè)生產(chǎn)環(huán)境數(shù)據(jù)的精度、廣度、頻度大幅度提高。與此同時,傳感器終端的成本逐漸降低,大范圍、分布式、多點部署成為現(xiàn)實,數(shù)據(jù)量呈級數(shù)增長。
(2)生命信息智能感知。生命信息智能感知[10-11]是指對動、植物生長過程中的生理、生長、發(fā)育、活動規(guī)律等生物生理數(shù)據(jù)進行感知、記錄,如檢測植物中的氮元素含量、植物生理信息指標,測量動物體溫、運動軌跡等。常用的生命信息感知技術包括光譜技術、機器視覺技術、人工嗅覺技術、熱紅外技術等。生命信息智能感知改變了原有的以經(jīng)驗為主的人工檢測模式,使生命信號感知更加科學、智能,實時性、動態(tài)性、有效性得到大大提高。農(nóng)業(yè)生命信息是對農(nóng)業(yè)生產(chǎn)對象本身的數(shù)字化描述,是對生命個體進行監(jiān)測管理的重要依據(jù),具有典型的時效性。
(3)農(nóng)田變量信息快速采集。農(nóng)田變量信息快速采集[12]主要是對農(nóng)田中的土壤含水量、肥力、土壤有機質、土壤壓實、耕作層深度和作物病、蟲、草害及作物苗情分布信息采集,一般分為接觸式傳感技術、非接觸式遙感技術。國內在農(nóng)田空間信息快速采集技術領域已經(jīng)積累了較豐富的理論基礎和實踐經(jīng)驗,已設計出便攜式土壤養(yǎng)分測試儀、基于時域反射儀(TDR)原理的土壤水分及電導率測試儀、基于光纖傳感器土壤pH值測試儀,并在作物病蟲草害的識別、作物生長特性與生理參數(shù)的快速獲取等方面開展了有益的探索[11]。精準農(nóng)業(yè)是農(nóng)業(yè)信息化的重要方向,快速、有效采集和描述影響作物生長環(huán)境的空間變量信息,是精準農(nóng)業(yè)的重要基礎。高密度、高速度、高準確度的農(nóng)田信息具有數(shù)據(jù)量大、時效性強、關聯(lián)度高等特點。農(nóng)田變量信息主要服務于精準農(nóng)業(yè)生產(chǎn),強調實時性、精準性等特點,屬于局部、微觀、持續(xù)的農(nóng)業(yè)數(shù)據(jù)。
(4)農(nóng)業(yè)遙感數(shù)據(jù)獲取。農(nóng)業(yè)遙感數(shù)據(jù)獲取是指利用衛(wèi)星、飛行器等對地面農(nóng)業(yè)目標進行大范圍監(jiān)測、遠程數(shù)據(jù)獲取,主要采用遙感技術。遙感技術是一種空間信息獲取技術,具有獲取數(shù)據(jù)范圍大、獲取信息速度快、周期短、獲取信息手段多、信息量大等特點。農(nóng)業(yè)遙感技術[13]可以客觀、準確、及時地提供作物生態(tài)環(huán)境和作物生長的各種信息,主要應用在農(nóng)用地資源的監(jiān)測與保護、農(nóng)作物大面積估產(chǎn)與長勢監(jiān)測、農(nóng)業(yè)氣象災害監(jiān)測、作物模擬模型等幾個方面。隨著遙感技術的飛速發(fā)展,特別是高時-空分辨率的大覆蓋面積多光譜傳感器、高空間-高光譜傳感器的應用等[14],農(nóng)業(yè)遙感數(shù)據(jù)精度逐漸提高,數(shù)據(jù)量急劇增加,數(shù)據(jù)格式也越來越復雜,多源數(shù)據(jù)融合需求非常迫切。農(nóng)業(yè)遙感數(shù)據(jù)能反映大面積、長時間的農(nóng)業(yè)生產(chǎn)狀況,屬于宏觀、全局層面的農(nóng)業(yè)數(shù)據(jù)。
(5)農(nóng)產(chǎn)品市場經(jīng)濟數(shù)據(jù)采集。農(nóng)產(chǎn)品市場經(jīng)濟數(shù)據(jù)采集是指對農(nóng)產(chǎn)品生產(chǎn)、質量、需求、庫存、進出口、市場行情、生產(chǎn)成本等數(shù)據(jù)進行動態(tài)采集,涉及農(nóng)業(yè)流通、農(nóng)產(chǎn)品價格[15]、農(nóng)產(chǎn)品市場[16]、農(nóng)產(chǎn)品質量安全等,具有較強的突發(fā)性、動態(tài)性、實時性、變化性,一般由“智能終端+通信網(wǎng)絡+專業(yè)群體”組成。隨著科學技術的發(fā)展,移動終端諸如手機、筆記本電腦、平板電腦等隨處可見,加上網(wǎng)絡的寬帶化發(fā)展以及集成電路的升級,人類已經(jīng)步入了真正的移動信息時代,基于智能終端的農(nóng)產(chǎn)品市場經(jīng)濟數(shù)據(jù)采集越來越頻繁,數(shù)據(jù)量越來越大,圖片、視頻等數(shù)據(jù)格式激增?;?G的基層農(nóng)技推廣平臺等是農(nóng)產(chǎn)品市場經(jīng)濟數(shù)據(jù)采集的典型應用。
(6)農(nóng)業(yè)網(wǎng)絡數(shù)據(jù)抓取。農(nóng)業(yè)網(wǎng)絡數(shù)據(jù)抓取指利用爬蟲等網(wǎng)絡數(shù)據(jù)抓取技術對網(wǎng)站、論壇、微博、博客中涉農(nóng)數(shù)據(jù)進行動態(tài)監(jiān)測、定向采集的過程。網(wǎng)絡爬蟲(網(wǎng)頁蜘蛛),是一種按照一定的規(guī)則,自動地抓取萬維網(wǎng)信息的程序或者腳本,有廣度優(yōu)先、深度優(yōu)先2種策略。網(wǎng)絡爬蟲Nutch能夠實現(xiàn)每個月取幾十億網(wǎng)頁,數(shù)據(jù)量巨大;同時由于其與Hadoop內在關聯(lián),很容易就能實現(xiàn)分布式部署,從而提高數(shù)據(jù)采集的能力;另外,Deep Web也包含著豐富的農(nóng)業(yè)信息,面向Deep Web的深度搜索也越來越多[17]。農(nóng)業(yè)網(wǎng)絡數(shù)據(jù)是在互聯(lián)網(wǎng)層面對農(nóng)業(yè)各方面的客觀反映,具有規(guī)模大、實時動態(tài)變化、異構性、分布性、數(shù)據(jù)涌現(xiàn)等特點。搜農(nóng)、農(nóng)搜等搜索引擎都是基于主題爬蟲的農(nóng)業(yè)數(shù)據(jù)獲取平臺,在農(nóng)業(yè)網(wǎng)絡數(shù)據(jù)獲取方面具有一定基礎。
2.3農(nóng)業(yè)大數(shù)據(jù)現(xiàn)狀
2.3.1農(nóng)業(yè)大數(shù)據(jù)重要性日益凸顯經(jīng)過多年發(fā)展,農(nóng)業(yè)數(shù)據(jù)庫、農(nóng)業(yè)信息系統(tǒng)、農(nóng)業(yè)專家系統(tǒng)、農(nóng)業(yè)遙感、農(nóng)業(yè)物聯(lián)網(wǎng)等現(xiàn)代信息技術在農(nóng)業(yè)生產(chǎn)活動中應用取得了非常顯著的成果。云存儲、數(shù)據(jù)倉庫等技術為數(shù)據(jù)海量存儲提供了可能,傳感器、遙感數(shù)據(jù)、移動終端、網(wǎng)絡等都積累了大量的農(nóng)業(yè)數(shù)據(jù)。伴隨著大數(shù)據(jù)技術的飛速發(fā)展,農(nóng)業(yè)信息化的發(fā)展必然從“技術驅動”向“數(shù)據(jù)驅動”轉變。目前,農(nóng)業(yè)領域都在積極部署農(nóng)業(yè)大數(shù)據(jù)相關方面的研究,農(nóng)業(yè)大數(shù)據(jù)重要性日益凸顯。中國農(nóng)業(yè)科學院農(nóng)業(yè)信息研究所發(fā)起了信息聯(lián)盟,旨在促進涉農(nóng)信息資源與專家隊伍的集成、共享,聯(lián)合推進農(nóng)業(yè)信息云服務;山東農(nóng)業(yè)大學發(fā)起了農(nóng)業(yè)大數(shù)據(jù)產(chǎn)業(yè)技術創(chuàng)新戰(zhàn)略聯(lián)盟(http://www.nydata.com.cn/),以期促進大數(shù)據(jù)在山東省農(nóng)業(yè)領域研究及成果應用發(fā)展。2014年,中國科學數(shù)據(jù)大會舉行,專門設立農(nóng)業(yè)與農(nóng)村信息化大數(shù)據(jù)技術與應用分論壇。
2.3.2農(nóng)業(yè)大數(shù)據(jù)積累初具規(guī)模我國農(nóng)業(yè)信息化研究長期以來一直非常重視農(nóng)業(yè)數(shù)據(jù)的積累,目前農(nóng)業(yè)大數(shù)據(jù)已具備了一定規(guī)模,數(shù)據(jù)的存儲格式以結構化數(shù)據(jù)為主,視頻、圖片等數(shù)據(jù)量也在不斷攀升。農(nóng)業(yè)科學數(shù)據(jù)共享中心[18](試點)項目于2003年正式啟動,重點采集作物科學、動物科學與動物醫(yī)學類科學、農(nóng)業(yè)科技基礎數(shù)據(jù)等。截至2012年,農(nóng)業(yè)科學數(shù)據(jù)中心數(shù)據(jù)總量達448.93 GB。全國基層農(nóng)技推廣信息化平臺[19]構建了糧食作物、經(jīng)濟作物、蔬菜、果樹、畜牧等農(nóng)業(yè)技術數(shù)據(jù)庫,面向全國70萬個農(nóng)技員提供服務,總記錄超過10萬條,視頻數(shù)據(jù)超過5 000個。中國科學院計算機網(wǎng)絡中心研發(fā)的地理空間數(shù)據(jù)云平臺(http://www.gscloud.cn/)現(xiàn)有地學遙感數(shù)據(jù)資源約280 T,以中國區(qū)域為主,覆蓋全球地理范圍。中國作物種質資源信息網(wǎng)(CGRIS)[20]擁有糧食、纖維、油料、 蔬菜、果樹、糖、煙、茶、桑、牧草、綠肥、熱帶作物等200種作物、41萬份品種/種質/基因信息。
2.3.3農(nóng)業(yè)大數(shù)據(jù)研究具備了一定基礎農(nóng)業(yè)信息化研究工作一直與農(nóng)業(yè)數(shù)據(jù)密切相關,相關方面的研究主要集中在監(jiān)測與預警、數(shù)據(jù)挖掘、信息服務等方面,基于數(shù)據(jù)的農(nóng)業(yè)信息處理分析具備了一定的基礎條件。據(jù)不完全統(tǒng)計,目前全國與農(nóng)業(yè)相關的主要監(jiān)測、預警系統(tǒng)共有84個,其中食物保障預警系統(tǒng)12個,食品安全監(jiān)測預警系統(tǒng)18個,市場分析與監(jiān)測系統(tǒng)35個,作物分析與預警系統(tǒng)19個;中國搜農(nóng)作為國內首款農(nóng)業(yè)垂直搜索引擎[21],持續(xù)穩(wěn)定運行6年,獲取了海量的農(nóng)業(yè)信息,信息總量超過100 TB,信息更新周期平均為30 min,目前每周平均信息增長量3 GB,每天監(jiān)控3萬多個農(nóng)業(yè)網(wǎng)站發(fā)布的超過2萬多個農(nóng)產(chǎn)品批發(fā)、集貿(mào)市場的2萬多個農(nóng)產(chǎn)品品種的價格、供求等信息。
3農(nóng)業(yè)大數(shù)據(jù)應用展望
基于大數(shù)據(jù)的理論和技術,不斷推進傳統(tǒng)領域創(chuàng)新與應用實踐,為國家經(jīng)濟社會發(fā)展提供了新的生長點。在農(nóng)業(yè)信息化不斷發(fā)展的過程中,已有部分領域完成了大數(shù)據(jù)積累,具備了利用大數(shù)據(jù)理論與技術進行深入數(shù)據(jù)分析和價值發(fā)現(xiàn)的條件。根據(jù)當前農(nóng)業(yè)信息化發(fā)展的現(xiàn)狀,筆者認為大數(shù)據(jù)在農(nóng)業(yè)領域的應用主要集中在以下幾個方面。
3.1精準農(nóng)業(yè)可靠決策支持系統(tǒng)
變量決策分析[22]是精準農(nóng)業(yè)技術體系中的核心,致力于根據(jù)農(nóng)田小區(qū)作物產(chǎn)量和相關因素在農(nóng)田內的空間差異性,實施分布式的處方農(nóng)作。高密度的農(nóng)田信息獲取后,怎樣根據(jù)這些不同角度的農(nóng)田信息,推出一整套具有可實施性的精準管理措施,是需要多學科交叉的研究課題。專家系統(tǒng)、作物模擬模型、作物生產(chǎn)決策支持系統(tǒng)等傳統(tǒng)的生產(chǎn)決策技術取得了一些成果,但效果并不理想。利用大數(shù)據(jù)處理分析技術,集成作物自身生長發(fā)育情況以及作物生長環(huán)境中的氣候、土壤、生物、栽培措施因子等數(shù)據(jù),綜合考慮經(jīng)濟、環(huán)境、可持續(xù)發(fā)展的目標,突破專家系統(tǒng)、模擬模型在多結構、高密度數(shù)據(jù)處理方面的不足,可為農(nóng)業(yè)生產(chǎn)決策者提供精準、實時、高效、可靠的輔助決策。
3.2國家農(nóng)村綜合信息服務系統(tǒng)
國家農(nóng)村綜合信息服務,按照“平臺上移,服務下延”的思路,集成與整合各分散的信息資源與系統(tǒng),在全國范圍實現(xiàn)信息資源的共享,數(shù)據(jù)資源體量大、數(shù)據(jù)處理流程復雜、信息服務模式多樣,需要實現(xiàn)海量農(nóng)業(yè)信息化數(shù)據(jù)獲取、傳輸、加工、服務一體化處理。利用大數(shù)據(jù)處理分析技術,研究復雜多樣、動態(tài)時變用戶需求的快速聚焦與大規(guī)模服務及用戶動態(tài)需求組合的學習和進化機制模型,突破農(nóng)戶需求智能聚焦技術,實現(xiàn)信息服務按需分配以及云環(huán)境下大規(guī)模部署的智能系統(tǒng)服務與龐大“三農(nóng)”用戶群的多樣性、地域性、時變性等個性化需求快速對接[23]。
3.3農(nóng)業(yè)數(shù)據(jù)監(jiān)測預警系統(tǒng)
農(nóng)業(yè)數(shù)據(jù)監(jiān)測預警[24]是指對農(nóng)業(yè)生產(chǎn)、市場運行、消費需求、進出口貿(mào)易及供需平衡等情況進行的全產(chǎn)業(yè)鏈信息采集、數(shù)據(jù)分析、預測預警與信息發(fā)布,其主要任務包括感知市場異常波動、實時監(jiān)控生產(chǎn)風險、及時應對突發(fā)事件、推動管理關口前移等。2002年以來農(nóng)業(yè)部開始建立農(nóng)產(chǎn)品市場監(jiān)測預警系統(tǒng),啟動了稻谷、小麥等關系國計民生的7種重點農(nóng)產(chǎn)品的市場監(jiān)測預警工作。目前,監(jiān)測預警技術已在農(nóng)產(chǎn)品質量安全、農(nóng)業(yè)病蟲草害、農(nóng)產(chǎn)品價格[25]、農(nóng)產(chǎn)品市場等領域進行了廣泛應用。利用大數(shù)據(jù)智能分析和挖掘技術[24],可以實現(xiàn)農(nóng)業(yè)信息流監(jiān)測、農(nóng)業(yè)數(shù)據(jù)關聯(lián)預測、農(nóng)業(yè)數(shù)據(jù)預警多維模擬等,大幅度提高農(nóng)業(yè)監(jiān)測預警的準確性。
3.4天地網(wǎng)一體化農(nóng)情監(jiān)測系統(tǒng)
農(nóng)情信息遙感監(jiān)測[26]主要是指利用遙感等信息技術對農(nóng)業(yè)生產(chǎn)情況信息,如作物面積、長勢和產(chǎn)量信息、農(nóng)業(yè)災害信息、農(nóng)業(yè)資源信息等進行遠程監(jiān)測和綜合評價,輔助農(nóng)業(yè)生產(chǎn)決策的過程。基于遙感-地面-無線傳感網(wǎng)的一體化農(nóng)情信息獲取體系,在解決了數(shù)據(jù)時空不連續(xù)難點的同時,也帶來了海量農(nóng)情數(shù)據(jù)融合處理的問題。與此同時,遙感技術飛速發(fā)展,特別是傳感器分辨率的提高、新型傳感器的應用等,以及遙感影像的數(shù)據(jù)量急劇增加,海量數(shù)據(jù)的存儲、快速產(chǎn)生、信息提取、融合應用等,為遙感數(shù)據(jù)分析帶來了挑戰(zhàn)。利用大數(shù)據(jù)分析處理技術,研究天地網(wǎng)一體化農(nóng)業(yè)監(jiān)測系統(tǒng)中的多源多類數(shù)據(jù)的智能融合與分析、定量化反演以及網(wǎng)絡化集成與共享關鍵技術,實現(xiàn)全局數(shù)據(jù)發(fā)現(xiàn)與跨學科的數(shù)據(jù)集成和互操作,可為農(nóng)業(yè)遙感信息的深入分析提供支撐[14]。
3.5農(nóng)業(yè)生產(chǎn)環(huán)境監(jiān)測與控制系統(tǒng)
農(nóng)業(yè)生產(chǎn)環(huán)境監(jiān)測與控制系統(tǒng)屬于復雜大系統(tǒng),貫穿農(nóng)業(yè)信息獲取、數(shù)據(jù)傳輸與網(wǎng)絡通信、數(shù)據(jù)融合與智能決策、專家系統(tǒng)、自動化控制等于一體,在大田糧食作物生產(chǎn)、設施農(nóng)業(yè)、畜禽水產(chǎn)養(yǎng)殖等方面廣泛應用。隨著傳感器技術的不斷發(fā)展,農(nóng)業(yè)信息獲取的范圍越來越廣,從農(nóng)作物生長過程中的營養(yǎng)數(shù)據(jù)、生理數(shù)據(jù)、生態(tài)數(shù)據(jù)、根系發(fā)育數(shù)據(jù)以及大氣、土壤、水分、溫度等農(nóng)作物生產(chǎn)環(huán)境數(shù)據(jù),到針對畜禽個體、群體的生長發(fā)育、環(huán)境和健康數(shù)據(jù)以及動物個體行為、群體行為、動物監(jiān)控狀況數(shù)據(jù)等,數(shù)據(jù)傳輸精度越來越高,數(shù)據(jù)傳輸頻率越來越快,數(shù)據(jù)傳輸密度越來越大,數(shù)據(jù)綜合程度越來越強。利用大數(shù)據(jù)技術,能夠突破多源數(shù)據(jù)融合、數(shù)據(jù)高效實時處理等方面的瓶頸,實現(xiàn)農(nóng)作物生長過程的動態(tài)、可視化分析與管理以及畜禽養(yǎng)殖的個性化、集約化、工廠化管理。
4結語
大數(shù)據(jù)對各行業(yè)的思維模式、產(chǎn)業(yè)鏈條、技術體系、服務流程等都產(chǎn)生了深遠的影響。大數(shù)據(jù)對于農(nóng)業(yè),既是機遇,也是挑戰(zhàn),只有搶占大數(shù)據(jù)這一新時代信息化技術制高點,找準大數(shù)據(jù)技術在農(nóng)業(yè)領域的發(fā)力點,才能充分發(fā)揮大數(shù)據(jù)優(yōu)勢。
伴隨著農(nóng)業(yè)信息化的深入推進,云計算、物聯(lián)網(wǎng)、移動互聯(lián)等信息技術在農(nóng)業(yè)生產(chǎn)、經(jīng)營、管理、服務各方面深入、廣泛應用,智慧農(nóng)業(yè)不斷發(fā)展,大數(shù)據(jù)理論與技術農(nóng)業(yè)應用已經(jīng)具備了基礎。在農(nóng)業(yè)現(xiàn)代化的建設中,應該高度重視農(nóng)業(yè)大數(shù)據(jù)的作用,密切跟蹤國際大數(shù)據(jù)前沿技術,結合國家現(xiàn)代農(nóng)業(yè)建設的基本情況,制定國家層面的農(nóng)業(yè)大數(shù)據(jù)發(fā)展與應用戰(zhàn)略,梳理農(nóng)業(yè)大數(shù)據(jù)重點發(fā)展領域,凝練農(nóng)業(yè)大數(shù)據(jù)關鍵技術,推動大數(shù)據(jù)技術與理念在農(nóng)業(yè)中的應用。
參考文獻:
[1]The 2011 digital universe study:extracting value from chaos[R]. International Data Corporation and EMC,2011.
[2]梅方權. 農(nóng)業(yè)信息技術的發(fā)展與對策分析[J]. 中國農(nóng)業(yè)科技導報,2003,5(1):13-17.
[3]郭作玉. 農(nóng)業(yè)信息技術在農(nóng)業(yè)發(fā)展中的重要作用[J]. 天津農(nóng)林科技,2006(2):4-7.
[4]Laney D. 3D data management:controlling data volume,velocity,and variety[R]. Application Delivery Strategies,2001.
[5]Manyika J,Chui M,Brown B,et al. Big data:the next frontier for innovation,competition,and productivity[EB/OL]. [2014-07-10]. http://www.mckinsey.com/insights/business_technology/big_data_the_next_frontier_for_innovation.
[6]Pattern-based strategy:getting value from big data[R]. Gartner Group Press Release,2011.
[7]IBM-全球企業(yè)咨詢服務部.分析:大數(shù)據(jù)在現(xiàn)實世界中的應用[EB/OL]. [2014-09-20]. http://www-935.ibm.com/services/multimedia/use_of_big_data.pdf.
[8]孫忠富,杜克明,鄭飛翔,等. 大數(shù)據(jù)在智慧農(nóng)業(yè)中研究與應用展望[J]. 中國農(nóng)業(yè)科技導報,2013,15(6):63-71.
[9]戴起偉,曹靜,凡燕,等. 面向現(xiàn)代設施農(nóng)業(yè)應用的物聯(lián)網(wǎng)技術模式設計[J]. 江蘇農(nóng)業(yè)學報,2012,28(5):1173-1180.
[10]何勇,聶鵬程,劉飛,農(nóng)業(yè)物聯(lián)網(wǎng)與傳感儀器研究進展[J]. 農(nóng)業(yè)機械學報,2013,44(10):216-226.
[11]陳威,郭書普,中國農(nóng)業(yè)信息化技術發(fā)展現(xiàn)狀及存在的問題[J]. 農(nóng)業(yè)工程學報,2013,29(22):196-205.
[12]汪懋華. “精細農(nóng)業(yè)”發(fā)展與工程技術創(chuàng)新[J]. 農(nóng)業(yè)工程學報,1999,15(1):7-14.
[13]邢素麗,張廣錄. 我國農(nóng)業(yè)遙感的應用現(xiàn)狀與展望[J]. 農(nóng)業(yè)工程學報,2003,19(6):174-178.
[14]陳仲新. 農(nóng)業(yè)遙感大數(shù)據(jù)處理應用[C]. 北京:科學數(shù)據(jù)大會,2014.
[15]張石銳,鄭文剛,申長軍,等. 嵌入式手持無線農(nóng)產(chǎn)品價格信息采集終端[J]. 計算機工程與設計,2012,33(2):514-518.
[16]尚明華,秦磊磊,王風云,等. 基于Android智能手機的小麥生產(chǎn)風險信息采集系統(tǒng)[J]. 農(nóng)業(yè)工程學報,2011,27(5):178-182.
[17]劉偉,孟小峰,孟衛(wèi)一. Deep Web數(shù)據(jù)集成研究綜述[J]. 計算機學報,2007,30(9):1475-1489.
[18]趙勝鋼. 國家農(nóng)業(yè)科學數(shù)據(jù)共享服務平臺體系結構研究[J]. 安徽農(nóng)業(yè)科學,2009,35(19):9303-9305.
[19]盧文林,李秀峰.全國基層農(nóng)技推廣信息化平臺農(nóng)技咨詢數(shù)據(jù)庫的構建[J]. 中國科技成果,2013(2):38-39.
[20]曹永生,方溈. 國家農(nóng)作物種質資源平臺的建立和應用[J]. 生物多樣性,2010,18(5):454-460.
[21]王儒敬,黃河. 中國搜農(nóng):一種基于復雜自適應搜索模型的農(nóng)業(yè)垂直搜索引擎[C]. 麗江:第七屆兩岸三院信息技術與應用交流研討會,2009.
[22]趙春江,薛緒掌,王秀,等. 精準農(nóng)業(yè)技術體系的研究進展與展望[J]. 農(nóng)業(yè)工程學報,2003,19(4):7-12.
[23]王儒敬. 我國農(nóng)業(yè)信息化發(fā)展的瓶頸與應對策略思考[J]. 中國科學院院刊,2013,5(3):337-343.
[24]許世衛(wèi). 農(nóng)業(yè)信息智能分析關鍵技術與應用[J]. 中國科技論壇,2010(9):128-135.
[25]田文君,申長軍,鄭文剛,等. 農(nóng)產(chǎn)品價格信息采集與預警系統(tǒng)設計與實現(xiàn)[J]. 計算機工程與設計,2012,33(5):1816-1821.
[26]周清波,吳文斌,楊鵬,等. 基于“3S”技術的農(nóng)情信息監(jiān)測研究進展[J]. 中國科技成果,2010(10):33-38.