程述漢，畢燕東， 束懷瑞

(1.山東農(nóng)業(yè)大學(xué)信息科學(xué)與工程學(xué)院，山東泰安 271018；2.山東農(nóng)業(yè)大學(xué)園藝科學(xué)與工程學(xué)院)

數(shù)據(jù)資源已經(jīng)成為商業(yè)資本用于創(chuàng)造新的經(jīng)濟(jì)利益。蘋果產(chǎn)業(yè)數(shù)據(jù)涵蓋果樹栽培、農(nóng)業(yè)科技、農(nóng)業(yè)裝備、氣象、土地、水利、農(nóng)資、病蟲害防治、生態(tài)環(huán)境、市場流通、果品加工、食品安全等諸多環(huán)節(jié)，數(shù)據(jù)源較為復(fù)雜。生物作為蘋果生產(chǎn)過程主體的特質(zhì)，導(dǎo)致蘋果生產(chǎn)的區(qū)域化、多樣化、差異化以及動態(tài)性和復(fù)雜性，時刻面臨著不斷產(chǎn)生的大量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的獲取、挖掘、存貯、處理與應(yīng)用等問題，構(gòu)成了農(nóng)業(yè)大數(shù)據(jù)研究與應(yīng)用的基礎(chǔ)條件?；诖髷?shù)據(jù)的理論和技術(shù)，開展蘋果大數(shù)據(jù)研究與應(yīng)用服務(wù)，將對智慧農(nóng)業(yè)的發(fā)展產(chǎn)生重大推動作用。

1 蘋果產(chǎn)業(yè)大數(shù)據(jù)應(yīng)用架構(gòu)體系

當(dāng)前蘋果產(chǎn)業(yè)存在的主要問題是增產(chǎn)不增效、增效不增收，對國內(nèi)外市場響應(yīng)乏力，對消費(fèi)者的多樣化需求了解不夠，資源環(huán)境問題日益突出。迫切需要應(yīng)用物聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能，建立多源數(shù)據(jù)感知、內(nèi)容理解、深度學(xué)習(xí)、演繹推理一體化技術(shù)體系和應(yīng)用平臺，使信息技術(shù)在全產(chǎn)業(yè)鏈中得到廣泛應(yīng)用，為農(nóng)業(yè)4.0奠定基礎(chǔ)(農(nóng)業(yè)4.0是融合互聯(lián)網(wǎng)的高度智能化的種植管理)。

產(chǎn)前，需要高標(biāo)準(zhǔn)果園建設(shè)，果園環(huán)境監(jiān)測，農(nóng)資監(jiān)管，市場預(yù)測分析。產(chǎn)中，需要智慧農(nóng)業(yè)促進(jìn)農(nóng)機(jī)-農(nóng)藝智能融合，節(jié)本增效，提高土地產(chǎn)出率、勞動生產(chǎn)率、資源利用率。產(chǎn)后，需要果品電商，冷鏈物流，果品質(zhì)量安全監(jiān)測預(yù)警。同時需要通過信息反饋和機(jī)器學(xué)習(xí)，不斷提高農(nóng)業(yè)大數(shù)據(jù)服務(wù)水平。

根據(jù)智慧果園的相關(guān)要素進(jìn)行需求分析，從系統(tǒng)的觀點(diǎn)出發(fā)，按照頂層設(shè)計(jì)原則，從服務(wù)、管理、應(yīng)用、資源和技術(shù)5個方面提出蘋果大數(shù)據(jù)SMART(Specific、Measurable、Attainable、Relevant、Time-based，明確性、衡量性、可實(shí)現(xiàn)性、相關(guān)性、時限性)應(yīng)用架構(gòu)體系(圖1)。其中，技術(shù)和資源是農(nóng)業(yè)大數(shù)據(jù)應(yīng)用的基礎(chǔ)(投入)層；分析處理和應(yīng)用平臺是農(nóng)業(yè)大數(shù)據(jù)應(yīng)用最直接的產(chǎn)出物，定義為應(yīng)用層；管理是指在蘋果產(chǎn)業(yè)項(xiàng)目的規(guī)劃建設(shè)和各應(yīng)用系統(tǒng)的運(yùn)營維護(hù)方面能夠提供自動化、一體化和智能化管理；服務(wù)是指為廣大果農(nóng)、相關(guān)企業(yè)和組織提供蘋果產(chǎn)業(yè)公共服務(wù)和專業(yè)技術(shù)服務(wù)，管理和服務(wù)構(gòu)成蘋果大數(shù)據(jù)服務(wù)平臺架構(gòu)體系的服務(wù)層。應(yīng)用層充分利用云計(jì)算、模式識別、人工智能等各種智能計(jì)算和信息處理技術(shù)，對海量數(shù)據(jù)和信息進(jìn)行分析和處理，動態(tài)優(yōu)化生產(chǎn)、管理和營銷方案，是數(shù)據(jù)處理的核心。對蘋果大數(shù)據(jù)服務(wù)平臺的服務(wù)、管理、應(yīng)用、資源和技術(shù)需求作進(jìn)一步的說明。

從數(shù)學(xué)這一學(xué)科來看，他本身就具備抽象性強(qiáng)、邏輯能力大、結(jié)構(gòu)嚴(yán)謹(jǐn)?shù)忍攸c(diǎn)，同時隨著知識點(diǎn)的不斷深入，基礎(chǔ)知識的作用與日俱增，對邏輯思維能力要求也越來越高。小學(xué)數(shù)學(xué)教學(xué)，是培養(yǎng)小學(xué)生邏輯思維能力的基礎(chǔ)，是后期數(shù)學(xué)學(xué)習(xí)中知識點(diǎn)掌握難易的關(guān)鍵，就目前數(shù)學(xué)教學(xué)現(xiàn)狀來看，即使是小學(xué)數(shù)學(xué)，復(fù)雜繁瑣的知識、難以理解的術(shù)語、抽象的圖案，讓本就思維邏輯能力不夠的小學(xué)生學(xué)起來更加困難，以至隨著學(xué)習(xí)的不斷加深，知識點(diǎn)的不斷累積，小學(xué)生在難以理解致使跟不上進(jìn)度的情況下，很容易產(chǎn)生厭學(xué)情緒，所以，換句話說，復(fù)雜繁瑣的知識點(diǎn)，是制約小學(xué)數(shù)學(xué)教學(xué)中培養(yǎng)學(xué)生思維能力的主要障礙。

圖1 農(nóng)業(yè)大數(shù)據(jù)應(yīng)用架構(gòu)體系

1.1 服務(wù)(Service)

服務(wù)是蘋果大數(shù)據(jù)研究與應(yīng)用的最終目標(biāo)。果農(nóng)、農(nóng)資公司、農(nóng)民合作組織、相關(guān)企業(yè)(生產(chǎn)、加工、儲運(yùn)、銷售)是蘋果產(chǎn)業(yè)的行為主體；政府是蘋果產(chǎn)業(yè)公共服務(wù)的主要提供者，為其提供基礎(chǔ)設(shè)施建設(shè)、技術(shù)推廣、信息化、政策法律法規(guī)等方面的公共服務(wù)，包括蘋果產(chǎn)前、產(chǎn)中、產(chǎn)后的全面、系統(tǒng)、一體化的服務(wù)。因此，政府在面向果農(nóng)、農(nóng)資公司、農(nóng)民合作組織、相關(guān)企業(yè)時需要提供越來越智慧化的農(nóng)業(yè)服務(wù)。各行為主體必須及時提供相關(guān)數(shù)據(jù)和信息，積極參與蘋果大數(shù)據(jù)服務(wù)平臺的建設(shè)，方能解決數(shù)據(jù)共享和深度利用等問題。

1.2 管理(Management)

管理是指在蘋果產(chǎn)業(yè)活動過程中，政府及蘋果產(chǎn)業(yè)行為主體都要履行的管理職能，從項(xiàng)目規(guī)劃建設(shè)到應(yīng)用系統(tǒng)運(yùn)維管理及監(jiān)督，整個過程都需要政府和各行為主體共同參與。智慧農(nóng)業(yè)的管理應(yīng)立足于宏觀管理，主要包括智慧農(nóng)業(yè)規(guī)劃管理、運(yùn)營管理和監(jiān)督評價管理3部分。規(guī)劃管理主要是指針對蘋果產(chǎn)業(yè)重大項(xiàng)目、工程，以相關(guān)的產(chǎn)業(yè)規(guī)劃、政策法規(guī)為依據(jù)，在人力、物力、資金等方面進(jìn)行科學(xué)合理地計(jì)劃和組織協(xié)調(diào)；運(yùn)營管理則涵蓋了果品生產(chǎn)、加工、流通、安全等多個領(lǐng)域，具體體現(xiàn)在管理模式、收益模式和運(yùn)營成效3方面；監(jiān)督評價管理主要是對規(guī)劃和運(yùn)營管理效果的監(jiān)督和評價，因此對于具體的產(chǎn)業(yè)管理活動，公眾的廣泛參與可以有效地起到群策群力和全民監(jiān)督作用，為蘋果產(chǎn)業(yè)的智慧管理提供公眾基礎(chǔ)性的數(shù)據(jù)來源。

1.3 應(yīng)用(Application)

應(yīng)用是指蘋果大數(shù)據(jù)應(yīng)用系統(tǒng)、管理平臺的設(shè)計(jì)、開發(fā)與使用，為蘋果大數(shù)據(jù)管理和服務(wù)提供全面支撐。根據(jù)目前蘋果大數(shù)據(jù)的主要來源，可以將其應(yīng)用領(lǐng)域歸納為如下幾個方面。

1.3.1蘋果生產(chǎn)管理 運(yùn)用農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)在蘋果生產(chǎn)過程中科學(xué)采集所需數(shù)據(jù)進(jìn)行分析處理，進(jìn)而提供“精準(zhǔn)化”的農(nóng)資配方和農(nóng)藝措施、“智慧化”的管理決策和設(shè)施控制，達(dá)到蘋果提質(zhì)增產(chǎn)、果農(nóng)提效增收的目的。農(nóng)業(yè)大數(shù)據(jù)在數(shù)字果園管理中具有果樹長勢監(jiān)測、果園病蟲害監(jiān)測和實(shí)時識別、病蟲害防治方案實(shí)時提供、蘋果生產(chǎn)專業(yè)化指導(dǎo)、果品質(zhì)量安全溯源等用途。蘋果生產(chǎn)管理中需要解決的另一問題，是要通過大數(shù)據(jù)分析給出適地適樹的實(shí)現(xiàn)途徑，并優(yōu)化品種結(jié)構(gòu)和管理模式。

1.3.2蘋果資源管理 蘋果資源除了土地、水等自然資源之外，還包括各種相關(guān)生物資源和蘋果生產(chǎn)資料等。從目前中國蘋果面積大、經(jīng)營分散、產(chǎn)量和品質(zhì)不高、市場競爭力差的現(xiàn)實(shí)出發(fā)，有必要運(yùn)用物聯(lián)網(wǎng)、大數(shù)據(jù)等先進(jìn)技術(shù)對蘋果資源進(jìn)一步優(yōu)化配置、合理開發(fā)，從而實(shí)現(xiàn)蘋果產(chǎn)業(yè)的高產(chǎn)優(yōu)質(zhì)和節(jié)能高效。

1.3.3生態(tài)環(huán)境管理 蘋果生態(tài)環(huán)境包括土壤、大氣、水質(zhì)、氣象、污染、災(zāi)害等，需要對這些環(huán)境影響因子實(shí)現(xiàn)全面監(jiān)測、精準(zhǔn)化管理。通過大數(shù)據(jù)探索果園化肥、農(nóng)藥“雙控雙降”有效途徑，走資源節(jié)約型、環(huán)境友好型可持續(xù)發(fā)展之路。

1.3.5果園裝備管理 提供果園裝備和設(shè)施在工作運(yùn)作情況下狀態(tài)的監(jiān)控、遠(yuǎn)程診斷以及服務(wù)調(diào)度等方面的智能化管理和應(yīng)用。利用果園氣象和土壤等環(huán)境信息采集設(shè)備，果樹營養(yǎng)和果實(shí)品質(zhì)等生理信息監(jiān)測設(shè)備，植物生物量和性狀探測裝置，以及基于果園群體結(jié)構(gòu)的變量施藥裝備，建立果園管理信息化精準(zhǔn)作業(yè)技術(shù)體系，開展果園信息服務(wù)和精準(zhǔn)作業(yè)技術(shù)與裝備的集成應(yīng)用示范。

1.3.6蘋果科研大數(shù)據(jù)資源管理 蘋果科研產(chǎn)生的大數(shù)據(jù)有空間與地面的遙感數(shù)據(jù)，基因圖譜、大規(guī)模測序、蘋果基因組數(shù)據(jù)以及大量的生物實(shí)驗(yàn)數(shù)據(jù)。通過對蘋果科研大數(shù)據(jù)的智能分析，能夠更好地指導(dǎo)蘋果生產(chǎn)和加工流通。

在上述各類應(yīng)用中，果品生產(chǎn)過程、果業(yè)資源、生態(tài)環(huán)境、果品質(zhì)量安全、果品市場流通各環(huán)節(jié)的監(jiān)測和預(yù)測是重點(diǎn)應(yīng)用方向。

1.4 資源(Resource)

資源分為自然資源和社會資源兩大類，這里主要考慮自然資源、基礎(chǔ)設(shè)施資源和信息資源。資源的開發(fā)和利用是蘋果大數(shù)據(jù)應(yīng)用的基礎(chǔ)。自然資源包括土地資源、水資源、大氣資源等天然存在的資源?；A(chǔ)設(shè)施資源在這里特指包含有線傳輸網(wǎng)絡(luò)、無線傳感網(wǎng)、移動互聯(lián)網(wǎng)以及各種信息化終端等網(wǎng)絡(luò)基礎(chǔ)設(shè)施，是蘋果大數(shù)據(jù)應(yīng)用的通信設(shè)施基礎(chǔ)。信息資源是指在人們從事蘋果生產(chǎn)活動的過程中，產(chǎn)生的各種語言、文字、音視頻、圖像、圖表、數(shù)字以及傳感器采集的信息等所有信息構(gòu)成的集合。當(dāng)前蘋果生產(chǎn)管理活動中普遍存在資源分散、標(biāo)準(zhǔn)不統(tǒng)一等問題，造成了信息共享和交換的困難。因此，有必要對元數(shù)據(jù)進(jìn)行有效管理，將交換標(biāo)準(zhǔn)一致化，不斷優(yōu)化交換流程，為蘋果大數(shù)據(jù)的應(yīng)用提供強(qiáng)大的數(shù)據(jù)信息基礎(chǔ)。

除蘋果生產(chǎn)管理數(shù)據(jù)之外，農(nóng)資生產(chǎn)、果品存貯、加工、流通、市場等相關(guān)衍生產(chǎn)業(yè)的數(shù)據(jù)，涉農(nóng)經(jīng)濟(jì)主體的相關(guān)信息，以及統(tǒng)計(jì)數(shù)據(jù)、進(jìn)出口數(shù)據(jù)等宏觀經(jīng)濟(jì)背景的數(shù)據(jù)，也是蘋果大數(shù)據(jù)系統(tǒng)所要關(guān)注的。

1.5 技術(shù)(Technology )

隨著信息系統(tǒng)的快速發(fā)展，不僅要求海量信息可靠存儲，還需滿足大量用戶快速訪問、智能分析、分類匯總數(shù)據(jù)等方面的需求。大數(shù)據(jù)技術(shù)是一個整體，沒有統(tǒng)一的解決方案，相關(guān)技術(shù)涉及數(shù)據(jù)的傳輸、存儲、計(jì)算、挖掘、展現(xiàn)和開發(fā)者平臺6個部分。蘋果大數(shù)據(jù)的特點(diǎn)及其存儲應(yīng)用所需要具備的各種功能特征，決定了蘋果大數(shù)據(jù)應(yīng)用在技術(shù)體系架構(gòu)上可以采用基于Hadoop分布式處理的軟件生態(tài)系統(tǒng)，并可以將Spark納入Hadoop并取代MapReduce，搭建混合處理框架。由于Hadoop是開源軟件，使用成本很低，非常適合作為農(nóng)業(yè)方面大數(shù)據(jù)應(yīng)用處理的技術(shù)選擇，其技術(shù)架構(gòu)如圖2所示。

圖2 蘋果大數(shù)據(jù)應(yīng)用Hadoop技術(shù)架構(gòu)

2 蘋果產(chǎn)業(yè)大數(shù)據(jù)智能分析平臺技術(shù)設(shè)計(jì)

大數(shù)據(jù)分析的重要目標(biāo)之一是發(fā)現(xiàn)數(shù)據(jù)的關(guān)聯(lián)性。農(nóng)業(yè)數(shù)據(jù)的低價值密度特性，要求對大量的數(shù)據(jù)進(jìn)行深入的比較、提純和轉(zhuǎn)變等分析和挖掘處理，發(fā)現(xiàn)其內(nèi)在的意義和相互間的聯(lián)系，以便為果農(nóng)、相關(guān)企業(yè)和部門提供科學(xué)準(zhǔn)確的決策支持服務(wù)。本研究所設(shè)計(jì)的蘋果大數(shù)據(jù)智能分析平臺，能夠在智能數(shù)字果園等進(jìn)行數(shù)據(jù)分析處理方面得到應(yīng)用，為果農(nóng)、相關(guān)企業(yè)和部門提供智能化決策支撐。

2.1 平臺總體架構(gòu)

借助先進(jìn)成熟的大數(shù)據(jù)存儲及處理技術(shù)，建設(shè)蘋果大數(shù)據(jù)智能分析平臺，整合及加工內(nèi)外部各種農(nóng)業(yè)相關(guān)數(shù)據(jù)，形成權(quán)威的果業(yè)信息統(tǒng)一視圖，為相關(guān)部門和企業(yè)決策、果業(yè)公共服務(wù)、果品質(zhì)量安全監(jiān)管、果業(yè)管理、果業(yè)生產(chǎn)環(huán)境保護(hù)等提供數(shù)據(jù)應(yīng)用支撐。從IAAS(基礎(chǔ)設(shè)施即服務(wù))、PAAS(平臺即服務(wù))、SAAS(軟件即服務(wù))三方面的服務(wù)模式設(shè)計(jì)了蘋果大數(shù)據(jù)智能分析平臺的總體架構(gòu)，如圖3所示。

2.2 平臺技術(shù)實(shí)現(xiàn)

2.2.1技術(shù)框架 蘋果大數(shù)據(jù)智能分析平臺由綜合平臺、數(shù)據(jù)倉庫技術(shù)(Extract-Transform-Load，ETL)工具、設(shè)計(jì)工具、運(yùn)行時、預(yù)置應(yīng)用和商業(yè)智能(Business Intelligence，BI)門戶6部分構(gòu)成，為相關(guān)企業(yè)提供端到端的BI服務(wù)。技術(shù)框架如圖4所示。

綜合平臺提供系統(tǒng)基礎(chǔ)服務(wù)和運(yùn)行框架，統(tǒng)一管理各種BI工具和分析模型，并可對資源進(jìn)行管理。ETL工具可以完成異構(gòu)數(shù)據(jù)的整合、集成和輔助數(shù)據(jù)倉庫的建設(shè)，形成各領(lǐng)域的主題數(shù)據(jù)庫。設(shè)計(jì)工具提供了靈活查詢、多維分析、指標(biāo)工具、管理駕駛艙、智能報告、及地圖分析等工具，能實(shí)現(xiàn)各種分析模型的定義和發(fā)布。運(yùn)行時用于解析設(shè)計(jì)模型，并監(jiān)控整個模型的運(yùn)行狀態(tài)。預(yù)置應(yīng)用提供多個分析、評價、預(yù)警、預(yù)測、優(yōu)化方面的模型，為用戶提供參考。BI門戶采用Portal(一個開源的基于Web的網(wǎng)站模版)技術(shù)，將各種應(yīng)用系統(tǒng)資源、數(shù)據(jù)資源、信息資源統(tǒng)一集成到一個平臺之下，根據(jù)每個用戶使用特點(diǎn)和角色的不同，形成個性化的應(yīng)用界面。

圖3 蘋果大數(shù)據(jù)智能分析平臺總體架構(gòu)

圖4 農(nóng)業(yè)大數(shù)據(jù)智能分析平臺技術(shù)框架

2.2.2數(shù)據(jù)采集分析 平臺的基礎(chǔ)核心是從農(nóng)業(yè)各類數(shù)據(jù)源中采集數(shù)據(jù)，并整理形成蘋果產(chǎn)業(yè)各領(lǐng)域主題數(shù)據(jù)庫。核心數(shù)據(jù)采集整理的ETL工具，采用基于開源項(xiàng)目kettle(國外開源的純java編寫的ETL工具)再進(jìn)行二次開發(fā)完成。該ETL工具數(shù)據(jù)抽取高效，性能穩(wěn)定，而且是采用插件式框架，針對不同主題的采集數(shù)據(jù)源需求，開發(fā)相應(yīng)的數(shù)據(jù)采集整理插件即可，插件的可復(fù)用性強(qiáng)；用戶端實(shí)現(xiàn)非編程、可視化數(shù)據(jù)采集設(shè)計(jì)功能。數(shù)據(jù)采集過程如圖4所示，從各數(shù)據(jù)源采集到的數(shù)據(jù)，先經(jīng)過格式檢查校驗(yàn)和轉(zhuǎn)換處理后存儲于臨時存儲區(qū)。臨時存儲區(qū)數(shù)據(jù)再經(jīng)過三級ETL抽取整理后形成各領(lǐng)域的主題數(shù)據(jù)庫。在主題數(shù)據(jù)庫設(shè)計(jì)方面，根據(jù)不同應(yīng)用需求提供三級數(shù)據(jù)服務(wù)層，分別是細(xì)節(jié)數(shù)據(jù)層、匯總數(shù)據(jù)層和應(yīng)用集市層。一級ETL抽取將臨時存儲區(qū)的數(shù)據(jù)按照預(yù)設(shè)的ETL抽取規(guī)則，抽取整理到細(xì)節(jié)數(shù)據(jù)層。二級ETL抽取將細(xì)節(jié)數(shù)據(jù)抽取、整理、分析成面向業(yè)務(wù)主題的統(tǒng)計(jì)數(shù)據(jù)集，即匯總數(shù)據(jù)層。第三級ETL抽取將細(xì)節(jié)數(shù)據(jù)層和匯總數(shù)據(jù)層數(shù)據(jù)抽取整理成應(yīng)用集市層，形成各主題多維數(shù)據(jù)立方體。

2.2.3 BI分析平臺 BI分析平臺和門戶采用Portal技術(shù)實(shí)現(xiàn)，通過系統(tǒng)提供的多維數(shù)據(jù)服務(wù)，定制不同的預(yù)警和分析模型，BI系統(tǒng)可以將復(fù)雜的專業(yè)數(shù)據(jù)，以簡單、易懂的圖形方式展現(xiàn)出來，配合多維分析工具，用戶可從數(shù)據(jù)立方體中對分析指標(biāo)進(jìn)行多維度、多角度的分析，科學(xué)準(zhǔn)確地了解各指標(biāo)的現(xiàn)狀和發(fā)展趨勢。報告輸出功能可自動生成包含文字、數(shù)字、圖表、報表的PDF或DOC形式的決策分析報告。

3 結(jié)束語

蘋果大數(shù)據(jù)服務(wù)是一個嶄新的研究領(lǐng)域，大數(shù)據(jù)平臺尚不多見。蘋果產(chǎn)業(yè)具有數(shù)據(jù)源分布廣、時效性強(qiáng)、類型多樣、結(jié)構(gòu)復(fù)雜和獲取困難等特點(diǎn)，決定了蘋果大數(shù)據(jù)研究和應(yīng)用具有復(fù)雜性、多樣性和挑戰(zhàn)性。本研究重點(diǎn)分析構(gòu)建了蘋果產(chǎn)業(yè)大數(shù)據(jù)應(yīng)用的架構(gòu)體系，并對蘋果大數(shù)據(jù)智能分析平臺進(jìn)行功能設(shè)計(jì)及技術(shù)實(shí)現(xiàn)，對于集成、挖掘和使用在蘋果生產(chǎn)、管理、加工流通中產(chǎn)生的大量數(shù)據(jù)，具有一定的現(xiàn)實(shí)意義。