余萬民，范蓓蕾，錢建平

（1.貴州省農(nóng)業(yè)信息中心，貴陽555001；2.中國(guó)農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所，北京100081；3.中國(guó)農(nóng)業(yè)科學(xué)院農(nóng)業(yè)資源與農(nóng)業(yè)區(qū)劃研究所，北京100081）

0 引言

大數(shù)據(jù)是具有海量、快速、多樣、真實(shí)、高價(jià)值等特征的信息資產(chǎn)，需要先進(jìn)的處理技術(shù)進(jìn)行采集、存儲(chǔ)、分發(fā)、管理和分析，從而提供更強(qiáng)的決策力和洞察力［1］。大數(shù)據(jù)現(xiàn)象源于互聯(lián)網(wǎng)及信息技術(shù)的廣泛應(yīng)用，大數(shù)據(jù)概念體系在2014年左右逐漸成形，發(fā)展出相關(guān)的技術(shù)、產(chǎn)品、應(yīng)用和標(biāo)準(zhǔn)，并逐步形成包括數(shù)據(jù)資源與API、開源平臺(tái)與工具、數(shù)據(jù)基礎(chǔ)設(shè)施、數(shù)據(jù)分析、數(shù)據(jù)應(yīng)用等內(nèi)容的大數(shù)據(jù)生態(tài)系統(tǒng)［2］。大數(shù)據(jù)技術(shù)已成功地應(yīng)用于銀行、保險(xiǎn)、在線用戶行為理解和個(gè)性化以及環(huán)境研究等行業(yè)，但在農(nóng)業(yè)領(lǐng)域于近幾年才開始，并未得到廣泛應(yīng)用［3］。農(nóng)業(yè)大數(shù)據(jù)為現(xiàn)代農(nóng)業(yè)發(fā)展帶來巨大機(jī)遇。我國(guó)農(nóng)業(yè)農(nóng)村信息化工作經(jīng)過近十多年的發(fā)展，信息化基礎(chǔ)設(shè)施已有較大改善，廣播、電視、電話、互聯(lián)網(wǎng)等紛紛入村入戶，智能手機(jī)、農(nóng)業(yè)物聯(lián)網(wǎng)、智能農(nóng)機(jī)具逐漸發(fā)展并普及，為農(nóng)業(yè)大數(shù)據(jù)的發(fā)展應(yīng)用提供了堅(jiān)實(shí)的基礎(chǔ)［4］。以大數(shù)據(jù)為代表的現(xiàn)代信息技術(shù)推動(dòng)了農(nóng)業(yè)生產(chǎn)方式、流通方式、貿(mào)易方式的變革［5-6］。

2020 年“中央一號(hào)文件”提出依托現(xiàn)有資源建設(shè)農(nóng)業(yè)農(nóng)村大數(shù)據(jù)中心，加快物聯(lián)網(wǎng)、大數(shù)據(jù)、區(qū)塊鏈、人工智能、第五代移動(dòng)通信網(wǎng)絡(luò)、智慧氣象等現(xiàn)代信息技術(shù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用。近年來，我國(guó)在部分地區(qū)成功開展了多個(gè)農(nóng)業(yè)大數(shù)據(jù)平臺(tái)試點(diǎn)，如全國(guó)基層農(nóng)技推廣信息化平臺(tái)［7］、國(guó)家農(nóng)業(yè)科技云平臺(tái)、渤海糧倉科技示范工程大數(shù)據(jù)平臺(tái)［8］、農(nóng)業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)共享及綜合應(yīng)用平臺(tái)［9］，為農(nóng)業(yè)生產(chǎn)和研究提供了不同層面的農(nóng)業(yè)數(shù)據(jù)支撐和服務(wù)。農(nóng)業(yè)物聯(lián)網(wǎng)、農(nóng)業(yè)信息系統(tǒng)、農(nóng)業(yè)云服務(wù)、農(nóng)業(yè)衛(wèi)星遙感等軟硬件平臺(tái)在農(nóng)業(yè)領(lǐng)域的不斷投入和使用，促進(jìn)了我國(guó)農(nóng)業(yè)數(shù)據(jù)的爆炸式增長(zhǎng)［10］。農(nóng)業(yè)大數(shù)據(jù)來源廣泛、更新頻繁、內(nèi)容豐富、結(jié)構(gòu)復(fù)雜，從內(nèi)容上看，既包括農(nóng)業(yè)生態(tài)資源、農(nóng)業(yè)生態(tài)環(huán)境、農(nóng)業(yè)生物資源等數(shù)據(jù)，又包括農(nóng)資及農(nóng)產(chǎn)品的生產(chǎn)、加工、運(yùn)輸、儲(chǔ)藏、流通、銷售、質(zhì)量安全等數(shù)據(jù)；從結(jié)構(gòu)上看，包括結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)以及半結(jié)構(gòu)化數(shù)據(jù)；從格式上看，既有文本、圖像、視頻、音頻等數(shù)據(jù)，也有文檔、文件、數(shù)據(jù)庫等資源數(shù)據(jù)［11］。

對(duì)農(nóng)業(yè)領(lǐng)域來說，組織、分析和解釋各種農(nóng)業(yè)數(shù)據(jù)非常重要。國(guó)內(nèi)外專家在農(nóng)業(yè)大數(shù)據(jù)資源管理和應(yīng)用上進(jìn)行了大量研究。Perakis 等設(shè)計(jì)了一種應(yīng)用于精準(zhǔn)農(nóng)業(yè)和精準(zhǔn)畜牧業(yè)的無縫訪問大量不同類型、不同來源超大規(guī)模數(shù)據(jù)集的平臺(tái)，提出一種對(duì)大數(shù)據(jù)發(fā)現(xiàn)、處理、組合和可視化服務(wù)的大規(guī)模高性能計(jì)算基礎(chǔ)設(shè)施的安全和非中介訪問方案，支持對(duì)傳感器數(shù)據(jù)、環(huán)境和氣候歷史數(shù)據(jù)、衛(wèi)星和航空?qǐng)D像等數(shù)據(jù)的集成和訪問，不僅能為農(nóng)民提供服務(wù)，也能為農(nóng)業(yè)生產(chǎn)鏈條上的其他主體如企業(yè)、技術(shù)人員等提供服 務(wù)［12］。Shrivastava 和Marshall-Colon 提出通過分析各種來源的農(nóng)業(yè)大數(shù)據(jù)，能夠加速育種計(jì)劃，有助于設(shè)計(jì)適應(yīng)復(fù)雜環(huán)境的高產(chǎn)作物類型，從而解決糧食安全問題［13］。Sabarina和Priya 提出一種基于張量的特征約簡(jiǎn)模型，用于對(duì)農(nóng)業(yè)大數(shù)據(jù)分析時(shí)降低數(shù)據(jù)維度，從而減少數(shù)據(jù)分析時(shí)間［14］。Huang 等分析整理了現(xiàn)有的遙感數(shù)據(jù)資源和管理發(fā)展，并提出了一種FLTL（Four Layer Twelve Level）遙感數(shù)據(jù)管理結(jié)構(gòu)，用于管理和應(yīng)用農(nóng)業(yè)遙感大數(shù)據(jù)［15］。李艷和劉成龍基于Hadoop框架設(shè)計(jì)了農(nóng)業(yè)大數(shù)據(jù)挖掘系統(tǒng)，通過分布式數(shù)據(jù)組織方式實(shí)現(xiàn)了對(duì)農(nóng)業(yè)大數(shù)據(jù)的高效率分析、計(jì)算和處理［16］。錢曄等基于農(nóng)業(yè)大數(shù)據(jù)中心積累的數(shù)據(jù)成果，通過人工神經(jīng)網(wǎng)絡(luò)算法構(gòu)建鮮切花價(jià)格預(yù)測(cè)和質(zhì)量等級(jí)識(shí)別模型，實(shí)現(xiàn)了對(duì)農(nóng)業(yè)大數(shù)據(jù)的智能化應(yīng)用［17］。

通過對(duì)已有研究分析可知，農(nóng)業(yè)大數(shù)據(jù)應(yīng)用已取得一定成果，但農(nóng)業(yè)大數(shù)據(jù)資源分散，不同平臺(tái)、部門之間共享困難，而農(nóng)業(yè)大數(shù)據(jù)資源集成、共享、交換等方面的研究較少。文章針對(duì)貴州省農(nóng)業(yè)大數(shù)據(jù)資源共享管理問題，具體分析農(nóng)業(yè)大數(shù)據(jù)的來源和內(nèi)容，從多源數(shù)據(jù)集成、元數(shù)據(jù)管理和數(shù)據(jù)共享交換3個(gè)方面開展農(nóng)業(yè)大數(shù)據(jù)共享服務(wù)平臺(tái)的研究與設(shè)計(jì)，為農(nóng)業(yè)大數(shù)據(jù)的開放共享提供一套切實(shí)可行的技術(shù)方案，促進(jìn)農(nóng)業(yè)數(shù)據(jù)資源的高效利用。

1 需求分析

深入調(diào)研貴州省農(nóng)業(yè)數(shù)據(jù)資源基礎(chǔ)以及業(yè)務(wù)需求情況，從數(shù)據(jù)基礎(chǔ)和功能需求兩方面梳理分析大數(shù)據(jù)資源管理平臺(tái)的需求。

1.1 數(shù)據(jù)基礎(chǔ)

農(nóng)業(yè)各類數(shù)據(jù)通常來自各類農(nóng)業(yè)政務(wù)服務(wù)系統(tǒng)、農(nóng)業(yè)產(chǎn)業(yè)服務(wù)系統(tǒng)、物聯(lián)網(wǎng)、互聯(lián)網(wǎng)等。從業(yè)務(wù)種類區(qū)分，農(nóng)業(yè)數(shù)據(jù)可以分為農(nóng)業(yè)基礎(chǔ)條件數(shù)據(jù)（農(nóng)業(yè)區(qū)劃、農(nóng)業(yè)氣象、土壤、耕地、草地、水域等）、農(nóng)業(yè)資源要素?cái)?shù)據(jù)（種植、經(jīng)濟(jì)作物、畜牧、漁業(yè)水產(chǎn)、高標(biāo)準(zhǔn)農(nóng)田、農(nóng)業(yè)園區(qū)等）、農(nóng)業(yè)經(jīng)營(yíng)交易數(shù)據(jù)（農(nóng)資、新型經(jīng)營(yíng)主體、農(nóng)產(chǎn)品貿(mào)易、農(nóng)產(chǎn)品價(jià)格、農(nóng)田用途、農(nóng)村土地確權(quán)、流轉(zhuǎn)等）和農(nóng)業(yè)管理服務(wù)數(shù)據(jù)（水肥管理、病蟲害防治、糧食補(bǔ)貼、三品一標(biāo)、農(nóng)產(chǎn)品溯源、農(nóng)業(yè)專家?guī)?、農(nóng)民培訓(xùn)等）等。從數(shù)據(jù)類型來看，農(nóng)業(yè)數(shù)據(jù)包括關(guān)系型數(shù)據(jù)庫、文檔、圖片、流媒體等多種格式。各類數(shù)據(jù)資源分散在不同的部門，部署在不同的服務(wù)器或云平臺(tái)上，對(duì)數(shù)據(jù)進(jìn)行采集匯聚有多種渠道，主要的方法有以下3種。

（1）數(shù)據(jù)共享接口：主要適用于農(nóng)業(yè)業(yè)務(wù)部門內(nèi)部系統(tǒng)或可以提供數(shù)據(jù)共享服務(wù)的系統(tǒng)平臺(tái)。

（2）物聯(lián)網(wǎng)數(shù)據(jù)匯聚：主要適用于物聯(lián)網(wǎng)設(shè)備產(chǎn)生的數(shù)據(jù)，可通過物聯(lián)網(wǎng)支撐平臺(tái)匯聚后發(fā)送到大數(shù)據(jù)平臺(tái)上統(tǒng)一匯聚。

（3）爬蟲采集系統(tǒng)：主要適用于互聯(lián)網(wǎng)數(shù)據(jù)的采集匯聚，如互聯(lián)網(wǎng)上農(nóng)業(yè)相關(guān)的各種輿情信息、農(nóng)產(chǎn)品價(jià)格等。

1.2 功能需求

農(nóng)業(yè)大數(shù)據(jù)共享服務(wù)平臺(tái)的目的是將各種農(nóng)業(yè)系統(tǒng)和平臺(tái)產(chǎn)生的農(nóng)業(yè)數(shù)據(jù)進(jìn)行匯總和集成管理，并向需要數(shù)據(jù)的用戶提供數(shù)據(jù)共享和交換服務(wù)，其面向的用戶有公眾用戶、政府用戶和企業(yè)用戶3種。根據(jù)平臺(tái)目標(biāo)，農(nóng)業(yè)大數(shù)據(jù)共享服務(wù)平臺(tái)可以劃分為3個(gè)主要功能，分別是農(nóng)業(yè)大數(shù)據(jù)集成管理、農(nóng)業(yè)大數(shù)據(jù)共享服務(wù)和元數(shù)據(jù)管理。

（1）農(nóng)業(yè)大數(shù)據(jù)集成管理通過各種技術(shù)手段，將不同平臺(tái)和數(shù)據(jù)庫的農(nóng)業(yè)數(shù)據(jù)資源進(jìn)行匯聚，并提供對(duì)數(shù)據(jù)清洗、轉(zhuǎn)換、質(zhì)量管理等服務(wù)。

（2）農(nóng)業(yè)大數(shù)據(jù)共享服務(wù)提供數(shù)據(jù)共享和交換功能，根據(jù)用戶不同，應(yīng)該提供不同級(jí)別的數(shù)據(jù)共享。

（3）元數(shù)據(jù)管理則是將集成匯聚的數(shù)據(jù)進(jìn)行資源編目，從海量數(shù)據(jù)中抽取出描述數(shù)據(jù)內(nèi)容的元數(shù)據(jù)，使數(shù)據(jù)管理更加規(guī)范和容易。

在網(wǎng)絡(luò)學(xué)習(xí)環(huán)境下，教師一般可以自覺利用一些學(xué)習(xí)網(wǎng)站進(jìn)行自主學(xué)習(xí)。閱讀在線文章和觀摩在線課程等形式的自主式學(xué)習(xí)均可以達(dá)到一定的學(xué)習(xí)目標(biāo)。在學(xué)習(xí)和探究的過程中可以結(jié)合自己的教學(xué)科研活動(dòng)，發(fā)現(xiàn)、提出和解決新問題。這種學(xué)習(xí)是以滿足教師個(gè)人需求為目的的。

2 農(nóng)業(yè)大數(shù)據(jù)共享服務(wù)平臺(tái)架構(gòu)

為了與其它已有系統(tǒng)實(shí)現(xiàn)無縫銜接，該平臺(tái)采用基于云計(jì)算的全網(wǎng)絡(luò)化B/S系統(tǒng)架構(gòu)。農(nóng)業(yè)大數(shù)據(jù)共享服務(wù)平臺(tái)架構(gòu)如圖1所示。該平臺(tái)采用Hadoop框架進(jìn)行設(shè)計(jì)，最底層是數(shù)據(jù)存儲(chǔ)服務(wù)，為了滿足多種結(jié)構(gòu)類型，采用關(guān)系型數(shù)據(jù)庫如Oracle、Mysql、Sql server 等管理結(jié)構(gòu)化數(shù)據(jù)，采用Hbase和Redis管理非結(jié)構(gòu)化數(shù)據(jù)，采用HDFS管理分布式文件系統(tǒng)，采用FastDFS管理磁盤文件系統(tǒng)，采用Lucene管理異構(gòu)索引庫；之后，進(jìn)入數(shù)據(jù)共享交換層，通過ETL、WebService、FTP 等技術(shù)，將各業(yè)務(wù)部門的數(shù)據(jù)進(jìn)行匯總，編制資源目錄，建立元數(shù)據(jù)庫；在此基礎(chǔ)上，對(duì)匯總數(shù)據(jù)日云計(jì)算服務(wù)，包括數(shù)據(jù)倉庫的構(gòu)建、數(shù)據(jù)挖掘等服務(wù)；在此基礎(chǔ)上提供應(yīng)用服務(wù)，進(jìn)行任務(wù)調(diào)度、數(shù)據(jù)檢索、緩存服務(wù)和分庫分表等，并在此基礎(chǔ)上開發(fā)大數(shù)據(jù)資源管理平臺(tái)，將匯總后的農(nóng)業(yè)大數(shù)據(jù)根據(jù)不同級(jí)別、不同主體進(jìn)行開放共享，為各級(jí)部門提供更加便利的數(shù)據(jù)服務(wù)。

圖1農(nóng)業(yè)大數(shù)據(jù)共享服務(wù)平臺(tái)框架Fig.1 Framework of agricultural big data sharing service platform

3 功能設(shè)計(jì)

根據(jù)功能需求分析，將農(nóng)業(yè)大數(shù)據(jù)管理平臺(tái)劃分為3個(gè)子系統(tǒng)，分別是農(nóng)業(yè)大數(shù)據(jù)集成管理子系統(tǒng)、農(nóng)業(yè)大數(shù)據(jù)共享服務(wù)子系統(tǒng)和元數(shù)據(jù)子系統(tǒng)，如圖2所示。

3.1 農(nóng)業(yè)大數(shù)據(jù)集成管理子系統(tǒng)

該子系統(tǒng)實(shí)現(xiàn)從各渠道得到的農(nóng)業(yè)基礎(chǔ)、產(chǎn)業(yè)、監(jiān)管、政務(wù)數(shù)據(jù)的整合集成、數(shù)據(jù)質(zhì)量控制、更新管理等，主要提供數(shù)據(jù)整合、數(shù)據(jù)質(zhì)控、數(shù)據(jù)封裝、數(shù)據(jù)統(tǒng)計(jì)、集成規(guī)則管理等功能。

（1）數(shù)據(jù)整合：通過數(shù)據(jù)分類、數(shù)據(jù)同步、數(shù)據(jù)抽取、數(shù)據(jù)清洗等處理，實(shí)現(xiàn)不同來源、類型數(shù)據(jù)的整合集成。將敏感數(shù)據(jù)和普通數(shù)據(jù)進(jìn)行區(qū)分，對(duì)數(shù)據(jù)按照不同安全級(jí)別進(jìn)行分類管理。

（2）數(shù)據(jù)質(zhì)控：對(duì)匯聚的數(shù)據(jù)提供質(zhì)量監(jiān)控管理，監(jiān)控匯聚過程、交換接口、服務(wù)狀態(tài)，定義“正則表達(dá)式”和數(shù)據(jù)字典，對(duì)數(shù)據(jù)質(zhì)量進(jìn)行校核，對(duì)集成的數(shù)據(jù)資源進(jìn)行質(zhì)量檢驗(yàn)、異常和沖突處理。

圖2 農(nóng)業(yè)大數(shù)據(jù)共享服務(wù)平臺(tái)功能結(jié)構(gòu)Fig.2 Function structure of agricultural big data sharing service platform

（3）數(shù)據(jù)封裝：對(duì)數(shù)據(jù)按照不同的格式、類型進(jìn)行轉(zhuǎn)換，按照不同的結(jié)構(gòu)進(jìn)行處理，將結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)到關(guān)系型數(shù)據(jù)庫中，將非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在文件服務(wù)器上，并記錄文件信息，確保數(shù)據(jù)的完整性。

（4）數(shù)據(jù)統(tǒng)計(jì)：按部門或單位、數(shù)據(jù)分類、更新時(shí)間、農(nóng)業(yè)要素屬性等對(duì)集成的數(shù)據(jù)以圖表等多種形式進(jìn)行各類統(tǒng)計(jì)匯總和變化分析，包括單要素或多要素時(shí)間序列變化分析、區(qū)域構(gòu)成分析、區(qū)域?qū)Ρ确治龅?，通過統(tǒng)計(jì)分析實(shí)現(xiàn)農(nóng)業(yè)生產(chǎn)條件、資源要素、經(jīng)營(yíng)權(quán)屬和管理服務(wù)情況。

3.2 農(nóng)業(yè)大數(shù)據(jù)共享服務(wù)子系統(tǒng)

該子系統(tǒng)實(shí)現(xiàn)分散、多源、異構(gòu)農(nóng)業(yè)非空間數(shù)據(jù)的目錄導(dǎo)航、查詢檢索與共享交換等服務(wù)，主要包括數(shù)據(jù)查詢、數(shù)據(jù)專題、數(shù)據(jù)申請(qǐng)、數(shù)據(jù)審核以及用戶管理等功能，是用戶查詢?cè)L問和使用農(nóng)業(yè)大數(shù)據(jù)的統(tǒng)一入口。

（1）數(shù)據(jù)查詢：提供基于關(guān)鍵詞的簡(jiǎn)單查詢、多條件組合的復(fù)雜查詢、全文檢索和關(guān)聯(lián)圖檢索。對(duì)查詢結(jié)果提供瀏覽功能，包括屬性表瀏覽、空間數(shù)據(jù)瀏覽、底圖展示以及元數(shù)據(jù)回溯等。

（2）數(shù)據(jù)專題：提供基于不同主題的數(shù)據(jù)分析和展示服務(wù)，如農(nóng)業(yè)生產(chǎn)、農(nóng)民專業(yè)合作社、農(nóng)產(chǎn)品市場(chǎng)價(jià)格等專題的分析圖、分析表格等處理。

（3）數(shù)據(jù)申請(qǐng)：針對(duì)用戶提交的數(shù)據(jù)申請(qǐng)，提供審核與批復(fù)功能，如果審核通過，用戶可以獲得數(shù)據(jù)查看權(quán)限。

（4）數(shù)據(jù)審核：對(duì)數(shù)據(jù)申請(qǐng)進(jìn)行審核、開放共享端口等處理。

（5）用戶管理：提供用戶注冊(cè)、用戶角色劃分、用戶權(quán)限設(shè)置等功能，實(shí)現(xiàn)對(duì)用戶的統(tǒng)一管理。

3.3 元數(shù)據(jù)管理子系統(tǒng)

該子系統(tǒng)提供了對(duì)多源大數(shù)據(jù)的統(tǒng)一描述、發(fā)布管理與權(quán)限控制，主要包括著錄模板管理、資源目錄管理、統(tǒng)計(jì)查詢、元數(shù)據(jù)編目以及元數(shù)據(jù)管理等。

（1）著錄模板管理：提供定制元數(shù)據(jù)模板的功能，也可以將指定元數(shù)據(jù)保存為元數(shù)據(jù)模板，對(duì)模板進(jìn)行修改和刪除等管理，各級(jí)用戶通過元數(shù)據(jù)模板利用元數(shù)據(jù)模板可以實(shí)現(xiàn)元數(shù)據(jù)的快速錄入。

（2）資源目錄管理：包括資源目錄分類、資源名稱、資源屬性、數(shù)據(jù)提交形式、共享方式、更新途徑、更新周期、資源數(shù)量級(jí)、責(zé)任部門等內(nèi)容管理。

（3）統(tǒng)計(jì)查詢：按責(zé)任者、共享類型、數(shù)據(jù)分類、格式等條件進(jìn)行元數(shù)據(jù)查詢，對(duì)元數(shù)據(jù)進(jìn)行統(tǒng)計(jì)匯總。

（4）元數(shù)據(jù)編目：對(duì)元數(shù)據(jù)編目要素進(jìn)行管理，按共享類型、開放方式、責(zé)任者等進(jìn)行編目，按指定格式輸出元數(shù)據(jù)目錄，依據(jù)權(quán)限訪問關(guān)聯(lián)的數(shù)據(jù)。

（5）元數(shù)據(jù)管理：依據(jù)管理權(quán)限，對(duì)元數(shù)據(jù)進(jìn)行修改、刪除、審核、發(fā)布等處理。

4 平臺(tái)實(shí)現(xiàn)

農(nóng)業(yè)大數(shù)據(jù)共享服務(wù)平臺(tái)基于J2EE平臺(tái)進(jìn)行開發(fā)，利用Spring boot、Duboo、Zookeeper 搭建的共享服務(wù)平臺(tái)，用于RESTful、XML/JSON服務(wù)的快速開發(fā)、注冊(cè)、發(fā)現(xiàn)、路由等工作；利用Hadoop大數(shù)據(jù)體系技術(shù)，對(duì)海量農(nóng)業(yè)數(shù)據(jù)進(jìn)行并行計(jì)算和分布式處理；支持結(jié)構(gòu)化數(shù)據(jù)庫系統(tǒng)OracleMysqlSqlserver、利用NoSql數(shù)據(jù)庫作為前端界面緩存數(shù)據(jù)庫；同時(shí)構(gòu)建文件庫和異構(gòu)索引庫存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)信息。

基于該平臺(tái)架構(gòu)和設(shè)計(jì)思路，在貴州省進(jìn)行了開發(fā)應(yīng)用，圖3為該平臺(tái)進(jìn)行數(shù)據(jù)分類的界面，圖4 為平臺(tái)子系統(tǒng)農(nóng)業(yè)大數(shù)據(jù)集成管理中進(jìn)行數(shù)據(jù)轉(zhuǎn)換的界面。該平臺(tái)將貴州省不同來源的農(nóng)業(yè)資源數(shù)據(jù)進(jìn)行了有效整合，并提供了統(tǒng)一的門戶網(wǎng)站進(jìn)行共享，提高了數(shù)據(jù)利用效率。

圖3 貴州省農(nóng)業(yè)大數(shù)據(jù)共享服務(wù)平臺(tái)應(yīng)用界面Fig.3 Application interface of Guizhou agricultural big data sharing service platform

圖4農(nóng)業(yè)大數(shù)據(jù)集成管理子系統(tǒng)應(yīng)用界面Fig.4 Application interface of agricultural big data integrated management subsystem

5 結(jié)論

針對(duì)農(nóng)業(yè)數(shù)據(jù)格式多樣、物理分散、不易利用等問題，采用大數(shù)據(jù)、云計(jì)算等技術(shù)，以元數(shù)據(jù)管理為基礎(chǔ)，開發(fā)了面向多源異構(gòu)農(nóng)業(yè)資源數(shù)據(jù)整合應(yīng)用的農(nóng)業(yè)資源數(shù)據(jù)共享服務(wù)平臺(tái)，打破了不同農(nóng)業(yè)系統(tǒng)、數(shù)據(jù)庫系統(tǒng)之間的壁壘，實(shí)現(xiàn)了數(shù)據(jù)的有效共享和利用。該平臺(tái)在貴州省進(jìn)行了開發(fā)應(yīng)用，集成了農(nóng)業(yè)部門內(nèi)外多種數(shù)據(jù)源，包括各種農(nóng)產(chǎn)品價(jià)格、農(nóng)業(yè)生產(chǎn)、農(nóng)村生產(chǎn)合作社、農(nóng)業(yè)生產(chǎn)經(jīng)濟(jì)、農(nóng)業(yè)脫貧工作等資源，通過提供專題服務(wù)，可以快速將多源數(shù)據(jù)進(jìn)行集成，為農(nóng)業(yè)主管部門提供各種資源的統(tǒng)計(jì)匯總“一張圖”服務(wù)，實(shí)現(xiàn)對(duì)地區(qū)農(nóng)業(yè)產(chǎn)業(yè)發(fā)展、農(nóng)業(yè)經(jīng)濟(jì)等信息的快速全面掌握，為制定政策和發(fā)展計(jì)劃提供了良好的數(shù)據(jù)支撐。

農(nóng)業(yè)資源數(shù)據(jù)共享服務(wù)平臺(tái)提供了數(shù)據(jù)集成、數(shù)據(jù)共享和元數(shù)據(jù)服務(wù)，平臺(tái)功能以構(gòu)件方式開發(fā)實(shí)現(xiàn)，有利于在該平臺(tái)基礎(chǔ)上進(jìn)一步拓展開發(fā)業(yè)務(wù)功能。