摘 要：信息化時(shí)代，農(nóng)業(yè)數(shù)據(jù)繁多，覆蓋面廣泛，信息資源共享整合建設(shè)尤為重要。本文從業(yè)務(wù)流程、功能需求、性能需求3方面對(duì)農(nóng)業(yè)信息資源共享交互平臺(tái)的需求進(jìn)行詳細(xì)分析。

關(guān)鍵詞：農(nóng)業(yè)信息化;農(nóng)業(yè)大數(shù)據(jù);數(shù)據(jù)治理

中圖分類號(hào)：S-3 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.19754/j.nyyjs.20201015012

為深入貫徹落實(shí)國(guó)務(wù)院、江蘇省、常州市關(guān)于促進(jìn)政務(wù)信息資源共享整合建設(shè)的要求，按照常州市2019年政府電子政務(wù)工作要點(diǎn)的要求，從深入推進(jìn)“一網(wǎng)通辦”、“智慧城市”、“數(shù)據(jù)共享”、“平臺(tái)優(yōu)化”和“智造產(chǎn)業(yè)”5大行動(dòng)出發(fā)的指示精神，常州市將推進(jìn)農(nóng)業(yè)信息資源共享交互平臺(tái)項(xiàng)目建設(shè)，以進(jìn)一步規(guī)范全市政務(wù)信息資源管理工作，將信息資源共享在深化改革、轉(zhuǎn)變職能及創(chuàng)新管理等方面全面滲透和應(yīng)用，從而提升政務(wù)服務(wù)水平及行政效能。

本文結(jié)合常州市農(nóng)業(yè)信息化當(dāng)前的實(shí)際情況，介紹了一種農(nóng)業(yè)信息資源共享交互平臺(tái)，并對(duì)該平臺(tái)的業(yè)務(wù)流程、功能和性能需求進(jìn)行分析。

1 業(yè)務(wù)流程分析

1.1 數(shù)據(jù)交換共享流程

目前，常州市涉農(nóng)數(shù)據(jù)資源交換共享方式主要是人工報(bào)送的Excel、Word等格式數(shù)據(jù)文件，沒(méi)有明確的流程。通過(guò)建設(shè)常州市農(nóng)業(yè)信息資源共享交互平臺(tái)農(nóng)業(yè)數(shù)據(jù)共享交換系統(tǒng)，可對(duì)全市涉農(nóng)數(shù)據(jù)資源的共享交換進(jìn)行規(guī)劃，建立標(biāo)準(zhǔn)規(guī)范，優(yōu)化共享流程。本項(xiàng)目涉及2類數(shù)據(jù)交換共享，包括市局內(nèi)部現(xiàn)有信息系統(tǒng)之間的數(shù)據(jù)共享交換以及市局與外部相關(guān)單位之間的數(shù)據(jù)共享交換。數(shù)據(jù)共享交換流程涉及數(shù)據(jù)資源訂閱方、數(shù)據(jù)資源管理方、數(shù)據(jù)資源提供方3類用戶角色，具體流程如圖1所示。

1.2 數(shù)據(jù)治理流程

通過(guò)數(shù)據(jù)交換共享方式匯聚的數(shù)據(jù)資源，需要經(jīng)過(guò)數(shù)據(jù)治理，經(jīng)過(guò)數(shù)據(jù)抽取、驗(yàn)證、清洗、集成、聚集、裝載，將數(shù)據(jù)源轉(zhuǎn)化為數(shù)據(jù)倉(cāng)庫(kù)需要的格式。數(shù)據(jù)加工處理工作由數(shù)據(jù)服務(wù)平臺(tái)自動(dòng)完成，同時(shí)由用戶進(jìn)行人為監(jiān)控。數(shù)據(jù)治理流程如圖2所示。

1.2.1 數(shù)據(jù)抽取

從數(shù)據(jù)源抽取涉農(nóng)數(shù)據(jù)資源。數(shù)據(jù)源可以是通過(guò)業(yè)務(wù)平臺(tái)數(shù)據(jù)匯聚形成的數(shù)據(jù)資源庫(kù)，也可以是通過(guò)數(shù)據(jù)交換共享平臺(tái)獲取的涉農(nóng)數(shù)據(jù)資源（市局內(nèi)部和外部數(shù)據(jù)）。數(shù)據(jù)抽取包括增量抽取、增量加載及批量裝載，可依據(jù)時(shí)間戳自動(dòng)判斷抽取增量數(shù)據(jù)。

1.2.2 數(shù)據(jù)清洗

通常情況抽取的數(shù)據(jù)資源中包含冗余數(shù)據(jù)、垃圾數(shù)據(jù)。數(shù)據(jù)在邏輯上沖突和數(shù)據(jù)定義沖突等問(wèn)題十分常見(jiàn)，因此需要對(duì)數(shù)據(jù)資源進(jìn)行清洗，發(fā)現(xiàn)殘缺數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)、重復(fù)數(shù)據(jù)，在信息資源庫(kù)進(jìn)行數(shù)據(jù)補(bǔ)錄、關(guān)聯(lián)、去除，導(dǎo)入到數(shù)據(jù)倉(cāng)庫(kù)中。

1.2.3 數(shù)據(jù)轉(zhuǎn)換

清洗之后的涉農(nóng)數(shù)據(jù)資源需要轉(zhuǎn)換為數(shù)據(jù)倉(cāng)庫(kù)的格式。

1.2.4數(shù)據(jù)裝載

經(jīng)過(guò)格式轉(zhuǎn)換的涉農(nóng)數(shù)據(jù)資源需要裝載到數(shù)據(jù)倉(cāng)庫(kù)，為數(shù)據(jù)建模和主題分析做準(zhǔn)備。

1.3 數(shù)據(jù)分析應(yīng)用流程

數(shù)據(jù)分析應(yīng)用不僅能夠?qū)?jīng)過(guò)加工處理后的涉農(nóng)數(shù)據(jù)資源進(jìn)行挖掘分析，還可以對(duì)信息資源目錄、元數(shù)據(jù)、主數(shù)據(jù)進(jìn)行管理?，F(xiàn)以信息資源目錄管理和數(shù)據(jù)分析應(yīng)用流程為例進(jìn)行闡述。

1.3.1 信息資源目錄管理

經(jīng)過(guò)梳理之后的涉農(nóng)信息資源目錄可為數(shù)據(jù)資源相關(guān)單位提供信息資源目錄使用、查詢等服務(wù)。數(shù)據(jù)資源相關(guān)單位可根據(jù)自身業(yè)務(wù)發(fā)展變化情況，利用需要更新信息資源目錄，由數(shù)據(jù)資源管理方審核確認(rèn)后發(fā)布，不斷完善并形成可持續(xù)發(fā)展的全市涉農(nóng)信息資源目錄體系（圖3）。

1.3.2 主題分析應(yīng)用

主題分析應(yīng)用以采集數(shù)據(jù)和共享交換數(shù)據(jù)為基礎(chǔ)，通過(guò)匯聚存儲(chǔ)于數(shù)據(jù)緩沖區(qū)，經(jīng)過(guò)數(shù)據(jù)的ETL處理過(guò)程，包括數(shù)據(jù)抽取、驗(yàn)證、清洗、轉(zhuǎn)換、裝載等，按照面向主題的方式存入數(shù)據(jù)中心（ODS），提供常規(guī)的數(shù)據(jù)查詢統(tǒng)計(jì)分析。給予數(shù)據(jù)中心，經(jīng)過(guò)ETL處理可建立面向農(nóng)業(yè)、種植信息、畜牧養(yǎng)殖信息、測(cè)土配方施肥與土壤墑情、土地流轉(zhuǎn)信息、農(nóng)作物種類產(chǎn)量等不同（可進(jìn)一步細(xì)分）的主題數(shù)據(jù)庫(kù)，建立多維數(shù)據(jù)分析模型，為主題分析提供支持。在此基礎(chǔ)上，通過(guò)理論（業(yè)務(wù)）模型的建立，包括播種態(tài)勢(shì)模型、產(chǎn)量預(yù)測(cè)模型、農(nóng)產(chǎn)品質(zhì)量安全模型等，提供預(yù)測(cè)預(yù)警與決策指導(dǎo)等服務(wù)。主題分析應(yīng)用流程如圖4所示。

2 功能需求分析

2.1 數(shù)據(jù)交換共享

業(yè)務(wù)數(shù)據(jù)資源的采集，在本次項(xiàng)目建設(shè)中，數(shù)據(jù)交換共享是最重要的采集方式。通過(guò)平臺(tái)的建設(shè)，可梳理出農(nóng)口的統(tǒng)一數(shù)據(jù)共享交換標(biāo)準(zhǔn)和接口規(guī)范，并建立為平臺(tái)與外部系統(tǒng)之間的數(shù)據(jù)共享提供指南和標(biāo)準(zhǔn)，市局與外部單位之間通過(guò)建立數(shù)據(jù)交換共享機(jī)制實(shí)現(xiàn)涉農(nóng)數(shù)據(jù)資源的共享匯聚利用。

2.2 數(shù)據(jù)加工處理

由于涉農(nóng)數(shù)據(jù)資源一部分來(lái)自數(shù)據(jù)報(bào)送人員在線直報(bào)和自動(dòng)采集，另一部分來(lái)源于市局現(xiàn)有信息系統(tǒng)和外部單位信息系統(tǒng)，數(shù)據(jù)格式、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)類別、數(shù)據(jù)標(biāo)識(shí)等經(jīng)常不一致，因此需要進(jìn)一步對(duì)源頭數(shù)據(jù)進(jìn)行加工處理。

2.3 數(shù)據(jù)分析應(yīng)用

建設(shè)數(shù)據(jù)共享交換系統(tǒng)將涉農(nóng)數(shù)據(jù)匯聚之后，最為核心的工作是對(duì)數(shù)據(jù)進(jìn)行挖掘分析應(yīng)用。通過(guò)大數(shù)據(jù)分析手段挖掘掩藏在涉農(nóng)數(shù)據(jù)資源表面的業(yè)務(wù)特點(diǎn)、規(guī)律，實(shí)現(xiàn)對(duì)農(nóng)業(yè)農(nóng)村工作的決策支持，提供數(shù)據(jù)監(jiān)測(cè)、分析、預(yù)警、預(yù)測(cè)等服務(wù)。

2.4 數(shù)據(jù)展現(xiàn)

通過(guò)一系列數(shù)據(jù)可視化展示方式將基礎(chǔ)數(shù)據(jù)資源和分析數(shù)據(jù)資源直觀地呈現(xiàn)給各級(jí)領(lǐng)導(dǎo)和各級(jí)工作人員，并定期提供數(shù)據(jù)分析報(bào)告全景展示常州市現(xiàn)代農(nóng)業(yè)發(fā)展趨勢(shì)和狀況，滿足用數(shù)據(jù)說(shuō)話、用數(shù)據(jù)管理和用數(shù)據(jù)決策的工作需要。

通過(guò)建設(shè)專題決策支撐系統(tǒng)，實(shí)現(xiàn)對(duì)全市農(nóng)產(chǎn)品質(zhì)量安全等專題數(shù)據(jù)的綜合展示和相關(guān)工作的統(tǒng)一指揮調(diào)度。

3 性能需求分析

3.1 訪問(wèn)速度方面

頁(yè)面打開(kāi)速度小于3s，簡(jiǎn)單類查詢速度小于3s，復(fù)雜類查詢分析速度小于8s。

3.2 穩(wěn)定性方面

在利用本平臺(tái)正常工作中，不應(yīng)出現(xiàn)妨礙工作順利進(jìn)行的系統(tǒng)錯(cuò)誤或意外中止的情況。

3.3 資源利用方面

在進(jìn)行海量數(shù)據(jù)的查詢、統(tǒng)計(jì)、分析的過(guò)程中，允許CPU和內(nèi)存的占用率提升及網(wǎng)絡(luò)帶寬占有量的加大，但在操作結(jié)束后，應(yīng)該及時(shí)釋放所占用的資源，以保證工作人員利用電腦順利進(jìn)行其它工作。

3.4 系統(tǒng)處理能力方面

系統(tǒng)的用戶較多，所以對(duì)系統(tǒng)的并發(fā)處理能力要求較高;支持?jǐn)?shù)據(jù)采集應(yīng)用并發(fā)數(shù)100，最長(zhǎng)響應(yīng)時(shí)間3s。

3.5 使用靈活性方面

當(dāng)系統(tǒng)與其它軟件的接口發(fā)生變化，用戶的操作方式、運(yùn)行環(huán)境、對(duì)信息獲取方式以及對(duì)期望獲取的信息結(jié)果發(fā)生變化時(shí)，軟件系統(tǒng)要做到易于調(diào)整，擁有高度的靈活性。

4 信息量分析和預(yù)測(cè)

4.1 農(nóng)業(yè)數(shù)據(jù)量分析與預(yù)測(cè)

本項(xiàng)目農(nóng)業(yè)信息資源交互平臺(tái)建設(shè)的信息資源數(shù)據(jù)，包括了市縣農(nóng)業(yè)農(nóng)村局現(xiàn)有數(shù)據(jù)（如農(nóng)產(chǎn)品質(zhì)量監(jiān)管、農(nóng)產(chǎn)品質(zhì)量追溯、動(dòng)監(jiān)所執(zhí)法、三農(nóng)項(xiàng)目管理等）、部省相關(guān)數(shù)據(jù)（如三品一標(biāo)、農(nóng)業(yè)投入品等）、政府部門相關(guān)數(shù)據(jù)（如氣象、環(huán)境、工商、防汛等）、機(jī)構(gòu)改革后農(nóng)辦發(fā)改財(cái)政部門相關(guān)數(shù)據(jù)、其它下一步收集的數(shù)據(jù)（如休閑觀光客源、土壤質(zhì)地、森林植被等），總計(jì)占用存儲(chǔ)空間約20TB（其中，關(guān)系型數(shù)據(jù)約5TB，非結(jié)構(gòu)化數(shù)據(jù)約15TB）。

4.2 查詢頻度分析

查詢頻度與支持的系統(tǒng)數(shù)量、用戶數(shù)量、系統(tǒng)建設(shè)情況有關(guān)。建設(shè)初期，由于訪問(wèn)系統(tǒng)的用戶數(shù)和基于平臺(tái)建設(shè)的系統(tǒng)少，查詢用戶少，訪問(wèn)頻度較低。但隨著信息系統(tǒng)建設(shè)的不斷發(fā)展，信息內(nèi)容的不斷豐富和支持的應(yīng)用系統(tǒng)增加，用戶數(shù)也會(huì)不斷攀升，系統(tǒng)訪問(wèn)頻度將急劇增加。

以常州市農(nóng)業(yè)農(nóng)村局農(nóng)產(chǎn)品質(zhì)量安全監(jiān)管平臺(tái)為例，目前用戶數(shù)近1000人。平時(shí)有200個(gè)用戶在線使用平臺(tái)，通常用戶并發(fā)數(shù)50個(gè)左右，高峰時(shí)并發(fā)用戶數(shù)100個(gè)左右。

4.3 數(shù)據(jù)流量分析與預(yù)測(cè)

本系統(tǒng)在B/S訪問(wèn)時(shí)，由于業(yè)務(wù)的要求需要傳輸視頻圖像或文件，每個(gè)訪問(wèn)點(diǎn)的傳輸速率至少保證5Mbps。

參考文獻(xiàn)

[1] 王文生，郭雷風(fēng).農(nóng)業(yè)大數(shù)據(jù)及其應(yīng)用展望[J].江蘇農(nóng)業(yè)科學(xué)，2015，43（09）：1-5.

[2]孟祥寶，謝秋波，劉海峰，等.農(nóng)業(yè)大數(shù)據(jù)應(yīng)用體系架構(gòu)和平臺(tái)建設(shè)[J].廣東農(nóng)業(yè)科學(xué)，2014，41（14）：173-178.

[3]溫孚江.農(nóng)業(yè)大數(shù)據(jù)研究的戰(zhàn)略意義與協(xié)同機(jī)制[J].高等農(nóng)業(yè)教育，2013（11）：3-6.

[4]亓開(kāi)元，趙卓峰，房俊，等.針對(duì)高速數(shù)據(jù)流的大規(guī)模數(shù)據(jù)實(shí)時(shí)處理方法[J].計(jì)算機(jī)學(xué)報(bào)，2012，35（03）：477-490.

[5]方艾，徐雄，梁冰，等.主流大數(shù)據(jù)處理開(kāi)源架構(gòu)的分析及對(duì)比評(píng)測(cè)[J].電信科學(xué)，2015，31（07）：152-157.

[6]李貞強(qiáng)，陳康，武永衛(wèi)，等.大數(shù)據(jù)處理模式——系統(tǒng)結(jié)構(gòu)，方法以及發(fā)展趨勢(shì)[J].小型微型計(jì)算機(jī)系統(tǒng)，2015，36（04）：641-647.

（責(zé)任編輯 周康）

收稿日期：2020-09-16

作者簡(jiǎn)介：薛彩霞（1991-），女，教師。研究方向：農(nóng)業(yè)大數(shù)據(jù)。