[摘要] 隨著大數(shù)據(jù)技術(shù)的發(fā)展和數(shù)字鄉(xiāng)村建設(shè)數(shù)據(jù)量不斷增長，對于鄉(xiāng)村數(shù)據(jù)資源的管理和共享成為亟待解決的問題。本文采用數(shù)據(jù)中臺技術(shù)對數(shù)字鄉(xiāng)村數(shù)據(jù)資源進(jìn)行分類管理，建立數(shù)字鄉(xiāng)村數(shù)據(jù)中臺體系架構(gòu)，并基于此架構(gòu)探索出數(shù)字鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源建設(shè)路徑，包括統(tǒng)一采集接入、數(shù)據(jù)集中處理、數(shù)據(jù)資源存儲、數(shù)據(jù)組織管理、元數(shù)據(jù)管理。

[關(guān)鍵詞] 數(shù)字鄉(xiāng)村；數(shù)據(jù)中臺；數(shù)據(jù)資源

[基金項(xiàng)目] 2021年度山東省社會科學(xué)普及應(yīng)用項(xiàng)目“大數(shù)據(jù)背景下數(shù)字鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源體系構(gòu)建研究”（編號：2021-SKZZ-18）

[作者單位] 山東華宇工學(xué)院

隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，鄉(xiāng)村數(shù)據(jù)呈爆炸式增長，如何對鄉(xiāng)村數(shù)據(jù)資源進(jìn)行有效的管理并提供共享服務(wù)，是數(shù)字鄉(xiāng)村建設(shè)亟待解決的問題。根據(jù)以往的數(shù)據(jù)集成思路，借助統(tǒng)一的數(shù)據(jù)平臺可以快速響應(yīng)用戶的各種需求，滿足多種業(yè)務(wù)場景的應(yīng)用。數(shù)據(jù)中臺技術(shù)是指運(yùn)用統(tǒng)一的標(biāo)準(zhǔn)和技術(shù)，對海量的異構(gòu)數(shù)據(jù)進(jìn)行采集、加工、存儲、管理等一系列數(shù)據(jù)集成與管理，為各類應(yīng)用提供數(shù)據(jù)共享服務(wù)。通過數(shù)據(jù)中臺，數(shù)字鄉(xiāng)村所涉及的各類用戶、政府、農(nóng)民、企業(yè)等對內(nèi)對外建立統(tǒng)一的業(yè)務(wù)系統(tǒng)和管理平臺，減少各種業(yè)務(wù)系統(tǒng)信息孤島現(xiàn)象，打通各部門間的數(shù)據(jù)墻，形成統(tǒng)一的數(shù)據(jù)規(guī)范。

數(shù)字鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源數(shù)據(jù)中臺架構(gòu)

數(shù)據(jù)中臺設(shè)計(jì)原則。數(shù)據(jù)中臺的建設(shè)要保證來源于不同系統(tǒng)的同類數(shù)據(jù)具有一致性，要遵循相應(yīng)的行業(yè)數(shù)據(jù)庫設(shè)計(jì)標(biāo)準(zhǔn)，以及農(nóng)業(yè)農(nóng)村領(lǐng)域的數(shù)據(jù)標(biāo)準(zhǔn)和地方標(biāo)準(zhǔn)。數(shù)據(jù)中臺設(shè)計(jì)時要在充分考慮數(shù)據(jù)實(shí)用性的基礎(chǔ)上整合數(shù)據(jù)資源，要通過不斷變化的需求進(jìn)行數(shù)據(jù)資源的重組，滿足數(shù)據(jù)實(shí)用性原則；要考慮數(shù)據(jù)的獨(dú)立性，能夠使數(shù)據(jù)獨(dú)立于具體應(yīng)用之外，不隨各類系統(tǒng)的變化而改變。同時，數(shù)據(jù)庫的設(shè)計(jì)要有可擴(kuò)展性，當(dāng)新的需求出現(xiàn)時，可以在原有基礎(chǔ)上進(jìn)行擴(kuò)展，不必完全重新設(shè)計(jì)數(shù)據(jù)庫。此外，數(shù)據(jù)中臺還應(yīng)該有數(shù)據(jù)的安全設(shè)計(jì)，進(jìn)行有效的備份和數(shù)據(jù)恢復(fù)，確保發(fā)生事故時能夠快速恢復(fù)，并且要有安全授權(quán)設(shè)計(jì)，避免非法用戶的訪問。

數(shù)據(jù)中臺技術(shù)和層次架構(gòu)。數(shù)據(jù)結(jié)構(gòu)總體可以分為三種，結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及其他半結(jié)構(gòu)化數(shù)據(jù)。對于結(jié)構(gòu)化數(shù)據(jù)的存儲目前主要用關(guān)系型數(shù)據(jù)庫處理；非結(jié)構(gòu)化數(shù)據(jù)的存儲主要在非關(guān)系型數(shù)據(jù)庫中，例如文件管理系統(tǒng)，存儲一些圖片、視頻、文檔等數(shù)據(jù)；半結(jié)構(gòu)化數(shù)據(jù)實(shí)質(zhì)是一種結(jié)構(gòu)化數(shù)據(jù)的形式，包括一些相關(guān)的標(biāo)記用以區(qū)分不同的語義元素。數(shù)據(jù)中臺建設(shè)過程中要能夠處理這三種類型的數(shù)據(jù)資源。

數(shù)據(jù)中臺建設(shè)數(shù)據(jù)資源采集、數(shù)據(jù)資源融合、數(shù)據(jù)資源共享等數(shù)據(jù)服務(wù)體系。在整個體系建設(shè)中，將數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)標(biāo)準(zhǔn)納入其中。經(jīng)過數(shù)據(jù)中臺的不斷應(yīng)用，推進(jìn)數(shù)據(jù)的采集接入、分析、挖掘和治理能力的提升，從而完善數(shù)據(jù)中臺服務(wù)?？傮w來看數(shù)據(jù)中臺主要包括數(shù)據(jù)的統(tǒng)一采集接入平臺、數(shù)據(jù)集中處理平臺、數(shù)據(jù)管理平臺、大數(shù)據(jù)分析與數(shù)據(jù)挖掘平臺、統(tǒng)一管理平臺以及數(shù)據(jù)可視化平臺等多個平臺。

數(shù)據(jù)中臺數(shù)據(jù)架構(gòu)。數(shù)據(jù)中臺的數(shù)據(jù)架構(gòu)按數(shù)據(jù)庫的處理內(nèi)容不同分為原始庫、資源庫、主題庫、業(yè)務(wù)庫等。原始庫是存儲未經(jīng)處理的原始數(shù)據(jù)，主要存放和原系統(tǒng)一致的數(shù)據(jù)；資源庫的建設(shè)是基于原始庫，按資源類型的不同將原始庫中的數(shù)據(jù)規(guī)范化處理，形成不同主題的數(shù)據(jù)；主題庫基于原始庫和資源庫，構(gòu)建數(shù)據(jù)的邏輯關(guān)系，形成實(shí)體關(guān)系模型，完成知識圖譜的建設(shè)等；業(yè)務(wù)庫面向不同業(yè)務(wù)的場景，建立起相關(guān)的數(shù)據(jù)結(jié)構(gòu)。數(shù)據(jù)中臺同時應(yīng)建立起索引庫和資源目錄，對數(shù)字鄉(xiāng)村數(shù)據(jù)資源進(jìn)行整合，對相應(yīng)的元數(shù)據(jù)進(jìn)行管理，比如業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)。

采用分層分類方法將數(shù)字鄉(xiāng)村數(shù)據(jù)指標(biāo)按照其屬性及其數(shù)據(jù)來源分為農(nóng)村基礎(chǔ)信息數(shù)據(jù)指標(biāo)、農(nóng)業(yè)基礎(chǔ)信息數(shù)據(jù)指標(biāo)、農(nóng)民基礎(chǔ)信息數(shù)據(jù)指標(biāo)三大類，在每一大類里，業(yè)務(wù)關(guān)聯(lián)度高的數(shù)據(jù)歸入同一小類。數(shù)據(jù)指標(biāo)采用名稱、代碼、數(shù)據(jù)類型、是否為空、注釋來描述數(shù)字鄉(xiāng)村相關(guān)數(shù)據(jù)。

數(shù)字鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源體系建設(shè)路徑

數(shù)據(jù)資源統(tǒng)一采集接入。數(shù)據(jù)資源的采集是數(shù)據(jù)擁有價值的第一步，同時也決定了數(shù)據(jù)潛在的意義。目前基于大數(shù)據(jù)技術(shù)的數(shù)字鄉(xiāng)村數(shù)據(jù)資源采集方式有以下幾種：一是利用農(nóng)村農(nóng)業(yè)各個業(yè)務(wù)系統(tǒng)進(jìn)行信息采集，通過部署各類非關(guān)系型數(shù)據(jù)庫負(fù)載均衡和分片完成海量數(shù)據(jù)的采集。二是通過查看各個業(yè)務(wù)系統(tǒng)的系統(tǒng)日志采集數(shù)據(jù)，利用在線分析和離線分析方式分析系統(tǒng)日志文件獲得數(shù)據(jù)。三是利用網(wǎng)頁數(shù)據(jù)的爬取技術(shù)采集網(wǎng)頁、論壇、交易平臺等數(shù)據(jù)信息。四是利用智慧終端各類傳感器、監(jiān)測平臺、監(jiān)控設(shè)備等來獲取圖片、視頻等信息。

數(shù)據(jù)集中處理。數(shù)據(jù)集中處理主要是對數(shù)據(jù)的提取、清洗、關(guān)聯(lián)、對比、標(biāo)識、對象化等操作。數(shù)字鄉(xiāng)村建設(shè)涉及的業(yè)務(wù)領(lǐng)域眾多、數(shù)據(jù)復(fù)雜多樣，采集獲取的數(shù)據(jù)往往不能直接用于數(shù)據(jù)分析，所以需要對獲取的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換、數(shù)據(jù)規(guī)約等數(shù)據(jù)資源預(yù)處理，篩選出與主題相關(guān)的數(shù)據(jù)。數(shù)字鄉(xiāng)村建設(shè)中采集的數(shù)據(jù)源多來自不同的業(yè)務(wù)平臺，要將相關(guān)聯(lián)的異構(gòu)數(shù)據(jù)源合并放入一個一致的數(shù)據(jù)存儲中完成數(shù)據(jù)的集成。

鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源存儲。目前，農(nóng)業(yè)農(nóng)村相關(guān)業(yè)務(wù)平臺的后臺數(shù)據(jù)存儲多采用結(jié)構(gòu)化關(guān)系型數(shù)據(jù)庫軟件存儲。大數(shù)據(jù)時代的數(shù)據(jù)存儲方式應(yīng)該發(fā)生轉(zhuǎn)變，為海量多樣化數(shù)據(jù)分析提供支持，而主流的大數(shù)據(jù)存儲是支持海量數(shù)據(jù)讀寫，支持上億行、上百萬列的，面向列的分布式非關(guān)系型數(shù)據(jù)庫。鄉(xiāng)村業(yè)務(wù)系統(tǒng)中的政務(wù)文件、政策規(guī)定等非結(jié)構(gòu)化數(shù)據(jù)可以用大數(shù)據(jù)平臺的分布式文件系統(tǒng)存儲；網(wǎng)絡(luò)輿情、業(yè)務(wù)日志等半結(jié)構(gòu)化數(shù)據(jù)可采用列式存儲的分布式數(shù)據(jù)庫存儲；溫度、土壤、濕度自動監(jiān)測等小時、分鐘級數(shù)據(jù)提供時序數(shù)據(jù)庫實(shí)現(xiàn)海量數(shù)據(jù)存儲。

數(shù)據(jù)組織管理。根據(jù)中臺數(shù)據(jù)架構(gòu)進(jìn)行數(shù)據(jù)的組織管理，建立原始庫、資源庫、主題庫、知識庫、業(yè)務(wù)庫、數(shù)據(jù)資源目錄。原始庫可以進(jìn)行數(shù)據(jù)的原始加工，抽取數(shù)據(jù)的關(guān)鍵信息、對數(shù)據(jù)進(jìn)行分級分類標(biāo)簽管理，同時提供查詢、推送、對比、訂閱等服務(wù)。資源庫是經(jīng)由原始庫中的數(shù)據(jù)整合和清洗過后形成的，可以提供數(shù)據(jù)的檢索、統(tǒng)計(jì)分析、訂閱服務(wù)等。主題庫具有相似特征的不同數(shù)據(jù)分類進(jìn)行歸集，構(gòu)建不同實(shí)體間知識圖譜，能夠提供數(shù)據(jù)分析和統(tǒng)計(jì)服務(wù)。業(yè)務(wù)庫提供專題類業(yè)務(wù)分析，構(gòu)建實(shí)體庫中的業(yè)務(wù)相關(guān)模型，基于資源庫建設(shè)而形成。

數(shù)字鄉(xiāng)村元數(shù)據(jù)管理。為了更有效地完成數(shù)據(jù)的管理，方便數(shù)據(jù)的擴(kuò)展，實(shí)現(xiàn)對鄉(xiāng)村數(shù)據(jù)資源的便捷訪問，設(shè)計(jì)使用元數(shù)據(jù)進(jìn)行數(shù)據(jù)管理。元數(shù)據(jù)是用來描述數(shù)據(jù)的數(shù)據(jù)，元數(shù)據(jù)和數(shù)據(jù)本身構(gòu)成了不同層次的數(shù)據(jù)，對于信息系統(tǒng)而言要能適應(yīng)元數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)內(nèi)容結(jié)構(gòu)。元數(shù)據(jù)管理可以進(jìn)行元數(shù)據(jù)的自動修改，例如當(dāng)系統(tǒng)應(yīng)用需求發(fā)生改變或擴(kuò)展時，元數(shù)據(jù)管理能自動識別變化，從而修改元數(shù)據(jù)，信息應(yīng)用系統(tǒng)不需要進(jìn)行數(shù)據(jù)的整體修改。