郭 濤，李宗南，姚延棟，黃 平，王 思※，翁巖青

（1. 四川省農(nóng)業(yè)科學(xué)院遙感與數(shù)字農(nóng)業(yè)研究所，成都 610066；2. 四川省農(nóng)業(yè)科學(xué)院智慧農(nóng)業(yè)科學(xué)技術(shù)中心，成都 610066；3. 北京四維縱橫數(shù)據(jù)技術(shù)有限公司，北京 101399）

0 引言

大規(guī)模使用數(shù)據(jù)驅(qū)動(dòng)農(nóng)業(yè)生產(chǎn)管理實(shí)現(xiàn)智能化，依賴于快速高效的數(shù)據(jù)存儲(chǔ)。隨著數(shù)字農(nóng)業(yè)研究及應(yīng)用的深入，農(nóng)業(yè)數(shù)據(jù)的生產(chǎn)及存儲(chǔ)、管理所使用的數(shù)據(jù)庫(kù)構(gòu)建得到更多的關(guān)注和研究測(cè)試。果園產(chǎn)生的數(shù)據(jù)主要來(lái)自五個(gè)方面：①果園單株樹(shù)木整個(gè)生命周期產(chǎn)生的數(shù)據(jù)形成的數(shù)字果樹(shù)數(shù)字化體系［1-3］；②無(wú)人機(jī)、衛(wèi)星遙感和GPS導(dǎo)航裝置產(chǎn)生的時(shí)空數(shù)據(jù)和遙感數(shù)據(jù)［4-5］；③物聯(lián)網(wǎng)、傳感器、攝像頭和智能農(nóng)機(jī)（機(jī)器人）對(duì)果樹(shù)環(huán)境、果樹(shù)生長(zhǎng)過(guò)程和果樹(shù)表型監(jiān)測(cè)獲取的數(shù)據(jù)［6］；④果園農(nóng)事、種植、管理和水肥等設(shè)施產(chǎn)生的數(shù)據(jù)［7］；⑤專家知識(shí)、經(jīng)驗(yàn)和以圖數(shù)據(jù)組成的結(jié)構(gòu)數(shù)據(jù)［8-10］。以上各類(lèi)數(shù)據(jù)來(lái)源多樣，結(jié)構(gòu)包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化，對(duì)數(shù)據(jù)存儲(chǔ)和管理提出了巨大挑戰(zhàn)。數(shù)字農(nóng)業(yè)項(xiàng)目在實(shí)際工程中采用不同的數(shù)據(jù)庫(kù)方案。Daniel Perondi 等［11］開(kāi)發(fā)的柑橘病蟲(chóng)害預(yù)警系統(tǒng)，采用MongoDB 作為數(shù)據(jù)存儲(chǔ)系統(tǒng)。凌諾娟等［12］設(shè)計(jì)的云農(nóng)場(chǎng)智慧服務(wù)大數(shù)據(jù)平臺(tái)，以HDFS 文件系統(tǒng)作為高可靠的底層存儲(chǔ)系統(tǒng)，為HBase數(shù)據(jù)庫(kù)及Hive數(shù)據(jù)倉(cāng)庫(kù)提供存儲(chǔ)支撐。趙晴等［13］設(shè)計(jì)的大田作物智慧生產(chǎn)綜合服務(wù)平臺(tái)，采用Microsoft SQL Server2008 數(shù)據(jù)庫(kù)實(shí)現(xiàn)物聯(lián)網(wǎng)數(shù)據(jù)的統(tǒng)一管理，基于ArcGIS Server 實(shí)現(xiàn)空間數(shù)據(jù)的整合管理，基于HBase實(shí)現(xiàn)大田作物智慧生產(chǎn)相關(guān)數(shù)據(jù)的存儲(chǔ)與分析。吳才聰?shù)龋?4］構(gòu)建的基于北斗的農(nóng)機(jī)作業(yè)大數(shù)據(jù)系統(tǒng)，以HDFS作為數(shù)據(jù)的存儲(chǔ)，采用關(guān)系型數(shù)據(jù)RAID進(jìn)行備份。王新等［15］基于異構(gòu)數(shù)據(jù)集開(kāi)發(fā)的農(nóng)業(yè)信息綜合管理網(wǎng)絡(luò)平臺(tái)，采用MySQL數(shù)據(jù)庫(kù)。余萬(wàn)民等［16］基于云計(jì)算的農(nóng)業(yè)大數(shù)據(jù)共享服務(wù)平臺(tái)，采用關(guān)系型數(shù)據(jù)庫(kù)如 Oracle、MySQL、SQL Server 等管理結(jié)構(gòu)化數(shù)據(jù)，采用 Hbase和Redis管理非結(jié)構(gòu)化數(shù)據(jù)，采用HDFS管理分布式文件系統(tǒng)，采用FastDFS管理磁盤(pán)文件系統(tǒng)，采用Lucene管理異構(gòu)索引庫(kù)。此外，基于HDFS存儲(chǔ)時(shí)空數(shù)據(jù)，發(fā)展了GeoSpark、Spatial Hadoop和ST-Hadoop，可支持大規(guī)模的時(shí)空數(shù)據(jù)存儲(chǔ)、空間查詢和分析［17-18］。綜上，諸多數(shù)字農(nóng)業(yè)的數(shù)據(jù)存儲(chǔ)主要采用混合存儲(chǔ)方案，不利于跨域數(shù)據(jù)共享、多源異構(gòu)數(shù)據(jù)融合和多模型知識(shí)圖譜抽取和推理。

文章圍繞果園大數(shù)據(jù)高效存儲(chǔ)及管理需求，針對(duì)數(shù)據(jù)多源異構(gòu)、時(shí)序和多模態(tài)數(shù)據(jù)等特點(diǎn)，分析數(shù)字果園場(chǎng)景需求，構(gòu)建超融合時(shí)序數(shù)據(jù)庫(kù)解決方案，以實(shí)現(xiàn)在一個(gè)數(shù)據(jù)庫(kù)內(nèi)存儲(chǔ)各類(lèi)數(shù)據(jù)，解決時(shí)序的全場(chǎng)景問(wèn)題。該文搭建基于YMatrix 集群，采用Kettle ETL（Extract-Transform-Load）工具構(gòu)建可視化建模，以都市龍泉驛現(xiàn)代農(nóng)業(yè)園區(qū)采集的無(wú)人機(jī)遙感圖像，傳感器等多源數(shù)據(jù)作為數(shù)據(jù)集，進(jìn)行批量入庫(kù)、ETL、作業(yè)統(tǒng)計(jì)和轉(zhuǎn)換以及數(shù)據(jù)同步等方面測(cè)試，分析多級(jí)數(shù)據(jù)局部存儲(chǔ)策略、冷熱數(shù)據(jù)存儲(chǔ)策略的數(shù)據(jù)存儲(chǔ)效率。為果園的數(shù)據(jù)存儲(chǔ)和智能高效管理提供技術(shù)參考，對(duì)賦能農(nóng)業(yè)數(shù)字化、農(nóng)業(yè)數(shù)字孿生基礎(chǔ)設(shè)施提供建設(shè)依據(jù)和經(jīng)驗(yàn)。

1 研究數(shù)據(jù)與方法

1.1 研究數(shù)據(jù)

該文設(shè)計(jì)的數(shù)字果園場(chǎng)景中，數(shù)據(jù)來(lái)源主要包括無(wú)人機(jī)、物聯(lián)網(wǎng)、移動(dòng)App、農(nóng)機(jī)全球定位系統(tǒng)和傳感器以及果園環(huán)境、果園監(jiān)測(cè)和農(nóng)事活動(dòng)等數(shù)字化手段產(chǎn)生的數(shù)據(jù)，見(jiàn)圖1 中果園數(shù)字化部分。數(shù)據(jù)包括圖像、文本、表等，隨果園果樹(shù)管理過(guò)程不斷產(chǎn)生，形成時(shí)序排列的數(shù)據(jù)內(nèi)容。

圖 1 果園大數(shù)據(jù)存儲(chǔ)和應(yīng)用場(chǎng)景邏輯設(shè)計(jì)Fig.1 Orchard big data storage and application scenario logic

對(duì)此類(lèi)時(shí)序的多源異構(gòu)數(shù)據(jù)，該文設(shè)計(jì)使用分布式發(fā)布訂閱消息系統(tǒng)Kafka響應(yīng)各類(lèi)設(shè)備、傳感器，以動(dòng)態(tài)流式數(shù)據(jù)方式動(dòng)態(tài)存入時(shí)序數(shù)據(jù)庫(kù)中，實(shí)現(xiàn)各類(lèi)定時(shí)、不定時(shí)產(chǎn)生的數(shù)據(jù)存儲(chǔ)。Kafka 具有高吞吐量、分布式等優(yōu)點(diǎn)，能滿足果園流批數(shù)據(jù)存儲(chǔ)場(chǎng)景需求。

1.2 應(yīng)用邏輯

將多源異構(gòu)數(shù)據(jù)按照數(shù)據(jù)模型、業(yè)務(wù)場(chǎng)景和數(shù)據(jù)庫(kù)概念模型，統(tǒng)一規(guī)劃和設(shè)計(jì)，存儲(chǔ)在超融合數(shù)據(jù)庫(kù)YMatrix，同時(shí)YMatrix 作為數(shù)據(jù)倉(cāng)庫(kù)，通過(guò)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)ETL 抽?。‥xtract）、 轉(zhuǎn)換（Transform）、加載（Load）至目標(biāo)端；根據(jù)知識(shí)圖譜業(yè)務(wù)場(chǎng)景需求，從YMatrix和數(shù)據(jù)倉(cāng)庫(kù)中抽取和多模型融合數(shù)據(jù)，構(gòu)建RDF圖數(shù)據(jù)結(jié)構(gòu)和知識(shí)庫(kù)，存儲(chǔ)的原生圖數(shù)據(jù)庫(kù)gStore中［19-20］。

將以數(shù)據(jù)服務(wù)方式，向數(shù)據(jù)算法層和數(shù)據(jù)應(yīng)用層提供服務(wù)，滿足綜合管理和共享服務(wù)、數(shù)字化生產(chǎn)監(jiān)測(cè)、生產(chǎn)水、肥、藥等智能決策等數(shù)字果園應(yīng)用場(chǎng)景業(yè)務(wù)。

1.3 YMatrix解決方案

該文采用YMatrix超融合時(shí)序數(shù)據(jù)庫(kù)，提供多源異構(gòu)數(shù)據(jù)的一站式存儲(chǔ)。一個(gè)數(shù)據(jù)庫(kù)滿足多個(gè)業(yè)務(wù)場(chǎng)景，大大降低了數(shù)據(jù)管理和運(yùn)營(yíng)成本和時(shí)間。在數(shù)據(jù)需求和場(chǎng)景需求中邏輯設(shè)計(jì)圖1所示。以下從分布式架構(gòu)、存儲(chǔ)引擎、計(jì)算引擎和資源管理四個(gè)方面來(lái)介紹YMatrix設(shè)計(jì)思想，工作原理以及資源優(yōu)化策略。

（1）超融合數(shù)據(jù)庫(kù)架構(gòu)

YMatrix 采用超融合數(shù)據(jù)庫(kù)技術(shù)架構(gòu)理念，是一款MPP （Massively Parallel Processing）架構(gòu)的分布式時(shí)序數(shù)據(jù)庫(kù)，分布式架構(gòu)思想起源于Greenplum［21-22］，基于PostgreSQL 擴(kuò)展機(jī)制，是典型Master-Slave 架構(gòu)，一個(gè)YMatrix 集群通常由一個(gè)Master 節(jié)點(diǎn)、一個(gè)Standby Master 節(jié)點(diǎn)、MatrixGate 以及多個(gè)Segment 節(jié)點(diǎn)組成，節(jié)點(diǎn)之間網(wǎng)絡(luò)通信互連通過(guò)Interconnect，其中，每個(gè)節(jié)點(diǎn)均是一個(gè)完整的PostgreSQL數(shù)據(jù)庫(kù)實(shí)例（如圖2所示）。Matrix Master 節(jié)點(diǎn)是數(shù)據(jù)庫(kù)的入口，接收客戶端提交的SQL，主要負(fù)責(zé)客戶端（Client）進(jìn)行訪問(wèn)控制和存儲(chǔ)表分布邏輯的元信息管理，接收客戶端請(qǐng)求，生成查詢解析和查詢計(jì)劃。Standby Master 為Master 提供高可用支持。MatrixGate 組件主要用于時(shí)序場(chǎng)景下流式數(shù)據(jù)通過(guò)HTTP 接口并行加載，接收來(lái)自客戶端同時(shí)并發(fā)寫(xiě)入，這樣可以保證數(shù)據(jù)加載過(guò)程事務(wù)保持一致性，同時(shí)滿足了實(shí)時(shí)接入需求。Segment 節(jié)點(diǎn)是工作節(jié)點(diǎn)，主要負(fù)責(zé)數(shù)據(jù)的分布式存儲(chǔ)和查詢執(zhí)行，mirror Segment 為Segment 提供高可用支持。當(dāng)Client 提交SQL 語(yǔ)句，通過(guò)MatrixGate 的HTTP 接口同時(shí)并發(fā)寫(xiě)入，Master 節(jié)點(diǎn)對(duì)查詢語(yǔ)句進(jìn)行查詢編譯、查詢優(yōu)化等操作，生成并行查詢計(jì)劃，并把任務(wù)分發(fā)給Segment 節(jié)點(diǎn)執(zhí)行。當(dāng)任務(wù)出現(xiàn)錯(cuò)誤或者執(zhí)行完畢，會(huì)將結(jié)果返回Master 節(jié)點(diǎn)，最終呈現(xiàn)給客戶端。

（2）存儲(chǔ)引擎

分布式環(huán)境下，為了解決單機(jī)存儲(chǔ)空間和資源限制，確保時(shí)間維度上更細(xì)粒度數(shù)據(jù)分區(qū)以及多態(tài)存儲(chǔ)等方面問(wèn)題，通過(guò)引入不同策略和機(jī)制來(lái)進(jìn)行解決時(shí)序數(shù)據(jù)存儲(chǔ)問(wèn)題（圖3）。

圖 2 YMatrix架構(gòu)Fig.2 Architecture of YMatrix

圖 3 YMatrix存儲(chǔ)引擎Fig.3 The storage engine of YMatrix

（3）計(jì)算引擎

YMatrix優(yōu)化器是基于代價(jià)模型［23］，主要是由優(yōu)化器和執(zhí)行器組成。實(shí)現(xiàn)思想是先在Matrix Master節(jié)點(diǎn)生成分布式查詢計(jì)劃，將計(jì)劃任務(wù)以哈希分布、隨機(jī)分布、復(fù)制分布方式分發(fā)任務(wù)，所有的Segment對(duì)其任務(wù)進(jìn)行并行執(zhí)行。分布式查詢計(jì)劃首先在Master節(jié)點(diǎn)將任務(wù)進(jìn)行最大粒度的劃分，每個(gè)劃分的查詢計(jì)劃片段在Segment節(jié)點(diǎn)上作為一個(gè)獨(dú)立的執(zhí)行進(jìn)程（Query Executor），各個(gè)節(jié)點(diǎn)查詢計(jì)劃任務(wù)主要通過(guò)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳輸，并將各個(gè)Segment 節(jié)點(diǎn)上的任務(wù)匯總到Master，最終反饋在客戶端（圖4）。YMatrix 基于MPP查詢引擎采用最大切分查詢策略基礎(chǔ)上，充分利用資源并進(jìn)行任務(wù)的自動(dòng)優(yōu)化分發(fā)，達(dá)到最佳的查詢性能。

圖 4 YMatrix計(jì)算引擎Fig.4 The calculation engine of YMatrix

在果園大數(shù)據(jù)平臺(tái)建設(shè)過(guò)程，存在不同設(shè)備的傳感器、物聯(lián)網(wǎng)和機(jī)器人等感知設(shè)備產(chǎn)生時(shí)序數(shù)據(jù)，往往會(huì)造成資源開(kāi)銷(xiāo)大、數(shù)據(jù)索引空間大，對(duì)相同類(lèi)似任務(wù)進(jìn)行反復(fù)查詢，造成了資源浪費(fèi)。借助YMatrix查詢優(yōu)化器的感知能力，對(duì)接入數(shù)據(jù)分布特征和數(shù)據(jù)局部性進(jìn)行感知，對(duì)熱數(shù)據(jù)采用的MARS存儲(chǔ)引擎分區(qū)表，實(shí)行聚集優(yōu)化。具體實(shí)現(xiàn)邏輯為：在符合時(shí)間過(guò)濾條件的子分區(qū)表，對(duì)其構(gòu)建MARS稀疏索引快速定位查詢，對(duì)塊內(nèi)元素進(jìn)行分塊并進(jìn)行預(yù)聚集，通過(guò)二分查詢確定查詢條件邊界，完成分組掃描工作，這樣可以優(yōu)化了CPU、I/O和內(nèi)存資源。

此外，果園大數(shù)據(jù)還涉及很多地理空間數(shù)據(jù)存儲(chǔ)和處理，YMatrix 提供了功能和組件。對(duì)于GIS數(shù)據(jù)，集成了PostGIS 插件，可以實(shí)現(xiàn)空間數(shù)據(jù)從存儲(chǔ)和管理。

（4）資源管理

針對(duì)果園大數(shù)據(jù)中復(fù)雜場(chǎng)景，該文充分利用YMatrix 的存儲(chǔ)引擎和計(jì)算引擎設(shè)計(jì)思想，提供了一站式解決方案。對(duì)資源管理全方位粒度控制和優(yōu)化，可以滿足擴(kuò)展性和并發(fā)能力之外，還可以滿足應(yīng)用層的OLTP場(chǎng)景。具體優(yōu)化策略如下。

①存儲(chǔ)資源方面，可對(duì)時(shí)序數(shù)據(jù)進(jìn)行編碼壓縮，使得輕量級(jí)機(jī)器學(xué)習(xí)在邊緣計(jì)算設(shè)備實(shí)現(xiàn)提供了支撐。此外，還可以將歷史時(shí)序數(shù)據(jù)遷移到更廉價(jià)的存儲(chǔ)設(shè)備HDFS 等，在不影響查詢業(yè)務(wù)情況下降低了存儲(chǔ)要求。

②內(nèi)存資源方面，YMatrix可以通過(guò)自動(dòng)計(jì)算查詢計(jì)劃，自動(dòng)給每個(gè)算子分配需要的資源，避免時(shí)序數(shù)據(jù)庫(kù)High Cardinality難題。

③CPU和I/O資源方面，避免重復(fù)性計(jì)算，將聚集下推，降低查詢時(shí)I/O開(kāi)銷(xiāo)。

④網(wǎng)絡(luò)資源方面，在數(shù)據(jù)加載過(guò)程中，對(duì)數(shù)據(jù)進(jìn)行壓縮傳輸，提升了網(wǎng)絡(luò)資源利用率。

2 研究結(jié)果與分析

2.1 集群環(huán)境

該文YMatrix 集群環(huán)境搭建在戴爾塔式服務(wù)器VMware虛擬機(jī)上，1個(gè)Master節(jié)點(diǎn)，6個(gè)Segment節(jié)點(diǎn)，具體配置信息見(jiàn)表1。每個(gè)節(jié)點(diǎn)內(nèi)存8G，存儲(chǔ)80G，每個(gè)節(jié)點(diǎn)4個(gè)實(shí)例。本環(huán)境采用是YMatrix數(shù)據(jù)庫(kù)企業(yè)版5.0。

表1 服務(wù)器配置參數(shù)Table 1 The configuration parameter of server

2.2 應(yīng)用示范

以Kettle 作為客戶端，通過(guò)可視化建模，進(jìn)行海量空間數(shù)據(jù)、流式數(shù)據(jù)、圖像數(shù)據(jù)實(shí)時(shí)和批量入庫(kù)（圖5）、ETL抽取轉(zhuǎn)換加載、作業(yè)統(tǒng)計(jì)和轉(zhuǎn)換以及數(shù)據(jù)同步等操作［24］。

圖 5 Kettle自動(dòng)化建模Fig.5 Automated modeling

通過(guò)采用YMatrix分布式時(shí)序數(shù)據(jù)庫(kù)，結(jié)合果園大數(shù)據(jù)建設(shè)復(fù)雜場(chǎng)景，開(kāi)展果園大數(shù)據(jù)管理平臺(tái)建設(shè)工作（圖6），實(shí)現(xiàn)了園區(qū)信息、精準(zhǔn)作業(yè)、園區(qū)智能感知、園區(qū)管理和智能管控等功能。對(duì)果園大數(shù)據(jù)提供智能管理和精準(zhǔn)生產(chǎn)服務(wù)指導(dǎo)［8］。

圖 6 果園大數(shù)據(jù)管理系統(tǒng)Fig.6 The management system of orchard bid data

2.3 存儲(chǔ)策略

（1）多級(jí)數(shù)據(jù)局部存儲(chǔ)策略

果園時(shí)序數(shù)據(jù)涉及到多個(gè)農(nóng)機(jī)設(shè)備傳感器、物聯(lián)網(wǎng)和攝像頭等實(shí)時(shí)處理的復(fù)雜場(chǎng)景，具有多模態(tài)數(shù)據(jù)融合和全場(chǎng)景查詢分析需求。針對(duì)這些問(wèn)題，在數(shù)據(jù)湖基礎(chǔ)上設(shè)計(jì)了多級(jí)別存儲(chǔ)策略，具體是：①采用YMatrix分布式存儲(chǔ)引擎數(shù)據(jù)分片策略，讓同一設(shè)備連續(xù)時(shí)間存儲(chǔ)在同一節(jié)點(diǎn)、同一數(shù)據(jù)庫(kù)表且表內(nèi)連續(xù)存儲(chǔ)。其中分片策略可采用哈希分布、隨機(jī)分布、復(fù)制分布等策略。②在時(shí)序場(chǎng)景中，通常按照設(shè)備標(biāo)識(shí)號(hào)對(duì)時(shí)序表做哈希分布，主要目的是把同一設(shè)備（例如tag001）數(shù)據(jù)存儲(chǔ)到同一個(gè)Segment節(jié)點(diǎn)中，這樣確保了節(jié)點(diǎn)級(jí)別數(shù)據(jù)局部性。③在分片的基礎(chǔ)上，YMatrix在數(shù)據(jù)分片策略的基礎(chǔ)上，對(duì)時(shí)序表做了更細(xì)粒度的數(shù)據(jù)分區(qū)，這樣做不僅可以在查詢中進(jìn)行分區(qū)裁剪，降低掃描的數(shù)據(jù)量，還可以達(dá)到多級(jí)分區(qū)以提供更極致的數(shù)據(jù)局部性。其中數(shù)據(jù)分區(qū)策略包括范圍分區(qū)、列表分區(qū)、哈希分區(qū)。

此外，在確定了數(shù)據(jù)分區(qū)和分區(qū)策略，還需要考慮每個(gè)分區(qū)子表的存儲(chǔ)策略，采取列存儲(chǔ)、行存儲(chǔ)和列行混存。存儲(chǔ)格式采用面向行存HEAP 和面向列存儲(chǔ)ORC，索引采用BTREE索引、倒排索引或自定義索引。

（2）時(shí)序場(chǎng)景的冷熱數(shù)據(jù)存儲(chǔ)策略

在智慧果園精準(zhǔn)管理和科學(xué)決策過(guò)程中，涉及復(fù)雜多樣統(tǒng)計(jì)與分析熱數(shù)據(jù)。這類(lèi)數(shù)據(jù)具有價(jià)值密度大、高效訪問(wèn)等特點(diǎn)。針對(duì)這類(lèi)問(wèn)題，需要時(shí)間范圍查詢或設(shè)備聚合查詢［25-26］。具體是：①對(duì)熱數(shù)據(jù)用行存HEAP表加BTREE索引策略。②采用時(shí)序微內(nèi)核配置向量化執(zhí)行引擎，將查詢延遲進(jìn)一步縮短，提升整體執(zhí)行效率。

針對(duì)時(shí)序歷史冷數(shù)據(jù)，這類(lèi)數(shù)據(jù)具有持續(xù)增長(zhǎng)和存儲(chǔ)空間需求大特點(diǎn)。針對(duì)這類(lèi)問(wèn)題，采用了MARS2（YMatrix Append-optimized Version 2）存儲(chǔ)引擎策略，具體是：①采用行列混存存儲(chǔ)方式，每一行列分組單元是一個(gè)RowGroup，RowGroup內(nèi)設(shè)備采集數(shù)據(jù)按列組織，這樣一個(gè)列就形成了一個(gè)Chunk。這樣RowGroup確保在分區(qū)表基礎(chǔ)上每個(gè)設(shè)備時(shí)序數(shù)據(jù)的物理局部性，而Chuck確保分組內(nèi)具有相同類(lèi)型數(shù)據(jù)的單列數(shù)據(jù)得到了局部性。②YMatrix 采用了自動(dòng)分區(qū)管理策略，可自動(dòng)創(chuàng)建熱數(shù)據(jù)分區(qū)、自動(dòng)冷熱分區(qū)轉(zhuǎn)換，歷史數(shù)據(jù)過(guò)期清除等操作。

實(shí)行以上存儲(chǔ)策略具有三方面的優(yōu)點(diǎn)：①Chunk 列存儲(chǔ)策略可結(jié)合編碼壓縮策略。根據(jù)時(shí)序類(lèi)型可選擇Delta編碼、Gorilla編碼方式，以及ZATD、LZ等壓縮方式。②充分利用了設(shè)備數(shù)據(jù)局部性這一存儲(chǔ)策略，提前計(jì)算好RowGroup 內(nèi)每個(gè)列的常見(jiàn)聚集信息，可以智能的獲取每個(gè)查詢條件結(jié)果的聚集結(jié)果，這樣可以避免直接遍歷所有數(shù)據(jù)點(diǎn)，大大提升了數(shù)據(jù)查詢性能。③預(yù)聚集信息中的Min/Max 還可以作為稀疏索引，對(duì)其RowsGroup進(jìn)行過(guò)濾，降低了I/O開(kāi)銷(xiāo)。

（4）空間數(shù)據(jù)存儲(chǔ)策略

針對(duì)海量遙感數(shù)據(jù)和瓦片數(shù)據(jù)等存儲(chǔ)問(wèn)題［27-28］，采用實(shí)時(shí)數(shù)據(jù)寫(xiě)入工具M(jìn)atrixGate和構(gòu)建時(shí)空索引。同時(shí)，該文以都市龍泉驛現(xiàn)代農(nóng)業(yè)園區(qū)無(wú)人機(jī)遙感數(shù)、地圖瓦片數(shù)據(jù)等數(shù)據(jù)作為數(shù)據(jù)集，對(duì)比了INSERT直接插入和YMatrix，發(fā)現(xiàn)YMatrix空間數(shù)據(jù)查詢與分析比直接INSERT方式快5-10倍左右，充分發(fā)揮MatrixGate優(yōu)勢(shì)。此外，可以構(gòu)建GIST、BRIN和SP-GiST等索引［29-31］。

3 結(jié)論與討論

通過(guò)采用YMatrix 分布式時(shí)序數(shù)據(jù)庫(kù)，結(jié)合果園大數(shù)據(jù)建設(shè)復(fù)雜場(chǎng)景，采用YMatrix超融合數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)思想，并從存儲(chǔ)引擎、計(jì)算引擎以及存儲(chǔ)管理等方面對(duì)果園大數(shù)據(jù)產(chǎn)生的多源異構(gòu)數(shù)據(jù)存儲(chǔ)策略進(jìn)行了探索，有效解決了傳統(tǒng)的“煙囪式”“孤島式”數(shù)據(jù)架構(gòu)不足，提出果園大數(shù)據(jù)存儲(chǔ)和管理一站式高效解決方案，為數(shù)字農(nóng)業(yè)和數(shù)字農(nóng)業(yè)孿生建設(shè)提供了強(qiáng)有力支撐。方案經(jīng)測(cè)試后，項(xiàng)目組在成都市龍泉驛現(xiàn)代農(nóng)業(yè)園區(qū)開(kāi)展的果園大數(shù)據(jù)管理平臺(tái)建設(shè)中，構(gòu)建果園大數(shù)據(jù)超融合時(shí)序數(shù)據(jù)庫(kù)，實(shí)際的果園多源異構(gòu)、多模態(tài)數(shù)據(jù)存儲(chǔ)和管理有待進(jìn)一步研究分析。

目前，YMatrix分布式時(shí)序數(shù)據(jù)庫(kù)在數(shù)字化果園建設(shè)過(guò)程中還存在一定的差距，尤其對(duì)于不同傳感器、物聯(lián)網(wǎng)和智能機(jī)器人產(chǎn)生多源異構(gòu)數(shù)據(jù)的清洗、抽取和融合還有不足，需要全方位挖掘果園大數(shù)據(jù)建設(shè)過(guò)程中需求，進(jìn)一步充分利用YMatrix實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)、實(shí)時(shí)數(shù)據(jù)實(shí)時(shí)決策等能力，最終實(shí)現(xiàn)數(shù)據(jù)匯聚、治理、融合與服務(wù)，為構(gòu)建數(shù)字果園數(shù)字化奠定基礎(chǔ)。