董萌萍,牟少敏,曹旨昊,孫肖肖

基于HBase的農(nóng)作物病蟲害數(shù)據(jù)存儲系統(tǒng)的研究與實現(xiàn)

董萌萍,牟少敏*,曹旨昊,孫肖肖

山東農(nóng)業(yè)大學(xué) 信息科學(xué)與工程學(xué)院, 山東 泰安 271018

農(nóng)作物病蟲害數(shù)據(jù)具有多源、異構(gòu)和海量等特征，傳統(tǒng)的數(shù)據(jù)存儲方法和系統(tǒng)存在存儲效率低和擴展性弱等問題。針對這些問題，本文設(shè)計與實現(xiàn)了一種基于HBase的農(nóng)作物病蟲害數(shù)據(jù)存儲系統(tǒng)，并將其應(yīng)用于山東省小麥和玉米病蟲害數(shù)據(jù)存儲中。該系統(tǒng)能夠?qū)Σ∠x害數(shù)據(jù)進行持久化存儲，對多源異構(gòu)數(shù)據(jù)進行統(tǒng)一管理，對新型數(shù)據(jù)可擴展性強，彌補了傳統(tǒng)關(guān)系數(shù)據(jù)庫的不足，為大數(shù)據(jù)環(huán)境下的小麥和玉米病蟲害數(shù)據(jù)存儲提供了新方法。

HBase; 病蟲害數(shù)據(jù); 大數(shù)據(jù); 數(shù)據(jù)庫

農(nóng)業(yè)是國之根本，農(nóng)作物病蟲害是影響其產(chǎn)量的重要因素。農(nóng)作物病蟲害數(shù)據(jù)建立科學(xué)合理的存儲系統(tǒng)，對數(shù)據(jù)分析以及促進農(nóng)作物的健康成長具有重要的意義。在我國，病蟲害數(shù)據(jù)主要由各地植保站統(tǒng)計，隨著信息技術(shù)的不斷發(fā)展，新型采集技術(shù)不斷被應(yīng)用到農(nóng)作物病蟲害數(shù)據(jù)中，例如太陽能誘蟲燈、孢子捕捉儀等。農(nóng)作物病蟲害數(shù)據(jù)復(fù)雜多樣，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫通常使用多表存儲解決數(shù)據(jù)異構(gòu)問題，但是訪問效率低。一方面造成了農(nóng)業(yè)數(shù)據(jù)呈現(xiàn)爆炸式增長，傳統(tǒng)的數(shù)據(jù)庫無法管理大量的數(shù)據(jù)；另一方面由于同一個地區(qū)在不同時期采集技術(shù)不同，歷史數(shù)據(jù)與當(dāng)前采集數(shù)格式不統(tǒng)一，導(dǎo)致數(shù)據(jù)異構(gòu)問題。類型復(fù)雜多樣，農(nóng)作物病蟲害數(shù)據(jù)不僅包含結(jié)構(gòu)化的數(shù)據(jù)，還包含圖像信息等一些非結(jié)構(gòu)化的數(shù)據(jù)，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫對于非結(jié)構(gòu)化數(shù)據(jù)的處理能力比較低。因此，尋找一種新方法來存儲農(nóng)作物病蟲害數(shù)據(jù)顯得尤為重要。

近些年來大數(shù)據(jù)技術(shù)不斷發(fā)展，成為學(xué)術(shù)界研究的熱點，為各行業(yè)和領(lǐng)域帶來了便利[1]。HBase是一種基于列存儲的數(shù)據(jù)庫，能夠很好的適應(yīng)海量數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的存儲[2]。本文結(jié)合大數(shù)據(jù)處理技術(shù)，設(shè)計與實現(xiàn)了基于HBase的農(nóng)作物病蟲害數(shù)據(jù)存儲系統(tǒng)，并將其應(yīng)用于山東省玉米和小麥病蟲害數(shù)據(jù)存儲中，實現(xiàn)了對數(shù)據(jù)的有效存儲和管理，為病蟲害數(shù)據(jù)統(tǒng)計與分析奠定了基礎(chǔ)。

1 數(shù)據(jù)及相關(guān)概念

1.1 農(nóng)作物病蟲害數(shù)據(jù)

常見的農(nóng)作物病蟲害數(shù)據(jù)主要分成三類：(1)病蟲害發(fā)生情況數(shù)據(jù)。包括歷年病蟲害發(fā)生等級、百株蟲口數(shù)量等，這類數(shù)據(jù)通常由于采集標(biāo)準(zhǔn)不完全相同，導(dǎo)致同一種病蟲害的數(shù)據(jù)格式不同，存在異構(gòu)問題；(2)病蟲害圖像數(shù)據(jù)。包括各類病蟲害圖像，例如小麥大斑病圖像，玉米螟蟲圖像等；(3)氣象數(shù)據(jù)。溫度、濕度等各類氣象因素對病蟲害發(fā)生影響很大，例如每類害蟲都有適宜生長的溫度，對這些數(shù)據(jù)進行統(tǒng)一管理，能夠為后續(xù)分析提供便利。

本文實驗所用的山東省小麥和玉米病蟲害數(shù)據(jù)如表1所示。

表 1 山東省小麥和玉米病蟲害數(shù)據(jù)

1.2 非結(jié)構(gòu)化數(shù)據(jù)

非結(jié)構(gòu)化數(shù)據(jù)是指無法使用關(guān)系型數(shù)據(jù)庫中的二維邏輯關(guān)系圖來進行存儲和展示的數(shù)據(jù)，農(nóng)作物病蟲害數(shù)據(jù)中非結(jié)構(gòu)化數(shù)據(jù)主要為各類病害圖像。

傳統(tǒng)關(guān)系型數(shù)據(jù)庫主要有兩種方式存儲非結(jié)構(gòu)化數(shù)據(jù)：一種方式是將非結(jié)構(gòu)化數(shù)據(jù)存放在文件系統(tǒng)中，然后通過文件地址映射進行數(shù)據(jù)索引。這種方法設(shè)計簡單，但是數(shù)據(jù)的管理不方便，并且還要注意數(shù)據(jù)的完整性、安全性和事務(wù)處理的一致性等問題；另一種方式是將非結(jié)構(gòu)化數(shù)據(jù)直接存儲在數(shù)據(jù)庫的BLOB字段中[3]。這樣的存儲方式優(yōu)點是能夠很好的解決非結(jié)構(gòu)數(shù)據(jù)存儲對于文件系統(tǒng)的依賴性，方便數(shù)據(jù)的管理和維護。但是由于關(guān)系型數(shù)據(jù)庫是專門為結(jié)構(gòu)化數(shù)據(jù)存儲所設(shè)計的，非結(jié)構(gòu)化數(shù)據(jù)都比較大，隨著數(shù)據(jù)量的不斷增加，數(shù)據(jù)庫的存儲量也會不斷增加，導(dǎo)致數(shù)據(jù)庫性能不斷下降[4]。

1.3 結(jié)構(gòu)化數(shù)據(jù)

結(jié)構(gòu)化數(shù)據(jù)是指可以被存儲在關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)，農(nóng)作物病蟲害數(shù)據(jù)大部分都為結(jié)構(gòu)化數(shù)據(jù)，例如病蟲害發(fā)生情況數(shù)據(jù)和氣象數(shù)據(jù)等。隨著時間的推移，這部分?jǐn)?shù)據(jù)將快速的增加。

病蟲害結(jié)構(gòu)化數(shù)據(jù)中存在的主要問題是數(shù)據(jù)異構(gòu)性，這是由于采集技術(shù)與采集標(biāo)準(zhǔn)不同導(dǎo)致的。隨著信息技術(shù)的不斷發(fā)展，新型采集技術(shù)和設(shè)備不斷出現(xiàn)，這樣就導(dǎo)致了數(shù)據(jù)的異構(gòu)問題將變得更加嚴(yán)重。傳統(tǒng)的關(guān)系型數(shù)據(jù)有很大的局限性，如峰值性能、伸縮性、容錯性、可擴展性差等特性[5]，并且要求同一張表存儲的數(shù)據(jù)內(nèi)部格式必須完全的一致，因此不能夠適應(yīng)當(dāng)前病蟲害數(shù)據(jù)存儲工作。

1.4 HBase

HBase是一種高可靠性、高性能、面向列、稀疏存儲、容量大和可擴展的分布式數(shù)據(jù)庫[6,7]。它的可靠性體現(xiàn)在數(shù)據(jù)的WAL機制和副本的保存機制。可擴展性是因為HBase是建立在Hadoop的HDFS文件系統(tǒng)之上的，所以也繼承了HDFS的可擴展性。HBase也是一種基于主從結(jié)構(gòu)的數(shù)據(jù)庫[8]，主要是以表格的形式存儲數(shù)據(jù)，存儲數(shù)據(jù)的表格是一個稀疏的多維映射關(guān)系表[9,10]。HBase的體系結(jié)構(gòu)如圖1所示。

圖1 HBase體系結(jié)構(gòu)

HBase的主要核心組件有Client、ZooKeeper、HMaster和HRegionServer四個組件。其中Client是整個HBase的入口，Zookeeper是協(xié)調(diào)服務(wù)的組件，HMaster負(fù)責(zé)對數(shù)據(jù)表的管理工作，包括管理用戶對數(shù)據(jù)表的增刪查改操作。HRegionServer內(nèi)部管理了一系列的HRegion對象，每個HRegion對象對應(yīng)了一個數(shù)據(jù)表。每個數(shù)據(jù)表主要有三個基本的類型：行鍵、時間戳和列族。

2 系統(tǒng)設(shè)計與實現(xiàn)

玉米和小麥?zhǔn)巧綎|省重要的農(nóng)作物，種植面積廣，品種多，發(fā)展?jié)摿Υ骩11]。本文以山東省玉米和小麥病蟲害數(shù)據(jù)為應(yīng)用背景，設(shè)計與實現(xiàn)了基于HBase的農(nóng)作物病蟲害數(shù)據(jù)存儲系統(tǒng)。其功能結(jié)構(gòu)圖如圖2所示。

圖 2 基于HBase的農(nóng)作物病蟲害數(shù)據(jù)存儲系統(tǒng)功能結(jié)構(gòu)

2.1 存儲結(jié)構(gòu)設(shè)計

2.1.1 非結(jié)構(gòu)化數(shù)據(jù)存儲結(jié)構(gòu)設(shè)計目前山東省各地區(qū)采集的小麥和玉米病害圖像數(shù)據(jù)共10萬余張，其中小麥病害圖像數(shù)據(jù)5萬余張，共計1TB左右，并且隨著采集的進行圖像的數(shù)量還在不斷增加。采集的部分病害圖像如圖3所示。

圖 3 采集的部分病害圖像

在HBase數(shù)據(jù)庫中數(shù)據(jù)是以Byte數(shù)組形式來存儲，因此需要將圖像數(shù)據(jù)的內(nèi)容信息轉(zhuǎn)換為Byte數(shù)組，然后通過自定義的MapReduce方法寫入到HBase數(shù)據(jù)庫中對應(yīng)的表中，實現(xiàn)對病蟲害數(shù)據(jù)的持久化存儲。

本文設(shè)計的非結(jié)構(gòu)化數(shù)據(jù)存儲表共分為兩個列族，其結(jié)構(gòu)如表2所示。

表 2 非結(jié)構(gòu)化數(shù)據(jù)存儲表

自定義的圖像編碼作為數(shù)據(jù)表中的行鍵值，HBase數(shù)據(jù)庫默認(rèn)的時間作為存儲的時間戳。圖像存儲的大表共分為兩個列族，一個列族負(fù)責(zé)存儲圖像的內(nèi)容數(shù)據(jù)和病害的類型，另一個列族負(fù)責(zé)存儲圖像的其他信息，主要包含圖像類型、大小和創(chuàng)建的時間。病害類型是指存儲圖像的病害種類，如玉米大斑病、小麥銹病等。圖像類型是指是存儲圖像的格式，如JPG和PNG等；創(chuàng)建時間是指圖像拍攝時的時間。

HBase數(shù)據(jù)庫是通過行鍵值進行數(shù)據(jù)檢索，為了使行鍵值能包含更多的圖像信息，檢索更加快速，本文自定義了一種圖像行鍵值的編碼格式，采用16位進行編碼，編碼規(guī)則表定義如表3所示。

表 3 圖像行鍵的編碼規(guī)則表

其中使用1位字母表示農(nóng)作物的類型，例如M代表玉米（Maize）、W代表小麥（Wheat）；使用2位數(shù)表示病害的類型，例如01表示玉米大斑病、02表示玉米小斑病等；使用4位數(shù)表示采集的年份，2位數(shù)表示采集的月份，如“201705”表示圖像是在2017年5月采集的。

2.1.2 結(jié)構(gòu)化數(shù)據(jù)存儲結(jié)構(gòu)設(shè)計山東省玉米和小麥病蟲害發(fā)生情況數(shù)據(jù)通過各級植保站獲取，氣象數(shù)據(jù)通過山東省氣象局獲取。其中設(shè)計的以周為統(tǒng)計節(jié)點的山東省部分站點病蟲害發(fā)生情況數(shù)據(jù)表如表4所示，氣象數(shù)據(jù)如表5所示。

表4 山東省部分小麥病蟲害發(fā)生情況數(shù)據(jù)表

表 5 山東省部分氣象數(shù)據(jù)

傳統(tǒng)關(guān)系型數(shù)據(jù)庫通常使用多表存儲來解決數(shù)據(jù)異構(gòu)的問題。但在數(shù)據(jù)查詢時，需要將多個表進行自然連接，對海量數(shù)據(jù)進行檢索時，系統(tǒng)耗費的時間比較長。HBase是一種基于列存儲的數(shù)據(jù)庫，存儲數(shù)據(jù)時不需要關(guān)注數(shù)據(jù)的格式問題，因此可以把同一種蟲害歷史數(shù)據(jù)和當(dāng)前采集的數(shù)據(jù)全部存儲在同一張表中，這樣就節(jié)省了訪問數(shù)據(jù)的時間。

在數(shù)據(jù)庫中，主要由兩種表格進行存儲數(shù)據(jù)，分別是存儲關(guān)系型數(shù)據(jù)庫結(jié)構(gòu)的表格和存儲數(shù)據(jù)的表格，如表6和表7所示。本文將采集到的同一種蟲害數(shù)據(jù)存儲在一個HBase數(shù)據(jù)表中。

表6 關(guān)系型數(shù)據(jù)庫結(jié)構(gòu)存儲表

在表6中，行鍵值是關(guān)系型數(shù)據(jù)庫中表的名稱，時間戳是HBase數(shù)據(jù)庫默認(rèn)的系統(tǒng)時間，存儲數(shù)據(jù)庫結(jié)構(gòu)的HBase表只有一個列族，主要分為兩個列并且每個列是固定的，分別用來存儲關(guān)系型數(shù)據(jù)表的屬性和蟲害類型。其中關(guān)系型數(shù)據(jù)表的屬性是指當(dāng)前關(guān)系型數(shù)據(jù)庫中的表格有哪些屬性，不同屬性之間用“，”分開。存儲的蟲害類型是指具體的某種蟲害名稱，如棉鈴蟲、玉米螟等。

表7 蟲害數(shù)據(jù)存儲表

為了確保同一站點采集到的數(shù)據(jù)能夠存儲在同一個數(shù)據(jù)塊中，減少查詢某一站點數(shù)據(jù)時跨節(jié)點訪問的概率，因此在表7中使用站點名作為行鍵值，使用采集該條數(shù)據(jù)時的時間作為時間戳。HBase數(shù)據(jù)表只有一個列族，用來存儲采集的數(shù)據(jù)的屬性值。列族中的列是可以動態(tài)增加的，包含采集到的每種蟲害數(shù)據(jù)的所有屬性信息。

2.2 存儲過程

2.2.1 非結(jié)構(gòu)化圖像數(shù)據(jù)存儲流程非結(jié)構(gòu)化數(shù)據(jù)存儲示意圖如圖4所示。

圖4 系統(tǒng)存儲過程示意圖

Hadoop默認(rèn)的分片方法是將每一個輸入文件作為一個邏輯分片，需要建立大量的Map任務(wù)來讀取圖像信息，耗費的時間長，為了減少Map任務(wù)的數(shù)量，自定義了Hadoop的邏輯分片方法，多個文件作為一個邏輯分片，然后進行存儲工作。具體存儲的過程如下所示：

（1）首先將本地病害圖像數(shù)據(jù)按照表3編碼規(guī)則進行編碼；

（2）將本地的小麥玉米病害的本地圖像上傳到HDFS文件系統(tǒng)中；

（3）自定義Hadoop邏輯分片方法，根據(jù)圖像的數(shù)量確定邏輯分片的數(shù)量，每個邏輯分片作為一個Map的任務(wù)來處理；

（4）自定義一個ImageWriteable類來對圖像進行序列化，方便在Hadoop平臺上進行數(shù)據(jù)的傳遞工作，然后通過MapReduce對圖像進行并行的讀取，最后將讀取到的圖像內(nèi)容及屬性信息以字符數(shù)組的形式存儲到HBase中。

2.2.2 結(jié)構(gòu)化數(shù)據(jù)存儲過程基于HBase的山東省小麥玉米蟲害數(shù)據(jù)存儲過程如圖5所示。

圖5 基于HBase的山東省蟲害數(shù)據(jù)存儲過程

具體的存儲過程如下：

（1）首先從數(shù)據(jù)庫或EXCEL提取出需要的蟲害數(shù)據(jù)。從數(shù)據(jù)庫中提取數(shù)據(jù)時，需要輸入蟲害的名稱，從數(shù)據(jù)庫中檢索出存儲當(dāng)前蟲害數(shù)據(jù)庫中所有的數(shù)據(jù)表。若從EXCEL讀取數(shù)據(jù)，需要將存儲同一種蟲害數(shù)據(jù)的EXCEL文件放在同一個文件夾下，系統(tǒng)讀取該文件下所有文件中的數(shù)據(jù)；

（2）將讀取數(shù)據(jù)中的空值刪除，然后將屬性與屬性值按照鍵值對的格式存儲在TXT文件中；

（3）將TXT文件上傳到HDFS文件系統(tǒng)中；

（4）利用Hadoop的MapReduce對上傳到HDFS文件系統(tǒng)中的文件進行讀取，然后將讀取到的數(shù)據(jù)寫入到HBase數(shù)據(jù)庫中。

3 結(jié)論

本文針對農(nóng)作物病蟲害數(shù)據(jù)在存儲過程中存在數(shù)據(jù)異構(gòu)和非結(jié)構(gòu)化數(shù)據(jù)存儲效率低的問題，設(shè)計與實現(xiàn)了一種基于HBase的農(nóng)作物病蟲害數(shù)據(jù)存儲系統(tǒng)，對數(shù)據(jù)存儲的過程進行了詳細(xì)的介紹，為病蟲害數(shù)據(jù)的存儲提供了新的方法，并將其應(yīng)用于山東省小麥和玉米病蟲害數(shù)據(jù)存儲中。隨著大數(shù)據(jù)時代的到來，新型采集技術(shù)的不斷發(fā)展，農(nóng)作物病蟲害數(shù)據(jù)規(guī)模的不斷增加，基于HBase存儲系統(tǒng)的優(yōu)勢也會越來越明顯。

[1] 曹夢鴿,高心丹,程逸群.基于HBase的森林防火遙感瓦片大數(shù)據(jù)存儲[J].東北林業(yè)大學(xué)學(xué)報,2018,46(2):35-39

[2] 陸婷,房俊,喬彥克.基于HBase的交通流數(shù)據(jù)實時存儲系統(tǒng)[J].計算機應(yīng)用,2015,35(1):103-107,135

[3] 岳國華,趙靜靜.基于ORACLE數(shù)據(jù)庫的多媒體數(shù)據(jù)SQL級操作探究[J].計算機技術(shù)與發(fā)展,2011,21(4):152-155

[4] 胡珊珊.面向云存儲的非結(jié)構(gòu)化數(shù)據(jù)存儲研究與應(yīng)用[D].廣州:廣東工業(yè)大學(xué),2014

[5] 申德榮,于戈,王習(xí)特,等.支持大數(shù)據(jù)管理的NoSQL系統(tǒng)研究綜述[J].軟件學(xué)報,2013,24(8):1786-1803

[6] Zhang C, De Sterck H. Supporting Multi Row Distributed Transactions with Global Snapshot Isolation Using Bare ones HBase[C]. Proceedings of the 2010 11thIEEE/ACM International Conference on Grid Computing, Grid 2010:177-184

[7] Chongxin Li. Transforming Relational Database into HBase:A Case Study[C]. Proceedings of the 2010 IEEE International Conference on Software Engineering and Service Sciences, 2010:683-687

[8] Vashishtha H. Enhancing Query Support in HBase Via an Extended Coprocessors Framework[D]. Alberta Canada: University of Alberta, 2011

[9] Franke C, Morin S. Distributed Semantic Web Data Management in HBase and MySQL Cluster[C]. Proceedings of the 2011 IEEE 4thInternational Conference on Cloud Computing, 2011:105-112

[10] Jin Y, Deyu T, Yi Z. A distributed storage model for EHR based on HBase[C]. Proceedings of the 2011 4thInternational Conference on Information Management, Innovation Management and Industrial Engineering, 2011:369-372

[11] 董佑福.山東小麥玉米全程機械化生產(chǎn)的實踐與探索[J].山東農(nóng)機化,2013(4):13-16

Research and Implementation of Data Storage System for Crop Diseases and Pests Based on HBase

DONG Meng-ping, MU Shao-min*, CAO Zhi-hao, SUN Xiao-xiao

271018,

The data of crop diseases and pests are multi-source, heterogeneous and massive. Traditional data storage methods and systems have the problems of low efficiency and weak scalability. To solve these problems, a data storage system for crop diseases and pests based on HBase was designed and implemented, and it was applied to wheat and maize diseases and pests data storage in Shandong Province. The system can store the data of diseases and pests persistently, manage the multi-source heterogeneous data uniformly, and make up for the deficiency of traditional relational database. It provides a new method for the storage of wheat and corn diseases and pests data in big data environment.

HBase; diseases and pests data; big data; data base

TP392

A

1000-2324(2019)02-0264-06

10.3969/j.issn.1000-2324.2019.02.020

2018-10-08

2018-11-06

董萌萍(1994-),女,在讀碩士研究生,主要從事人工智能的研究. E-mail:dongmengping@126.com

Author for correspondence. E-mail:msm@sdau.edu.cn