黃 穎，謝陽(yáng)生

(1.北京林業(yè)大學(xué)水土保持學(xué)院，北京 100083;2.中國(guó)林業(yè)科學(xué)研究院資源信息研究所，北京 100091)

全國(guó)林業(yè)資源數(shù)據(jù)集群存儲(chǔ)技術(shù)研究

黃 穎1，2，謝陽(yáng)生2

(1.北京林業(yè)大學(xué)水土保持學(xué)院，北京 100083;2.中國(guó)林業(yè)科學(xué)研究院資源信息研究所，北京 100091)

為解決全國(guó)大規(guī)模一體化林業(yè)資源管理，設(shè)計(jì)了適用于全國(guó)林業(yè)資源數(shù)據(jù)的分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)。通過(guò)數(shù)據(jù)分塊、索引分級(jí)、集群合并，將各省和國(guó)家的林業(yè)資源數(shù)據(jù)集群在邏輯上合并成一個(gè)大數(shù)據(jù)集群。分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)的應(yīng)用和全國(guó)數(shù)據(jù)集群的合并加快了數(shù)據(jù)處理速度，統(tǒng)一了數(shù)據(jù)管理過(guò)程，建立了全向的并發(fā)數(shù)據(jù)通道。為實(shí)現(xiàn)林業(yè)資源數(shù)據(jù)的全國(guó)一體化應(yīng)用做了積極探索。

林業(yè)資源;大數(shù)據(jù);集群數(shù)據(jù);集群數(shù)據(jù)存儲(chǔ);林地一張圖

0 引言

全國(guó)林業(yè)資源數(shù)據(jù)的一體化應(yīng)用是林業(yè)信息化發(fā)展的趨勢(shì)。目前我國(guó)的林業(yè)資源數(shù)據(jù)分散存儲(chǔ)在各地分別管理和應(yīng)用，難以實(shí)現(xiàn)林業(yè)資源數(shù)據(jù)的一體化應(yīng)用。在存儲(chǔ)和管理林業(yè)資源數(shù)據(jù)的部門中，多數(shù)將這些數(shù)據(jù)存儲(chǔ)在單一數(shù)據(jù)庫(kù)中，而且數(shù)據(jù)塊大小沒(méi)有統(tǒng)一標(biāo)準(zhǔn)，實(shí)際運(yùn)行中訪問(wèn)大量的小數(shù)據(jù)塊或讀取過(guò)大的數(shù)據(jù)塊，都會(huì)導(dǎo)致系統(tǒng)速度急劇下降。有的部門由于數(shù)據(jù)容量的問(wèn)題將數(shù)據(jù)塊存儲(chǔ)在磁盤陣列中，這樣雖擴(kuò)大了存儲(chǔ)量，但受限于硬件接口的吞吐能力，不能滿足大規(guī)模并發(fā)處理的需求。在數(shù)據(jù)的一體化應(yīng)用上，一些專家學(xué)者借助數(shù)據(jù)平臺(tái)解決跨省數(shù)據(jù)訪問(wèn)的問(wèn)題［1-4］。這樣能以統(tǒng)一的方式訪問(wèn)數(shù)據(jù)，但數(shù)據(jù)經(jīng)過(guò)多層包裝轉(zhuǎn)換，會(huì)產(chǎn)生額外的時(shí)間開銷。在數(shù)據(jù)管理上，單一數(shù)據(jù)庫(kù)擴(kuò)容及數(shù)據(jù)遷移的成本也非常高［5-7］。

要解決這些問(wèn)題只能改變數(shù)據(jù)的訪問(wèn)機(jī)制，筆者分析了林業(yè)資源數(shù)據(jù)構(gòu)成、存儲(chǔ)及應(yīng)用特點(diǎn)以及數(shù)據(jù)集群的構(gòu)成，提出將國(guó)家級(jí)和省級(jí)的數(shù)據(jù)在集群內(nèi)按地理區(qū)域、時(shí)間和類型進(jìn)行分類，將數(shù)據(jù)塊按統(tǒng)一大小分割后均勻分布存儲(chǔ)在大量的數(shù)據(jù)服務(wù)器上，每個(gè)數(shù)據(jù)服務(wù)器上都運(yùn)行獨(dú)立的數(shù)據(jù)庫(kù)，然后建立數(shù)據(jù)、數(shù)據(jù)塊索引［8-10］，在不改變底層數(shù)據(jù)庫(kù)軟件結(jié)構(gòu)的基礎(chǔ)上實(shí)現(xiàn)數(shù)據(jù)處理過(guò)程的并發(fā)處理，最后通過(guò)索引同步將國(guó)家和各省的數(shù)據(jù)集群在邏輯上合并成一個(gè)大數(shù)據(jù)集群。實(shí)現(xiàn)了數(shù)據(jù)集群間的全向、并發(fā)的數(shù)據(jù)交互，大幅提高了數(shù)據(jù)處理速度，實(shí)現(xiàn)了國(guó)家和省級(jí)數(shù)據(jù)的統(tǒng)一管理。

1 林業(yè)資源數(shù)據(jù)分析

1 )林業(yè)資源數(shù)據(jù)構(gòu)成。林業(yè)資源數(shù)據(jù)從林業(yè)業(yè)務(wù)的角度主要由森林資源、濕地、荒漠化和生物多樣性四大類數(shù)據(jù)構(gòu)成。其中森林資源、濕地和荒漠化是連續(xù)或區(qū)域集中連續(xù)的數(shù)據(jù)，從全國(guó)的范圍來(lái)說(shuō)，數(shù)據(jù)呈現(xiàn)連續(xù)且規(guī)模大的特點(diǎn)。例如全國(guó)林地“一張圖”中所使用的全國(guó)林地資源數(shù)據(jù)，數(shù)據(jù)量達(dá)到12.4 TByte。而生物多樣性數(shù)據(jù)則呈現(xiàn)數(shù)據(jù)分散且數(shù)據(jù)多的特點(diǎn)。因此從數(shù)據(jù)的管理上，林業(yè)資源數(shù)據(jù)構(gòu)成表現(xiàn)出兩種特點(diǎn)：數(shù)據(jù)文件少，但數(shù)據(jù)體量大;數(shù)據(jù)文件數(shù)量多，但數(shù)據(jù)分散。

2 )林業(yè)資源數(shù)據(jù)存儲(chǔ)及應(yīng)用特點(diǎn)。從數(shù)據(jù)存儲(chǔ)的角度，目前國(guó)家級(jí)林業(yè)資源數(shù)據(jù)主要集中在國(guó)家林業(yè)局及四大直屬院的相關(guān)部門中存儲(chǔ)和管理，省級(jí)林業(yè)資源數(shù)據(jù)有的相對(duì)集中存儲(chǔ)于省林業(yè)廳信息中心及省級(jí)林業(yè)規(guī)劃部門，同時(shí)也有的分散于省級(jí)各業(yè)務(wù)部門。在應(yīng)用上，由于國(guó)家、各省及各部門信息化程度的不同，數(shù)據(jù)的應(yīng)用程度也有區(qū)別。信息化程度相對(duì)較高的國(guó)家級(jí)及省級(jí)單位，已經(jīng)形成數(shù)據(jù)集群，能對(duì)數(shù)據(jù)庫(kù)進(jìn)行一定程度的并發(fā)訪問(wèn)，但并發(fā)量有限。

3 )林業(yè)資源數(shù)據(jù)集群構(gòu)成。目前的數(shù)據(jù)集群一般由應(yīng)用服務(wù)器、功能服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、磁盤陣列及三層內(nèi)部交換網(wǎng)絡(luò)構(gòu)成。核心服務(wù)器通常處于同一網(wǎng)段中，通過(guò)千兆局域網(wǎng)或光纖連接。磁盤陣列一般會(huì)進(jìn)行數(shù)據(jù)冗余保障數(shù)據(jù)安全，服務(wù)器進(jìn)行多機(jī)負(fù)載均衡提高并發(fā)性能，通過(guò)雙、多機(jī)備份保障應(yīng)用穩(wěn)定。隨著林業(yè)專網(wǎng)建設(shè)的推進(jìn)，目前已有一些國(guó)家級(jí)和省級(jí)單位接入專網(wǎng)，實(shí)現(xiàn)了數(shù)據(jù)的互通。

整體而言，我國(guó)森林資源數(shù)據(jù)類型多、總量大、存儲(chǔ)分散，各級(jí)管理單位有一定的硬件基礎(chǔ)，單位之間也有一定的網(wǎng)絡(luò)連通條件，這些是全國(guó)林業(yè)資源數(shù)據(jù)一體化應(yīng)用的基礎(chǔ)。

2 全國(guó)林業(yè)資源數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)

針對(duì)目前全國(guó)林業(yè)資源數(shù)據(jù)的存儲(chǔ)、應(yīng)用及管理情況，為解決全國(guó)大規(guī)模一體化林業(yè)資源數(shù)據(jù)管理，筆者設(shè)計(jì)了分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)管理全國(guó)的林業(yè)資源數(shù)據(jù)，通過(guò)數(shù)據(jù)分塊、分級(jí)索引和集群合并解決這些問(wèn)題。

圖1 分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)與單庫(kù)存儲(chǔ)的比較Fig.1 Comparison of distributed spatial data storage system and single database storage

分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)與目前常用的單庫(kù)存儲(chǔ)模式不同，它在多個(gè)數(shù)據(jù)庫(kù)實(shí)例上同時(shí)處理數(shù)據(jù)，數(shù)據(jù)塊分布在多臺(tái)數(shù)據(jù)服務(wù)器上。如圖1所示，右側(cè)為分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)，數(shù)據(jù)處理在多個(gè)數(shù)據(jù)庫(kù)實(shí)例中同時(shí)進(jìn)行，數(shù)據(jù)庫(kù)軟件可從多個(gè)數(shù)據(jù)服務(wù)器上同時(shí)讀取數(shù)據(jù)。

2.1 數(shù)據(jù)分塊

應(yīng)用分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)，首先要將數(shù)據(jù)進(jìn)行分塊存儲(chǔ)。數(shù)據(jù)分塊是指將數(shù)據(jù)分類后，分成相同大小的數(shù)據(jù)塊，然后均勻分布存儲(chǔ)在所有的數(shù)據(jù)服務(wù)器上。分布存儲(chǔ)相同大小的數(shù)據(jù)塊可以提高單機(jī)讀取速度，也是數(shù)據(jù)庫(kù)軟件分布管理數(shù)據(jù)塊的基礎(chǔ)。在數(shù)據(jù)處理過(guò)程中，要訪問(wèn)在磁盤中大小不同的數(shù)據(jù)塊就必須支持隨機(jī)讀寫，而訪問(wèn)固定大小的數(shù)據(jù)塊則只需要支持順序讀寫。隨機(jī)讀寫過(guò)程涉及的數(shù)據(jù)操作比順序讀寫過(guò)程復(fù)雜得多，因此，在數(shù)據(jù)處理過(guò)程中減少數(shù)據(jù)操作耗時(shí)，能在很大程度上提高單次數(shù)據(jù)處理的速度，數(shù)據(jù)量越大，則速度差別越明顯。數(shù)據(jù)庫(kù)軟件可基于分布式文件存儲(chǔ)系統(tǒng)［11，12］管理分布存儲(chǔ)的數(shù)據(jù)塊。

將需要存儲(chǔ)的數(shù)據(jù)根據(jù)時(shí)間、地域、圖層分類后按照固定大小M分塊。如圖2所示，由于數(shù)據(jù)塊大小不可能都被M整除，分割后每類數(shù)據(jù)都可能產(chǎn)生一定的剩余小塊數(shù)據(jù)。為了能通過(guò)順序讀寫同一類數(shù)據(jù)，這些零散的數(shù)據(jù)不能混合，并且剩余數(shù)據(jù)不管大小都必須占用M大小的存儲(chǔ)空間。為了在應(yīng)用中盡可能并發(fā)處理數(shù)據(jù)，同類、連續(xù)的數(shù)據(jù)塊必須盡可能均勻地分布在不同的數(shù)據(jù)服務(wù)器上。

圖2 數(shù)據(jù)塊分割過(guò)程Fig.2 Process of data block partition

數(shù)據(jù)塊大小M在實(shí)際運(yùn)行環(huán)境中通過(guò)測(cè)試決定。實(shí)際情況較為復(fù)雜不可能通過(guò)公式計(jì)算出M的大小，只能在M的取值范圍內(nèi)驗(yàn)證測(cè)試一些取值，然后根據(jù)測(cè)試結(jié)果選取比較合適的值。假設(shè)在實(shí)際運(yùn)行環(huán)境中發(fā)起一次網(wǎng)絡(luò)連接的最長(zhǎng)需時(shí)為t(s)，最慢的服務(wù)器平均每秒能處理Vs(MByte)的數(shù)據(jù)，網(wǎng)絡(luò)中平均每秒能傳輸Vn(MByte)的數(shù)據(jù)，則M＞t。M太小，則新建網(wǎng)絡(luò)連接的時(shí)間可能大于傳輸文件的時(shí)間開銷，處理數(shù)據(jù)所需的總時(shí)間反而增加;M太大，則處理時(shí)間接近傳輸時(shí)間，總體性能沒(méi)有得到提升。在筆者的測(cè)試環(huán)境中，選取的文件塊大小M為64 MByte。

2.2 建立分級(jí)索引

數(shù)據(jù)分布存儲(chǔ)到大量的數(shù)據(jù)服務(wù)器后，業(yè)務(wù)系統(tǒng)在處理數(shù)據(jù)時(shí)，必須知道需要訪問(wèn)的數(shù)據(jù)服務(wù)器。因此，在分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)中需要主服務(wù)器對(duì)數(shù)據(jù)、數(shù)據(jù)塊建立索引。文獻(xiàn)［13］為分布存儲(chǔ)的林業(yè)資源數(shù)據(jù)管理設(shè)計(jì)了一種快速索引，該索引分為在主服務(wù)器索引和數(shù)據(jù)節(jié)點(diǎn)索引兩級(jí)，結(jié)構(gòu)上都由一棵SB樹和一棵RQ樹構(gòu)成，以實(shí)現(xiàn)空間與屬性數(shù)據(jù)的分布式存儲(chǔ)并行訪問(wèn)。對(duì)分布式存儲(chǔ)的數(shù)據(jù)塊建立分級(jí)快速索引后，業(yè)務(wù)系統(tǒng)能通過(guò)主服務(wù)器上的第1級(jí)索引快速找到數(shù)據(jù)所在的數(shù)據(jù)服務(wù)器，并通過(guò)數(shù)據(jù)服務(wù)器上建立的第2級(jí)索引，快速判斷自己是否存有所需數(shù)據(jù)。經(jīng)過(guò)兩級(jí)索引的過(guò)濾，業(yè)務(wù)系統(tǒng)可同時(shí)向存在所需數(shù)據(jù)的多個(gè)數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)請(qǐng)求，同時(shí)避免在不存在所需數(shù)據(jù)的數(shù)據(jù)服務(wù)器中盲目查詢而影響系統(tǒng)的整體效率。

2.3 數(shù)據(jù)集群合并

經(jīng)過(guò)數(shù)據(jù)文件分塊和分級(jí)索引的建立，林業(yè)資源數(shù)據(jù)在集群內(nèi)可以進(jìn)行統(tǒng)一管理并在機(jī)制上解決并發(fā)處理問(wèn)題。之后是通過(guò)國(guó)家、省級(jí)數(shù)據(jù)集群的合并解決全國(guó)一體化應(yīng)用的問(wèn)題。

數(shù)據(jù)集群合并的過(guò)程如圖3所示，已經(jīng)進(jìn)行數(shù)據(jù)分塊并建立了數(shù)據(jù)索引的省級(jí)數(shù)據(jù)集群和國(guó)家級(jí)的數(shù)據(jù)集群，其主服務(wù)器通過(guò)林業(yè)專網(wǎng)遠(yuǎn)程實(shí)現(xiàn)索引同步。在進(jìn)行索引同步后，網(wǎng)絡(luò)中的所有主服務(wù)器都將同步存儲(chǔ)全國(guó)所有的數(shù)據(jù)索引，形成全國(guó)的主服務(wù)器群，物理分布的所有數(shù)據(jù)集群將在邏輯上形成全國(guó)的大數(shù)據(jù)集群。應(yīng)用程序可通過(guò)任一主服務(wù)器獲取到全國(guó)所有的數(shù)據(jù)文件訪問(wèn)地址，并同時(shí)在全國(guó)所有的數(shù)據(jù)服務(wù)器上處理數(shù)據(jù)。

圖3 集群合并過(guò)程Fig.3 Process of clustermerging

3 應(yīng)用實(shí)現(xiàn)

為了驗(yàn)證分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)的效果，筆者設(shè)置了5臺(tái)服務(wù)器進(jìn)行測(cè)試，其中一臺(tái)使用較高配置，另外4臺(tái)配置使用相對(duì)較低的配置。首先按傳統(tǒng)方式，用配置較高的服務(wù)器安裝數(shù)據(jù)庫(kù)軟件和空間數(shù)據(jù)引擎，數(shù)據(jù)存儲(chǔ)在真實(shí)的磁盤陣列中，其次依次記錄查詢從50～10 000條林地小班邊界所需的時(shí)間，每條小班邊界數(shù)據(jù)包含約85個(gè)字段的屬性數(shù)據(jù);然后用筆者所建分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)，用配置較高的服務(wù)器作為主服務(wù)器，另外4臺(tái)服務(wù)器作為數(shù)據(jù)服務(wù)器，記錄查詢相同數(shù)據(jù)所需時(shí)間。測(cè)試結(jié)果如表1所示。

表1 兩種存儲(chǔ)方式的處理時(shí)間對(duì)比Tab.1 Comparison of processing time of two types of storage

結(jié)果表明，在查詢的數(shù)據(jù)量達(dá)到2007后，筆者所述分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)處理速度優(yōu)于單庫(kù)存儲(chǔ)方式，處理的數(shù)據(jù)量越大，優(yōu)勢(shì)越明顯。

通過(guò)測(cè)試驗(yàn)證后，將筆者設(shè)計(jì)的分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)應(yīng)用于管理全國(guó)林地保護(hù)利用規(guī)劃數(shù)據(jù)，建立了全國(guó)林地一張圖管理系統(tǒng)，成功實(shí)現(xiàn)全國(guó)林地?cái)?shù)據(jù)的統(tǒng)一管理以及快速的跨省數(shù)據(jù)訪問(wèn)，系統(tǒng)界面如圖4所示。

圖4 全國(guó)林地一張圖管理系統(tǒng)Fig.4 National forestry land resourcesmanagement system

4 結(jié) 語(yǔ)

筆者設(shè)計(jì)的分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)在林地保護(hù)利用規(guī)劃數(shù)據(jù)的管理上得到了良好的應(yīng)用，進(jìn)一步接入森林資源、濕地、荒漠化和生物多樣性等數(shù)據(jù)，可實(shí)現(xiàn)對(duì)全國(guó)林業(yè)資源數(shù)據(jù)的統(tǒng)一管理和一體化應(yīng)用。分布存儲(chǔ)數(shù)據(jù)塊并通過(guò)兩級(jí)索引進(jìn)行管理和訪問(wèn)，可以解決數(shù)據(jù)體量過(guò)大和數(shù)據(jù)零散導(dǎo)致的性能下降問(wèn)題，能快速完成數(shù)據(jù)庫(kù)擴(kuò)容和遷移，為大規(guī)模并發(fā)計(jì)算提供支持。備份數(shù)據(jù)塊和大量的數(shù)據(jù)庫(kù)實(shí)例能保障數(shù)據(jù)的安全和服務(wù)的不間斷。合并數(shù)據(jù)集群可以全面管理調(diào)度在各地存儲(chǔ)的數(shù)據(jù)，實(shí)現(xiàn)全向的并發(fā)操作，真正實(shí)現(xiàn)林業(yè)資源數(shù)據(jù)的全國(guó)一體化應(yīng)用。

該分布式空間數(shù)據(jù)存儲(chǔ)系統(tǒng)底層是支持分布式文件存儲(chǔ)系統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，需要空間數(shù)據(jù)引擎支持空間數(shù)據(jù)的存儲(chǔ)管理。將來(lái)可以進(jìn)一步研究面向?qū)ο髷?shù)據(jù)庫(kù)對(duì)空間數(shù)據(jù)分布存儲(chǔ)的支持，同時(shí)也能通過(guò)在數(shù)據(jù)庫(kù)內(nèi)建立動(dòng)態(tài)空間索引，進(jìn)一步加快數(shù)據(jù)的處理速度。

［1］張冬有，臧淑英，馮仲科.黑龍江省林業(yè)地理信息公共服務(wù)平臺(tái)設(shè)計(jì)［J］.北京林業(yè)大學(xué)學(xué)報(bào)，2007，29(2)：26-30.

ZHANG Dongyou，ZANG Shuying，F(xiàn)ENG Zhongke.Design of Forestry Geographic Information Public Service Platform in Heilongjiang Province［J］.Journal of Beijing Forestry University，2007，29(2)：26-30.

［2］龐麗峰，唐小明，劉鵬舉.基于WebGIS省級(jí)林業(yè)信息共享平臺(tái)的研發(fā)［J］.西北林學(xué)院學(xué)報(bào)，2011，26(2)：180-184.

PANG Lifeng，TANG Xiaoming，LIU Pengju.Development of the Provincial Forestry Information Sharing Platform Based on WebGIS［J］.Journal of Northwest Forestry University，2011，26(2)：180-184.

［3］田波，丁麗霞，周云軒，等.多層分布式林業(yè)信息服務(wù)平臺(tái)的構(gòu)建［J］.浙江林學(xué)院學(xué)報(bào)，2006，23(4)：429-434.

TIAN Bo，DING Lixia，ZHOU Yunxuan，et al.Construction of a Multi-Layered Distributed Forestry Information Service Platform［J］.Journal of Zhejiang Forestry College，2006，23(4)：429-434.

［4］張旭，李增元，鄧廣，等.數(shù)字林業(yè)平臺(tái)技術(shù)研究與實(shí)現(xiàn)［J］.林業(yè)科學(xué)，2006，42(1)：37-40.

ZHANG Xu，LI Zengyuan，DENG Guang，et al.Research and Implementation on Digital Forestry Platform ［J］.Scientia Silvae Sinicae，2006，42(1)：37-40.

［5］張廣艷，丘建平.分級(jí)存儲(chǔ)系統(tǒng)中一種數(shù)據(jù)自動(dòng)遷移方法［J］.計(jì)算機(jī)研究與發(fā)展，2012，49(8)：1804-1810.

ZHANG Guangyan，QIU Jianping.An Approach for Migrating Data Adaptively in Hierarchical Storage Systems［J］.Journal of Computer Research and Development，2012，49(8)：1804-1810.

［6］NAHAR P，JOSHI A，SAUPP A.Cloud Computing in Emerging Markets(CCEM) ［C］∥2012 IEEE International Conference.Waltham，MA：［s.n.］，2012：11-12.

［7］ADAM JACOBS.The Pathologies of Big Data［J］.Communications of the ACM，2009，52(8)：36-44.

［8］SANJAY GHEMAWAT，HOWARD GOBIOFF，SHUN-TAK LEUNG.The Google File System［C］∥19th ACM Symposium on Operating Systems Principles.Lake George，NY：［s.n.］，2003.

［9］FRANKSCHMUCK，ROGER HASKIN.GPFS：A Shared-Diskfile System for Large Computing Clusters［C］∥Proceedings of the First USENIX Conference on File and Storage Technologies.Monterey，California：［s.n.］，2002.

［10］DHRUBA BORTHAKUR.The Hadoop Distributed File System：Architecture and Design［M］.［S.l.］：The Apache Software Foundation，2007.

［11］何林幫，李鋼，王孝強(qiáng)，等.在Unix與Oracle環(huán)境下ArcSDE的優(yōu)化［J］.測(cè)繪科學(xué)，2012，37(3)：178-180.

HE Linbang，LIGang，WANG Xiaoqiang，et al.ArcSDEOptimization in the Unix and Oracle Environment［J］.Science of Surveying and Mapping，2012，37(3)：178-180.

［12］師洪波，吳振新.基于HDFS的分布式長(zhǎng)期保存系統(tǒng)實(shí)現(xiàn)研究［J］.圖書館學(xué)研究，2012(1)：29-35.

SHIHongbo，WU Zhenxin.A Study of Distributed Long-Term Preservation System Based on HDFS［J］.Research on Library Science，2012(1)：29-35.

［13］李惺穎，謝陽(yáng)生，唐小明，等.林業(yè)資源數(shù)據(jù)集群的快速索引設(shè)計(jì)［J］.吉林大學(xué)學(xué)報(bào)：理學(xué)版，2013，51(6)：1111-1117.

LIXingying，XIE Yangsheng，TANG Xiaoming，etal.Design of Fast Index for Forest Resources Data Cluster［J］.Journal of Jilin University：Science Edition，2013，51(6)：1111-1117.

Study of Data Cluster Storage Technology of National Forestry Resources

HUANG Ying1，2，XIE Yangsheng2

(1.School of Soil and Water Conservation，Beijing Forestry University，Beijing 100083，China;2.Research Institute of Resource and Information，Chinese Academy of Forestry，Beijing 100091，China)

In order to solve large-scale integration of national forest resourcemanagement，a distributed spatial data storage system suitable for forestry resources data is designed.Through three steps，block data files，index classification and merge cluster，without changing the underlying database software structure，provinces'and national's data clusters are logically combined into a whole big data cluster.Application of the distributed spatial data storage system and merging of clusters increase the speed of data processing，unifiy data management process，establish omnidirectional concurrency data channel，is an active exploration for realizing forestry resources data for national integration application.

forestry resources;big data;data cluster;cluster data storage;forestry land resources on singlemap

TP311

A

1671-5896(2014)03-0316-05

2014-03-04

中央級(jí)公益性科研院所基本科研業(yè)務(wù)費(fèi)專項(xiàng)基金資助項(xiàng)目(IFRIT201101);林業(yè)公益性科研專項(xiàng)基金資助項(xiàng)目(201304215)

黃穎(1989— )，女，四川宜賓人，北京林業(yè)大學(xué)碩士研究生，主要從事GIS開發(fā)與應(yīng)用研究，(Tel)86-18600838756(E-mail)cafhuangying@gmail.com;通訊作者：謝陽(yáng)生(1975— )，女，貴陽(yáng)人，中國(guó)林業(yè)科學(xué)研究院助理研究員，博士，主要從事GIS開發(fā)與應(yīng)用研究，(Tel)86-010-62888453(E-mail)Xieys@caf.ac.cn。

劉東亮)