季 艷，魯克文，張英慧

1.北京市遙感信息研究所，北京 100192 2.中國電子科技集團公司 第十五研究所，北京 100083

海量遙感數(shù)據(jù)分布式集群化存儲技術(shù)研究*

季 艷1+，魯克文2，張英慧1

1.北京市遙感信息研究所，北京 100192 2.中國電子科技集團公司 第十五研究所，北京 100083

針對當(dāng)前高分辨率遙感數(shù)據(jù)的高效存儲與高速訪問迫切需求，采用分布式架構(gòu)、對象存儲和集群技術(shù)，結(jié)合遙感數(shù)據(jù)的空間特性，構(gòu)建了基于數(shù)據(jù)對象的存儲組織模型，設(shè)計了全分布式的存儲管理架構(gòu)；形成了邏輯上全球覆蓋，物理上分散存儲，全球遙感數(shù)據(jù)存儲視圖一體化，數(shù)據(jù)高效共享的分布式集群化遙感大數(shù)據(jù)存儲體系。通過使用此架構(gòu)，可實現(xiàn)遙感數(shù)據(jù)資源配置的靈活化，業(yè)務(wù)區(qū)域化特征的定制化與個性化，以及管理系統(tǒng)的智能化。

遙感數(shù)據(jù)；高性能存儲；分布式集群化；對象存儲

1 引言

目前，高分辨率遙感影像數(shù)據(jù)已經(jīng)成為土地監(jiān)測、環(huán)境監(jiān)測、植被、水體、農(nóng)業(yè)和大氣研究、地質(zhì)災(zāi)害調(diào)查、軍事國防等領(lǐng)域的重要基礎(chǔ)資料[1]。隨著高分辨率傳感器技術(shù)的飛速發(fā)展，高分辨率遙感影像數(shù)據(jù)量呈幾何級數(shù)增長，數(shù)據(jù)存儲需求具有海量、多源、多尺寸、高并發(fā)等特點[2]。其中2011年上半年發(fā)射的資源三號衛(wèi)星，可提供空間分辨率為2.5 m全色波段、10 m多光譜等影像數(shù)據(jù)[3]，每天需要接收和存儲的遙感數(shù)據(jù)達1.79 TB。并且隨著高分辨率遙感影像應(yīng)用的不斷深入和發(fā)展，大規(guī)模數(shù)據(jù)密集型及計算密集型遙感業(yè)務(wù)應(yīng)用需求也不斷出現(xiàn)，如何將現(xiàn)有“獨立存儲、分散管理”的遙感影像數(shù)據(jù)[4]，通過合適的存儲模型和架構(gòu)有效地“分布式存儲、邏輯集中管理”成為急需解決的問題。因此，如何有效地組織存儲海量高分辨率遙感影像數(shù)據(jù)，并設(shè)計符合遙感應(yīng)用數(shù)據(jù)訪問特點的存儲管理架構(gòu)，是當(dāng)前高分辨遙感領(lǐng)域迫切需要研究的問題之一。

2 現(xiàn)有的解決方案分析

2.1 傳統(tǒng)海量遙感數(shù)據(jù)存儲技術(shù)

目前，海量遙感數(shù)據(jù)存儲技術(shù)手段主要有支持大尺寸數(shù)據(jù)類型的傳統(tǒng)關(guān)系數(shù)據(jù)庫、基于關(guān)系數(shù)據(jù)庫的空間數(shù)據(jù)中間件、網(wǎng)絡(luò)附屬存儲（network attached storage，NAS）、存儲域網(wǎng)絡(luò)（storage area network，SAN）等網(wǎng)絡(luò)存儲、分布式文件系統(tǒng)等方式。

2.1.1 支持大尺寸數(shù)據(jù)類型的傳統(tǒng)關(guān)系數(shù)據(jù)庫

主要利用某些關(guān)系型數(shù)據(jù)庫支持大尺寸數(shù)據(jù)類型這一特點來存儲遙感數(shù)據(jù)。例如常見的BLOB、CLOB或DBCLOB數(shù)據(jù)類型，都可以存儲較大容量的遙感影像數(shù)據(jù)[5]。另外，微軟的SQL Server 2008還專門提供了Geography和Geometry空間數(shù)據(jù)類型，能夠支持不同種類矢量地理元素的存儲。

利用已有的關(guān)系型數(shù)據(jù)庫進行遙感數(shù)據(jù)存儲的最大優(yōu)勢是可以最大化復(fù)用成熟的數(shù)據(jù)庫管理技術(shù)，顯著降低系統(tǒng)和應(yīng)用的開發(fā)難度。但是其缺點也顯而易見，遙感影像數(shù)據(jù)是一種非結(jié)構(gòu)化數(shù)據(jù)，而且單體的容量較大，傳統(tǒng)關(guān)系型數(shù)據(jù)庫對其支持有限，存儲限制較多，性能瓶頸問題突出，高分辨率遙感數(shù)據(jù)的容量更是遠超其承受范圍。

2.1.2 基于關(guān)系數(shù)據(jù)庫的空間數(shù)據(jù)中間件

主要的代表是Oracle公司的Oracle Spatial空間數(shù)據(jù)庫管理引擎以及ERSI公司的ArcSDE空間數(shù)據(jù)管理中間件。Oracle Spatial能夠?qū)⑺械牡乩砜臻g數(shù)據(jù)類型（網(wǎng)絡(luò)、拓撲、網(wǎng)格、矢量、柵格、影像）統(tǒng)一在標準的關(guān)系數(shù)據(jù)庫中進行存儲，并提供統(tǒng)一的數(shù)據(jù)管理接口，極大地減少了管理的成本、復(fù)雜性和開銷[6]。ArcSDE為關(guān)系數(shù)據(jù)庫提供了一個統(tǒng)一的開放接口，允許在Oracle，Microsoft SQL Server等不同的數(shù)據(jù)庫平臺存儲并管理空間數(shù)據(jù)信息。

利用空間數(shù)據(jù)中間件進行遙感數(shù)據(jù)存儲的優(yōu)勢是不但能夠使用已有成熟的關(guān)系數(shù)據(jù)庫解決方案，而且其針對遙感影像特點設(shè)計，提供統(tǒng)一的數(shù)據(jù)訪問接口，方便上層應(yīng)用的開發(fā)，有效地減少了相應(yīng)的工作量。但是采用此技術(shù)同樣會受制于關(guān)系數(shù)據(jù)庫系統(tǒng)的存儲管理能力，由于增加了中間層，性能瓶頸更加突出。

2.1.3 NAS、SAN等網(wǎng)絡(luò)存儲

NAS、SAN是為了解決單臺存儲設(shè)備容量極限問題，經(jīng)常使用的通用海量數(shù)據(jù)存儲方案。其能夠?qū)⒍鄠€容量相對較小的存儲節(jié)點，整合為大型、集中化管理的數(shù)據(jù)存儲服務(wù)器，通過網(wǎng)絡(luò)向其他服務(wù)器和應(yīng)用提供存儲服務(wù)。

利用NAS、SAN進行遙感數(shù)據(jù)存儲的優(yōu)勢是存儲容量大，數(shù)據(jù)傳輸速度快，架構(gòu)簡單，部署容易。但是面對海量遙感數(shù)據(jù)時，其存儲容量很快達到瓶頸，而且沒有很好的數(shù)據(jù)組織和訪問手段，數(shù)據(jù)傳輸帶寬和訪問速度均無法很好地適應(yīng)海量數(shù)據(jù)訪問的情況。

2.1.4 分布式文件系統(tǒng)

分布式文件系統(tǒng)是通過計算機網(wǎng)絡(luò)將物理分散的大量存儲服務(wù)節(jié)點聯(lián)系在一起，構(gòu)建邏輯上統(tǒng)一的存儲空間的中間件。分布式文件系統(tǒng)可以將遙感影像數(shù)據(jù)分別存儲在各個節(jié)點上，通過網(wǎng)絡(luò)進行數(shù)據(jù)的傳輸和共享[7]。

利用分布式文件系統(tǒng)進行遙感數(shù)據(jù)存儲的優(yōu)勢是不用采購價格較貴的關(guān)系型數(shù)據(jù)庫系統(tǒng)，降低了系統(tǒng)開發(fā)成本，并且多數(shù)分布式文件系統(tǒng)能夠友好存儲遙感影像數(shù)據(jù)，容量能夠水平擴展，支持高并發(fā)訪問，網(wǎng)絡(luò)瓶頸問題可以通過簡單升級網(wǎng)絡(luò)帶寬加以解決。但是分布式文件系統(tǒng)較多面向通用文件存儲領(lǐng)域[8]，使用常用的文件組織方式存儲遙感數(shù)據(jù)，效率不能很好地發(fā)揮，而且其數(shù)據(jù)檢索不是根據(jù)遙感數(shù)據(jù)特點定制，數(shù)據(jù)訪問延遲會隨數(shù)據(jù)存儲量的巨量增長而有較大增加[9]。

2.2 常用的遙感數(shù)據(jù)存儲架構(gòu)

目前，流行的遙感影像數(shù)據(jù)存儲架構(gòu)主要包括集中式文件存儲、分布式數(shù)據(jù)庫以及分布式文件系統(tǒng)3種存儲架構(gòu)。

2.2.1 集中式文件存儲架構(gòu)

如圖1所示，集中式文件存儲架構(gòu)將所有的遙感影像數(shù)據(jù)都保存在一個中心存儲服務(wù)器，并且通過上層的文件系統(tǒng)對這些影像文件進行管理。

Fig.1 Architecture of centralized file storage圖1 集中式文件存儲架構(gòu)

因為遙感影像數(shù)據(jù)是非結(jié)構(gòu)化的數(shù)據(jù)，不適合使用關(guān)系數(shù)據(jù)庫來存儲，所以中心存儲服務(wù)器利用文件系統(tǒng)管理維護所有的遙感影像數(shù)據(jù)，同時需要提供遙感數(shù)據(jù)的檢索服務(wù)，對性能要求較高，所以中心存儲服務(wù)器一般選用高性能服務(wù)器。

采用集中式文件存儲架構(gòu)能夠減少整個系統(tǒng)的維護和管理工作量，部署和使用也較為簡單[10]，但是此架構(gòu)數(shù)據(jù)冗余度大，系統(tǒng)的可擴展性差，中心存儲服務(wù)器是整個系統(tǒng)的性能瓶頸，一旦中心存儲服務(wù)器出現(xiàn)故障，則整個系統(tǒng)就會癱瘓。因此，集中式文件存儲架構(gòu)只適合較小規(guī)模的遙感影像數(shù)據(jù)存儲服務(wù)，面對爆炸式增長的遙感影像數(shù)據(jù)，此架構(gòu)無論在存儲容量、訪問速度和成本方面都不能達到要求。

2.2.2 分布式數(shù)據(jù)庫

如圖2所示，分布式數(shù)據(jù)庫架構(gòu)利用現(xiàn)有成熟的關(guān)系數(shù)據(jù)庫技術(shù)，將遙感數(shù)據(jù)存儲于數(shù)據(jù)庫中，之上使用空間數(shù)據(jù)引擎技術(shù)，增加一層訪問中間件，提供統(tǒng)一的數(shù)據(jù)訪問接口。

Fig.2 Architecture of distributed database storage圖2 分布式數(shù)據(jù)庫存儲架構(gòu)

因為關(guān)系型數(shù)據(jù)庫不適合存儲非結(jié)構(gòu)化影像數(shù)據(jù)，而且需要有相應(yīng)的調(diào)度程序進行訪問的轉(zhuǎn)發(fā)，所以分布式數(shù)據(jù)庫架構(gòu)中除了關(guān)系數(shù)據(jù)庫服務(wù)器外，還需要一個訪問代理服務(wù)器。

采用分布式數(shù)據(jù)庫架構(gòu)，可以充分利用現(xiàn)有的成熟關(guān)系數(shù)據(jù)庫技術(shù)[11]，大大降低系統(tǒng)的開發(fā)難度，具有較好的安全性以及數(shù)據(jù)一致性。但是訪問代理服務(wù)器需要對外提供統(tǒng)一訪問接口，并進行訪問請求的調(diào)度和轉(zhuǎn)發(fā)，容易成為系統(tǒng)的瓶頸，而且傳統(tǒng)關(guān)系數(shù)據(jù)庫應(yīng)對海量數(shù)據(jù)存儲的能力有限，隨著數(shù)據(jù)量的上升，其成本和訪問延遲也增加明顯[12]。

2.2.3 分布式文件系統(tǒng)

如圖3所示，分布式文件系統(tǒng)架構(gòu)是將分散的普通存儲服務(wù)器組成一個邏輯集中的存儲設(shè)備，常見的分布式文件系統(tǒng)包括NFS、AFS、CODA、GFS等[13]。

Fig.3 Architecture of distributed file system storage圖3 分布式文件系統(tǒng)存儲架構(gòu)

分布式文件系統(tǒng)架構(gòu)中遙感影像數(shù)據(jù)存儲在各個節(jié)點上，其數(shù)據(jù)能夠根據(jù)相應(yīng)的算法進行均勻分布[14]，而上層應(yīng)用則可以像訪問本地文件一樣訪問遙感數(shù)據(jù)。

采用分布式文件系統(tǒng)架構(gòu)，能夠很好地適應(yīng)各種復(fù)雜的遙感影像數(shù)據(jù)，能夠高效地對數(shù)據(jù)進行管理和維護，具有很好的可擴展性[15]，能夠充分利用各個節(jié)點的計算能力和存儲能力。但是分布式文件系統(tǒng)沒有針對遙感數(shù)據(jù)特別是高分辨率遙感數(shù)據(jù)的特點進行數(shù)據(jù)組織和訪問優(yōu)化，在面對海量遙感數(shù)據(jù)時也會出現(xiàn)較大的訪問延遲，影響遙感數(shù)據(jù)的應(yīng)用。

3 分布式集群化存儲技術(shù)

傳統(tǒng)的存儲方法通常只考慮數(shù)據(jù)組織方式在數(shù)據(jù)結(jié)構(gòu)上的差異，很少涉及面向業(yè)務(wù)應(yīng)用的不同需求和存儲特性。針對遙感數(shù)據(jù)的存儲不但需要考慮遙感數(shù)據(jù)的地域性，將空間數(shù)據(jù)按地域分布進行分級分區(qū)存儲，而且需要結(jié)合網(wǎng)絡(luò)和計算機資源的特性，以及分布式服務(wù)和統(tǒng)一管理的現(xiàn)實要求。

傳統(tǒng)的空間數(shù)據(jù)存儲方式人為分割了地理對象的空間連續(xù)性，以固定大小數(shù)據(jù)塊組織和存儲復(fù)雜的空間實體。以對象為存儲單元的存儲系統(tǒng)既可以將海量遙感數(shù)據(jù)組織為統(tǒng)一存儲空間的集合，還能夠便于數(shù)據(jù)管理，滿足深層次空間數(shù)據(jù)挖掘和應(yīng)用的需要。

3.1 遙感數(shù)據(jù)存儲系統(tǒng)架構(gòu)

遙感數(shù)據(jù)存儲系統(tǒng)架構(gòu)如圖4所示，根據(jù)節(jié)點在存儲過程和訪問過程中的功能將其分為4類：監(jiān)控服務(wù)節(jié)點、遙感數(shù)據(jù)組織服務(wù)節(jié)點、存儲節(jié)點和訪問代理節(jié)點。其中，監(jiān)控服務(wù)節(jié)點負責(zé)對其他節(jié)點及集群的運行狀態(tài)進行監(jiān)控，并及時反饋信息到合適的節(jié)點；數(shù)據(jù)組織服務(wù)節(jié)點負責(zé)提供遙感數(shù)據(jù)對象的邏輯視圖，并根據(jù)情況從數(shù)據(jù)存儲節(jié)點預(yù)取元數(shù)據(jù)信息；數(shù)據(jù)存儲節(jié)點負責(zé)提供真正的存儲空間，容納遙感數(shù)據(jù)；訪問代理節(jié)點負責(zé)接收轉(zhuǎn)發(fā)外界的數(shù)據(jù)訪問請求，并按照設(shè)定的策略進行安全認證和權(quán)限控制。

Fig.4 Architecture of remote sensing data storage system圖4 遙感數(shù)據(jù)存儲系統(tǒng)架構(gòu)

各類節(jié)點通過網(wǎng)絡(luò)互相聯(lián)結(jié)，在結(jié)構(gòu)上完全分布，沒有固定意義的中心節(jié)點，一種節(jié)點損壞后不會影響其他類節(jié)點的正常工作，其中每類還可以擴展為多個節(jié)點，共同組成集群單元向外提供服務(wù)。在遙感數(shù)據(jù)存儲信息的組織上，采用遙感元數(shù)據(jù)和數(shù)據(jù)“隔離訪問，統(tǒng)一存儲”的策略，將元數(shù)據(jù)和數(shù)據(jù)統(tǒng)一存儲在遙感數(shù)據(jù)存儲節(jié)點上，但工作時由遙感數(shù)據(jù)組織服務(wù)節(jié)點預(yù)先從遙感數(shù)據(jù)存儲節(jié)點讀取元數(shù)據(jù)，并向外提供服務(wù)。因此，此系統(tǒng)架構(gòu)不僅可以提供很高的元數(shù)據(jù)和數(shù)據(jù)訪問性能，極大地簡化了內(nèi)部工作流程，減少了軟件復(fù)雜度，而且系統(tǒng)整體的伸縮性較好，理論上沒有存儲容量和訪問帶寬的瓶頸。

3.2 遙感數(shù)據(jù)存儲組織模型

相對于其他非結(jié)構(gòu)化數(shù)據(jù)，遙感影像數(shù)據(jù)因為其業(yè)務(wù)處理流程和應(yīng)用方式，有自身獨特的存儲、處理和使用特點。完整的遙感影像數(shù)據(jù)至少包含如下五方面的信息：

（1）拍攝地區(qū)的經(jīng)緯度信息，標明了地球的對應(yīng)區(qū)域；

（2）分辨率信息，標明了遙感數(shù)據(jù)的可識別度；

（3）拍攝影像平臺信息，標明了衛(wèi)星、飛艇等拍攝平臺的標識；

（4）傳感器類型信息，標明了具體的型號，如CCD、Modis等；

（5）拍攝時間信息，標明了遙感數(shù)據(jù)的生成時間。

綜上所述，對所有遙感影像數(shù)據(jù)可以構(gòu)建標準化元數(shù)據(jù)描述方法，并以此可以建立針對遙感數(shù)據(jù)特點的存儲組織模型，如圖5所示。按照該方法處理遙感影像數(shù)據(jù)可以做到對影像數(shù)據(jù)的快速檢索、快速傳輸、快速生產(chǎn)、快速瀏覽。

Fig.5 Remote sensing data storage organization model圖5 遙感數(shù)據(jù)的存儲組織模型

在對原始遙感影像數(shù)據(jù)進行預(yù)處理后，需要對遙感數(shù)據(jù)文件進行標準化命名。結(jié)合遙感影像數(shù)據(jù)的公共特點和屬性，最終的遙感影像數(shù)據(jù)文件需要通過其文件名得知主要屬性信息和物理存儲路徑。遙感影像數(shù)據(jù)文件的組織方法如下：

（1）獲取每個遙感影像數(shù)據(jù)文件的主要屬性信息，包括傳感器類型、拍攝平臺、圖像分辨率、拍攝時間；

（2）此遙感影像數(shù)據(jù)文件按照“產(chǎn)品類型-傳感器類型-拍攝平臺-圖像分辨率-拍攝時間-區(qū)域坐標.后綴名”進行唯一標識命名；

（3）將遙感數(shù)據(jù)文件的名稱輸入高速訪問算法，由存儲系統(tǒng)根據(jù)遙感數(shù)據(jù)本身特點、存儲節(jié)點狀態(tài)、存儲安全策略等，將數(shù)據(jù)分布存儲在各個存儲節(jié)點上。

3.3 海量遙感數(shù)據(jù)高速訪問技術(shù)

隨著遙感特別是高分辨率遙感技術(shù)的發(fā)展，遙感數(shù)據(jù)應(yīng)用已經(jīng)面臨海量存儲、高速訪問的現(xiàn)實需求，對目前的遙感數(shù)據(jù)存儲技術(shù)提出了更高容量、更高性能的要求。

目前，人們公認的對象存儲將是未來高性能存儲的基礎(chǔ)?；趯ο蟠鎯夹g(shù)構(gòu)建遙感數(shù)據(jù)存儲系統(tǒng)，不但存儲容量可以在線擴展，而且具有較強的安全性；但是隨著遙感數(shù)據(jù)對象數(shù)量的不斷增長，由于傳統(tǒng)文件系統(tǒng)的數(shù)據(jù)獲取方法依靠表查詢方式實現(xiàn)，遙感數(shù)據(jù)訪問速度明顯下降，不能很好地適應(yīng)遙感應(yīng)用中多源、高并發(fā)訪問需求。本文基于偽隨機和哈希技術(shù)構(gòu)建了數(shù)據(jù)對象的物理位置查詢方法，具有良好的海量數(shù)據(jù)訪問適應(yīng)性，延遲不會隨數(shù)據(jù)對象增多而明顯增大。

如圖6所示，將遙感數(shù)據(jù)分配到具體的存儲設(shè)備上需要經(jīng)過4個階段：首先，需要訪問的遙感數(shù)據(jù)文件以“產(chǎn)品類型-傳感器類型-拍攝平臺-圖像分辨率-拍攝時間-區(qū)域坐標.后綴名”命名，利用改良的哈希算法將此文件名作為輸入，算出唯一的64位數(shù)據(jù)對象ID；接著，利用數(shù)據(jù)對象ID，和根據(jù)當(dāng)前設(shè)備拓撲生成的存儲區(qū)域掩碼mask，算出此對象應(yīng)該存儲的區(qū)域，得到存儲區(qū)域ID；之后，系統(tǒng)根據(jù)存儲區(qū)域ID和數(shù)據(jù)對象ID，按照預(yù)定的存儲策略，在指定的存儲區(qū)域中找到一組合適的存儲設(shè)備集；最后，由于大規(guī)模的分布式集群中宕機等使得部分節(jié)點可能失效，需要根據(jù)當(dāng)前設(shè)備的運行狀態(tài)過濾這些節(jié)點，篩選出數(shù)據(jù)對象存儲的實際物理設(shè)備。

Fig.6 Algorithm of super-speed accessing massive remote sensing data圖6 海量遙感數(shù)據(jù)高速訪問算法流程

上面說明的算法流程中，不需要任何形式的文件或?qū)ο竽夸洠恍枰枋稣麄€對象存儲集群及其數(shù)據(jù)存放策略的層次化的全局信息，并保證整個存儲系統(tǒng)中的每類節(jié)點都可以獲得此全局信息。那么每個節(jié)點都能夠獨立計算出對象所在的位置，且計算的復(fù)雜度不會因為數(shù)據(jù)量的增長而增加，保證了數(shù)據(jù)訪問的高效性。

4 結(jié)束語

現(xiàn)代存儲技術(shù)正在向分布式、大規(guī)模集群化的方向發(fā)展，并面向具體的應(yīng)用領(lǐng)域，出現(xiàn)更加專業(yè)化、專用化的趨勢。本文結(jié)合遙感數(shù)據(jù)的時空特性，構(gòu)建基于數(shù)據(jù)對象的存儲組織模型，設(shè)計了分布式集群化的存儲管理架構(gòu)，給出了適合海量遙感數(shù)據(jù)的高速訪問算法。但是，本文存儲系統(tǒng)在數(shù)據(jù)去重、加密及訪問安全認證方面較少涉及，需要在下一步的工作中研究和實踐。

[1]Zhang Jiangling,Feng Dan.Massive information storage[M].Beijing:Science Press,2002:175-176.

[2]Wang Yanmin.Research of multi-scale GIS vector spatial data organization[D].Wuhan:Wuhan University,2002.

[3]Beckmann N,Kriegel H P,Schneider R,et al.The R*-tree:an efficient and robust access method for points and rectangles[C]//Proceedings of the 1990 ACM SIGMOD International Conference on Management of Data,Atlantic City,USA,May 23-26,1990.New York:ACM,1990:322-331.

[4]Satyaaarayanan M,KisIler J J,Kumar P,et al.CODA:a highly available file system for a distributed workstation environment[J].IEEE Transactions on Computers,1990,38(4):447-459.

[5]Ma Ronghua,Huang Xingyuan.Distributed organization and management of massive data on large-scale GIS[J].Journal of Nanjing Unversity,2003,39(6):837-838.

[6]Guttman A.R-trees:a dynamic index structure for spatial searching[J].ACM SIGMOD Record,1984,14(2):47-57.

[7]Levy E,Silberschatz A.Distributed file systems:concepts and examples[J].ACM Computing Surveys,1990,22(4):321-374.

[8]Shacham H,Waters B.Compact proofs of retrievability[J].Journal of Cryptology,2013,26(3):442-483.

[9]Ren Kui,Wang Cong,Wang Qian.Security challenges for the public cloud[J].IEEE Internet Computing,2012,16(1):69-73.

[10]Ateniese G,Fu K,Green M,et al.Improved proxy re-encryption schemes with applications to secure distributed storage[J].ACM Transactions on Information and System Security,2006,9(1):1-30.

[11]Albani S,Giaretta D.Long-term preservation of earth observation data and knowledge in ESA through CASPAR longterm preservation of earth observation data and knowledge in ESA through CASPAR[J].International Journal of Digital Curation,2009,4(3):4-16.

[12]Beruti V,Forcada M E,Albani M,et al.ESA plans-a pathfinder for long term data preservation[C]//Proceedings of the 7th International Conference on Preservation of Digital Objects,Vienna,Austria,Sep 19-24,2010.[S.l.]:Austrian Computer Society,2010:23-25.

[13]Nakajima K.Preconditioned iterative linear solvers for unstructured grids on the earth simulator[C]//Proceedings of the 7th International Conference on High Performance Computing and Grid in Asia Pacific Region,Monterrey,Jul 20-22,2004.Washington:IEEE Computer Society,2004:150-160.

[14]Zhu Yifeng,Jiang Hong,Wang Jun.HBA:distributed metadata management for large cluster-based storage systems[J].IEEE Transactions on Parallel&Distributed Systems,2008,19(6):750-763.

[15]Wu Jianjian,Liu Pangfeng,Chung Y C.Metadata partitioning for large-scale distributed storage systems[C]//Proceedings of the 3rd International Conference on Cloud Computing,Miami,USA,Jul 5-10,2010.Washington:IEEE Computer Society,2010:212-219.

附中文參考文獻:

[1]張江陵,馮丹.海量信息存儲[M].北京:科學(xué)出版社,2002:175-176.

[2]王晏民.多比例尺GIS矢量空間數(shù)據(jù)組織研究[D].武漢:武漢大學(xué),2002.

[5]馬榮華,黃杏園.大型GIS海量數(shù)據(jù)分布式組織與管理[J].南京大學(xué)學(xué)報,2003,39(6):837-838.

季艷（1975—），女，江蘇揚州人，2011年于北京航空航天大學(xué)計算機應(yīng)用技術(shù)專業(yè)獲得博士學(xué)位，現(xiàn)為北京市遙感信息研究所研究員，主要研究領(lǐng)域為大數(shù)據(jù)處理與應(yīng)用。

LU Kewen was born in 1986.He received the M.S.degree in computer science and technology from Beijing University of Posts and Telecommunications in 2011.Now he is an engineer of CETC15.His research interest is the storage,management and processing of big data.

魯克文（1986—），男，河南南陽人，2011年于北京郵電大學(xué)計算機科學(xué)與技術(shù)專業(yè)獲得碩士學(xué)位，現(xiàn)為中國電子科技集團公司第十五研究所工程師，主要研究領(lǐng)域為大數(shù)據(jù)存儲、管理與處理。

ZHANG Yinghui was born in 1975.He received the Ph.D.degree in management science from Beijing University of Aeronautics and Astronautics in 2016.Now he is a researcher at Beijing Remote Sensing Information Institute.His research interest is big data application.

張英慧（1975—），男，山東壽光人，2016年于北京航空航天大學(xué)管理科學(xué)專業(yè)獲得博士學(xué)位，現(xiàn)為北京市遙感信息研究所研究員，主要研究領(lǐng)域為大數(shù)據(jù)應(yīng)用。

Research on Distributed Clustering Storage Technology for Massive Remote Sensing Data*

JI Yan1+,LU Kewen2,ZHANG Yinghui1
1.Beijing Remote Sensing Information Institute,Beijing 100192,China 2.The 15th Research Institute,China Electronics Technology Group Corporation,Beijing 100083,China

For the urgent needs of the high-resolution earth observation remote sensing data storage and the highspeed access,this paper uses the distributed architecture,object storage and clustering technology,combines the spatial characteristics of remote sensing data to build organizational model based on the data object,designs a storage management architecture with the spatial position as the leading.A remote sensing big data storage system with efficient sharing of distributed cluster can be reformed,that is a global coverage in logic,a dispersed storage in physics and an integration of the storage views of global data.By this architecture,the flexibility of remote sensing data resources configuration,the customization and personalization of business regionalization,and the intelligence of management systems can be achieved.

remote sensing data;high-performance storage;distributed clustering;object storage

the Ph.D.degree in computer application technology from Beijing University of Aeronautics and Astronautics in 2011.Now she is a researcher at Beijing Remote Sensing Information Institute.Her research interest is big data processing and application.

2016-07, Accepted 2016-09.

A

TP751

+Corresponding author:E-mail:jy197541@163.com

JI Yan,LU Kewen,ZHANG Yinghui.Research on distributed clustering storage technology for massive remote sensing data.Journal of Frontiers of Computer Science and Technology,2017,11(9)：1398-1404.

10.3778/j.issn.1673-9418.1608049

*The National High Technology Research and Development Program of China under Grant No.2013AA7013040(國家高技術(shù)研究發(fā)展計劃(863計劃)).

CNKI網(wǎng)絡(luò)優(yōu)先出版: 2016-09-08, http://www.cnki.net/kcms/detail/11.5602.TP.20160908.1047.030.html