摘 ?要： 遙感數(shù)據(jù)管理是對來自各類衛(wèi)星傳感器大批量數(shù)據(jù)高效接收、存檔、監(jiān)控等，通過多種遙感資源的整合，實現(xiàn)多種傳感器數(shù)據(jù)采集和數(shù)據(jù)歸檔存儲管理功能，提供多種查詢方式，支持?jǐn)?shù)據(jù)的可視化展示，支持?jǐn)?shù)據(jù)記錄編輯和數(shù)據(jù)統(tǒng)計等功能，并能提供多種數(shù)據(jù)打包下載功能和定期推送功能?？擅嫦蛘畠?nèi)部用戶，各行業(yè)用戶、社會公眾用戶提供數(shù)據(jù)分發(fā)服務(wù)。通過整合數(shù)據(jù)資源，實現(xiàn)資源的交換和共享，實現(xiàn)遙感數(shù)據(jù)通用數(shù)據(jù)處理功能、門戶網(wǎng)站和應(yīng)用示范建設(shè)，實現(xiàn)政府相關(guān)部門的互聯(lián)互通，為各類用戶提供服務(wù)。

關(guān)鍵詞： 衛(wèi)星遙感; 虛擬;云存儲;信息數(shù)據(jù)

中圖分類號： TN927+.23 ? ?文獻標(biāo)識碼： A ? ?DOI：10.3969/j.issn.1003-6970.2019.05.037

本文著錄格式：于海濱. 遙感數(shù)據(jù)資源管理研究[J]. 軟件，2019，40（5）：190192

【Abstract】： Remote sensing data management is to realize functions of multi-sensor data acquisition and data archiving， storage and management， provide various query modes， and support visualization display of data， data record editing and data statistics， and provide a variety of data packaging and downloading functions and regular push functions based on efficient reception， archiving and monitoring of large quantities of data from various satellite sensors and integration of various remote sensing resources， which can provide data distribution services for users of government， all walks of life and the public. By integrating data resources， it can realize exchange and sharing of resources， general data processing function of remote sensing data， construction of portal website and application demonstration， and interconnection of related government departments， and provide services for all kinds of users.

【Key words】： Satellite remote sensing; Virtual; Cloud storage; Information data

0 ?引言

遙感數(shù)據(jù)集具有典型的大數(shù)據(jù)特征，即數(shù)據(jù)體量大，數(shù)據(jù)多樣性且變化快等特征。同時，根據(jù)本平臺的需求，系統(tǒng)中也存在大量用于地圖服務(wù)和展示的瓦片小文件數(shù)據(jù)。要滿足遙感大數(shù)據(jù)和海量瓦片數(shù)據(jù)存儲的需求，傳統(tǒng)的存儲系統(tǒng)和存儲方式已經(jīng)不能滿足要求，需要采用遙感數(shù)據(jù)資源庫管理系統(tǒng)進行統(tǒng)一管理。

1 ?遙感數(shù)據(jù)資源庫管理系統(tǒng)整體架構(gòu)

遙感數(shù)據(jù)資源庫管理系統(tǒng)基于現(xiàn)有硬件實施，采用分布式存儲架構(gòu)，支持4至500臺的服務(wù)器存儲集群;提供統(tǒng)一的用戶訪問接口，支持標(biāo)準(zhǔn)的POSIX接口標(biāo)準(zhǔn)。該系統(tǒng)避免了SAN、NAS等傳統(tǒng)共享存儲的信息孤島現(xiàn)象所導(dǎo)致的利用率低下、硬件兼容性差、管理使用復(fù)雜、難擴展等缺點[1]。其架構(gòu)圖見圖1。

存儲資源層主要是實現(xiàn)存儲設(shè)備、網(wǎng)絡(luò)等基礎(chǔ)資源管理，以及對硬件設(shè)備進行狀態(tài)監(jiān)控和監(jiān)測[2]。云存儲系統(tǒng)層通過分布式云存儲系統(tǒng)實現(xiàn)多個存儲設(shè)備間的工作協(xié)同，多個存儲設(shè)備可以統(tǒng)一對外提供同一服務(wù)，增強數(shù)據(jù)訪問性能，保證系統(tǒng)的安全和穩(wěn)定。云存儲系統(tǒng)層提供標(biāo)準(zhǔn)的公用接口，以便開發(fā)人員進行二次開發(fā)。為提高安全性，針對不同的用戶提供了不同的用戶角色，并為用戶提供了注冊、登陸、以及登陸后用戶的安全認(rèn)證，只有通過了安全認(rèn)證，才能訪問系統(tǒng)，保障了對系統(tǒng)的安全訪問。采用了類似linux系統(tǒng)的權(quán)限管理機制，不同的用戶角色分屬于不同的權(quán)限組，每一個權(quán)限組具有讀、寫、執(zhí)行的權(quán)限位。對于屬于某個權(quán)限組的用戶，只有擁有讀、寫或執(zhí)行的權(quán)限才能訪問，存儲以及執(zhí)行文件內(nèi)容。進一步保證了系統(tǒng)的安全性和可控性[3-5]。

訪問層主要是提供給客戶端訪問，用戶也可以使用公用接口進行開發(fā)以訪問分布式存儲系統(tǒng)。針對本平臺，主要是提供數(shù)據(jù)接收系統(tǒng)的寫入分布式存儲和數(shù)據(jù)分發(fā)系統(tǒng)讀取分布式存儲以及對整個“實時雞西”的門戶系統(tǒng)進行數(shù)據(jù)存儲支撐。

系統(tǒng)可通過提供對文件進行分塊存儲，并發(fā)對文件進行讀寫，從而提供高I/O帶寬;能在不同存儲節(jié)點上保存3份以上文件分塊副本，無單節(jié)點故障;元數(shù)據(jù)服務(wù)器具備冗余災(zāi)備，當(dāng)主元數(shù)據(jù)服務(wù)器發(fā)生異常時，可由備元數(shù)據(jù)服務(wù)器接管，當(dāng)主/備元數(shù)據(jù)服務(wù)器均發(fā)生故障時，可從日志服務(wù)器恢復(fù)數(shù)據(jù);可在不斷電條件下，動態(tài)添加新節(jié)點進行空間擴容，支持PB級文件存儲;在部分?jǐn)?shù)據(jù)節(jié)點宕機的情形下，可從剩余節(jié)點中自動恢復(fù)副本數(shù)量，副本數(shù)量恢復(fù)后，支持節(jié)點的再宕機，依次類推，提供容錯的可持續(xù)性。

該分布式云存儲系統(tǒng)，在千兆網(wǎng)絡(luò)環(huán)境下，兩個存儲節(jié)點以上，可使系統(tǒng)的IOPS達到16300，客戶機讀取速度可達60M/S[6]。

2 ?遙感數(shù)據(jù)資源庫管理系統(tǒng)功能

2.1 ?滿足企業(yè)數(shù)據(jù)存儲要求

系統(tǒng)同時保障海量遙感大數(shù)據(jù)以及海量小瓦片數(shù)據(jù)的高效存儲。

2.2 ?提供豐富的訪問接口

作為底層支撐系統(tǒng)，具有豐富的訪問接口，能方便平臺其他系統(tǒng)訪問、存儲、使用系統(tǒng)中的數(shù)據(jù)。具有文件的讀、寫、刪除、創(chuàng)建等操作接口。接口滿足posix規(guī)范，提供客戶端，模擬本地硬盤讀寫模式，像使用本地硬盤一樣使用分布式云存儲空間。

2.3 ?提供api編程接口，方便進行二次開發(fā)。

提供restful編程接口，開發(fā)人員可以直接使用，從而達到訪問分布式云存儲系統(tǒng)的所有功能

2.4 ?強健的安全認(rèn)證體系

為保證對系統(tǒng)的安全訪問，只有注冊的合法用戶才能訪問。用戶需要使用用戶名、密碼登陸獲取簽名。每次訪問均需對簽名進行安全認(rèn)證，只有安全認(rèn)證通過了，才能訪問系統(tǒng)。安全認(rèn)證系統(tǒng)需要具有嚴(yán)格的防盜鏈功能[7]。

2.5 ?嚴(yán)格的權(quán)限控制

采用了類似linux系統(tǒng)的權(quán)限管理機制，不同的用戶角色分屬于不同的權(quán)限組，每一個權(quán)限組具有讀、寫、執(zhí)行的權(quán)限位。對于屬于某個權(quán)限組的用戶，只有擁有讀、寫或執(zhí)行的權(quán)限才能訪問，存儲以及執(zhí)行文件內(nèi)容。

3 ?遙感數(shù)據(jù)快速處理

為了快速處理海量衛(wèi)星遙感數(shù)據(jù)，解放人工生產(chǎn)、降低數(shù)據(jù)處理成本、提高數(shù)據(jù)處理效率為目標(biāo)，主要是圍繞對高分系列、資源系列等衛(wèi)星遙感數(shù)據(jù)產(chǎn)品生產(chǎn)加工所提出的高精度、全自動化、快速化、規(guī)?；枨螅线b感空間信息技術(shù)成果，突破數(shù)據(jù)無人工參與的快速處理、高精度空間定位、生產(chǎn)并行化流水化管理等核心技術(shù)問題，建設(shè)一整套面向遙感空間產(chǎn)品生產(chǎn)加工系統(tǒng)，建立多級多類的遙感數(shù)據(jù)產(chǎn)品庫，實現(xiàn)衛(wèi)星遙感數(shù)據(jù)的標(biāo)準(zhǔn)產(chǎn)品生產(chǎn)和在線可視化產(chǎn)品生產(chǎn)。

在應(yīng)用方面，基于海量衛(wèi)星遙感數(shù)據(jù)，通過對數(shù)據(jù)進行自動化處理，構(gòu)建基于時空網(wǎng)格的分幅遙感影像數(shù)據(jù)庫，并切片發(fā)布，為公眾提供最新和可追溯的影像地圖服務(wù);同時，通過監(jiān)控城市的分幅影像覆蓋情況，定期生產(chǎn)城市鑲嵌影像和專題信息數(shù)據(jù)，供專業(yè)用戶使用[8]。

在類型方面，數(shù)據(jù)生產(chǎn)線根據(jù)不同衛(wèi)星遙感數(shù)據(jù)源和不同類型產(chǎn)品進行劃分實時更新生產(chǎn)線、一張圖生產(chǎn)線。

在技術(shù)方面，引進基于MapReduce環(huán)境的多任務(wù)并行遙感處理技術(shù)，形成即時處理、即時發(fā)布的遙感服務(wù)新模式;結(jié)合優(yōu)秀的自主研發(fā)的影像融合、幾何校正、去霧、色彩增強、鑲嵌勻色等算法，較于同類型技術(shù)，能夠更快更好地生產(chǎn)優(yōu)質(zhì)的影像產(chǎn)品。

自動化生產(chǎn)線圖見圖2。

對數(shù)據(jù)中心中已獲取的數(shù)據(jù)，經(jīng)過云量等方式過濾數(shù)據(jù)推送至分布式云存儲中;創(chuàng)建任務(wù)分發(fā)系統(tǒng)和MapReduce多任務(wù)并行處理環(huán)境，執(zhí)行數(shù)據(jù)處理系統(tǒng)各項處理功能;在數(shù)據(jù)處理系統(tǒng)中，三點特性：全自動化、高效率、高精度;在地圖切片系統(tǒng)中，切片水印功能提供在線瀏覽的數(shù)據(jù)基礎(chǔ)，在并行框架的支撐下，能夠更快速的對瓦片進行并行切割、更新、水印等處理，自動檢測該區(qū)域影像分辨率并自動設(shè)定影像切片層級，最后完成自動發(fā)布，數(shù)據(jù)保存至瓦片緩存庫中;在系統(tǒng)數(shù)據(jù)庫中，瓦片緩存庫存儲多時相多分辨率多數(shù)據(jù)源的瓦片數(shù)據(jù)，時空信息庫中存儲數(shù)據(jù)的時間信息空間信息和必要的矢量屬性，用戶信息庫和其他數(shù)據(jù)庫用來進行存儲在線系統(tǒng)的用戶及數(shù)據(jù)交換信息，保證整個系統(tǒng)的常態(tài)化[9]。

4 ?遙感數(shù)據(jù)資源庫管理系統(tǒng)特征

4.1 ?高可靠

系統(tǒng)采用大容量存儲服務(wù)節(jié)點，通過管理平臺實現(xiàn)統(tǒng)一管理和容錯，系統(tǒng)高效高、服務(wù)穩(wěn)定。系統(tǒng)中的數(shù)據(jù)具有多個副本，數(shù)據(jù)不會丟失。任何節(jié)點發(fā)生故障后，系統(tǒng)會自動將數(shù)據(jù)復(fù)制到新的節(jié)點上，從而實現(xiàn)無間斷數(shù)據(jù)服務(wù)。

4.2 ?高性能

系統(tǒng)將數(shù)據(jù)流和控制流有效分離。數(shù)據(jù)通過并行讀寫，實現(xiàn)各個存儲節(jié)點存儲或讀取。系統(tǒng)的吞吐量和IO性能隨存儲節(jié)點數(shù)目增加呈線性增長。同時通過負(fù)載均衡，自動調(diào)節(jié)均衡各服務(wù)器負(fù)載，讓各個存儲節(jié)點的性能達到最高[10]。

4.3 ?高效存儲

一般存儲系統(tǒng)都可以很好支持大文件存儲，但對于小文件存儲效率比較低，因為文件系統(tǒng)規(guī)定一個文件最小占用磁盤空間，這樣存儲許多瓦片數(shù)據(jù)（小于該最小占用空間的文件）就會造成大量存儲空間的浪費。為了解決這個問題，系統(tǒng)將小文件合并成大文件，并為其建立高效的索引機制，即避免了存儲空間的浪費，又提高并發(fā)的訪問效率。

4.4 ?高可擴展性

系統(tǒng)可以在不停服務(wù)情況下，動態(tài)增加存儲節(jié)點，系統(tǒng)擴容非常方便快捷;同理，系統(tǒng)可以在不停服務(wù)情況下，也可以減少存儲節(jié)點，自動縮減系統(tǒng)規(guī)模。被減少節(jié)點上的數(shù)據(jù)將會備份到其他節(jié)點上。

5 ?結(jié)論

總的來說，遙感數(shù)據(jù)管理是為用戶提供數(shù)據(jù)、提供服務(wù)的基礎(chǔ)。遙感數(shù)據(jù)資源庫管理系統(tǒng)擁有高可靠、高性能、高效存儲以及高可擴展性等特點，同時要實現(xiàn)滿足企業(yè)數(shù)據(jù)存儲要求、提供豐富的訪問接口、強健的安全認(rèn)證體系以及嚴(yán)格的權(quán)限控制等使用需求，以便遙感數(shù)據(jù)資源庫管理系統(tǒng)可以對數(shù)據(jù)進行快速處理。

參考文獻

[1] 談佩文. 云存儲技術(shù)在食品安全視頻監(jiān)控領(lǐng)域的應(yīng)用[D]. 南京. 南京郵電大學(xué)， 2017.

[2] 祝建武. 云存儲在企業(yè)容災(zāi)備份中全新模式探析[J]. 現(xiàn)代商貿(mào)工業(yè)， 2011， 23（03）： 268-269.

[3] 羅菲. 大數(shù)據(jù)場景下的云存儲技術(shù)與應(yīng)用[J]. 信息與電腦（理論版）， 2018（23）： 138-139+142.

[4] 沈文文. 視頻存儲風(fēng)起“云”涌[J]. 中國公共安全， 2013（20）： 172-176.

[5] 汪玉學(xué). 云存儲技術(shù)在安防領(lǐng)域的應(yīng)用[J]. 中國安防， 2011（07）： 41-43.

[6] 李琳. 基于云存儲的教學(xué)資源整合研究與實現(xiàn)[J]. 計算機光盤軟件與應(yīng)用， 2014， 17（18）： 260-261. .

[7] 唐華東. 廣電監(jiān)測監(jiān)管中運用云技術(shù)的具體技術(shù)方案分析[J]. 電視指南， 2018（02）： 239.

[8] 袁高峰， 吳亞洲. 超低功耗云存儲系統(tǒng)——cStor[J]. 電子世界， 2016（09）： 120.

[9] 戚建國， 丁金扣， 張華. 一種基于云存儲環(huán)境下的數(shù)據(jù)處理機制[J]. 軟件， 2015， 36（01）： 141-144.

[10] 焦利， 孫松周， 劉天須， 等. 元數(shù)據(jù)驅(qū)動的分布式數(shù)據(jù)資源管理技術(shù)[J]. 計算機與現(xiàn)代化， 2019（03）： 78-84.