黃煒

(中國自然資源航空物探遙感中心，北京 100038)

0 引言

我國的衛(wèi)星遙感技術(shù)經(jīng)過40多年的發(fā)展，取得了一系列成績，成功研制了一系列傳感器，發(fā)射了50多顆對地觀測衛(wèi)星，組成了風云、海洋、資源和環(huán)境減災四大民用系列對地觀測衛(wèi)星體系；自主研制和發(fā)展了一批核心傳感器，掌握了一批核心遙感技術(shù)，形成了系列化產(chǎn)品。如資源三號衛(wèi)星3年積累的影像數(shù)據(jù)覆蓋了我國930×104km2的地球表面，接近6×107km2的全球區(qū)域，原始數(shù)據(jù)量超過800 TB[1]。衛(wèi)星遙感業(yè)務逐步建成，隊伍不斷壯大，航空遙感系統(tǒng)平臺不斷改進，技術(shù)穩(wěn)步提高，航空遙感系統(tǒng)日趨完善。遙感衛(wèi)星地面設施布局不斷優(yōu)化，效能比不斷提高。國產(chǎn)化地球空間信息系統(tǒng)軟件發(fā)展迅速，誕生一批空間信息企業(yè)，并研制成功大量軟件產(chǎn)品。一支多學科交叉的研究隊伍和160多家教育科研院所設置“3S”相關(guān)專業(yè)被組建。同時，適應于產(chǎn)業(yè)發(fā)展需要的地理空間信息管理制度、標準規(guī)范開始建立。應用領域不斷擴展，應用效益與效率顯著提高。

進入21世紀的第2個10年，我國的遙感衛(wèi)星進入了快速發(fā)展的階段，由實驗型向應用型發(fā)展，由單星向多星發(fā)展，從零散應用到整裝發(fā)展；建成了資源衛(wèi)星系統(tǒng)、環(huán)境與減災衛(wèi)星星座、氣象衛(wèi)星系統(tǒng)和海洋衛(wèi)星系統(tǒng)；初步形成了中國對地觀測衛(wèi)星體系，尤其是高分辨率對地觀測系統(tǒng)重大專項的實施，使我國衛(wèi)星對地觀測進入亞米級時代。

這些“天眼”神探全天時、全天候不間斷地向地面?zhèn)魉透叻直媛?、寬覆蓋、多波段的衛(wèi)星數(shù)據(jù)[2]，涵蓋不同空間分辨率、不同覆蓋寬度、不同譜段、不同重訪周期的遙感數(shù)據(jù)體系，全面應用于國民經(jīng)濟社會管理各領域。同時，衛(wèi)星數(shù)據(jù)量爆發(fā)式增長。相關(guān)衛(wèi)星中心每日要處理的數(shù)據(jù)增量均已經(jīng)達到TB級，數(shù)據(jù)總量已經(jīng)達到了PB級，并且還在不斷快速地增長中[3]。

目前國內(nèi)外業(yè)界普遍采用跨平臺的NFS[4-6]協(xié)議的存儲系統(tǒng)儲存衛(wèi)星數(shù)據(jù)，主流的衛(wèi)星平臺處理軟件默認兼容NFS協(xié)議。昆騰的StorNext File System(縮寫為SNFS)[7]兼容NFS協(xié)議，性能較NFS存儲系統(tǒng)有著極大的提高，被美國國家航空航天局采用，作為其日益龐大的衛(wèi)星數(shù)據(jù)存儲系統(tǒng)。但是隨著衛(wèi)星數(shù)據(jù)的迅速增長，NFS存儲系統(tǒng)以及SNFS因為元數(shù)據(jù)管理的瓶頸，不能支持超大規(guī)模數(shù)據(jù)，實時在線擴容支持很弱，不支持多種應用協(xié)議接口，并且逐漸不能滿足超高并發(fā)下的讀寫性能。

1 需求分析

衛(wèi)星大數(shù)據(jù)對存儲應用的需求集中表現(xiàn)在：高分辨率帶來的爆炸性增長的超大存儲容量和高性能需求，容量不斷增長帶來的頻繁在線擴容需求，頻繁小文件訪問的優(yōu)化需求，數(shù)據(jù)多樣性帶來的數(shù)據(jù)分布模式多樣性需求，多樣性應用引發(fā)的多種數(shù)據(jù)協(xié)議支持的需求以及多用戶下細粒度的權(quán)限需求。

高分辨率引起文件大小和文件總量的巨幅增加，直接帶動了對超大容量存儲和高帶寬的讀寫需求，高并發(fā)、極度繁重的作業(yè)量使得在線擴容成為必須。描述附加屬性的小文件的大量存在要求系統(tǒng)不僅要滿足高并發(fā)高帶寬的大文件讀寫，也要對小文件的存儲和讀寫進行優(yōu)化。不同的應用造就了數(shù)據(jù)不同的優(yōu)先級，有的數(shù)據(jù)是臨時文件或可再生成，可靠性要求低，有的數(shù)據(jù)要求高可靠性，這就需要系統(tǒng)提供不同的數(shù)據(jù)分布模式滿足不同可靠存儲需求。同樣地，不同的應用對數(shù)據(jù)的接口也存在多樣性，需要系統(tǒng)提供文件接口、塊接口和對象接口。數(shù)據(jù)的多樣性同樣要求系統(tǒng)提供多種細粒度權(quán)限機制保護數(shù)據(jù)安全。

基于以上需求，本文從衛(wèi)星數(shù)據(jù)處理中實際的訪問特點和應用模式出發(fā)，有針對性地實現(xiàn)了一個分布式存儲系統(tǒng)，實現(xiàn)超高并發(fā)讀寫性能以及讀寫帶寬線性擴展，面向多種不同應用協(xié)同工作，提供更加多樣化的存儲協(xié)議和權(quán)限支持，實現(xiàn)了帶寬和吞吐率的極大提升，有效提高了衛(wèi)星處理的實際工作效率，降低了服務器成本。

2 存儲系統(tǒng)設計

本文設計的分布式存儲系統(tǒng)，提供統(tǒng)一鏡像，整合多種存儲設備，構(gòu)建統(tǒng)一存儲空間，實現(xiàn)存儲硬件資源管理和調(diào)度、故障檢測及自動修復，同時對衛(wèi)星接收、生產(chǎn)、歸檔及其他應用系統(tǒng)提供共享、并發(fā)、高效、安全、可靠、多協(xié)議的存儲接口。

2.1 節(jié)點和接口

1)節(jié)點設計。如圖1所示，整個系統(tǒng)分為元數(shù)據(jù)節(jié)點、數(shù)據(jù)節(jié)點、管理節(jié)點和應用節(jié)點(客戶端)。應用節(jié)點訪問元數(shù)據(jù)節(jié)點和數(shù)據(jù)節(jié)點，以獲取文件信息和讀寫文件。

圖1 分布式存儲系統(tǒng)節(jié)點

元數(shù)據(jù)節(jié)點存儲文件數(shù)據(jù)屬性、用戶配額等文件描述信息，即元數(shù)據(jù)，實現(xiàn)文件、目錄、索引、權(quán)限等元數(shù)據(jù)信息管理，實現(xiàn)文件快速檢索。

數(shù)據(jù)節(jié)點存放文件數(shù)據(jù)，負責文件分段、分節(jié)點寫入、并行讀取、數(shù)據(jù)校驗等數(shù)據(jù)實體管理，實現(xiàn)文件高速讀寫。

管理節(jié)點提供給管理員用以配置管理整個系統(tǒng)。用戶通過管理節(jié)點增加刪除元數(shù)據(jù)節(jié)點和數(shù)據(jù)節(jié)點，配置用戶權(quán)限、配額等其他系統(tǒng)參數(shù)設置。

元數(shù)據(jù)節(jié)點采用集群方式，最大可擴展128臺。文件采用大數(shù)據(jù)塊存儲，根據(jù)副本的不同模式，大數(shù)據(jù)塊大小從32 MB、64 MB到256 MB不等，相對于傳統(tǒng)文件系統(tǒng)4 KB文件塊，極大減少了元數(shù)據(jù)的數(shù)量，并且將部分數(shù)據(jù)管理功能下放給數(shù)據(jù)節(jié)點，進一步降低元數(shù)據(jù)節(jié)點壓力，極大擴展了對文件和目錄數(shù)量的支持，系統(tǒng)最大可支撐單卷千億級文件的快速檢索需求。數(shù)據(jù)節(jié)點同樣采用集群方式，最大可擴展10 000臺，通過高速網(wǎng)絡和元數(shù)據(jù)節(jié)點緊密配合，實現(xiàn)系統(tǒng)最大容量達到EB級。

集群化的元數(shù)據(jù)和數(shù)據(jù)節(jié)點以及后文介紹的自動負載均衡使得存儲系統(tǒng)能以最小規(guī)模起步(單節(jié)點，既是元數(shù)據(jù)節(jié)點，同時兼任數(shù)據(jù)節(jié)點和管理節(jié)點)，在線擴容和縮小規(guī)模，同時支持在線更換服務器，不僅滿足了衛(wèi)星數(shù)據(jù)平臺必需的超大規(guī)模的文件數(shù)量和容量要求，而且能根據(jù)業(yè)務在容量和性能的需求在線擴容。

2)接口設計。存儲接口根據(jù)目標用途分為面向管理的接口和面向數(shù)據(jù)的接口。管理接口主要提供給用戶用以管理和計量的功能，方便衛(wèi)星平臺軟件統(tǒng)計數(shù)據(jù)容量，分配配額以及權(quán)限管理。而數(shù)據(jù)接口則通過協(xié)議轉(zhuǎn)換的方式，提供塊(iSCSI[8-9])、文件以及對象(S3[10])等豐富的接口給外部應用，支持衛(wèi)星平臺軟件多種應用場景下的各種功能支持。本文基于POSIX接口，不僅提供專用、高速、安全的分布式文件訪問協(xié)議、分布式塊訪問協(xié)議以及對象訪問協(xié)議，并且可同時提供標準的CIFS[11]、NFS、ISCSI、HTTP、FTP等傳統(tǒng)協(xié)議訪問數(shù)據(jù)，從而滿足衛(wèi)星遙感數(shù)據(jù)管理中多種應用類型的需求。

3)網(wǎng)絡協(xié)議。本文通過一種自定義的網(wǎng)絡通信協(xié)議，實現(xiàn)異構(gòu)存儲設備之間的互操作，同時也對第三方存儲設備特有的訪問接口提供支持以充分發(fā)揮其高級特性，實現(xiàn)更高的效率和靈活性。

自定義的網(wǎng)絡協(xié)議雖然提升了系統(tǒng)復雜度，但是精巧的設計提高了每次通信的收益，降低了冗余的通信次數(shù)，從而提高了系統(tǒng)的吞吐率。

4)一致性?？蛻舳瞬捎脮捯恢滦裕蛻舳舜蜷_關(guān)閉文件時，檢查數(shù)據(jù)有效性以及同步臟數(shù)據(jù)，并且周期性(30 s)訪問元數(shù)據(jù)節(jié)點更新文件屬性。

數(shù)據(jù)節(jié)點的副本一致性是弱化的副本一致性要求，主副本異步復制到從副本，從而在可用性和一致性中尋得平衡。

2.2 總體設計

1)數(shù)據(jù)讀寫流程。數(shù)據(jù)讀寫流程見圖2。在寫入數(shù)據(jù)時，客戶端首先在內(nèi)存中切片，把數(shù)據(jù)直接發(fā)送到不同的數(shù)據(jù)節(jié)點上，形成一對多的訪問形式。相比服務端切片，這種方式分散了對高速網(wǎng)絡的壓力，避免了NAS[12]頭多對一的訪問瓶頸，極大提高了聚合寫帶寬，有效提升集群寫效率。在讀取數(shù)據(jù)時，客戶端首先根據(jù)元數(shù)據(jù)信息，直接從所有相關(guān)的存儲上獲取所需數(shù)據(jù)，然后在內(nèi)存中組裝成完整數(shù)據(jù)，提升了整體性能，避免服務端組裝數(shù)據(jù)產(chǎn)生的性能瓶頸。

圖2 存儲系統(tǒng)讀寫數(shù)據(jù)并發(fā)處理流程

管理節(jié)點對多個數(shù)據(jù)節(jié)點統(tǒng)一管理，向前端客戶端提供一個大的存儲資源共享池進行數(shù)據(jù)訪問，并控制、調(diào)配每臺數(shù)據(jù)節(jié)點及硬盤。在應用系統(tǒng)讀寫過程中，客戶端基于網(wǎng)絡文件共享協(xié)議協(xié)調(diào)工作，在具體數(shù)據(jù)讀寫過程中，通過元數(shù)據(jù)協(xié)調(diào)多個數(shù)據(jù)節(jié)點并發(fā)響應，提升讀寫訪問性能。

2)權(quán)限。系統(tǒng)提供多種權(quán)限機制，方便管理員根據(jù)工作需求和任務級別安排不同用戶訪問對應權(quán)限的數(shù)據(jù)。同時，系統(tǒng)實現(xiàn)了對用戶訪問權(quán)限的絕對控制，使得非法用戶即使獲取到操作系統(tǒng)的所有權(quán)限，也無法逾越存儲系統(tǒng)的自帶私有權(quán)限，加強了數(shù)據(jù)的安全性。

系統(tǒng)內(nèi)置讀、寫、刪除、重命名、鏈接、列出(list)和追加寫(append)7種細粒度權(quán)限模式，基于用戶和目錄進行設置，用戶對任意目錄做細粒度的權(quán)限拆分。所有用戶的數(shù)據(jù)創(chuàng)建、刪除和重命名操作均被記錄，并可以隨時查詢。

當客戶端訪問文件時，首先訪問元數(shù)據(jù)節(jié)點獲取文件權(quán)限信息，客戶端首先校驗操作系統(tǒng)權(quán)限模型，然后進行系統(tǒng)私有權(quán)限校驗。為了降低元數(shù)據(jù)節(jié)點的壓力，客戶端會緩存該權(quán)限信息，并周期性(5 s)地查詢獲取。

3)負載均衡自動探測機制。本文設計了一種負載均衡自動探測機制，對存儲系統(tǒng)中所有數(shù)據(jù)節(jié)點的容量進行均衡分配，確保數(shù)據(jù)優(yōu)先寫入負載較輕磁盤，并且可以動態(tài)地對現(xiàn)有數(shù)據(jù)進行遷移，使數(shù)據(jù)在集群內(nèi)部均衡分布，提升空間利用率。遷移過程完全自動進行，無須人工參與，可根據(jù)業(yè)務需求，在線開啟與停止，同時可根據(jù)業(yè)務壓力負載情況，自動暫停，優(yōu)先特定業(yè)務訪問請求。

2.3 存儲安全設計

1)分布式元數(shù)據(jù)多副本模式。系統(tǒng)的元數(shù)據(jù)存儲在不同的元數(shù)據(jù)節(jié)點上，構(gòu)成一個元數(shù)據(jù)集群，管理數(shù)據(jù)節(jié)點并向應用客戶端提供高速服務。元數(shù)據(jù)集群節(jié)點對外提供高并發(fā)讀取服務，支持海量文件的大量并行查詢，和客戶端機器的海量并發(fā)查詢請求。元數(shù)據(jù)在集群中的分布模式如圖3所示。

圖3 元數(shù)據(jù)多副本分布存儲模式

為防止單節(jié)點故障，元數(shù)據(jù)節(jié)點兩兩配對，互相備份對方的元數(shù)據(jù)和服務，實時同步元數(shù)據(jù)更新，這樣任何一個元數(shù)據(jù)節(jié)點損毀或宕機，另一個元數(shù)據(jù)節(jié)點都將自動接管其服務，不會中斷前端應用服務。

2)數(shù)據(jù)高可靠設計。存儲管理單元對所有節(jié)點的硬盤設備進行實時控制，通過硬盤探測機制，可以監(jiān)控到硬盤的使用狀態(tài)以及數(shù)據(jù)讀寫延遲大小，一旦出現(xiàn)硬盤壞道或訪問不穩(wěn)定的情況，自動遷移此磁盤上的所有數(shù)據(jù)到其他正常磁盤上。管理單元同時提供了禁止寫入數(shù)據(jù)、禁止恢復數(shù)據(jù)等設置，方便系統(tǒng)化的維護，并且可以根據(jù)現(xiàn)有節(jié)點狀況實現(xiàn)在線更換所有老舊設備，提升節(jié)點可靠性，增強整套存儲系統(tǒng)的可維護性。

分段校驗模式是將文件分段存儲在數(shù)據(jù)節(jié)點集群中，其中每一個文件都會被切片為N個均等的數(shù)據(jù)段，并且由N個數(shù)據(jù)段生成一個校驗數(shù)據(jù)段，與數(shù)據(jù)段大小一致，并把這N+1個數(shù)據(jù)段分別存放在N+1臺不同的數(shù)據(jù)節(jié)點上。文件A的segment1、segment2、校驗數(shù)據(jù)分別存放在3個數(shù)據(jù)節(jié)點的硬盤上，當存放segment1數(shù)據(jù)的硬盤或數(shù)據(jù)節(jié)點整體失效時，根據(jù)segment2與校驗數(shù)據(jù)繼續(xù)對數(shù)據(jù)進行讀寫，同時存儲管理單元將自動對損失的數(shù)據(jù)進行恢復，由segment2數(shù)據(jù)與校驗數(shù)據(jù)生成損失的數(shù)據(jù)，存放到正常的數(shù)據(jù)節(jié)點上，形成完整的冗余。數(shù)據(jù)分段存儲校驗及自動恢復模式如圖4所示。

圖4 分段校驗模式

不同的應用對數(shù)據(jù)的可靠性有不同的需求。存儲池中不同目錄可以靈活設置不同的校驗數(shù)，一般設置2+1校驗模式與4+1校驗模式。

為了能及時恢復失效數(shù)據(jù)，不影響數(shù)據(jù)的可靠性和一致性，本文設計了一套自動故障探測機制，多對多數(shù)據(jù)自動恢復模式，一旦探測到故障就自動啟動數(shù)據(jù)恢復流程。為了實現(xiàn)無人工干預的自動恢復，恢復過程中無須加入新的硬件。在客戶端節(jié)點往數(shù)據(jù)節(jié)點中寫入數(shù)據(jù)時，所有的數(shù)據(jù)段與校驗數(shù)據(jù)段同時寫入；當有數(shù)據(jù)正在寫入的磁盤或數(shù)據(jù)節(jié)點發(fā)生故障時，元數(shù)據(jù)節(jié)點會在正常的數(shù)據(jù)節(jié)點或磁盤中為此數(shù)據(jù)對象分配新的空間，并繼續(xù)進行數(shù)據(jù)寫入，而之前在失效磁盤上寫入的數(shù)據(jù)，則會通過其他數(shù)據(jù)段恢復到相應的磁盤和數(shù)據(jù)節(jié)點上。

一個磁盤上的數(shù)據(jù)段對應的冗余數(shù)據(jù)是平均分布在其他所有的數(shù)據(jù)節(jié)點上的，損失的數(shù)據(jù)也將平均恢復到整個數(shù)據(jù)節(jié)點集群中。數(shù)據(jù)恢復過程由所有狀態(tài)完好的數(shù)據(jù)節(jié)點并發(fā)進行，是一個多對多的數(shù)據(jù)恢復模式。由于數(shù)據(jù)恢復過程中所有數(shù)據(jù)節(jié)點都共同參與，所以數(shù)據(jù)節(jié)點集群的規(guī)模越大，參與恢復的數(shù)據(jù)節(jié)點數(shù)量就越多，恢復速度也就越快。

3 存儲系統(tǒng)實現(xiàn)和優(yōu)化

3.1 存儲架構(gòu)設計

根據(jù)以上提出的設計方案，整個系統(tǒng)包括4部分：功能模塊、應用接口、管理接口、公共模塊。功能模塊是整個分布式存儲系統(tǒng)的核心，負責處理存儲系統(tǒng)中數(shù)據(jù)分布、集群處理、負載均衡、一致性協(xié)議等核心功能。應用接口負責以文件接口、塊接口、對象接口呈現(xiàn)給上層應用。管理接口負責全局節(jié)點的部署、刪除等配置。公共模塊處理共用的網(wǎng)絡框架、內(nèi)存池、任務隊列、全局鎖、壓縮解壓縮、糾刪碼。

3.2 性能優(yōu)化

1)緩存和預取?？蛻舳嗽L問數(shù)據(jù)時，首先訪問元數(shù)據(jù)節(jié)點獲取文件對應的位置信息，然后根據(jù)位置訪問對應的數(shù)據(jù)節(jié)點獲取文件數(shù)據(jù)。為了減少訪問開銷，客戶端采用緩存(cache)和預取(prefetch)，根據(jù)應用特定的訪問模式，文件的位置信息被客戶端緩存起來，并且根據(jù)訪問順序把接下來的位置信息預先讀取，這樣客戶端再次尋址時，首先查詢本地緩存，只有緩存不命中或緩存過期，才會真正訪問元數(shù)據(jù)節(jié)點，這樣就會大大降低對元數(shù)據(jù)節(jié)點的訪問壓力。

客戶端不僅對于元數(shù)據(jù)進行緩存和預取，而且對連續(xù)訪問的數(shù)據(jù)更是如此。高分辨率衛(wèi)星決定了其數(shù)據(jù)的大文件存儲，決定了其讀取是大塊連續(xù)的方式?？蛻舳嗽谔幚懋斍白x取的數(shù)據(jù)時，同時發(fā)送預取指令請求接下來的數(shù)據(jù)。數(shù)據(jù)節(jié)點也根據(jù)客戶端的順序訪問模式以及衛(wèi)星數(shù)據(jù)的訪問特點預先讀取以后位置的連續(xù)塊。這樣客戶端和數(shù)據(jù)節(jié)點的同時預取大大降低了上層應用軟件的訪問延遲，平滑了數(shù)據(jù)節(jié)點的訪問波峰。

2)糾刪碼。系統(tǒng)為了提供高可靠性，引入副本模式，在多個機架或服務器存儲多個副本。但是額外的副本會大大浪費寶貴的磁盤空間，為了降低存儲成本，本文設計了糾刪碼。支持的糾刪碼級別有：N+1、N+2、N+3和N+4，N值可設置為2、4、8、16，對于N+M數(shù)據(jù)類型，N代表節(jié)點或硬盤的數(shù)量，M代表在不發(fā)生數(shù)據(jù)丟失的前提下，系統(tǒng)所允許同時發(fā)生故障的節(jié)點數(shù)或磁盤數(shù)。例如8+4模式下，只需要額外50%的空間，就可以提供多達4個數(shù)據(jù)節(jié)點或出現(xiàn)故障磁盤數(shù)。糾刪碼編碼時會帶來額外的計算壓力，本文采用SSE族指令集，調(diào)用CPU的協(xié)處理器進行物理計算，極大地解放了CPU，并且逐行代碼分析調(diào)試，去除諸如memset等占用內(nèi)存帶寬的函數(shù)。

3)小文件優(yōu)化。衛(wèi)星數(shù)據(jù)文件不僅有連續(xù)存放的大文件，更有龐大的小文件。數(shù)據(jù)節(jié)點把小文件聚合成一塊存儲，不僅減輕了小文件存儲負載，而且能加速小文件恢復重建。

小文件的讀寫使用額外的專用緩存，根據(jù)應用具體的訪問模式，針對性地修改緩存算法的參數(shù)，以獲取更高的緩存命中率。

針對小文件通信訪問的頻率高、數(shù)據(jù)量小的特點，系統(tǒng)的通信模塊優(yōu)化成由若干可調(diào)的線程集中處理通信，大大降低了系統(tǒng)上下文切換次數(shù)，降低CPU壓力，提升系統(tǒng)IOPS，降低延時。

4 實驗與結(jié)果分析

4.1 測試環(huán)境

本實驗采用8臺數(shù)據(jù)節(jié)點，2臺元數(shù)據(jù)節(jié)點，總存儲容量400 TB，分別進行存儲擴展、性能及安全測試，測試數(shù)據(jù)是4 TB的高分一號衛(wèi)星影像數(shù)據(jù)。數(shù)據(jù)節(jié)點配置為2路4核CPU、64 GB內(nèi)存、48 TB硬盤、雙口萬兆網(wǎng)卡。

4.2 可靠性測試

對存儲平臺進行節(jié)點宕機、磁盤故障和數(shù)據(jù)恢復測試，以測試存儲可靠性。詳細測試內(nèi)容及結(jié)論見表1。

表1 存儲可靠性測試

4.3 可擴展性測試

對存儲平臺進行在線添加數(shù)據(jù)節(jié)點、在線刪除和負載均衡測試，以測試存儲可擴展性。詳細測試內(nèi)容及結(jié)論見表2。

表2 存儲可擴展性測試

4.4 性能測試

測試存儲系統(tǒng)在不同節(jié)點數(shù)配置時的讀寫性能表現(xiàn)，測試總數(shù)據(jù)量為4 TB。隨著節(jié)點數(shù)的增多，存儲系統(tǒng)的讀寫性能也相應地線性增長，并且能比較穩(wěn)定地保持線性關(guān)系。3個數(shù)據(jù)節(jié)點時的寫性能為5.78 GB/s，讀性能為3.5 GB/s；4個數(shù)據(jù)節(jié)點時的寫性能為6.36 GB/s，讀性能為4.56 GB/s；5個數(shù)據(jù)節(jié)點時的寫性能為7.3 GB/s，讀性能為5.61 GB/s；8個數(shù)據(jù)節(jié)點時的寫性能為11.5 GB/s，讀性能為9 GB/s。測試結(jié)果如圖5所示。

圖5 不同節(jié)點配置讀寫速度

4.5 實驗結(jié)果分析

以上測試結(jié)果表明，系統(tǒng)在數(shù)據(jù)節(jié)點宕機、磁盤出現(xiàn)故障后能夠自動進行數(shù)據(jù)恢復，在線添加和刪除設備后，能夠自動檢測并且正常讀寫數(shù)據(jù)。原有衛(wèi)星影像存儲系統(tǒng)聚合讀寫性能是5 GB/s，本文的分布式存儲系統(tǒng)實際測試聚合讀寫性能超過10 GB/s，提升了1倍。業(yè)務生產(chǎn)中實現(xiàn)每軌數(shù)據(jù)SC處理流程寫性能在10 min以內(nèi)，讀性能在20 min以內(nèi)(如前端應用改進，可更快)，極大地提高衛(wèi)星影像大數(shù)據(jù)生產(chǎn)效率。

5 結(jié)束語

本文針對衛(wèi)星數(shù)據(jù)訪問模式和具體需求設計了一個分布式存儲系統(tǒng)。元數(shù)據(jù)節(jié)點和數(shù)據(jù)節(jié)點采用集群方式，數(shù)據(jù)分布采用多副本和糾刪碼多種方式，并根據(jù)數(shù)據(jù)實際的訪問特點進行了小文件聚合、小文件通信模塊優(yōu)化、大數(shù)據(jù)塊存儲、數(shù)據(jù)分片、客戶端和數(shù)據(jù)節(jié)點的緩存預取等多種性能優(yōu)化，提供了卓越的可擴展性和訪問帶寬、多種訪問接口和7種細粒度權(quán)限的支持，滿足了應用多樣性的需求和用戶權(quán)限的需求，最后開展了真實的衛(wèi)星影像數(shù)據(jù)產(chǎn)品生產(chǎn)實驗。實驗表明，分布式存儲系統(tǒng)在保證高可靠性的同時大大提高了數(shù)據(jù)讀取性能。后續(xù)工作是進一步精細化分析衛(wèi)星數(shù)據(jù)訪問模式在數(shù)據(jù)分布、負載均衡、故障恢復、讀寫性能方面的優(yōu)化。