宮永生，呂從民，曹素芝

(1.中國(guó)科學(xué)院空間應(yīng)用工程與技術(shù)中心，北京100094；2.中國(guó)科學(xué)院大學(xué)，北京100049)

1 引言

隨著太空探索逐步深入，空間應(yīng)用的規(guī)模大幅擴(kuò)展，相應(yīng)地出現(xiàn)了載人空間站等大型飛行器及低軌互聯(lián)網(wǎng)衛(wèi)星星座等空間應(yīng)用形態(tài)，且未來(lái)會(huì)向著月球基地、火星基地以及更深遠(yuǎn)的太空進(jìn)一步拓展。空間應(yīng)用的擴(kuò)展對(duì)空間信息系統(tǒng)的發(fā)展提出了新的要求，空間信息系統(tǒng)的架構(gòu)走向以組網(wǎng)為基礎(chǔ)分布式形態(tài)，包括飛行器內(nèi)部基于有線網(wǎng)絡(luò)的分布式存儲(chǔ)和處理以及多個(gè)飛行器間的空間無(wú)線網(wǎng)絡(luò)分布式信息存儲(chǔ)和處理?？臻g信息系統(tǒng)架構(gòu)的演進(jìn)意味著必須考慮如何在空間部署分布式存儲(chǔ)系統(tǒng)，以滿足未來(lái)空間應(yīng)用的需求。

對(duì)象存儲(chǔ)系統(tǒng)通過(guò)創(chuàng)新性的分布式架構(gòu)設(shè)計(jì)，解決了資源共享、超高速存儲(chǔ)、海量存儲(chǔ)、高可靠、可擴(kuò)展等數(shù)據(jù)存儲(chǔ)系統(tǒng)面臨的難題，在地面大規(guī)模數(shù)據(jù)存儲(chǔ)系統(tǒng)中獲得廣泛應(yīng)用。國(guó)際互聯(lián)網(wǎng)工程任務(wù)組(Internet Engineering Task Force，IETF)于2010年正式發(fā)布了并行文件系統(tǒng)(parallel Network File System，pNFS)標(biāo)準(zhǔn)，在傳統(tǒng)的網(wǎng)絡(luò)文件系統(tǒng)NFS基礎(chǔ)上添加對(duì)于分布式存儲(chǔ)系統(tǒng)的支持，同時(shí)支持對(duì)象存儲(chǔ)、塊存儲(chǔ)和文件存儲(chǔ)設(shè)備3種類型。針對(duì)對(duì)象存儲(chǔ)設(shè)備，pNFS定義了分布式對(duì)象存儲(chǔ)的基本架構(gòu)，但并未詳細(xì)規(guī)定具體的分布式控制協(xié)議、存儲(chǔ)協(xié)議以及系統(tǒng)數(shù)據(jù)備份策略等內(nèi)容。由美國(guó)能源部資助開(kāi)發(fā)的開(kāi)源對(duì)象存儲(chǔ)系統(tǒng)Lustre在超大規(guī)模和超高性能服務(wù)集群中獲得廣泛應(yīng)用，在系統(tǒng)規(guī)模、性能和可靠性方面表現(xiàn)優(yōu)異，但系統(tǒng)設(shè)計(jì)復(fù)雜度極高。面向極致性能、可靠性和可擴(kuò)展性而設(shè)計(jì)的統(tǒng)一對(duì)象存儲(chǔ)系統(tǒng)Ceph則在OpenStack社區(qū)獲得了相當(dāng)廣泛的使用，其采用名為CRUSH(Controlled Replication Under Scalable Hashing)的算法計(jì)算數(shù)據(jù)對(duì)象的存儲(chǔ)位置，替代傳統(tǒng)元數(shù)據(jù)索引管理方式，提升了元數(shù)據(jù)服務(wù)器性能，以算代存是很巧妙的問(wèn)題解決思路，但是需要客戶端具有較強(qiáng)計(jì)算能力支持。

對(duì)象存儲(chǔ)系統(tǒng)能夠解決未來(lái)空間應(yīng)用數(shù)據(jù)存儲(chǔ)的大規(guī)模、高可靠、可擴(kuò)展等關(guān)鍵需求，但是也面臨一些設(shè)計(jì)挑戰(zhàn)，突出體現(xiàn)在兩方面:①空間設(shè)備的體積、重量、功耗(Size，Weight，and Power，SWaP)約束要遠(yuǎn)遠(yuǎn)比地面嚴(yán)苛，對(duì)象存儲(chǔ)系統(tǒng)架構(gòu)及協(xié)議設(shè)計(jì)上需充分優(yōu)化，降低系統(tǒng)SwaP，特別是用戶端的協(xié)議設(shè)計(jì)應(yīng)盡可能簡(jiǎn)單。②空間應(yīng)用數(shù)據(jù)具有特殊性，數(shù)據(jù)的產(chǎn)生、表征、傳輸?shù)燃扔袇f(xié)議需要兼容，數(shù)據(jù)在軌存儲(chǔ)模式與地面互聯(lián)網(wǎng)應(yīng)用相比也有很大的不同，空間數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)需進(jìn)行針對(duì)性考慮。

本文針對(duì)航天應(yīng)用數(shù)據(jù)存儲(chǔ)的需求，首先研究空間應(yīng)用的數(shù)據(jù)特征及其對(duì)象化表征方式；然后在此基礎(chǔ)上綜合考慮空間設(shè)備體積、重量、功耗等特定的約束條件，設(shè)計(jì)輕量化空間應(yīng)用對(duì)象存儲(chǔ)系統(tǒng)架構(gòu)及相關(guān)協(xié)議，并探討系統(tǒng)中數(shù)據(jù)備份等關(guān)鍵策略設(shè)計(jì)；最后給出系統(tǒng)實(shí)現(xiàn)及驗(yàn)證情況，對(duì)后續(xù)研究提供借鑒。

2 基于CCSDS航天應(yīng)用數(shù)據(jù)對(duì)象化定義

對(duì)象存儲(chǔ)系統(tǒng)中的對(duì)象是數(shù)據(jù)的一種邏輯組織形式，對(duì)象特征通過(guò)對(duì)象屬性來(lái)描述。航天應(yīng)用數(shù)據(jù)對(duì)象的建立除了需要表征航天應(yīng)用數(shù)據(jù)的特征之外，還需考慮數(shù)據(jù)對(duì)象后續(xù)存儲(chǔ)及處理的使用模式，特別是在基于網(wǎng)絡(luò)的對(duì)象存儲(chǔ)系統(tǒng)中，對(duì)象數(shù)據(jù)的格式定義對(duì)于系統(tǒng)設(shè)計(jì)有很大影響。

航天應(yīng)用數(shù)據(jù)一般按照CCSDS(Consultative Committee for Space Data Systems)定義的數(shù)據(jù)格式進(jìn)行描述，本文在不更改CCSDS協(xié)議的前提下，對(duì)CCSDS的字段進(jìn)行部分?jǐn)U展，以反映空間應(yīng)用數(shù)據(jù)的特征，同時(shí)考慮數(shù)據(jù)對(duì)象分布式存儲(chǔ)需求。

CCSDS空間數(shù)據(jù)包協(xié)議(Space Packet Protocol，SPP)定義了空間應(yīng)用的數(shù)據(jù)格式，滿足星間、星地等空間鏈路上的空間用戶數(shù)據(jù)傳輸需求，是傳輸鏈路層和用戶應(yīng)用之間的橋梁性協(xié)議。SPP協(xié)議定義的標(biāo)準(zhǔn)數(shù)據(jù)格式如圖1所示，主要包括主導(dǎo)頭、副導(dǎo)頭和用戶數(shù)據(jù)區(qū)3部分。

圖1 空間數(shù)據(jù)包協(xié)議格式定義Fig.1 Definition of Space Packet Protocol

通過(guò)SPP數(shù)據(jù)格式可以看到，主導(dǎo)頭主要用于定義數(shù)據(jù)的產(chǎn)生源頭以及數(shù)據(jù)傳輸方式，而副導(dǎo)頭則預(yù)留了較大的擴(kuò)展空間，可以依據(jù)應(yīng)用進(jìn)行定制。

根據(jù)空間應(yīng)用數(shù)據(jù)的自身特性以及對(duì)象存儲(chǔ)系統(tǒng)的特點(diǎn)，在副導(dǎo)頭增加數(shù)據(jù)存儲(chǔ)屬性字段來(lái)擴(kuò)展數(shù)據(jù)的表征方式，并添加數(shù)據(jù)的后續(xù)存儲(chǔ)需求，例如數(shù)據(jù)可靠性保證需求、數(shù)據(jù)的保密和壓縮需求等內(nèi)容。數(shù)據(jù)對(duì)象的副導(dǎo)頭擴(kuò)展定義如圖2所示。

數(shù)據(jù)存儲(chǔ)屬性字段的第1個(gè)要素為任務(wù)號(hào)TaskID，由于空間應(yīng)用數(shù)據(jù)的產(chǎn)生和處理與任務(wù)的安排密切相關(guān)，可方便后續(xù)對(duì)該任務(wù)數(shù)據(jù)的查詢和檢索操作。

圖2 空間應(yīng)用數(shù)據(jù)對(duì)象副導(dǎo)頭擴(kuò)展定義Fig.2 Packet secondary header definition for space app lication data

數(shù)據(jù)存儲(chǔ)屬性字段的第2個(gè)要素設(shè)計(jì)為子設(shè)備號(hào)SubDeviceID，對(duì)于某個(gè)特定的空間應(yīng)用載荷(具有唯一APID)一般會(huì)包括若干個(gè)儀器設(shè)備，不同的儀器設(shè)備數(shù)據(jù)特征各不相同，后續(xù)需要的存儲(chǔ)策略也有很大差異，因此加入子設(shè)備號(hào)屬性，可對(duì)應(yīng)用數(shù)據(jù)進(jìn)一步細(xì)分。

數(shù)據(jù)存儲(chǔ)屬性字段的第3個(gè)要素設(shè)計(jì)為數(shù)據(jù)類型DataType，對(duì)于某個(gè)特定的空間應(yīng)用載荷的特定儀器設(shè)備，依然可能產(chǎn)生不同的數(shù)據(jù)類型需要進(jìn)行區(qū)分存儲(chǔ)，數(shù)據(jù)類型字段可以對(duì)數(shù)據(jù)進(jìn)一步細(xì)分。

數(shù)據(jù)存儲(chǔ)屬性字段的第4個(gè)要素設(shè)計(jì)為數(shù)據(jù)段標(biāo)識(shí)SegNo，用于對(duì)同一類型數(shù)據(jù)的長(zhǎng)度進(jìn)行擴(kuò)充。SPP協(xié)議中定義的序列號(hào)字段SeqNo僅能表示不超過(guò)1 GB的數(shù)據(jù)，對(duì)于更大的數(shù)據(jù)長(zhǎng)度，序列號(hào)SeqNo會(huì)重復(fù)。增加數(shù)據(jù)段標(biāo)識(shí)SegNo可擴(kuò)展數(shù)據(jù)對(duì)象長(zhǎng)度。

數(shù)據(jù)存儲(chǔ)屬性字段的第5個(gè)要素設(shè)計(jì)為QoS字段，QoS字段表征該數(shù)據(jù)對(duì)象希望對(duì)象存儲(chǔ)系統(tǒng)執(zhí)行的所有特殊需求，主要包括數(shù)據(jù)備份數(shù)目的需求、數(shù)據(jù)加密/壓縮等需求。

綜上，空間應(yīng)用數(shù)據(jù)的CCSDS數(shù)據(jù)包可以采用＜APID，Task ID，SubDeviceID，DataType，SegNo，SeqNo＞六元組進(jìn)行唯一表征，其中APID和Seq-No使用SPP包格式的主導(dǎo)頭信息，而TaskID，SubDeviceID，DataType，SegNo則使用SPP包格式的副導(dǎo)頭擴(kuò)展信息。

3 對(duì)象存儲(chǔ)系統(tǒng)架構(gòu)設(shè)計(jì)

3.1 系統(tǒng)架構(gòu)

對(duì)象存儲(chǔ)系統(tǒng)由3部分構(gòu)成，客戶端(Client)、元數(shù)據(jù)服務(wù)器(Metadata Server，MDS)和對(duì)象存儲(chǔ)設(shè)備(Object Storage Device，OSD)，三部分之間通過(guò)主要的3個(gè)協(xié)議進(jìn)行通信:存儲(chǔ)控制協(xié)議、存儲(chǔ)管理協(xié)議和存儲(chǔ)訪問(wèn)協(xié)議。系統(tǒng)架構(gòu)如圖3所示。

圖3 對(duì)象存儲(chǔ)系統(tǒng)架構(gòu)Fig.3 Framework of object storage system

客戶端與元數(shù)據(jù)服務(wù)器通過(guò)存儲(chǔ)控制協(xié)議交換控制信息，例如任務(wù)請(qǐng)求及響應(yīng)等；客戶端與對(duì)象存儲(chǔ)設(shè)備通過(guò)存儲(chǔ)訪問(wèn)協(xié)議交換讀寫(xiě)的數(shù)據(jù)；元數(shù)據(jù)服務(wù)器與對(duì)象存儲(chǔ)設(shè)備通過(guò)存儲(chǔ)管理協(xié)議進(jìn)行對(duì)象存儲(chǔ)設(shè)備狀態(tài)管理等。

3.1.1 客戶端

客戶端是用戶訪問(wèn)對(duì)象存儲(chǔ)系統(tǒng)的入口，將用戶直接的數(shù)據(jù)讀寫(xiě)轉(zhuǎn)換為對(duì)象存儲(chǔ)系統(tǒng)內(nèi)部的數(shù)據(jù)訪問(wèn)?？蛻舳似帘螌?duì)象存儲(chǔ)系統(tǒng)內(nèi)部訪問(wèn)細(xì)節(jié)，對(duì)用戶提供直接的標(biāo)準(zhǔn)數(shù)據(jù)訪問(wèn)接口。

1)客戶端與元數(shù)據(jù)服務(wù)器交換控制信息，獲得當(dāng)前存儲(chǔ)系統(tǒng)的狀態(tài)；

2)客戶端與對(duì)象存儲(chǔ)設(shè)備直接進(jìn)行數(shù)據(jù)讀寫(xiě)，完成數(shù)據(jù)傳輸。

3.1.2 元數(shù)據(jù)服務(wù)器

元數(shù)據(jù)服務(wù)器負(fù)責(zé)管理整個(gè)對(duì)象存儲(chǔ)系統(tǒng)，包括所有用戶的元數(shù)據(jù)信息以及對(duì)象存儲(chǔ)系統(tǒng)自身的狀態(tài)信息。元數(shù)據(jù)信息描述了數(shù)據(jù)對(duì)象是如何分布在對(duì)象存儲(chǔ)設(shè)備上的布局信息(LAYOUT信息)，而系統(tǒng)自身狀態(tài)信息則反映了對(duì)象存儲(chǔ)設(shè)備本身的工作狀態(tài)。

1)對(duì)象存儲(chǔ)設(shè)備管理功能，包括節(jié)點(diǎn)健康狀況監(jiān)控及故障隔離；

2)系統(tǒng)元數(shù)據(jù)管理功能，負(fù)責(zé)所有用戶數(shù)據(jù)的元數(shù)據(jù)信息管理，提供用戶數(shù)據(jù)快速查詢和檢索功能。

3.1.3 對(duì)象存儲(chǔ)設(shè)備

對(duì)象存儲(chǔ)設(shè)備負(fù)責(zé)具體用戶數(shù)據(jù)的實(shí)際存儲(chǔ)功能。

1)智能化數(shù)據(jù)存儲(chǔ)功能，支持按照數(shù)據(jù)對(duì)象ID進(jìn)行數(shù)據(jù)訪問(wèn)；

2)支持按照時(shí)間碼、對(duì)象屬性等進(jìn)行快速檢索，提供符合要求的對(duì)象數(shù)據(jù)；

3)支持智能數(shù)據(jù)備份功能，對(duì)于需要進(jìn)行數(shù)據(jù)冗余備份的對(duì)象數(shù)據(jù)，自動(dòng)在多個(gè)對(duì)象存儲(chǔ)設(shè)備節(jié)點(diǎn)進(jìn)行數(shù)據(jù)備份。

3.2 系統(tǒng)功能設(shè)計(jì)

3.2.1 對(duì)象顆粒度設(shè)置

按照SPP格式定義，空間應(yīng)用數(shù)據(jù)的基本顆粒度為單個(gè)CCSDS數(shù)據(jù)包，通過(guò)＜APID，TaskID，SubDeviceID，DataType，SegNo，SeqNo＞六元組進(jìn)行表征，數(shù)據(jù)長(zhǎng)度最長(zhǎng)為64 kB。

對(duì)于對(duì)象存儲(chǔ)系統(tǒng)來(lái)說(shuō)，數(shù)據(jù)對(duì)象的顆粒度越小，意味著數(shù)據(jù)對(duì)象的管理類元數(shù)據(jù)信息越大。假設(shè)對(duì)象存儲(chǔ)系統(tǒng)的總?cè)萘繛?28 TB，意味著數(shù)據(jù)對(duì)象的個(gè)數(shù)不少于2×10個(gè)。如果對(duì)于每個(gè)數(shù)據(jù)對(duì)象都建立索引信息，則元數(shù)據(jù)服務(wù)器代價(jià)很大。為此可將數(shù)據(jù)對(duì)象的管理粒度和實(shí)際對(duì)象存儲(chǔ)粒度分離設(shè)計(jì)，將若干個(gè)數(shù)據(jù)對(duì)象分組進(jìn)行統(tǒng)一管理。

例如，考慮到空間應(yīng)用任務(wù)執(zhí)行的特點(diǎn)和系統(tǒng)規(guī)模，元數(shù)據(jù)服務(wù)器的索引信息可以只管理到數(shù)據(jù)段號(hào)，對(duì)于具有相同五元組＜APID，Task ID，SubDeviceID，DataType，SegNo＞的數(shù)據(jù)對(duì)象都分布在同一個(gè)OSD上，這樣元數(shù)據(jù)服務(wù)器的管理壓力顯著減低。另一方面具有相同五元組的數(shù)據(jù)對(duì)象總?cè)萘坎粫?huì)超過(guò)1 GB，方便了用戶應(yīng)用數(shù)據(jù)在多個(gè)OSD之間的調(diào)度問(wèn)題，也簡(jiǎn)化了多備份策略下的數(shù)據(jù)遷移問(wèn)題。

本系統(tǒng)將數(shù)據(jù)對(duì)象進(jìn)行組合管理，每個(gè)數(shù)據(jù)對(duì)象組通過(guò)五元組＜APID，Task ID，SubDeviceID，DataType，SegNo＞進(jìn)行表征，而數(shù)據(jù)對(duì)象的讀寫(xiě)訪問(wèn)則依然使用六元組＜APID，Task ID，SubDeviceID，DataType，SegNo，SeqNo＞，簡(jiǎn)化系統(tǒng)管理的同時(shí)，滿足用戶細(xì)粒度訪問(wèn)數(shù)據(jù)的需求。

3.2.2 模塊具體功能設(shè)計(jì)

1)元數(shù)據(jù)服務(wù)器模塊。對(duì)象存儲(chǔ)系統(tǒng)中OSD設(shè)備狀態(tài)存在上線、下線等狀態(tài)變化，元數(shù)據(jù)服務(wù)器需實(shí)時(shí)了解各個(gè)OSD設(shè)備的可用狀態(tài)。為此設(shè)計(jì)心跳機(jī)制，OSD設(shè)備定時(shí)向元數(shù)據(jù)服務(wù)器報(bào)告自己的狀態(tài)。通過(guò)該機(jī)制，元數(shù)據(jù)服務(wù)器可了解系統(tǒng)中所有OSD在線狀態(tài)以及在線OSD的可用存儲(chǔ)容量、執(zhí)行任務(wù)情況等，并在系統(tǒng)中維持該信息(系統(tǒng)狀態(tài)信息)。

元數(shù)據(jù)服務(wù)器另一個(gè)重要功能是維護(hù)系統(tǒng)中所有數(shù)據(jù)對(duì)象組的映射關(guān)系，即每個(gè)數(shù)據(jù)對(duì)象組存放在哪些OSD上(LAYOUT信息)。一般情況下，元數(shù)據(jù)服務(wù)器自身持久維護(hù)該信息，由此帶來(lái)了多元數(shù)據(jù)服務(wù)器之間、元數(shù)據(jù)服務(wù)器和OSD之間的信息同步問(wèn)題，需要設(shè)計(jì)復(fù)雜的一致性協(xié)議保障數(shù)據(jù)同步。

本文設(shè)計(jì)的元數(shù)據(jù)服務(wù)器對(duì)LAYOUT信息采用緩存模式，元數(shù)據(jù)服務(wù)器并不會(huì)長(zhǎng)久保存LAYOUT信息，而是通過(guò)非易失OSD設(shè)備的信息進(jìn)行恢復(fù)，所有數(shù)據(jù)以O(shè)SD信息為主，OSD同時(shí)保存了對(duì)象數(shù)據(jù)和對(duì)象元數(shù)據(jù)信息，可以保證數(shù)據(jù)和元數(shù)據(jù)之間的一致性。

同時(shí)，緩存更新策略也采用懶更新策略，即系統(tǒng)上電時(shí)不會(huì)主動(dòng)詢問(wèn)OSD來(lái)實(shí)時(shí)更新該信息，只有當(dāng)用戶執(zhí)行某個(gè)數(shù)據(jù)對(duì)象查詢時(shí)，元數(shù)據(jù)服務(wù)器檢查自己的LAYOUT信息，判斷是否有相關(guān)數(shù)據(jù)對(duì)象組的記錄，如果有則直接返回記錄信息給用戶；如果沒(méi)有，則向系統(tǒng)中所有的OSD進(jìn)行查詢，并將查詢結(jié)果反饋給用戶的同時(shí)更新自身的LAYOUT信息。

通過(guò)緩存模式設(shè)計(jì)和懶更新策略，極大降低了元數(shù)據(jù)服務(wù)器的設(shè)計(jì)復(fù)雜度和工作負(fù)載，使得輕量化的元數(shù)據(jù)服務(wù)器實(shí)現(xiàn)成為可能。由此帶來(lái)的缺點(diǎn)是用戶查詢?cè)獢?shù)據(jù)服務(wù)器緩存未命中的情況下，需要等待元數(shù)據(jù)服務(wù)器和OSD之間的信息更新，此時(shí)系統(tǒng)的讀取性能會(huì)稍微下降。但是對(duì)于空間應(yīng)用來(lái)說(shuō)，90%以上的工況為數(shù)據(jù)寫(xiě)入，該設(shè)計(jì)對(duì)系統(tǒng)性能幾乎無(wú)影響。

2)對(duì)象存儲(chǔ)設(shè)備模塊。對(duì)象存儲(chǔ)設(shè)備設(shè)計(jì)為標(biāo)準(zhǔn)的對(duì)象數(shù)據(jù)訪問(wèn)設(shè)備，每個(gè)數(shù)據(jù)對(duì)象的ID使用六元組＜APID，TaskID，SubDeviceID，Data-Type，SegNo，SeqNo＞表示，支持對(duì)任意數(shù)據(jù)對(duì)象的單獨(dú)訪問(wèn)。

3)客戶端模塊。用戶在訪問(wèn)對(duì)象存儲(chǔ)系統(tǒng)之前，需要獲取對(duì)象存儲(chǔ)系統(tǒng)的相關(guān)設(shè)備信息。

如果是數(shù)據(jù)對(duì)象寫(xiě)入操作，則首先向元數(shù)據(jù)服務(wù)器請(qǐng)求系統(tǒng)狀態(tài)信息，可以獲知系統(tǒng)中OSD設(shè)備的在線狀態(tài)及工作參數(shù)，由客戶端隨機(jī)選擇滿足要求的OSD進(jìn)行數(shù)據(jù)寫(xiě)入。

如果是數(shù)據(jù)對(duì)象讀取操作，則首先向元數(shù)據(jù)服務(wù)器查詢?cè)摂?shù)據(jù)對(duì)象的LAYOUT信息，并依據(jù)元數(shù)據(jù)服務(wù)器反饋的LAYOUT信息訪問(wèn)相應(yīng)的OSD設(shè)備。

3.3 數(shù)據(jù)備份策略

數(shù)據(jù)備份策略從系統(tǒng)層面和數(shù)據(jù)層面2個(gè)維度考慮，分別關(guān)注系統(tǒng)元數(shù)據(jù)的備份以及用戶數(shù)據(jù)的備份，以保障系統(tǒng)可靠運(yùn)行和用戶數(shù)據(jù)可靠存儲(chǔ)。

3.3.1 系統(tǒng)元數(shù)據(jù)備份策略

對(duì)象存儲(chǔ)系統(tǒng)的系統(tǒng)元數(shù)據(jù)包含了整個(gè)系統(tǒng)運(yùn)行所需的所有關(guān)鍵信息，包括系統(tǒng)所有節(jié)點(diǎn)的健康狀態(tài)數(shù)據(jù)、系統(tǒng)存儲(chǔ)資源的分配狀況、目前執(zhí)行任務(wù)的用戶信息等。

傳統(tǒng)的對(duì)象存儲(chǔ)系統(tǒng)中，系統(tǒng)元數(shù)據(jù)必須實(shí)時(shí)更新，否則會(huì)面臨對(duì)象ID沖突等問(wèn)題，導(dǎo)致數(shù)據(jù)對(duì)象寫(xiě)入的互相覆蓋。因此對(duì)于多服務(wù)器組成的元數(shù)據(jù)服務(wù)器集群來(lái)說(shuō)，多個(gè)服務(wù)器間的元數(shù)據(jù)必須滿足強(qiáng)一致性同步要求，給設(shè)計(jì)帶來(lái)了極大的挑戰(zhàn)。為滿足該要求，可以采用Paxos等一致性算法進(jìn)行數(shù)據(jù)同步，由此帶來(lái)了頻繁的元數(shù)據(jù)服務(wù)器間數(shù)據(jù)更新操作，極大地影響系統(tǒng)的性能。

本系統(tǒng)設(shè)計(jì)的元數(shù)據(jù)服務(wù)器通過(guò)以下2個(gè)方法解決這一問(wèn)題:

1)數(shù)據(jù)對(duì)象唯一性保證策略。數(shù)據(jù)對(duì)象ID的定義與數(shù)據(jù)產(chǎn)生的源頭進(jìn)行綁定，通過(guò)唯一六元組＜APID，Task ID，SubDeviceID，DataType，Seg-No，SeqNo＞進(jìn)行表征。通過(guò)該種方式保證了系統(tǒng)中不存在同樣的數(shù)據(jù)對(duì)象ID，因此即使在元數(shù)據(jù)服務(wù)器發(fā)生網(wǎng)絡(luò)分區(qū)無(wú)法通信的情況下，依然各自能夠執(zhí)行正常的任務(wù)。在網(wǎng)絡(luò)分區(qū)狀態(tài)解決后，多個(gè)元數(shù)據(jù)服務(wù)器的信息并不會(huì)發(fā)生沖突的情況，直接進(jìn)行融合合并即可。

2)OSD數(shù)據(jù)對(duì)象組預(yù)分配策略。每個(gè)OSD對(duì)于接收到的新的數(shù)據(jù)對(duì)象寫(xiě)入請(qǐng)求時(shí)，首先判斷本OSD可供分配的剩余存儲(chǔ)空間。由于每個(gè)數(shù)據(jù)對(duì)象組的大小定義為不超過(guò)1 GB，因此OSD可以輕易地根據(jù)當(dāng)前正在執(zhí)行的寫(xiě)入需求判斷是否能夠接受新的數(shù)據(jù)對(duì)象寫(xiě)入請(qǐng)求。這樣，即使多個(gè)用戶獲得的系統(tǒng)元數(shù)據(jù)信息不夠?qū)崟r(shí)，也不會(huì)發(fā)生用戶數(shù)據(jù)對(duì)象寫(xiě)入錯(cuò)誤的問(wèn)題。通過(guò)數(shù)據(jù)對(duì)象組預(yù)分配策略，避免了數(shù)據(jù)對(duì)象組沖突導(dǎo)致的回滾動(dòng)作。

通過(guò)上述方法，解決了傳統(tǒng)對(duì)象存儲(chǔ)系統(tǒng)面臨的元數(shù)據(jù)服務(wù)器分區(qū)隔離和數(shù)據(jù)同步的需求，無(wú)需實(shí)現(xiàn)任何專門的元數(shù)據(jù)備份策略，即可保證系統(tǒng)正常穩(wěn)定運(yùn)行。

3.3.2 用戶數(shù)據(jù)備份策略

用戶數(shù)據(jù)備份策略重點(diǎn)集中在面向航天應(yīng)用的按需備份策略的實(shí)施。按需備份策略需要解決2個(gè)問(wèn)題:首先是用戶的備份需求通過(guò)什么樣的方式通知對(duì)象存儲(chǔ)系統(tǒng)，其次是對(duì)于存在多個(gè)備份的數(shù)據(jù)對(duì)象，誰(shuí)來(lái)執(zhí)行數(shù)據(jù)備份的操作以及維護(hù)系統(tǒng)中的有效備份數(shù)目。

由于數(shù)據(jù)對(duì)象具有自描述的特征，為了簡(jiǎn)化用戶與對(duì)象存儲(chǔ)系統(tǒng)之間的接口訪問(wèn)，可以將每個(gè)數(shù)據(jù)對(duì)象的備份需求直接嵌入到數(shù)據(jù)對(duì)象的包格式中，為此為每個(gè)數(shù)據(jù)對(duì)象定義QoS字段并將其放置在副導(dǎo)頭位置，這樣所有對(duì)象存儲(chǔ)系統(tǒng)中的設(shè)備都能夠獲知該數(shù)據(jù)對(duì)象的QoS要求，而無(wú)需單獨(dú)與用戶進(jìn)行協(xié)議交互。

QoS字段表征了該數(shù)據(jù)對(duì)象希望對(duì)象存儲(chǔ)系統(tǒng)執(zhí)行的所有特殊需求，主要包括數(shù)據(jù)備份數(shù)目的需求、數(shù)據(jù)加密/壓縮等處理的需求。本文定義的QoS數(shù)據(jù)備份字段格式見(jiàn)圖4，通過(guò)在數(shù)據(jù)對(duì)象格式中定義QoS字段，解決了數(shù)據(jù)備份需求的約定形式。

圖4 QoS數(shù)據(jù)備份字段定義Fig.4 Definition of QoS data backup segment

本文采用由對(duì)象存儲(chǔ)設(shè)備主導(dǎo)的用戶數(shù)據(jù)備份方式。在該方式下，用戶只需完成對(duì)第1個(gè)對(duì)象存儲(chǔ)設(shè)備的數(shù)據(jù)寫(xiě)入即可，第1個(gè)對(duì)象存儲(chǔ)設(shè)備會(huì)依據(jù)數(shù)據(jù)備份的具體需求，適時(shí)地將數(shù)據(jù)寫(xiě)入到其余的備份設(shè)備。

每個(gè)對(duì)象存儲(chǔ)設(shè)備在接收到有備份需求的數(shù)據(jù)對(duì)象時(shí)，除了將該數(shù)據(jù)對(duì)象保存到本地，還會(huì)檢查該對(duì)象的當(dāng)前備份編號(hào)字段，如果當(dāng)前備份編號(hào)小于備份次數(shù)需求，則該設(shè)備將當(dāng)前備份編號(hào)加1并發(fā)送給系統(tǒng)中的下1個(gè)對(duì)象存儲(chǔ)設(shè)備，如果當(dāng)前備份編號(hào)大于等于備份次數(shù)需求，則只進(jìn)行數(shù)據(jù)對(duì)象保存而不進(jìn)行后續(xù)的備份工作。通過(guò)該機(jī)制能夠以簡(jiǎn)單的方式實(shí)現(xiàn)系統(tǒng)中存儲(chǔ)多個(gè)數(shù)據(jù)備份的需求。

在系統(tǒng)運(yùn)行過(guò)程中，如某個(gè)備份節(jié)點(diǎn)發(fā)生了損壞，則會(huì)導(dǎo)致系統(tǒng)中有效數(shù)據(jù)備份數(shù)目減少。如果需要對(duì)象存儲(chǔ)系統(tǒng)中始終存在滿足需求的備份數(shù)目，則需要設(shè)計(jì)數(shù)據(jù)遷移策略，在監(jiān)測(cè)到數(shù)據(jù)存儲(chǔ)設(shè)備故障導(dǎo)致備份數(shù)目不足的情況下，啟動(dòng)數(shù)據(jù)遷移?？臻g數(shù)據(jù)備份策略的需求是為了解決數(shù)據(jù)存儲(chǔ)設(shè)備故障的情況，避免關(guān)鍵數(shù)據(jù)的單點(diǎn)失效不可恢復(fù)，而不是追求系統(tǒng)在長(zhǎng)時(shí)間運(yùn)行中始終維持多個(gè)備份數(shù)據(jù)的存在。綜合考慮空間應(yīng)用數(shù)據(jù)的使用需求以及數(shù)據(jù)遷移帶來(lái)的網(wǎng)絡(luò)傳輸代價(jià)，本文不考慮數(shù)據(jù)遷移算法的設(shè)計(jì)，即數(shù)據(jù)備份策略只在初次數(shù)據(jù)寫(xiě)入的時(shí)候執(zhí)行，保證系統(tǒng)中存在滿足需求的備份數(shù)目，而后續(xù)設(shè)備故障導(dǎo)致的備份丟失不會(huì)觸發(fā)數(shù)據(jù)遷移操作。

4 系統(tǒng)驗(yàn)證

4.1 驗(yàn)證系統(tǒng)組成

系統(tǒng)驗(yàn)證以空間站應(yīng)用系統(tǒng)項(xiàng)目為背景，構(gòu)建模擬地面驗(yàn)證環(huán)境，對(duì)本文提出對(duì)象存儲(chǔ)系統(tǒng)進(jìn)行功能和性能驗(yàn)證。

驗(yàn)證系統(tǒng)基于FC-AE-1553交換式網(wǎng)絡(luò)進(jìn)行構(gòu)建，在交換網(wǎng)絡(luò)之上實(shí)現(xiàn)了對(duì)象存儲(chǔ)系統(tǒng)，主要包括元數(shù)據(jù)服務(wù)器、智能存儲(chǔ)節(jié)點(diǎn)和客戶端模擬設(shè)備，驗(yàn)證系統(tǒng)組成如圖5所示。

在硬件設(shè)計(jì)上，元數(shù)據(jù)服務(wù)器和智能存儲(chǔ)節(jié)點(diǎn)均采用自研的嵌入式3U VPX板卡(主芯片為Xilinx XC7Z045)，盡可能模擬將來(lái)在軌應(yīng)用的實(shí)際使用環(huán)境，地檢則使用多個(gè)機(jī)架式服務(wù)器進(jìn)行模擬。

元數(shù)據(jù)服務(wù)器軟件完成對(duì)智能存儲(chǔ)節(jié)點(diǎn)的狀態(tài)管理和客戶端存儲(chǔ)任務(wù)的管理，運(yùn)行在FC-AE-1553網(wǎng)絡(luò)的NC節(jié)點(diǎn)上。智能存儲(chǔ)節(jié)點(diǎn)完成對(duì)用戶數(shù)據(jù)的實(shí)際存儲(chǔ)，運(yùn)行在FC-AE-1553網(wǎng)絡(luò)的NT節(jié)點(diǎn)上?？蛻舳斯δ苓\(yùn)行在地檢上，完成載荷數(shù)據(jù)源模擬及地面數(shù)據(jù)下行通道模擬。三部分共同完成對(duì)象存儲(chǔ)系統(tǒng)的資源調(diào)度，實(shí)現(xiàn)數(shù)據(jù)的寫(xiě)入和讀取操作。

圖5 技術(shù)驗(yàn)證系統(tǒng)組成框圖Fig.5 Block diagram of technical verification system

驗(yàn)證系統(tǒng)的部分性能指標(biāo)如下:

1)FC-AE-1553交換網(wǎng)絡(luò)物理層速率為4.25 Gbps，去除物理層8 B/10 B編碼開(kāi)銷，理論上限為3.4 Gbps；

2)單個(gè)NT模擬節(jié)點(diǎn)模擬不超過(guò)8個(gè)載荷，單個(gè)載荷的有效數(shù)據(jù)率設(shè)計(jì)為不超過(guò)600 Mbps，仿真實(shí)際的機(jī)柜內(nèi)工作載荷；

3)單個(gè)NT智能存儲(chǔ)節(jié)點(diǎn)的內(nèi)部存儲(chǔ)帶寬為4.5～5.8 Gbps。

4.2 驗(yàn)證結(jié)果

為了驗(yàn)證對(duì)象存儲(chǔ)系統(tǒng)在不同工況下的存儲(chǔ)性能，分別設(shè)計(jì)多載荷任務(wù)同時(shí)訪問(wèn)測(cè)試和多節(jié)點(diǎn)存儲(chǔ)系統(tǒng)測(cè)試，模擬在軌多用戶同時(shí)訪問(wèn)和存儲(chǔ)系統(tǒng)節(jié)點(diǎn)動(dòng)態(tài)調(diào)整的使用工況。

1)多載荷任務(wù)同時(shí)訪問(wèn)性能測(cè)試。單個(gè)存儲(chǔ)節(jié)點(diǎn)情況下，載荷任務(wù)分別設(shè)置為(1/2/4/8/16/32/64)，測(cè)試系統(tǒng)的存儲(chǔ)總帶寬。多載荷任務(wù)同時(shí)存儲(chǔ)性能測(cè)試結(jié)果如圖6所示，可以看到，隨著載荷任務(wù)增多，系統(tǒng)總帶寬逐步增加到3.17 Gbps，此后基本維持穩(wěn)定。對(duì)象存儲(chǔ)系統(tǒng)能夠支持多任務(wù)并發(fā)執(zhí)行，并在嵌入式環(huán)境下網(wǎng)絡(luò)帶寬利用率達(dá)到91%以上。

2)多存儲(chǔ)節(jié)點(diǎn)系統(tǒng)性能測(cè)試。載荷任務(wù)固定為64的情況下，存儲(chǔ)節(jié)點(diǎn)數(shù)目分別設(shè)置為(1/2/4/8)，測(cè)試系統(tǒng)的存儲(chǔ)總帶寬。多存儲(chǔ)節(jié)點(diǎn)同時(shí)存儲(chǔ)性能測(cè)試結(jié)果如圖7所示?？梢钥吹?，在該小規(guī)模存儲(chǔ)系統(tǒng)下，隨著存儲(chǔ)節(jié)點(diǎn)數(shù)目增多，對(duì)象存儲(chǔ)系統(tǒng)的性能隨著分布式節(jié)點(diǎn)近似線性增加，系統(tǒng)具有良好的橫向擴(kuò)展能力。

圖6 多載荷任務(wù)工況系統(tǒng)存儲(chǔ)帶寬Fig.6 Storage bandw idth ofmulti-task system

圖7 多存儲(chǔ)節(jié)點(diǎn)工況系統(tǒng)存儲(chǔ)帶寬Fig.7 Storage bandw idth of multiple storage nodes system

5 結(jié)論

本文針對(duì)空間站空間應(yīng)用場(chǎng)景，設(shè)計(jì)了小規(guī)模對(duì)象存儲(chǔ)系統(tǒng)，研究了空間數(shù)據(jù)對(duì)象格式定義、對(duì)象存儲(chǔ)系統(tǒng)架構(gòu)和協(xié)議、系統(tǒng)數(shù)據(jù)備份策略等問(wèn)題，提出了適應(yīng)場(chǎng)景的設(shè)計(jì)方案，并進(jìn)行了系統(tǒng)驗(yàn)證。驗(yàn)證結(jié)果表明:在航天專用的嵌入式環(huán)境下，通過(guò)對(duì)象存儲(chǔ)系統(tǒng)解決資源共享、高速存儲(chǔ)、高可靠、可擴(kuò)展等數(shù)據(jù)存儲(chǔ)系統(tǒng)面臨的難題是一種可行的途徑。