曾 發(fā) 麻雨欣 梁 君 曾貴明 榮 剛

(1.中國(guó)運(yùn)載火箭技術(shù)研究院研發(fā)中心，北京 100076； 2.航天材料及工藝研究所，北京 100076)

1 引言

某飛行器長(zhǎng)期在軌運(yùn)行，為對(duì)其上各設(shè)備進(jìn)行健康管理、故障預(yù)測(cè)和分析，在地面設(shè)立自主保障信息系統(tǒng)，接收健康診斷的數(shù)傳數(shù)據(jù)和遙測(cè)數(shù)據(jù)，并在全壽命周期內(nèi)存儲(chǔ)，其中，原碼數(shù)據(jù)每天約為0.186TB，經(jīng)解碼后，數(shù)據(jù)約為2TB，總數(shù)據(jù)將達(dá)1PB，且包含大量非格式化的圖片和視頻文件，重復(fù)執(zhí)行任務(wù)時(shí)，數(shù)據(jù)隨任務(wù)次數(shù)等量增加，存儲(chǔ)系統(tǒng)需要擴(kuò)容使用，現(xiàn)有單塊磁盤或磁盤陣列的存儲(chǔ)方案，在存儲(chǔ)容量、讀寫速度、數(shù)據(jù)安全性和存儲(chǔ)擴(kuò)展性上，都無法滿足要求。本文針對(duì)該飛行器自主保障系統(tǒng)海量數(shù)據(jù)及其應(yīng)用特點(diǎn)，設(shè)計(jì)一種采用完全對(duì)稱架構(gòu)和改進(jìn)哈希算法的數(shù)據(jù)存儲(chǔ)系統(tǒng)。

2 系統(tǒng)架構(gòu)

2.1 總體架構(gòu)

本文設(shè)計(jì)的數(shù)據(jù)存儲(chǔ)系統(tǒng)，類似于亞馬遜公司的AWS S3[1]架構(gòu)，采用去中心化扁平對(duì)稱結(jié)構(gòu)，通過軟件定義虛擬化存儲(chǔ)，物理層面使用普通服務(wù)器+磁盤陣列來構(gòu)建冗余可擴(kuò)展的分布式存儲(chǔ)集群，數(shù)據(jù)寫入、數(shù)據(jù)讀出等應(yīng)用服務(wù)器和存儲(chǔ)集群通過光纖交換機(jī)相連，飛行器自主保障原碼數(shù)據(jù)通過測(cè)發(fā)控系統(tǒng)經(jīng)光纖交換機(jī)寫入，故障推理原碼數(shù)據(jù)經(jīng)光纖交換機(jī)讀出，再將推理過程數(shù)據(jù)和結(jié)果數(shù)據(jù)經(jīng)光纖交換機(jī)寫入。自主保障系統(tǒng)數(shù)據(jù)存儲(chǔ)總體架構(gòu)見圖1。

圖1 數(shù)據(jù)存儲(chǔ)總體架構(gòu)Fig.1 Overall architecture of data storage

2.2 數(shù)據(jù)組織結(jié)構(gòu)

本文采用無中心節(jié)點(diǎn)和扁平化的數(shù)據(jù)組織結(jié)構(gòu)，將數(shù)據(jù)存儲(chǔ)系統(tǒng)劃分為三層邏輯結(jié)構(gòu)：賬戶、容器和對(duì)象，如圖2所示。賬戶表示一個(gè)存儲(chǔ)區(qū)域，并對(duì)應(yīng)一個(gè)飛行器分系統(tǒng)用戶，若一個(gè)分系統(tǒng)切換到另一個(gè)分系統(tǒng)下，將看到屬于另一個(gè)存儲(chǔ)區(qū)域的容器和對(duì)象。本文根據(jù)該飛行器分系統(tǒng)劃分，設(shè)為不同的賬戶，如GNC分系統(tǒng)用戶、遙感分系統(tǒng)用戶、電源分系統(tǒng)用戶、熱控分系統(tǒng)用戶、遙測(cè)分系統(tǒng)用戶、綜合電子分系統(tǒng)、結(jié)構(gòu)分系統(tǒng)等。容器是存儲(chǔ)對(duì)象的存儲(chǔ)空間，其內(nèi)部扁平，沒有目錄概念，所有對(duì)象直接隸屬于其對(duì)應(yīng)容器；每個(gè)飛行器分系統(tǒng)可擁有多個(gè)容器；容器內(nèi)對(duì)象數(shù)目沒有限制。對(duì)象作為存儲(chǔ)對(duì)象，由對(duì)象元信息、用戶數(shù)據(jù)和文件名組成，并由容器內(nèi)唯一的文件名標(biāo)識(shí)，其生命周期從上傳磁盤到被刪除為止，整個(gè)周期內(nèi)，對(duì)象信息不可變更。

圖2 數(shù)據(jù)組織結(jié)構(gòu)Fig.2 Structure of data organization

2.3 存儲(chǔ)架構(gòu)

本文設(shè)計(jì)的數(shù)據(jù)存儲(chǔ)系統(tǒng)通過軟件定義存儲(chǔ)服務(wù)，采用完全對(duì)稱架構(gòu)，其軟件邏輯組成見圖3，硬件部署如圖4所示，主要包括四個(gè)組成部分：代理服務(wù)組件、存儲(chǔ)服務(wù)組件、存儲(chǔ)一致性服務(wù)組件和哈希環(huán)，其中代理服務(wù)組件、哈希環(huán)部署在代理服務(wù)器上，存儲(chǔ)服務(wù)組件和存儲(chǔ)一致性服務(wù)組件部署在用于數(shù)據(jù)存儲(chǔ)的物理存儲(chǔ)服務(wù)器上。

圖3 軟件邏輯組成Fig.3 Logic composition of Software

圖4 硬件部署Fig.4 Devices deployment

2.3.1 代理服務(wù)組件

代理服務(wù)組件負(fù)責(zé)系統(tǒng)其余組件間的相互通信, 并提供系統(tǒng)對(duì)外接口的服務(wù)進(jìn)程。對(duì)飛行器每個(gè)分系統(tǒng)數(shù)據(jù)存儲(chǔ)請(qǐng)求，代理服務(wù)組件在哈希環(huán)中查詢賬戶、容器或?qū)ο蟮奈恢茫⑾鄳?yīng)轉(zhuǎn)發(fā)請(qǐng)求。若某個(gè)物理存儲(chǔ)服務(wù)器不可用，代理服務(wù)組件將查詢哈希環(huán)中可用物理服務(wù)器，將存儲(chǔ)請(qǐng)求轉(zhuǎn)發(fā)過去。代理服務(wù)組件對(duì)用戶提供Rest-ful API接口和TCP/IP協(xié)議規(guī)范，其部署所在服務(wù)器相當(dāng)于一臺(tái)對(duì)外提供通信交互服務(wù)的HTTP服務(wù)器。

2.3.2 存儲(chǔ)服務(wù)組件

存儲(chǔ)服務(wù)組件提供存儲(chǔ)服務(wù)器磁盤陣列上的存儲(chǔ)服務(wù)，包括三類存儲(chǔ)服務(wù)模塊：賬戶服務(wù)模塊、容器服務(wù)模塊和對(duì)象服務(wù)模塊。賬戶服務(wù)模塊處理對(duì)賬戶請(qǐng)求，使用SQLite數(shù)據(jù)庫(kù)文件保存賬戶相關(guān)信息。容器服務(wù)模塊負(fù)責(zé)處理對(duì)象列表和跟蹤統(tǒng)計(jì)對(duì)象總數(shù)、容器使用情況，同樣使用SQLite數(shù)據(jù)庫(kù)文件保存容器相關(guān)信息。對(duì)象服務(wù)模塊負(fù)責(zé)處理對(duì)對(duì)象的請(qǐng)求，直接操作對(duì)象，讀寫存儲(chǔ)對(duì)象。存儲(chǔ)服務(wù)組件組成及工作機(jī)制見圖5。

圖5 存儲(chǔ)服務(wù)組件組成及工作機(jī)制Fig.5 Composition and working mechanism of storage service components

2.3.3 存儲(chǔ)一致性服務(wù)組件

存儲(chǔ)一致性服務(wù)組件用來查找并解決由數(shù)據(jù)損壞和硬件故障引起的錯(cuò)誤，保證對(duì)象的最終一致性，主要有三個(gè)服務(wù)模塊：審計(jì)服務(wù)模塊、更新服務(wù)模塊和副本服務(wù)模塊。審計(jì)服務(wù)模塊檢測(cè)每臺(tái)物理服務(wù)器上的賬號(hào)、容器和對(duì)象完整性，發(fā)現(xiàn)損壞后將數(shù)據(jù)移動(dòng)到隔離區(qū)域，再由副本服務(wù)模塊用一個(gè)完好副本替代。更新服務(wù)模塊分別更新賬戶列表和對(duì)象列表，若賬戶服務(wù)模塊和容器服務(wù)模塊繁忙，則待其正常后再更新。副本服務(wù)模塊保持?jǐn)?shù)據(jù)合理副本數(shù)，并確認(rèn)存放位置是否正確，保證各物理服務(wù)器面臨故障時(shí)保持?jǐn)?shù)據(jù)一致性。存儲(chǔ)一致性服務(wù)組件組成見圖6，工作機(jī)制見圖7。

圖6 一致性服務(wù)組件組成Fig.6 Composition of consistency service components

圖7 一致性工作機(jī)制Fig.7 Working mechanism for consistency

2.3.4 哈希環(huán)

本存儲(chǔ)系統(tǒng)引入哈希環(huán)，記錄存儲(chǔ)對(duì)象與物理位置間的映射關(guān)系，哈希環(huán)分布于所有代理服務(wù)器，是整個(gè)數(shù)據(jù)存儲(chǔ)系統(tǒng)核心，存取對(duì)象都需哈希環(huán)參與。哈希環(huán)包括賬戶哈希環(huán)、容器哈希環(huán)、對(duì)象哈希環(huán)，查詢賬戶、容器、對(duì)象信息時(shí)，需查詢集群中各自的哈希環(huán)信息，并用分區(qū)、設(shè)備、節(jié)點(diǎn)和副本等信息維護(hù)映射。哈希環(huán)中同一個(gè)節(jié)點(diǎn)包含3個(gè)副本。每個(gè)節(jié)點(diǎn)的位置由哈希環(huán)來維護(hù)，并存儲(chǔ)在映射中。系統(tǒng)初始化時(shí)創(chuàng)建哈希環(huán)，此后增減存儲(chǔ)節(jié)點(diǎn)都要更新哈希環(huán)中信息，重新達(dá)到平衡，以保證最少遷移文件數(shù)量。

本文將哈希算法進(jìn)行改進(jìn)，哈希環(huán)采用分區(qū)、設(shè)備、浮動(dòng)虛擬節(jié)點(diǎn)、權(quán)重和副本來維護(hù)映射信息，相關(guān)概念見下文。

3 存儲(chǔ)工作機(jī)理

一個(gè)優(yōu)秀數(shù)據(jù)存儲(chǔ)系統(tǒng)需滿足如下幾項(xiàng)要求：增減存儲(chǔ)節(jié)點(diǎn)遷移數(shù)據(jù)少；數(shù)據(jù)存儲(chǔ)安全；數(shù)據(jù)訪問安全；存儲(chǔ)資源分配均衡。本文設(shè)計(jì)的數(shù)據(jù)存儲(chǔ)系統(tǒng)存儲(chǔ)工作機(jī)理主要采用以下幾個(gè)概念來滿足這些要求。

3.1 改進(jìn)哈希算法

本數(shù)據(jù)存儲(chǔ)系統(tǒng)在普通哈希算法[2～3]的基礎(chǔ)上，采用引入浮動(dòng)虛擬節(jié)點(diǎn)的一致性哈希算法，以在改變物理節(jié)點(diǎn)數(shù)量時(shí)盡量少改變已存在鍵值和物理節(jié)點(diǎn)間的映射關(guān)系，減少數(shù)據(jù)遷移量。該算法便于構(gòu)建冗余可擴(kuò)展分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)，適應(yīng)自主保障數(shù)據(jù)存儲(chǔ)特點(diǎn)。該算法分六個(gè)步驟：

(1)每個(gè)物理節(jié)點(diǎn)設(shè)置2X倍個(gè)虛擬節(jié)點(diǎn)，并形成一對(duì)多映射；

(2)計(jì)算每個(gè)虛擬節(jié)點(diǎn)哈希值，并將其分配到1個(gè)0～232的圓環(huán)上；

(3)計(jì)算存儲(chǔ)對(duì)象哈希值，并將其分配到(2)中圓環(huán)上，算法與(2)相同；

(4)從數(shù)據(jù)映射到的位置起順時(shí)針查找，將其保存到找到的第1個(gè)虛擬節(jié)點(diǎn)，若超過232仍未找到，則保存到第1個(gè)虛擬節(jié)點(diǎn)；

(5)將虛擬節(jié)點(diǎn)反射到物理節(jié)點(diǎn)，確定對(duì)象存儲(chǔ)的物理位置；

(6)根據(jù)每個(gè)物理節(jié)點(diǎn)負(fù)載特性，浮動(dòng)調(diào)整X值，以調(diào)整虛擬節(jié)點(diǎn)數(shù)。

為簡(jiǎn)化分析，先設(shè)每個(gè)物理節(jié)點(diǎn)對(duì)應(yīng)1個(gè)虛擬節(jié)點(diǎn)，假設(shè)在這個(gè)環(huán)形哈?？臻g中存在4個(gè)節(jié)點(diǎn)，分別為節(jié)點(diǎn)1～節(jié)點(diǎn)4，若增加1個(gè)節(jié)點(diǎn)5，根據(jù)上述算法，得出節(jié)點(diǎn)5被映射在節(jié)點(diǎn)3和節(jié)點(diǎn)4之間，則僅需將從節(jié)點(diǎn)3順時(shí)針到節(jié)點(diǎn)5之間的數(shù)據(jù)進(jìn)行遷移，其分布如圖8所示，圖中節(jié)點(diǎn)是虛擬節(jié)點(diǎn)，也是物理節(jié)點(diǎn)。

圖8 一致性哈希環(huán)結(jié)構(gòu)Fig.8 Structure of Consistent Hash Ring

為提高存儲(chǔ)系統(tǒng)擴(kuò)展性能，進(jìn)一步減少增減節(jié)點(diǎn)引起的數(shù)據(jù)遷移量，先將每個(gè)物理節(jié)點(diǎn)的虛擬節(jié)點(diǎn)個(gè)數(shù)設(shè)置為25倍數(shù)值，使每個(gè)物理節(jié)點(diǎn)對(duì)應(yīng)多個(gè)虛擬節(jié)點(diǎn)，即增加圖8中哈希環(huán)的節(jié)點(diǎn)數(shù)。通過兩層映射，將對(duì)象與相應(yīng)物理節(jié)點(diǎn)聯(lián)系起來，先將對(duì)象映射到虛擬節(jié)點(diǎn)，再將虛擬節(jié)點(diǎn)映射到物理節(jié)點(diǎn)，建立對(duì)象與相應(yīng)物理節(jié)點(diǎn)的多對(duì)多映射關(guān)系。對(duì)象與虛擬節(jié)點(diǎn)的映射關(guān)系由一致性哈希算法實(shí)現(xiàn)，虛擬節(jié)點(diǎn)與物理節(jié)點(diǎn)的映射關(guān)系主要遵循多個(gè)副本應(yīng)分布在不同物理節(jié)點(diǎn)的原則，并由哈希環(huán)文件中的Partition Assignment List二維數(shù)組實(shí)現(xiàn)。引入虛擬節(jié)點(diǎn)后的映射關(guān)系和哈希環(huán)結(jié)構(gòu)如圖9所示。

圖9 引入虛擬節(jié)點(diǎn)后的映射關(guān)系和哈希環(huán)結(jié)構(gòu)Fig.9 Mapping relation and structure of Hash Ring after introducing virtual nodes

實(shí)際運(yùn)行時(shí)，因設(shè)備性能差異和忙閑隨機(jī)性等，各物理節(jié)點(diǎn)負(fù)載動(dòng)態(tài)變化，且大小不一，為實(shí)現(xiàn)不同物理節(jié)點(diǎn)間負(fù)載均衡，將每個(gè)物理節(jié)點(diǎn)的虛擬節(jié)點(diǎn)個(gè)數(shù)設(shè)置為24～26倍浮動(dòng)數(shù)值，再在某時(shí)間間隔內(nèi)，根據(jù)各個(gè)虛擬節(jié)點(diǎn)訪問量反饋值進(jìn)行動(dòng)態(tài)調(diào)整，并設(shè)置闕值決定是否調(diào)整。

當(dāng)飛行器重復(fù)執(zhí)行任務(wù)、等量增加數(shù)據(jù)、數(shù)據(jù)存儲(chǔ)系統(tǒng)再增設(shè)物理節(jié)點(diǎn)時(shí)，采用改進(jìn)哈希算法，可減少已有物理節(jié)點(diǎn)的數(shù)據(jù)遷移量。

3.2 副本

若數(shù)據(jù)在系統(tǒng)中沒有冗余副本，一旦發(fā)生故障就可能永久丟失，存儲(chǔ)安全性得不到保障。本存儲(chǔ)系統(tǒng)不采用傳統(tǒng)的RAID磁盤陣列保護(hù)數(shù)據(jù)安全方式，而引入數(shù)據(jù)副本概念，理論依據(jù)源于NWR策略[4,5]，其中：N為同1個(gè)數(shù)據(jù)的副本份數(shù)；W為更新1個(gè)數(shù)據(jù)需更新成功的份數(shù)；R為讀取1個(gè)數(shù)據(jù)需讀取的副本份數(shù)。該策略中，為保證某個(gè)數(shù)據(jù)不同時(shí)被不同事務(wù)讀和寫，要求W+R>N；為保證兩個(gè)事務(wù)不能并發(fā)寫某個(gè)數(shù)據(jù)，要求W>N/2。本數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)置1份數(shù)據(jù)有3份副本，即N=3，并取W=2，R=2，可知符合NWR策略，系統(tǒng)無單點(diǎn)故障，可保證數(shù)據(jù)存儲(chǔ)安全。

3.3 分區(qū)

若所有物理節(jié)點(diǎn)都布置在一個(gè)機(jī)柜或一個(gè)機(jī)房時(shí)，一旦發(fā)生掉電、斷網(wǎng)、怠機(jī)等故障，都將造成自主保障系統(tǒng)中飛行器各分系統(tǒng)用戶無法讀寫。因此在哈希環(huán)中引入分區(qū)概念，把集群的物理節(jié)點(diǎn)分配到各個(gè)分區(qū)中，其中：同一個(gè)虛擬節(jié)點(diǎn)的副本不放在同一物理節(jié)點(diǎn)，也不放在同一分區(qū)；分區(qū)大小根據(jù)自主保障應(yīng)用需求和硬件基礎(chǔ)自定義，如一個(gè)機(jī)房或一個(gè)機(jī)柜、一臺(tái)服務(wù)器甚至一塊磁盤。根據(jù)該飛行器測(cè)發(fā)控系統(tǒng)特點(diǎn)，存儲(chǔ)設(shè)備分別布設(shè)在發(fā)射場(chǎng)、測(cè)控站，構(gòu)建多個(gè)分區(qū)。通過分區(qū)機(jī)制，對(duì)存儲(chǔ)設(shè)備的物理位置進(jìn)行隔離，可滿足分區(qū)容忍性[6]，確保數(shù)據(jù)讀寫安全。

3.4 權(quán)重

哈希環(huán)引入權(quán)重的目的是解決未來飛行器任務(wù)增加，自主保障系統(tǒng)添加存儲(chǔ)能力更大的物理節(jié)點(diǎn)時(shí)，可分配到更多的虛擬節(jié)點(diǎn)，其權(quán)重大小與物理節(jié)點(diǎn)容量大小成正比，以此實(shí)現(xiàn)存儲(chǔ)資源均衡分配。如40TB容量的物理節(jié)點(diǎn)，其虛擬節(jié)點(diǎn)數(shù)為20TB物理節(jié)點(diǎn)的兩倍，可設(shè)置40TB節(jié)點(diǎn)的權(quán)重為4000，而10TB節(jié)點(diǎn)的權(quán)重為2000。系統(tǒng)運(yùn)行后，每個(gè)物理節(jié)點(diǎn)的權(quán)重，需根據(jù)其分配的全部虛擬節(jié)點(diǎn)訪問量反饋值動(dòng)態(tài)修正，動(dòng)態(tài)調(diào)整其虛擬節(jié)點(diǎn)個(gè)數(shù)，特別是增減物理節(jié)點(diǎn)時(shí)，各個(gè)權(quán)重需更大幅度修正。

4 設(shè)計(jì)結(jié)果與測(cè)試

4.1 原理樣機(jī)

本文設(shè)計(jì)的該飛行器自主保障系統(tǒng)的數(shù)據(jù)存儲(chǔ)原理樣機(jī)如圖10所示，由圖可見其存儲(chǔ)原理及算法。

圖10 飛行器自主保障系統(tǒng)數(shù)據(jù)存儲(chǔ)原理樣機(jī)Fig.10 Prototype of data storage for autonomous logistics system of some aerocraft

系統(tǒng)存儲(chǔ)容量為1000TB，將存儲(chǔ)集群分為5個(gè)分區(qū)，1個(gè)分區(qū)為1個(gè)節(jié)點(diǎn)，每個(gè)分區(qū)為1臺(tái)服務(wù)器，每臺(tái)物理服務(wù)器上安裝112塊1.8TB容量7.2K轉(zhuǎn)速的SAS磁盤，2塊磁盤以RAID1構(gòu)建操作系統(tǒng)盤，其余磁盤全部作為存儲(chǔ)盤。每臺(tái)服務(wù)器虛擬成2臺(tái)服務(wù)器，其中1臺(tái)為存儲(chǔ)代理服務(wù)器，1臺(tái)為數(shù)據(jù)存儲(chǔ)服務(wù)器，作為存儲(chǔ)節(jié)點(diǎn)。系統(tǒng)采用完全對(duì)稱的架構(gòu)，每臺(tái)服務(wù)器硬件和軟件配置完全一樣，并安裝代理服務(wù)組件、對(duì)象服務(wù)組件、容器服務(wù)組件和賬戶服務(wù)組件等全部存儲(chǔ)服務(wù)軟件，以確保其角色完全對(duì)等。出于安全和性能考慮，在業(yè)務(wù)前部署1臺(tái)負(fù)載均衡服務(wù)器，但不屬于數(shù)據(jù)存儲(chǔ)系統(tǒng)。

圖10中分別有執(zhí)行存儲(chǔ)和讀取文件的數(shù)據(jù)流，操作同一個(gè)對(duì)象，即飛行器上有效載荷CCD拍攝的1個(gè)10GB原碼圖片文件Satelite.png。存儲(chǔ)時(shí)，有效載荷分系統(tǒng)用PUT寫指令通過負(fù)載均衡隨機(jī)挑選1臺(tái)代理服務(wù)器，將寫請(qǐng)求轉(zhuǎn)發(fā)到后者，其代理服務(wù)組件通過查詢本地哈希環(huán)文件，選擇3個(gè)不同分區(qū)中的存儲(chǔ)服務(wù)器存儲(chǔ)該圖片，然后同時(shí)將其發(fā)送到這3個(gè)存儲(chǔ)節(jié)點(diǎn)，存儲(chǔ)服務(wù)組件通過預(yù)設(shè)置的文件切割程序，將其分為21段，每段500MB，并行發(fā)送到某個(gè)分區(qū)下有效載荷分系統(tǒng)所屬容器中。該過程需滿足NWR策略，即3份副本至少寫成功2份，再給有效載荷分系統(tǒng)返回圖片存儲(chǔ)成功消息。下載時(shí)，有效載荷分系統(tǒng)用GET讀指令通過負(fù)載均衡隨機(jī)挑選1臺(tái)代理服務(wù)器，其代理服務(wù)組件中的哈希環(huán)文件查詢到該圖片存儲(chǔ)在哪3個(gè)節(jié)點(diǎn)，再同時(shí)向后端查詢，至少有2個(gè)節(jié)點(diǎn)回信可提供該圖片，最后代理服務(wù)器選擇其中1個(gè)節(jié)點(diǎn)下載該圖片。

4.2 性能測(cè)試

本數(shù)據(jù)存儲(chǔ)系統(tǒng)性能測(cè)試針對(duì)請(qǐng)求響應(yīng)、吞吐量、負(fù)載均衡3個(gè)指標(biāo)進(jìn)行，并對(duì)算法改進(jìn)前后進(jìn)行對(duì)比，每個(gè)物理存儲(chǔ)節(jié)點(diǎn)的配置見表1，測(cè)試數(shù)據(jù)大小介于1KB～5GB之間，隨機(jī)選取飛行器自主保障系統(tǒng)中各分系統(tǒng)數(shù)據(jù)。

表1 物理節(jié)點(diǎn)配置Tab.1 Configuration of the physical nodes

表2為哈希算法改進(jìn)前后集群的用戶請(qǐng)求響應(yīng)對(duì)比情況，可看出，在訪問量不大時(shí)，哈希算法改進(jìn)前后的響應(yīng)時(shí)間基本一致，訪問量逐漸增加后，哈希算法改進(jìn)后的響應(yīng)時(shí)間略長(zhǎng)，因?yàn)閷?duì)象動(dòng)態(tài)復(fù)制過程需要一定時(shí)間，隨該過程完成，響應(yīng)時(shí)間就明顯短于哈希算法改進(jìn)前。

表2 哈希算法改進(jìn)前后對(duì)請(qǐng)求響應(yīng)的影響Tab.2 Influence on request response before and after improving Hash algorithm

表3為哈希算法改進(jìn)前后集群的吞吐量對(duì)比情況，可看出，在訪問量不大時(shí)，訪問量逐漸增加后，哈希算法改進(jìn)前后的吞吐量基本一致，都保持增長(zhǎng)，訪問量繼續(xù)增加后，哈希算法改進(jìn)前的吞吐量開始下降，而哈希算法改進(jìn)后的吞吐量繼續(xù)增長(zhǎng)，明顯大于改進(jìn)前。

表4為哈希算法改進(jìn)前后集群的負(fù)載均衡度對(duì)比情況，可看出，改進(jìn)后的均衡度遠(yuǎn)比改進(jìn)前的均衡度小，說明采用改進(jìn)算法后比改進(jìn)前能更好保持集群的負(fù)載均衡，因?yàn)閷?duì)訪問量大的物理節(jié)點(diǎn)，其虛擬節(jié)點(diǎn)數(shù)動(dòng)態(tài)減小，訪問量減小使其負(fù)載減輕，對(duì)訪問量小的物理節(jié)點(diǎn)，其虛擬節(jié)點(diǎn)數(shù)動(dòng)態(tài)增加，訪問量增大使其負(fù)載加大，而物理節(jié)點(diǎn)加入或退出集群時(shí)，虛擬節(jié)點(diǎn)的訪問頻率影響其到物理節(jié)點(diǎn)之間的映射關(guān)系，過度負(fù)載和過度空閑物理節(jié)點(diǎn)間虛擬節(jié)點(diǎn)的調(diào)整有助于提高集群負(fù)載均衡。

表3 哈希算法改進(jìn)前后對(duì)吞吐量的影響Tab.3 Influence on throughput before and after improving Hash algorithm

表4 算法改進(jìn)前后對(duì)負(fù)載均衡度的影響Tab.4 Influence on load balancing before and after improving Hash algorithm

由上面測(cè)試可知，哈希算法改進(jìn)后的對(duì)象存儲(chǔ)在用戶訪問的響應(yīng)時(shí)間、吞吐量和負(fù)載均衡3個(gè)性能指標(biāo)都有所優(yōu)化，特別是吞吐量和負(fù)載均衡有明顯提高。

4.3 性能優(yōu)勢(shì)

結(jié)合完全對(duì)稱架構(gòu)的固有優(yōu)點(diǎn)和上述性能測(cè)試結(jié)果顯示，本文設(shè)計(jì)的海量數(shù)據(jù)存儲(chǔ)系統(tǒng)，性能上具有如下幾個(gè)優(yōu)勢(shì)：

(1)數(shù)據(jù)存儲(chǔ)完全均勻隨機(jī)分布，并引入副本概念，默認(rèn)存儲(chǔ)3個(gè)副本，無一個(gè)單點(diǎn)，可靠地保證了系統(tǒng)安全性。

(2)采用各節(jié)點(diǎn)角色對(duì)等的完全對(duì)稱架構(gòu)，可無限擴(kuò)充存儲(chǔ)容量，只需簡(jiǎn)單新增磁盤或存儲(chǔ)服務(wù)器，自動(dòng)完成數(shù)據(jù)遷移，各節(jié)點(diǎn)重新達(dá)到平衡。

(3)可將數(shù)據(jù)切細(xì)，并行地存儲(chǔ)到不同磁盤上，讀寫速度快，數(shù)據(jù)可靠性高，采用改進(jìn)哈希算法后，讀寫速度明顯提高，負(fù)載均衡更好。

5 結(jié)束語(yǔ)

針對(duì)某飛行器自主保障系統(tǒng)海量數(shù)據(jù)及其應(yīng)用特點(diǎn)，設(shè)計(jì)了一種海量數(shù)據(jù)存儲(chǔ)系統(tǒng)，通過軟件定義虛擬化存儲(chǔ)，采用完全對(duì)稱架構(gòu)和改進(jìn)哈希算法，具有很高存儲(chǔ)安全性、容量無限擴(kuò)展性和良好讀寫速度，很好滿足了該飛行器自保系統(tǒng)海量數(shù)據(jù)存儲(chǔ)需求。