楊 超,信 晟,張 悅,劉 祺

(自然資源部 國土衛(wèi)星遙感應(yīng)用中心,北京 100048)

0 引言

隨著我國經(jīng)濟(jì)社會的快速發(fā)展和航天科學(xué)技術(shù)的不斷進(jìn)步,通過空基規(guī)劃、高分專項的全面實施,衛(wèi)星遙感技術(shù)得到了長足的發(fā)展。 最近十余年,我國衛(wèi)星遙感技術(shù)突飛猛進(jìn),新型傳感器不斷涌現(xiàn),各項觀測指標(biāo)大幅提升,應(yīng)用水平不斷升級,已經(jīng)實現(xiàn)由單一光學(xué)傳感器向雷達(dá)、高光譜、激光等多傳感器,由中分辨率向高中分辨率結(jié)合,由單系列向多系列遙感衛(wèi)星的轉(zhuǎn)變,初步形成了多尺度、多載荷要素觀測、業(yè)務(wù)穩(wěn)定運(yùn)行的衛(wèi)星對地觀測體系。 遙感衛(wèi)星的快速發(fā)展對衛(wèi)星遙感地面接收、處理以及應(yīng)用而言都是挑戰(zhàn),特別是對存儲系統(tǒng)的容量、性能、擴(kuò)展、管理、安全、成本、碳中和等多方面都提出了更高的要求。

1 數(shù)據(jù)存儲技術(shù)

1.1 傳統(tǒng)存儲技術(shù)

在企業(yè)數(shù)字化這個概念新興的初期,存儲區(qū)域網(wǎng)絡(luò)(Storage Area Network,SAN)作為主流技術(shù)被大范圍應(yīng)用,很多企業(yè)數(shù)字化的建設(shè)也是在此基礎(chǔ)上開展的。SAN 的特點就是將存儲硬盤與相關(guān)服務(wù)器進(jìn)行直連,打造以數(shù)字存儲為中心、高度可擴(kuò)展的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),各存儲節(jié)點之間相對獨(dú)立,削弱存儲受制于布局結(jié)構(gòu)的壁壘,簡化管理和控制基礎(chǔ)[1]。 在當(dāng)時的技術(shù)條件下,SAN 憑借著更加靈活的網(wǎng)絡(luò)+存儲結(jié)構(gòu)和光纖網(wǎng)絡(luò)高速的傳輸速度,成為企業(yè)數(shù)字化的優(yōu)秀助力[2]。 傳統(tǒng)存儲技術(shù)結(jié)構(gòu)如圖1 所示。

圖1 傳統(tǒng)存儲技術(shù)架構(gòu)

隨著信息技術(shù)的進(jìn)步和數(shù)字化技術(shù)的逐步成熟,各行各業(yè)對存儲的依賴和需求也越來越高,曾經(jīng)的存儲模式的弊端也逐步顯現(xiàn)。 首先,雖然應(yīng)用服務(wù)器與存儲服務(wù)器通過光纖網(wǎng)絡(luò)鏈接,但是本質(zhì)上還是兩端獨(dú)立的硬件部署設(shè)備,這就意味著需要對兩端服務(wù)器進(jìn)行相對獨(dú)立的運(yùn)維,并且由于硬件設(shè)備的專業(yè)性,硬件的直接成本和運(yùn)維的間接成本都較為高昂;其次,連接應(yīng)用服務(wù)器與存儲服務(wù)器的光纖網(wǎng)絡(luò)的傳輸速度會限制大規(guī)模存儲與高并發(fā)讀寫的使用場景,性能上的優(yōu)勢也被影響。 此外,因業(yè)務(wù)不斷增長,存儲空間需不斷擴(kuò)容,傳統(tǒng)存儲擴(kuò)容過程復(fù)雜同時業(yè)務(wù)會有影響,并且擴(kuò)容規(guī)模往往都有限制。

1.2 分布式存儲技術(shù)

分布式存儲是一種數(shù)據(jù)存儲技術(shù),它通過網(wǎng)絡(luò)使用企業(yè)中每臺機(jī)器上的磁盤空間,這些分散的存儲資源構(gòu)成了虛擬存儲設(shè)備,數(shù)據(jù)分布存儲在企業(yè)的各個角落,可在多個獨(dú)立設(shè)備上分發(fā)數(shù)據(jù)。 分布式存儲系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu),使用多臺存儲服務(wù)器共享存儲負(fù)載,利用位置服務(wù)器定位存儲信息,不僅提高了系統(tǒng)的可靠性、可用性和訪問效率,而且易于擴(kuò)展。 架構(gòu)如圖2 所示。 分布式存儲的優(yōu)點如下。

圖2 分布式存儲技術(shù)架構(gòu)

1.2.1 性能高

分布式存儲通過將熱點區(qū)域內(nèi)數(shù)據(jù)映射到高速存儲中,來提高系統(tǒng)響應(yīng)速度,而當(dāng)這些區(qū)域不再是熱點時,分布式存儲系統(tǒng)就會將這些區(qū)域轉(zhuǎn)移到別處儲存,將高速存儲留給一些熱點區(qū)域。 這大大地增強(qiáng)了整體存儲的性能,提高了讀寫緩存性能。

1.2.2 分級存儲

分布式存儲允許高速存儲和低速存儲分開部署,在不可預(yù)測的業(yè)務(wù)環(huán)境或敏捷應(yīng)用的情況下,分布式存儲方法的優(yōu)勢能發(fā)揮到最佳,解決了目前緩存分層存儲最大的問題,即當(dāng)性能池讀不命中后,從冷池提取數(shù)據(jù)的粒度太大,導(dǎo)致延遲高,從而造成整體的性能抖動。

1.2.3 可擴(kuò)展性

分布式存儲方式具有很高的可擴(kuò)展性,能夠添加多個存儲節(jié)點,來實現(xiàn)儲存容量的線性擴(kuò)展。 而且當(dāng)擴(kuò)展了多個節(jié)點后,存儲的數(shù)據(jù)就會轉(zhuǎn)移到新的節(jié)點,實現(xiàn)負(fù)載均衡,這樣就不會出現(xiàn)單個儲存區(qū)域負(fù)載過重的情況。

1.2.4 低成本

分布式存儲方式具有自動容錯、自動負(fù)載均衡的特性,所以數(shù)據(jù)可以分布存儲在一些低成本的服務(wù)器中。 另外,分布式儲存方式還能線性擴(kuò)展,使得增加、減少服務(wù)器的成本低,實現(xiàn)分布式存儲系統(tǒng)的自動運(yùn)維。

1.2.5 容災(zāi)性

在分布式存儲的容災(zāi)中,一個重要的手段就是多時間點快照技術(shù),使得用戶生產(chǎn)系統(tǒng)能夠?qū)崿F(xiàn)一定時間間隔下的各版本數(shù)據(jù)的保存。 特別值得一提的是,多時間點快照技術(shù)支持同時提取多個時間點樣本,同時恢復(fù),這對于很多邏輯錯誤的災(zāi)難定位十分有用,如果用戶有多臺服務(wù)器或虛擬機(jī)可以用作系統(tǒng)恢復(fù),通過比照和分析,可以快速找到需要回復(fù)的時間點,降低了故障定位的難度,縮短了定位時間[3]。 這個功能還非常有利于故障重現(xiàn),從而進(jìn)行分析和研究,避免災(zāi)難再次發(fā)生。 多副本技術(shù)、數(shù)據(jù)條帶化放置、多時間點快照和周期增量復(fù)制等技術(shù)為分布式存儲的高可靠性提供了保障。

2 基于分布式存儲的超融合技術(shù)

超融合基礎(chǔ)架構(gòu)(Hyper-Converged Infrastructure,HCI)是指在同一套單元設(shè)備中不僅僅具備計算、存儲、網(wǎng)絡(luò)和服務(wù)器虛擬化等資源和技術(shù),且多套單元設(shè)備可以通過網(wǎng)絡(luò)聚合起來,實現(xiàn)模塊化的無縫擴(kuò)展,形成統(tǒng)一的資源池,可以為數(shù)據(jù)中心帶來最優(yōu)的效率、靈活性、規(guī)模、成本和數(shù)據(jù)保護(hù)。

基于分布式存儲的超融合技術(shù)是通過將傳統(tǒng)業(yè)務(wù)應(yīng)用下沉到底層分布式存儲節(jié)點的融合部署技術(shù)實現(xiàn)方式,存儲服務(wù)器在提供存儲服務(wù)的同時提供計算服務(wù)。 為了避免業(yè)務(wù)應(yīng)用對存儲系統(tǒng)帶來的部署環(huán)境影響,通?？刹捎锰摂M化技術(shù)和集群調(diào)度技術(shù)進(jìn)行管理。 同時,軟件系統(tǒng)與硬件服務(wù)器之間松耦合的形式讓靈活程度更上一層樓[4],大大解決了傳統(tǒng)架構(gòu)的兩大困境。 虛擬化超融合與應(yīng)用超融合成為超融合技術(shù)應(yīng)用的兩種主要方式。

2.1 虛擬化超融合技術(shù)分析

虛擬化超融合是使用虛擬化軟件將存儲服務(wù)器閑置資源進(jìn)行池化管理,在保障存儲服務(wù)穩(wěn)定的前提下,通過容器、微服務(wù)、云主機(jī)等手段對上層業(yè)務(wù)提供計算服務(wù),達(dá)到單臺服務(wù)器上運(yùn)行多個操作系統(tǒng)和應(yīng)用的目的,提高設(shè)備使用率[5]。 虛擬化超融合框架如圖3 所示。

圖3 虛擬化超融合技術(shù)框架

虛擬化超融合的技術(shù)特點主要體現(xiàn)在以下方面:

(1)弱化對硬件的依賴,降低硬件的直接成本和間接運(yùn)維成本;

(2)隔離各類業(yè)務(wù)應(yīng)用,避免配置環(huán)境互相影響;

(3)服務(wù)器集群、應(yīng)用與存儲之間不再依賴網(wǎng)絡(luò),而是形成統(tǒng)一資源池;

(4)虛擬化超融合本身存在硬件資源損耗,需要耗費(fèi)部分資源,保證系統(tǒng)運(yùn)行。

2.2 應(yīng)用超融合技術(shù)分析

應(yīng)用超融合是指將業(yè)務(wù)應(yīng)用服務(wù)直接部署在存儲服務(wù)器上,通過集群調(diào)度管理軟件進(jìn)行集群化管理,每臺服務(wù)器提供存儲服務(wù)的同時又提供計算服務(wù),充分利用服務(wù)器計算資源。 應(yīng)用超融合框架如圖4 所示。

圖4 應(yīng)用超融合示意

應(yīng)用超融合的技術(shù)特點主要體現(xiàn)在以下幾個方面:

(1)設(shè)備資源高度復(fù)用,大大增加設(shè)備利用率;

(2)數(shù)據(jù)存儲有部分切片落盤本機(jī)硬盤,應(yīng)用讀寫效率更高;

(3)計算與存儲在同一層交換機(jī)網(wǎng)絡(luò)環(huán)境下,響應(yīng)時延更小;

(4)無需額外操作系統(tǒng)環(huán)境,消耗硬件資源更少。

2.3 虛擬化超融合與應(yīng)用超融合技術(shù)比較

應(yīng)用超融合技術(shù)不但有著虛擬超融合技術(shù)的優(yōu)勢,還因為省掉了虛擬層,將計算等業(yè)務(wù)軟件直接部署在分布式存儲的硬件資源上,每一臺存儲服務(wù)器同時提供存儲服務(wù)和對應(yīng)用業(yè)務(wù)軟件的運(yùn)算服務(wù),不額外占用硬件資源。 但應(yīng)用超融合可能會對存儲系統(tǒng)服務(wù)產(chǎn)生影響,配置不當(dāng)可能影響整套存儲的穩(wěn)定性,部署與調(diào)試難度較大。 傳統(tǒng)業(yè)務(wù)模式與超融合業(yè)務(wù)模式對比如表1 所示。

例1(第7題) 為“賞中華詩詞，尋文化基因，品生活之美”，中央電視臺舉辦了詩詞知識比賽．每場比賽的第一輪為個人追逐賽，有4名選手參加．在第一輪中，每名選手在答題前隨機(jī)不放回地抽取第1，2，3，4組題目中的一組題目．已知第一個出場選手在第一輪中擅長第1組和第3組題目，那么他在第一輪能抽到自己擅長題目的概率為

表1 傳統(tǒng)業(yè)務(wù)模式與超融合業(yè)務(wù)模式對比

3 應(yīng)用超融合在遙感數(shù)據(jù)存儲生產(chǎn)中的應(yīng)用案例分析

傳統(tǒng)存儲架構(gòu)已不能滿足遙感技術(shù)突飛猛進(jìn)、新型傳感器不斷涌現(xiàn)、各項觀測指標(biāo)大幅提升、應(yīng)用水平不斷升級的業(yè)務(wù)存儲需求,采用分布式存儲架構(gòu)已成為各個遙感應(yīng)用中心的主流方向。 基于有限的物理空間和設(shè)備條件進(jìn)行存儲系統(tǒng)改造,創(chuàng)新性地在分布式存儲系統(tǒng)上應(yīng)用超融合技術(shù),充分挖掘系統(tǒng)硬件資源,將原有需運(yùn)行在計算服務(wù)器上的自動化應(yīng)用系統(tǒng)直接部署在分布式存儲的服務(wù)器上,通過集群調(diào)度管理軟件進(jìn)行統(tǒng)一調(diào)度運(yùn)行。 計算資源由分布式存儲服務(wù)器提供,可實現(xiàn)存儲計算統(tǒng)一管理,增加應(yīng)用部署的多樣性,靈活調(diào)整計算等業(yè)務(wù)應(yīng)用系統(tǒng)的資源按需分配[6]。

3.1 應(yīng)用超融合改造案例分析

按照應(yīng)用超融合的設(shè)計理念,某遙感應(yīng)用中心2016 年通過分布式存儲替代原有傳統(tǒng)存儲作為核心數(shù)據(jù)生產(chǎn)存儲,同時采用應(yīng)用超融合的方式提升了生產(chǎn)計算能力。 改造前的生產(chǎn)網(wǎng)絡(luò)模式為計算資源采用獨(dú)立的刀片計算集群,存儲資源采用集中式SAN 存儲,計算資源通過IB 網(wǎng)絡(luò)(InfiniBand Network)訪問存儲IO服務(wù)器的共享存儲服務(wù)進(jìn)行數(shù)據(jù)交互生產(chǎn)作業(yè)。 整個預(yù)處理自動化生產(chǎn)環(huán)節(jié)共使用了300 TB 集中存儲,12臺存儲I/O 服務(wù)器,48 臺刀片計算服務(wù)器,1 臺IB 交換機(jī),4 臺以太網(wǎng)管理交換機(jī)。 改造前的生產(chǎn)過程中,存儲空間受限于集中存儲容量,但擴(kuò)容成本極高;數(shù)據(jù)I/O 帶寬受限于12 臺I/O 服務(wù)器,增加服務(wù)器并不能線性增加帶寬;計算能力受限于計算服務(wù)器數(shù)量。 改造后,分布式存儲由32 個存儲服務(wù)器與2 臺元數(shù)據(jù)服務(wù)器組合核心,提供1.3 PB 容量存儲服務(wù),聚合帶寬更可達(dá)到30 GB 以上超大聚合帶寬,同時將全自動化預(yù)處理生產(chǎn)任務(wù)融合部署于32 臺存儲服務(wù)器上,節(jié)約了額外的計算服務(wù)器。 通過32 個存儲服務(wù)器組成高性能計算集群,通過高性能集群調(diào)度軟件進(jìn)行生產(chǎn)調(diào)度,避免人工交互可能會影響存儲穩(wěn)定性的概率。 與改造前綜合環(huán)境相比,業(yè)務(wù)存儲空間提升了4 倍,聚合帶寬提升了6 倍,節(jié)約了近一半的服務(wù)器節(jié)點,機(jī)柜占用節(jié)約了2/3。 具體對比情況如表2 所示。

表2 改造前后環(huán)境對比

此次改造大幅減少了計算系統(tǒng)在網(wǎng)絡(luò)獲取上的流量,提高了系統(tǒng)的計算及存儲效率,解決了傳統(tǒng)存儲盤陣的單點故障問題;通過動態(tài)資源配置提高對計算業(yè)務(wù)的靈活適應(yīng)力;減少計算服務(wù)器數(shù)量,提供全新的服務(wù)器整合的方法,減少多種應(yīng)用數(shù)據(jù)處理整體的硬件采購成本;進(jìn)一步降低機(jī)房及機(jī)柜空間、網(wǎng)絡(luò)、散熱以及電力消耗等成本,最大限度地實現(xiàn)信息化建設(shè)節(jié)能減排的目標(biāo),符合國家碳中和建設(shè)目標(biāo)。

3.2 分布式存儲系統(tǒng)在衛(wèi)星遙感影像存儲生產(chǎn)中的優(yōu)勢

分布式存儲系統(tǒng)在衛(wèi)星遙感影像存儲生產(chǎn)中發(fā)揮著重要作用,較傳統(tǒng)架構(gòu)大大提升了數(shù)據(jù)吞吐效率、訪問效率、文件檢索效率,滿足了遙感衛(wèi)星業(yè)務(wù)對存儲系統(tǒng)在容量、性能、擴(kuò)展、管理、安全等多方面更高的需求。 經(jīng)過幾年的平穩(wěn)運(yùn)行,應(yīng)用超融合改造綜合表現(xiàn)能力突出,不僅減少了硬件配置、節(jié)省了物理占用空間,同時還增加了生產(chǎn)系統(tǒng)整體的穩(wěn)定性,不但降低了設(shè)備成本,又有效降低了設(shè)備故障率和運(yùn)維管理難度,使經(jīng)濟(jì)效益和社會效益得到提高。 此外,通過改造后幾年的不斷更新迭代,系統(tǒng)已經(jīng)平穩(wěn)運(yùn)行并逐漸發(fā)揮出更大的優(yōu)勢。

3.2.1 存儲空間使用率常年在90%以上,數(shù)據(jù)安全,業(yè)務(wù)運(yùn)行穩(wěn)定

通過對同時管理的不同品牌存儲系統(tǒng)進(jìn)行橫向?qū)Ρ?存儲空間使用率通?？刂圃?0%～85%,否則經(jīng)常會出現(xiàn)不同程度的錯誤甚至宕機(jī)問題。 應(yīng)用超融合部署下的這套分布式存儲系統(tǒng)卻可以常年處于90%以上不影響數(shù)據(jù)安全和系統(tǒng)性能,一方面歸結(jié)于內(nèi)在軟件機(jī)制,另一方面是數(shù)據(jù)存儲集中適合分布式存儲架構(gòu)特點。 軟件能夠按照業(yè)務(wù)特定應(yīng)用場景不斷提升適應(yīng)能力,將硬件環(huán)境網(wǎng)絡(luò)環(huán)境運(yùn)轉(zhuǎn)到極致,最大程度實現(xiàn)高性價比。

3.2.2 硬盤混插、服務(wù)器不同規(guī)格

經(jīng)過多年的運(yùn)行積累,分布式存儲系統(tǒng)中使用的硬件設(shè)備規(guī)格復(fù)雜多樣,不同硬盤規(guī)格共存2TB,4TB,6TB,8TB,10TB,12TB;不同架構(gòu)存儲服務(wù)器共存12 盤位、24 盤位、36 盤位,存儲系統(tǒng)性能和功能仍保持穩(wěn)定可靠。 實現(xiàn)了“云”的概念,不用強(qiáng)調(diào)區(qū)分硬件設(shè)施,在復(fù)雜甚至混亂的硬件設(shè)備環(huán)境下實現(xiàn)穩(wěn)定的功能和性能,是信息化必然的趨勢。

3.2.3 不斷電、不影響應(yīng)用業(yè)務(wù)情況下,通過更新硬盤實現(xiàn)擴(kuò)容

改造項目在運(yùn)行幾年后開展了在線換盤擴(kuò)容,將原512 塊2 TB 硬盤更換為全新8 TB 硬盤,短期內(nèi)完成擴(kuò)容3 PB 容量空間。 過程中既沒有增加服務(wù)器,也沒有產(chǎn)生計算等應(yīng)用業(yè)務(wù)的間斷,存儲性能和功能仍保持穩(wěn)定可靠,主要?dú)w功于內(nèi)在軟件的機(jī)制,能夠真正實現(xiàn)軟件定義存儲和軟件定義功能和性能。

4 結(jié)語

應(yīng)用超融合技術(shù)在遙感衛(wèi)星數(shù)據(jù)管理應(yīng)用的技術(shù)優(yōu)勢優(yōu)越、成本優(yōu)勢明顯。 隨著衛(wèi)星制造技術(shù)的提升,高時間分辨率、高空間分辨率的衛(wèi)星遙感應(yīng)用時代正加速到來,存儲性能提升和成本控制也是必然的趨勢。計算機(jī)硬件與網(wǎng)絡(luò)發(fā)展已經(jīng)為自然資源信息化提供了高效計算和訪問的能力,進(jìn)一步通過信息化手段實現(xiàn)業(yè)務(wù)一體化流程,實現(xiàn)系統(tǒng)的最大性價比,更好地完成自然資源數(shù)據(jù)服務(wù)的基礎(chǔ)工作。