經(jīng)過(guò)多年的發(fā)展,我國(guó)的遙感數(shù)據(jù)應(yīng)用在數(shù)據(jù)接收、處理及應(yīng)用等方面取得了顯著成績(jī),但在應(yīng)用方面呈現(xiàn)與區(qū)域地方的融合程度不足,數(shù)據(jù)應(yīng)用范圍廣度不夠,各遙感數(shù)據(jù)應(yīng)用程度不足,數(shù)據(jù)共享能力不足等問(wèn)題。隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展,以云服務(wù)的方式進(jìn)行遙感數(shù)據(jù)服務(wù)已經(jīng)成為領(lǐng)域的發(fā)展熱點(diǎn)方向之一。
目前云服務(wù)方式已成為解決高性能計(jì)算、海量數(shù)據(jù)存儲(chǔ)、分布式應(yīng)用、按需提供服務(wù)等問(wèn)題的主要途徑,將遙感數(shù)據(jù)、信息產(chǎn)品、處理技術(shù)與計(jì)算資源打包成類似公共設(shè)施的可計(jì)量的服務(wù),提供給用戶通過(guò)網(wǎng)絡(luò)或移動(dòng)終端隨時(shí)隨地按需使用。
圖1 遙感數(shù)據(jù)服務(wù)模式設(shè)計(jì)圖
本文利用云服務(wù)具有的按需計(jì)算、按需服務(wù)、動(dòng)態(tài)擴(kuò)展的特點(diǎn),開展高分遙感應(yīng)用云平臺(tái)架構(gòu)、海量空間信息存儲(chǔ)管理研究,設(shè)計(jì)一種適合于遙感數(shù)據(jù)管理、應(yīng)用和共享的遙感數(shù)據(jù)平臺(tái),并在HDFS、Xen Server等開源云計(jì)算軟件的基礎(chǔ)上研制基于云服務(wù)的衛(wèi)星應(yīng)用公共服務(wù)平臺(tái),為各類用戶提供原始數(shù)據(jù)、計(jì)算能力以及業(yè)務(wù)按需組裝調(diào)度能力,以降低遙感數(shù)據(jù)使用成本,提高遙感數(shù)據(jù)的使用共享率。
云服務(wù)優(yōu)勢(shì)為按需付費(fèi),保證用戶的使用需求的同時(shí)節(jié)約硬件資源,而常規(guī)的遙感數(shù)據(jù)服務(wù)方式多是一次性付費(fèi)下載,按數(shù)據(jù)的長(zhǎng)久使用考量數(shù)據(jù)的費(fèi)用,造成遙感數(shù)據(jù)應(yīng)用范圍多局限于科研院校及大型企業(yè),數(shù)據(jù)的使用費(fèi)用及處理能力約束了中小企業(yè)對(duì)于遙感數(shù)據(jù)的使用。云服務(wù)的特點(diǎn)使得數(shù)據(jù)保有權(quán)及硬件資源、算法資源一直留在數(shù)據(jù)分發(fā)單位,同時(shí)降低數(shù)據(jù)的使用單價(jià)及應(yīng)用門檻。
本文對(duì)多源遙感數(shù)據(jù)的使用方式如圖1所示,通過(guò)建設(shè)衛(wèi)星共性技術(shù)服務(wù)平臺(tái),突破面向區(qū)域的多星組網(wǎng)分析技術(shù),提供多源遙感數(shù)據(jù)源服務(wù);突破海量空間是信息數(shù)據(jù)的存儲(chǔ)管理技術(shù),提供數(shù)據(jù)分發(fā)服務(wù)和算法注冊(cè)服務(wù);研究衛(wèi)星共性服務(wù)平臺(tái)架構(gòu),集成GF、HJ、ZY等遙感數(shù)據(jù),讓用戶能夠提交自己的算法如空間信息數(shù)據(jù)間輻射校正、國(guó)產(chǎn)空間信息數(shù)據(jù)校正等進(jìn)行數(shù)據(jù)分析,將分析計(jì)算結(jié)果分發(fā)給用戶,實(shí)現(xiàn)按數(shù)據(jù)使用量和業(yè)務(wù)執(zhí)行次數(shù)的計(jì)費(fèi)模式。
衛(wèi)星遙感數(shù)據(jù)龐大的數(shù)據(jù)量,需要借助海量數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)行歸檔存儲(chǔ)。海量不僅包括大容量的數(shù)據(jù)存儲(chǔ)能力,還包括大規(guī)模的數(shù)據(jù)吞吐能力。隨著業(yè)務(wù)量的增長(zhǎng),數(shù)據(jù)存儲(chǔ)量和存儲(chǔ)性能急速增長(zhǎng),還要求整套存儲(chǔ)系統(tǒng)具有極高的動(dòng)態(tài)可擴(kuò)展性能,避免存儲(chǔ)擴(kuò)容對(duì)業(yè)務(wù)系統(tǒng)造成長(zhǎng)時(shí)間中斷。
圖2 基礎(chǔ)應(yīng)用云平臺(tái)架構(gòu)
針對(duì)海量遙感數(shù)據(jù)條件下難以保證海量數(shù)據(jù)吞吐量、難以動(dòng)態(tài)無(wú)限擴(kuò)容且造價(jià)高問(wèn)題,以及海量遙感數(shù)據(jù)條件下高性能快速計(jì)算問(wèn)題,開展衛(wèi)星共性服務(wù)平臺(tái)架構(gòu)研究,衛(wèi)星共性服務(wù)平臺(tái)由服務(wù)層、基礎(chǔ)平臺(tái)服務(wù)層及基礎(chǔ)設(shè)施層組成。平臺(tái)層包括:數(shù)據(jù)管理分系統(tǒng)、并行處理分系統(tǒng)向多元數(shù)據(jù)處理示范應(yīng)用軟件提供數(shù)據(jù)歸檔、數(shù)據(jù)檢索、數(shù)據(jù)提取、并行任務(wù)調(diào)度、任務(wù)管理、算法注冊(cè)等服務(wù);平臺(tái)服務(wù)層提供數(shù)據(jù)歸檔、數(shù)據(jù)檢索、數(shù)據(jù)提取、并行任務(wù)調(diào)度、任務(wù)管理、算法注冊(cè)等服務(wù);基礎(chǔ)設(shè)施層以虛擬化的方式對(duì)集群主機(jī)硬件狀態(tài)進(jìn)行監(jiān)視和控制(包括計(jì)算能力分配、動(dòng)態(tài)內(nèi)存管理、在線遷移等),能夠進(jìn)行服務(wù)部署,并對(duì)平臺(tái)上部署的服務(wù)進(jìn)行監(jiān)控。
最終實(shí)現(xiàn)包括多源空間信息數(shù)據(jù)間輻射校正、國(guó)產(chǎn)空間信息數(shù)據(jù)校正、多源空間數(shù)據(jù)融合、高分辨率光學(xué)影像的無(wú)云產(chǎn)品生產(chǎn)等算法的集成,為農(nóng)業(yè)、林業(yè)、地質(zhì)、地理、海洋、水文、氣象、測(cè)繪等領(lǐng)域提供綜合服務(wù)能力。基于云服務(wù)的原型系統(tǒng)架構(gòu)方案如圖2所示。
為解決PB級(jí)遙感大數(shù)據(jù)的管理和應(yīng)用,本文采用主從模式的分布式文件系統(tǒng)實(shí)現(xiàn)海量空間信息數(shù)據(jù)的存儲(chǔ)和管理,把物理上分散存儲(chǔ)的眾多文件存儲(chǔ)設(shè)備整合為一個(gè)統(tǒng)一的邏輯存儲(chǔ)視圖,對(duì)應(yīng)用層屏蔽了數(shù)據(jù)真實(shí)的存儲(chǔ)位置、存儲(chǔ)方式、數(shù)據(jù)組織等細(xì)節(jié),以方便上層訪問(wèn)。在這種主從模式存儲(chǔ)方式下,可將整個(gè)存儲(chǔ)管理系統(tǒng)劃分為兩類節(jié)點(diǎn),即數(shù)據(jù)存儲(chǔ)管理節(jié)點(diǎn)和數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)。數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)作為從屬節(jié)點(diǎn),用來(lái)存儲(chǔ)海量空間信息數(shù)據(jù),若干數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)形成一個(gè)分布式、可橫向平滑擴(kuò)展的存儲(chǔ)集群;存儲(chǔ)管理節(jié)點(diǎn),以文件為單位負(fù)責(zé)對(duì)空間信息數(shù)據(jù)進(jìn)行全生命周期的有效組織和管理,以此提高文件的管理效率,如圖3所示。
為對(duì)本文提出的技術(shù)思路、數(shù)據(jù)服務(wù)方式進(jìn)行驗(yàn)證,開發(fā)了基于云服務(wù)的多源載荷數(shù)據(jù)處理與應(yīng)用原型系統(tǒng),系統(tǒng)界面如圖4所示。
當(dāng)前原型系統(tǒng)已集成了包括多源數(shù)據(jù)獲取與處理算法及多源數(shù)據(jù)綜合應(yīng)用兩大類應(yīng)用算法,并對(duì)各算法所生產(chǎn)出的數(shù)據(jù)產(chǎn)品進(jìn)行質(zhì)量評(píng)價(jià),以風(fēng)暴潮損失監(jiān)測(cè)算法為例,用戶可根據(jù)自己的需求,選擇數(shù)據(jù)資源,調(diào)用風(fēng)暴潮損失評(píng)估算法,即可生成對(duì)應(yīng)的損失評(píng)估專題圖,并對(duì)數(shù)據(jù)的質(zhì)量情況予以評(píng)價(jià)。
圖3 海量空間信息數(shù)據(jù)存儲(chǔ)管理系統(tǒng)架構(gòu)
圖4 系統(tǒng)數(shù)據(jù)分發(fā)界面原型
隨著我國(guó)航天技術(shù)的發(fā)展,,我國(guó)在軌遙感衛(wèi)星數(shù)量越來(lái)越多,有效載荷不斷豐富,針對(duì)日益豐富的業(yè)務(wù)應(yīng)用需求,傳統(tǒng)的遙感數(shù)據(jù)應(yīng)用服務(wù)模式已經(jīng)愈發(fā)不能滿足要面向國(guó)土、農(nóng)業(yè)、海洋、測(cè)繪等行業(yè)的多樣化應(yīng)用需求,本項(xiàng)目針對(duì)當(dāng)前遙感衛(wèi)星數(shù)據(jù)管理難、共享難、分析能力不足等問(wèn)題, 解決數(shù)據(jù)組網(wǎng)分析獲取、高效存儲(chǔ)管理和定量應(yīng)用支撐等共性處理問(wèn)題,將從數(shù)據(jù)獲取、存儲(chǔ)和應(yīng)用三個(gè)層次支撐行業(yè)應(yīng)用開展,對(duì)我國(guó)衛(wèi)星應(yīng)用業(yè)牽引具有重要意義。