劉曉蘭，仇宮潤，魯瀟南，常濟崧，宋錫寧

（1. 地理信息工程國家重點實驗室，北京 100094）

天繪二號（TH-2）衛(wèi)星地面應(yīng)用系統(tǒng)的主要任務(wù)是完成全球基礎(chǔ)測繪數(shù)據(jù)獲取、各級衛(wèi)星數(shù)據(jù)產(chǎn)品和測繪產(chǎn)品生產(chǎn)、在軌參數(shù)標定、數(shù)據(jù)存儲管理和共享分發(fā)等[1]，是TH-2衛(wèi)星系統(tǒng)應(yīng)用成果的主體系統(tǒng)。其數(shù)據(jù)存儲管理分系統(tǒng)（簡稱數(shù)管分系統(tǒng)）負責存儲和管理TH-2 衛(wèi)星各類數(shù)據(jù)產(chǎn)品，規(guī)范數(shù)據(jù)格式和接口標準，并兼顧考慮存儲其他測繪類衛(wèi)星數(shù)據(jù)產(chǎn)品[2-5]。為完成各類數(shù)據(jù)的存儲、管理和共享分發(fā)任務(wù)，數(shù)管分系統(tǒng)的設(shè)計既要考慮數(shù)據(jù)存儲管理的安全性、穩(wěn)定性、可靠性、高效性和先進性[6]，又要考慮地面應(yīng)用系統(tǒng)整體建設(shè)的一體化設(shè)計思路[7-8]，最大限度地發(fā)揮硬件設(shè)備、關(guān)鍵算法和軟件模塊效能。本文主要從功能設(shè)計、軟件設(shè)計和性能指標設(shè)計3個方面論述數(shù)管分系統(tǒng)的設(shè)計。

1 功能設(shè)計

數(shù)管分系統(tǒng)利用分布式存儲技術(shù)和數(shù)據(jù)庫技術(shù)，對原始觀測數(shù)據(jù)、全軌道GNSS 數(shù)據(jù)、原始雷達回波數(shù)據(jù)、定標成果以及各級產(chǎn)品數(shù)據(jù)進行存儲、管理和維護，并為其他分系統(tǒng)提供數(shù)據(jù)導(dǎo)入導(dǎo)出和查詢下載等功能；從功能上劃分為綜合管理子系統(tǒng)、數(shù)據(jù)共享應(yīng)用子系統(tǒng)、數(shù)據(jù)存儲子系統(tǒng)和數(shù)據(jù)庫管理子系統(tǒng)。綜合管理子系統(tǒng)具有與外部接口通信，觸發(fā)任務(wù)調(diào)度，生成任務(wù)并實現(xiàn)作業(yè)調(diào)度，集成用戶身份驗證、權(quán)限管理和日志管理等功能。數(shù)據(jù)共享應(yīng)用子系統(tǒng)負責管理各分系統(tǒng)與數(shù)管分系統(tǒng)之間的數(shù)據(jù)交換與共享，以及數(shù)據(jù)的內(nèi)部查詢工作。數(shù)據(jù)存儲子系統(tǒng)利用多種存儲設(shè)備，采用虛擬化共享存儲技術(shù)[8]，構(gòu)建可擴展的大規(guī)模存儲系統(tǒng)，完成原始雷達碼流和各級產(chǎn)品數(shù)據(jù)的存儲、動態(tài)遷移與管理控制等工作。數(shù)據(jù)庫管理子系統(tǒng)負責創(chuàng)建各級產(chǎn)品數(shù)據(jù)的邏輯庫、元數(shù)據(jù)字典，建立數(shù)據(jù)組織及其索引體系，完成不同權(quán)限的數(shù)據(jù)庫訪問、用戶管理、數(shù)據(jù)庫操作管理、備份與恢復(fù)、維護以及優(yōu)化工作，并實現(xiàn)多星多載荷數(shù)據(jù)的統(tǒng)一管理。數(shù)管分系統(tǒng)內(nèi)部在綜合管理子系統(tǒng)的統(tǒng)一調(diào)度下，實現(xiàn)對衛(wèi)星影像產(chǎn)品數(shù)據(jù)、支撐輔助數(shù)據(jù)的統(tǒng)一存儲、管理和維護。

2 軟件設(shè)計

2.1 體系架構(gòu)設(shè)計

數(shù)管分系統(tǒng)的主要任務(wù)是完成各類衛(wèi)星數(shù)據(jù)產(chǎn)品的存儲管理和維護，為各類用戶提供數(shù)據(jù)支撐服務(wù)。體系架構(gòu)的設(shè)計思路為“平臺+插件”，以實現(xiàn)標準化、系列化和模塊化的目標；采用分層體系架構(gòu)技術(shù)[9-10]，層次間交互采用面向?qū)ο蟮慕涌诜?wù)方式，層次內(nèi)部為分系統(tǒng)提供相對獨立的功能，以降低系統(tǒng)復(fù)雜性、提高可維護性；并針對TH-2 衛(wèi)星的特點，開展業(yè)務(wù)功能的插件化定制，設(shè)計不同的存儲、查詢和管理方式[11-14]，以實現(xiàn)多源遙感數(shù)據(jù)的存儲和管理。

數(shù)管分系統(tǒng)體系架構(gòu)包括3層，基礎(chǔ)設(shè)施層涵蓋分系統(tǒng)所需的一切資源，如存儲資源、計算資源、網(wǎng)絡(luò)資源、操作系統(tǒng)等；基礎(chǔ)平臺層分為資源層和服務(wù)層，資源層通過設(shè)計合理的數(shù)據(jù)庫體系完成元數(shù)據(jù)、標準產(chǎn)品數(shù)據(jù)、專業(yè)處理產(chǎn)品數(shù)據(jù)、原始回波數(shù)據(jù)等數(shù)據(jù)組織，并結(jié)合輔助數(shù)據(jù)資源、通用軟件插件和遠程服務(wù)，針對不同數(shù)據(jù)類型和硬件資源設(shè)計不同的存儲管理策略，實現(xiàn)海量遙感數(shù)據(jù)的存儲和管理[15-18]，服務(wù)層則通過資源訪問接口提供資源檢索服務(wù)和數(shù)據(jù)傳輸功能[19-20]；應(yīng)用插件層分為內(nèi)核層和應(yīng)用插件層，內(nèi)核層包括插件引擎和用于數(shù)據(jù)源管理、場景管理、圖層管理的基礎(chǔ)插件，應(yīng)用插件層涵蓋4個子系統(tǒng)的功能模塊插件。

2.2 工作流程設(shè)計

數(shù)管分系統(tǒng)從工作流程上可分為數(shù)據(jù)入庫與出庫流程、數(shù)據(jù)檢索與下載流程以及數(shù)據(jù)檢索與瀏覽流程。

1）數(shù)據(jù)入庫與出庫流程由任務(wù)管控分系統(tǒng)調(diào)度任務(wù)的觸發(fā)而自動執(zhí)行，收到入庫計劃后，先遍歷數(shù)據(jù)列表中的全部數(shù)據(jù)進行歸檔數(shù)據(jù)分類，再根據(jù)數(shù)據(jù)類型對分類后的數(shù)據(jù)進行入庫審核，若審核通過，則進行入庫前的元數(shù)據(jù)解析和數(shù)據(jù)組織關(guān)聯(lián)；否則向任務(wù)管控分系統(tǒng)進行反饋。經(jīng)過入庫審核和元數(shù)據(jù)解析后，歸檔數(shù)據(jù)文件被注入數(shù)據(jù)存儲管理空間，按給定的存儲策略對數(shù)據(jù)進行備份和分級管理，并根據(jù)實時/準實時分布式存儲系統(tǒng)的存儲時限確定數(shù)據(jù)是否進行遷移管理。收到數(shù)據(jù)出庫命令后，先生成數(shù)據(jù)導(dǎo)出任務(wù)，再根據(jù)調(diào)度策略執(zhí)行多發(fā)/并發(fā)任務(wù)，將在線/離線數(shù)據(jù)流轉(zhuǎn)至指定地址。

2）數(shù)據(jù)檢索與下載流程。在數(shù)管分系統(tǒng)中，各類數(shù)據(jù)歸檔后將根據(jù)元數(shù)據(jù)形成元數(shù)據(jù)目錄，用戶可實時在線檢索、瀏覽，獲取數(shù)據(jù)實體則需啟動下載服務(wù)。用戶登錄系統(tǒng)后，根據(jù)用戶身份瀏覽相應(yīng)的數(shù)據(jù)目錄，若需下載數(shù)據(jù)，則輸入相關(guān)條件進行查詢，檢索是否有所需數(shù)據(jù)，若有則提交下載請求，審批通過后進行數(shù)據(jù)下載；否則查看是否有上一級數(shù)據(jù)，若有則發(fā)起歷史數(shù)據(jù)重生產(chǎn)任務(wù)，若無則通過綜合管理子系統(tǒng)向任務(wù)管控分系統(tǒng)提交觀測需求以獲取所需數(shù)據(jù)。需要注意的是，數(shù)據(jù)下載需先確認用戶是否具有下載權(quán)限，若無則需返回申請數(shù)據(jù)下載權(quán)限，待審批通過后再進行數(shù)據(jù)下載。

3）數(shù)據(jù)檢索與瀏覽流程通過在線瀏覽服務(wù)模式提供。具有訪問權(quán)限的用戶，通過登錄客戶端數(shù)字門戶Web頁面，在線瀏覽、查看所需數(shù)據(jù)。用戶登錄系統(tǒng)后，根據(jù)權(quán)限訪問數(shù)據(jù)，通過輸入一定的查詢條件，檢索是否有所需數(shù)據(jù)，若有則可在應(yīng)用終端加載數(shù)據(jù)進行在線瀏覽；否則查看是否有上一級數(shù)據(jù)，若有則發(fā)起歷史數(shù)據(jù)重生產(chǎn)任務(wù)獲取所需數(shù)據(jù)，若無則通過綜合管理子系統(tǒng)向任務(wù)管控分系統(tǒng)提交觀測需求獲取數(shù)據(jù)。如果用戶無該數(shù)據(jù)的在線瀏覽權(quán)限，則需返回申請瀏覽權(quán)限，待批準后再進行數(shù)據(jù)在線瀏覽。

2.3 接口設(shè)計

1）外部接口設(shè)計。數(shù)管分系統(tǒng)需要統(tǒng)一存儲、管理和維護TH-2 衛(wèi)星各類產(chǎn)品數(shù)據(jù)與支撐輔助數(shù)據(jù)，還需支持未來的系統(tǒng)擴展，以存儲現(xiàn)有和后期測繪類衛(wèi)星產(chǎn)品數(shù)據(jù)，因此系統(tǒng)外部需與其他分系統(tǒng)建立接口關(guān)系，一方面接收其他分系統(tǒng)的數(shù)據(jù)歸檔通知、檢索與導(dǎo)出請求以及歸檔數(shù)據(jù)；另一方向其他分系統(tǒng)發(fā)送數(shù)據(jù)的歸檔完成通知、檢索和導(dǎo)出結(jié)果。數(shù)管分系統(tǒng)的外部接口見圖1。

圖1 數(shù)管分系統(tǒng)的外部接口關(guān)系

2）內(nèi)部接口設(shè)計。數(shù)據(jù)共享應(yīng)用子系統(tǒng)負責管理數(shù)據(jù)的內(nèi)部查詢工作，用戶身份和權(quán)限認證、入庫、出庫等工作在數(shù)據(jù)共享應(yīng)用子系統(tǒng)和綜合管理子系統(tǒng)之間完成，數(shù)據(jù)獲取在數(shù)據(jù)共享應(yīng)用子系統(tǒng)和數(shù)據(jù)存儲子系統(tǒng)之間完成，而數(shù)據(jù)檢索和結(jié)果返回則在數(shù)據(jù)共享應(yīng)用子系統(tǒng)和數(shù)據(jù)庫管理子系統(tǒng)之間完成。數(shù)管分系統(tǒng)的內(nèi)部接口見圖2。

圖2 數(shù)管分系統(tǒng)的內(nèi)部接口關(guān)系

3 性能指標設(shè)計

數(shù)管分系統(tǒng)的主要性能包括存儲能力、歸檔能力和元數(shù)據(jù)檢索能力等指標。

1）存儲能力。數(shù)管分系統(tǒng)存儲管理的數(shù)據(jù)包括原始觀測數(shù)據(jù)、全軌道GNSS 數(shù)據(jù)、原始雷達回波數(shù)據(jù)、定標成果以及0級、1級和2級數(shù)據(jù)產(chǎn)品等。數(shù)據(jù)存儲能力設(shè)計，需滿足考慮衛(wèi)星每天的工作時長、鏈路帶寬、歸檔數(shù)據(jù)種類及其保存時間等因素的數(shù)據(jù)量存儲需求；當需要考慮多副本冗余備份時，存儲容量則按比例增加。

2）歸檔能力。數(shù)管分系統(tǒng)每天歸檔的數(shù)據(jù)主要為0 級、1 級、2 級和3 級衛(wèi)星產(chǎn)品數(shù)據(jù)，其次是原始觀測數(shù)據(jù)和雷達回波數(shù)據(jù)，還有少量的全軌道GNSS數(shù)據(jù)產(chǎn)品和定標成果數(shù)據(jù)。歸檔能力應(yīng)滿足這些數(shù)據(jù)的存儲管理需求。

3）元數(shù)據(jù)檢索能力主要體現(xiàn)為平均響應(yīng)時間，即服務(wù)端的平均檢索時間，不能超過0.5 s。

4 系統(tǒng)應(yīng)用性能

數(shù)管分系統(tǒng)投入應(yīng)用以來，系統(tǒng)運行穩(wěn)定，完成了TH-2衛(wèi)星各類數(shù)據(jù)產(chǎn)品的歸檔、存儲管理和查詢等任務(wù)。目前系統(tǒng)并未滿負荷運行，存儲空間大有盈余，后期將會隨著數(shù)據(jù)量的增加動態(tài)增加存儲空間。系統(tǒng)平均日歸檔能力可達15.53 TB，最高歸檔能力可達3.12 TB/h。系統(tǒng)的查詢響應(yīng)時間平均可達10.91 μs/景，69.25 ms/TB，各項功能均符合設(shè)計的性能指標。

5 結(jié) 語

數(shù)管分系統(tǒng)在TH-2 衛(wèi)星地面應(yīng)用系統(tǒng)中采用了“平臺+插件”的總體設(shè)計思路，建立了標準化、系列化、模塊化的體系架構(gòu)。隨著后續(xù)衛(wèi)星的發(fā)射和分系統(tǒng)業(yè)務(wù)處理能力的提升，數(shù)管分系統(tǒng)也需更新相應(yīng)的業(yè)務(wù)處理模塊，改進和擴展功能，以適應(yīng)多源遙感影像數(shù)據(jù)存儲、管理、分發(fā)和服務(wù)的需求。