孫建欣，李成芳，雷云龍，曹飛*，徐丹，周子牧，吳躍，孫中平

(1.生態(tài)環(huán)境部衛(wèi)星環(huán)境應用中心，北京 100094；2.國家對地觀測科學數(shù)據(jù)中心生態(tài)環(huán)境衛(wèi)星數(shù)據(jù)資源分中心，北京 100094)

近年來，我國已先后發(fā)射了資源一號02C 衛(wèi)星、資源三號衛(wèi)星以及高分一號衛(wèi)星、高分二號衛(wèi)星等具備先進高分辨率觀測能力的民用衛(wèi)星[1]，數(shù)據(jù)獲取能力大幅度提高。衛(wèi)星遙感技術在國家生態(tài)環(huán)境考核評價、生態(tài)補償、監(jiān)管執(zhí)法、風險防范、公共服務等方面的支撐服務作用逐步凸顯，地方生態(tài)環(huán)境主管部門也在大氣、水、生態(tài)、固廢、督察等領域逐步開展相關遙感應用。

隨著國家和地方生態(tài)環(huán)境監(jiān)管需求日益增多，對多源衛(wèi)星遙感數(shù)據(jù)獲取的時效性提出了更高的要求。同時，衛(wèi)星遙感數(shù)據(jù)爆炸性增長并被廣泛應用，呈現(xiàn)出明顯的“大數(shù)據(jù)”特征[2-3]，傳統(tǒng)的人工查詢、下載、傳輸方式已無法滿足需要。如何主動、及時、高效地實現(xiàn)大數(shù)據(jù)量的多源衛(wèi)星遙感影像數(shù)據(jù)的傳輸，成為生態(tài)環(huán)境遙感監(jiān)測發(fā)展的瓶頸。為實現(xiàn)生態(tài)環(huán)境監(jiān)管“高精度、短周期、全方位”的目標，亟須探索建立及時、主動、高效的全自動化的多源衛(wèi)星遙感數(shù)據(jù)傳輸系統(tǒng)平臺。

根據(jù)生態(tài)環(huán)境監(jiān)測需求，利用大數(shù)據(jù)、互聯(lián)網(wǎng)、公有云等技術，構(gòu)建了集多源衛(wèi)星遙感數(shù)據(jù)及時獲取、主動推送和接收、接收端及時歸檔等于一體的生態(tài)環(huán)境多源衛(wèi)星遙感數(shù)據(jù)傳輸系統(tǒng)，實現(xiàn)國產(chǎn)多源衛(wèi)星遙感數(shù)據(jù)主動傳輸，為省、市、縣三級生態(tài)環(huán)境主管部門開展生態(tài)環(huán)境遙感監(jiān)測提供數(shù)據(jù)支撐。

1 系統(tǒng)設計

生態(tài)環(huán)境多源衛(wèi)星遙感數(shù)據(jù)傳輸系統(tǒng)以高分辨率對地觀測系統(tǒng)衛(wèi)星遙感影像數(shù)據(jù)為主要數(shù)據(jù)源，基于用戶需求對衛(wèi)星遙感數(shù)據(jù)進行主動推送。本系統(tǒng)具體內(nèi)容包括一套基礎地理數(shù)據(jù)、一個數(shù)據(jù)庫體系、一套管控機制以及一套標準規(guī)范。

1.1 設計原則

(1)時效性原則

生態(tài)環(huán)境監(jiān)測要求具有較高的時效性，在滿足業(yè)務需求的同時，完成數(shù)據(jù)采集后在規(guī)定的時間內(nèi)推送出去，保證數(shù)據(jù)能迅速、及時、高效地的被用戶接收，助力用戶及時完成環(huán)境變化與動態(tài)監(jiān)測研究。

(2)規(guī)范性原則

保證在功能模塊和人機交互界面上貼近用戶日常操作習慣，功能模塊和功能按鈕的說明應定義清晰、命名直觀，達到簡單易用、提高業(yè)務管理效率的目的，操作界面簡潔、直觀，使用簡單，操作方便。

1.2 結(jié)構(gòu)設計

結(jié)合生態(tài)環(huán)境遙感監(jiān)測需求，將生態(tài)環(huán)境多源衛(wèi)星遙感數(shù)據(jù)傳輸系統(tǒng)建成具備穩(wěn)定、高效、可擴展、可重用等特性的系統(tǒng)。系統(tǒng)在設計上為后續(xù)的業(yè)務支持和功能擴展預留了接口。系統(tǒng)各部分針對nignx、rabbit MQ、tomcat、serv-u 等應用中間件進行了優(yōu)化，支持Windows 操作系統(tǒng)的部署與應用?；诙鄬覤/S 開發(fā)應用模式，所有的應用邏輯和開發(fā)維護都集中在服務器上[4]。該系統(tǒng)是面向應用軟件進行的集成和整合，從整體上劃分為基礎設施層、數(shù)據(jù)層、基礎組件層、應用層和用戶層五個層次。參見圖1。

圖1 系統(tǒng)總體架構(gòu)

(1)基礎設施層

基礎設施層包括兩個部分，為本系統(tǒng)提供各類軟、硬件的基礎設施支撐。一是基礎平臺，即硬件支撐平臺，為數(shù)據(jù)存儲和系統(tǒng)運行提供硬件支撐，包括計算機、存儲設備、網(wǎng)絡設備和安全系統(tǒng)等；二是各類支撐軟件，為各應用系統(tǒng)提供開發(fā)、測試與運行的軟件支撐。

(2)數(shù)據(jù)層

數(shù)據(jù)層主要實現(xiàn)對遙感數(shù)據(jù)、用戶信息、元數(shù)據(jù)以及其他數(shù)據(jù)的統(tǒng)一存儲管理，包括遙感影像庫、元數(shù)據(jù)庫、快視圖數(shù)據(jù)庫、業(yè)務數(shù)據(jù)庫等。

(3)基礎組件層

基礎組件層是將應用層中的各個子系統(tǒng)中與業(yè)務邏輯無關的通用支撐功能分離出來，構(gòu)成可以被不同系統(tǒng)調(diào)用的構(gòu)件集和服務集，實現(xiàn)對功能的重用。基礎組件層主要包括任務管理、任務審核、數(shù)據(jù)推送、推送監(jiān)控、需求定制、數(shù)據(jù)接收、數(shù)據(jù)統(tǒng)計和任務監(jiān)控等。

(4)應用層

應用層直接面向各類用戶提供應用服務，包括生態(tài)環(huán)境遙感數(shù)據(jù)推送子系統(tǒng)和生態(tài)環(huán)境遙感數(shù)據(jù)接收子系統(tǒng)。

(5)用戶層

用戶層包括數(shù)據(jù)推送方和數(shù)據(jù)接收方。

1.3 功能設計

生態(tài)環(huán)境多源衛(wèi)星遙感數(shù)據(jù)傳輸系統(tǒng)包括生態(tài)環(huán)境數(shù)據(jù)推送子系統(tǒng)和生態(tài)環(huán)境數(shù)據(jù)接收子系統(tǒng)，系統(tǒng)功能設計如圖2 所示。

圖2 系統(tǒng)功能設計

(1)生態(tài)環(huán)境數(shù)據(jù)推送子系統(tǒng)

生態(tài)環(huán)境數(shù)據(jù)推送子系統(tǒng)主要包括任務管理模塊、數(shù)據(jù)推送模塊和數(shù)據(jù)監(jiān)控模塊。其中，任務管理模塊支持對任務實現(xiàn)添加、刷新、查詢、刪除、暫停、恢復、重新推送等功能，主要是根據(jù)訂單需求，創(chuàng)建數(shù)據(jù)推送任務，展示任務信息并支持對任務的增、刪、改、查等基本操作。該模塊將ArcSDE作為空間數(shù)據(jù)引擎，將SQLServer 作為數(shù)據(jù)庫進行空間數(shù)據(jù)管理，設計和實現(xiàn)具有基本地圖操作功能、地圖定位、查詢、空間分析的系統(tǒng)[5-8]；數(shù)據(jù)推送模塊支持對推送任務中的數(shù)據(jù)按日、周、月三種周期進行數(shù)據(jù)推送，數(shù)據(jù)推送狀態(tài)包括隊列中、正在推送、推送完成、推送失敗四種，對于推送失敗的數(shù)據(jù)可以單選或多選進行重新推送；數(shù)據(jù)監(jiān)控模塊主要是對任務、子任務和數(shù)據(jù)的監(jiān)控，對任務和子任務的監(jiān)控通過進度條完成度表示，對數(shù)據(jù)的監(jiān)控采用數(shù)據(jù)顯示狀態(tài)表示。

(2)生態(tài)環(huán)境數(shù)據(jù)接收子系統(tǒng)

生態(tài)環(huán)境數(shù)據(jù)接收子系統(tǒng)主要包括需求定制模塊、數(shù)據(jù)接收監(jiān)控模塊和數(shù)據(jù)接收歸檔模塊。其中，需求定制模塊由系統(tǒng)管理員根據(jù)線下數(shù)據(jù)推送協(xié)議發(fā)起的線上數(shù)據(jù)進行任務推送，數(shù)據(jù)接收監(jiān)控模塊能夠?qū)崿F(xiàn)對任務的模糊查詢、展示和詳情信息查詢等，數(shù)據(jù)歸檔模塊可以按時間、數(shù)據(jù)狀態(tài)(衛(wèi)星類型、傳感器類型)篩選數(shù)據(jù)，并對接收到的數(shù)據(jù)以列表、快視圖等形式展示。

1.4 數(shù)據(jù)庫設計

生態(tài)環(huán)境多源衛(wèi)星遙感數(shù)據(jù)傳輸系統(tǒng)數(shù)據(jù)庫設計內(nèi)容主要包括概念模型設計、邏輯模型設計和物理設計。該系統(tǒng)數(shù)據(jù)庫概念模型設計是通過對數(shù)據(jù)資源進行綜合、歸納和抽象，形成一個獨立于具體硬件環(huán)境和數(shù)據(jù)庫管理系統(tǒng)的概念模型。數(shù)據(jù)庫邏輯模型設計的主要任務就是把概念結(jié)構(gòu)轉(zhuǎn)換為數(shù)據(jù)庫管理系統(tǒng)能處理的數(shù)據(jù)模型，并對其進行優(yōu)化，將概念模型設計階段設計好的E-R圖轉(zhuǎn)換為與所選用的具體機器上的DBMS 所支持的數(shù)據(jù)模型相符合的邏輯結(jié)構(gòu)。設計數(shù)據(jù)庫邏輯結(jié)構(gòu)應選擇最適合于描述與表達相應概念結(jié)構(gòu)的數(shù)據(jù)模型，這些模型在功能、完整性和一致性約束及數(shù)據(jù)庫的可擴充性等方面均應滿足用戶的各種要求，然后選擇最合適的數(shù)據(jù)庫管理系統(tǒng)。

生態(tài)環(huán)境多源衛(wèi)星遙感數(shù)據(jù)傳輸系統(tǒng)數(shù)據(jù)庫系統(tǒng)存取結(jié)構(gòu)包括記錄的組成、數(shù)據(jù)項的類型和長度，以及邏輯記錄到存儲記錄的映射。根據(jù)數(shù)據(jù)類型的不同，采用關系數(shù)據(jù)庫方式和文件服務器相結(jié)合的方式來存取管理數(shù)據(jù)。

2 數(shù)據(jù)傳輸系統(tǒng)的實現(xiàn)

生態(tài)環(huán)境多源衛(wèi)星遙感數(shù)據(jù)傳輸系統(tǒng)研制采用了多層的體系、B/S 架構(gòu)[9-20]，主要采用JAVA語言開發(fā)，選用ORACLE、PG 數(shù)據(jù)庫，運用CVS或SVN 版本的控制軟件。

數(shù)據(jù)接收端發(fā)起數(shù)據(jù)推送需求，需求中需要指定數(shù)據(jù)類型、數(shù)據(jù)范圍、數(shù)據(jù)時間、數(shù)據(jù)推送周期、數(shù)據(jù)接收地址、數(shù)據(jù)推送周期和數(shù)據(jù)推送啟動時間。數(shù)據(jù)推送端接收到需求后會對需求進行審核，審核不通過則退回接收端進行修改。審核通過后，數(shù)據(jù)推送端會按需求自動創(chuàng)建數(shù)據(jù)推送任務，根據(jù)任務指定的衛(wèi)星類型、傳輸?shù)刂贰⑼扑烷_始時間、數(shù)據(jù)范圍、數(shù)據(jù)時間和推送周期定期到數(shù)據(jù)庫中進行數(shù)據(jù)掃描，掃描到符合要求的數(shù)據(jù)后會將數(shù)據(jù)推送到接收端指定的路徑下，推送完成后接收端即可到路徑下提取數(shù)據(jù)到本地庫。

3 系統(tǒng)相關技術

3.1 關鍵技術

(1)基于RabbitMQ 的多進程推送服務

基于RabbitMQ 的多進程推送系統(tǒng)配合合理的網(wǎng)絡硬件部署可以在最大利用網(wǎng)絡通信資源的條件下解決分發(fā)瓶頸問題。多進程推送可以將多個推送服務部署在不同的服務器上(也可以在每個服務器上部署多個分發(fā)服務以最大限度利用服務資源)，通過負載均衡系統(tǒng)自動最大限度利用多臺服務器和多臺存儲設備資源進行推送。

(2)基于國密算法的系統(tǒng)加密技術

國密算法即國家密碼局認定的國產(chǎn)密碼算法，主要有SM1、SM2、SM3、SM4。SM1 需要特殊加密芯片進行硬件支持，用于極高要求的安全領域；SM2 實現(xiàn)非對稱加密，加密級別較高，但用于大數(shù)據(jù)量加密時其運行效率是短板，一般可用于數(shù)據(jù)存儲而不適合數(shù)據(jù)傳輸；SM3 為電子簽名算法，用于身份驗證，無法用于傳輸數(shù)據(jù)本身。本系統(tǒng)采用SM4 對稱加密算法。SM4 算法公開，分組長度與密鑰長度均為128bit，加密算法與密鑰擴展算法都采用32 輪非線性迭代結(jié)構(gòu)；對比同類AES 加密算法具有內(nèi)存占用小，運算速度快，安全性高等優(yōu)點。

3.2 數(shù)據(jù)源

本系統(tǒng)實現(xiàn)主動傳輸?shù)臄?shù)據(jù)源主要包括高分一號(GF1，包括A/B/C/D 四顆星)、高分二號(GF2)、高分三號(GF3)、高分四號(GF4)、高分五號(GF5)、高分六號(GF6)、資源三號(ZY3)和資源三號02 星(ZY3-02)等，同時預留了后續(xù)發(fā)射衛(wèi)星數(shù)據(jù)接口。

4 結(jié)束語

基于覆蓋范圍廣、信息量大、可連續(xù)觀測的特點，衛(wèi)星遙感技術在生態(tài)環(huán)境保護工作中發(fā)揮了不可或缺的作用，有力地支撐了生態(tài)環(huán)境監(jiān)測、督察監(jiān)管等重要工作。根據(jù)衛(wèi)星遙感數(shù)據(jù)在生態(tài)環(huán)境監(jiān)測、監(jiān)管方面的應用，將多源遙感數(shù)據(jù)集合，設計并實現(xiàn)了生態(tài)環(huán)境多源衛(wèi)星遙感數(shù)據(jù)的主動快速傳輸系統(tǒng)。該系統(tǒng)將不同數(shù)據(jù)源衛(wèi)星數(shù)據(jù)整合到同一個平臺中，根據(jù)用戶需求，實現(xiàn)對數(shù)據(jù)的及時、高效、按需推送，為生態(tài)環(huán)境監(jiān)測提供基礎數(shù)據(jù)支撐。

研究表明，生態(tài)環(huán)境多源衛(wèi)星遙感數(shù)據(jù)傳輸系統(tǒng)實現(xiàn)了多源衛(wèi)星遙感數(shù)據(jù)的主動快速推送，為生態(tài)環(huán)境監(jiān)管提供了及時高效的基礎數(shù)據(jù)支撐。目前已完成江蘇南京、江蘇泰州、陜西西安等節(jié)點的部署和上線運行，為秸稈焚燒、黑臭水體、自然保護區(qū)、飲用水源地、生態(tài)保護紅線等重點業(yè)務提供了數(shù)據(jù)保障，在生態(tài)環(huán)境監(jiān)測與監(jiān)管過程中發(fā)揮了積極作用。下一步將開發(fā)區(qū)域定制化數(shù)據(jù)服務，不斷優(yōu)化系統(tǒng)功能，提供更高時效的生態(tài)環(huán)境衛(wèi)星遙感數(shù)據(jù)，大幅度提高生態(tài)環(huán)境監(jiān)測能力，為生態(tài)環(huán)境質(zhì)量考核評價、污染解析、預警應急、監(jiān)督執(zhí)法、風險管理等重點工作提供數(shù)據(jù)服務。