■ 鄢俊潔 瞿建華 范霖
為了解決不同氣象數(shù)據(jù)間的應(yīng)用接口,并突破傳統(tǒng)C/S架構(gòu)應(yīng)用軟件的限制,設(shè)計(jì)了一種基于服務(wù)的,能支持多源、多尺度、多形態(tài)的氣象數(shù)據(jù)和衛(wèi)星遙感數(shù)據(jù)自動(dòng)化生產(chǎn)與發(fā)布的集成技術(shù)解決方案。基于該方案所建立的多源氣象衛(wèi)星數(shù)據(jù)集成顯示應(yīng)用平臺(tái)(ShinetekView),能很好地實(shí)現(xiàn)數(shù)據(jù)的云端發(fā)布和輕量級(jí)客戶端應(yīng)用,并能采用分布式的數(shù)據(jù)管理方式及組件式的結(jié)構(gòu)設(shè)計(jì),實(shí)現(xiàn)對(duì)新的數(shù)據(jù)的擴(kuò)展。
近些年來(lái),氣象衛(wèi)星資料在時(shí)間分辨率、空間分辨率、光譜分辨率上有了大幅度的提高,但是大數(shù)據(jù)量、非常頻繁的資料,給數(shù)據(jù)的使用帶來(lái)了新的挑戰(zhàn)。首先,要解決的是高分辨率數(shù)據(jù)的應(yīng)用問(wèn)題。在傳統(tǒng)的衛(wèi)星資料應(yīng)用軟件中,大多采用C/S結(jié)構(gòu)設(shè)計(jì),資料需要先下載到本地,才可以開(kāi)始進(jìn)行數(shù)據(jù)的處理和應(yīng)用產(chǎn)品的分析。目前,我國(guó)風(fēng)云三號(hào)D星(FY-3D)的 MERSI的5 min L1B數(shù)據(jù)的數(shù)據(jù)量已經(jīng)達(dá)到2 G,風(fēng)云四號(hào)(FY-4)試驗(yàn)星全圓盤觀測(cè)的L1B數(shù)據(jù)量達(dá)到3 G,同時(shí)頻次非常高,5 min就可以完成一次中國(guó)區(qū)域的觀測(cè)。在如此大的數(shù)據(jù)量下,如何便利地使用數(shù)據(jù),是目前迫切需要解決的問(wèn)題。其次,氣象數(shù)據(jù)種類的增加,帶來(lái)了這些數(shù)據(jù)的融合使用問(wèn)題。每增加一類數(shù)據(jù),需要開(kāi)發(fā)一套新的應(yīng)用軟件。不僅增加了系統(tǒng)的復(fù)雜性,同時(shí)對(duì)于使用用戶來(lái)說(shuō)也會(huì)非常地不便利。
隨著計(jì)算機(jī)技術(shù)的逐步發(fā)展,目前云平臺(tái)、大數(shù)據(jù)等應(yīng)用日益廣泛,對(duì)于傳統(tǒng)的氣象數(shù)據(jù)的應(yīng)用同樣提出了挑戰(zhàn),利用強(qiáng)大的計(jì)算機(jī)資源和IT技術(shù),優(yōu)化和提高氣象數(shù)據(jù)的應(yīng)用效率和應(yīng)用效果,是迫切需要解決的問(wèn)題。因此,如何解決大數(shù)據(jù)量及不同類型數(shù)據(jù)的綜合顯示問(wèn)題,是目前多源氣象數(shù)據(jù)應(yīng)用的一個(gè)重點(diǎn)。
為了解決大數(shù)據(jù)高效使用和多源數(shù)據(jù)應(yīng)用兩個(gè)關(guān)鍵問(wèn)題,設(shè)計(jì)了多源氣象衛(wèi)星數(shù)據(jù)集成顯示應(yīng)用平臺(tái)(ShinetekView,以下簡(jiǎn)稱應(yīng)用平臺(tái))。應(yīng)用平臺(tái)設(shè)計(jì)上采用面向服務(wù)架構(gòu),可以實(shí)現(xiàn)數(shù)據(jù)的云服務(wù)和輕量級(jí)客戶端應(yīng)用;同時(shí),采用分布式管理,可根據(jù)實(shí)際業(yè)務(wù)量進(jìn)行配置;在結(jié)構(gòu)設(shè)計(jì)上采用組件式設(shè)計(jì),在需要新增一種資料或者一種產(chǎn)品時(shí),只需要增加對(duì)應(yīng)的中間件即可,解決了擴(kuò)展性問(wèn)題。
從系統(tǒng)架構(gòu)設(shè)計(jì)上,整個(gè)應(yīng)用平臺(tái)分為三層:數(shù)據(jù)處理層、數(shù)據(jù)服務(wù)層、應(yīng)用展示層(圖1)。
圖1 應(yīng)用平臺(tái)總體架構(gòu)圖
在數(shù)據(jù)處理層上,首先為了保證系統(tǒng)的可擴(kuò)展性和一致性,要對(duì)輸入的氣象數(shù)據(jù)和衛(wèi)星遙感數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理,包括對(duì)數(shù)據(jù)的文件名、文件格式、存儲(chǔ)方式和數(shù)據(jù)管理等方面,生成系統(tǒng)內(nèi)部定義的統(tǒng)一數(shù)據(jù)格式。然后將標(biāo)準(zhǔn)化后的氣象數(shù)據(jù)和衛(wèi)星遙感數(shù)據(jù)根據(jù)類型的不同處理成影像、矢量、高程三種數(shù)據(jù)類型。目前支持對(duì)風(fēng)云系列衛(wèi)星遙感數(shù)據(jù)、碳衛(wèi)星遙感數(shù)據(jù)以及數(shù)值天氣預(yù)報(bào)數(shù)據(jù)的處理。
在數(shù)據(jù)服務(wù)上,采用文件系統(tǒng)與關(guān)系型數(shù)據(jù)庫(kù)的統(tǒng)一管理模式,通過(guò)關(guān)系型數(shù)據(jù)庫(kù)與文件系統(tǒng)對(duì)各類型數(shù)據(jù)統(tǒng)一存儲(chǔ)、管理與訪問(wèn),通過(guò)在存儲(chǔ)、數(shù)據(jù)庫(kù)服務(wù)器、數(shù)據(jù)庫(kù)、中間件、應(yīng)用系統(tǒng)等多個(gè)方面的優(yōu)化設(shè)計(jì)來(lái)保證系統(tǒng)在存儲(chǔ)、管理與訪問(wèn)上的效率。
在應(yīng)用展示上,采用標(biāo)準(zhǔn)、開(kāi)放的OGC(Open geospatial consortium)服務(wù),包括WMS(Web map service)、WFS(Web feature service)以及WCS(Web coverage service),矢量、柵格及影像數(shù)據(jù)都可以在客戶端通過(guò)標(biāo)準(zhǔn)化的接口進(jìn)行訪問(wèn)。同時(shí)可以根據(jù)需要定制發(fā)布策略,實(shí)現(xiàn)無(wú)人工干預(yù)的全自動(dòng)化氣象及衛(wèi)星遙感產(chǎn)品的實(shí)時(shí)發(fā)布。
從系統(tǒng)技術(shù)架構(gòu)上,應(yīng)用平臺(tái)分為應(yīng)用層和支撐層兩部分。支撐層是所有的數(shù)據(jù)、服務(wù)的基礎(chǔ),包括數(shù)據(jù)的獲取、產(chǎn)品處理、遙感分析、專題圖制作等多種功能。支撐層采用REST API的方式進(jìn)行接口封裝,為應(yīng)用層提供接口。在應(yīng)用層,主要解決的是數(shù)據(jù)的可視化、地圖服務(wù)、人機(jī)交互操作的相應(yīng)問(wèn)題等。在應(yīng)用層,采用了BootStrap的UI設(shè)計(jì)框架進(jìn)行了界面的設(shè)計(jì),采用了D3框架進(jìn)行了數(shù)據(jù)可視化設(shè)計(jì)。同時(shí),采用Openlayers框架進(jìn)行GIS服務(wù)設(shè)計(jì),采用國(guó)際通用接口,能很好地支撐目前所有發(fā)布的地圖服務(wù),例如天地圖、google地圖、Bing地圖等。此外,采用cesium進(jìn)行三維顯示設(shè)計(jì),解決了在近景下的三維地形的可視化和分析。圖2為應(yīng)用平臺(tái)的技術(shù)架構(gòu)圖?;谶@個(gè)技術(shù)架構(gòu),系統(tǒng)解決了遙感影像數(shù)據(jù)與WebGIS服務(wù)的結(jié)合,為遙感產(chǎn)品基于B/S架構(gòu)的應(yīng)用提供了基礎(chǔ)。
圖2 應(yīng)用平臺(tái)技術(shù)架構(gòu)圖
在應(yīng)用平臺(tái)設(shè)計(jì)中,要解決多源數(shù)據(jù)的問(wèn)題。在平臺(tái)中,涉及的氣象數(shù)據(jù)包括三種類型:衛(wèi)星數(shù)據(jù)、觀測(cè)數(shù)據(jù)、數(shù)值預(yù)報(bào)數(shù)據(jù)。目前氣象衛(wèi)星數(shù)據(jù)包括極軌衛(wèi)星系列和靜止衛(wèi)星系列。極軌衛(wèi)星系列能提供全球的觀測(cè)數(shù)據(jù),靜止衛(wèi)星數(shù)據(jù)能提供高時(shí)間分辨率的分析。目前,應(yīng)用平臺(tái)解決的衛(wèi)星數(shù)據(jù)主要來(lái)自于風(fēng)云二號(hào)、風(fēng)云三號(hào)、風(fēng)云四號(hào)、NPP、TERRA、AQUA等衛(wèi)星。數(shù)值預(yù)報(bào)數(shù)據(jù)主要包括溫度、壓強(qiáng)、濕度、風(fēng)場(chǎng)等要素,作為數(shù)據(jù)分析的輔助基礎(chǔ)。觀測(cè)數(shù)據(jù)主要為站點(diǎn)觀測(cè)數(shù)據(jù),為離散場(chǎng)數(shù)據(jù)。在應(yīng)用平臺(tái)中,首先需要解決多源數(shù)據(jù)的標(biāo)準(zhǔn)化問(wèn)題,其次需要解決大數(shù)據(jù)量的快速顯示問(wèn)題。
在數(shù)據(jù)標(biāo)準(zhǔn)化中,需要解決的問(wèn)題主要包括數(shù)據(jù)本身的接口的統(tǒng)一、數(shù)據(jù)管理方式的統(tǒng)一和數(shù)據(jù)所使用的調(diào)色板的統(tǒng)一。
首先,在數(shù)據(jù)接口上,使用的數(shù)據(jù)包括風(fēng)云系列衛(wèi)星遙感產(chǎn)品數(shù)據(jù)(FY-3C、FY-3D、FY-4A等)、多種數(shù)值預(yù)報(bào)產(chǎn)品數(shù)據(jù)(T639數(shù)據(jù)、NCEP數(shù)據(jù)、ECMWF數(shù)據(jù)等)、其他衛(wèi)星遙感產(chǎn)品數(shù)據(jù)(NPP、NOAA、Himawari-8等),產(chǎn)品類型包括云圖影像、云檢測(cè)、云相態(tài)、云頂高度、降水估計(jì)、水體監(jiān)測(cè)、火點(diǎn)監(jiān)測(cè)、地表溫度、對(duì)流初生、海表溫度、陸表溫度、植被指數(shù)等。其他類型數(shù)據(jù)還涉及地理信息數(shù)據(jù)等。根據(jù)數(shù)據(jù)的類型和級(jí)別,首先將數(shù)據(jù)分為格點(diǎn)數(shù)據(jù)和離散數(shù)據(jù)。各類衛(wèi)星數(shù)據(jù)、數(shù)值預(yù)報(bào)數(shù)據(jù)等都屬于格點(diǎn)數(shù)據(jù),而地理信息數(shù)據(jù)、觀測(cè)數(shù)據(jù)、特殊的衛(wèi)星產(chǎn)品(例如火點(diǎn))屬于離散數(shù)據(jù)。對(duì)于衛(wèi)星遙感數(shù)據(jù),采用金字塔技術(shù),根據(jù)數(shù)據(jù)的分辨率,建立金字塔。數(shù)值預(yù)報(bào)數(shù)據(jù)雖然同樣為格點(diǎn)數(shù)據(jù),但是其分辨率低,數(shù)據(jù)量相對(duì)小。因此,在數(shù)值預(yù)報(bào)數(shù)據(jù)上,采用數(shù)據(jù)流進(jìn)行處理,采用一定的編碼方式,能快速地進(jìn)行網(wǎng)絡(luò)交換。離散數(shù)據(jù)采用通用的地理空間信息數(shù)據(jù)交換格式接口進(jìn)行編碼。
在數(shù)據(jù)管理上,由于種類多,數(shù)據(jù)的空間分辨率、時(shí)間分辨率也不一樣。按照級(jí)別進(jìn)行分類分為一級(jí)、二級(jí)、三級(jí)等,并通過(guò)統(tǒng)一的方式進(jìn)行管理。通過(guò)對(duì)元數(shù)據(jù)的提取,按照衛(wèi)星名稱、儀器名稱、數(shù)據(jù)級(jí)別、投影類型、觀測(cè)時(shí)間、空間分辨率、產(chǎn)品名等,對(duì)數(shù)據(jù)的命名、存儲(chǔ)的目錄、數(shù)據(jù)結(jié)構(gòu)進(jìn)行規(guī)范化設(shè)計(jì),以實(shí)現(xiàn)對(duì)衛(wèi)星數(shù)據(jù)的標(biāo)準(zhǔn)化處理。由于靜止衛(wèi)星和極軌衛(wèi)星的時(shí)間分辨率相差較大,在此處設(shè)計(jì)中對(duì)數(shù)據(jù)的開(kāi)始觀測(cè)及結(jié)束觀測(cè)時(shí)間進(jìn)行的提取,很好地解決了極軌衛(wèi)星一天一次而靜止衛(wèi)星幾分鐘一次的集中顯示問(wèn)題。
最后,遙感產(chǎn)品的應(yīng)用除了數(shù)據(jù)本身以外,顯示需要用到數(shù)據(jù)的調(diào)色板。一般來(lái)說(shuō),遙感產(chǎn)品的調(diào)色板主要分為漸變型、分段型、分段漸變以及混合型等多種。為了能進(jìn)行統(tǒng)一管理,采用分層結(jié)構(gòu)對(duì)調(diào)色板進(jìn)行的定義,能實(shí)現(xiàn)所有類型的產(chǎn)品的調(diào)色要求。調(diào)色板在結(jié)構(gòu)設(shè)計(jì)上考慮了衛(wèi)星數(shù)據(jù)的特殊性,將數(shù)據(jù)級(jí)別、產(chǎn)品名稱、產(chǎn)品量綱加入到設(shè)計(jì)中,除此以外,還考慮了遙感產(chǎn)品通常使用的偏移和放大系數(shù)。
在數(shù)據(jù)管理上,為了實(shí)現(xiàn)數(shù)據(jù)的分布式管理,平臺(tái)將所有氣象及衛(wèi)星遙感數(shù)據(jù)抽象成一個(gè)具有數(shù)據(jù)類型、數(shù)據(jù)資源路徑、調(diào)色板資源路徑、數(shù)據(jù)時(shí)間軸資源路徑等屬性的產(chǎn)品對(duì)象,并且通過(guò)配置進(jìn)行管理。這個(gè)對(duì)象可以通過(guò)配置的方式,進(jìn)行各類數(shù)據(jù)的包括名稱、分辨率、顯示方式、數(shù)據(jù)存放地址等所有信息的配置,一方面解決了多源數(shù)據(jù)在不同地址存放的問(wèn)題,另一方面,解決了系統(tǒng)的擴(kuò)展性和兼容性問(wèn)題,能方便地進(jìn)行數(shù)據(jù)的添加。
以下就是風(fēng)云四號(hào)歸一化植被指數(shù)產(chǎn)品的配置信息示例:
數(shù)據(jù)訪問(wèn)方案采用面向資源的RESTful架構(gòu)形式,任何數(shù)據(jù)資源(包括圖像、文件等)在該架構(gòu)中都有一個(gè)對(duì)應(yīng)的URL來(lái)標(biāo)識(shí),用戶想要獲取數(shù)據(jù)就必須通過(guò)資源所對(duì)應(yīng)的URL來(lái)操作,而這些操作中數(shù)據(jù)是以它們的某種表現(xiàn)形式來(lái)傳輸?shù)?,比如Html、JSON、JPEG等。除了上例中描述的對(duì)影像產(chǎn)品分塊數(shù)據(jù)資源的獲取形式外,還可通過(guò)RESTfulAPI對(duì)數(shù)據(jù)進(jìn)行加工處理,為用戶提供諸如GEOjson、KML等多種數(shù)據(jù)類型。
首先,在應(yīng)用平臺(tái)設(shè)計(jì)上,由于采用了國(guó)際通用接口,因此能直接使用國(guó)際及國(guó)內(nèi)發(fā)布的各類地圖服務(wù)。其次,用戶能通過(guò)平臺(tái)直接獲取產(chǎn)品的結(jié)果,產(chǎn)品結(jié)果以通用數(shù)據(jù)格式GeoTiff的方式提供給用戶,方便用戶進(jìn)一步的應(yīng)用。
除此以外,平臺(tái)還用組件的方式提供給用戶專題圖、動(dòng)畫(huà)等數(shù)據(jù)的獲取服務(wù)。在不同的功能模塊的實(shí)現(xiàn)上,應(yīng)用平臺(tái)采用面向服務(wù)的方式,設(shè)計(jì)了組件式的結(jié)構(gòu)。在數(shù)據(jù)處理層,設(shè)計(jì)了數(shù)據(jù)獲取組件,在增加一種數(shù)據(jù)的情況下,可以根據(jù)數(shù)據(jù)的類型、分辨率、級(jí)別等進(jìn)行擴(kuò)展。在數(shù)據(jù)服務(wù)層,設(shè)計(jì)了空間分析、專題圖制作、典型事件、動(dòng)畫(huà)等組件,為遙感數(shù)據(jù)的進(jìn)一步應(yīng)用分析提供工具。
平臺(tái)硬件環(huán)境:至少一臺(tái)數(shù)據(jù)服務(wù)設(shè)備和一臺(tái)數(shù)據(jù)處理設(shè)備。單機(jī)配置要求超過(guò)5CORE,內(nèi)存10 G以上。根據(jù)所使用的數(shù)據(jù)的種類的多少進(jìn)行硬件平臺(tái)的擴(kuò)充。以風(fēng)云四號(hào)產(chǎn)品集成應(yīng)用顯示為例,平臺(tái)配備了CPU8CORE,內(nèi)存32 G,帶寬2 Gbps的環(huán)境。
平臺(tái)軟件環(huán)境:操作系統(tǒng)為L(zhǎng)inux(ubuntu 16以上或者centos 6以上版本);瀏覽器為Chrome、IE 10以上。
應(yīng)用平臺(tái)作為一個(gè)整體解決方案,提供給用戶的是一套結(jié)合了后端處理服務(wù),前端應(yīng)顯示用的整套系統(tǒng)。圖3為系統(tǒng)結(jié)構(gòu)圖。
圖3 應(yīng)用平臺(tái)實(shí)現(xiàn)整體結(jié)構(gòu)圖
服務(wù)端為自動(dòng)處理,前臺(tái)顯示端的操作和數(shù)據(jù)的請(qǐng)求進(jìn)行數(shù)據(jù)的交換。前臺(tái)顯示端通過(guò)Web提供給用戶使用。圖4為平臺(tái)主界面,主要分為四個(gè)區(qū):視圖區(qū)(中間)、時(shí)間軸(下方)、產(chǎn)品選擇控制區(qū)(左下角)、應(yīng)用控制面板區(qū)(右上角)。
目前平臺(tái)已經(jīng)實(shí)現(xiàn)了對(duì)多種數(shù)據(jù)的處理和應(yīng)用,按照展示方式的不同主要分為以下幾類:
1)柵格數(shù)據(jù)的平面、球面展示。在風(fēng)云三號(hào)數(shù)據(jù)的展示中,采用2D平面的方式展示全球的數(shù)據(jù),在3D中采用三維遠(yuǎn)景球面展示全球數(shù)據(jù),并且能快速移動(dòng)、放大縮?。▓D5)。
2)柵格數(shù)據(jù)的流場(chǎng)展示。在風(fēng)云四號(hào)的數(shù)據(jù)展示中,將數(shù)值預(yù)報(bào)風(fēng)場(chǎng)疊加到風(fēng)云四號(hào)的產(chǎn)品上,通過(guò)流場(chǎng)的展示效果,非常好地展示了臺(tái)風(fēng)的移動(dòng)情況、水汽的輸送情況等(圖6)。
圖4 應(yīng)用平臺(tái)展示界面
圖5 風(fēng)云三號(hào)D星MERSI真彩色圖2D顯示效果
圖6 風(fēng)云四號(hào)云圖疊加數(shù)值預(yù)報(bào)風(fēng)場(chǎng)顯示效果
3)快速的云圖動(dòng)畫(huà)。對(duì)于靜止衛(wèi)星而言,高頻次的觀測(cè)后的云圖動(dòng)畫(huà)能很好地分析天氣現(xiàn)象,特別是強(qiáng)對(duì)流天氣。在風(fēng)云四號(hào)、Himawari-8的數(shù)據(jù)展示中,按照時(shí)間先后進(jìn)行各類產(chǎn)品的動(dòng)畫(huà)展示。
4)疊加地形的三維近景展示。在碳衛(wèi)星中,采用三維的疊加地形方式進(jìn)行二氧化碳產(chǎn)品的展示(圖7)。
圖7 碳衛(wèi)星CO2濃度產(chǎn)品疊加地形的三維近景展示
綜上所述,應(yīng)用平臺(tái)已經(jīng)實(shí)現(xiàn)了對(duì)多種數(shù)據(jù)的處理和使用,在風(fēng)云三號(hào)實(shí)時(shí)業(yè)務(wù)系統(tǒng)、風(fēng)云四號(hào)省級(jí)用戶站、Himawari-8的省級(jí)用戶站中也得到業(yè)務(wù)應(yīng)用。
基于以上系統(tǒng)架構(gòu)和關(guān)鍵問(wèn)題的解決方案,研制開(kāi)發(fā)出來(lái)的多源氣象衛(wèi)星數(shù)據(jù)集成顯示應(yīng)用平臺(tái)(ShinetekView),很好地實(shí)現(xiàn)了包括風(fēng)云三號(hào)衛(wèi)星、風(fēng)云四號(hào)衛(wèi)星、碳衛(wèi)星在內(nèi)的多種衛(wèi)星資料的綜合顯示,除此以外能進(jìn)行數(shù)值預(yù)報(bào)數(shù)據(jù)、實(shí)測(cè)數(shù)據(jù)的疊加分析。同時(shí)能支持二維、三維遠(yuǎn)景、三維近景的多種顯示方式。
ShinetekView是一種支持多源、多尺度、多形態(tài)的氣象數(shù)據(jù)和衛(wèi)星遙感數(shù)據(jù)自動(dòng)化生產(chǎn)發(fā)布的集成方案,為未來(lái)多源數(shù)據(jù)的遙感應(yīng)用提供了一個(gè)簡(jiǎn)潔易用的平臺(tái)。
深入閱讀
黃夢(mèng)雄, 朱勤東, 趙躍, 2013. 基于REST 和AJAX 的WebGIS 設(shè)計(jì)與實(shí)現(xiàn). 測(cè)繪與空間地理信息, 36(7): 58-66.
盧乃錳, 谷松巖, 2016. 氣象衛(wèi)星發(fā)展回顧與展望, 遙感學(xué)報(bào),20(5): 832-841.
盧乃錳, 鄭偉, 王新, 等, 207. 氣象衛(wèi)星及其產(chǎn)品在天氣氣候分析和環(huán)境災(zāi)害監(jiān)測(cè)中的應(yīng)用概述, 海洋氣象學(xué)報(bào), 37(1) : 20-30.
張黎明, 閆浩文, 2010. 基于OGC規(guī)范的WebGIS設(shè)計(jì)與應(yīng)用. 測(cè)繪與空間地理信息, 34(6): 41-43.
張鵬, 郭強(qiáng), 陳博洋, 等, 2016. 我國(guó)風(fēng)云四號(hào)氣象衛(wèi)星與日本Himawari-8/9 衛(wèi)星比較分析. 氣象科技進(jìn)展, 6(1): 72-75.
Advances in Meteorological Science and Technology2018年6期