肖華東 孫 婧 張 璽 卞曉豐

(國家氣象信息中心，北京 100081)

?

MARS軟件在數(shù)值預(yù)報模式產(chǎn)品數(shù)據(jù)管理中的應(yīng)用

肖華東*孫 婧 張 璽 卞曉豐

(國家氣象信息中心，北京 100081)

該文簡單介紹MARS(Meteorological Archival and Retrieval System)軟件的架構(gòu)及組成部分，并基于MARS軟件，介紹了數(shù)值預(yù)報產(chǎn)品數(shù)據(jù)管理系統(tǒng)設(shè)計與實現(xiàn)。通過在GRIB2數(shù)據(jù)段對應(yīng)描述層次類型和氣象要素的表格文件中定義新的層次類型和氣象要素，在MARS軟件解析GRIB2數(shù)據(jù)所需要查找的相關(guān)模板表格文件中定義氣象要素對應(yīng)的產(chǎn)品類型號、要素類別號、要素號、要素名稱和要素名稱縮寫，說明GRIB2數(shù)據(jù)模板和代碼表創(chuàng)建方法。以GRAPES模式產(chǎn)品GRIB2數(shù)據(jù)為例，實現(xiàn)應(yīng)用MARS軟件管理GRAPES模式產(chǎn)品GRIB2數(shù)據(jù)。結(jié)合存儲管理TSM(Tivoli Storage Manager)軟件，研究開發(fā)MARS軟件和TSM軟件連接接口程序，實現(xiàn)數(shù)據(jù)的直接遷移和回調(diào)。以T639L60模式產(chǎn)品為例，通過測試檢索性能，MARS軟件檢索數(shù)值預(yù)報產(chǎn)品速度超過當(dāng)前國家級氣象數(shù)據(jù)管理系統(tǒng)數(shù)據(jù)檢索速度1倍，說明MARS軟件檢索數(shù)值預(yù)報產(chǎn)品數(shù)據(jù)具有時效優(yōu)勢。

MARS; GRIB2模板; 存儲管理軟件; 數(shù)據(jù)遷移和回調(diào)

引 言

隨著現(xiàn)代數(shù)值預(yù)報技術(shù)水平的提高，產(chǎn)生了大量預(yù)報時效長、時間間隔短、精度高的數(shù)值預(yù)報產(chǎn)品[1-2]。受限于磁盤容量，當(dāng)前系統(tǒng)只能在線保留1年左右的模式產(chǎn)品數(shù)據(jù)。超過在線存儲時間預(yù)設(shè)期限，產(chǎn)品數(shù)據(jù)需轉(zhuǎn)移到二級存儲(如磁帶庫)中，而當(dāng)實際氣象業(yè)務(wù)需要使用這些數(shù)據(jù)時，要從二級存儲中導(dǎo)出這些歷史數(shù)據(jù)，這種導(dǎo)出操作涉及許多復(fù)雜手工操作，給數(shù)據(jù)使用帶來極大不便[3]。數(shù)值預(yù)報模式產(chǎn)品數(shù)據(jù)通常采用表驅(qū)碼格式(如GRIB1, GRIB2)保存，在讀取這些數(shù)據(jù)時，只能將整個數(shù)據(jù)文件完整取出并下載到本地磁盤后自行對其進行后處理，從而得到所需數(shù)據(jù)。對于那些只需要使用數(shù)據(jù)文件中部分區(qū)域范圍的用戶而言，這樣的服務(wù)方式不可避免地需要占用本地存儲空間以及對數(shù)據(jù)文件進行區(qū)域裁剪處理，這種簡單的重復(fù)性操作和存儲資源需求對用戶是一種負(fù)擔(dān)。在國家級氣象資料存儲檢索系統(tǒng)(MDSS，the National Meteorological Data Storage System)以及全國綜合氣象信息共享平臺(CIMISS，China Integrated Meteorological Information Service System)中的數(shù)據(jù)管理系統(tǒng)中，均采用以數(shù)據(jù)庫索引表和文件相結(jié)合方式存儲管理數(shù)值預(yù)報產(chǎn)品，實際上仍以文件系統(tǒng)方式管理，只是將文件位置作為數(shù)據(jù)庫指針存儲在數(shù)據(jù)庫內(nèi)部，指向數(shù)據(jù)庫的外部操作系統(tǒng)文件[4-7]，而且處理數(shù)量高達幾十億個不同容量大小的氣象數(shù)據(jù)給當(dāng)前的數(shù)據(jù)管理帶來了巨大挑戰(zhàn)，已越來越接近其能力極限。

MARS軟件是氣象數(shù)據(jù)歸檔和檢索系統(tǒng)(Meteorological Archival and Retrieval System)，它解決了上述問題，是歐洲中期天氣預(yù)報中心(ECMWF)氣象應(yīng)用部門開發(fā)的一套氣象數(shù)據(jù)管理和服務(wù)系統(tǒng)，用于ECMWF的氣象數(shù)據(jù)存檔管理，并提供訪問這些數(shù)據(jù)的接口[8-9]。MARS軟件在ECMWF業(yè)務(wù)中已成功運行20多年，在其成員國以及合作國家，如土耳其、澳大利亞等國的氣象部門中也逐步開展了應(yīng)用[10-11]。

不斷增強的高性能計算能力，促進數(shù)值預(yù)報模式向著高精度、長預(yù)報時效、短格距積分步長方向發(fā)展，同時輸出文件的頻次、個數(shù)和單體容量均大幅增加。以前采用簡單的文件系統(tǒng)或傳統(tǒng)的數(shù)據(jù)庫管理方式，只提供收集和存儲的功能，其他諸如插值、區(qū)域裁剪、要素提取等功能均無涉及，無法滿足數(shù)值預(yù)報產(chǎn)品服務(wù)的需求。傳統(tǒng)的數(shù)據(jù)分級存儲系統(tǒng)借助存儲管理軟件，依據(jù)其提供的功能仍然以單個文件為單位進行數(shù)據(jù)遷移、回調(diào)處理[3]。遷移數(shù)據(jù)時以目錄或單個文件進行，回調(diào)數(shù)據(jù)須以單個文件為最小對象進行。若需要獲取的數(shù)據(jù)僅為回調(diào)數(shù)據(jù)文件中的部分內(nèi)容，或這些數(shù)據(jù)分布在回調(diào)的多個文件中，用戶則需要對這些回調(diào)的數(shù)據(jù)文件進行額外的數(shù)據(jù)抽取、合并等后處理過程。這種服務(wù)方式?jīng)]有充分發(fā)揮數(shù)值預(yù)報產(chǎn)品表驅(qū)碼數(shù)據(jù)的自描述特征，以提供根據(jù)用戶需求進行數(shù)據(jù)處理的服務(wù)手段，服務(wù)效果難以令用戶滿意。

本文基于MARS軟件，通過分析MARS軟件管理數(shù)據(jù)的原理，以GRAPES模式產(chǎn)品GRIB2數(shù)據(jù)為例，創(chuàng)建一套適用于GRAPES模式產(chǎn)品的數(shù)據(jù)模板和代碼表，實現(xiàn)了數(shù)據(jù)的歸檔、檢索和后處理等功能。此外，結(jié)合存儲管理軟件TSM，研究實現(xiàn)MARS軟件和TSM軟件接口，實現(xiàn)了數(shù)據(jù)的遷移和回調(diào)。通過測試基于MARS軟件的數(shù)值預(yù)報產(chǎn)品數(shù)據(jù)管理系統(tǒng)及CIMISS的數(shù)據(jù)管理系統(tǒng)檢索數(shù)據(jù)性能，表明基于MARS軟件的數(shù)值預(yù)報產(chǎn)品數(shù)據(jù)管理系統(tǒng)檢索速度超過CIMISS的數(shù)據(jù)管理系統(tǒng)檢索速度1倍，說明基于MARS軟件的數(shù)據(jù)管理系統(tǒng)的高效性。

1 MARS軟件介紹

1.1 MARS軟件架構(gòu)

MARS軟件使用C/C++語言編寫，使用面向?qū)ο蟮募夹g(shù)存儲元數(shù)據(jù)，使用存儲管理軟件管理實際數(shù)據(jù)。它是針對氣象數(shù)據(jù)(GRIB格式的氣象數(shù)值模式要素場、BUFR格式和ODB格式的觀測數(shù)據(jù))的存儲庫軟件[10]。MARS軟件基于客戶端/服務(wù)端(C/S)架構(gòu)設(shè)計，運行于Unix/Linux平臺。圖1為MARS軟件的架構(gòu)示意圖[11]。

圖1 MARS軟件架構(gòu)[11]Fig.1 Architecture of the MARS(from Reference[11])

MARS客戶端基于MARS請求協(xié)議，主要由C程序和EMOSLIB(GRIBEX或GRIB_API庫和插值程序庫)組成，提供命令行、Metview和WebMARS 3種用戶訪問接口，可在超級計算機、工作站/服務(wù)器、遠程客戶端(安全機制)數(shù)據(jù)服務(wù)器上部署，并以交互式和批處理方式執(zhí)行。

MARS服務(wù)端分為兩部分，即請求管理器和數(shù)據(jù)管理器，實現(xiàn)數(shù)據(jù)的物理組織和邏輯組織分離，從而實現(xiàn)系統(tǒng)的可擴展性。MARS元數(shù)據(jù)也相應(yīng)地分為邏輯描述元數(shù)據(jù)和物理描述元數(shù)據(jù)。請求管理器使用氣象描述專門處理用戶請求，記錄數(shù)據(jù)的語義信息，包括氣象數(shù)值模式要素場定義和一次預(yù)報描述信息(邏輯信息)。MARS軟件中，單個氣象數(shù)值模式要素場是最小尋址對象，表1給出了各種屬性定義。按照要素、層次和預(yù)報時效3個屬性，多個氣象數(shù)值模式要素場可以整合為1個歸檔對象，對應(yīng)著請求管理器中的邏輯描述元數(shù)據(jù)[11](如圖2所示)。按照成員、時次和日期等3個屬性，多個歸檔對象整合為超立方體[11](如圖3所示)。數(shù)據(jù)管理器記錄數(shù)據(jù)的物理位置，描述數(shù)據(jù)文件存儲于哪種介質(zhì)，包括磁帶、磁盤及緩存空間。每個氣象數(shù)值模式要素場的長度、文件名、存儲位置等邏輯屬性對應(yīng)著數(shù)據(jù)管理器上的物理描述元數(shù)據(jù)[11](如圖4所示)。請求管理器不直接處理數(shù)據(jù)文件而是處理數(shù)據(jù)邏輯索引，當(dāng)數(shù)據(jù)請求被執(zhí)行時，請求管理器將請求轉(zhuǎn)換為邏輯索引地址發(fā)送給數(shù)據(jù)管理器。數(shù)據(jù)管理器將數(shù)據(jù)邏輯索引地址解析為實際物理地址，將數(shù)據(jù)返回給用戶。

表1 氣象數(shù)值模式要素場屬性及示例取值Table 1 Attributes for meteorological parameter fields

圖2 MARS軟件中氣象數(shù)據(jù)的歸檔對象立方體模型[11]Fig.2 Archive object cube model of meteorological data in the MARS(from Reference [11])

圖3 MARS軟件中氣象數(shù)據(jù)的歸檔對象超立方體模型[11]Fig.3 Archive object hypercube model of meteoro-logical data in the MARS(from Reference [11])

圖4 MARS軟件中請求管理器和數(shù)據(jù)管理器的元數(shù)據(jù)[11]Fig.4 Metadata of request manager and data manager in the MARS(from Reference [11])

MARS客戶端通過執(zhí)行以MARS語言描述的請求，進行歸檔、檢索、后處理等管理操作氣象數(shù)據(jù)。其中，MARS語言是以MARS預(yù)定義的詞匯唯一描述每個獨特的氣象數(shù)值模式要素場和請求執(zhí)行動作。MARS客戶端配置了一組服務(wù)器，查找或歸檔數(shù)據(jù)時需要訪問這些服務(wù)器。

1.2 后處理

MARS軟件中，數(shù)據(jù)后處理由MARS客戶端執(zhí)行。通過在數(shù)據(jù)檢索請求文件寫入關(guān)鍵字(如area, grid等)并賦值，MARS客戶端執(zhí)行此請求時，自動調(diào)用EMOSLIB庫中的一系列子程序函數(shù)實現(xiàn)后處理。如關(guān)鍵字area賦值實現(xiàn)子區(qū)域裁剪功能，可在請求文件中使用“area=North/West/South/East”，North，West，South和East分別指北緯、西經(jīng)、南緯和東經(jīng)對應(yīng)的度數(shù)，適用于規(guī)則經(jīng)緯度網(wǎng)格。關(guān)鍵字grid賦值對應(yīng)不同網(wǎng)格轉(zhuǎn)換或分辨率改變，可在請求中使用“grid=x1/x2”或“grid=y, gaussian=z”，其中,x1和x2分別是指東西方向(經(jīng)度)和南北方向(緯度)以度為單位的分辨率值，且插值后的分辨率不低于原始分辨率；y指歸約高斯網(wǎng)格中南或北半球緯圈數(shù)，z指高斯網(wǎng)格類型，值為regular或reduced。其中，網(wǎng)格轉(zhuǎn)換功能包括：改變高斯網(wǎng)格的分辨率，改變經(jīng)緯網(wǎng)格的分辨率，將球諧坐標(biāo)格點分辨率轉(zhuǎn)換為高斯網(wǎng)格分辨率，將球諧坐標(biāo)格點分辨率轉(zhuǎn)換為經(jīng)緯網(wǎng)格分辨率，將歸約高斯網(wǎng)格分辨率轉(zhuǎn)換為規(guī)則高斯網(wǎng)格分辨率，將高斯網(wǎng)格分辨率轉(zhuǎn)換為經(jīng)緯網(wǎng)格分辨率。對于其他后處理關(guān)鍵字的具體細(xì)節(jié)可參考?xì)庀笠夭逯弟浖南嚓P(guān)函數(shù)[12-13]。

2 基于MARS軟件的數(shù)值預(yù)報產(chǎn)品數(shù)據(jù)管理系統(tǒng)設(shè)計

目前中國氣象局主要運行T639L60模式、GRAPES全球及區(qū)域模式、TIGGE集合預(yù)報等幾類業(yè)務(wù)或準(zhǔn)業(yè)務(wù)天氣預(yù)報模式[14-16]。根據(jù)當(dāng)前MARS軟件的特征，分別對每一種模式產(chǎn)品建立MARS服務(wù)端，實際上多個MARS服務(wù)端可以部署在1臺或多臺服務(wù)器上。根據(jù)模式產(chǎn)品差異，建立不同的MARS客戶端，用于模式產(chǎn)品的數(shù)據(jù)歸檔入庫。對于自定義的模式產(chǎn)品，即T639L60模式、GRAPES區(qū)域及全球模式產(chǎn)品，建立一套統(tǒng)一的MARS客戶端。對用于國際交換的TIGGE產(chǎn)品，單獨建立MARS客戶端。這幾種模式產(chǎn)品分別由部署在IBM PureFlex高性能計算機上的業(yè)務(wù)預(yù)報系統(tǒng)產(chǎn)生，并推送到MARS客戶端上歸檔入庫。同時，在IBM PureFlex和神威4000A高性能計算機上另外建立兩套MARS客戶端，提供模式產(chǎn)品的數(shù)據(jù)檢索訪問、后處理等服務(wù)。為充分發(fā)揮MARS軟件的數(shù)據(jù)存儲能力，基于現(xiàn)有存儲管理軟件TSM，通過開發(fā)實現(xiàn)相關(guān)程序接口，連接MARS和TSM軟件，實現(xiàn)模式產(chǎn)品的數(shù)據(jù)無縫遷移和回調(diào)，發(fā)揮分級存儲系統(tǒng)的效能。數(shù)值預(yù)報模式產(chǎn)品數(shù)據(jù)管理系統(tǒng)設(shè)計架構(gòu)如圖5所示。

圖5 數(shù)值預(yù)報模式產(chǎn)品數(shù)據(jù)管理系統(tǒng)架構(gòu)Fig.5 The architecture of NWP data management system

對外提供數(shù)據(jù)服務(wù)的MARS客戶端、存儲管理數(shù)據(jù)的MARS服務(wù)端可以靈活地根據(jù)業(yè)務(wù)需求增加，具有良好的擴展性。數(shù)據(jù)的遷移、回調(diào)、備份都可以通過MARS調(diào)用TSM實現(xiàn)。

3 關(guān)鍵技術(shù)

3.1 GRIB2數(shù)據(jù)模板和代碼表創(chuàng)建方法

3.1.1 GRIB2及表格驅(qū)動編碼

MARS軟件采用WMO標(biāo)準(zhǔn)GRIB1/2格式存儲氣象數(shù)值模式要素場數(shù)據(jù)和其他空間格點數(shù)據(jù)。GRIB2碼(GRIdded Binary 2, FM92)是與計算機硬件無關(guān)的表格驅(qū)動(Table Driven Code Forms, TDCFs)碼[17]，主要用來表示數(shù)值天氣分析和預(yù)報的格點資料，格式標(biāo)準(zhǔn)化。表格驅(qū)動編碼不僅包含數(shù)據(jù)本身，還包含了對數(shù)據(jù)的完整描述，并通過一套完整的通用表格(標(biāo)準(zhǔn)化特點)定義這些描述，用描述信息解釋資料內(nèi)容，從而避免了字符編碼中一種資料對應(yīng)一種編碼格式的狀況，具備良好的擴展性與靈活性[18]。當(dāng)出現(xiàn)新的資料種類和內(nèi)容時，只需增加新的描述和定義相應(yīng)的表格即可。當(dāng)部分資料及內(nèi)容變化時，只需適當(dāng)調(diào)整代碼中的描述信息即可。

3.1.2 GRIB2模板

GRIB2所有的模板采用模板表格描述，表格按照段號分類查詢所屬模板。在表格中，模板標(biāo)為m.n 形式，m是模板所屬的段號，n是編碼正確的段中的模板號。模板描述其內(nèi)部的網(wǎng)格定義段、產(chǎn)品定義段、數(shù)據(jù)表示段和數(shù)據(jù)段。其中，網(wǎng)格定義模板描述數(shù)據(jù)段包含的數(shù)據(jù)網(wǎng)格平面和幾何特性，產(chǎn)品定義模板描述下面數(shù)據(jù)段中的數(shù)據(jù)種類，數(shù)據(jù)表示模板描述數(shù)據(jù)值如何在數(shù)據(jù)段中表示，而數(shù)據(jù)模板則描述數(shù)據(jù)本身[19-20]。

根據(jù)GRIB2數(shù)據(jù)規(guī)范說明，GRIB2各要素定義在第4段即數(shù)據(jù)段描述[20-21]。通過擴充或修改已有的數(shù)據(jù)段，來實現(xiàn)要素的自定義。

3.1.3 增加層次類型

GRIB2產(chǎn)品中添加或修改一個層次類型定義，需修改GRIB2代碼表格文件4.5.table，這個表描述地面固定類型以及層次單位。如氣象模式產(chǎn)品數(shù)據(jù)修改積云底層次類型，修改其名稱縮寫，可在4.5.table中將相關(guān)內(nèi)容修改為

2 cbl Cloud base level。

其中，cbl是積云層次類型縮寫，“2”是積云層次代碼號。

3.1.4 增加氣象要素

GRIB2產(chǎn)品中增加一個要素，需修改GRIB2代碼表格文件4.2.*.*table，這個表描述要素號、產(chǎn)品種類號和要素類別號。如氣象模式產(chǎn)品數(shù)據(jù)增加溫度平流要素，根據(jù)表格驅(qū)動編碼規(guī)則，查找其對應(yīng)產(chǎn)品類型號、要素類別號分別為0，0，對應(yīng)的代碼表是文件4.2.0.0.table。而溫度平流要素未定義，可在4.2.0.0.table中增加一行內(nèi)容：

224 Temperature advection (10-6K s-1)。

其中，224是要素名稱代碼號，Temperature advection則是要素名稱描述，括號中的內(nèi)容是單位。一般來說，192～225之間的數(shù)字用于自定義要素名稱代碼號。

3.1.5 MARS GRIB2模板配置

MARS軟件的GRIB2模板配置相關(guān)文件位于GRIB_API和MARS客戶端及MARS服務(wù)端3個部分中。GRIB_API中的配置文件主要有paramId.def，name.def，shortName.def等[19]，MARS客戶端有g(shù)rib.c (GRIBEX MARS)、語言文件mars.def、規(guī)則文件mars.chk；MARS服務(wù)器端有GribHeader.cc(GRIBEX MARS)、buildRules。通過修改這些文件，來描述復(fù)雜的數(shù)據(jù)，擴展MARS處理新類型的GRIB2數(shù)據(jù)。

目前的MARS軟件處理GRIB2格式限于TIGGE產(chǎn)品和模式層數(shù)據(jù)，而T639L60模式產(chǎn)品或GRAPES模式產(chǎn)品GRIB2數(shù)據(jù)中很多氣象要素?zé)o法直接被MARS客戶端工具正確解析，導(dǎo)致不能被MARS軟件處理。如MARS客戶端工具解析GRAPES模式產(chǎn)品GRIB2數(shù)據(jù)，出現(xiàn)類似“PARAM=DEFAULT/9999”語句,說明數(shù)據(jù)中有些要素未正確解析。分析GRIB2數(shù)據(jù)，發(fā)現(xiàn)其中氣象要素——光照量(albedo)沒有正確解析。為使MARS軟件正確處理這一氣象要素，需要找到其對應(yīng)的代碼表格文件。由數(shù)據(jù)分析結(jié)果可知該要素在4.2.0.19.table文件中已被定義，并獲得discipline(產(chǎn)品類型號)，parameterCategory(要素類別號)，parameterNumber(要素號)等屬性的值。通過修改GRIB_API中數(shù)據(jù)屬性定義相關(guān)文件paramId.def, name.def, shortName.def和MARS客戶端中的mars.def，實現(xiàn)MARS正確解析處理GRIB2的光照量要素。操作時，在paramId.def中添加如下代碼：

′260509′={

discipline=0;

parameterCategory=19;

parameterNumber=1;

}，

name.def中添加

′albedo′={parameter=260509;},

shortName.def中添加

′al′ ={parameter=260509;},

MARS客戶端mars.def中增加

ALBEDO;AL;260509。

其中，數(shù)字260509是光照度的要素代碼，可自行定義，但不能與已定義的要素代碼號重復(fù)。為利于數(shù)據(jù)的國際交換，增加的要素代碼定義應(yīng)盡量與其他國家氣象業(yè)務(wù)中心的代碼定義保持一致。

3.2 MARS軟件與TSM軟件接口實現(xiàn)

MARS軟件將磁帶文件視為邏輯文件，無需知道磁帶的具體位置即可訪問數(shù)據(jù)。MARS軟件和存儲管理軟件連接API提供一系列虛函數(shù)，能使MARS軟件從磁帶文件中讀寫數(shù)據(jù)，而不涉及任何中間的磁盤I/O操作[22]。讀寫磁帶文件流程如圖6所示，其中,寫磁帶文件流程基于事務(wù)處理，而檢索數(shù)據(jù)的緩存則由MARS應(yīng)用完成。

圖6 MARS軟件和存儲管理系統(tǒng)連接API讀寫磁帶文件流程Fig.6 The flow chart for reading or writing a tape file in the API between the MARS and a storage manager system

除了實現(xiàn)MARS軟件和TSM軟件連接接口程序外，MARS軟件和TSM軟件連接還需在配置文件中定義存儲管理軟件名、存儲管理類名、管理類表等。

4 MARS軟件數(shù)據(jù)管理試驗和性能

4.1 數(shù)據(jù)管理試驗

本試驗以GRAPES全球模式產(chǎn)品GRIB2數(shù)據(jù)為例，應(yīng)用模板及代碼表創(chuàng)建方法，分別從數(shù)據(jù)歸檔、檢索、數(shù)據(jù)遷移及回調(diào)等多個方面進行，并與CIMISS中數(shù)據(jù)管理系統(tǒng)檢索數(shù)據(jù)時效對比。數(shù)據(jù)歸檔入庫試驗流程見圖7。

以GRAPES產(chǎn)品數(shù)據(jù)gmf.gra.201105150000.grb2文件為例，首先利用MARS客戶端工具grib2request命令解析數(shù)據(jù)，獲取MARS解析氣象要素信息。要素解析如下：

PARAM=131/132/130/156/133/99999/134/DEFAULT,

其中，PARAM屬性取值中，99999和DEFAULT屬于MARS軟件無法正確解析的信息，其他數(shù)字對應(yīng)一個預(yù)定義的要素量。針對GRAPES模式產(chǎn)品中的各個要素，分析GRIB2的要素解析文件，找無法解析的GRAPES模式產(chǎn)品要素，按照GRIB2代碼表和模板創(chuàng)建方法，修改相應(yīng)的數(shù)據(jù)模板和配置文件后，使GRAPES模式產(chǎn)品的所有要素均可被解析。GRAPES模式產(chǎn)品可被MARS解析的要素部分如下：

圖7 模式產(chǎn)品GRIB2數(shù)據(jù)MARS入庫試驗流程Fig.7 The flow chart of archiving GRIB2 data of model products into the MARS

PARAM=131/132/130/156/133/500032/134/151/139/3115/3116/177/260509，

其中，這些數(shù)值分別代表東西風(fēng)分量、南北風(fēng)分量、溫度、位勢高度、比濕、幾何垂直速度、地面氣壓、平均海平面氣壓、地面溫度、長波輻射通量、短波輻射通量、地面靜熱輻射、光照量。

由于MARS軟件按照單要素層數(shù)據(jù)作為基本單位組織進行歸檔入庫，因此，首先需要對其進行分解，形成多個單要素層數(shù)據(jù)，該操作由MARS客戶端工具命令splitgrib執(zhí)行完成。

利用splitgrib命令分離示例數(shù)據(jù)gmf.gra.201105150000.grb2，可得到如下幾個文件：①歸檔請求文件列表文件splitgrib0000.idx，內(nèi)容包括splitgrib0000.req和splitgrib0001.req這兩個文件名；②分離后的單要素層GRIB2數(shù)據(jù)文件splitgrib0000.dat，splitgrib0001.dat。執(zhí)行mars splitgrib0000.req命令即可將數(shù)據(jù)splitgrib0000.dat歸檔入庫，以此類推。對于數(shù)據(jù)檢索，如果需要剛?cè)霂斓臄?shù)據(jù)，則只需將splitgrib0000.req中archive改成retrieve，source改成target，再次執(zhí)行mars splitgrib0000.req命令即可。

splitgrib000.req歸檔入庫請求內(nèi)容如下：

ARCHIEVE,

DATABASE=marsth,

SOURCE="splitgrib0000.dat",

ORIGIN=BABJ,

DATE=20110515,

TIME=0000,

STEP =0,

LEVTYPE=PL,

LEVELIST=10/20/30/50/70/100/150/200/250/300/400/500/600/700/850/925/1000,

CLASS=OD,

EXPVER=0001,

MODEL=GLOB,

DOMAIN=G,

PARAM=131/132/130/156/133/500032,

TYPE=AN,

STREAM=OPER,

EXPECT=102。

其中，ARCHIEVE是請求動作；MARS請求中還有RETRIEVE,LIST,READ等動作；等號左側(cè)是關(guān)鍵詞，是MARS軟件中定義的變量，如TYPE,DATE,PARAM等；等號右側(cè)是給關(guān)鍵詞的賦值，如PL,AN,OD等。

對于數(shù)據(jù)向磁帶庫遷移，則需在MARS服務(wù)端Shell下執(zhí)行marsadm命令，出現(xiàn)marsadm命令提示符，然后執(zhí)行l(wèi)ist-prearc命令先查詢預(yù)歸檔文件系統(tǒng)上的文件標(biāo)識號xxx，然后執(zhí)行flush-id xxx命令。對于數(shù)據(jù)回調(diào)，既可以通過客戶發(fā)起RETRIEVE、GET請求，請求文件寫法同上述檢索語句類似上述splitgrib0000.req內(nèi)容；也可以在MARS服務(wù)端命令marsadm提示符下，通過copy命令進行。

數(shù)據(jù)管理操作執(zhí)行完畢后，客戶端會提示相關(guān)信息表明試驗操作成功。

4.2 性能分析

為了說明MARS軟件檢索數(shù)據(jù)的性能優(yōu)異，對基于MARS軟件的數(shù)值預(yù)報模式產(chǎn)品數(shù)據(jù)管理系統(tǒng)和當(dāng)前國家級氣象數(shù)據(jù)管理系統(tǒng)檢索數(shù)值預(yù)報產(chǎn)品數(shù)據(jù)進行測試，并對比時效。由于MDSS即將停止服務(wù)，CIMISS中的數(shù)據(jù)管理系統(tǒng)正在取代MDSS提供數(shù)據(jù)服務(wù)，故當(dāng)前國家級氣象數(shù)據(jù)管理系統(tǒng)測試選用CIMISS中的數(shù)據(jù)管理系統(tǒng)。二者用于測試的軟件和硬件環(huán)境如下：CIMISS中的數(shù)據(jù)管理系統(tǒng)數(shù)據(jù)庫采用Oracle 11g RAC，安裝在配置2個8核 Intel Xeon E7420 2.13 GHz(共16個CPU核)、40 GB內(nèi)存的64位Linux上，CIMISS中數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)檢索客戶端部署于工作站W(wǎng)indows系統(tǒng)上；而基于MARS軟件的數(shù)值預(yù)報模式產(chǎn)品數(shù)據(jù)管理系統(tǒng)服務(wù)端則安裝于入門級IBM P550服務(wù)器，配置4個Power 64.2 GHz處理器，32 GB內(nèi)存和AIX 6.1系統(tǒng)，MARS客戶端部署于另一臺AIX 6系統(tǒng)上。

此外，當(dāng)前CIMISS的數(shù)據(jù)管理系統(tǒng)，還未將準(zhǔn)業(yè)務(wù)運行的GRAPES模式產(chǎn)品入庫管理，但提供了T639L60模式產(chǎn)品的東北半球區(qū)域數(shù)據(jù)，故以T639L60模式產(chǎn)品的檢索為例說明時效性能情況。任意選定系統(tǒng)中管理的某日某個時次預(yù)報某個預(yù)報時效，這里以2014年4月14日00：00(世界時)預(yù)報時效24 h為例，分別在兩套系統(tǒng)上檢索所有要素數(shù)據(jù)和某個特定要素(溫度)數(shù)據(jù)，運行多次檢索命令，獲取相關(guān)信息，對比結(jié)果見表2。

表2 CIMISS的數(shù)據(jù)管理系統(tǒng)和基于MARS軟件的數(shù)值預(yù)報模式產(chǎn)品數(shù)據(jù)管理系統(tǒng)檢索T639L60模式產(chǎn)品性能Table 2 Performance of retrieving T639L60 model production by the data management system of CIMISS and the MARS based system

由表2可看出，對于某個固定預(yù)報時間預(yù)報時效的T639L60模式產(chǎn)品，無論是檢索全部氣象要素還是某個特定要素(如溫度)，基于MARS軟件數(shù)據(jù)檢索速度都超過CIMISS檢索速度1倍。此外，基于MARS軟件的系統(tǒng)根據(jù)檢索請求，一次輸出1個數(shù)據(jù)，同時在檢索請求中可提供后處理功能，如插值、區(qū)域裁剪、一些簡單數(shù)學(xué)公式計算等，而CIMISS中檢索數(shù)據(jù)相對復(fù)雜，檢索后的數(shù)據(jù)文件數(shù)眾多，如表2中的文件數(shù)量分別為32和344個，目前也沒有提供后處理功能。

5 小 結(jié)

本文基于MARS軟件，實現(xiàn)了數(shù)值預(yù)報模式產(chǎn)品數(shù)據(jù)管理。研究實現(xiàn)了MARS和存儲管理軟件接口，實現(xiàn)數(shù)據(jù)的直接遷移和回調(diào)，以GRAPES全球模式產(chǎn)品為例進行數(shù)據(jù)歸檔入庫、遷移和回遷試驗，并以T639L60模式產(chǎn)品為例進行數(shù)據(jù)檢索性能測試，得出以下結(jié)論：

1) 經(jīng)過分析模式產(chǎn)品GRIB2格式數(shù)據(jù)，創(chuàng)建數(shù)據(jù)模板和代碼表，基于MARS軟件的模式產(chǎn)品數(shù)據(jù)管理系統(tǒng)可實現(xiàn)對GRIB2格式數(shù)據(jù)的管理。

2) 依據(jù)MARS軟件和TSM軟件連接API編程接口，考慮磁盤、磁帶讀寫特征，開發(fā)相關(guān)程序，可實現(xiàn)數(shù)據(jù)從在線磁盤到近線磁帶之間的直接遷移和回遷，消除手工操作。

3) 模式產(chǎn)品的數(shù)據(jù)檢索性能對比試驗表明：基于MARS軟件的數(shù)值預(yù)報模式產(chǎn)品數(shù)據(jù)管理系統(tǒng)相對當(dāng)前的CIMISS中的數(shù)據(jù)管理系統(tǒng)，檢索速度超過1倍，檢索時效優(yōu)勢明顯。

目前，MARS軟件已經(jīng)業(yè)務(wù)化應(yīng)用于中國氣象局TIGGE集合預(yù)報產(chǎn)品和T639L60模式產(chǎn)品、GRAPES模式產(chǎn)品的管理中。未來會進一步考慮中國氣象局運行的各種模式產(chǎn)品，包括一些長期試驗系統(tǒng)，如氣候模式產(chǎn)品以及即將開展的S2S (Sub-seasonal to Seasonal Prediction Project)產(chǎn)品，并在業(yè)務(wù)中進一步考慮模式、分辨率、區(qū)域、版本的不同，實現(xiàn)基于MARS軟件的數(shù)據(jù)管理系統(tǒng)管理多個模式產(chǎn)品，并增加更多的數(shù)據(jù)服務(wù)方式。

[1] 陳德輝，薛紀(jì)善．?dāng)?shù)值天氣預(yù)報業(yè)務(wù)模式現(xiàn)狀與展望．氣象學(xué)報，2004，62(5)：623-633．

[2] 矯梅燕，龔建東，周兵，等．天氣預(yù)報的業(yè)務(wù)技術(shù)進展．應(yīng)用氣象學(xué)報，2006，17(5)：594-601．

[3] 張璽．并行文件系統(tǒng)下數(shù)據(jù)遷移功能的實現(xiàn)．北京信息科技大學(xué)學(xué)報，2012，12(5)：77-80．

[4] 沈文海，趙芳，高華云，等．國家級氣象資料存儲檢索系統(tǒng)的建立．應(yīng)用氣象學(xué)報，2004，15(6)：727-736．

[5] 李集明，沈文海，王國復(fù)．氣象信息共享平臺及其關(guān)鍵技術(shù)研究．應(yīng)用氣象學(xué)報，2006，17(5)：621-628．

[6] 國家氣象信息中心．新一代天氣雷達信息共享平臺總體設(shè)計．北京：中國氣象局,2009．

[7] 楊潤芝，馬強，李德泉，等．內(nèi)存轉(zhuǎn)發(fā)模型在CIMISS數(shù)據(jù)收發(fā)系統(tǒng)中的應(yīng)用．應(yīng)用氣象學(xué)報，2012，23(3)：377-384．

[8] Raoult B.Data Handling via MARS at ECMWF.ECMWFNewsletter,1996,72:15-19.

[9] Raoult B.Implementing MARS using object-oriented technology．ECMWFNewsletter,1997,75:9-10.

[10] Raoult B.MARS,ECMWF’s Meteorological Archive:Experience in Managing a Large Archive.[2013-12-10].http:∥vds.cnes.fr/manifestations/PV2002/DATA/1-5_raoult.pdf.

[11] Raoult B.Architecture of the new MARS server.[2013-12-10].http:∥www.ecmwf.int/publications/manuals/mars/server.pdf.

[12] ECMWF Operations Department.MARS User Guide.[2013-12-20].http:∥www.ecmwf.int/publications/manuals/mars/guide/MarsUserGuide.pdf.

[13] ECMWF EMOSLIB.[2014-09-27].https:∥software.ecmwf.int/wiki/display/EMOS/Emoslib.

[14] 伍湘君，金之雁，黃麗萍，等．GRAPES模式軟件框架與實現(xiàn)．應(yīng)用氣象學(xué)報，2005，16(4)：539-546．

[15] 麻素紅，吳俞，瞿安祥，等．T213與T639模式熱帶氣旋預(yù)報誤差對比．應(yīng)用氣象學(xué)報，2012，23(2)：167-173．

[16] 閆之輝，王雨，朱國富．國家氣象中心業(yè)務(wù)數(shù)值預(yù)報發(fā)展的回顧與展望．氣象，2010，36(7)：26-32．

[17] 劉媛媛，應(yīng)顯勛，趙芳．GRIB2介紹及解碼初探．氣象科技，2006，34(增刊Ⅰ)：61-64．

[18] 國家氣象信息中心通信臺．表格驅(qū)動碼編碼手冊．北京：氣象出版社，2005．

[19] WMO.Guide to the WMO Table Driven Code Form Used for the Representation and Exchange of Regularly Spaced Data In Binary Form:FM 92 GRIB Edition 2.[2013-12-10].http:∥www.wmo.int/pages/prog/www/WMOCodes/Guides/GRIB/GRIB2_062006.pdf.

[20] WMO.Introduction to GRIB Edition1 and GRIB Edition 2.[2013-12-10].http:∥www.wmo.int/pages/prog/www/WMOCodes/Guides/GRIB/Introduction_GRIB1-GRIB2.pdf.

[21] ECMWF.Grib decoder.[2013-12-10].https:∥software.ecmwf.int/wiki/display/GRIB/Home.

[22] IBM Tivoli Storage Manager for AIX Version 6.2 Using the Application Programming Interface.[2014-09-15].http:∥pic.dhe.ibm.com/infocenter/tsminfo/v6r2/topic/com.ibm.itsm.client.develop.doc/b_api_using.pdf.

Application of the MARS to Data Management of NWP Productions

Xiao Huadong Sun Jing Zhang Xi Bian Xiaofeng

(NationalMeteorologicalInformationCenter,Beijing100081)

The NWP model runs several times every day, creating a large number of files of hundred megabytes each. In the current national meteorological data management system, the NWP model data are managed by the combination of file system and database system, which improves the operation of relative data compared to the traditional file system or database system alone. But data are separated from their index and description, which makes it difficult to manage the massive data of NWP productions.

The MARS (Meteorological Archive and Retrieve System) based on the description of meteorology can be used to resolve the above problems. The client-server architecture of the MARS is introduced briefly, and functional components of the MARS are also explained in detail. A data management solution for the national operational NWP model is designed based on the current version of the MARS. According to the characteristic of table-driven code formats, the method of creating GRIB2 code tables and templates is introduced. The application programming interface (API) between the MARS and the Tivoli Storage Manager (TSM) is studied and implemented, considering the I/O feature of disk and tape, and API achieves direct data flushing and retrieving. Taking GRIB2 data of GRAPES global model production for example, data management is implemented by the MARS. Performance test indicates that the MARS can accelerate retrieving of certain data by over one time, demonstrating great advantages of time efficiency.

The MARS integrates the meteorological content orient data management technique and the hierarchical storage management technique. Its adaptability and scalability are also verified through long time application in many meteorological centers, showing wider application prospect in the field of NWP production data management.

the MARS; GRIB2 template; storage management software; data flushing and retrieving

10.11898/1001-7313.20150213

公益性行業(yè)(氣象)科研專項(GYHY201106009)

肖華東，孫婧，張璽,等. MARS軟件在數(shù)值預(yù)報模式產(chǎn)品數(shù)據(jù)管理中的應(yīng)用. 應(yīng)用氣象學(xué)報，2015，26(2)：247-256.

2014-04-17收到， 2014-11-18收到再改稿。

* email: xiaohd@cma.gov.cn