鮑磊磊 吳銳濤 姜淑楊 黃 亮 李 敏

1(南通市氣象局 江蘇 南通 226300) 2(海門市氣象局 江蘇 海門 226100)

基于HPC的中尺度數(shù)值模式系統(tǒng)設(shè)計(jì)與應(yīng)用

鮑磊磊1吳銳濤1姜淑楊1黃 亮1李 敏2

1(南通市氣象局 江蘇 南通 226300)2(海門市氣象局 江蘇 海門 226100)

為沿海開(kāi)發(fā)、海洋捕撈、灘涂養(yǎng)殖、港口航運(yùn)，以及平安海區(qū)建設(shè)等提供優(yōu)質(zhì)氣象服務(wù)，設(shè)計(jì)基于HPC的近海沿岸地區(qū)中尺度數(shù)值模式系統(tǒng)。系統(tǒng)的建設(shè)涉及高性能計(jì)算機(jī)(HPC)集群系統(tǒng)的硬件、軟件系統(tǒng)、網(wǎng)絡(luò)的選型設(shè)計(jì)、安裝調(diào)試和測(cè)試應(yīng)用。介紹了HPC集群系統(tǒng)搭建、集群管理軟件、作業(yè)調(diào)度系統(tǒng)和并行文件系統(tǒng)，重點(diǎn)介紹了中尺度數(shù)值模式應(yīng)用系統(tǒng)的業(yè)務(wù)流程、模式特點(diǎn)和方案設(shè)計(jì)，并選取一次典型的寒潮天氣過(guò)程進(jìn)行數(shù)值模式應(yīng)用。通過(guò)單個(gè)輸出產(chǎn)品和雷達(dá)實(shí)測(cè)生成產(chǎn)品對(duì)比表明：系統(tǒng)的實(shí)現(xiàn)為海洋氣象預(yù)測(cè)預(yù)警提供更加穩(wěn)定可靠的信息運(yùn)算、存儲(chǔ)平臺(tái)和服務(wù)產(chǎn)品支撐。

HPC Xcat 作業(yè)調(diào)度 GPFS ARPS-3DVAR WRF

0 引 言

高性能計(jì)算已經(jīng)成為很多行業(yè)數(shù)據(jù)處理的關(guān)鍵，高性能計(jì)算一般采用多臺(tái)計(jì)算機(jī)組成的集群實(shí)現(xiàn)數(shù)據(jù)的大規(guī)模并行處理，顯著地提高了的計(jì)算能力和速度，廣泛應(yīng)用于科研、國(guó)防等領(lǐng)域[1]。國(guó)家氣象信息中心早在2004年就已安裝IBM高性能計(jì)算機(jī)系統(tǒng)用于數(shù)值模式的應(yīng)用研究[2]，其計(jì)算時(shí)數(shù)據(jù)交換通過(guò)IBM HPS網(wǎng)絡(luò)實(shí)現(xiàn)[3]。技術(shù)的發(fā)展使得高性能計(jì)算機(jī)系統(tǒng)一般需要成百上千臺(tái)Linux集群服務(wù)器通過(guò)高速網(wǎng)絡(luò)進(jìn)行構(gòu)建，傳統(tǒng)的計(jì)算網(wǎng)絡(luò)、I/O方式已很難滿足大規(guī)模集群服務(wù)器之間的高速數(shù)據(jù)通信及其對(duì)存儲(chǔ)系統(tǒng)的需求[4]。受氣象重點(diǎn)工程“近海沿岸中尺度數(shù)值模式系統(tǒng)”項(xiàng)目的資金支持，2016年南通市建成了基于HPC的中尺度數(shù)值模式系統(tǒng)硬件平臺(tái)，已投入業(yè)務(wù)和科研應(yīng)用。

1 系統(tǒng)集成設(shè)計(jì)

1.1 硬件設(shè)計(jì)

系統(tǒng)采用刀片式HPC集群為數(shù)值模式提供硬件平臺(tái)，系統(tǒng)由以下幾個(gè)部分組成：

(1) 管理節(jié)點(diǎn) 負(fù)責(zé)管理集群系統(tǒng)的軟硬件、部署計(jì)算節(jié)點(diǎn)、提供任務(wù)調(diào)度，用戶登錄管理節(jié)點(diǎn)，在自己的目錄下編譯、運(yùn)行和提交作業(yè)。管理節(jié)點(diǎn)是集群的控制中心。

(2) 計(jì)算節(jié)點(diǎn) 集群中用來(lái)為數(shù)值預(yù)報(bào)模式提供計(jì)算的資源。計(jì)算節(jié)點(diǎn)是集群中最常使用的部分，系統(tǒng)管理員可以使用管理節(jié)點(diǎn)配置它們。

(3) I/O節(jié)點(diǎn) 計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)的中間設(shè)備，負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)并響應(yīng)計(jì)算節(jié)點(diǎn)的存儲(chǔ)請(qǐng)求。

(4) 存儲(chǔ)節(jié)點(diǎn) 通過(guò)GPFS等網(wǎng)絡(luò)文件系統(tǒng)協(xié)議，為計(jì)算節(jié)點(diǎn)提供文件共享服務(wù)。集群中可以采用專門的I/O服務(wù)器連接存儲(chǔ)。存儲(chǔ)節(jié)點(diǎn)可以根據(jù)需求拓展，實(shí)現(xiàn)負(fù)載均衡或冗余[5-6]。

本系統(tǒng)管理節(jié)點(diǎn)采用1臺(tái)X3650M3系列服務(wù)器，I/O節(jié)點(diǎn)采用2臺(tái)X3650M3 服務(wù)器。計(jì)算節(jié)點(diǎn)采用43個(gè)HS 23系列刀片服務(wù)器，采用以上46個(gè)節(jié)點(diǎn)構(gòu)建HPC。裝載刀片服務(wù)器和交換機(jī)的刀箱采用4個(gè)IBM BladeCenter H刀片中心，采用IBM DS 3524系列存儲(chǔ)解決整個(gè)高性能計(jì)算的大容量存儲(chǔ)需求。硬件系統(tǒng)連接圖如圖1所示。

圖1 高性能計(jì)算機(jī)系統(tǒng)硬件連接

1.2 網(wǎng)絡(luò)設(shè)計(jì)

系統(tǒng)的網(wǎng)絡(luò)分為三類：

(1) 管理網(wǎng)絡(luò) 用于連接管理節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)和I/O節(jié)點(diǎn)以進(jìn)行集群系統(tǒng)軟硬件的管理和通信。本文選擇獨(dú)立高速以太網(wǎng)。在管理網(wǎng)絡(luò)里，主要傳送的數(shù)據(jù)包括: dsh并行命令、xCAT管理軟件控制信息、xCAT管理數(shù)據(jù)傳送、NTP網(wǎng)絡(luò)時(shí)鐘以及GPFS的管理與TORQUE作業(yè)調(diào)度的應(yīng)用。

(2) 計(jì)算網(wǎng)絡(luò) 針對(duì)并行程序、氣象應(yīng)用等高性能運(yùn)算的特殊所需，采用Infiniband(IB) QDR高性能交換網(wǎng)絡(luò)來(lái)連接所有的計(jì)算節(jié)點(diǎn)[7]。IB高性能交換網(wǎng)絡(luò)是屬于集群里的最主要計(jì)算網(wǎng)絡(luò)，擁有高帶寬、低延遲的特性，并能同時(shí)支持US (User Space)協(xié)議和IP(包括IPv4 及IPv6)協(xié)議，為高性能計(jì)算、并行應(yīng)用、節(jié)點(diǎn)間Message Passing提供一個(gè)高速可靠的通道。

(3) 存儲(chǔ)網(wǎng)絡(luò) 用于 I/O服務(wù)器與存儲(chǔ)之間的連接。提供系統(tǒng)數(shù)據(jù)的讀取、存儲(chǔ)?？紤]到集群系統(tǒng)和計(jì)算節(jié)點(diǎn)總數(shù)，本文采用了8 GB的存儲(chǔ)網(wǎng)絡(luò)，這樣使得整個(gè)高性能計(jì)算機(jī)系統(tǒng)成為一個(gè)平衡的系統(tǒng)，并充分滿足氣象數(shù)值模式應(yīng)用對(duì)I/O性能的要求[8]。

1.3 系統(tǒng)性能測(cè)試方案設(shè)計(jì)

系統(tǒng)測(cè)試分為連通性測(cè)試和計(jì)算能力測(cè)試，連通性測(cè)試一般采用ping 工具，計(jì)算能力測(cè)試選用業(yè)界公認(rèn)的HPL[Linpack基準(zhǔn)( High Performance Computing Linpack Benchmark)]測(cè)試工具[9]。由于Linpack測(cè)試結(jié)果的影響因素較多，在實(shí)際測(cè)試過(guò)程中，需要通過(guò)修改編譯生產(chǎn)的HPL.dat文件，選擇和系統(tǒng)硬件匹配的參數(shù)進(jìn)行調(diào)整優(yōu)化[10]。如參數(shù)：測(cè)試矩陣大小N的選擇，在考慮增大矩陣規(guī)模N的同時(shí)需兼顧其消耗系統(tǒng)內(nèi)存的大小，一般最佳占用率為系統(tǒng)總內(nèi)存的80%左右[11]。設(shè)計(jì)選用的相關(guān)參數(shù)及測(cè)試結(jié)果如表1所示。

表1 Linpack優(yōu)化參數(shù)設(shè)置及測(cè)試結(jié)果

本次所用的HS23高性能計(jì)算節(jié)點(diǎn)采用Intel Xeon處理器，每個(gè)處理器的峰值浮點(diǎn)性能為140.8GFlops，整個(gè)系統(tǒng)配置86個(gè)Intel E5-2660處理器用做數(shù)值計(jì)算，峰值浮點(diǎn)性能為12.1088TFLOPS。選用Linpack基準(zhǔn)測(cè)試的結(jié)果為10.940 TFLOPS，測(cè)試效率為90.3%。

2 系統(tǒng)軟件部署

2.1 集群管理軟件

系統(tǒng)采用xCAT作為集群管理軟件，將其安裝在管理節(jié)點(diǎn)上，使用者可以通過(guò)一個(gè)單點(diǎn)控制對(duì)43個(gè)計(jì)算節(jié)點(diǎn)構(gòu)成的集群系統(tǒng)進(jìn)行管理。xCAT是一個(gè)開(kāi)源的可擴(kuò)展的高級(jí)集群管理和配置工具，可實(shí)現(xiàn)集群系統(tǒng)管理的大部分內(nèi)容。xCAT的工作原理如圖2所示。

圖2 xCAT集群管理軟件工作原理

當(dāng)管理節(jié)點(diǎn)上的xCATd接收到計(jì)算節(jié)點(diǎn)發(fā)送過(guò)來(lái)的用 XML 封裝的命令時(shí)，它將通過(guò) ACL來(lái)判定發(fā)送者是否有權(quán)限執(zhí)行這些命令，如果 ACL 判決出該用戶有權(quán)限執(zhí)行指令，則被放進(jìn)queue運(yùn)行隊(duì)列中等待執(zhí)行。該任務(wù)指令執(zhí)行后，結(jié)果會(huì)再被服務(wù)器發(fā)回給客戶端，并顯示在任務(wù)指令發(fā)出者的終端屏幕上，從而完成整個(gè)任務(wù)指令的執(zhí)行過(guò)程[12]。

xCAT安裝完成后，即可實(shí)現(xiàn)對(duì)集群系統(tǒng)的如下管理：

(1) 硬件管理 管理員常用的rpower on或off命令啟動(dòng)或關(guān)閉整個(gè)集群系統(tǒng)。

(2) 軟件管理 方便地實(shí)現(xiàn)軟件的安裝、配置、分布式執(zhí)行等功能。常用的命令有：pping用于查看計(jì)算節(jié)點(diǎn)是否啟動(dòng)完成；psh用于在計(jì)算節(jié)點(diǎn)上批量執(zhí)行；pscp實(shí)現(xiàn)批量遠(yuǎn)程拷貝等。

(3) 系統(tǒng)監(jiān)控 實(shí)現(xiàn)節(jié)點(diǎn)狀態(tài)監(jiān)控，此外xCAT還支持第三方監(jiān)控軟件，比如：SNMP、Nagios等。

2.2 作業(yè)管理與調(diào)度軟件

在管理節(jié)點(diǎn)上安裝完xCAT后需安裝作業(yè)管理與調(diào)度系統(tǒng)，從用戶角度看，HPC就像一臺(tái)服務(wù)器并支持多用戶使用。但太多用戶同時(shí)使用，系統(tǒng)的性能會(huì)變差，為充分利用集群系統(tǒng)的計(jì)算能力，需要合理給各個(gè)用戶提交的作業(yè)分配資源并進(jìn)行管理。Torque是PBS的一個(gè)開(kāi)源版本，可提供對(duì)批處理作業(yè)和分散計(jì)算節(jié)點(diǎn)的控制，但因其自帶的作業(yè)調(diào)度器 pbs_sched功能簡(jiǎn)單，因此本文選擇Torque和Maui作業(yè)調(diào)度器結(jié)合來(lái)管理集群系統(tǒng)中的資源，Maui比pbs_sched功能更豐富。用戶也可根據(jù)自己的使用習(xí)慣和需要選擇其他的作業(yè)管理和調(diào)度軟件，如Platform LSF、SGE等[13]。

軟件安裝完成后，用戶即可利用qsub指令去提交自己的作業(yè)。Maui會(huì)根據(jù)HPC中各種資源的屬性狀態(tài)、用戶提交的作業(yè)信息和指定的調(diào)度策略生成作業(yè)優(yōu)先級(jí)列表。Torque根據(jù)這個(gè)優(yōu)先級(jí)列表調(diào)度作業(yè)[14]。管理員可利用其提供的常用指令管理和查看系統(tǒng)中的用戶作業(yè)。

2.3 并行文件系統(tǒng)

文件系統(tǒng)采用GPFS，可以使構(gòu)成集群系統(tǒng)的所有節(jié)點(diǎn)并行訪問(wèn)整個(gè)文件系統(tǒng)。對(duì)于分布在不同節(jié)點(diǎn)的不同硬盤上的文件，GPFS不僅允許用戶以掛載的方式共享這些文件，還支持UNIX文件系統(tǒng)的工具，用戶使用起來(lái)就像使用普通文件系統(tǒng)一樣。GPFS并行文件系統(tǒng)由：磁盤、網(wǎng)絡(luò)共享磁盤、GPFS 文件系統(tǒng)[15]構(gòu)成，如圖3所示。

圖3 GPFS并行文件系統(tǒng)架構(gòu)

(1) 磁盤 底層物理磁盤設(shè)備，可以是磁盤、磁盤分區(qū)或者邏輯單元。

(2) NSD 網(wǎng)絡(luò)共享磁盤，由磁盤虛擬映射而來(lái)，和磁盤是對(duì)應(yīng)關(guān)系。本系統(tǒng)使用了NSD的兩個(gè)屬性分別為：Meta and data，用于存儲(chǔ)GFPFS文件系統(tǒng)中的所有信息；Data Only，用于存儲(chǔ)文件系統(tǒng)中的數(shù)據(jù)信息。

(3) GPFS文件系統(tǒng) GPFS文件系統(tǒng)是一個(gè)可被掛載的文件系統(tǒng)，由NSD創(chuàng)建而成。創(chuàng)建GPFS文件系統(tǒng)之前應(yīng)進(jìn)行：環(huán)境規(guī)劃；安裝GPFS；添加GPFS命令的環(huán)境變量；構(gòu)建GPFS群集；創(chuàng)建NSD磁盤。

本系統(tǒng)采用46個(gè)節(jié)點(diǎn)構(gòu)建GPFS集群，其中：2個(gè)I/O節(jié)點(diǎn)分別為io1-ib和io2-ib；1個(gè)manage節(jié)點(diǎn)為manage-ib；43個(gè)計(jì)算節(jié)點(diǎn)。計(jì)算節(jié)點(diǎn)的命名規(guī)則為：bc刀箱序號(hào)-刀片序號(hào)-ib，如第一個(gè)刀箱的第四把刀片命名為：bc1-04-ib。將存儲(chǔ)劃分為7個(gè)邏輯單元映射給兩臺(tái)I/O節(jié)點(diǎn)，用于創(chuàng)建并行文件系統(tǒng)網(wǎng)絡(luò)共享文件盤NSD。節(jié)點(diǎn)io1-ib做為NSD主服務(wù)器，節(jié)點(diǎn)io2-ib做為NSD備服務(wù)器分別通過(guò)8 GB的光纖連接到存儲(chǔ)，提供到存儲(chǔ)設(shè)備的IO訪問(wèn)。構(gòu)建GPFS并行文件系統(tǒng)gpfsa和gpfsnew，將邏輯單元gpfs1nsd構(gòu)建并行文件系統(tǒng)gpfsa提供2.2 TB的存儲(chǔ)資源分配給用戶home文件系統(tǒng)，home文件系統(tǒng)下的個(gè)人用戶目錄采用配額管理，限制每個(gè)用戶的資源分配，避免存儲(chǔ)大文件。通過(guò)擴(kuò)展邏輯單元gpfs2nsd～gpfs7nsd構(gòu)建文件系統(tǒng)gpfsnew提供22 TB的存儲(chǔ)資源用于氣象數(shù)據(jù)存儲(chǔ)。具體規(guī)劃如表2所示。

表2 GPFS文件系統(tǒng)環(huán)境規(guī)劃表

3 中尺度數(shù)值模式應(yīng)用

3.1 業(yè)務(wù)應(yīng)用系統(tǒng)流程設(shè)計(jì)

近海沿岸中尺度數(shù)值模式系統(tǒng)依托高性能計(jì)算系統(tǒng)，將自動(dòng)站、雷達(dá)資料同化后采用比較流行的WRF模式開(kāi)展應(yīng)用[16]。具體流程設(shè)計(jì)如圖4所示。

此業(yè)務(wù)模式用于提供華東區(qū)域，臺(tái)風(fēng)期間水平空間分辨率達(dá)1 km，時(shí)間分辨率達(dá)1 h的分析產(chǎn)品，在模式輸出場(chǎng)的基礎(chǔ)上開(kāi)發(fā)了大量物理量診斷產(chǎn)品[17]。發(fā)布的產(chǎn)品主要有：對(duì)流有效位能和螺旋度；組合反射率和風(fēng)；露點(diǎn)溫度、海平面氣壓和風(fēng)；散度；垂直切變；相當(dāng)位溫等1 km物理量分析產(chǎn)品。

3.2 模式的選型設(shè)計(jì)

資料同化系統(tǒng)選型：美國(guó)風(fēng)暴分析和預(yù)測(cè)中心研發(fā)的基于三維曲線坐標(biāo)系統(tǒng)的ARPS模式，相比其他模式系統(tǒng)(如WRF、MM5)的特點(diǎn)在于其計(jì)算網(wǎng)格可以隨意變化，主要適用于中小尺度天氣系統(tǒng)。已有人將其應(yīng)用到龍卷、颮線、臺(tái)風(fēng)中進(jìn)行研究的先例。本文選取其三維變分資料同化系統(tǒng)(3DVAR)，將常規(guī)及非常規(guī)氣象數(shù)據(jù)資料(如多普勒雷達(dá)反射率和徑向風(fēng)等)進(jìn)行同化后應(yīng)用到強(qiáng)風(fēng)、短時(shí)強(qiáng)降水等近海沿岸地區(qū)初始場(chǎng)中可得汛期常見(jiàn)天氣過(guò)程的數(shù)值模擬或預(yù)報(bào)。

數(shù)值預(yù)報(bào)模式選型：選用業(yè)務(wù)上廣泛使用的WRF模式，具有代表性。

3.3 資料同化系統(tǒng)

ARPS-3DVAR的本質(zhì)是將資料同化問(wèn)題歸結(jié)為求二次泛函的極小值問(wèn)題，函數(shù)如公式所示。

(1)

等式右邊分為三項(xiàng)：

第一項(xiàng)用來(lái)表述分析變量與背景場(chǎng)向量的偏差，分析變量向量X包括：三維風(fēng)場(chǎng)(u、v、w)、位溫(θ)，氣壓(p)，水汽混合比(qv)以及系統(tǒng)中所包含的水汽凝結(jié)物種類的混合比。xb是x的對(duì)應(yīng)的背景場(chǎng)向量，B為背景場(chǎng)誤差協(xié)方差矩陣[18]。第二項(xiàng)用來(lái)表述分析向量與觀測(cè)變量的偏差，yo為觀測(cè)向量，H稱為觀測(cè)算子，它通過(guò)空間插值將格點(diǎn)上的分析變量變換到觀測(cè)空間中對(duì)應(yīng)的觀測(cè)量。R為觀測(cè)誤差協(xié)方差矩陣[19]。第三項(xiàng)是輻散約束項(xiàng)，由于大尺度的地轉(zhuǎn)平衡不適用于小尺度非靜力平衡流場(chǎng)，此項(xiàng)必須考慮。對(duì)于多普勒雷達(dá)的徑向速度，還需考慮三維連續(xù)方程、氣壓診斷方程等動(dòng)力約束條件。

將ARPS-3DVAR應(yīng)用到本業(yè)務(wù)中進(jìn)行資料同化，改善WRF模式初始場(chǎng)的優(yōu)點(diǎn)總結(jié)如下：

(1) 系統(tǒng)自帶多普勒雷達(dá)資料質(zhì)量控制模塊。

(2) 將模式向?qū)嶋H觀測(cè)空間的映射引入二次泛函的方程中，從而函數(shù)趨于極小化的過(guò)程中獲得與資料、背景場(chǎng)和動(dòng)力約束相協(xié)調(diào)的分析場(chǎng)[20]。

(3) 目標(biāo)函數(shù)中加入了輻散約束項(xiàng)，對(duì)中小尺度天氣系統(tǒng)尤其適用。

(4) 背景場(chǎng)誤差協(xié)方差使用給定空間的遞歸濾波器進(jìn)行調(diào)整。

(5) 具有多尺度分析及云分析模塊。云分析模塊是一個(gè)獨(dú)立的云模式系統(tǒng)。

3.4 業(yè)務(wù)模式方案設(shè)計(jì)

業(yè)務(wù)模式選擇兩重嵌套，粗網(wǎng)格區(qū)域設(shè)置240×240個(gè)格點(diǎn)，空間分辨率為9 km；細(xì)網(wǎng)格區(qū)域設(shè)置720×720個(gè)格點(diǎn)，水平分辨率達(dá)1 km，垂直層次設(shè)置51層。通過(guò)將9 km的WRF數(shù)值分析結(jié)果插值到1 km網(wǎng)格上，提供1 h時(shí)效內(nèi)的風(fēng)、溫、濕、組合反射率、散度、垂直切變等物理量診斷產(chǎn)品。模式為每小時(shí)的整點(diǎn)時(shí)刻、12分鐘、24分鐘、48分鐘各輸出一次產(chǎn)品。模式運(yùn)行時(shí)，開(kāi)始獨(dú)占用46個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行并行積分計(jì)算，此作業(yè)所在隊(duì)列的優(yōu)先級(jí)設(shè)為最高。

4 天氣過(guò)程模式分析

選取2016年12月13日，9點(diǎn)24分一股較強(qiáng)冷空氣東移南下影響本省產(chǎn)生的一次降溫降水過(guò)程進(jìn)行分析，此次寒潮帶來(lái)了本省大部分地區(qū)最低氣溫下降10 ℃左右，冷空氣影響時(shí)伴有近海沿岸地區(qū)沿海7～9級(jí)偏北大風(fēng)。在此天氣過(guò)程中，選取116～122 °E，30～35 °N區(qū)域內(nèi)，本系統(tǒng)數(shù)值模式計(jì)算生成的組合反射率產(chǎn)品(圖5)和雷達(dá)實(shí)測(cè)組合反射率拼圖產(chǎn)品(圖6)進(jìn)行對(duì)比，得到以下結(jié)論。

圖5 數(shù)值模式生成組合反射率產(chǎn)品

圖6 雷達(dá)實(shí)測(cè)拼圖組合反射率產(chǎn)品

(1) 1 km的高分辨率的情況下，中尺度WRF數(shù)值預(yù)報(bào)模式和雷達(dá)實(shí)測(cè)數(shù)據(jù)生成的組合反射率產(chǎn)品基本一致。

(2) 本文設(shè)計(jì)的基于3DVAR-WRF數(shù)值模式的業(yè)務(wù)流程能有效模擬近海沿岸地區(qū)寒潮天氣過(guò)程中大風(fēng)、降水等氣象要素。基于HPC的輸出可以為近海沿岸地區(qū)短時(shí)災(zāi)害性臨近預(yù)報(bào)提供很好的診斷產(chǎn)品。

5 結(jié) 語(yǔ)

本文完成了中尺度數(shù)值模式系統(tǒng)的基礎(chǔ)平臺(tái)：高性能計(jì)算機(jī)集群系統(tǒng)的設(shè)計(jì)、集成測(cè)試和軟件部署。系統(tǒng)計(jì)算能力的測(cè)試效率達(dá)90.3%。并利用集群構(gòu)建GPFS文件系統(tǒng)開(kāi)展數(shù)值模式應(yīng)用，詳細(xì)介紹了業(yè)務(wù)流程和實(shí)驗(yàn)方案的設(shè)計(jì)，重點(diǎn)介紹了模式的選型和優(yōu)勢(shì)。通過(guò)選取一次典型的天氣過(guò)程個(gè)例應(yīng)用分析表明：在應(yīng)用ARPS3DVAR-WRF模式系統(tǒng)的不穩(wěn)定天氣形勢(shì)下的短時(shí)臨近診斷分析中，效果和實(shí)際情況一致。項(xiàng)目的建成大大提升了氣象業(yè)務(wù)和科研能力，其輸出的物理量診斷產(chǎn)品為預(yù)報(bào)員提供了很好的參考。

[1] 王彬.高性能計(jì)算機(jī)技術(shù)在氣象部門的應(yīng)用[J].計(jì)算機(jī)工程與設(shè)計(jì),2014,25(4):1476-1479.

[2] 洪文董.高性能計(jì)算機(jī)的發(fā)展與氣象應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用,2004,40(5):32-35.

[3] 宗翔,孫婧.IBM高性能計(jì)算機(jī)系統(tǒng)一次重大故障分析[J].氣象科技,2007,35(S1):41-44.

[4] 楊昕.GPFS文件系統(tǒng)原理和模式I/O優(yōu)化方法[J].氣象科技,2006,34(S1):27-30.

[5] Wickberg T,Carothers C.The RAMDISK storage accelerator:a method of accelerating I/O performance on HPC systems using RAMDISKs[C]//International Workshop on Runtime and Operating Systems for Supercomputers.ACM,2012:1-8.

[6] Frings W,Hennecke M.A system level view of Petascale I/O on IBM Blue Gene/P[J].Computer Science-Research and Development,2011,26(3-4):275-283.

[7] 魏敏.氣象高性能計(jì)算應(yīng)用服務(wù)環(huán)境適應(yīng)性研究[J].氣象,2015,41(1):92-97.

[8] 朱平,朱建濤,高劍剛,等.高性能計(jì)算存儲(chǔ)關(guān)鍵技術(shù)研究[J].計(jì)算機(jī)研究與發(fā)展,2011,48(S1):354-364.

[9] 魏敏,孫婧,沈瑜,等.高性能計(jì)算系統(tǒng)性能評(píng)測(cè)方法及其應(yīng)用[J].應(yīng)用氣象學(xué)報(bào),2013,24(6):753-759.

[10] 肖華東,孫婧,魏敏,等.高性能計(jì)算機(jī)系統(tǒng)相對(duì)持續(xù)性能度量模型[J].計(jì)算機(jī)工程與應(yīng)用,2015,51(5):33-37.

[11] 薛娟,蘇厚勤.并行處理技術(shù)在ETL計(jì)算環(huán)境中的應(yīng)用研究[J].計(jì)算機(jī)應(yīng)用與軟件,2011,28(8):216-218.

[12] 吳瓊,王穎,梁金鈐,等.Linux環(huán)境下基于Qt和xCAT的集群部署系統(tǒng)①[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2013,22(7):27-30.

[13] 孫超.高性能計(jì)算平臺(tái)的設(shè)計(jì)與應(yīng)用[D].天津:天津大學(xué)電子信息工程學(xué)院,2013.

[14] 王彬,宗翔,田浩.國(guó)家氣象計(jì)算網(wǎng)格的設(shè)計(jì)與建立[J].應(yīng)用氣象學(xué)報(bào),2010,21(5):632-640.

[15] 朱啟偉,趙滿春,張向陽(yáng).SNFS并行文件系統(tǒng)負(fù)載均衡技術(shù)的研究與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件,2012,29(8):220-225.

[16] Christidis Z.Performance and Scaling of WRF on Three Different Parallel Supercomputers[C]//International Conference on High Performance Computing.Springer,Cham,2015:514-528.

[17] 袁衛(wèi)華,趙玉娟,孟冬梅,等.天津中尺度數(shù)值預(yù)報(bào)業(yè)務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].氣象科技,2011,39(6):828-833.

[18] 杜寧珠.機(jī)載和地基雷達(dá)資料三維變分同化方案在臺(tái)風(fēng)數(shù)值預(yù)報(bào)中的影響研究[D].南京:南京信息工程大學(xué),2014.

[19] 溫德垚.同化非均勻分布的雷達(dá)資料對(duì)臺(tái)風(fēng)路徑模擬效果的影響[D].甘肅:蘭州大學(xué),2011.

[20] 施麗娟.雷達(dá)資料三維變分同化在登陸臺(tái)風(fēng)模擬中的應(yīng)用[D].北京:中國(guó)氣象科學(xué)研究院,2008.

DESIGNANDAPPLICATIONOFMESOSCALENUMERICALMODELSYSTEMBASEDONHPC

Bao Leilei1Wu Ruitao1Jiang Shuyang1Huang Liang1Li Min2

1(NantongMeteorologicalBureau,Nantong226300,Jiangsu,China)2(HaimenMeteorologicalBureau,Haimen226100,Jiangsu,China)

In order to provide high-quality meteorological services for coastal developing, marine fishing, beach breeding, port shipping, and construction of Peaceful Sea Area, a numerical model of the mesoscale numerical system based on HPC is developed. The system involves the hardware, software systems, network design, installation commissioning and testing of high performance computer (HPC) cluster systems. This paper introduced HPC cluster system construction, cluster management software, job scheduling system and parallel file system. It mainly introduced the business process, model characteristics and schemed design of the application system, and selected a typical cold wave weather process for numerical mode application. Comparison of a single output of products and radar-measured product showed that the realization of the system could provide more stable and reliable information computing, storage platform and service product for marine meteorological forecasting and early warning.

HPC Xcat Job scheduling GPFS ARPS-3DVAR WRF

2016-12-28。國(guó)家自然科學(xué)基金項(xiàng)目(41675090)；南通市“十二五”氣象現(xiàn)代重點(diǎn)工程建設(shè)項(xiàng)目(NTZC201504 54)；南通市市級(jí)科技計(jì)劃項(xiàng)目(YYZ16035)。鮑磊磊，工程師，主研領(lǐng)域：氣象裝備及信息網(wǎng)絡(luò)。吳銳濤，工程師。姜淑楊，助工。黃亮，高工。李敏，工程師。

TP39

A

10.3969/j.issn.1000-386x.2017.12.019