黃建強， 吳 利， 曹騰飛， 孟永偉， 王曉英

(青海大學 計算機技術(shù)與應用系, 青海 西寧 810016)

?

基于高性能計算平臺和WRF環(huán)境實驗的教學改革

黃建強， 吳 利， 曹騰飛， 孟永偉， 王曉英

(青海大學 計算機技術(shù)與應用系, 青海 西寧 810016)

青海大學三江源數(shù)據(jù)分析中心的128個HP節(jié)點組成的高性能計算集群系統(tǒng)，峰值計算速度達1.331萬億次/s。在此基礎(chǔ)上，擴展了12個浪潮節(jié)點，峰值計算速度達5.2萬億次/s，存儲達到20TB。在浪潮集群系統(tǒng)上搭建了天氣預報模式WRF的實驗環(huán)境，為青海省氣象所提供數(shù)值計算環(huán)境，同時為我校培養(yǎng)交叉學科研究生提供實驗教學環(huán)境，開拓交叉學科教學新模式。

高性能計算； WRF環(huán)境建設； 實驗教學

0 引 言

隨著國家中西部高校綜合實力提升工程和一省一校項目的推進，青海省高等教育得到了迅速發(fā)展，在人才培養(yǎng)、科學創(chuàng)新上取得了驕人的成績，科學研究的方式也發(fā)生了改變，計算科學將成為現(xiàn)代科學研究的重要手段。青海大學在清華大學的幫扶下，創(chuàng)建了青海大學計算機系高性能計算集群，由128個HP節(jié)點組成，理論峰值計算速度達1.331萬億次/s，從而為各類應用任務的計算提供最優(yōu)的支持和性能表現(xiàn)。在此基礎(chǔ)上，擴展了12個浪潮節(jié)點，理論峰值計算速度達5.2萬億次/s，存儲達到20TB，聚焦高性能計算平臺技術(shù)服務與高性能計算學科建設支撐，越來越多的科學研究和重大工程中的關(guān)鍵問題需要大規(guī)模、高性能的計算和模擬[1-2]。在浪潮集群系統(tǒng)上搭建了天氣預報模式WRF的實驗環(huán)境，WRF 模式在國內(nèi)已經(jīng)得到了一定的應用[3-4]，學校與社會協(xié)同育人[5-6]，為青海省氣象所提供數(shù)值計算環(huán)境，同時為青海大學培養(yǎng)交叉學科研究生提供實驗教學環(huán)境，開拓交叉學科教學新模式。

1 高性能計算平臺

1.1 集群硬件配置

高性能計算服務器集群系統(tǒng)是高性能計算和高可用技術(shù)有機結(jié)合的性能強大、高可用的集群系統(tǒng)[7]，是整個高性能計算平臺的核心。按照業(yè)務實際需要，三江源數(shù)據(jù)分析中心配備惠普機架服務器作為計算節(jié)點；配置HP高性能服務器節(jié)點作為I/O節(jié)點，配置高性能服務器manager。整個集群的網(wǎng)絡系統(tǒng)配置測試網(wǎng)和計算網(wǎng)2套網(wǎng)絡，測試網(wǎng)由eth1和eth2 2組網(wǎng)絡構(gòu)成，eth1網(wǎng)絡傳輸整個千兆網(wǎng)的控制信號，eth2網(wǎng)絡用來管理硬件設備，用戶可以在測試網(wǎng)中調(diào)試運行程序[8]。計算網(wǎng)由所有節(jié)點服務器通過InfiniBand網(wǎng)絡連接，使得這些節(jié)點可以高速訪問，計算網(wǎng)只允許用戶訪問登錄節(jié)點，通過LSF作業(yè)管理系統(tǒng)提交作業(yè)使用計算資源，以保證系統(tǒng)安全性[9]。整個集群系統(tǒng)的構(gòu)建如圖1所示。

圖1 HP集群系統(tǒng)構(gòu)建圖

圖2為浪潮集群系統(tǒng)的物理拓撲，機柜由上而下依次為：mu01管理節(jié)點、cu01～cu05計算節(jié)點、kvm視頻切換器、cu06～cu12計算節(jié)點、千兆以太網(wǎng)交換機、infiniband 40Gb交換機。

圖2 浪潮集群系統(tǒng)物理拓撲圖

管理節(jié)點(12個CPU核心，64GB內(nèi)存，Redhat 6.4 X86_64，600GB硬盤)。

[root@huangjq ～]# cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c。

12 Intel(R) Xeon(R) CPU E5-2620v2 @ 2.1GHz。

計算節(jié)點(12個計算節(jié)點，每個節(jié)點24個CPU核心，64G內(nèi)存，Redhat 6.4 X86_64，600G硬盤)。

[root@huangjq ～]# cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c。

24 Intel(R) Xeon(R) CPU E5-2692v2 @ 2.2 GHz。

1.2 集群軟件環(huán)境

集群軟件環(huán)境，見表1。

表1 集群軟件環(huán)境

2 WRF環(huán)境建設

2.1 前期軟件準備

(1) 安裝zlib。切換到zlib目錄下：

./configure -prefix=/usr/local/zlib

make,make install

vi ～/.bashrc

#for libpng

export ZLIB_HOME=/usr/local/zlib

exportLD_LIBRARY_PATH=ZLIB_HOME/lib:LD_LIBRARY_PATH

保存退出，source ～/.bashrc

(2) 進入libpng目錄。

./configure -prefix=/usr/local/libpng

make,make install

添加環(huán)境變量

vi ～/.bashrc

#for libpng

export LIBPNG =/usr/local/libpng;

export LIBPNGLIB =/usr/local/libpng/lib

export LIBPNGINC=/usr/local/libpng/include

修改完之后注意source ～/.bashrc

(3) 進入jasper目錄。

./configure -prefix=/usr/local/jasper

make,make install

如果出現(xiàn)無法安裝jasper,找不到zlib，則用默認路徑安裝zlib后重試(自定義安裝的zlib文件夾不要刪)。

添加環(huán)境變量：

vi ～/.bashrc

#for JASPER

export JASPER =/usr/local/jasper

export JASPERLIB =/usr/local/jasper/lib

export JASPERINC=/usr/local/jasper/include

再次source ～/.bashrc

(4) 安裝netcdf。進入netcdf目錄：

./congigure -disable-netcdf-4-prefix=/usr/local/netcdf

make, make install

添加環(huán)境變量

vi ～/.bashrc

#for netcdf

export NETCDF=/usr/local/netcdf

export PATH=.:NETCDF/bin:PATH

export LD_LIBRARY_PATH={NETCDF}/lib:{LD_LIBRARY_PATH}

export LD_RUN_PATH={NETCDF}/lib:{LD_RUN_PATH}

最后source ～/.bashrc

(5) 安裝ncl 6.0.0。新建一個文件夾，名稱為ncl，自己將壓縮文件解壓到ncl文件夾，再將ncl文件夾移動到local目錄下并更名為ncarg

mv ncl /usr/local/ncarg

添加環(huán)境變量:

Vi～/.bashrc

#for ncarg

export NCARG_ROOT=/usr/local/ncarg

export PATH=NCARG_ROOT/bin:PATH

export MANPATH=NCARG_ROOT/man:MANPATH

export DISPLAY=:0.0

保存退出然后source ～ /.bashrc

2.2 WRF環(huán)境搭建

WRF安裝:編譯之前先修改一下配置文件，vi configure.wrf，添加-cpp參數(shù)，防止gfortran與gcc，g++搞混。

FORMAT_FREE = -ffree-form -cpp -ffree-line-length-none./configure，選gcc gfortran，serious(串行編譯)。

編譯./compile em_real>&wrfcompile.log。

檢查log文件，看是否沒有錯誤提示。一般來說，在test/em_real文件夾下如果生成real.exe,wrf.exe等文件，則表示安裝成功。

WPS安裝：

(1) 建立wpslib，wpsinclude文件夾。

mkdir /usr/local/wpslib

mkdir /usr/local/wpsinclude

(2) 將zlib,libpng,jasper的lib和inclue的文件放到其中。

cp -r /usr/local/zlib/lib/*/usr/local/wpslib

cp -r /usr/local/zlib/include/*/usr/local/wpsinclude

cp -r /usr/local/libpng/lib/*/usr/local/wpslib

cp -r /usr/local/jasper/lib/*/usr/local/wpslib

cp -r /usr/local/jasper/include/*/usr/local/wpsinclude

cp -r /usr/local/libpng/include/*/usr/local/wpsinclude

(3) 切換WPS目錄。

① 配置。

./configure

選擇gcc gfortran 選項。

② 修改配置文件。

vi configure.wps

有以下幾處要修改。

NCARG_LIBS = -L(NCARG_ROOT)/lib-lncarg-lncarg_gks-lncarg_c-L/usr/lib/x86_64-linux-gnu -lX11

COMPRESSION_LIBS = -L/usr/local/wpslib-ljasper -lpng12 -lpng-lz

COMPRESSION_INC = -I/usr/local/wpsinclude

FFLAGS = -ffree-form -cpp -O -f convert=big-endian -frecord-marker=4

F77FLAGS = -ffixed-form -cpp -O -fconvert=big-endian -frecord-marker=4

保存退出。

③ 編譯：

compile>&wpscompile.log

檢查log文件，看是否沒有錯誤提示。一般來說，如果生成了geogrid.exe,ungrib.exe,metgrib.exe文件，就表示安裝成功。

ARWpost安裝：

./configure

選擇gfortran編譯器：

修改配置文件：

vi configure.arwp

FFLAGS = -ffree-form -cpp -O -fno-second-underscore -fconvert=big-endian -frecord-marker=4

F77FLAGS =-ffixed-form -cpp -O-fno-second-underscore -fconvert=big-endian

保存退出。

修改makefile(netcdf4.0.1之前的版本無需做此項，因為這些版本沒有netcdff庫)。

vi src/Makefile

修改：

ARWpost.exe: (OBJS)

(FC) (FFLAGS) (LDFLAGS) -o @ (OBJS) 〗 -L(NETCDF)/lib-I(NETCDF)/include -lnetcdf -lnetcdff

編譯 ./compile>&arwpcompile.log。

如果生成了ARWpost.exe，則表示安裝成功。

3 實驗步驟

3.1 把GFS數(shù)據(jù)做水平插值

(1) 將gfs數(shù)據(jù)鏈接到WPS目錄下：

[huangjq@mu01 WPS] ./link_grib.csh /data/home/huangjq/dingnan/gfsdata/gfs.t*

(2) 下載geog(地圖數(shù)據(jù))，link到WPS根目錄(注意WRF最近更新了Vtable腳本，用新數(shù)據(jù)必須用新腳本)：

[huangjq@mu01 WPS] ln -s ungrib/Variable_Tables/Vtable.GFS Vtable

(3) 修改namelist.wps文件，修改起始時間，以及geog數(shù)據(jù)目錄。

(4) 對GRIB氣象數(shù)據(jù)進行解壓：

[huangjq@mu01 WPS]./ungrib.exe

(5) 建立靜態(tài)的地面數(shù)據(jù)：

[huangjq@mu01 WPS] ./geogrid.exe

(6) 把氣象數(shù)據(jù)水平插入模式領(lǐng)域內(nèi)：

[huangjq@mu01 WPS] ./metgrid.exe

3.2 運行WRF主模塊

(1) 將生成的met_em.d01.2015-03-* .等文件連接到WRFV3目錄下：

[huangjq@mu01em_real]ln-s/home/wrf/WPS/met_em.d01.2015-03-* .

[huangjq@mu01em_real] ln-s/home/wrf/WPS/met_em.d02.2015-03-* .

(2) 修改namelist.input文件，修改起始日期，配置參數(shù)。

(3) 運行real.exe (運行成功的話，那么查看rsl.out文件，會顯示成功字樣)。

[huangjq@mu01 em_real] ./real.exe

(4) 運行wrf.exe文件，跑完之后會生成wrfout_d01_2015-03-10_00:00:00文件。

[huangjq@mu01 em_real] ./wrf.exe

3.3 后處理模塊ARWpost

(1) 將生成的wrfout文件連接至ARWpost目錄下：

[huangjq@mu01ARWpost]In-s/data/home/huangjq/dingnan/WRFV3.3/test/em_real/wrfout_d01_2015-03-10_00:00:00

修改namelist.ARWpost文件，修改起始日期。

(2) 運行ARWpost.exe。

[huangjq@mu01 ARWpost]./ARWpost.exe，運行成功，會生成test.ctl和test.dat

4 結(jié) 語

青海大學高性能平臺與WRF環(huán)境的建設，將與青海省氣象所合作，開展現(xiàn)代氣象業(yè)務以及預報預測新資料、新方法、新技術(shù)的相關(guān)實驗，實現(xiàn)天氣氣候與環(huán)境預報、預測、預估等實驗教學，提高培訓能力和培訓水平，從而能夠全方位、高水平地承擔在校生專業(yè)與業(yè)務的實驗教學，并面向全省需求設置實驗課程，為地方氣象局開展業(yè)務培訓，向全省開放短期氣象預報培訓，深化氣象領(lǐng)域服務，努力使科研成果轉(zhuǎn)化為實驗教學資源，拓展在環(huán)境、氣象、農(nóng)業(yè)等交叉領(lǐng)域的服務[10-15]實驗教學體系，創(chuàng)新實驗教學內(nèi)容，在探索與實踐中不斷完善和修正，為培養(yǎng)更多的高素質(zhì)復合型人才作出更大貢獻。

[1] 林新華.走出高性能計算中心的建設誤區(qū)[J]:中國教育網(wǎng)絡,2009(5):42-43.

[2] 姚繼鋒.什么成就了超算中心[J].中國教育網(wǎng)絡,2010(6):18-20.

[3] 教育部高等教育司．關(guān)于開展“十二五”高等學校實驗教學示范中心建設工作的通知[EB-OL].(2012-03-15).http://moe.edu.cn/publicfiles/business/htmlfiles/moe/A08_sjhj/201203/133068.html.

[4] 教育部高等教育司．關(guān)于進一步開展“十二五”高等學校實驗教學示范中心建設工作的通知[EB-OL].(2012-12-03).http://moe.edu.cn/publicfiles/business/htmlfiles/moe/s7065/201301/146655.html.

[5] 伍華平,束 炯,顧 瑩.暴雨模擬中積云對流參數(shù)化方案的對比試驗[J].熱帶氣象學報，2009，25( 2) : 175 -180.

[6] 周 鵬,常 蘭,李 鵬,等.WRF模式在南京數(shù)值天氣預報中的應用[J].氣象科學,2011,31( 5) : 598-603.

[7] 關(guān)偉豪,吳汝明,郭清順,等.中山大學高性能計算服務平臺的建設[J].實驗技術(shù)與管理,2011,28(4):303-306.

[8] 林 皎,陳玉潔,張武生,等.高性能計算平臺建設的探索與實踐[J].實驗技術(shù)與管理,2012, 29(5):217-220.

[9] 黃建強，孟永偉，曹騰飛，等. 青海大學三江源數(shù)據(jù)分析中心高性能計算集群的構(gòu)建與設備管理[J].實驗技術(shù)與管理,2014, 31(12):237-241.

[10] 許家瑞,周 勤,陳步云,等.構(gòu)建創(chuàng)新實驗教學體系的探索與實踐[J].實驗技術(shù)與管理,2009,26(5):1-4.

[11] 程永揚,王 為,李小昱,等.構(gòu)建立體化的創(chuàng)新性實驗教學體系與模式[J].實驗室研究與探索，2008,27(7):102-104,152.

[12] 王會軍,徐永福,周天軍,等．大氣科學：一個充滿活力的前沿科學[J]．地球科學進展,2004,19(4):525-532.

[13] 姚菊香,華興夏,吳立保,等.大氣科學與環(huán)境氣象實驗教學中心的改革實踐[J].實驗技術(shù)與管理,2015, 32(2): 163-166.

[14] 張大林.大氣科學的世紀進展與未來展望[J].氣象學報,2005,63(5):812-824.

[15] 程 媛,黃建忠,游維濤,等.高性能計算實驗室創(chuàng)新實踐型人才培養(yǎng)[J].計算機教育,2014(10):83-89.

Teaching Reform Based on High Performance Computing Platform and WRF Environment Experiment

HUANGJian-qiang,WULi,CAOTeng-fei,MENGYong-wei,WANGXiao-ying

(Department of Computer Technology and Application, Qinghai University, Xining 810016, China)

Three-River Source Data Analysis Center, Qinghai University, holds a high-performance computing cluster system, which consists of 128 nodes, and it can reach to the peak computing speed of 1.331 trillion times/s. On this basis, by expanding 12 Inspur nodes, it can reach to the peak computing speed of 5.2 trillion times/s, and storage reaches 20TB. We set up the experimental environment of weather forecast model WRF in the Inspur cluster system which can provide numerical calculation environments for Qinghai Province Meteorological Institute, at the same time, for our school, it can train interdisciplinary graduate students teaching environment, and develop a new model of interdisciplinary teaching.

high-performance computing; WRF environment construction; experimental teaching

2015-07-20

青海省應用基礎(chǔ)研究基金項目(2014-ZJ-718);青海大學中青年基金項目(2013-QGY-10); 青海大學中青年基金項目(2014-QGY-23)

黃建強(1985-),男,陜西西安人,碩士,講師,研究方向為高性能計算、視頻分析。

Tel.:15509789239; E-mail：hjqxaly@163.com

TP 393

A

1006-7167(2016)02-0094-04