陳 煜，王樹偉，林 林，劉 穎

（中國水利水電科學研究院 信息中心，北京 100038）

全國山洪災害防治管理平臺建設中的若干關鍵技術研究與實踐

陳 煜，王樹偉，林 林，劉 穎

（中國水利水電科學研究院 信息中心，北京 100038）

全國山洪災害防治管理平臺是承載全國范圍山洪災害調查評價數(shù)據(jù)采集、審核、匯集、監(jiān)測、預警和信息管理服務等重要任務的專業(yè)信息處理平臺。本文結合全國山洪災害防治管理平臺建設實踐，論述了高性能計算、高可靠性存儲、云計算和氟冷一體化機柜等關鍵技術的研究與應用，并結合IT新技術和新產品的集成應用實踐，提出了實用、經濟和環(huán)保的大型水利專業(yè)信息化云端平臺建設一體化解決方案。

山洪災害；并行計算；云計算；氟冷一體化機柜；管理平臺

1 研究背景

全國山洪災害防治管理平臺是承載全國范圍山洪災害調查評價數(shù)據(jù)采集、審核、匯集、監(jiān)測、預警和信息管理服務等重要任務的專業(yè)信息處理平臺。該平臺的建設在充分利用建設單位現(xiàn)有信息化資源和技術優(yōu)勢的基礎上運用了大量計算機科學界的新技術，以資源整合和信息共享為核心手段，集成建立具有高性能計算、高可靠性存貯、綜合信息服務和高速安全信息交換功能的專業(yè)信息處理平臺，支持匯集全國各省區(qū)山洪災害調查評價成果，形成國家級山洪災害調查評價數(shù)據(jù)庫和山洪災害監(jiān)測預警信息管理服務系統(tǒng)，建立與水文、氣象、國土部門信息交換和知識共享渠道，管理全國山洪災害監(jiān)測預警信息，進行山洪災害風險評估、趨勢分析與預報，提供山洪災害預警信息宏觀服務，為國家防總和其他政府部門防災決策提供技術支撐，為社會公眾提供山洪災害防御信息服務。

全國山洪災害防治管理平臺建設工作包括中央本級和地方各級分布式信息管理平臺的硬件平臺、信息系統(tǒng)和專業(yè)軟件等建設內容。其中，中央本級硬件平臺建設任務為全國山洪災害防治提供高效、便捷、安全、可靠的中央級專業(yè)信息平臺運行環(huán)境。本文僅針對中央本級硬件平臺建設過程中涉及的高性能計算、高可靠性存儲、云計算、氟冷一體化系統(tǒng)及其整體平臺架構等關鍵技術問題的研究與應用進行討論。

2 平臺總體架構

全國山洪災害防治管理平臺（中央本級）主要由高性能科學計算集群（HPCC）、高可靠性數(shù)據(jù)存儲集群（HASC）、山洪災害防治信息服務系統(tǒng)（ISCS）、高速光纖信息交換網(wǎng)絡系統(tǒng)（HFNS）、安全無線網(wǎng)絡接入系統(tǒng)（SWLS）、計算機機房改造及其配套設施完善等內容，為全國山洪災害防治提供高效、便捷、安全、可靠的中央級專業(yè)信息平臺運行環(huán)境。平臺總體架構如圖1所示。

HPCC提供高速度、高精度、大容量并行計算能力，支持山洪災害預測、預報和預警處理過程中的各種計算密集型應用；HASC提供高可靠性快速讀寫大吞吐量存儲能力，支持全國山洪災害調查評價數(shù)據(jù)匯集和存儲管理應用；ISCS提供基于云計算的虛擬化信息服務能力，支持全國山洪災害調查評價數(shù)據(jù)采集、審核、匯集、監(jiān)測、預警等專業(yè)信息服務應用；HFNS和SWLS提供雙信道高速、寬帶、安全網(wǎng)絡通信傳輸能力，支持全國山洪災害防治管理平臺的數(shù)據(jù)交換與信息共享；計算機機房改造及其配套設施完善提供基于第IV代制冷技術的氟冷一體化機柜、不間斷電力供應和機房運維自動監(jiān)控能力，支持全國山洪災害防治管理平臺的正常運行。

圖1 全國山洪災害防治管理平臺總體架構

3 關鍵技術研究與應用

3.1 高性能計算 高性能計算（High performance computing，HPC）是指使用多個處理器或多臺計算機的計算系統(tǒng)及其環(huán)境［1］。大多數(shù)基于集群的HPC系統(tǒng)使用高性能網(wǎng)絡互連（例如InfiniBand、Myrinet等），常用簡單的總線拓撲結構組織高性能網(wǎng)絡拓撲，網(wǎng)狀網(wǎng)能夠改善高性能網(wǎng)絡效能及數(shù)據(jù)傳輸速率，實現(xiàn)更高的網(wǎng)絡性能。

山洪災害防治管理需要實時處理大量山洪災害調查評價數(shù)據(jù)，進行動態(tài)建模、精細計算和仿真分析。該平臺采用刀片架構建立并行計算集群，是性價比較為優(yōu)越的有效解決方案之一，支持山洪災害預測、預報和預警過程中各種計算密集型應用業(yè)務的高性能科學計算。

全國山洪災害防治管理平臺的高性能科學計算集群系統(tǒng)架構見圖2，集群配置我國自主知識產權的曙光TC6400H刀箱架構平臺，64臺雙路刀片服務器作為集群并行計算節(jié)點，每個刀片服務器配置2顆Intel Xeon E5-2620 v2處理器（6核心，主頻2.1GHz），8×8GB DDR3 1600MHz ECC REG四通道內存，2個千兆以太網(wǎng)接口，1個56Gb FDR InfiniBand網(wǎng)絡接口，1塊300GB SAS硬盤。集群支持Linux和Windows操作系統(tǒng)，提供Fortran、C、C++語言編程環(huán)境和MPI、OpenMP并行計算程序庫。集成后的計算集群整體為64個計算節(jié)點、128個CPU、768核、4TG內存，雙精度浮點計算峰值能力達到12.9萬億次/s，能夠滿足全國山洪災害防治管理平臺的計算密集型應用需求。

3.2 高可靠性存儲 全國山洪災害防治管理平臺需要面向全國，實時處理和存儲管理大量山洪災害調查評價數(shù)據(jù)，大容量、快速存取和高可靠性是對山洪災害防治管理數(shù)據(jù)存儲應用的關鍵需求。充分利用傳統(tǒng)網(wǎng)絡存儲技術（Network Storage Technologies）和現(xiàn)代并行存儲（PDS：distributed Parallel Da-ta Storage Technology）技術，建立高可靠性存儲集群，支持山洪災害數(shù)據(jù)存儲管理和大數(shù)據(jù)處理應用業(yè)務。

圖2 高性能計算集群系統(tǒng)架構

傳統(tǒng)網(wǎng)絡存儲大致可分為3種結構：（1）直連式存儲（DAS：Direct Attached Storage）；（2）網(wǎng)絡存儲設備（NAS：Network Attached Storage）；（3）存儲網(wǎng)絡（SAN：Storage Area Network）［2］。隨著信息技術的發(fā)展及其應用普及，數(shù)據(jù)爆炸性增長，PB規(guī)模的非結構化數(shù)據(jù)越來越常見，針對海量非結構化數(shù)據(jù)處理的密集型I/O及海量并發(fā)訪問需求的PDS技術應運而生，并逐漸成為代表存儲技術、網(wǎng)絡通信技術以及數(shù)據(jù)管理技術集成發(fā)展方向的新型存儲體系架構。

全國山洪災害防治管理平臺節(jié)點級存儲（包括計算節(jié)點、管理節(jié)點、業(yè)務邏輯節(jié)點等）采用DAS技術，結構化數(shù)據(jù)存儲采用NAS技術，數(shù)據(jù)匯總和容錯/容災處理采用SAN技術，非結構化數(shù)據(jù)存儲和高性能計算、流式計算過程中的數(shù)據(jù)存儲采用PDS技術。

全國山洪災害防治管理平臺的NAS存儲集群系統(tǒng)架構見圖3，包括我國自主知識產權的曙光DS900 NAS盤陣列3臺，配置6個DS900-G10控制器和72GB一級Cache，對外提供12個10Gb、12個1Gb IP主機接口以及12個4Gb FC主機接口（其中12個10Gb以及12個1Gb IP可分別接入2個數(shù)據(jù)網(wǎng)絡的以太網(wǎng)交換機，組成冗余數(shù)據(jù)訪問鏈路，為上層計算節(jié)點提供NAS存儲服務），提供NFS和CIFS兩種NAS存儲訪問協(xié)議，共配置6套滿配24塊7200RPM 4TB SATA硬盤擴展柜，可對外提供504TB裸容量的數(shù)據(jù)存儲空間。

并行存儲系統(tǒng)由索引控制器、數(shù)據(jù)控制器、管理控制器和應用服務器客戶端等組成。其中，索引控制器用于管理存儲系統(tǒng)的所有索引數(shù)據(jù)和命名空間，對外提供單一的全局映像。數(shù)據(jù)控制器用于提供數(shù)據(jù)存儲空間，并實現(xiàn)支持多個副本文件的并行存取。管理控制器提供統(tǒng)一的控制管理界面，管理員通過該節(jié)點管理整個存儲系統(tǒng)。應用服務器客戶端向上層應用提供數(shù)據(jù)訪問接口。

圖3 NAS存儲集群系統(tǒng)架構

圖4 并行存儲系統(tǒng)架構

全國山洪災害防治管理平臺的并行存儲系統(tǒng)（架構見圖4）采用固態(tài)硬盤（SSD）+串行連接SCSI（SAS）硬盤分級存儲結構的ParaStor200存儲系統(tǒng)，設計裸容量為56.88TB，聚合帶寬為不低于3GB/s；采用SSD和SAS磁盤相結合的優(yōu)勢在于熱點數(shù)據(jù)優(yōu)先存放在SSD分區(qū)，冷數(shù)據(jù)自動遷移到SAS分區(qū)，熱數(shù)據(jù)可以回遷（數(shù)據(jù)遷移策略、綜合數(shù)據(jù)訪問頻率、文件大小等遷移策略均可干預和定制），數(shù)據(jù)遷移過程在SSD和SAS磁盤之間以數(shù)據(jù)塊級別并發(fā)實現(xiàn)，速度快且對存儲性能影響較小，整個數(shù)據(jù)遷移過程自動。

3.3 云計算 云計算是基于互聯(lián)網(wǎng)的、大眾參與的、以服務形式提供的計算模式，其目的是資源分享與整合，其計算資源是動態(tài)、可伸縮、且被虛擬化的［3］。云計算的技術特征是：彈性、透明、積木化、通用、動態(tài)、多租賃和大用戶、大數(shù)據(jù)、大系統(tǒng)。云計算既是商業(yè)模式又是技術模式。云服務是商業(yè)模式，云計算平臺是技術模式。云服務也可以通過傳統(tǒng)技術提供，云平臺技術也可以支持傳統(tǒng)應用。云平臺技術與云服務相結合是最理想的云計算，也是云計算的發(fā)展趨勢。

云計算采用虛擬化技術和云服務理念實現(xiàn)計算資源的動態(tài)配置和可伸縮，從而能夠有效避免信息化應用項目按高標準配置建設造成投入運行初期大量資源閑置而形成的投資浪費，以及按低標準配置建設隨著運行周期的延長和應用推廣的深入而需要不斷增加投入擴大建設規(guī)模和提升系統(tǒng)性能，導致反復重構系統(tǒng)而形成的浪費和麻煩［4］。

全國山洪災害防治管理平臺建設，考慮到隨著山洪災害調查評價數(shù)據(jù)的不斷豐富和山洪災害監(jiān)測、預警和信息服務應用不斷發(fā)展，會對平臺的計算資源、存儲資源和網(wǎng)絡資源不斷提出越來越高的新要求，基于虛擬化技術搭建全國山洪災害防治管理信息服務云平臺，可以為國家級山洪災害調查評價數(shù)據(jù)審核匯集和山洪災害監(jiān)測預警信息管理及服務應用提供高效、穩(wěn)定、可靠，并具有可擴展、靈活管理和架構開放等特點的運行環(huán)境。

全國山洪災害防治管理平臺的應用服務和數(shù)據(jù)服務區(qū)系統(tǒng)架構見圖5，采用虛擬化技術配置6臺物理服務器作為公用計算資源池，模擬成多臺邏輯服務器，分別部署國家級山洪災害調查評價數(shù)據(jù)審核匯集系統(tǒng)、國家級山洪災害監(jiān)測預警信息管理及服務系統(tǒng)，并為以后的計算資源動態(tài)擴展提供基礎；配置4臺物理機搭建數(shù)據(jù)庫服務器RAC實時應用集群，提供數(shù)據(jù)存儲管理功能；配置2臺服務器作為ArcGIS應用服務器，提供地圖應用服務；配置2臺物理服務器用作虛擬化控制服務器，確保虛擬化系統(tǒng)的可控性、可靠性和可監(jiān)控性；配置12盤位的存儲設備和雙控制器，通過雙光纖交換機將應用物理服務器、ArcGIS服務器和數(shù)據(jù)庫服務器等進行連接，實現(xiàn)數(shù)據(jù)存儲的集群和冗余，提供負載均衡及災備。

圖5 全國山洪災害防治管理平臺云計算系統(tǒng)架構

虛擬化系統(tǒng)物理服務器集群配置我國自主知識產權的浪潮NF8460M 3服務器產品6臺，采用Xenserver 6.2進行虛擬化管理；數(shù)據(jù)庫服務器集群配置我國自主知識產權的浪潮NF8420M3服務器產品4臺，數(shù)據(jù)庫管理系統(tǒng)采用Oracle Database Enterprise Edition 11G附加Oracle Real Application Cluster 11G；地理信息系統(tǒng)服務器集群配置我國自主知識產權的浪潮NF8420M 3服務器產品2臺，地理信息管理系統(tǒng)采用ESRI ArcGIS 10.2 for server、ArcGIS 10.2 for Desktop、ArcGIS 10.2 Engine。虛擬化10臺虛擬服務器，分別用于以下運行：（1）山洪災害分析評價軟件；（2）數(shù)據(jù)分析軟件&文檔實時協(xié)同編輯系統(tǒng)；（3）山洪災害調查過程質量控制軟件；（4）Java應用服務器軟件&監(jiān)測預警系統(tǒng)；（5）審核匯集系統(tǒng)；（6）山洪模擬系統(tǒng)；（7）審核匯集客戶端；（8）數(shù)據(jù)同步軟件；（9）數(shù)據(jù)分析軟件；（10）文檔實時協(xié)同編輯系統(tǒng)。

3.4 氟冷一體化機柜系統(tǒng) 全中山洪災害防治管理平臺采用機柜排級（Row Level）技術特點的氟冷一體化機柜系統(tǒng)，保障平臺核心設備和關鍵系統(tǒng)的安全運行。

氟冷一體化機柜系統(tǒng)突破傳統(tǒng)空調開放式送風和地板下送風的冷池制冷方法，采用密封氣流水平送風模式，列間空調采用水平風幕高壓送風，以25～27℃定點將冷空氣直接送入機柜，縮短了空氣的循環(huán)路徑，提高了回風溫度，極大地提高了運行效率，滿足高密度機房制冷需求［5］。列間空調裝配采用數(shù)字化無刷直流外轉子電機的離心式風機（EC風機），氣流分布均勻，送風更精準。風機可獨立控制，維修時不影響其它EC風機工作。在智能化的基礎上，采用靈活的接管方式，上、下兩種方式均可選擇，配備進口二通或三通比例水調節(jié)閥，根據(jù)負荷需要自動調節(jié)制冷量，溫控精度更高，節(jié)能效果顯著。氟冷一體化機柜系統(tǒng)以熱通道封閉為基礎，通過機柜內部服務器自身風機的循環(huán)，省去了空調系統(tǒng)的室內循環(huán)風機，降低了空調系統(tǒng)功耗，提高了空調運行效率，可以大幅度降低數(shù)據(jù)中心電源使用效率（PUE：Power Usage Effectiveness）。配置氟泵節(jié)能模塊，在低溫季節(jié)以氟泵運行代替壓縮機制冷運行，極大地降低了空調功耗。鋁鎂合金機柜帶有制冷、監(jiān)控、布線、配電和防雷等各個子系統(tǒng)，全封閉式系統(tǒng)節(jié)能、環(huán)保、穩(wěn)定、可靠。

4 結論

全國山洪災害防治管理平臺是承載全國范圍山洪災害調查評價數(shù)據(jù)采集、審核、匯集、監(jiān)測、預警和信息管理服務等重要任務的專業(yè)信息處理平臺。該平臺在建設過程中深入研究并采用了高性能計算、高可靠性存儲、云計算和氟冷一體化機柜系統(tǒng)等關鍵技術，成功實踐了實用、經濟、環(huán)保的大型水利專業(yè)信息化云端平臺建設一體化解決方案，為全國山洪災害防治提供高效、可靠、安全的信息化運行資源環(huán)境。建設成果具有下列突出優(yōu)點。

（1）高性能計算集群。采用多并發(fā)鏈接轉換線纜技術（InfiniBand）網(wǎng)絡集成64個計算節(jié)點，共計128個CPU、768核、4TB內存，實測運算能力達到浮點雙精度計算12.26萬億次/s，是目前全國水利系統(tǒng)計算速度最快和計算能力最強的高性能計算平臺。

（2）高可靠性存儲集群。利用傳統(tǒng)網(wǎng)絡存儲技術（NST）和現(xiàn)代并行存儲技術（PDST）建立高可靠性存儲集群，配置PDS和NAS分級存儲器，提供504TB+56.88TB（裸容量）的數(shù)據(jù)存儲空間，并配置后備磁帶庫和數(shù)據(jù)自動備份恢復系統(tǒng)確保高可靠性。

（3）虛擬化服務器集群。采用虛擬化技術建立動態(tài)可伸縮的服務器資源池，為應用平臺提供靈活的虛擬服務器配置，分別部署國家級山洪災害調查評價數(shù)據(jù)審核匯集系統(tǒng)、山洪災害監(jiān)測預警信息管理及服務系統(tǒng)，并為后續(xù)的計算資源擴展建立技術基礎和管理基礎。

（4）氟冷一體化機柜系統(tǒng)。采用新一代機柜排內循環(huán)制冷，有效解決高密度制冷瓶頸，降低機房PUE值，節(jié)能降耗，降低對機房環(huán)境的依賴，具有高制冷能力、高可用性和節(jié)能環(huán)保等特點。

這一系列新技術及系統(tǒng)集成后構成的一體化解決方案，體現(xiàn)了多層次的技術創(chuàng)新和模式創(chuàng)新，對于水利專業(yè)大型信息化平臺及其運行環(huán)境建設，具有重要參考價值。

［1］ （德）Georg Hager Gerhard Wellein.高性能科學計算與工程計算［M］.北京：機械工業(yè)出版社，2013.

［2］ 劉鵬，等.中國云存儲發(fā)展報告［M］.北京：電子工業(yè)出版社，2013.

［3］ 吳基傳，等.云計算技術發(fā)展報告［M］.第三版.北京：科學出版社，2013.

［4］ 廣小明，等.虛擬化技術原理與實現(xiàn)［M］.北京：電子工業(yè)出版社，2012.

［5］ （美）Douglas Alger.數(shù)據(jù)中心經典案例賞析［M］.北京：人民郵電出版社，2014.

The Research and practice of key techniques used in constructing management platform of national mountain torrent disaster prevention

CHEN Yu，WANG Shuwei，LIN Lin，LIU Ying
（Information center of China Institute of Water Resources and Hydropower Research，Beijing 100038，China）

The national mountain torrent disaster prevention management platform is a professional information processing platform.It has many important functions，such as nationwide mountain torrent disaster investigation and evaluation；data collecting，examining and verifying，marshalling，monitoring and early warning；information management service.Based on the practice of building the nationwide mountain torrent disaster prevention platform，this thesis expounds the research and practice of key techniques used in high performance computing；high reliability storage；cloud computing；fluorine cold integrated cabinet.Also on the basis of the new IT techniques，and practice of the integrated application of new products，it proposes a practical，economical and environmental protective eproject which can construct a huge water resource information integrated cloud platform.

mountain torrent disaster；parallel computing；cloud computing；fluorine coldintegrated cabinet；management platfrom

P337

A

10.13244/j.cnki.jiwhr.2016.01.006

1672-3031（2016）01-0036-06

（責任編輯：王成麗）

2015-10-29

中國水利水電科學研究院專項（IT0145C01201500000）

陳煜（1968-），男，北京人，本科，高級工程師，主要從事計算機科學、軟件開發(fā)、網(wǎng)絡工程和水利信息化技術的研究。E-mail：chenyu@iwhr.com