游偉倩 盛樂標(biāo) 周慶林 張予倩

摘要：該文詳細(xì)闡述了南京大學(xué)高性能計(jì)算中心兩套集群存儲(chǔ)系統(tǒng)的搭建方式。通過兩套存儲(chǔ)系統(tǒng)的測(cè)試結(jié)果對(duì)比，指出兩類存儲(chǔ)系統(tǒng)的各自的優(yōu)缺點(diǎn)。通過兩套集群的Linpack測(cè)試結(jié)果對(duì)比，指出存儲(chǔ)系統(tǒng)的選擇在集群搭建過程中的重要性。

關(guān)鍵詞：高性能計(jì)算；存儲(chǔ)系統(tǒng)；存儲(chǔ)性能測(cè)試；Linpack測(cè)試

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）09-0022-02

高性能計(jì)算（High Performance Computing， HPC）主要致力于開發(fā)超級(jí)計(jì)算機(jī)，提高并行計(jì)算效率。高性能計(jì)算集群主要用于處理復(fù)雜的科學(xué)計(jì)算問題。近些年，高性能計(jì)算發(fā)展非常迅速[1]，高性能計(jì)算應(yīng)用的領(lǐng)域越來越寬廣[2]，伴隨著高性能計(jì)算需求越來越多，各地的高性能計(jì)算機(jī)群也應(yīng)運(yùn)而生[3]。南京大學(xué)高性能計(jì)算中心自2010年成立以來，先后搭建了兩套高性能計(jì)算集群系統(tǒng)。第一套為IBM刀片集群系統(tǒng)，于2009年建成，集群總計(jì)算節(jié)點(diǎn)有402個(gè)，總計(jì)3216個(gè)核。由于這套設(shè)備不足以滿足校內(nèi)科研用戶的計(jì)算需求。2015年12月，南京大學(xué)再次投資5000萬，建設(shè)了一套聯(lián)想Flex集群，F(xiàn)lex集群總計(jì)算節(jié)點(diǎn)為910個(gè)，總CPU計(jì)算能力達(dá)873Tflops。可以滿足大規(guī)?？茖W(xué)計(jì)算需求。眾所周知，集群建設(shè)過程中一個(gè)很很關(guān)鍵的部分是存儲(chǔ)系統(tǒng)的選擇，南京大學(xué)高性能計(jì)算中心在建設(shè)IBM集群和Flex集群過程中，也是將存儲(chǔ)系統(tǒng)的選擇作為重中之重。本文將詳細(xì)闡述本中心兩套集群存儲(chǔ)系統(tǒng)的搭建方式，以及最終達(dá)到的效果。給出IBM集群多年的運(yùn)行過程中存儲(chǔ)系統(tǒng)優(yōu)越性以及不足，最后對(duì)兩種存儲(chǔ)系統(tǒng)測(cè)試結(jié)果做一對(duì)比，最終證明南京大學(xué)高性能計(jì)算中心存儲(chǔ)系統(tǒng)選擇的正確性以及高效性。

1 IBM集群存儲(chǔ)系統(tǒng)

IBM刀片集群平臺(tái)由402個(gè)雙路四核的IBM BladeCenter HS22刀片服務(wù)器組成，通過高速Infiniband網(wǎng)絡(luò)連接。集群包括10臺(tái)IBM HS22登錄節(jié)點(diǎn)，1臺(tái)IBM X3550服務(wù)器管理節(jié)點(diǎn)，3臺(tái)IBM機(jī)架式X3650 M2服務(wù)器構(gòu)成3個(gè)作業(yè)調(diào)度節(jié)點(diǎn)，402臺(tái)IBM HS22刀片構(gòu)成402個(gè)計(jì)算節(jié)點(diǎn)，共3216個(gè)CPU核。兩臺(tái)Voltaire 288口 20Gb 4X Infiniband交換機(jī)組成準(zhǔn)全線速無阻塞并行計(jì)算網(wǎng)絡(luò)；四臺(tái)4口萬兆上行48口BNT公司的千兆交換機(jī)組成千兆無阻塞作業(yè)調(diào)度系統(tǒng)和管理網(wǎng)絡(luò)。集群存儲(chǔ)系統(tǒng)共有兩套，分別是專用存儲(chǔ)系統(tǒng)和并行文件存儲(chǔ)系統(tǒng)，下面將著重介紹這兩套存儲(chǔ)系統(tǒng)。

專用存儲(chǔ)系統(tǒng)：1臺(tái)IBM DS5300 SAN架構(gòu)光纖共享存儲(chǔ)系統(tǒng)，雙控制器，16GB共享緩存，16個(gè)4Gb光纖主機(jī)接口，16個(gè)對(duì)內(nèi)擴(kuò)展柜接口，16分區(qū)支持，每磁盤擴(kuò)展柜配置16塊1TB 7200轉(zhuǎn)SATA盤，共計(jì)容量128TB， 實(shí)測(cè)存儲(chǔ)連續(xù)讀寫帶寬大于2.1GB/s。

并行文件存儲(chǔ)系統(tǒng)：20臺(tái)IBM X3650服務(wù)器構(gòu)成20個(gè)并行存儲(chǔ)節(jié)點(diǎn)，每節(jié)點(diǎn)配置兩塊Intel Xeon E5430 CPU， 32GB 內(nèi)存，20Gb IB HCA 卡，6塊450GB 15000轉(zhuǎn)/分SAS盤，組成總?cè)萘?4TB并行計(jì)算存儲(chǔ)系統(tǒng)，文件系統(tǒng)采用IBM的GPFS文件系統(tǒng)， 實(shí)測(cè)存儲(chǔ)連續(xù)讀寫總帶寬大于6.2GB/秒。IBM集群的總體框架圖見圖1。

該套系統(tǒng)在2009年10月份的Linpack測(cè)試中，取得了并行效率91.92%的佳績(jī)，Linpack實(shí)際計(jì)算能力達(dá)到了31.3萬億次/秒。

之所以選擇這兩種存儲(chǔ)搭建方式，是因?yàn)槎嗯_(tái)服務(wù)器構(gòu)成的并行文件系統(tǒng)有一個(gè)不足之處，若其中某一臺(tái)服務(wù)器出現(xiàn)故障或者宕機(jī)，整個(gè)文件系統(tǒng)將無法正常使用，因此在穩(wěn)定性方面存在一定劣勢(shì)?；谶@個(gè)原因，我們采用了一臺(tái)IBM DS5300光纖共享存儲(chǔ)設(shè)備，建立了一個(gè)專用存儲(chǔ)系統(tǒng)作為用戶家目錄，當(dāng)并行存儲(chǔ)系統(tǒng)出現(xiàn)故障的時(shí)候，家目錄系統(tǒng)依然可以正常使用。事實(shí)證明：IBM集群自2010年投入運(yùn)行一直到2017年停止使用，DS5300光纖共享存儲(chǔ)系統(tǒng)未出現(xiàn)過一次故障，穩(wěn)定性非常高。同時(shí)，并行存儲(chǔ)系統(tǒng)的由于讀寫帶寬速度快，在IBM集群運(yùn)行前期發(fā)揮了重要作用。但是集群使用到后期（2015年至2017年），并行存儲(chǔ)系統(tǒng)經(jīng)常出現(xiàn)故障，穩(wěn)定性相對(duì)要低一些。

2 Flex集群存儲(chǔ)系統(tǒng)

聯(lián)想Flex集群平臺(tái)配置一臺(tái)x3650 M5管理節(jié)點(diǎn)；三臺(tái)x3650 M5的作業(yè)調(diào)度節(jié)點(diǎn)，采用Platform LSF作業(yè)調(diào)度系統(tǒng)。4個(gè)Lenovo Flex x240 M5登錄節(jié)點(diǎn)，負(fù)責(zé)所有用戶登錄集群以及提交作業(yè)使用?？傆?jì)910臺(tái)System Flex X240M計(jì)算節(jié)點(diǎn)，共21840個(gè)CPU核， 4臺(tái)Lenovo System X3650M5 GPU節(jié)點(diǎn)。兩臺(tái)MellanoxSX6536 56Gb/s IB 交換機(jī)。兩臺(tái)G7052千兆交換機(jī)，主要用于硬件管理。兩臺(tái)G8272萬兆交換機(jī)，主要用于作業(yè)調(diào)度網(wǎng)絡(luò)。兩套存儲(chǔ)系統(tǒng)如下：

存儲(chǔ)系統(tǒng)一為一臺(tái)IBM ESS GL6高端存儲(chǔ)，雙控制器，256G緩存，12個(gè)56G FDR主機(jī)接口，裸容量為2P，實(shí)測(cè)存儲(chǔ)連續(xù)讀寫帶寬18.9GB/s。

存儲(chǔ)系統(tǒng)二為SSD并行存儲(chǔ)，由16臺(tái)System X3650M5服務(wù)器裸容量為1P的SSD硬盤存儲(chǔ)組成。每臺(tái)服務(wù)器配置2顆Intel E5-2680v3， 256GB內(nèi)存，2塊480GB SSD硬盤，M5210 SAS RAID卡，實(shí)測(cè)存儲(chǔ)連續(xù)讀寫帶寬80.4GB/s。

Flex集群的總體框架圖見圖2。

iozone是一個(gè)文件系統(tǒng)的benchmark工具，可以測(cè)試不同的操作系統(tǒng)中文件系統(tǒng)的讀寫性能。Flex集群ESS存儲(chǔ)聚合帶寬性能測(cè)試結(jié)果如表1：?jiǎn)挝唬海℅B/s）

同SSD性能測(cè)試一樣，ssd存儲(chǔ)存儲(chǔ)聚合帶寬性能測(cè)試結(jié)果如表2，15臺(tái)IO server測(cè)試結(jié)果如下：?jiǎn)挝唬海℅B/s）

由上述測(cè)試結(jié)果可見：ESS存儲(chǔ)系統(tǒng)IO讀寫速度大于等于18GB/s， SSD并行存儲(chǔ)IO讀寫速度大于等于80GB/s，存儲(chǔ)系統(tǒng)讀寫速度非常高。

Flex集群在2016年12月份的Linpack測(cè)試忠并行效率為79.62%，Linpack實(shí)際計(jì)算能力達(dá)到了687.1萬億次/秒。眾所周知， 由于在超大規(guī)模集群系統(tǒng)中， 存儲(chǔ)的IO性能是整個(gè)計(jì)算系統(tǒng)的最大瓶頸， 而我們這兩套存儲(chǔ)系統(tǒng)不論在存儲(chǔ)容量上和IO讀寫帶寬上都達(dá)到了很高的標(biāo)準(zhǔn)， 為整個(gè)系統(tǒng)安全、可靠、高效的運(yùn)行提供了強(qiáng)有力的保障。

3 IBM集群和Flex集群存儲(chǔ)測(cè)試以及集群性能對(duì)比

為了可以清晰地對(duì)比兩套存儲(chǔ)系統(tǒng)的性能，請(qǐng)看表3兩套集群的各個(gè)性能參數(shù)對(duì)比。

由表可見，南京大學(xué)高性能計(jì)算中心無論是IBM集群還是Flex集群，在存儲(chǔ)系統(tǒng)的選擇上都是十分合理的。Flex集群的存儲(chǔ)系統(tǒng)IO讀寫帶寬達(dá)到很高的標(biāo)準(zhǔn)， 為整個(gè)集群系統(tǒng)高效的運(yùn)行提供了強(qiáng)有力的保障。雖然Flex集群由于其核數(shù)增加，并行效率有所下降，但是其實(shí)際計(jì)算能力大幅度增加，也大大緩解了之前南京大學(xué)計(jì)算資源嚴(yán)重不足的現(xiàn)狀。

4 結(jié)束語

本文詳細(xì)闡述了“中心”兩套集群存儲(chǔ)系統(tǒng)，給出兩套系統(tǒng)的各個(gè)測(cè)試性能參數(shù)。最后通過對(duì)兩套集群測(cè)試結(jié)果的對(duì)比，證明IBM集群和Flex集群存儲(chǔ)系統(tǒng)的選擇十分合理且性能優(yōu)越。南京大學(xué)高性能計(jì)算中心一直走在高校高性能計(jì)算的前沿，“中心”兩套集群的存儲(chǔ)搭建方式也為今后其他單位搭建高性能計(jì)算集群系統(tǒng)提供了很好的參考依據(jù)。

參考文獻(xiàn)：

[1] 周興銘.高性能計(jì)算技術(shù)發(fā)展[J].自然雜志，2011，33（5）：249-254.

[2] 王彬. 高性能計(jì)算計(jì)算在氣象部門的應(yīng)用[J].計(jì)算機(jī)工程與設(shè)計(jì)，2014，35（4）：1476-1479.

[3] 盛樂標(biāo)，游偉倩，周慶林.南京大學(xué)高性能計(jì)算中心建設(shè)的探索與實(shí)踐[J].實(shí)驗(yàn)技術(shù)與管理，2013，20（11）：144-146.