高金金

(山西財經(jīng)大學(xué) 實驗中心，山西 太原 030006)

隨著數(shù)據(jù)信息爆炸式地發(fā)展，科學(xué)研究越來越倚重于高性能計算資源。高性能計算的發(fā)展也支撐著大數(shù)據(jù)與人工智能行業(yè)。高校作為科研的主力機構(gòu)之一，有必要加強高性能計算平臺的建設(shè)。同時依據(jù)《教育信息化十年發(fā)展規(guī)劃(2011-2020 年)》和《教育部社會科學(xué)司2020年工作要點》中有關(guān)重點支持“文科實驗室”建設(shè)導(dǎo)性意見，山西省教育廳頒布的高校信息化建設(shè)要求以及山西省1331工程等重要文件的精神，從加快建設(shè)高水平大學(xué)和加強學(xué)校“雙一流”建設(shè)的目標(biāo)出發(fā)，適應(yīng)師生對高性能計算云的強烈需求，實現(xiàn)高校信息化發(fā)展，提高科研競爭力和綜合實力，學(xué)校積極籌備建設(shè)高性能計算平臺。

“高性能計算云”將為學(xué)校各科研實驗室進行科學(xué)研究提供強大的高性能計算資源，特別是高時間復(fù)雜度和高空間復(fù)雜度的算法研究、大數(shù)據(jù)并行計算處理研究不出學(xué)校就可進行。該平臺的優(yōu)勢如下：1) 性能高；2) 建設(shè)成本低；3) 易于維護；4) 擴展性強；5) 資源調(diào)度能力高，資源利用率高；6) 軟件生態(tài)環(huán)境好；7) 兼容性強。

山西財經(jīng)大學(xué)“實驗云”平臺建設(shè)由“桌面云”、“高性能計算云”、“實驗云基礎(chǔ)設(shè)施”三部分組成。本文在研究總結(jié)高性能計算平臺建設(shè)相關(guān)問題的主流解決方法的基礎(chǔ)上，給出了山西財經(jīng)大學(xué)高性能計算平臺的具體方案，并對高性能計算平臺的管理運維模式進行詳細探討。

圖1 山西財經(jīng)大學(xué)實驗云總體規(guī)劃

1 山西財經(jīng)大學(xué)高性能計算平臺建設(shè)方案

目前，全國大部分985、211重點高校都建有校級高性能計算平臺，其中規(guī)模最大的是南京大學(xué)校級高性能計算平臺，除此之外，北京大學(xué)計算中心也在進行高性能計算平臺更新?lián)Q代工作，新的高性能集群在2017年建成[1,2]。山西高校中比較大的超算平臺是山西大學(xué)校級高性能計算平臺。我們深入研究了國內(nèi)外大量商業(yè)化超算中心與教育科研機構(gòu)自建的高性能計算平臺，對它們的建設(shè)方案進行了分析研究，并深入了解了目前最先進的平臺軟硬件體系結(jié)構(gòu)，掌握了現(xiàn)在高性能計算平臺的主流技術(shù)路線。在此基礎(chǔ)上，結(jié)合山西財經(jīng)大學(xué)實際需求，給出山西財經(jīng)大學(xué)高性能計算平臺的具體建設(shè)方案。該方案以高性能計算集群作為基礎(chǔ)架構(gòu)，以適當(dāng)?shù)挠嬎愎?jié)點資源為核心，搭配大容量高性能的存儲設(shè)施與大吞吐量的網(wǎng)絡(luò)設(shè)施共同構(gòu)建。

1.1 體系架構(gòu)的設(shè)計與選型

現(xiàn)在主流的高性能計算平臺大多采用了計算機集群的方式作為計算系統(tǒng)。計算機集群通過高性能網(wǎng)絡(luò)整合異構(gòu)且松散的計算資源于一體，將各種節(jié)點的邏輯地組合成一臺超級計算機。所以，財經(jīng)大學(xué)高性能云平臺建設(shè)方案以高性能計算集群作為基礎(chǔ)架構(gòu)。

1.2 計算資源與設(shè)備的設(shè)計選型

1.2.1 通用計算資源

主流的高性能通用計算架構(gòu)依然以X86架構(gòu)為基礎(chǔ)。在X86架構(gòu)之外，ARM架構(gòu)也有了長足的進步， ARM的高級架構(gòu)授權(quán)，對于發(fā)展我國基于ARM安全可控的自主CPU有很大的幫助。

方案中通用計算節(jié)點主要以高性能的X86架構(gòu)的CPU與大容量內(nèi)存為核心基礎(chǔ)，考慮到近年來我國大力推廣安全可控的硬件產(chǎn)品，CPU方面選取了國產(chǎn)的海光C86 7185。單個CPU擁有32個物理核心，單個節(jié)點采用2路CPU。內(nèi)存方面，單個節(jié)點配備256G內(nèi)存。通用計算節(jié)點共備3臺。

1.2.2 浮點計算資源

浮點計算對于GPU的需求非常高，而GPU必須搭配專用的顯存作為浮點計算內(nèi)存使用，方案選擇了NVIDIA專業(yè)計算GPU Tesla V100作為浮點計算器，該型號GPU支持高性能雙精度浮點計算能力與GPU虛擬化技術(shù)，且顯存容量高達32G，單個節(jié)點安裝兩路GPU。相對于通用計算節(jié)點，浮點計算節(jié)點對于CPU的需求不算太高，但考慮到浮點計算節(jié)點往往也會參與部分?jǐn)?shù)據(jù)處理計算，方案選取了Intel 至強黃金5115，單個CPU擁有10個物理核心，單個節(jié)點配備2路CPU和256G內(nèi)存。浮點計算節(jié)點共配備3臺。

1.3 存儲設(shè)備的設(shè)計與選型

存儲系統(tǒng)應(yīng)當(dāng)具備超高的并發(fā)性能與較高的吞吐速率和一定的穩(wěn)定性與可維護性[3]。FC-SAN磁盤陣列系統(tǒng)在吞吐能力方面能夠滿足計算的IO需求，并且IO性能方面也有著一定的擴展性。

本方案存儲設(shè)備方面選擇了曙光DS600系列磁盤陣列系統(tǒng)。該系統(tǒng)配備的4個8Gb SFP光纖模塊能夠提供足夠的計算需求吞吐量。除了FC-SAN通信能力之外，還支持多種通信方式，且通信模塊還可以擴展一倍以支持后期更大的吞吐需求。單臺設(shè)備可安裝12個3.5寸SAS硬盤。

1.4 網(wǎng)絡(luò)設(shè)施的設(shè)計與選型

主流網(wǎng)絡(luò)設(shè)施以InfiniBand為核心，外圍輔助以太網(wǎng)。交換機選用專用的InfiniBand交換設(shè)備。管理網(wǎng)絡(luò)方面以千兆以太網(wǎng)絡(luò)為主?？紤]到計算節(jié)點的異構(gòu)性和兼容性，網(wǎng)絡(luò)設(shè)施不適合使用高度定制化的產(chǎn)品。萬兆以太網(wǎng)絡(luò)可以滿足部分低吞吐需求的集群或者集群的邊緣業(yè)務(wù)部分，且具有成本低、用戶基礎(chǔ)廣、技術(shù)成熟度高等優(yōu)點。InfiniBand在超大吞吐量計算需求的集群中有著廣泛的應(yīng)用，其速率可達到40Gbps～100Gbps，穩(wěn)定性高、延遲低。Intel Omni-Path是一種與Intel CPU集成的超高速網(wǎng)絡(luò)方案，但是對非Intel的產(chǎn)品兼容性不佳。

1.5 操作系統(tǒng)與管理系統(tǒng)的選型

Linux是一類由開源社區(qū)維護的操作系統(tǒng)。非常適合用作于超算的操作系統(tǒng)基礎(chǔ)設(shè)施。

本方案的操作系統(tǒng)選取了Linux系的主流發(fā)行版之一的Cent OS 64位版。

集群調(diào)度管理與運維方面，以曙光Gridview系列配套軟件為基礎(chǔ)。

1.6 高校高性能計算平臺環(huán)境準(zhǔn)備與基礎(chǔ)設(shè)施

為保證高性能計算平臺持續(xù)穩(wěn)定運行，平臺硬件所處的環(huán)境在溫度、濕度、供配電等多個方面提供必要的保障。本方案基礎(chǔ)設(shè)施采用模塊化數(shù)據(jù)中心模式，構(gòu)建承載HPC高性能計算和實驗室教學(xué)及實驗所需的環(huán)境基礎(chǔ)設(shè)施，包括UPS不間斷電源、蓄電池、供配電、制冷系統(tǒng)、動力環(huán)境系統(tǒng)等。

2 高校高性能計算平臺運維模式

高性能計算平臺建設(shè)投入大、運行和維護費用高，因此運維體系十分重要[4]，需要從管理、技術(shù)、人員等多方面去考慮，堅持“以人為本”的原則，建立科學(xué)的平臺管理運維體系，保持平臺良好運行生態(tài)。

2.1 運維管理制度

制定嚴(yán)格的制度管理。高性能計算平臺的硬件設(shè)施必須能夠提供除必要維護外的不間斷服務(wù)，嚴(yán)格的制度管理是設(shè)備安全運行的保證。平臺必須有嚴(yán)格的設(shè)備檢查制度，消除配電、空調(diào)等設(shè)備方面帶來的安全隱患。計算集群應(yīng)有全面完善的專業(yè)化監(jiān)控運維設(shè)施，實現(xiàn)客戶HPC資產(chǎn)全生命周期管理服務(wù)及自動化運維，實現(xiàn)基于“互聯(lián)網(wǎng)+”模式下的HPC生態(tài)圈。

2.2 用戶技術(shù)支持

運維中心要制定高性能平臺發(fā)展戰(zhàn)略以及相關(guān)的技術(shù)咨詢服務(wù)方案。建立完備的用戶申請流程，提供相應(yīng)的技術(shù)服務(wù)，比如協(xié)助用戶安裝軟件、配置實驗環(huán)境，向用戶收集反饋信息等，解決用戶在具體應(yīng)用中遇到的各類問題。通過在高性能平臺門戶網(wǎng)站上進行相關(guān)內(nèi)容的更新發(fā)布來給予用戶及時全面的平臺信息。邀請高性能計算專家來校訪問，舉辦高性能計算應(yīng)用系列講座進行短期培訓(xùn)，去兄弟院校相關(guān)部門進行交流，通過多渠道提高技術(shù)服務(wù)的質(zhì)量。

2.3 運維人員管理

平臺必須有專門的人員進行管理維護。高校高性能計算平臺的運維工作與計算資源銷售服務(wù)行業(yè)有著很大的相似度，增強服務(wù)意識能夠有效地為用戶提供充足的便利性，如建立完善的訴求通道，并積極進行回應(yīng)。所以要調(diào)動平臺技術(shù)人員的積極性和主動性，提高平臺技術(shù)人員的業(yè)務(wù)水平和敬業(yè)精神。

另外，平臺的管理人員需要同時由熟悉軟硬件基礎(chǔ)設(shè)施與熟悉計算業(yè)務(wù)的人員參與組成。第一類人員對集群使用的各個環(huán)節(jié)有比較好的認識，可以促進集群更利于終端用戶的使用; 第二類人員對計算機體系架構(gòu)較熟悉，可以更容易地參與到集群的調(diào)優(yōu)、定制化，以及一些相關(guān)的研究項目中去，建立起跨學(xué)科專業(yè)的科研模式[4]。同時在云計算服務(wù)平臺中，人人都是生態(tài)的需求者也是貢獻者。使用者可以方便地申請到配置好的系統(tǒng)環(huán)境甚至是搭建好的應(yīng)用環(huán)境，同時可以向平臺貢獻鏡像、數(shù)據(jù)等，與平臺建設(shè)單位一同打造高校計算應(yīng)用生態(tài)圈。

3 結(jié)語

高性能計算平臺建設(shè)是“雙一流”建設(shè)戰(zhàn)略中提供科研支撐環(huán)境和科研平臺基礎(chǔ)的重要手段，因此各高校都開展了高性能計算平臺的建設(shè)。接下來，我們將不斷地實踐探索，將山西財經(jīng)大學(xué)的高性能計算平臺的后期建設(shè)與具體運維管理更加完善，促進學(xué)校高性能計算科研實踐應(yīng)用與教學(xué)水平發(fā)展。