張紅杰 楊德興 尹龍 林輝 趙玉梅 馬迅飛

摘? 要： 高性能計(jì)算已成為運(yùn)行RTM逆時(shí)偏移、FWI全波形反演等復(fù)雜運(yùn)算的有效手段。隨著"兩寬一高”等勘探技術(shù)的發(fā)展，野外采集的數(shù)據(jù)量越來越大，先進(jìn)的勘探方法帶來更為復(fù)雜的計(jì)算，單套PC集群的軟硬件配置及較低的網(wǎng)絡(luò)帶寬，已不能滿足PB級(jí)項(xiàng)目的技術(shù)要求。文章分析了當(dāng)前IT資源面臨的主要問題，提出PC集群、網(wǎng)絡(luò)架構(gòu)、I/O存儲(chǔ)等優(yōu)化技術(shù)新思路，在整體系統(tǒng)效率、I/O性能改善、交互速度提升等方面取得了好的效果。

關(guān)鍵詞： PC集群; I/O; 網(wǎng)絡(luò); 交換機(jī); MDS

中圖分類號(hào)：TP338.6? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2020）11-32-03

Abstract： HPC has become an effective method to run complex operations such as RTM （Renverse Time Migration） and FWI （Full Waveform Inversion）. With the development of exploration technologies such as "two wide and one height"， more and more data are collected in the field. Advanced exploration methods bring more complex calculation. The hardware and software configuration of a single set of PC cluster and the low network bandwidth cannot meet the technical requirements of the PB level projects. This paper analyzes the main problems faced by current IT resources， and proposes new ideas of optimization technologies such as PC cluster， network architecture and I/O storage， which have achieved good results in overall system efficiency， I/O performance improvement and interaction speed improvement.

Key words： PC cluster; I/O; network; switche; MDS

0 引言

計(jì)算機(jī)技術(shù)的發(fā)展日新月異，無論是服務(wù)器的計(jì)算性能，存儲(chǔ)的讀寫能力和容量，還是網(wǎng)絡(luò)帶寬和延遲，其技術(shù)指標(biāo)都在急速增長，為石油勘探處理業(yè)務(wù)的快速發(fā)展提供了良好的計(jì)算環(huán)境。

近年來，隨著地震勘探精度的不斷提升和“兩寬一高”等勘探技術(shù)的應(yīng)用，野外采集的數(shù)據(jù)量呈指數(shù)級(jí)增長。以前處理的單步數(shù)據(jù)體僅有幾十甚至上百TB，而目前的數(shù)據(jù)量已高達(dá)幾百或PB級(jí)，且RTM逆時(shí)偏移、FWI等新方法在處理業(yè)務(wù)上的應(yīng)用，使其計(jì)算量成倍增長。

另外，甲方對(duì)數(shù)據(jù)處理周期的要求也將越來越短，因此，落后、低配置的高性能計(jì)算機(jī)，將不再適應(yīng)地震數(shù)據(jù)處理的需要，而大規(guī)模購置高端的計(jì)算機(jī)資源，也會(huì)帶來巨大的投資成本。

1 IT資源問題分析

現(xiàn)代計(jì)算機(jī)是一種基于高速網(wǎng)絡(luò)、具備一定計(jì)算能力、圖形處理能力、I/O能力和存儲(chǔ)能力負(fù)載均衡的復(fù)雜系統(tǒng)，無論是單節(jié)點(diǎn)計(jì)算機(jī)能力還是網(wǎng)絡(luò)傳輸、I/O讀寫能力，任何一環(huán)出現(xiàn)問題，都將制約著整個(gè)系統(tǒng)的性能發(fā)揮。

一套PC集群隨著應(yīng)用時(shí)間的延長，在設(shè)備引進(jìn)之初時(shí)整套系統(tǒng)較為先進(jìn)，運(yùn)算性能較高，但在后來的運(yùn)行中，由于數(shù)據(jù)量的增大和計(jì)算量的增多等原因，計(jì)算速度將變得緩慢，系統(tǒng)性能也變得落后。

1.1 節(jié)點(diǎn)配置問題

⑴ 內(nèi)置臨時(shí)盤容量小、性能低

長期以來，人們習(xí)慣于用“峰值運(yùn)算速度”，作為超級(jí)計(jì)算能力的評(píng)價(jià)標(biāo)準(zhǔn)。但PC集群的實(shí)際應(yīng)用性能，與其峰值性能相比，往往相差甚遠(yuǎn)，特別是I/O能力嚴(yán)重制約了CPU的運(yùn)算性能。

在處理業(yè)務(wù)中，一般將節(jié)點(diǎn)的內(nèi)置硬盤做成臨時(shí)盤，給作業(yè)的中間成果提供I/O讀寫，而臨時(shí)盤的性能對(duì)運(yùn)行的影響很大。

隨著地震數(shù)據(jù)量增大，原有硬盤的空間小、性能低，硬盤的I/O能力僅為130MB/s，不能滿足目前處理業(yè)務(wù)的要求（圖1）。

⑵ 內(nèi)存配置小

大多數(shù)舊的節(jié)點(diǎn)，其內(nèi)存配置一般在64GB以下，在運(yùn)行大的作業(yè)如深度偏移時(shí)，占用較大的交換區(qū)，從而使節(jié)點(diǎn)的運(yùn)行效率下降。

1.2 網(wǎng)絡(luò)瓶頸問題

⑴ 集群之間的網(wǎng)絡(luò)瓶頸[1]

數(shù)據(jù)中心的計(jì)算資源，一般都是由多套相對(duì)獨(dú)立的PC集群組成，各集群之間通過核心交換機(jī)連接。大部分集群與核心交換機(jī)的帶寬為1-2*10GB/s，僅可以滿足遠(yuǎn)程登錄、交互和小數(shù)據(jù)量的遠(yuǎn)程訪問。

隨著應(yīng)用需求的增長，跨系統(tǒng)遠(yuǎn)程訪問存儲(chǔ)增加，原有的小帶寬網(wǎng)絡(luò)，限制了跨系統(tǒng)遠(yuǎn)程訪問存儲(chǔ)的能力，使得遠(yuǎn)程讀寫文件系統(tǒng)的效率大大降低。

⑵ 終端房與核心交換機(jī)間的帶寬瓶頸[1]

終端房與核心交換機(jī)的主干網(wǎng)絡(luò)，最大也只有2萬兆（2*10GB/s）帶寬，卻連接了近百臺(tái)終端設(shè)備，而每臺(tái)終端設(shè)備全部是千兆（1GB/s）網(wǎng)絡(luò)，主干網(wǎng)絡(luò)與多用戶設(shè)備的網(wǎng)絡(luò)需求不匹配。

1.3 文件讀寫問題

有些并行存儲(chǔ)的同一個(gè)目錄，是由一個(gè)MDS服務(wù)器控制和管理[2]。當(dāng)同一個(gè)目錄下有大量的數(shù)據(jù)讀寫時(shí)，會(huì)導(dǎo)致某一MDS元數(shù)據(jù)服務(wù)器的負(fù)載較重，而使讀寫變慢。

地震處理項(xiàng)目的同一工區(qū)數(shù)據(jù)，往往都集中存放在某個(gè)盤的同一個(gè)目錄下，同一目錄下的文件可能達(dá)到上萬個(gè)或更多，當(dāng)大量的作業(yè)進(jìn)行磁盤I/O讀寫操作時(shí)，由于MDS服務(wù)器的影響，而使數(shù)據(jù)的讀寫速度變得非常慢（圖2）。

2 資源優(yōu)化技術(shù)研究

根據(jù)業(yè)務(wù)應(yīng)用需求，適時(shí)對(duì)IT資源優(yōu)化重組，提高設(shè)備性能并延長其壽命，這是當(dāng)前計(jì)算機(jī)資源優(yōu)化配置、系統(tǒng)集成與升級(jí)改造技術(shù)的研究重點(diǎn)與關(guān)鍵。

2.1 節(jié)點(diǎn)優(yōu)化技術(shù)

⑴ 將幾套128節(jié)點(diǎn)分散的小集群，升級(jí)為一套512節(jié)點(diǎn)的較大規(guī)模集群，并進(jìn)行PB級(jí)數(shù)據(jù)處理系統(tǒng)的測(cè)試和優(yōu)化，形成PB級(jí)數(shù)據(jù)處理能力。

⑵ 將單節(jié)點(diǎn)的2塊硬盤，升級(jí)擴(kuò)容到4-5塊硬盤，將多塊硬盤進(jìn)行捆綁，提升讀寫空間大小。同時(shí)，將Ext3格式的文件系統(tǒng)改成Ext4格式，將Raid5改成Raid0[3]，打開Raid卡Cache緩存，優(yōu)化讀寫條帶大小，提升內(nèi)置硬盤的讀寫性能。

⑶ 針對(duì)高密度處理要求的大內(nèi)存配置，將64GB的內(nèi)存擴(kuò)容到128GB，減少內(nèi)存訪問延遲，擴(kuò)展訪問帶寬，降低對(duì)Swap交換區(qū)的占用，提升數(shù)據(jù)傳輸能力。

2.2 網(wǎng)絡(luò)優(yōu)化技術(shù)[4]

⑴ 將單節(jié)點(diǎn)的千兆網(wǎng)絡(luò)改為萬兆，同時(shí)部署萬兆集群交換機(jī)，提升每個(gè)集群節(jié)點(diǎn)的網(wǎng)絡(luò)傳輸能力。

⑵ 核心交換機(jī)的帶寬由2*10GB/s改為2*40GB/s，提升跨集群數(shù)據(jù)傳輸和遠(yuǎn)程訪問能力;同時(shí)，終端房的交換機(jī)與核心交換機(jī)的級(jí)聯(lián)帶寬也升級(jí)為2*40GB/s，充分發(fā)揮桌面到萬兆網(wǎng)絡(luò)的帶寬能力，提升終端交互和遠(yuǎn)程登錄的速度。

⑶ 對(duì)辦公網(wǎng)進(jìn)行改造，將原有的100MB/s、1000MB/s網(wǎng)絡(luò)改成10GB/s，實(shí)現(xiàn)萬兆到桌面的遠(yuǎn)程交互能力，解決了所有交互處理時(shí)的慢、卡、頓現(xiàn)象。

3 IT資源優(yōu)化效果

3.1 PC集群優(yōu)化效果

⑴ 本地盤優(yōu)化集成

將4塊內(nèi)置機(jī)械硬盤或2塊SSD固態(tài)硬盤，捆綁成Raid0并配置為臨時(shí)磁盤，并將Raid卡的Cache打開，文件系統(tǒng)做成新的Ext4格式[5]，條帶大小做成512Kb，用于中間成果數(shù)據(jù)的讀寫，極大提高了磁盤的讀寫性能，從而降低作業(yè)運(yùn)行時(shí)間。

⑵ 內(nèi)存與網(wǎng)絡(luò)優(yōu)化

將內(nèi)存由64GB升級(jí)擴(kuò)容到128GB，同時(shí)使用萬兆網(wǎng)卡替換現(xiàn)有的千兆網(wǎng)卡，部署萬兆集群交換機(jī)，提升集群節(jié)點(diǎn)綜合運(yùn)算能力（圖3）。

3.2 網(wǎng)絡(luò)優(yōu)化效果

通過增大集群到核心交換機(jī)之間的網(wǎng)絡(luò)帶寬，將多套獨(dú)立的小集群整合為一套大的PC集群，實(shí)現(xiàn)了資源的集中統(tǒng)一，提升了集群間的數(shù)據(jù)傳輸能力，實(shí)現(xiàn)了PB級(jí)超大數(shù)據(jù)的并行處理能力，從而提高了作業(yè)運(yùn)行速度，縮短了運(yùn)行周期。

增大終端機(jī)房至主機(jī)房的上行網(wǎng)絡(luò)帶寬，提升了終端機(jī)房到主機(jī)房的訪問速度，尤其提升了用戶遠(yuǎn)程交互能力。在終端房同時(shí)使用10臺(tái)工作站向主機(jī)房傳輸數(shù)據(jù)時(shí)，其平均速度從148MB/s上升到470MB/s，終端機(jī)房到主機(jī)房的網(wǎng)絡(luò)聚合帶寬有了明顯提升。

3.3 文件系統(tǒng)優(yōu)化效果

通過在文件系統(tǒng)下創(chuàng)建多個(gè)目錄，并將這些目錄設(shè)置為同一個(gè)項(xiàng)目的附盤，把地震數(shù)據(jù)和速度文件分散到不同的目錄下，使元數(shù)據(jù)的訪問分散到不同的MDS服務(wù)器上，降低單個(gè)MDS的負(fù)載，從而提高了數(shù)據(jù)的讀寫速度（圖4）。

4 結(jié)束語

通過自主技術(shù)創(chuàng)新、應(yīng)用技術(shù)研究和開發(fā)技術(shù)創(chuàng)新，在很大程度上解決了PC集群存在的I/O瓶頸、網(wǎng)絡(luò)帶寬低、CPU計(jì)算資源與外設(shè)不匹配等諸多技術(shù)難題，提高了設(shè)備效率，同時(shí)降低了投資成本;其成果已經(jīng)在生產(chǎn)中得到廣泛應(yīng)用和推廣，很好的解決了生產(chǎn)實(shí)際問題，取得了明顯的經(jīng)濟(jì)效益。

對(duì)于擁有上萬顆CPU、數(shù)億元計(jì)算機(jī)軟硬件資產(chǎn)的高性能計(jì)算中心而言，針對(duì)現(xiàn)有的計(jì)算機(jī)資源，進(jìn)行合理配置、優(yōu)化集成、升級(jí)改造其軟硬件系統(tǒng)，以達(dá)到提高性能和效率的目的，其可挖掘的技術(shù)潛力巨大，非常值得持續(xù)開展一些新課題的研究。

參考文獻(xiàn)（References）：

[1] 高俊峰.高性能Linux服務(wù)器構(gòu)建實(shí)戰(zhàn)[M].機(jī)械工業(yè)出版社，2014.

[2] 宋振龍.面向超級(jí)計(jì)算的大規(guī)模并行存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)研究[D].國防科學(xué)技術(shù)大學(xué)，2014.

[3] 吳晨濤.信息存儲(chǔ)與IT管理[M].人民郵電出版社，2015.

[4] 俞朝暉等.計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)使用寶典[M].中國鐵道出版社，2014.

[5] 余柏山等.系統(tǒng)管理與網(wǎng)絡(luò)管理[M].清華大學(xué)出版社，2016.