尹龍　張衛(wèi)華　程實(shí)　郭冶　梁妍　牛犇

摘 要： 隨著“兩寬一高”采集技術(shù)的應(yīng)用，原始地震勘探數(shù)據(jù)呈指數(shù)級增長，數(shù)據(jù)體越來越大，結(jié)構(gòu)越來越復(fù)雜，地震資料開始進(jìn)入大數(shù)據(jù)時(shí)代。文章基于海量地震數(shù)據(jù)的資料處理特點(diǎn)，分析HPC技術(shù)趨勢，探討并設(shè)計(jì)適合自身需求的超大規(guī)模HPC集群。

關(guān)鍵詞： 大數(shù)據(jù)； 高性能計(jì)算； 地震數(shù)據(jù)； 兩寬一高

中圖分類號：TP311 文獻(xiàn)標(biāo)志碼：A 文章編號：1006-8228（2016）08-01-03

Abstract： With the application of "2W1H" （wide-band， wide azimuth and high-density） acquisition technology in oil exploration， the original seismic data is growing exponentially， the data volume is getting bigger and bigger， the structure is more and more complex， seismic data has begun to enter the big data era. Based on the characteristics of massive seismic data， this paper analyzes the trend of HPC technology， and discusses and designs the ultra large scale HPC system fitting for our own development.

Key words： big data； HPC； seismic data； 2W1H

0 引言

近幾年來，隨著勘探技術(shù)的不斷進(jìn)步，野外地震采集的精度在不斷提高，“兩寬一高”地震技術(shù)開始得到全面推廣和使用。以我國某地為例，覆蓋次數(shù)大于200次，高達(dá)數(shù)千次，橫縱比為0.5-1，采用寬頻可控震源激發(fā)，掃描頻率大于5個(gè)倍頻程[1]。相應(yīng)地，東方地球物理公司研究院逐步完善了對高密度、寬方位數(shù)據(jù)資料配套的處理技術(shù)，形成多波多分量、三維連片、高密度寬方位數(shù)據(jù)處理等技術(shù)特色。方法有了，作為資料處理運(yùn)行工具的高性能計(jì)算集群應(yīng)如何設(shè)計(jì)，本文主要探討這個(gè)問題。

1 發(fā)展難點(diǎn)

高性能計(jì)算系統(tǒng)用于解決復(fù)雜的大量數(shù)據(jù)計(jì)算，如常用于石油勘探、分子模擬、天氣預(yù)報(bào)等很多科學(xué)計(jì)算領(lǐng)域。高性能計(jì)算通常使用并行算法，即通過并行軟件將數(shù)據(jù)及計(jì)算任務(wù)分解并分發(fā)到各個(gè)計(jì)算節(jié)點(diǎn)上完成計(jì)算，最后將計(jì)算結(jié)果進(jìn)行匯總。因此，高性能計(jì)算系統(tǒng)要求有高計(jì)算性能、高I/O吞吐率、大規(guī)模數(shù)據(jù)存儲(chǔ)及高可用性等特點(diǎn)[2]。

2012年，東方公司在海外油氣勘探市場承接的十萬道級別高效采集項(xiàng)目就已經(jīng)進(jìn)入實(shí)施，數(shù)十萬道甚至百萬道也在不遠(yuǎn)的將來實(shí)現(xiàn)。隨之而來的是原始地震勘探數(shù)據(jù)呈指數(shù)級增長，數(shù)據(jù)體越來越大，結(jié)構(gòu)越來越復(fù)雜，地震資料數(shù)據(jù)動(dòng)輒幾十甚至幾百TB（如圖1）。地震處理軟件也在不斷更新升級，陸續(xù)出現(xiàn)基于大規(guī)模甚至超大規(guī)模地震數(shù)據(jù)開發(fā)的地震資料處理模塊。然而，超大規(guī)模的數(shù)據(jù)存儲(chǔ)，超高性能的計(jì)算要求，再加上有限的項(xiàng)目周期，給地震資料處理帶來巨大的挑戰(zhàn)。在進(jìn)行高性能計(jì)算資源管理設(shè)計(jì)時(shí)，不但要考慮能滿足PB級數(shù)據(jù)存儲(chǔ)和吞吐能力，還要設(shè)計(jì)和構(gòu)建能夠處理大規(guī)模的高性能計(jì)算集群系統(tǒng)。

2 超算集群系統(tǒng)設(shè)計(jì)

2.1 CPU+GPU協(xié)同工作

協(xié)同工作是將CPU和GPU兩種不同架構(gòu)的處理器組成在一起，通過程序讓其協(xié)同工作。為了追求通用性，CPU將其中大部分晶體管主要用于控制單元（比如分支預(yù)測等）和存儲(chǔ)單元（Cache），只有少部分的晶體管來完成實(shí)際的運(yùn)算工作（如圖2），因此CPU在邏輯判斷、非線性尋址等復(fù)雜邏輯運(yùn)算有非常高的效率[3]。而GPU最初是為了完成圖形處理，因此它的更多單元用于執(zhí)行計(jì)算，這也讓GPU更加適合密集型的計(jì)算任務(wù)，隨著硬件技術(shù)的發(fā)展，GPU的計(jì)算能力已經(jīng)遠(yuǎn)遠(yuǎn)超出了其自身圖形功能，同時(shí)GPU的可編程性也讓其完成浮點(diǎn)計(jì)算的科學(xué)研究逐漸活躍起來。從圖3可以知道，在浮點(diǎn)計(jì)算方面GPU的計(jì)算能力已經(jīng)遠(yuǎn)遠(yuǎn)優(yōu)于CPU。

GPU參與的運(yùn)算應(yīng)用有如下特征：

⑴ 運(yùn)算密集性；

⑵ 高度并行性；

⑶ 控制簡單性。

從目前來看，單純使用CPU進(jìn)行大規(guī)模計(jì)算已經(jīng)不再擁有吸引力，更為科學(xué)的是采用CPU+GPU協(xié)同工作，由CPU負(fù)責(zé)執(zhí)行復(fù)雜的邏輯處理和事務(wù)處理，GPU負(fù)責(zé)計(jì)算密集型的大規(guī)模數(shù)據(jù)計(jì)算。這種利用GPU強(qiáng)大處理能力和高帶寬而彌補(bǔ)單純使用CPU計(jì)算時(shí)性能不足的計(jì)算方式可以進(jìn)一步挖掘計(jì)算機(jī)潛在能力，在成本和性價(jià)比方面有顯著的優(yōu)勢。

2.2 文件存儲(chǔ)系統(tǒng)

文件存儲(chǔ)系統(tǒng)是影響整個(gè)集群系統(tǒng)性能的關(guān)鍵因素，針對地震處理數(shù)據(jù)高密度并行讀寫的特點(diǎn)，首先需要考慮存儲(chǔ)容量，就目前野外工區(qū)高密度采集特點(diǎn)，覆蓋次數(shù)達(dá)上萬甚至幾萬道，單炮的數(shù)據(jù)量可達(dá)上百M(fèi)B，因此PB級容量的存儲(chǔ)是必然選擇。其次，地震資料處理軟件與其他應(yīng)用軟件相比，特別之處在于文件I/O量巨大，尤其大規(guī)模偏移計(jì)算時(shí)需要滿足各計(jì)算節(jié)點(diǎn)對共享存儲(chǔ)的訪問，I/O系統(tǒng)的性能將嚴(yán)重影響整個(gè)系統(tǒng)的性能，因此存儲(chǔ)系統(tǒng)的高效訪問至關(guān)重要[4]。

分布式文件系統(tǒng)是C/S架構(gòu)的文件系統(tǒng)，用戶數(shù)據(jù)沒有直接連接到本地主機(jī)，而是存儲(chǔ)在“集群服務(wù)器”（存儲(chǔ)中定義了統(tǒng)一的命名及Cluster概念）上，由“集群服務(wù)器”為整個(gè)計(jì)算系統(tǒng)提供I/O服務(wù)。分布式文件系統(tǒng)包括主控服務(wù)器、數(shù)據(jù)服務(wù)器及客戶端[5]（如圖4）。

目前許多大型計(jì)算機(jī)公司如Google、IBM及科研院校都正致力于分布式存儲(chǔ)的研究開發(fā)和使用，從而形成了多種模式的分布式文件系統(tǒng)，包括GFS（googleFS）、Lustre、GPFS等等。隨著大數(shù)據(jù)時(shí)代的到來，分布式文件系統(tǒng)受到了更多的歡迎。對于高性能計(jì)算而言，分布式存儲(chǔ)有以下幾方面優(yōu)點(diǎn)。