賴能和最近比較開心,因為他采用了IBM軟件定義的閃存基礎(chǔ)架構(gòu)(Software Defined Flash infrastructure)以加速對海量地震數(shù)據(jù)的訪問,從而提升大數(shù)據(jù)時代油氣勘探的效率,也為他降低了不少成本。
賴能和是中國石油集團(tuán)東方地球物理勘探有限責(zé)任公司(簡稱東方地球物理公司)研究院數(shù)據(jù)處理中心總工程師,他所在的公司主要從事國內(nèi)外陸地、海上地震勘探及綜合物化探采集、處理、解釋,以及與地球物理(化學(xué))勘探有關(guān)的技術(shù)及裝備研發(fā)、產(chǎn)品研制、技術(shù)引進(jìn)與產(chǎn)品銷售等業(yè)務(wù)。目前,東方地球物理公司在陸上地震勘探市場份額位居全球第一。
東方地球物理公司還擁有亞洲最大的地震資料處理中心。在北京、新疆庫爾勒、烏魯木齊、甘肅敦煌、西安、唐山、任丘、大港設(shè)有處理分部,在伊朗、巴基斯坦、尼日利亞、蘇丹、休斯頓建有處理分中心。
賴能和介紹說,當(dāng)前石油勘探已進(jìn)入高密度采集、大數(shù)據(jù)的時代,需要大規(guī)模的計算機(jī)處理海量數(shù)據(jù)。由于近年業(yè)務(wù)規(guī)模發(fā)展迅猛,賴能和每年均需要購置大量的存儲空間以存放地震解釋處理數(shù)據(jù)。目前,東方地球物理公司處理中心存量在線數(shù)據(jù)超過10PB。由于原始數(shù)據(jù)量大、計算密集,運算過程又產(chǎn)生更多“中間數(shù)據(jù)”,因此需要高吞吐、高可靠、高擴(kuò)展能力的海量并行存儲系統(tǒng)。
此外,之前東方地球物理公司處理中心部署了高性能計算HPC集群系統(tǒng)。為提高HPC計算集群系統(tǒng)的CPU利用率,應(yīng)用部門加大了應(yīng)用作業(yè)密度,因此在作業(yè)處理高峰時段,出現(xiàn)了數(shù)據(jù)讀寫較為緩慢、處理系統(tǒng)效率降低的現(xiàn)象。
賴能和告訴記者,東方地球物理公司采用了IBM軟件定義的閃存基礎(chǔ)架構(gòu)解決方案,利用彈性存儲,將3.5TB元數(shù)據(jù)直接存放到高性能的閃存IBM FlashSystem 810上,其余的數(shù)據(jù)存放到DS3700存儲系統(tǒng)中。通過把元數(shù)據(jù)放到閃存中進(jìn)行處理,明顯提升了系統(tǒng)的交互性能,監(jiān)測作業(yè)進(jìn)度的應(yīng)用響應(yīng)時間甚至縮短了14000倍左右。顯著的性能提升,使東方地球物理公司在以更高的吞吐處理海量數(shù)據(jù)的同時,還明顯提高了對作業(yè)的查詢及監(jiān)控效率。
閃存技術(shù)在大數(shù)據(jù)時代煥發(fā)了新的生命力。閃存技術(shù)雖然早已經(jīng)存在,但由于軟件技術(shù)及性價比的原因,其應(yīng)用一直存在爭議。近年來,隨著閃存價格的下降以及軟件定義存儲的出現(xiàn),越來越多的企業(yè)開始考慮采用閃存代替磁盤,或部分取代。特別在是大數(shù)據(jù)處理的情況下,由于大量和頻繁的數(shù)據(jù)調(diào)用,閃存比磁盤提供了更快的速度和更高的處理效率,甚至可以做到實時處理。
除了實時海量數(shù)據(jù)處理外,相對于磁盤存儲,閃存還有許多先天的優(yōu)勢。閃存沒有機(jī)械部件,可以成倍地傳送數(shù)據(jù)。由于節(jié)約了機(jī)架磁盤,數(shù)據(jù)中心可心節(jié)省更多的空間用于CPU數(shù)據(jù)處理。由于閃存不像磁盤那樣轉(zhuǎn)動,不會產(chǎn)生摩擦,所以產(chǎn)生的熱量也少了很多,更為節(jié)能。
其實,閃存技術(shù)除了在存儲領(lǐng)域得到發(fā)展外,早已經(jīng)在數(shù)據(jù)庫領(lǐng)域也取得了廣泛的認(rèn)可。多家廠商推出內(nèi)存數(shù)據(jù)庫,摒棄硬盤而采用內(nèi)存,打造實時數(shù)據(jù)處理平臺,成倍提升了海量數(shù)據(jù)處理的效率。
全球70%石油石化行業(yè)的領(lǐng)導(dǎo)都認(rèn)為,IT是非常重要的領(lǐng)域,大數(shù)據(jù)分析更是石油石化行業(yè)關(guān)注的熱點。IDC報告分析提出,2012年油氣上游行業(yè)生產(chǎn)領(lǐng)域IT投資量為376億美金,而這一數(shù)字到2016年,將接近500億美金。如何利用大數(shù)據(jù)分析提升生產(chǎn)力已經(jīng)成為全球大型石油石化公司追逐的焦點。
當(dāng)前,閃存存儲和軟件定義存儲解決方案已經(jīng)廣泛應(yīng)用于多個行業(yè)。IBM Flashsystem 810幫助東方地球物理公司有效地實現(xiàn)了元數(shù)據(jù)與生產(chǎn)數(shù)據(jù)的分離,不僅提升了元數(shù)據(jù)檢索的效率,而且保證了數(shù)據(jù)的可靠性和安全性,可謂一舉多得。