張春生，馬　楠，隋永剛

（1.中國人民大學(xué)，北京 100872；2.中國石油規(guī)劃總院，北京 100083）

淺析軟件定義存儲(chǔ)在油氣行業(yè)的應(yīng)用

張春生1，2，馬楠2，隋永剛2

（1.中國人民大學(xué)，北京 100872；2.中國石油規(guī)劃總院，北京 100083）

為解決油氣行業(yè)應(yīng)用高性能計(jì)算及大規(guī)模數(shù)據(jù)分析導(dǎo)致的傳統(tǒng)存儲(chǔ)系統(tǒng)性能瓶頸，在介紹軟件定義存儲(chǔ)的含義及特點(diǎn)的基礎(chǔ)上，從油氣公司物聯(lián)網(wǎng)、ERP應(yīng)用集成、云、大數(shù)據(jù)的建設(shè)以及業(yè)務(wù)發(fā)展的角度對(duì)存儲(chǔ)的現(xiàn)狀及軟件定義存儲(chǔ)的需求進(jìn)行了分析，并對(duì)軟件定義存儲(chǔ)在油氣行業(yè)的應(yīng)用模式進(jìn)行了探討并給出相關(guān)建議。

油氣行業(yè)；軟件定義存儲(chǔ)；閃存；IOPS；存儲(chǔ)虛擬化

0　引言

云計(jì)算、大數(shù)據(jù)、內(nèi)存計(jì)算、移動(dòng)互聯(lián)等技術(shù)的發(fā)展改變了應(yīng)用程序的交付方式，大大提高了系統(tǒng)的計(jì)算性能，使得用戶對(duì)OLTP、OLAP功能的需求以及對(duì)系統(tǒng)IOPS的要求不斷提高，為傳統(tǒng)的存儲(chǔ)技術(shù)帶來了挑戰(zhàn)。自20世紀(jì)80年代以來CPU和基于硬盤的存儲(chǔ)系統(tǒng)在性能上的差距以指數(shù)級(jí)逐年提高［1］。為滿足應(yīng)用程序?qū)Ω逫/O性能的需要，IT專業(yè)人員通過使用高速緩存、磁盤陣列方案和智能固件等方法來彌補(bǔ)這一差距，但傳統(tǒng)硬盤（HDD）存儲(chǔ)系統(tǒng)仍難以滿足現(xiàn)代應(yīng)用程序的要求。尤其在油氣行業(yè)，高密度采集已經(jīng)成為油氣勘探整個(gè)趨勢(shì)，地質(zhì)勘探已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代，勘探公司的在線地震數(shù)據(jù)達(dá)到PB級(jí)，高性能計(jì)算HPC集群在地震解釋方面的應(yīng)用更凸顯了底層存儲(chǔ)的性能缺陷?！笆濉逼陂g油氣公司物聯(lián)網(wǎng)、移動(dòng)應(yīng)用以及ERP應(yīng)用集成建設(shè)持續(xù)推進(jìn)將產(chǎn)生海量數(shù)據(jù)，同時(shí)云的建設(shè)極大提高IT資源靈活部署能力和數(shù)據(jù)計(jì)算能力，對(duì)底層存儲(chǔ)架構(gòu)的高效性、可擴(kuò)展性及智能性提出更高的要求。

軟件定義存儲(chǔ)為基于容量的存儲(chǔ)提供了虛擬化和自動(dòng)化，對(duì)內(nèi)部磁盤、閃存系統(tǒng)和外部存儲(chǔ)系統(tǒng)等來自不同地點(diǎn)的物理存儲(chǔ)容量進(jìn)行聯(lián)邦式管理，通過全面的企業(yè)級(jí)功能支持高性能和數(shù)據(jù)密集型工作負(fù)載，結(jié)合閃存的高I/O性能以及硬盤智能分層技術(shù)能夠大大提高系統(tǒng)性能［2］。油氣公司開始通過部署軟件定義存儲(chǔ)來解決數(shù)據(jù)量激增和存儲(chǔ)架構(gòu)靈活性的問題。

1　軟件定義存儲(chǔ)概述

1.1軟件定義存儲(chǔ)含義

數(shù)據(jù)中心存儲(chǔ)架構(gòu)從最初的為滿足關(guān)鍵系統(tǒng)的性能與容量需求的豎井式存儲(chǔ)架構(gòu)，發(fā)展到以虛擬化架構(gòu)來整合數(shù)據(jù)中心的存儲(chǔ)資源，提供按需的存儲(chǔ)服務(wù)和自動(dòng)化運(yùn)維，并進(jìn)一步向存儲(chǔ)系統(tǒng)的智能化、敏捷化演進(jìn)。近年來，軟件定義網(wǎng)絡(luò)、軟件定義數(shù)據(jù)中心等新技術(shù)革新了基礎(chǔ)設(shè)施架構(gòu)，同樣軟件定義的理念被引入到存儲(chǔ)領(lǐng)域，軟件定義存儲(chǔ)架構(gòu)是存儲(chǔ)虛擬化后的進(jìn)一步發(fā)展［3］。

軟件定義存儲(chǔ)（Software Defined Storage，SDS）基于存儲(chǔ)的虛擬化，將存儲(chǔ)應(yīng)用程序移出每個(gè)陣列控制器并移進(jìn)存儲(chǔ)虛擬機(jī)管理程序或者存儲(chǔ)虛擬化服務(wù)器，實(shí)現(xiàn)各種存儲(chǔ)資源的軟件定義，以服務(wù)的形式提供給應(yīng)用，滿足應(yīng)用按需自動(dòng)化使用存儲(chǔ)的需求［4］。從軟件定義存儲(chǔ)的含義可以看出，其以存儲(chǔ)虛擬化為基礎(chǔ)向存儲(chǔ)智能化有了進(jìn)一步的發(fā)展。存儲(chǔ)虛擬化一般只能在專門的硬件設(shè)備上使用，很多量身定做的設(shè)備才能進(jìn)行存儲(chǔ)虛擬化，而軟件定義存儲(chǔ)則沒有設(shè)備限制。軟件定義的存儲(chǔ)是現(xiàn)有操作系統(tǒng)和管理軟件的結(jié)合，能夠完整地實(shí)現(xiàn)用戶對(duì)存儲(chǔ)系統(tǒng)的部署、管理、監(jiān)控、調(diào)整等多個(gè)要求，為存儲(chǔ)系統(tǒng)帶來靈活、自由和高可用等特點(diǎn)。其優(yōu)點(diǎn)主要包括：①形成存儲(chǔ)資源池，采用低成本的商用存儲(chǔ)硬件，降低采購成本；②可線性擴(kuò)展的容量和性能，應(yīng)用閃存技術(shù)最高可達(dá)數(shù)百萬IOPS；③彈性基礎(chǔ)架構(gòu)，高可用和安全性，通過跨服務(wù)器的數(shù)據(jù)冗余機(jī)制，保障了多臺(tái)服務(wù)器同時(shí)故障的情況下，數(shù)據(jù)仍然可讀寫、不丟失；④具有高度自動(dòng)化，易于配置和管理，提供基于服務(wù)的基礎(chǔ)設(shè)施分配，按不同應(yīng)用特征優(yōu)化工作負(fù)載和存儲(chǔ)資源。

1.2軟件定義存儲(chǔ)相關(guān)產(chǎn)品

軟件定義存儲(chǔ)產(chǎn)品的廠商排名里既有傳統(tǒng)的硬件供應(yīng)商，如EMC、IBM、HP等，也有新興的初創(chuàng)公司，如Nexenta、Tintri、Solidfire等。以軟件定義存儲(chǔ)技術(shù)為代表的新一代存儲(chǔ)革新需求一方面讓老牌企業(yè)正在走出技術(shù)鎖定的老路，另一方面也使新興企業(yè)憑借開放的創(chuàng)新切入新需求市場(chǎng)。

由于不像軟件定義網(wǎng)絡(luò)那樣較早地建立起了業(yè)界標(biāo)準(zhǔn)，當(dāng)前各廠商在軟件定義存儲(chǔ)上的技術(shù)發(fā)展表現(xiàn)各異。供應(yīng)商的軟件定義存儲(chǔ)技術(shù)實(shí)現(xiàn)可以歸納為數(shù)據(jù)保持、數(shù)據(jù)服務(wù)和數(shù)據(jù)消費(fèi)三層。數(shù)據(jù)保持層是指存儲(chǔ)媒介對(duì)數(shù)據(jù)存儲(chǔ)方法的優(yōu)化，如RAID、糾刪碼等；數(shù)據(jù)服務(wù)層是指存儲(chǔ)媒介對(duì)數(shù)據(jù)活動(dòng)的優(yōu)化，如重刪、備份、壓縮、加密等；數(shù)據(jù)消費(fèi)層是指數(shù)據(jù)的訪問接口，如塊存儲(chǔ)、文件存儲(chǔ)、對(duì)象存儲(chǔ)、Hadoop系統(tǒng)等。

軟件定義存儲(chǔ)要求數(shù)據(jù)控制與管理的解耦表現(xiàn)為這三層服務(wù)的獨(dú)立，技術(shù)實(shí)現(xiàn)不存在相互依賴關(guān)系。由于經(jīng)過了虛擬化和抽象，數(shù)據(jù)服務(wù)得以從物理存儲(chǔ)設(shè)備中分離出來，可以按需動(dòng)態(tài)創(chuàng)建，具有很大的靈活性。同時(shí)創(chuàng)建的數(shù)據(jù)服務(wù)可以根據(jù)軟件定義存儲(chǔ)控制器統(tǒng)一調(diào)度，運(yùn)行在任何一個(gè)合適的服務(wù)器或存儲(chǔ)設(shè)備上。

2　油氣行業(yè)存儲(chǔ)現(xiàn)狀及需求分析

油氣行業(yè)的海量數(shù)據(jù)不只存在于勘探領(lǐng)域，隨著業(yè)務(wù)的發(fā)展以及信息系統(tǒng)的深化應(yīng)用，煉油與化工、銷售、天然氣與管道等領(lǐng)域的數(shù)據(jù)量也在指數(shù)級(jí)增長。油氣行業(yè)的信息系統(tǒng)多采用SAN存儲(chǔ)架構(gòu)，少數(shù)采用NAS存儲(chǔ)架構(gòu)，存儲(chǔ)設(shè)備多為磁盤陣列和磁帶庫。隨著業(yè)務(wù)的發(fā)展，傳統(tǒng)的FC SAN存儲(chǔ)數(shù)量多、組網(wǎng)復(fù)雜、成本高、存儲(chǔ)功能單一等弊端逐漸顯現(xiàn)。一方面，采購的國外供應(yīng)商產(chǎn)品經(jīng)常出現(xiàn)非標(biāo)準(zhǔn)機(jī)柜需要改造數(shù)據(jù)中心或FC網(wǎng)絡(luò)的問題，且高端存儲(chǔ)采購周期較長，維護(hù)周期較長。其次還存在部分高端存儲(chǔ)系統(tǒng)橫向擴(kuò)展能力差，支持新業(yè)務(wù)的靈活度差，在業(yè)務(wù)量激增的大環(huán)境下存儲(chǔ)容量和性能的提升時(shí)間慢且花費(fèi)昂貴等問題。

2.1物聯(lián)網(wǎng)、ERP應(yīng)用集成建設(shè)的需求

物聯(lián)網(wǎng)項(xiàng)目在油氣公司各業(yè)務(wù)領(lǐng)域正在有序開展穩(wěn)步推進(jìn)，建立起包括感知層、傳輸層和數(shù)據(jù)管理平臺(tái)層的總體架構(gòu)，部署了RFID等物聯(lián)設(shè)備，實(shí)現(xiàn)現(xiàn)場(chǎng)生產(chǎn)數(shù)據(jù)的自動(dòng)采集、生產(chǎn)運(yùn)行的實(shí)時(shí)監(jiān)控。物聯(lián)網(wǎng)系統(tǒng)通過傳感器、視頻、移動(dòng)終端、電子標(biāo)簽等數(shù)據(jù)采集工具實(shí)時(shí)采集設(shè)備狀態(tài)、生產(chǎn)運(yùn)行、人員、安全、監(jiān)控、物流和銷售等數(shù)據(jù)，通過有線和無線的方式傳輸?shù)綌?shù)據(jù)管理平臺(tái)，為各業(yè)務(wù)領(lǐng)域的相關(guān)系統(tǒng)應(yīng)用提供數(shù)據(jù)。ERP應(yīng)用集成系統(tǒng)構(gòu)建了統(tǒng)一、穩(wěn)定、可靠的數(shù)據(jù)共享平臺(tái)，將各業(yè)務(wù)板塊分散的信息系統(tǒng)數(shù)據(jù)匯聚在一起，形成了體積龐大的生產(chǎn)經(jīng)營數(shù)據(jù)集合。物聯(lián)網(wǎng)和ERP應(yīng)用集成項(xiàng)目的建設(shè)導(dǎo)致企業(yè)數(shù)據(jù)以前所未有的速度迅猛增長，數(shù)據(jù)的存放、管理、優(yōu)化、利用成為難題，傳統(tǒng)的存儲(chǔ)架構(gòu)在靈活可擴(kuò)展和自動(dòng)化程度方面難以滿足實(shí)際需求。

2.2建設(shè)云的需求

石油企業(yè)的云平臺(tái)也在不斷完善提升，已經(jīng)形成全局性云管理平臺(tái)和共享式資源池，同時(shí)構(gòu)建互為備份的“兩地三中心”體系，能夠滿足各業(yè)務(wù)系統(tǒng)對(duì)大量計(jì)算資源以及應(yīng)用靈活部署的需求。在云環(huán)境中IT資源以服務(wù)的形式提供，要求存儲(chǔ)架構(gòu)具備足夠的靈活性和可擴(kuò)展性以應(yīng)對(duì)動(dòng)態(tài)變化的隨機(jī)環(huán)境，在不顯著增加數(shù)據(jù)中心占地面積的前提下滿足日益增長的存儲(chǔ)架構(gòu)需求，同時(shí)應(yīng)具備提供隨需變化的服務(wù)等級(jí)、精確控制、快速部署和調(diào)整存儲(chǔ)資源的能力。

2.3部署大數(shù)據(jù)的需求

為了應(yīng)對(duì)物聯(lián)網(wǎng)系統(tǒng)產(chǎn)生的海量傳感數(shù)據(jù)、各業(yè)務(wù)系統(tǒng)積累的巨量生產(chǎn)經(jīng)營歷史數(shù)據(jù)，油氣行業(yè)將在“十三五”期間部署大數(shù)據(jù)項(xiàng)目，挖掘數(shù)據(jù)中的隱性知識(shí)、潛在規(guī)律以及背后的商業(yè)機(jī)會(huì)。但是大數(shù)據(jù)也對(duì)現(xiàn)有的基礎(chǔ)設(shè)施，對(duì)各種資源包括計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)都提出了更高的需求，特別是數(shù)據(jù)存儲(chǔ)需要變得更為靈活、富有彈性，能夠適應(yīng)大數(shù)據(jù)分析對(duì)I/O的動(dòng)態(tài)需求。

2.4業(yè)務(wù)發(fā)展的需求

由于近年業(yè)務(wù)規(guī)模發(fā)展迅猛，油氣公司每年均需要購置大量的存儲(chǔ)空間以存放地震及其他生產(chǎn)數(shù)據(jù)。由于原始數(shù)據(jù)量大、計(jì)算密集，運(yùn)算過程又產(chǎn)生更多“中間數(shù)據(jù)”，因此需要高吞吐、高可靠、高擴(kuò)展能力的海量并行存儲(chǔ)系統(tǒng)以及高性能計(jì)算HPC集群系統(tǒng)。為提高HPC計(jì)算集群系統(tǒng)的CPU利用率，企業(yè)加大應(yīng)用作業(yè)密度，因此在作業(yè)處理高峰時(shí)段，出現(xiàn)了數(shù)據(jù)讀寫較為緩慢、處理系統(tǒng)效率降低的現(xiàn)象，并為數(shù)據(jù)中心節(jié)能降耗增加壓力。

3　軟件定義存儲(chǔ)在油氣行業(yè)的應(yīng)用模式

軟件定義存儲(chǔ)的解決方案一般為包括軟件和硬件兩部分，其中軟件為分布式文件系統(tǒng)，對(duì)外提供統(tǒng)一的、標(biāo)準(zhǔn)的存儲(chǔ)服務(wù)。存儲(chǔ)硬件系統(tǒng)主要由大容量、低成本的存儲(chǔ)陣列與閃存陣列組成。方案將元數(shù)據(jù)與生產(chǎn)數(shù)據(jù)分離，全閃存陣列承擔(dān)關(guān)鍵業(yè)務(wù)負(fù)載，存放元數(shù)據(jù)，海量的生產(chǎn)數(shù)據(jù)或者冷數(shù)據(jù)則存儲(chǔ)在磁盤陣列上。軟件定義存儲(chǔ)系統(tǒng)所有組件都是松耦合的關(guān)系，交換、存儲(chǔ)等不同模塊可以自由組合，提高存儲(chǔ)架構(gòu)的伸縮性。解決方案以軟件形式實(shí)現(xiàn)并發(fā)存儲(chǔ)訪問、數(shù)據(jù)的分層以及數(shù)據(jù)在不同層級(jí)間的遷移，具備靈活的配置和功能調(diào)整能力，實(shí)現(xiàn)針對(duì)客戶的具體需求進(jìn)行調(diào)整和優(yōu)化。軟件定義存儲(chǔ)在油氣行業(yè)的應(yīng)用可以包括以下幾點(diǎn)。

3.1推動(dòng)存儲(chǔ)虛擬化向軟件定義存儲(chǔ)轉(zhuǎn)變

云技術(shù)平臺(tái)以及災(zāi)難恢復(fù)系統(tǒng)均采用基于存儲(chǔ)設(shè)備的虛擬化技術(shù)構(gòu)建了存儲(chǔ)虛擬化資源池。而實(shí)現(xiàn)存儲(chǔ)資源的有效共享，降低使用成本，進(jìn)一步提升存儲(chǔ)系統(tǒng)的智能化，實(shí)現(xiàn)存儲(chǔ)容量、性能、QoS（服務(wù)質(zhì)量，Quality of Service）等服務(wù)的按需供給，則需要應(yīng)用軟件定義存儲(chǔ)技術(shù)對(duì)存儲(chǔ)資源進(jìn)行全面管理。通過軟件定義存儲(chǔ)簡化網(wǎng)絡(luò)和硬件的復(fù)雜度，降低采購和維護(hù)成本，通過分布式存儲(chǔ)實(shí)現(xiàn)成本更低的安全容災(zāi)。

3.2利用閃存推動(dòng)存儲(chǔ)智能分層，提升系統(tǒng)性能

依據(jù)企業(yè)業(yè)務(wù)現(xiàn)狀，運(yùn)用存儲(chǔ)智能分層技術(shù)設(shè)置分層策略，構(gòu)造高效的存儲(chǔ)系統(tǒng)。在存儲(chǔ)Tier1層應(yīng)用閃存，負(fù)責(zé)核心業(yè)務(wù)數(shù)據(jù)存儲(chǔ)；Tier2層為普通存儲(chǔ)介質(zhì)，負(fù)責(zé)日常數(shù)據(jù)或者冷數(shù)據(jù)存儲(chǔ)。首先將熱數(shù)據(jù)寫入Tier1層，然后等待數(shù)據(jù)稍冷數(shù)據(jù)會(huì)被遷移到Tier2層。通過智能分層和閃存技術(shù)實(shí)現(xiàn)多種存儲(chǔ)設(shè)備的優(yōu)化應(yīng)用，提升信息系統(tǒng)性能，降低硬件成本。

3.3將閃存利用作為數(shù)據(jù)中心降低能耗的途徑之一

油氣公司在全球擁有數(shù)十個(gè)數(shù)據(jù)中心，每年為全球各地的數(shù)據(jù)中心支付電費(fèi)數(shù)額已十分驚人，數(shù)據(jù)中心的節(jié)能降耗成為信息化治理的重要工作。閃存除了具有高效的讀寫性能，而且不像磁盤那樣轉(zhuǎn)動(dòng)，不會(huì)產(chǎn)生摩擦，本身就比較節(jié)能。閃存沒有機(jī)械部件，可以成倍地傳送數(shù)據(jù)，節(jié)約了機(jī)架磁盤，數(shù)據(jù)中心可節(jié)省更多的空間可用于CPU數(shù)據(jù)處理。利用閃存提高數(shù)據(jù)存儲(chǔ)效率，縮短服務(wù)器運(yùn)行時(shí)間，促進(jìn)數(shù)據(jù)中心降低能耗。

4　結(jié)語

軟件定義存儲(chǔ)將各種存儲(chǔ)資源以服務(wù)的形式提供給應(yīng)用，實(shí)現(xiàn)對(duì)存儲(chǔ)系統(tǒng)的部署、管理、監(jiān)控、調(diào)整，為油氣行業(yè)夯實(shí)IaaS建設(shè)、推進(jìn)PaaS建設(shè)并實(shí)現(xiàn)靈活的SaaS部署，支持上層各業(yè)務(wù)領(lǐng)域的商務(wù)智能、深度分析以及上下游產(chǎn)業(yè)鏈整體優(yōu)化提供了支撐。油氣行業(yè)應(yīng)基于存儲(chǔ)虛擬化資源池向軟件定義存儲(chǔ)轉(zhuǎn)變，進(jìn)一步提升存儲(chǔ)系統(tǒng)的靈活性和智能化水平。將軟件定義存儲(chǔ)的部署納入云管理平臺(tái)進(jìn)行統(tǒng)一規(guī)劃、統(tǒng)一設(shè)計(jì)，制定軟硬件技術(shù)標(biāo)準(zhǔn)、接口標(biāo)準(zhǔn)，實(shí)現(xiàn)集團(tuán)級(jí)、區(qū)域級(jí)與地區(qū)公司級(jí)數(shù)據(jù)中心存儲(chǔ)資源的共享及全局范圍的資源優(yōu)化配置。

主要參考文獻(xiàn)

［1］陸游游，舒繼武.閃存存儲(chǔ)系統(tǒng)綜述［J］.計(jì)算機(jī)研究與發(fā)展，2013，50 （1）：49-59.

［2］詹明非.軟件定義存儲(chǔ)技術(shù)及其應(yīng)用研究［J］.電信技術(shù)，2014（12）：30-32.

［3］毛健彪，韓彪，孫志剛，等.支持高效管理的軟件定義DCN控制架構(gòu)［J］.北京郵電大學(xué)學(xué)報(bào)，2015，38（5）：109-112，117.

［4］孫振正，龔靖，段勇，等.面向下一代數(shù)據(jù)中心的軟件定義存儲(chǔ)技術(shù)研究［J］.電信科學(xué)，2014，30（1）：39-43.

10.3969/j.issn.1673-0194.2016.11.103

TP309.3

A

1673-0194（2016）11-0172-03

2016-04-26

張春生（1982-），男，河北雄縣人，工程師，博士，主要研究方向：油氣行業(yè)信息技術(shù)應(yīng)用、規(guī)劃。