金 弟, 莊錫進, 王啟迪, 曹曉初, 王宗仁

(中國石油杭州地質研究院 計算機應用研究所, 杭州 310023)

地震資料數(shù)據(jù)備份系統(tǒng)建設①

金 弟, 莊錫進, 王啟迪, 曹曉初, 王宗仁

(中國石油杭州地質研究院 計算機應用研究所, 杭州 310023)

地震資料數(shù)據(jù)安全成為油氣勘探領域判斷油氣藏的位置、規(guī)模等特性的關鍵因素. 數(shù)據(jù)備份是數(shù)據(jù)安全的重要組成部分, 通過分析地震勘探業(yè)務需求, 結合現(xiàn)有地震資料處理解釋應用系統(tǒng)實際現(xiàn)狀, 提出了一種基于分級的數(shù)據(jù)備份系統(tǒng)解決方案. 該方案能有效解決各類地震資料數(shù)據(jù)的集中備份與恢復、地震資料處理解釋應用系統(tǒng)的存儲子系統(tǒng)后備擴容以及不同存儲級間的數(shù)據(jù)遷移等用戶需求, 從而確保油氣勘探的數(shù)據(jù)安全.

地震資料數(shù)據(jù); 數(shù)據(jù)備份系統(tǒng); 分級存儲; 備份策略

地震勘探技術是油氣地球物理勘探領域主要手段,其地震資料是基礎數(shù)據(jù), 是石油企業(yè)的重要資源[1].作者所在單位目前已擁有比較完善的地震資料處理解釋應用系統(tǒng), 但隨著地震資料數(shù)據(jù)量的迅猛增長而產生的數(shù)據(jù)安全問題也日益突出. 隨著地震數(shù)據(jù)規(guī)模擴大與業(yè)務系統(tǒng)復雜性增加, 為了避免或降低不可預測的數(shù)據(jù)丟失而產生的損失, 建立一套安全、可靠、高效、便捷的完整地震資料數(shù)據(jù)備份系統(tǒng)至關重要.

1 需求及應用系統(tǒng)現(xiàn)狀

1.1 地震勘探業(yè)務需求

地震資料的采集、處理、解釋是地震勘探業(yè)務的三個關鍵環(huán)節(jié), 分別對應三類核心業(yè)務系統(tǒng), 分別涉及三類地震數(shù)據(jù). 業(yè)務流程如圖1, 具有以下需求特點:

圖1 地震勘探業(yè)務流程

(1) 原始采集的地震數(shù)據(jù)是海量數(shù)據(jù). 隨著萬道地震技術發(fā)展、地震觀測采樣精度提高, 原始采集數(shù)據(jù)容量越來越大, 例如采集數(shù)據(jù)面元3.125m*3.125m、采樣率1ms、覆蓋次數(shù)120次、滿覆蓋面積100km2的數(shù)據(jù)容量約40TB.

(2) 處理與解釋中間過程產生地震數(shù)據(jù)規(guī)模大、數(shù)據(jù)遷移頻繁. 地震數(shù)據(jù)在地震資料處理與解釋業(yè)務系統(tǒng)過程中, 通過計算節(jié)點集群的并行計算, 中間額外產生海量地震數(shù)據(jù). 尤其是地震資料處理應用系統(tǒng),例如10TB采集地震數(shù)據(jù), 通過各個處理模塊, 額外產生大概30TB的中間地震數(shù)據(jù).

(3) 處理解釋過程中與地震數(shù)據(jù)對應的的井、層位、斷層等數(shù)據(jù)以數(shù)據(jù)庫方式存儲.

(4) 數(shù)據(jù)規(guī)模增長迅速. 隨著各類應用系統(tǒng)建設、地震資料處理解釋在機項目與工區(qū)的日益增多, 數(shù)據(jù)每年以10%以上的規(guī)模增加.

1.2 現(xiàn)有應用系統(tǒng)環(huán)境

作者所在單位部署了64節(jié)點處理系統(tǒng)、128節(jié)點處理系統(tǒng)、256節(jié)點處理系統(tǒng)等地震資料處理應用系統(tǒng)與基于協(xié)同體系架構的地震資料解釋系統(tǒng)(簡稱解釋系統(tǒng)), 其存儲子系統(tǒng)達到PB級以上, 采用SAN架構, 利用存儲主機群多I/O節(jié)點與并行文件系統(tǒng)構建高性能并行I/O.

2 體系結構

地震資料數(shù)據(jù)備份系統(tǒng)設計不改變及影響現(xiàn)有應用系統(tǒng)的環(huán)境與運行, 利用地震資料處理解釋應用系統(tǒng)存儲主機群中的部分I/O節(jié)點作為介質服務器, 采用分級存儲模式思路構建. 依據(jù)各級的需求、特點, 采用不同的存儲架構、存儲性能容量、技術方法, 實現(xiàn)數(shù)據(jù)備份至不同級的存儲上, 不同存儲級間的數(shù)據(jù)方便高效遷移, 分級存儲描述如表1. 地震資料數(shù)據(jù)備份系統(tǒng)分為備份數(shù)據(jù)存儲、備份服務器和客戶端三部分,體系結構如圖2.

表1 分級存儲描述

圖2 地震資料數(shù)據(jù)備份系統(tǒng)體系架構

(1) 備份數(shù)據(jù)存儲是系統(tǒng)的數(shù)據(jù)存儲中心. 由存儲主機群、并行文件系統(tǒng)、SAN存儲網(wǎng)絡、磁盤存儲搭建的基于并行高性能的目標磁盤存儲子系統(tǒng)(簡稱目標存儲), 作為一級在線存儲(簡稱一級存儲)與二級近線存儲(簡稱二級存儲). 由基于FC接口的多磁帶驅動器構建LAN-Free[2]模式的基于并行智能的目標磁帶庫存儲子系統(tǒng)(簡稱目標帶庫), 作為三級離線存儲(簡稱三級存儲). 不同存儲級間的數(shù)據(jù)根據(jù)用戶需求方便高效遷移.

(2) 備份服務器采用Master/Slave結構, 由一個主服務器和一定數(shù)量的介質服務器組成. 主服務器集中配置與管理備份策略、控制通路及驅動介質, 通過策略管理負責數(shù)據(jù)備份與恢復作業(yè)的統(tǒng)一集中調度與監(jiān)控管理, 是數(shù)據(jù)備份管理核心. 介質服務器是數(shù)據(jù)備份與恢復作業(yè)時實際的I/O驅動與執(zhí)行, 從主服務器接收備份與恢復信息, 通過SAN數(shù)據(jù)通路直接驅動對存儲介質讀寫, 運行在LAN-Free模式下, 主要用于地震數(shù)據(jù)文件的備份與恢復.

(3) 客戶端通過LAN網(wǎng)絡將被備份數(shù)據(jù)傳送給介質服務器, 運行在LAN 模式下, 用于數(shù)據(jù)庫的備份與恢復.

3 備份數(shù)據(jù)存儲

3.1 分級存儲

如圖2, 目標存儲的存儲主機群接入現(xiàn)有應用系統(tǒng)的LAN網(wǎng)絡, 目標存儲的SAN網(wǎng)絡與現(xiàn)有應用系統(tǒng)的SAN網(wǎng)絡級聯(lián), 構建目標存儲的存儲主機群與源磁盤存儲的存儲主機群相同的I/O執(zhí)行角色, 實現(xiàn)常規(guī)數(shù)據(jù)備份與一級存儲作為現(xiàn)有應用系統(tǒng)的存儲子系統(tǒng)后備擴容. 采用SNFS并行文件系統(tǒng)命名服務[3], 通過對應用系統(tǒng)中的計算節(jié)點、解釋工作站及數(shù)據(jù)庫節(jié)點掛載與卸載目標存儲并行文件系統(tǒng)客戶端服務等授權配置, 完成一級存儲與二級存儲的互相轉化, 避免數(shù)據(jù)在實際存儲位置上的遷移.

三級離線存儲采用目標磁帶庫存儲子系統(tǒng)的多磁帶驅動器的FC接口接入不同源磁盤存儲的SAN網(wǎng)絡,搭建基于LAN-Free的多驅動器并行I/O讀寫磁帶的備份方式與數(shù)據(jù)遷移. 不同級存儲間的數(shù)據(jù)遷移方法如圖3.

3.2 并行存儲

合理優(yōu)化的數(shù)據(jù)存儲組織方式是高效的存儲訪問機制的前提條件, 高效的存儲訪問機制對數(shù)據(jù)存儲組織方式中的存儲單元I/O性能得到最大發(fā)揮. 作為應用系統(tǒng)存儲子系統(tǒng)的后備擴容功能, 對磁盤存儲子系統(tǒng)I/O性能要求非常高的一級與二級存儲采用并行存儲設計, 其核心為存儲組織方式與存儲訪問機制.

3.2.1 存儲組織方式

存儲組織方式實現(xiàn)從物理層的磁盤驅動器到邏輯層的并行文件系統(tǒng)的各個環(huán)節(jié)中存儲元素的分布式組織布局. 本文基于Quantum QD6000[4]磁盤陣列設計的數(shù)據(jù)組織方式如下.

(1) 存儲單元物理層設計.

1) 磁盤驅動器布局. 一個磁盤柜共有5個抽屜,編號為D1至D5, 每個抽屜共有磁盤驅動器12個,編號為S1至S12, 如圖4所示. 每個磁盤柜采用滿配60個3TB磁盤驅動器, 通過2個磁盤柜級聯(lián)方式實現(xiàn)磁盤驅動器擴容構成360TB存儲裸容量.

2) RAID組規(guī)劃. 每個抽屜抽取2塊磁盤驅動器, 5個抽屜共10塊磁盤驅動器構建一個8+2的RAID6方式. 每個抽屜抽取方法為: (S1,S4), (S2,S5), (S3,S6), (S7,S10), (S8,S11), (S9,S12), 一個磁盤柜劃分6個RAID組.

(2) 存儲單元邏輯層設計.

1) LUN生成與映射. 對物理層設計的每個RAID組, 劃分2個LUN, 每個LUN的裸容量為12TB, 一個磁盤柜生成12個邏輯單元LUN. 通過LUN至主機端映射實現(xiàn)存儲主機對LUN的識別.

圖3 不同級存儲數(shù)據(jù)遷移

圖4 磁盤驅動器布局

2) 并行文件系統(tǒng)生成. 在一個磁盤柜中, 存儲主機端識別的LUN采用奇偶方法分成二組LUN集, 每組LUN集對應一個并行文件系統(tǒng)所屬的所有LUN,使用Quantum StorNex[3]生成二個并行文件系統(tǒng).

3.2.2 存儲訪問機制

針對存儲元素的分布式分層優(yōu)化組織特點, 為了充分提升存儲元素的讀寫性能, 存儲訪問模式基于并行機制的存儲主機群、多端口、多路徑模式. 如圖5所示, 計算節(jié)點集群的N個并行客戶端請求通過Quantum StorNext的DLS[3]機制負載均衡到n個存儲主機, 實現(xiàn)文件級并行I/O. 每個存儲主機的I/O數(shù)據(jù)流從HBA卡接口經(jīng)SAN網(wǎng)絡至存儲控制器的多個存儲主機FC接口的路徑有多條, 采用IBM RDAC軟件進行多路徑管理, 實現(xiàn)LUN級并行I/O訪問機制.

3.3 智能磁帶庫

智能磁帶庫使用Quantum Scalar i6000[5], 雙機械臂配置, 8個基于LTO Ultrium6協(xié)議標準的并行磁帶驅動器, 500槽位, 單盤非壓縮容量為2.5TB. 針對現(xiàn)有應用系統(tǒng)的特點, 采用磁帶庫邏輯分區(qū)技術分為4個區(qū)對應4套應用系統(tǒng)的數(shù)據(jù)備份. 磁帶庫邏輯分區(qū)實現(xiàn)一臺物理帶庫在功能上模擬多臺物理帶庫使用, 分別備份或恢復不同應用系統(tǒng)的源數(shù)據(jù).

磁帶庫的I/O接口拓撲如圖6所示, LTO-1至LTO-8 8個磁帶驅動器并行讀寫4個區(qū)中的磁帶數(shù)據(jù), 10臺介質服務通過FC接口共享8個磁帶驅動器, 扮演實際的帶庫I/O節(jié)點角色, 向磁帶驅動器發(fā)送磁帶讀寫指令.

4 備份服務器

4.1 服務器部署

鑒于應用系統(tǒng)是Linux操作系統(tǒng)以及地震資料數(shù)據(jù)的特點, 選擇Symantec NetBackup7.6(簡稱NBU)作為企業(yè)級數(shù)據(jù)備份管理軟件. 基于NBU的服務器部署分為主服務器與介質服務器二部分. 主服務器采用一臺IBM X3650服務器, 包括安裝NBU主服務器端軟件、配置/etc/hosts、/usr/openv/netbackup/bp.conf、自動啟動和關閉服務腳本、添加許可密鑰與介質服務器名稱等.

由圖6可知, 4套應用系統(tǒng)的8個存儲主機與2個目標存儲的存儲主機共10臺介質服務器, 實現(xiàn)了冗余介質服務器部署. 備份作業(yè)自動選擇最不繁忙的介質服務器、I/O負載均衡以及消除介質服務器單點故障,提升備份性能與可靠性. 安裝配置NBU介質服務器包括介質服務器軟件安裝、存儲設備識別、許可密鑰添加、自動啟動和關閉服務腳本等.

4.2 策略設計

策略設計是數(shù)據(jù)備份系統(tǒng)的一個重要環(huán)節(jié), 是定義備份任務執(zhí)行的一種方法, 設計完策略后, 無需人工進行干涉, 備份系統(tǒng)自動按時備份各類數(shù)據(jù). 策略設計主要從存儲策略、備份策略二方面來考慮制定.

(1) 存儲策略.

制定不同的客戶端數(shù)據(jù)寫入相應的備份池中, 根據(jù)應用類型區(qū)別劃分為64節(jié)點處理系統(tǒng)、128節(jié)點處理系統(tǒng)、256節(jié)點處理系統(tǒng)、解釋系統(tǒng)等四個存儲池.每個存儲池包含多個物理存儲卷, 每個物理存儲卷是磁帶或文件系統(tǒng). 通過NBU的Storage Unit[6]進行存儲策略的配置.

(2) 備份策略.

備份策略管理是NBU管理最重要的部分, 通過NBU控制臺的Policy[6]進行備份策略定義, 實現(xiàn)既保留足夠長時間內的備份數(shù)據(jù)又保證備份介質合理循環(huán)利用.

圖5 存儲訪問模式

圖6 磁帶庫接口拓撲

完全備份(full backup)對數(shù)據(jù)進行完整備份, 恢復時不依賴其他任何數(shù)據(jù), 缺點是備份數(shù)據(jù)量大、備份時間長. 增量備份(incremental backup)從上一次備份后的變化數(shù)據(jù), 備份數(shù)據(jù)量小, 但是依賴上次全備份及之后每次的備份數(shù)據(jù). 差異備份(differential backup)備份上次全備份之后的所有變化數(shù)據(jù), 只依賴上次全備份的數(shù)據(jù), 備份數(shù)據(jù)量比增量備份大. 針對上述三種備份策略的優(yōu)缺點, 結合備份數(shù)據(jù)的特點, 采用3種結合方式, 描述如表2.

表2 備份策略

磁帶介質的好處是單盤磁帶成本低、取出做永久保留、尤其是通過增加磁帶數(shù)量的方式實現(xiàn)磁帶庫存儲容量規(guī)模不受限制. 所以除了表2描述的備份策略外, 在一級存儲與二級存儲上以磁盤方式存儲的備份數(shù)據(jù), 增加在一定時間或磁盤空間到達設定閥值后,磁盤數(shù)據(jù)自動導入到三級存儲磁帶介質上的策略.

5 客戶端

NBU客戶端軟件安裝配置在應用系統(tǒng)的數(shù)據(jù)庫節(jié)點, 實現(xiàn)對應用系統(tǒng)數(shù)據(jù)庫的備份和恢復. 對地震資料處理解釋業(yè)務系統(tǒng)的Oracle數(shù)據(jù)庫備份和恢復進行配置. NBU 將 Oracle 恢復管理器 (RMAN) 的數(shù)據(jù)庫備份和恢復功能與 NBU的備份和恢復管理功能集成在一起[7], 配置流程如下.

(1) 建立鏈接. 編輯運行/usr/openv/ netbackup/ bin/下的 oracle_link 腳本. 將 Oracle Server 軟件與NBU for Oracle 安裝的NBU API 庫鏈接. Oracle 在需要讀寫NBU介質管理器支持的設備時使用此庫.

(2) 定制備份腳本. 編制RMAN 要在客戶端上執(zhí)行的數(shù)據(jù)庫備份命令Shell腳本, NBU通過在 Oracle策略的文件列表中指定該腳本來啟動數(shù)據(jù)庫備份.

(3) 創(chuàng)建備份策略. 制定策略類型Oracle、存儲位置、備份周期、保留周期、選擇備份客戶端等配置數(shù)據(jù)庫備份策略.

6 性能測試與分析

為檢測本文所設計系統(tǒng)的性能, 分別對一級在線存儲、二級近線存儲、三級離線存儲進行數(shù)據(jù)備份與恢復測試, 其中一級在線存儲與二級近線存儲在數(shù)據(jù)備份與恢復性能測試方面是相同的, 所以只給出一級存儲的數(shù)據(jù)備份與恢復測試.

圖7圖8是針對不同應用系統(tǒng)測試100GB數(shù)據(jù)的備份與恢復. 一級存儲的數(shù)據(jù)備份與恢復速度范圍168MB/S至583MB/S, 其性能明顯高于三級離線存儲的數(shù)據(jù)備份與恢復速度范圍95MB/S至252MB/S, 滿足地震數(shù)據(jù)備份系統(tǒng)的分級存儲的用戶需求. 一級存儲的文件備份與恢復速度范圍556MB/S至583MB/S,其性能明顯高于一級存儲的數(shù)據(jù)庫備份與恢復速度范圍168MB/S至210MB/S; 三級存儲的文件備份與恢復速度范圍161MB/S至252MB/S, 其性能明顯高于三級存儲的數(shù)據(jù)庫備份與恢復速度范圍95MB/S至122MB/S, 充分體現(xiàn)LAN-Free模式比LAN模式具有的備份優(yōu)勢.

圖7 一級(二級)存儲的數(shù)據(jù)備份與恢復

圖8 三級存儲的數(shù)據(jù)備份與恢復

圖9 是基于并行存儲技術設計的一級存儲作為256節(jié)點處理系統(tǒng)的存儲子系統(tǒng)的后備擴容時, 使用IOzone[8]測試不同計算節(jié)點I/O請求時的聚合吞吐量讀為4.2GB/S至4.6GB/S, 聚合吞吐量寫為4.4GB/S至4.7GB/S, 滿足地震資料處理解釋應用系統(tǒng)對高吞吐量要求.

表3為測試200GB文件在不同存儲級間的數(shù)據(jù)遷移, 可以看出讀磁帶速度最低為182MB/S, 并行文件系統(tǒng)級的數(shù)據(jù)遷移速度最高為605MB/S, 達到備份系統(tǒng)分級存儲的設計需求.

圖9 一級存儲聚合吞吐量

表3 不同存儲級間數(shù)據(jù)遷移測試

7 結語

利用本文設計的數(shù)據(jù)備份系統(tǒng)已累計備份各類地震勘探業(yè)務數(shù)據(jù)達500TB, 作為應用系統(tǒng)存儲后備擴容使用容量為150TB, 不同存儲級數(shù)據(jù)遷移20多余次共計容量600TB. 實踐證明該方案很好的保證了數(shù)據(jù)的完整性和地震資料處理解釋業(yè)務的連續(xù)性, 滿足地震資料數(shù)據(jù)備份與恢復、應用系統(tǒng)后備擴容、不同存儲級數(shù)據(jù)遷移的業(yè)務要求.

1 張向林,陶果,劉新茹.油氣地球物理勘探技術進展.地球物理學進展,2006,21(1):143–151.

2 楊旭,宋式斌,樊春,彭一明.北京大學數(shù)據(jù)中心備份系統(tǒng)建設.武漢大學學報,2012,58(s1):53–57.

3 Quantum. Stor Next File System User’s Guide. Seattle, USA: Quantum Press. 2012.

4 Quantum. Stor Next Q-Series Storage Hardware Cabling Guide. Seattle, USA: Quantum Press. 2012.

5 Quantum. Scalar i6000 User’s Guide. Seattle, USA: Quantum Press. 2013.

6 Symantec. Symantec NetBackup Administrator’s Guide. Cupertino, USA: Symantec Press. 2013.

7 Symantec. Symantec NetBackup for Oracle Administrator’s Guide. Cupertino, USA: Symantec Press. 2013.

8 Iozone Filesystem Benchmark. http://www.iozone.org/docs/ IOzone_msword_98.pdf.

Construction of Seismic Data Backup System

JIN Di, ZHUANG Xi-Jin, WANG Qi-Di, CAO Xiao-Chu, WANGZ Zong-Ren
(Department of Computer Application, Research Institute of Hangzhou Geology, Hangzhou 310023, China)

Seismic data security has become a key factor for determining the location and scale of oil and gas reservoirs in the field of oil and gas exploration. Data backup is an important part of data security, this paper analyses the seismic exploration business requirement, combines with the actual situation of the existing seismic data processing and interpretation application system, a solution based on hierarchical data backup system is put forward. The solution can effectively solve all kinds of centralized backup and restoration of seismic data, expansion of storage subsystem of seismic data processing and interpretation application system and data migration for different hierarchical storage, ensuring the data security of oil and gas exploration.

seismic data; data backup system; hierarchical storage; backup policy

2016-03-28;收到修改稿時間:2016-05-12

10.15888/j.cnki.csa.005508