金 弟, 莊錫進(jìn), 王啟迪, 曹曉初, 王宗仁

(中國石油杭州地質(zhì)研究院 計(jì)算機(jī)應(yīng)用研究所, 杭州 310023)

地震資料數(shù)據(jù)備份系統(tǒng)建設(shè)①

金 弟, 莊錫進(jìn), 王啟迪, 曹曉初, 王宗仁

(中國石油杭州地質(zhì)研究院 計(jì)算機(jī)應(yīng)用研究所, 杭州 310023)

地震資料數(shù)據(jù)安全成為油氣勘探領(lǐng)域判斷油氣藏的位置、規(guī)模等特性的關(guān)鍵因素. 數(shù)據(jù)備份是數(shù)據(jù)安全的重要組成部分, 通過分析地震勘探業(yè)務(wù)需求, 結(jié)合現(xiàn)有地震資料處理解釋應(yīng)用系統(tǒng)實(shí)際現(xiàn)狀, 提出了一種基于分級(jí)的數(shù)據(jù)備份系統(tǒng)解決方案. 該方案能有效解決各類地震資料數(shù)據(jù)的集中備份與恢復(fù)、地震資料處理解釋應(yīng)用系統(tǒng)的存儲(chǔ)子系統(tǒng)后備擴(kuò)容以及不同存儲(chǔ)級(jí)間的數(shù)據(jù)遷移等用戶需求, 從而確保油氣勘探的數(shù)據(jù)安全.

地震資料數(shù)據(jù); 數(shù)據(jù)備份系統(tǒng); 分級(jí)存儲(chǔ); 備份策略

地震勘探技術(shù)是油氣地球物理勘探領(lǐng)域主要手段,其地震資料是基礎(chǔ)數(shù)據(jù), 是石油企業(yè)的重要資源[1].作者所在單位目前已擁有比較完善的地震資料處理解釋應(yīng)用系統(tǒng), 但隨著地震資料數(shù)據(jù)量的迅猛增長而產(chǎn)生的數(shù)據(jù)安全問題也日益突出. 隨著地震數(shù)據(jù)規(guī)模擴(kuò)大與業(yè)務(wù)系統(tǒng)復(fù)雜性增加, 為了避免或降低不可預(yù)測的數(shù)據(jù)丟失而產(chǎn)生的損失, 建立一套安全、可靠、高效、便捷的完整地震資料數(shù)據(jù)備份系統(tǒng)至關(guān)重要.

1 需求及應(yīng)用系統(tǒng)現(xiàn)狀

1.1 地震勘探業(yè)務(wù)需求

地震資料的采集、處理、解釋是地震勘探業(yè)務(wù)的三個(gè)關(guān)鍵環(huán)節(jié), 分別對(duì)應(yīng)三類核心業(yè)務(wù)系統(tǒng), 分別涉及三類地震數(shù)據(jù). 業(yè)務(wù)流程如圖1, 具有以下需求特點(diǎn):

圖1 地震勘探業(yè)務(wù)流程

(1) 原始采集的地震數(shù)據(jù)是海量數(shù)據(jù). 隨著萬道地震技術(shù)發(fā)展、地震觀測采樣精度提高, 原始采集數(shù)據(jù)容量越來越大, 例如采集數(shù)據(jù)面元3.125m*3.125m、采樣率1ms、覆蓋次數(shù)120次、滿覆蓋面積100km2的數(shù)據(jù)容量約40TB.

(2) 處理與解釋中間過程產(chǎn)生地震數(shù)據(jù)規(guī)模大、數(shù)據(jù)遷移頻繁. 地震數(shù)據(jù)在地震資料處理與解釋業(yè)務(wù)系統(tǒng)過程中, 通過計(jì)算節(jié)點(diǎn)集群的并行計(jì)算, 中間額外產(chǎn)生海量地震數(shù)據(jù). 尤其是地震資料處理應(yīng)用系統(tǒng),例如10TB采集地震數(shù)據(jù), 通過各個(gè)處理模塊, 額外產(chǎn)生大概30TB的中間地震數(shù)據(jù).

(3) 處理解釋過程中與地震數(shù)據(jù)對(duì)應(yīng)的的井、層位、斷層等數(shù)據(jù)以數(shù)據(jù)庫方式存儲(chǔ).

(4) 數(shù)據(jù)規(guī)模增長迅速. 隨著各類應(yīng)用系統(tǒng)建設(shè)、地震資料處理解釋在機(jī)項(xiàng)目與工區(qū)的日益增多, 數(shù)據(jù)每年以10%以上的規(guī)模增加.

1.2 現(xiàn)有應(yīng)用系統(tǒng)環(huán)境

作者所在單位部署了64節(jié)點(diǎn)處理系統(tǒng)、128節(jié)點(diǎn)處理系統(tǒng)、256節(jié)點(diǎn)處理系統(tǒng)等地震資料處理應(yīng)用系統(tǒng)與基于協(xié)同體系架構(gòu)的地震資料解釋系統(tǒng)(簡稱解釋系統(tǒng)), 其存儲(chǔ)子系統(tǒng)達(dá)到PB級(jí)以上, 采用SAN架構(gòu), 利用存儲(chǔ)主機(jī)群多I/O節(jié)點(diǎn)與并行文件系統(tǒng)構(gòu)建高性能并行I/O.

2 體系結(jié)構(gòu)

地震資料數(shù)據(jù)備份系統(tǒng)設(shè)計(jì)不改變及影響現(xiàn)有應(yīng)用系統(tǒng)的環(huán)境與運(yùn)行, 利用地震資料處理解釋應(yīng)用系統(tǒng)存儲(chǔ)主機(jī)群中的部分I/O節(jié)點(diǎn)作為介質(zhì)服務(wù)器, 采用分級(jí)存儲(chǔ)模式思路構(gòu)建. 依據(jù)各級(jí)的需求、特點(diǎn), 采用不同的存儲(chǔ)架構(gòu)、存儲(chǔ)性能容量、技術(shù)方法, 實(shí)現(xiàn)數(shù)據(jù)備份至不同級(jí)的存儲(chǔ)上, 不同存儲(chǔ)級(jí)間的數(shù)據(jù)方便高效遷移, 分級(jí)存儲(chǔ)描述如表1. 地震資料數(shù)據(jù)備份系統(tǒng)分為備份數(shù)據(jù)存儲(chǔ)、備份服務(wù)器和客戶端三部分,體系結(jié)構(gòu)如圖2.

表1 分級(jí)存儲(chǔ)描述

圖2 地震資料數(shù)據(jù)備份系統(tǒng)體系架構(gòu)

(1) 備份數(shù)據(jù)存儲(chǔ)是系統(tǒng)的數(shù)據(jù)存儲(chǔ)中心. 由存儲(chǔ)主機(jī)群、并行文件系統(tǒng)、SAN存儲(chǔ)網(wǎng)絡(luò)、磁盤存儲(chǔ)搭建的基于并行高性能的目標(biāo)磁盤存儲(chǔ)子系統(tǒng)(簡稱目標(biāo)存儲(chǔ)), 作為一級(jí)在線存儲(chǔ)(簡稱一級(jí)存儲(chǔ))與二級(jí)近線存儲(chǔ)(簡稱二級(jí)存儲(chǔ)). 由基于FC接口的多磁帶驅(qū)動(dòng)器構(gòu)建LAN-Free[2]模式的基于并行智能的目標(biāo)磁帶庫存儲(chǔ)子系統(tǒng)(簡稱目標(biāo)帶庫), 作為三級(jí)離線存儲(chǔ)(簡稱三級(jí)存儲(chǔ)). 不同存儲(chǔ)級(jí)間的數(shù)據(jù)根據(jù)用戶需求方便高效遷移.

(2) 備份服務(wù)器采用Master/Slave結(jié)構(gòu), 由一個(gè)主服務(wù)器和一定數(shù)量的介質(zhì)服務(wù)器組成. 主服務(wù)器集中配置與管理備份策略、控制通路及驅(qū)動(dòng)介質(zhì), 通過策略管理負(fù)責(zé)數(shù)據(jù)備份與恢復(fù)作業(yè)的統(tǒng)一集中調(diào)度與監(jiān)控管理, 是數(shù)據(jù)備份管理核心. 介質(zhì)服務(wù)器是數(shù)據(jù)備份與恢復(fù)作業(yè)時(shí)實(shí)際的I/O驅(qū)動(dòng)與執(zhí)行, 從主服務(wù)器接收備份與恢復(fù)信息, 通過SAN數(shù)據(jù)通路直接驅(qū)動(dòng)對(duì)存儲(chǔ)介質(zhì)讀寫, 運(yùn)行在LAN-Free模式下, 主要用于地震數(shù)據(jù)文件的備份與恢復(fù).

(3) 客戶端通過LAN網(wǎng)絡(luò)將被備份數(shù)據(jù)傳送給介質(zhì)服務(wù)器, 運(yùn)行在LAN 模式下, 用于數(shù)據(jù)庫的備份與恢復(fù).

3 備份數(shù)據(jù)存儲(chǔ)

3.1 分級(jí)存儲(chǔ)

如圖2, 目標(biāo)存儲(chǔ)的存儲(chǔ)主機(jī)群接入現(xiàn)有應(yīng)用系統(tǒng)的LAN網(wǎng)絡(luò), 目標(biāo)存儲(chǔ)的SAN網(wǎng)絡(luò)與現(xiàn)有應(yīng)用系統(tǒng)的SAN網(wǎng)絡(luò)級(jí)聯(lián), 構(gòu)建目標(biāo)存儲(chǔ)的存儲(chǔ)主機(jī)群與源磁盤存儲(chǔ)的存儲(chǔ)主機(jī)群相同的I/O執(zhí)行角色, 實(shí)現(xiàn)常規(guī)數(shù)據(jù)備份與一級(jí)存儲(chǔ)作為現(xiàn)有應(yīng)用系統(tǒng)的存儲(chǔ)子系統(tǒng)后備擴(kuò)容. 采用SNFS并行文件系統(tǒng)命名服務(wù)[3], 通過對(duì)應(yīng)用系統(tǒng)中的計(jì)算節(jié)點(diǎn)、解釋工作站及數(shù)據(jù)庫節(jié)點(diǎn)掛載與卸載目標(biāo)存儲(chǔ)并行文件系統(tǒng)客戶端服務(wù)等授權(quán)配置, 完成一級(jí)存儲(chǔ)與二級(jí)存儲(chǔ)的互相轉(zhuǎn)化, 避免數(shù)據(jù)在實(shí)際存儲(chǔ)位置上的遷移.

三級(jí)離線存儲(chǔ)采用目標(biāo)磁帶庫存儲(chǔ)子系統(tǒng)的多磁帶驅(qū)動(dòng)器的FC接口接入不同源磁盤存儲(chǔ)的SAN網(wǎng)絡(luò),搭建基于LAN-Free的多驅(qū)動(dòng)器并行I/O讀寫磁帶的備份方式與數(shù)據(jù)遷移. 不同級(jí)存儲(chǔ)間的數(shù)據(jù)遷移方法如圖3.

3.2 并行存儲(chǔ)

合理優(yōu)化的數(shù)據(jù)存儲(chǔ)組織方式是高效的存儲(chǔ)訪問機(jī)制的前提條件, 高效的存儲(chǔ)訪問機(jī)制對(duì)數(shù)據(jù)存儲(chǔ)組織方式中的存儲(chǔ)單元I/O性能得到最大發(fā)揮. 作為應(yīng)用系統(tǒng)存儲(chǔ)子系統(tǒng)的后備擴(kuò)容功能, 對(duì)磁盤存儲(chǔ)子系統(tǒng)I/O性能要求非常高的一級(jí)與二級(jí)存儲(chǔ)采用并行存儲(chǔ)設(shè)計(jì), 其核心為存儲(chǔ)組織方式與存儲(chǔ)訪問機(jī)制.

3.2.1 存儲(chǔ)組織方式

存儲(chǔ)組織方式實(shí)現(xiàn)從物理層的磁盤驅(qū)動(dòng)器到邏輯層的并行文件系統(tǒng)的各個(gè)環(huán)節(jié)中存儲(chǔ)元素的分布式組織布局. 本文基于Quantum QD6000[4]磁盤陣列設(shè)計(jì)的數(shù)據(jù)組織方式如下.

(1) 存儲(chǔ)單元物理層設(shè)計(jì).

1) 磁盤驅(qū)動(dòng)器布局. 一個(gè)磁盤柜共有5個(gè)抽屜,編號(hào)為D1至D5, 每個(gè)抽屜共有磁盤驅(qū)動(dòng)器12個(gè),編號(hào)為S1至S12, 如圖4所示. 每個(gè)磁盤柜采用滿配60個(gè)3TB磁盤驅(qū)動(dòng)器, 通過2個(gè)磁盤柜級(jí)聯(lián)方式實(shí)現(xiàn)磁盤驅(qū)動(dòng)器擴(kuò)容構(gòu)成360TB存儲(chǔ)裸容量.

2) RAID組規(guī)劃. 每個(gè)抽屜抽取2塊磁盤驅(qū)動(dòng)器, 5個(gè)抽屜共10塊磁盤驅(qū)動(dòng)器構(gòu)建一個(gè)8+2的RAID6方式. 每個(gè)抽屜抽取方法為: (S1,S4), (S2,S5), (S3,S6), (S7,S10), (S8,S11), (S9,S12), 一個(gè)磁盤柜劃分6個(gè)RAID組.

(2) 存儲(chǔ)單元邏輯層設(shè)計(jì).

1) LUN生成與映射. 對(duì)物理層設(shè)計(jì)的每個(gè)RAID組, 劃分2個(gè)LUN, 每個(gè)LUN的裸容量為12TB, 一個(gè)磁盤柜生成12個(gè)邏輯單元LUN. 通過LUN至主機(jī)端映射實(shí)現(xiàn)存儲(chǔ)主機(jī)對(duì)LUN的識(shí)別.

圖3 不同級(jí)存儲(chǔ)數(shù)據(jù)遷移

圖4 磁盤驅(qū)動(dòng)器布局

2) 并行文件系統(tǒng)生成. 在一個(gè)磁盤柜中, 存儲(chǔ)主機(jī)端識(shí)別的LUN采用奇偶方法分成二組LUN集, 每組LUN集對(duì)應(yīng)一個(gè)并行文件系統(tǒng)所屬的所有LUN,使用Quantum StorNex[3]生成二個(gè)并行文件系統(tǒng).

3.2.2 存儲(chǔ)訪問機(jī)制

針對(duì)存儲(chǔ)元素的分布式分層優(yōu)化組織特點(diǎn), 為了充分提升存儲(chǔ)元素的讀寫性能, 存儲(chǔ)訪問模式基于并行機(jī)制的存儲(chǔ)主機(jī)群、多端口、多路徑模式. 如圖5所示, 計(jì)算節(jié)點(diǎn)集群的N個(gè)并行客戶端請求通過Quantum StorNext的DLS[3]機(jī)制負(fù)載均衡到n個(gè)存儲(chǔ)主機(jī), 實(shí)現(xiàn)文件級(jí)并行I/O. 每個(gè)存儲(chǔ)主機(jī)的I/O數(shù)據(jù)流從HBA卡接口經(jīng)SAN網(wǎng)絡(luò)至存儲(chǔ)控制器的多個(gè)存儲(chǔ)主機(jī)FC接口的路徑有多條, 采用IBM RDAC軟件進(jìn)行多路徑管理, 實(shí)現(xiàn)LUN級(jí)并行I/O訪問機(jī)制.

3.3 智能磁帶庫

智能磁帶庫使用Quantum Scalar i6000[5], 雙機(jī)械臂配置, 8個(gè)基于LTO Ultrium6協(xié)議標(biāo)準(zhǔn)的并行磁帶驅(qū)動(dòng)器, 500槽位, 單盤非壓縮容量為2.5TB. 針對(duì)現(xiàn)有應(yīng)用系統(tǒng)的特點(diǎn), 采用磁帶庫邏輯分區(qū)技術(shù)分為4個(gè)區(qū)對(duì)應(yīng)4套應(yīng)用系統(tǒng)的數(shù)據(jù)備份. 磁帶庫邏輯分區(qū)實(shí)現(xiàn)一臺(tái)物理帶庫在功能上模擬多臺(tái)物理帶庫使用, 分別備份或恢復(fù)不同應(yīng)用系統(tǒng)的源數(shù)據(jù).

磁帶庫的I/O接口拓?fù)淙鐖D6所示, LTO-1至LTO-8 8個(gè)磁帶驅(qū)動(dòng)器并行讀寫4個(gè)區(qū)中的磁帶數(shù)據(jù), 10臺(tái)介質(zhì)服務(wù)通過FC接口共享8個(gè)磁帶驅(qū)動(dòng)器, 扮演實(shí)際的帶庫I/O節(jié)點(diǎn)角色, 向磁帶驅(qū)動(dòng)器發(fā)送磁帶讀寫指令.

4 備份服務(wù)器

4.1 服務(wù)器部署

鑒于應(yīng)用系統(tǒng)是Linux操作系統(tǒng)以及地震資料數(shù)據(jù)的特點(diǎn), 選擇Symantec NetBackup7.6(簡稱NBU)作為企業(yè)級(jí)數(shù)據(jù)備份管理軟件. 基于NBU的服務(wù)器部署分為主服務(wù)器與介質(zhì)服務(wù)器二部分. 主服務(wù)器采用一臺(tái)IBM X3650服務(wù)器, 包括安裝NBU主服務(wù)器端軟件、配置/etc/hosts、/usr/openv/netbackup/bp.conf、自動(dòng)啟動(dòng)和關(guān)閉服務(wù)腳本、添加許可密鑰與介質(zhì)服務(wù)器名稱等.

由圖6可知, 4套應(yīng)用系統(tǒng)的8個(gè)存儲(chǔ)主機(jī)與2個(gè)目標(biāo)存儲(chǔ)的存儲(chǔ)主機(jī)共10臺(tái)介質(zhì)服務(wù)器, 實(shí)現(xiàn)了冗余介質(zhì)服務(wù)器部署. 備份作業(yè)自動(dòng)選擇最不繁忙的介質(zhì)服務(wù)器、I/O負(fù)載均衡以及消除介質(zhì)服務(wù)器單點(diǎn)故障,提升備份性能與可靠性. 安裝配置NBU介質(zhì)服務(wù)器包括介質(zhì)服務(wù)器軟件安裝、存儲(chǔ)設(shè)備識(shí)別、許可密鑰添加、自動(dòng)啟動(dòng)和關(guān)閉服務(wù)腳本等.

4.2 策略設(shè)計(jì)

策略設(shè)計(jì)是數(shù)據(jù)備份系統(tǒng)的一個(gè)重要環(huán)節(jié), 是定義備份任務(wù)執(zhí)行的一種方法, 設(shè)計(jì)完策略后, 無需人工進(jìn)行干涉, 備份系統(tǒng)自動(dòng)按時(shí)備份各類數(shù)據(jù). 策略設(shè)計(jì)主要從存儲(chǔ)策略、備份策略二方面來考慮制定.

(1) 存儲(chǔ)策略.

制定不同的客戶端數(shù)據(jù)寫入相應(yīng)的備份池中, 根據(jù)應(yīng)用類型區(qū)別劃分為64節(jié)點(diǎn)處理系統(tǒng)、128節(jié)點(diǎn)處理系統(tǒng)、256節(jié)點(diǎn)處理系統(tǒng)、解釋系統(tǒng)等四個(gè)存儲(chǔ)池.每個(gè)存儲(chǔ)池包含多個(gè)物理存儲(chǔ)卷, 每個(gè)物理存儲(chǔ)卷是磁帶或文件系統(tǒng). 通過NBU的Storage Unit[6]進(jìn)行存儲(chǔ)策略的配置.

(2) 備份策略.

備份策略管理是NBU管理最重要的部分, 通過NBU控制臺(tái)的Policy[6]進(jìn)行備份策略定義, 實(shí)現(xiàn)既保留足夠長時(shí)間內(nèi)的備份數(shù)據(jù)又保證備份介質(zhì)合理循環(huán)利用.

圖5 存儲(chǔ)訪問模式

圖6 磁帶庫接口拓?fù)?/p>

完全備份(full backup)對(duì)數(shù)據(jù)進(jìn)行完整備份, 恢復(fù)時(shí)不依賴其他任何數(shù)據(jù), 缺點(diǎn)是備份數(shù)據(jù)量大、備份時(shí)間長. 增量備份(incremental backup)從上一次備份后的變化數(shù)據(jù), 備份數(shù)據(jù)量小, 但是依賴上次全備份及之后每次的備份數(shù)據(jù). 差異備份(differential backup)備份上次全備份之后的所有變化數(shù)據(jù), 只依賴上次全備份的數(shù)據(jù), 備份數(shù)據(jù)量比增量備份大. 針對(duì)上述三種備份策略的優(yōu)缺點(diǎn), 結(jié)合備份數(shù)據(jù)的特點(diǎn), 采用3種結(jié)合方式, 描述如表2.

表2 備份策略

磁帶介質(zhì)的好處是單盤磁帶成本低、取出做永久保留、尤其是通過增加磁帶數(shù)量的方式實(shí)現(xiàn)磁帶庫存儲(chǔ)容量規(guī)模不受限制. 所以除了表2描述的備份策略外, 在一級(jí)存儲(chǔ)與二級(jí)存儲(chǔ)上以磁盤方式存儲(chǔ)的備份數(shù)據(jù), 增加在一定時(shí)間或磁盤空間到達(dá)設(shè)定閥值后,磁盤數(shù)據(jù)自動(dòng)導(dǎo)入到三級(jí)存儲(chǔ)磁帶介質(zhì)上的策略.

5 客戶端

NBU客戶端軟件安裝配置在應(yīng)用系統(tǒng)的數(shù)據(jù)庫節(jié)點(diǎn), 實(shí)現(xiàn)對(duì)應(yīng)用系統(tǒng)數(shù)據(jù)庫的備份和恢復(fù). 對(duì)地震資料處理解釋業(yè)務(wù)系統(tǒng)的Oracle數(shù)據(jù)庫備份和恢復(fù)進(jìn)行配置. NBU 將 Oracle 恢復(fù)管理器 (RMAN) 的數(shù)據(jù)庫備份和恢復(fù)功能與 NBU的備份和恢復(fù)管理功能集成在一起[7], 配置流程如下.

(1) 建立鏈接. 編輯運(yùn)行/usr/openv/ netbackup/ bin/下的 oracle_link 腳本. 將 Oracle Server 軟件與NBU for Oracle 安裝的NBU API 庫鏈接. Oracle 在需要讀寫NBU介質(zhì)管理器支持的設(shè)備時(shí)使用此庫.

(2) 定制備份腳本. 編制RMAN 要在客戶端上執(zhí)行的數(shù)據(jù)庫備份命令Shell腳本, NBU通過在 Oracle策略的文件列表中指定該腳本來啟動(dòng)數(shù)據(jù)庫備份.

(3) 創(chuàng)建備份策略. 制定策略類型Oracle、存儲(chǔ)位置、備份周期、保留周期、選擇備份客戶端等配置數(shù)據(jù)庫備份策略.

6 性能測試與分析

為檢測本文所設(shè)計(jì)系統(tǒng)的性能, 分別對(duì)一級(jí)在線存儲(chǔ)、二級(jí)近線存儲(chǔ)、三級(jí)離線存儲(chǔ)進(jìn)行數(shù)據(jù)備份與恢復(fù)測試, 其中一級(jí)在線存儲(chǔ)與二級(jí)近線存儲(chǔ)在數(shù)據(jù)備份與恢復(fù)性能測試方面是相同的, 所以只給出一級(jí)存儲(chǔ)的數(shù)據(jù)備份與恢復(fù)測試.

圖7圖8是針對(duì)不同應(yīng)用系統(tǒng)測試100GB數(shù)據(jù)的備份與恢復(fù). 一級(jí)存儲(chǔ)的數(shù)據(jù)備份與恢復(fù)速度范圍168MB/S至583MB/S, 其性能明顯高于三級(jí)離線存儲(chǔ)的數(shù)據(jù)備份與恢復(fù)速度范圍95MB/S至252MB/S, 滿足地震數(shù)據(jù)備份系統(tǒng)的分級(jí)存儲(chǔ)的用戶需求. 一級(jí)存儲(chǔ)的文件備份與恢復(fù)速度范圍556MB/S至583MB/S,其性能明顯高于一級(jí)存儲(chǔ)的數(shù)據(jù)庫備份與恢復(fù)速度范圍168MB/S至210MB/S; 三級(jí)存儲(chǔ)的文件備份與恢復(fù)速度范圍161MB/S至252MB/S, 其性能明顯高于三級(jí)存儲(chǔ)的數(shù)據(jù)庫備份與恢復(fù)速度范圍95MB/S至122MB/S, 充分體現(xiàn)LAN-Free模式比LAN模式具有的備份優(yōu)勢.

圖7 一級(jí)(二級(jí))存儲(chǔ)的數(shù)據(jù)備份與恢復(fù)

圖8 三級(jí)存儲(chǔ)的數(shù)據(jù)備份與恢復(fù)

圖9 是基于并行存儲(chǔ)技術(shù)設(shè)計(jì)的一級(jí)存儲(chǔ)作為256節(jié)點(diǎn)處理系統(tǒng)的存儲(chǔ)子系統(tǒng)的后備擴(kuò)容時(shí), 使用IOzone[8]測試不同計(jì)算節(jié)點(diǎn)I/O請求時(shí)的聚合吞吐量讀為4.2GB/S至4.6GB/S, 聚合吞吐量寫為4.4GB/S至4.7GB/S, 滿足地震資料處理解釋應(yīng)用系統(tǒng)對(duì)高吞吐量要求.

表3為測試200GB文件在不同存儲(chǔ)級(jí)間的數(shù)據(jù)遷移, 可以看出讀磁帶速度最低為182MB/S, 并行文件系統(tǒng)級(jí)的數(shù)據(jù)遷移速度最高為605MB/S, 達(dá)到備份系統(tǒng)分級(jí)存儲(chǔ)的設(shè)計(jì)需求.

圖9 一級(jí)存儲(chǔ)聚合吞吐量

表3 不同存儲(chǔ)級(jí)間數(shù)據(jù)遷移測試

7 結(jié)語

利用本文設(shè)計(jì)的數(shù)據(jù)備份系統(tǒng)已累計(jì)備份各類地震勘探業(yè)務(wù)數(shù)據(jù)達(dá)500TB, 作為應(yīng)用系統(tǒng)存儲(chǔ)后備擴(kuò)容使用容量為150TB, 不同存儲(chǔ)級(jí)數(shù)據(jù)遷移20多余次共計(jì)容量600TB. 實(shí)踐證明該方案很好的保證了數(shù)據(jù)的完整性和地震資料處理解釋業(yè)務(wù)的連續(xù)性, 滿足地震資料數(shù)據(jù)備份與恢復(fù)、應(yīng)用系統(tǒng)后備擴(kuò)容、不同存儲(chǔ)級(jí)數(shù)據(jù)遷移的業(yè)務(wù)要求.

1 張向林,陶果,劉新茹.油氣地球物理勘探技術(shù)進(jìn)展.地球物理學(xué)進(jìn)展,2006,21(1):143–151.

2 楊旭,宋式斌,樊春,彭一明.北京大學(xué)數(shù)據(jù)中心備份系統(tǒng)建設(shè).武漢大學(xué)學(xué)報(bào),2012,58(s1):53–57.

3 Quantum. Stor Next File System User’s Guide. Seattle, USA: Quantum Press. 2012.

4 Quantum. Stor Next Q-Series Storage Hardware Cabling Guide. Seattle, USA: Quantum Press. 2012.

5 Quantum. Scalar i6000 User’s Guide. Seattle, USA: Quantum Press. 2013.

6 Symantec. Symantec NetBackup Administrator’s Guide. Cupertino, USA: Symantec Press. 2013.

7 Symantec. Symantec NetBackup for Oracle Administrator’s Guide. Cupertino, USA: Symantec Press. 2013.

8 Iozone Filesystem Benchmark. http://www.iozone.org/docs/ IOzone_msword_98.pdf.

Construction of Seismic Data Backup System

JIN Di, ZHUANG Xi-Jin, WANG Qi-Di, CAO Xiao-Chu, WANGZ Zong-Ren
(Department of Computer Application, Research Institute of Hangzhou Geology, Hangzhou 310023, China)

Seismic data security has become a key factor for determining the location and scale of oil and gas reservoirs in the field of oil and gas exploration. Data backup is an important part of data security, this paper analyses the seismic exploration business requirement, combines with the actual situation of the existing seismic data processing and interpretation application system, a solution based on hierarchical data backup system is put forward. The solution can effectively solve all kinds of centralized backup and restoration of seismic data, expansion of storage subsystem of seismic data processing and interpretation application system and data migration for different hierarchical storage, ensuring the data security of oil and gas exploration.

seismic data; data backup system; hierarchical storage; backup policy

2016-03-28;收到修改稿時(shí)間:2016-05-12

10.15888/j.cnki.csa.005508