董玉敏，宋雪峰（等）

[摘 要] 地震資料處理系統(tǒng)是按照作業(yè)序列以緊耦合的結(jié)構(gòu)化大塊數(shù)據(jù)體為對象進行密集計算的高性能計算系統(tǒng)。在疊前偏移成像等大數(shù)據(jù)密集計算處理作業(yè)日益增多的情況下，存儲系統(tǒng)性能對地震資料處理系統(tǒng)效率影響突顯。通過分析地震數(shù)據(jù)處理系統(tǒng)的數(shù)據(jù)訪存特點，提出以數(shù)據(jù)訪存帶寬性價比為主要因素， 有針對性地選用存儲新技術(shù)，構(gòu)建適用性良好的存儲子系統(tǒng)，以滿足復雜地質(zhì)條件下地震資料成像品質(zhì)對高性能計算系統(tǒng)的數(shù)據(jù)訪存需求。

[關(guān)鍵詞] 計算機系統(tǒng)結(jié)構(gòu)； 存儲系統(tǒng)； 地震資料處理系統(tǒng)

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2014 . 02. 063

[中圖分類號] TP391； P315.63 [文獻標識碼] A [文章編號] 1673 - 0194（2014）02- 0124- 02

0 引 言

新疆油田勘探開發(fā)研究院自2004年引入大規(guī)模PC集群地震資料處理系統(tǒng)，一直關(guān)注存儲系統(tǒng)架構(gòu)與地震資料處理的數(shù)據(jù)訪存特點匹配，以期提高系統(tǒng)生產(chǎn)效率。應用面向?qū)ο蟮牟⑿泄蚕泶鎯ο到y(tǒng)，在一定程度上解決了資料處理系統(tǒng)中相對低效的數(shù)據(jù)訪存和節(jié)點高效計算能力的匹配矛盾，與CPU技術(shù)的快速進步和萬兆以太網(wǎng)以及Infiniband網(wǎng)絡的發(fā)展相比，處理集群中存儲系統(tǒng)的性能依舊相對滯后。存儲技術(shù)處在發(fā)展變革前沿，結(jié)合地震資料處理系統(tǒng)中數(shù)據(jù)應用特征和生產(chǎn)組織方式，有針對性地選用存儲新技術(shù)，構(gòu)建適用性良好的存儲系統(tǒng)，提高以逆時偏移技術(shù)為代表的新成像方法的系統(tǒng)應用效率，有助于滿足復雜地質(zhì)條件下地震資料成像品質(zhì)需求。

1 存儲技術(shù)發(fā)展

固態(tài)盤技術(shù)和云存儲技術(shù)的發(fā)展代表了存儲技術(shù)的發(fā)展趨勢，并稱為下一代存儲技術(shù)。

1.1 固態(tài)盤技術(shù)簡介

固態(tài)盤（Solid-State Driver）是指利用電子部件取代傳統(tǒng)磁盤磁介質(zhì)進行數(shù)據(jù)存儲的電子設備。固態(tài)盤內(nèi)部沒有旋轉(zhuǎn)馬達，不存在轉(zhuǎn)速提升或下降的啟動時間，與傳統(tǒng)磁介質(zhì)硬盤相比，在IOPS性能、時延、平均無故障時間（MTBF）、節(jié)能等方面有明顯優(yōu)勢。

目前固態(tài)盤的推廣應用受限于性價比和性能老化兩大因素。固態(tài)盤的I/O性價比已優(yōu)于高端光纖存儲盤陣，但在容量性價比方面仍存在較大差距。在頻繁隨機大小數(shù)據(jù)寫入的應用場景下，由于寫操作特性，固態(tài)盤在使用一段時間后會出現(xiàn)性能陡降，需要對固態(tài)盤進行初始化或更換，性能老化影響了固態(tài)盤的便捷應用。盡管存在諸多爭議，活躍的技術(shù)創(chuàng)新一直在加速推動固態(tài)盤的普及應用，大容量PCIe固態(tài)盤緩存在服務器的應用以及利用后端存儲固態(tài)盤為服務器提供高效緩存的應用，都在推動固態(tài)盤向基礎架構(gòu)的各個層面滲透，固態(tài)盤改變了以磁介質(zhì)硬盤為基礎的存儲架構(gòu)體系。

1.2 云存儲技術(shù)簡介

云存儲是指通過集群應用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡中大量不同類型的存儲設備集合協(xié)同，對外提供數(shù)據(jù)存儲和業(yè)務訪問的云計算系統(tǒng)。國際存儲網(wǎng)絡產(chǎn)業(yè)協(xié)會（SNIA）提出的云數(shù)據(jù)管理接口（CDMI）定義了云存儲管理基礎架構(gòu)，保障接入不同云存儲接口的通用性。云存儲需要多種技術(shù)協(xié)同實現(xiàn)動態(tài)按要求提供服務，主要有統(tǒng)一存儲、自動分級存儲、存儲虛擬化、分布式文件系統(tǒng)、Scale-out橫向擴展、固態(tài)盤緩存、壓縮/重復數(shù)據(jù)刪除等技術(shù)。

云存儲面臨大數(shù)據(jù)高并發(fā)混合負載服務請求的壓力，在滿足高并發(fā)的同時，需要滿足海量數(shù)據(jù)存儲，這放大了存儲性能和存儲容量均衡性要求。自動分級存儲技術(shù)和固態(tài)盤緩存技術(shù)是目前解決云存儲性能、容量和性價比三者矛盾的熱點技術(shù)。自動分級存儲技術(shù)根據(jù)數(shù)據(jù)使用特點將數(shù)據(jù)在不同磁盤類型和RAID級別間進行遷移，可以均衡存儲在性能和空間的平衡。但是數(shù)據(jù)遷移策略通常是數(shù)據(jù)應用長期累積的經(jīng)驗值，而業(yè)務應用多變又使經(jīng)驗值難以固化，造成自動遷移實施復雜度較高。相比自動分級存儲技術(shù)，利用服務器上的固態(tài)盤作為大容量磁盤陣列緩存，可以降低對存儲系統(tǒng)IOPS性能的要求，提高數(shù)據(jù)讀取性能，但是需要與應用系統(tǒng)相適應的緩存算法支持。

云存儲各項技術(shù)的推進改變著存儲體系架構(gòu)，固態(tài)盤存儲介質(zhì)的突破固然對存儲體系產(chǎn)生較大影響，但分布式文件系統(tǒng)、緩存算法和軟件內(nèi)核優(yōu)化等軟件因素對存儲體系架構(gòu)將產(chǎn)生更大影響。

2 地震資料處理系統(tǒng)數(shù)據(jù)特點分析

進入處理系統(tǒng)的初始數(shù)據(jù)在數(shù)據(jù)特征上表現(xiàn)為緊耦合的結(jié)構(gòu)化塊數(shù)據(jù)。依據(jù)目前典型的野外數(shù)據(jù)采集方式，對于單個三維區(qū)塊資料處理作業(yè)，進入系統(tǒng)的初始數(shù)據(jù)通常為5TB大小，完成各類典型處理步驟，大約需要6倍于初始數(shù)據(jù)的存儲空間。在研究復雜地質(zhì)構(gòu)造時，隨著采集密度的進一步提高，未來用于盆地整體解剖與研究的單個三維區(qū)塊初始數(shù)據(jù)將達到100TB以上。處理系統(tǒng)需要較大的存儲空間以支持一個完整的資料處理作業(yè)周期。

從地震數(shù)據(jù)處理角度看，要完成的作業(yè)任務分為常規(guī)批處理和疊前偏移成像兩個典型階段。常規(guī)批處理階段要求在限定時間內(nèi)用相對較少的計算資源，按序分步完成資料常規(guī)處理中各環(huán)節(jié)的數(shù)據(jù)分析與計算，特點是作業(yè)前后結(jié)果相互銜接，單作業(yè)處理數(shù)據(jù)量小，作業(yè)運行周期不長，但總體作業(yè)數(shù)量多，人機交互多，I/O訪問頻繁。疊前偏移成像處理階段要求在前期各類準備工作完成后，用盡可能短的時間（天）完成工作區(qū)域的整體成像計算，特點是處理數(shù)據(jù)量大，一般在5TB以上，單個作業(yè)對計算資源需求大。

依據(jù)數(shù)據(jù)組織方式不同，不同處理系統(tǒng)有不同的數(shù)據(jù)交換方式。例如Geovation地震資料處理系統(tǒng)利用自身優(yōu)化的數(shù)據(jù)管理模式DDAM（Distributed Dataset Access Manager）將道集數(shù)據(jù)從存儲系統(tǒng)集中分發(fā)到計算節(jié)點后開展計算工作，作業(yè)結(jié)果由DDAM管理發(fā)送到指定存儲設備上，需要的存儲訪存能力是集中分段的。EPOS處理系統(tǒng)是由各計算節(jié)點直接讀取存儲系統(tǒng)的道集數(shù)據(jù)進行計算，需要的存儲訪存能力是連續(xù)的，直到作業(yè)完成。與Geovation系統(tǒng)相比， EPOS系統(tǒng)始終存在較為頻繁的計算節(jié)點與存儲系統(tǒng)之間的數(shù)據(jù)交換。

對于疊前偏移成像作業(yè)而言，在作業(yè)開始時，Geovation系統(tǒng)和EPOS系統(tǒng)都需要將道集數(shù)據(jù)從存儲系統(tǒng)分發(fā)到數(shù)量眾多的計算節(jié)點，存在大數(shù)據(jù)并發(fā)請求；在作業(yè)運行過程中，分布并行的各計算節(jié)點在本地節(jié)點的硬盤、緩存、內(nèi)存之間進行數(shù)據(jù)交換的同時，也存在計算節(jié)點與存儲系統(tǒng)之間相對開始階段較少的數(shù)據(jù)交換；在作業(yè)收尾階段，分布并行的各計算節(jié)點發(fā)送計算結(jié)果到作業(yè)管理節(jié)點進行匯總，存在并發(fā)數(shù)據(jù)請求。

當處理作業(yè)的計算耗時與數(shù)據(jù)存取耗時比例相當或低于數(shù)據(jù)存取耗時，存儲系統(tǒng)的訪存帶寬、IOPS是影響作業(yè)速度的主要因素。對于在集群節(jié)點上計算耗時遠大于數(shù)據(jù)存取耗時的密集計算處理作業(yè)而言，存儲系統(tǒng)的訪存帶寬、IOPS對作業(yè)速度意義不大。

處理作業(yè)的計算耗時和數(shù)據(jù)存取耗時與眾多因素相關(guān)。計算方法的軟件實現(xiàn)架構(gòu)是主要因素之一，涉及數(shù)據(jù)的組織方式和訪問方式，例如數(shù)據(jù)在計算節(jié)點的內(nèi)存、緩存、本地硬盤的交換，數(shù)據(jù)在計算節(jié)點與存儲系統(tǒng)之間的交換。數(shù)據(jù)復用和緩存命中率等與系統(tǒng)硬件架構(gòu)和數(shù)據(jù)自身特征相關(guān)的系統(tǒng)優(yōu)化也是重要因素之一。處理作業(yè)的計算耗時與數(shù)據(jù)存取耗時的比例是應用系統(tǒng)在各種條件下的綜合表象。

3 地震資料處理系統(tǒng)中存儲技術(shù)應用需求分析

3.1 訪存帶寬評估

地震資料處理系統(tǒng)是按照作業(yè)序列以緊耦合的結(jié)構(gòu)化大塊數(shù)據(jù)體為對象進行密集計算的高性能計算系統(tǒng)。與傳統(tǒng)數(shù)據(jù)中心環(huán)境里注重隨機訪問性能IOPS不同，地震資料處理系統(tǒng)對大數(shù)據(jù)塊訪存的帶寬性能較為敏感。在構(gòu)建存儲系統(tǒng)時，對新技術(shù)的選用應以提高數(shù)據(jù)訪存帶寬能力為主，權(quán)衡容量、性能、性價比等因素，構(gòu)建訪存帶寬適宜的存儲系統(tǒng)。

評估存儲訪存帶寬對地震資料處理系統(tǒng)性能影響時，應充分考慮處理作業(yè)計算耗時與數(shù)據(jù)存取耗時比例。以典型作業(yè)測試為基準，結(jié)合系統(tǒng)總體運行的作業(yè)類型和作業(yè)數(shù)量，進行系統(tǒng)應用性價比評估。在進行典型作業(yè)測試時，必須定義統(tǒng)一的測試條件以保障測試結(jié)果的可比性。統(tǒng)一的測試條件應該包括對系統(tǒng)軟硬件環(huán)境和作業(yè)負載特征的規(guī)范描述。硬件環(huán)境描述時，與數(shù)據(jù)傳輸相關(guān)的系統(tǒng)參數(shù)都應包含在內(nèi)，例如互聯(lián)網(wǎng)絡類型和參數(shù)，計算節(jié)點的主板、CPU、內(nèi)存、硬盤等的型號和相關(guān)接口等參數(shù)。軟件環(huán)境描述應包括操作系統(tǒng)和應用軟件的詳細信息。作業(yè)負載特征應包括作業(yè)序列、作業(yè)參數(shù)、數(shù)據(jù)體大小等與作業(yè)運行緊密相關(guān)的參數(shù)描述。被測試的存儲系統(tǒng)應詳細描述產(chǎn)品規(guī)格型號、系統(tǒng)微碼、軟件等信息。

處理作業(yè)計算耗時與數(shù)據(jù)存取耗時比例是應用系統(tǒng)在各種條件下的綜合表象。大粒度因素如計算方法的軟件實現(xiàn)架構(gòu)，小粒度因素如數(shù)據(jù)復用和緩存命中率，都在不同程度相互交疊的影響處理作業(yè)計算耗時與數(shù)據(jù)存取耗時比例。以典型作業(yè)測試為基準，結(jié)合系統(tǒng)總體運行的作業(yè)類型和作業(yè)數(shù)量，可以進行統(tǒng)計意義上的系統(tǒng)處理作業(yè)計算耗時與數(shù)據(jù)存取耗時比例估算，進而較為客觀地評價系統(tǒng)生產(chǎn)應用的性價比。

3.2 存儲技術(shù)應用需求

除了對能夠提高數(shù)據(jù)訪存帶寬能力的存儲新技術(shù)的關(guān)注以外，固態(tài)盤應用也應是大規(guī)模PC集群地震資料處理系統(tǒng)的關(guān)注點。在資料處理過程中，PC集群上傳統(tǒng)磁介質(zhì)硬盤的高故障率常常導致作業(yè)失敗，影響處理生產(chǎn)周期；采用傳統(tǒng)磁介質(zhì)硬盤構(gòu)建處理系統(tǒng)Scratch，其IO速度和可靠性都較差。固態(tài)盤平均無故障時間（MTBF）和低功耗的優(yōu)異性能為解決大規(guī)模PC集群系統(tǒng)穩(wěn)定性差和能耗高的弊端提供了新途徑。隨著固態(tài)盤容量性價比的提高和性能老化弊端的改善，在大規(guī)模PC集群地震資料處理系統(tǒng)的計算節(jié)點上部署固態(tài)盤，不失為提高系統(tǒng)穩(wěn)定性和降低能耗之策。

另外，隨著采集密度的提高，未來用于盆地整體解剖與研究的單個三維區(qū)塊初始數(shù)據(jù)將突破100TB，對存儲系統(tǒng)的容量和性能要求進一步提高。保障統(tǒng)一命名空間下存儲系統(tǒng)容量和性能的雙向彈性擴展，是對資料處理系統(tǒng)存儲系統(tǒng)架構(gòu)的基本要求；在滿足資料處理系統(tǒng)海量數(shù)據(jù)存儲和處理作業(yè)效率要求的同時，保障存儲系統(tǒng)良好的性價比，需要均衡存儲系統(tǒng)在性能和空間的平衡。Scale-out橫向擴展技術(shù)和自動分級存儲技術(shù)也因此成為處理系統(tǒng)存儲技術(shù)應用的關(guān)注點。

4 結(jié) 語

地震資料處理系統(tǒng)的應用效率與數(shù)據(jù)訪存能力和計算能力的匹配密切相關(guān)。復雜地質(zhì)條件下高品質(zhì)地震資料成像計算耗時較長，以典型處理作業(yè)測試為基準，結(jié)合系統(tǒng)總體運行的作業(yè)類型和作業(yè)數(shù)量，進行統(tǒng)計意義上的作業(yè)計算耗時與數(shù)據(jù)存取耗時比例估算，可以為存儲系統(tǒng)性價比評測提供粗略的應用背景。