李中建 劉靖安 馬玉霞，李 謳 朱玉澎

(中石化河南油田分公司石油勘探開發(fā)研究院，河南 南陽 473132) (中石化河南油田分公司南陽石蠟精細化工廠，河南 南陽 473132) (中石化河南油田分公司石油勘探開發(fā)研究院，河南 南陽 473132) (中石化河南油田分公司通信公司，河南 南陽 473132)

數(shù)值模擬并行處理技術(shù)及應(yīng)用研究

李中建 劉靖安 馬玉霞，李 謳 朱玉澎

(中石化河南油田分公司石油勘探開發(fā)研究院，河南 南陽 473132) (中石化河南油田分公司南陽石蠟精細化工廠，河南 南陽 473132) (中石化河南油田分公司石油勘探開發(fā)研究院，河南 南陽 473132) (中石化河南油田分公司通信公司，河南 南陽 473132)

并行數(shù)值模擬是高含水后期調(diào)整挖潛，提高水驅(qū)采收率的重要手段之一。簡述了數(shù)值模擬并行處理技術(shù)，介紹了構(gòu)建高性能的計算平臺、構(gòu)建數(shù)據(jù)安全存儲區(qū)域網(wǎng)的思路和做法以及運用高性能計算實現(xiàn)百萬節(jié)點并行數(shù)值模擬處理的應(yīng)用實例。

并行計算；數(shù)值模擬；油藏

油藏數(shù)值模擬的核心是求解大型偏微分方程組形成的大型稀疏線性代數(shù)方程組，這類問題需要大量的計算時間，計算費用高昂。是適合于在各種并行計算機上求解的并行計算問題。高性能并行計算機的出現(xiàn)使油藏數(shù)值模擬技術(shù)進入了一個嶄新的階段。油藏數(shù)值模擬并行技術(shù)研究已經(jīng)成為一大研究熱點。并行處理在高性能計算方面應(yīng)用很廣，近幾年在石油勘探開發(fā)中的地震資料處理方面應(yīng)用迅速。數(shù)值模擬并行處理技術(shù)與計算機技術(shù)的發(fā)展是緊密相關(guān)的，如開發(fā)后期采集數(shù)據(jù)量的劇增帶來地質(zhì)資料處理計算量的劇增。為獲得準(zhǔn)確的地下剩余油分布情況，應(yīng)采取更為復(fù)雜的數(shù)值模擬處理技術(shù)如多維多相數(shù)模處理技術(shù)等，而這些都需要大量的計算機計算。以往，囿于計算機設(shè)備的限制，許多先進的精細數(shù)模、三次采油、稠油熱采、大規(guī)模整狀油藏并行數(shù)模處理技術(shù)無法得到充分應(yīng)用，影響了石油勘探開發(fā)的發(fā)展。近年來，一些咨詢公司的油藏數(shù)值模擬軟件已推出并行版，如ECLIPSE及VIP并行軟件。而國外許多石油公司及咨詢公司用并行處理技術(shù)來降低生產(chǎn)成本，提高工作效率。我國自“九五”期間就開展了多項包括國家“863”計劃在內(nèi)有關(guān)并行計算的重大科研項目。中科院、國家智能計算中心、清華大學(xué)、南京大學(xué)等均開展了油藏數(shù)值模擬并行計算研究。這些并行數(shù)模軟件在應(yīng)用上不斷挑戰(zhàn)大型油田開發(fā)過程和多層厚油層的精細數(shù)值模擬，軟件系統(tǒng)也逐步得到完善，功能也越來越強大[1-2]。

目前，人們對并行數(shù)值模擬的優(yōu)勢已有了充分的認識。它不僅有助于油田開發(fā)大型一體化流程的實現(xiàn)，同時更能夠提高油藏模擬的精細度；節(jié)約計算時間，加快決策速度；優(yōu)化方案設(shè)計，提高油田開發(fā)整體效益。所以并行處理技術(shù)將是油藏數(shù)值模擬應(yīng)用發(fā)展的主要方向。我國石油行業(yè)先后引進了一些并行計算機和并行處理系統(tǒng)，如大慶、勝利等油田已在科研生產(chǎn)中發(fā)揮很大作用。并行處理技術(shù)必將成為大規(guī)?？茖W(xué)計算的主要工具，而并行數(shù)值模擬技術(shù)也得到更為廣泛的應(yīng)用。

1 建立油藏數(shù)值模擬高性能計算并行處理環(huán)境

要解決河南油田后期開采階段細分調(diào)整、稠油熱采方案編制、三次采油潛力評價及規(guī)劃等的精細油藏描述、精細數(shù)值模擬及整裝油藏大規(guī)模計算、并行處理問題，縮短數(shù)模處理周期和處理精度,必須進一步加強油藏描述、數(shù)值模擬技術(shù)的綜合配套，利用多節(jié)點并行計算機的高性能計算解決數(shù)值模擬處理過程中求解大型偏微分方程組形成的大型稀疏線性代數(shù)方程組類大量的計算問題，以適應(yīng)當(dāng)前以及今后生產(chǎn)和科研的需求。并行計算環(huán)境需要解決以下3個方面的問題：

1)構(gòu)建高性能的計算平臺 并行計算可稱為高性能計算或超級計算，它把并行計算處理的大任務(wù)依據(jù)并行算法的要求，分解為多個子任務(wù)，然后分給并行機不同處理單元，通過并行計算、協(xié)同合作而快速求解。并行計算的主要目標(biāo)是提高求解速度、擴大處理規(guī)模。基本條件是硬件(并行機)、并行算法設(shè)計、并行編程環(huán)境。 硬件(并行機)是IBM p5 570服務(wù)器。它技術(shù)先進、性能超強。具有同步多線程、獨特的可伸縮性和構(gòu)建塊封裝技術(shù)的 IBM POWER5TM處理器，非常適合于服務(wù)器整合項目、數(shù)據(jù)庫與應(yīng)用程序服務(wù)。p5的并發(fā)多線程(SMT)技術(shù)可以大幅提高處理能力,將并行處理性能發(fā)揮到最佳；p5的虛擬化技術(shù)可以根據(jù)策略自動調(diào)整每個分區(qū)負載；虛擬引擎(VE)將IBM現(xiàn)有的邏輯分區(qū)功能提高到了一個新的水平，能夠為客戶提供跨平臺的異構(gòu)虛擬和系統(tǒng)管理功能。

綜合考慮數(shù)值模擬未來幾年的發(fā)展，筆者應(yīng)用IBM p5 570并行機，2臺SUN Blase2500 UNIX工作站,6臺DELL P670 PC工作站和2套并行數(shù)值模擬軟件Landmark. VIP、Schlumberger ECLIPSE構(gòu)建了高性能的計算平臺。

2)構(gòu)建高性能的大容量數(shù)據(jù)安全存儲 并行計算在處理作業(yè)過程中將產(chǎn)生大量的中間計算結(jié)果和最終計算結(jié)果，這些階段性的數(shù)據(jù)需要占用大量的在線存儲空間，這其中一些數(shù)據(jù)是可以被刪除的，但也有一部分數(shù)據(jù)需要長時間保存，以便進行后續(xù)的數(shù)據(jù)計算，所以數(shù)值模擬高性能并行運算的存儲容量必須配置達到10TB左右。

數(shù)值模擬高性能并行運算的每個節(jié)點就是一個服務(wù)器，系統(tǒng)整體效率的發(fā)揮是通過多個節(jié)點協(xié)同并行工作達到的，通常每個節(jié)點所配置的磁盤存儲容量有限，一般只能滿足操作系統(tǒng)的安裝、極少部分的用戶數(shù)據(jù)的存儲，大量的數(shù)據(jù)需要存儲在大容量的磁盤陣列上，由于不可能為每個節(jié)點配置一個大容量的存儲系統(tǒng)，所以大部分的時候采用了多個節(jié)點共用一個磁盤陣列方式來為計算節(jié)點提供數(shù)據(jù)支持。前兩年引進的計算機系統(tǒng)中，大多沒有充分的考慮數(shù)據(jù)I/O的復(fù)雜性，只是簡單的配置了一定數(shù)量的存儲系統(tǒng)，所以這些系統(tǒng)目前就暴露出存在I/O瓶徑的問題，因此，更好地解決高性能并行運算存儲問題是高性能計算環(huán)境的一個關(guān)鍵。

通過上述分析可知，并行計算在數(shù)據(jù)處理過程中需求大容量的存儲系統(tǒng)，對于高性能并行運算平臺通常需要10TB左右的高速在線存儲，以支持頻繁進行的I/O，還需要4TB的近線存儲，作為中間計算結(jié)果、成果數(shù)據(jù)、原始數(shù)據(jù)的存儲以及用戶數(shù)據(jù)的備份。而且，還須將這些存儲納入統(tǒng)一規(guī)劃的存儲區(qū)域網(wǎng)絡(luò)(SAN)，實現(xiàn)為多個服務(wù)器、用戶提供數(shù)據(jù)的存儲子系統(tǒng)。

3)計算平臺、存儲系統(tǒng)、用戶終端高度融合 高性能的計算平臺必須充分地融合，才能為用戶提供高性能的計算服務(wù)。在高性能計算平臺內(nèi)部，主力的IBM p5 570大型機、SUN Blase2500工作站, DELL P670 微機工作站要通過SAN存儲區(qū)域網(wǎng)絡(luò)共享存儲池中的存儲，這就需要建立高性能的存儲區(qū)域網(wǎng)，規(guī)劃一個簡單的SAN環(huán)境是必要的，構(gòu)成一級網(wǎng)絡(luò)環(huán)境。為了是用戶使用高性能計算平臺，需要改造或者建立TCP/IP網(wǎng)絡(luò)環(huán)境，使之成為主干千兆的二級網(wǎng)絡(luò)環(huán)境，加入企業(yè)局域網(wǎng)絡(luò)供用戶使用。

存儲層面采用存儲管理戰(zhàn)略，通過存儲管理平臺，使用統(tǒng)一的存儲管理工作站通過同一窗口和界面進行所有存儲資源的管理。通過圖形化的界面，實現(xiàn)數(shù)值模擬高性能并行運算關(guān)鍵數(shù)據(jù)資源開放的、簡單的、自動化的管理。

2 百萬節(jié)點并行數(shù)值模擬的實現(xiàn)

并行計算應(yīng)用配套的是ECLIPSE和VIP并行數(shù)值模擬軟件，兩者都是世界上較為領(lǐng)先水平的油藏數(shù)值模擬系統(tǒng)，并行性能穩(wěn)定，速度快，效果好。有較高的并行加速比和并行效率。這次并行計算采用8CPU并行Eclipse05版，它具有一整套無縫模擬工作流程，可以完成從網(wǎng)格建模到自動歷史擬合，到開發(fā)預(yù)測，生產(chǎn)優(yōu)化的一系列功能。在大模型模擬運算方面具有無可比擬的優(yōu)越性。下面以河南油田一個區(qū)塊(Ⅴ下層系)為例，介紹高性能計算實現(xiàn)大規(guī)模并行數(shù)值模擬的過程和方法。

1)并行數(shù)值模擬的目的 運用并行數(shù)值模擬技術(shù)及油藏工程方法，對剩余油進行定量化描述，研究特高含水期油藏剩余油分布規(guī)律,為完善Ⅴ下層系開發(fā)井網(wǎng)與注采系統(tǒng)、調(diào)整產(chǎn)液結(jié)構(gòu)、改善油田開發(fā)效果、進一步提高采收率提供科學(xué)的挖潛依據(jù)。

2)應(yīng)用實現(xiàn)內(nèi)容方法 ①針對Ⅴ下層系油層多，儲層物性差異較大，非均質(zhì)嚴(yán)重，平面、層間矛盾突出的特點，確定數(shù)值模擬范圍、建立雙河Ⅴ下層系主體區(qū)精細三維油藏地質(zhì)模型，模型的總網(wǎng)格數(shù)為308×203×35=2188340，是河南油田有史以來數(shù)據(jù)量最大的地質(zhì)模型，充分體現(xiàn)儲層的非均質(zhì)性；②根據(jù)精細地質(zhì)研究細分層系儲量，進行地質(zhì)儲量擬合；③搜集整理基礎(chǔ)資料，結(jié)合生產(chǎn)動態(tài)監(jiān)測對合采井劈產(chǎn)，進行生產(chǎn)歷史擬合；④運用并行數(shù)值模擬技術(shù)，對剩余油進行定性、定量化描述，根據(jù)剩余油分布規(guī)律，結(jié)合儲層物性、動用狀況與井網(wǎng)現(xiàn)狀等，利用三維定量化模型開展特高含水期開發(fā)單元重新劃分與組合研究, 設(shè)計井網(wǎng)組合方案。針對Ⅴ下層系存在的問題及潛力，進行10年數(shù)值模擬開發(fā)指標(biāo)預(yù)測對比，提出最優(yōu)調(diào)整部署方案。

3)并行計算技巧(分塊歷史擬合、整體并行計算) ①把斷層作為封閉邊界，嚴(yán)格滿足定解條件；②在油藏地質(zhì)模型中選取有代表性的分區(qū)做詳細歷史擬合，得到的參數(shù)作為總體模型的基礎(chǔ)參數(shù)；③每小塊單獨歷史擬合；④將每小塊擬合的結(jié)果放入并行數(shù)據(jù)中，做整體并行計算，主要工作是調(diào)整邊界數(shù)據(jù)，最終得到整體并行計算結(jié)果。

4)技術(shù)指標(biāo)效益 IBM P570 16CPU服務(wù)器并行應(yīng)用環(huán)境安全、穩(wěn)定，滿足了多用戶Eclipse并行數(shù)值模擬軟件高效運行、并行處理高性能計算的需要。擬合指標(biāo)的計算值與實際值吻合較好，單元歷史擬合符合率達96%以上；單井?dāng)M和符合率達75%以上。進行組合單元內(nèi)注采井網(wǎng)的整體優(yōu)化部署及開發(fā)水驅(qū)效果數(shù)值模擬預(yù)測對比。優(yōu)化方案延長穩(wěn)產(chǎn)期6年，增產(chǎn)原油10.04×104t，提高采收率1.76%，綜合含水率降低0.97%。

[1]車學(xué)林，李翠玲，趙國忠，等.百萬節(jié)點油藏數(shù)值模擬技術(shù)應(yīng)用[J].大慶石油地質(zhì)與開發(fā)，2002(3):32-35,86.

[2] 曹建文，潘峰，姚繼鋒，等.并行油藏模擬軟件的實現(xiàn)及在國產(chǎn)高性能計算機上的應(yīng)用[J].計算機研究與發(fā)展，2002(8)：78-85.

[編輯] 洪云飛

10.3969/j.issn.1673-1409(N).2012.06.031

TE319

A

1673-1409(2012)06-N093-03