檀朝東，張恒汝，馬永忠，楊兵，王輝萍

?

油氣生產(chǎn)大數(shù)據(jù)挖掘系統(tǒng)的研究及應用

檀朝東1*，張恒汝2，馬永忠3，楊兵3，王輝萍1

（1.中國石油大學（北京）石油工程學院，北京昌平，102249；2. 西南石油大學計算機科學學院，成都610500；3.中石油華北油田采油五廠，河北辛集，052360）

隨著智能油田建設的不斷推進，油氣生產(chǎn)數(shù)據(jù)呈爆炸式增長。由于其數(shù)據(jù)結構復雜，形式多樣，以及數(shù)據(jù)深度分析需求的增長，為挖掘工作帶來了機遇與挑戰(zhàn)。本文采用數(shù)據(jù)融合技術，搭建復雜油氣生產(chǎn)過程的大數(shù)據(jù)挖掘平臺，根據(jù)特定的挖掘目標，建立專題數(shù)據(jù)庫，快速定制相應數(shù)據(jù)挖掘算法和石油工程業(yè)務模型，形成適應用戶需求的數(shù)據(jù)挖掘應用系統(tǒng)，實現(xiàn)油氣生產(chǎn)智能化診斷、預測、優(yōu)化及輔助決策。

智能油田；大數(shù)據(jù)；灰色關聯(lián)；聚類分析；時序預測

引言

隨著數(shù)字油田的快速發(fā)展，油田生產(chǎn)過程的自動化和信息化程度不斷提高，產(chǎn)生了采油與地面工程的生產(chǎn)、作業(yè)等多個類型的海量數(shù)據(jù)。其年增長速度從MB級迅速發(fā)展到TB、PB、EB、ZB級，形成“數(shù)據(jù)量的急劇膨脹”和“數(shù)據(jù)深度分析需求的增長”這兩大趨勢。油氣生產(chǎn)是一個復雜的過程，包括了采油、采氣、注水及油氣集輸?shù)戎T多環(huán)節(jié)。油氣生產(chǎn)中積累的數(shù)據(jù)具有如下特點[1]：（1）數(shù)據(jù)量巨大、高維且有較強的耦合性。油氣生產(chǎn)中數(shù)據(jù)采集頻繁、采集密度大，且存在重復冗余數(shù)據(jù)，系統(tǒng)眾多參數(shù)間相互影響，共同作用其行為狀態(tài)；（2）油氣生產(chǎn)系統(tǒng)具有不穩(wěn)定性，且采集數(shù)據(jù)因工業(yè)噪聲易受污染；（3）動態(tài)性與數(shù)據(jù)類型的多樣性。油氣生產(chǎn)中油氣井產(chǎn)量、注水量、油壓，溫度、設備狀態(tài)等參數(shù)都隨時間不斷變化，并包括邏輯型、數(shù)值型等多類型數(shù)據(jù)；（4）多時標性與不完整性。不同參數(shù)采集頻率不同，數(shù)據(jù)粒度不同，且數(shù)據(jù)記錄的不同步可能出現(xiàn)數(shù)據(jù)丟失；（5）多模態(tài)性，油氣生產(chǎn)系統(tǒng)中存在正常工作狀態(tài)，也存在故障的工況。這些特性使得傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)架構難以支撐挖掘任務，傳統(tǒng)的模型和算法，比如聯(lián)機事務處理（OLAP）無法充分、有效地挖掘數(shù)據(jù)中隱藏的有價值信息。因此，有必要研究面向大數(shù)據(jù)的油氣生產(chǎn)數(shù)據(jù)挖掘系統(tǒng)，實現(xiàn)油氣生產(chǎn)智能化診斷、預測和優(yōu)化，提高決策能力，降低油氣生產(chǎn)成本。海量數(shù)據(jù)。

1 油氣生產(chǎn)大數(shù)據(jù)挖掘系統(tǒng)的技術研究

傳統(tǒng)的數(shù)據(jù)挖掘技術及其體系架構在應對海量數(shù)據(jù)時已經(jīng)出現(xiàn)了不少問題，特別是挖掘效率的問題。基于小數(shù)據(jù)的挖掘算法或基于數(shù)據(jù)庫、數(shù)據(jù)倉庫的挖掘技術及并行挖掘已經(jīng)很難高效地完成海量數(shù)據(jù)的分析處理。傳統(tǒng)的體系架構基本是在以單個算法為整體模塊，用戶只能使用已有的算法或重新編寫算法完成本專業(yè)獨特的業(yè)務?！按髷?shù)據(jù)”出現(xiàn)后，需求將不再完全由業(yè)務部門明確提出，更多將由技術、模型、經(jīng)驗等綜合驅動[2]。同時，從基礎設施架構到分析應用，“大數(shù)據(jù)”的處理方式和技術發(fā)生改變，需要對所有與數(shù)據(jù)生成、傳遞、處理有關的系統(tǒng)進行重新規(guī)劃和布局，需要對原有的數(shù)據(jù)架構、數(shù)據(jù)標準、接口規(guī)范等重新設計和統(tǒng)一，需要對企業(yè)內外部數(shù)據(jù)環(huán)境進行全面分析，經(jīng)整體綜合考慮后，制定數(shù)據(jù)模型、架構和解決方案，最終形成“以數(shù)據(jù)驅動決策”的全新信息化頂層架構。

1.1 基本思路

以油氣生產(chǎn)物聯(lián)網(wǎng)系統(tǒng)中的PLC/DCS/FCS/CIPS采集積累的動態(tài)數(shù)據(jù)、油井的基礎數(shù)據(jù)、化驗、試驗、人工記錄日志、解釋成果數(shù)據(jù)為數(shù)據(jù)源[3-4]，進行數(shù)據(jù)預處理，以解決數(shù)據(jù)的不完整性、噪聲及重復、冗余問題等提高數(shù)據(jù)質量；之后通過集成的數(shù)據(jù)挖掘系統(tǒng)運用各種數(shù)據(jù)挖掘新算法進行知識、規(guī)則提取，狀態(tài)辨識及模式的建立；并以油氣生產(chǎn)領域的管理、操作、監(jiān)督人員熟悉的方式可視化，對所獲取的知識、規(guī)則及模式進行評估檢驗，確定其可信度；應用發(fā)掘的有用知識、規(guī)則及模式對油氣生產(chǎn)系統(tǒng)實施監(jiān)控、診斷、優(yōu)化或豐富知識庫。數(shù)據(jù)挖掘的過程并非一次就能成功或結束，而是一個不斷的、反復的過程，從而逐漸獲得有用的新知識[4]。

1.2 油氣生產(chǎn)挖掘系統(tǒng)的平臺架構

為進行復雜工業(yè)過程中的數(shù)據(jù)挖掘，在遵循數(shù)據(jù)挖掘一般方法的基礎上，詳細分析了油氣生產(chǎn)大數(shù)據(jù)特點，并結合工藝上的要求進行算法的設計與實現(xiàn)。油氣生產(chǎn)涉及采油、注水、集輸?shù)榷鄠€工藝流程，雖然這些工藝的數(shù)據(jù)形式，分析所用的關鍵指標都存在一定的差異，但數(shù)據(jù)挖掘的思路基本采用經(jīng)典的幾種方案。

分析某個工藝過程的工作狀態(tài)時，從油田的勘探、鉆井、錄井、試采、試氣、井下作業(yè)、油氣集輸?shù)榷鄠€數(shù)據(jù)源中抽取所需數(shù)據(jù)，對數(shù)據(jù)進行預處理工作，建立相應的專題數(shù)據(jù)庫，根據(jù)特定的挖掘目標，配置相應數(shù)據(jù)挖掘算法和石油工程業(yè)務模型，快速定制成油氣生產(chǎn)領域不同目標下的數(shù)據(jù)挖掘應用系統(tǒng)，如圖1所示。

圖1 油氣生產(chǎn)大數(shù)據(jù)挖掘平臺架構

通過不斷的迭代，以及專家的參與，最終獲得符合需求的新知識。

1.3 高效的數(shù)據(jù)管理

由于油氣生產(chǎn)的數(shù)據(jù)來源多樣，數(shù)據(jù)管理支持多種數(shù)據(jù)類型管理（oracle數(shù)據(jù)庫、Sql Server數(shù)據(jù)庫、excel文件等），實現(xiàn)數(shù)據(jù)自動抽取、自動計算、自動過濾等。其次，各數(shù)據(jù)源間可能出現(xiàn)數(shù)據(jù)冗余、重復，相同數(shù)據(jù)定義不一致、數(shù)據(jù)錯誤等情況，因此將所需數(shù)據(jù)從多個數(shù)據(jù)源中抽取出來，并進行數(shù)據(jù)預處理，集中到數(shù)據(jù)挖掘庫中。

數(shù)據(jù)的預處理工作主要包括數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)轉換及數(shù)據(jù)歸約等操作。通過數(shù)據(jù)清洗，如缺失值處理、消除數(shù)據(jù)噪聲、數(shù)據(jù)不一致處理，保證了數(shù)據(jù)的完整性、連貫性和正確性。通過數(shù)據(jù)集成，合并多數(shù)據(jù)源的數(shù)據(jù)庫、數(shù)據(jù)立方體或一般文件，存放到一個一致的數(shù)據(jù)存儲中。數(shù)據(jù)轉換則用于將數(shù)據(jù)變換或統(tǒng)一成適合于挖掘的形式。當處理大型數(shù)據(jù)集時，還需要對數(shù)據(jù)進行約簡[5]，以節(jié)約存儲空間，提高挖掘效率和挖掘質量。

1.4 統(tǒng)計分析與數(shù)據(jù)可視化

利用統(tǒng)計學和概率論的原理對關系中各屬性進行分析，找出參數(shù)之間的關系。將油氣生產(chǎn)系統(tǒng)中的多維多元數(shù)據(jù)以泡狀圖、餅狀圖、散點圖、立體圖、網(wǎng)格圖、儀表盤等多種形式展示出來，分析參數(shù)之間的定性關系。

在此基礎上，運用統(tǒng)計分析方法對生產(chǎn)數(shù)據(jù)進行定量分析。趨中分析法能夠發(fā)現(xiàn)生產(chǎn)系統(tǒng)中參數(shù)的一般水平和總體趨勢；離中分析法能夠反映所選數(shù)據(jù)體的離散程度，反映數(shù)據(jù)選取的代表性；回歸分析通過具體的函數(shù)表達式反映參數(shù)之間的相互關系。

1.5 工程算法

工程算法庫實現(xiàn)了對整個油氣生產(chǎn)流程中普遍涉及的重要參數(shù)的整理和計算，庫中包括流體物性計算、多相流計算、摩阻計算、熱效率計算、能量守恒、系統(tǒng)節(jié)點分析等方法。工程算法庫的建立為不同油氣生產(chǎn)領域中關鍵指標參數(shù)提供了計算、分析的方法[6-9]。

多相流的計算有助于了解多相流體在油井及管道中的流型、溫度及壓力變化，對集輸管線、井筒的摩阻進行計算。能夠了解并分析各管段的能量損失，發(fā)現(xiàn)某些摩阻值異常大的管段的位置并及時采取應對措施。系統(tǒng)節(jié)點分析按油氣生產(chǎn)的工藝流程分為一定數(shù)量的子系統(tǒng)，對某一節(jié)點分別進行上下子系統(tǒng)的分析，再將兩端結合在一起求解節(jié)點，保證油氣生產(chǎn)的協(xié)調性和高效性。

1.6 油氣生產(chǎn)系統(tǒng)的診斷與預警模型

針對油氣生產(chǎn)的整個過程，運用多種挖掘算法如灰色關聯(lián)[10]、聚類分析[11]、因素分析[12]、主成分分析、時序分析[13]、BP神經(jīng)網(wǎng)絡[14]等進行分析，找尋蘊藏在數(shù)據(jù)背后的生產(chǎn)規(guī)律，發(fā)現(xiàn)生產(chǎn)中容易忽視的問題，為后期生產(chǎn)措施的調整提供指導。

灰色關聯(lián)分析法能夠分析系統(tǒng)內部參數(shù)之間的聯(lián)系，聚類分析能夠對油氣生產(chǎn)的大量數(shù)據(jù)記錄進行分組，分析各組數(shù)據(jù)內部的相似性和每組數(shù)據(jù)總體的相異性。運用以上方法對生產(chǎn)過程，設備狀態(tài)的當前數(shù)據(jù)進行在線挖掘分析，發(fā)現(xiàn)系統(tǒng)的異常工況。時間序列分析方法能夠針對油氣生產(chǎn)的關鍵指標，基于其大量的歷史數(shù)據(jù)，預測該指標的未來走勢，當指標值超出預設值時觸發(fā)報警機制，確保工作人員及時發(fā)現(xiàn)生產(chǎn)中的故障并進行搶修，保證生產(chǎn)安全。

1.7 構建油氣生產(chǎn)參數(shù)優(yōu)化模型

利用挖掘算法對油氣生產(chǎn)參數(shù)進行優(yōu)化，在滿足必要的約束條件下，改變生產(chǎn)過程的工藝參數(shù)，建立與經(jīng)濟效益有關的目標函數(shù)，并使其達到極值。在生產(chǎn)優(yōu)化實施中，對大量生產(chǎn)數(shù)據(jù)進行挖掘找到目標與工藝參數(shù)的模型關系。利用BP神經(jīng)網(wǎng)絡、粒子遺傳挖掘，找到系統(tǒng)效率、能耗與工藝參數(shù)的模型關系。分析諸多變量作用下的能耗變化規(guī)律，幫助工藝人員弄清影響的主次因素，提出相應的對策，進一步調整工藝參數(shù)，進行運行和安全控制，為實現(xiàn)生產(chǎn)過程操作最優(yōu)化提供指導。

1.8 基于知識庫的智能控制

油氣生產(chǎn)過程對象已變?yōu)橐粋€十分復雜的系統(tǒng)，產(chǎn)生了更為困難的過程控制問題以及對高性能控制器的要求。例如，抽油機井的柔性變速驅動系統(tǒng)，通過建立油層滲流、抽油機變速運行的運動學及動力學模型和機-桿運動動力學耦合模型，考慮慣性載荷對抽油機的運行動力特性影響，及懸點載荷中的振動載荷和慣性載荷的變化規(guī)律，獲得油井供排協(xié)調的沖次和懸點最優(yōu)速度分布曲線，并優(yōu)化計算得到曲柄最優(yōu)速度運行曲線，從而建立機采裝置柔性優(yōu)化運行控制策略，實現(xiàn)柔性控制[15]。該系統(tǒng)結構復雜，計算量大，應用經(jīng)典的控制方法難以勝任，通常必須有知識庫作為支持，而知識的獲取是關鍵。數(shù)據(jù)挖掘技術可以將提取的潛在模式、規(guī)則評估檢驗后歸入知識庫，使得高等控制充分發(fā)揮作用，提高油氣生產(chǎn)過程的控制水平。

2 油氣生產(chǎn)大數(shù)據(jù)挖掘系統(tǒng)應用

油氣生產(chǎn)大數(shù)據(jù)挖掘系統(tǒng)在采油、注水、集輸?shù)葘I(yè)子系統(tǒng)中進行了應用[6-9]。

2.1 以“百米噸液耗電量”為目標的采油工程挖掘

在應用[9]中，以“百米噸液耗電量”為分析目標，利用灰色關聯(lián)分析方法，將參與分析的因素對分析目標的影響程度進行排序，得到主要影響因素，從而采取針對性措施。采用因素評價方法，對泵效、地面效率、井下效率、抽油機平衡率等指標進行評價，可以幫助用戶了解評價指標的好壞，根據(jù)評價結果，對相關工藝采取措施。利用聚類分析方法，以百米噸液耗電量、系統(tǒng)效率、動液面等為分析參數(shù)進行聚類分析，根據(jù)聚類分析的結果，以百米噸液耗電量低的一組油井的動液面和系統(tǒng)效率為參考指標，對相關參數(shù)進行調節(jié)，達到降低百米噸液耗電量的目的。利用時序分析方法，預測關鍵指標未來一段時間內的變化情況，通過設置指標上下限，可對其進行預警，從而輔助油田現(xiàn)場生產(chǎn)管理。利用BP神經(jīng)網(wǎng)絡方法，對沖次、平衡指數(shù)、泵效、操作參數(shù)等進行優(yōu)化，得到百米噸液耗電量最小的運行參數(shù)。

通過對岔105井的百米噸液耗電影響因素進行灰色關聯(lián)分析，結果表明：沖次與百米噸液耗電關系最密切，其次是平均有功功率，沖程的影響比較低。如表1所示。

表1 百米噸液耗電灰色關聯(lián)分析結果

影響因素沖次有效功率地面效率功率因數(shù)最小載荷最大載荷關聯(lián)度泵效沖程 關聯(lián)度0.720.550.520.480.480.440.420.410.34

2.2 以降低“注水單耗”作為目標的注水系統(tǒng)挖掘

在應用中，以“注水單耗”為分析目標，繪制注水井配注完成率與井口壓力宏觀控制圖，可對當前注水井的生產(chǎn)工況進行監(jiān)測及分析。利用灰色關聯(lián)分析方法，將參與分析的因素對分析目標的影響因程度進行排序，得到主要影響因素，從而對降低注水單耗采取針對性措施。利用因素評價方法，對注水泵效率、注水系統(tǒng)效率、管網(wǎng)效率、注水單耗等指標進行評價，根據(jù)評價結果，對相關環(huán)節(jié)采取措施。利用聚類分析方法，以油壓、滲透率、注水量為分析參數(shù)進行分析，對參數(shù)異常的井進行措施作業(yè)及重點關注，例如趙一聯(lián)注水站水井自動聚類成3類，見表2所示，其中，油壓高、滲透率低、注水量一般的井需要進行措施作業(yè)，降低注入壓力；油壓一般、滲透率一般、注水量大的井需要進行重點關注，查看是否發(fā)生水竄。應用基于粒子群算法（PSO）和遺傳算法(GA)的神經(jīng)網(wǎng)絡方法，對注水泵機組參數(shù)、管網(wǎng)高低壓、單井注水參數(shù)、注水系統(tǒng)技術經(jīng)濟指標等進行參數(shù)優(yōu)化，獲得合理的運行參數(shù)。

表2 趙一聯(lián)注水站水井聚類分析結果

3 結語

基于復雜的油氣生產(chǎn)工藝流程及采集的數(shù)據(jù)的特點，研究了油氣生產(chǎn)系統(tǒng)大數(shù)據(jù)挖掘平臺的架構體系，快速定制針對不同挖掘目標的油氣生產(chǎn)大數(shù)據(jù)挖掘系統(tǒng)。該系統(tǒng)可以油氣生產(chǎn)海量的多維、多源數(shù)據(jù)為基礎，建立特定挖掘應用的專題數(shù)據(jù)倉庫，采用了灰色關聯(lián)分析、聚類分析與神經(jīng)網(wǎng)絡等方法形成挖掘模型，對油氣生產(chǎn)系統(tǒng)進行診斷、分析和優(yōu)化，可以實現(xiàn)：1）發(fā)現(xiàn)油氣生產(chǎn)過程各個指標的異常情況；2）油氣田各個生產(chǎn)要素之間的關聯(lián)關系；3）預測油氣水井生產(chǎn)指標變化趨勢和增產(chǎn)增注措施效果；4）預測工藝流程的安全性和工況效率指標；5）生產(chǎn)設備壽命預測和維修預警；6）科學地對油氣生產(chǎn)活動和成本控制提出預警和優(yōu)化等。系統(tǒng)可以滿足不同的用戶需求實現(xiàn)專題挖掘個性化定制。

[1] 羅印升,李人厚等. 復雜工業(yè)過程中數(shù)據(jù)挖掘模型研究[J].信息與控制.2003, 32(1):35-31.

[2] 檀朝東,陳見成,劉志海等,大數(shù)據(jù)挖掘技術在石油工程的應用前景展望[J].中國石油和化工，2015,1:49-51

[3] TAN C D, WANG H Y, REN G S,et al. The technology research of intelligent production engineering system for oil gas, ICRSM–SEPTEMBER 2013:152-156

[4] 關成堯,檀朝東,田春華等. 基于物聯(lián)網(wǎng)的抽油機井系統(tǒng)效率實時計算技術研究.石油地質與工程[J]. 2013, 1, 27(1): 134-136.

[5] MIN F, HE H P, QIAN Y Y, et al, Test-cost-sensitive attribute reduction, Information Sciences, 2011, 181(22), 4928-4942.

[6] TAN C D, Patrick Bangert, Bailiang Liu,et al. Increase of oil production yield in shallow-water offshore oil wells in the dagang oilfield via machine learning. World Oil，November 2010, 37-40.

[7] 劉萍,檀朝東, 劉暢.基于灰色關聯(lián)分析法的SAGD新井組注采參數(shù)的優(yōu)選.中國石油與化工[J]. 2014, 12, 52~55.

[8] 檀朝東,曾霞光等.利用最小二乘法對抽油機井示功圖自動分類及故障診斷.數(shù)據(jù)采集與處理[J].2010，12，第25卷.

[9] 李鑫,耿玉廣等. 以噸液百米舉升耗電量為目標的大數(shù)據(jù)分析應用. 石油鉆采工藝[J].2015,4: 48-52.

[10] 劉思峰,蔡華,楊英杰,曹穎.灰色關聯(lián)分析模型研究進展[J].系統(tǒng)工程理論與實踐. 2013(08).

[11] GUO G D, CHEN S and CHEN L F. Soft subspace clustering with an improved feature weight self-adjustment mechanism. International Journal of Machine Learning and Cybernetics, 2012, 3(1): 39-49.

[12] 李洪興.因素空間與模糊決策[J]. 北京師范大學學報(自然科學版). 1994(01).

[13] Adrian Letchford, Junbin Gao and ZHENG L H. Filtering financial time series by least squares. International Journal of Machine Learning and Cybernetics, 2013, 4(2): 149-154.

[14] GAN Q T. Synchronization of competitive neural networks with different time scales and time-varying delay based on delay partitioning approach. International Journal of Machine Learning and Cybernetics, 2013, 4(4): 327-337.

[15] 姜民政, 王慧等. 變速驅動抽油機井運行參數(shù)變化規(guī)律研究[J].石油礦場機械.2010, 39( 10) : 4- 7.

Research and Application of Big Data MiningSystem for Oil-gas Production

TAN Chaodong1, ZHANG Hengru2, MA Yongzhong3, YANG Bin3, WANG Huiping1

(1.College of Petroleum Engineering, China University of Petroleum, Beijing 102249, China; 2. School of Computer Science, Southwest Petroleum University, Chengdu 610500, China 3.NO.5 Oil Production Company of Huabei Oilfield, PetroChina, Xinji 052360, China )

With the development of the intelligent oil field (IOF), the data volume increases dramatically. These data have complex structures and diverse forms. Urgent requirement of data analysis in this field has introduced more opportunities and challenges of the data mining task. In this paper, we discuss a data mining platform for petroleum and gas big data through data fusion. According to user specified objectives, thematic databases are constructed, data mining algorithms are designed, and petroleum engineering models are built. In this way, a data mining application is implemented for the intelligent diagnosis, prediction, optimization and computer aided decision for the oil and gas field.

intelligent oil field; big data; grey relation; clustering; time-series analysis

1672-9129(2016)01-0053-04

TE3

A

2016-04-27；

2016-06-29。

檀朝東(1968-)，男，安徽望江，副研究員，博士，主要研究方向：石油工程、物聯(lián)網(wǎng)教學及科研；張恒汝(1975-)，男，四川廣安，副教授，碩士，主要研究方向：機器學習、代價敏感粗糙集、推薦系統(tǒng)；馬永忠，男，高級工程師，主要研究方向：采油工程技術研究及應用；楊兵，男，高級工程師，主要研究方向：油氣田開發(fā)信息化系統(tǒng)開發(fā)及應用；王輝萍，女，江蘇東臺，碩士研究生在讀，主要研究方向：油氣開采技術。

(*通信作者電子郵箱 tantcd@126.com)