姜貽偉 李錦憲 張捍衛(wèi) 王慶銀 于艷秋 賀春光 梁梅生
1.中國(guó)石化中原油田普光分公司 2.中國(guó)石化中原油田分公司
普光氣田在建設(shè)之初,相繼建成了集氣站場(chǎng)光傳輸網(wǎng)絡(luò)、站場(chǎng)自動(dòng)化控制系統(tǒng)(PLC、SCADA、DCS)、安全監(jiān)測(cè)報(bào)警與自動(dòng)關(guān)斷、現(xiàn)場(chǎng)視頻監(jiān)控、緊急疏散廣播等信息化基礎(chǔ)設(shè)施,在氣田生產(chǎn)中發(fā)揮了重要作用。但由于缺乏統(tǒng)一規(guī)劃部署,這些系統(tǒng)在氣田產(chǎn)能建設(shè)過(guò)程中分專(zhuān)業(yè)獨(dú)立建成,相關(guān)數(shù)據(jù)資源形成了多個(gè)“信息孤島”。這些分散獨(dú)立的“信息孤島”,雖然滿(mǎn)足了各業(yè)務(wù)部門(mén)對(duì)信息化應(yīng)用的基本需要[1],發(fā)揮了應(yīng)有的作用,但在企業(yè)數(shù)據(jù)深度挖掘應(yīng)用、機(jī)器學(xué)習(xí)、大數(shù)據(jù)分析等方面,數(shù)據(jù)資源建設(shè)還不能滿(mǎn)足智能氣田建設(shè)的需求,不利于業(yè)務(wù)和信息的深度融合發(fā)展。為此,普光智能氣田建設(shè)規(guī)劃設(shè)計(jì)了“1個(gè)平臺(tái)、2個(gè)中心、2個(gè)體系”的智能氣田整體架構(gòu)。1個(gè)平臺(tái)即一體化應(yīng)用平臺(tái),2個(gè)中心即數(shù)據(jù)資源共享中心和輔助決策指揮中心,2個(gè)體系即規(guī)范標(biāo)準(zhǔn)體系和信息安全體系。其中數(shù)據(jù)資源共享中心是支撐智能氣田建設(shè)的關(guān)鍵基礎(chǔ)部分,為各業(yè)務(wù)系統(tǒng)應(yīng)用和智能化目標(biāo)提供統(tǒng)一的企業(yè)數(shù)據(jù)共享服務(wù)。
國(guó)外石油公司如道達(dá)爾、英國(guó)國(guó)家石油公司等較早建立了企業(yè)級(jí)數(shù)據(jù)中心,國(guó)內(nèi)石油公司如中國(guó)石油新疆油田、中國(guó)石化勝利油田、中原油田近年也建立了公司級(jí)的數(shù)據(jù)中心[2]。普光智能氣田數(shù)據(jù)資源共享中心建設(shè)總的指導(dǎo)原則:①要借鑒國(guó)內(nèi)外石油公司企業(yè)級(jí)數(shù)據(jù)中心建設(shè)的成功經(jīng)驗(yàn),繼承中國(guó)石化源頭數(shù)據(jù)庫(kù)建設(shè)的成果;②標(biāo)準(zhǔn)規(guī)范先行,立足高含硫酸性氣田的特點(diǎn),制訂適合高含硫氣田業(yè)務(wù)的數(shù)據(jù)規(guī)范標(biāo)準(zhǔn);③推進(jìn)按崗位進(jìn)行數(shù)據(jù)采集,保障數(shù)據(jù)來(lái)源唯一、避免重復(fù)采集;④加強(qiáng)管理及應(yīng)用,建立覆蓋數(shù)據(jù)全生命周期的管理體系,解決數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等問(wèn)題,建立統(tǒng)一數(shù)據(jù)服務(wù),解決數(shù)據(jù)共享困難等問(wèn)題。
按照總的建設(shè)原則,普光智能氣田數(shù)據(jù)資源共享中心總體架構(gòu)自下而上分別為數(shù)據(jù)規(guī)范標(biāo)準(zhǔn)、數(shù)據(jù)“采、存、算、用”及數(shù)據(jù)管控3層(圖1)。其中,數(shù)據(jù)標(biāo)準(zhǔn)涵蓋業(yè)務(wù)域、數(shù)據(jù)模型(SPDM)、數(shù)據(jù)質(zhì)量規(guī)則等;數(shù)據(jù)采集涵蓋數(shù)據(jù)自動(dòng)提取、格式轉(zhuǎn)換等;數(shù)據(jù)存儲(chǔ)涵蓋實(shí)時(shí)數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)、成果文檔、GIS數(shù)據(jù)等;數(shù)據(jù)計(jì)算涵蓋數(shù)據(jù)驅(qū)動(dòng)引擎、數(shù)據(jù)處理服務(wù)等;數(shù)據(jù)服務(wù)涵蓋主數(shù)據(jù)服務(wù)、數(shù)據(jù)微服務(wù)、數(shù)據(jù)接口等;數(shù)據(jù)管控涵蓋數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理、數(shù)據(jù)服務(wù)監(jiān)控等。在技術(shù)架構(gòu)設(shè)計(jì)上,在數(shù)據(jù)采集體系充分應(yīng)用物聯(lián)網(wǎng)技術(shù);在數(shù)據(jù)存儲(chǔ)體系存儲(chǔ)考慮結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)庫(kù)技術(shù),縱向、橫向可擴(kuò)展云計(jì)算技術(shù);在數(shù)據(jù)計(jì)算體系上支持大數(shù)據(jù)分析等海量數(shù)據(jù)計(jì)算能力;在數(shù)據(jù)服務(wù)體系上既支持傳統(tǒng)數(shù)據(jù)服務(wù),又支持?jǐn)?shù)據(jù)微服務(wù)等云服務(wù)。
圖1 數(shù)據(jù)資源共享中心架構(gòu)框圖
數(shù)據(jù)標(biāo)準(zhǔn)對(duì)于提升數(shù)據(jù)質(zhì)量、促進(jìn)數(shù)據(jù)融合和共享應(yīng)用具有重要的作用。普光智能氣田數(shù)據(jù)規(guī)范標(biāo)準(zhǔn)建設(shè)在遵循中石化源頭數(shù)據(jù)的基礎(chǔ)上,對(duì)普光氣田各崗位業(yè)務(wù)數(shù)據(jù)流分析,將氣田數(shù)據(jù)資源劃分成不同的業(yè)務(wù)域[3-4]、業(yè)務(wù)活動(dòng),遵循 “業(yè)務(wù)流程建?!獢?shù)據(jù)庫(kù)邏輯設(shè)計(jì)—數(shù)據(jù)庫(kù)E/R關(guān)系設(shè)計(jì)”數(shù)據(jù)規(guī)范制定流程,逐步形成了普光智能氣田數(shù)據(jù)中心規(guī)范標(biāo)準(zhǔn),標(biāo)準(zhǔn)包括表命名規(guī)則、編碼、計(jì)量單位、業(yè)務(wù)分類(lèi)、數(shù)據(jù)組織、換算關(guān)系。
數(shù)據(jù)規(guī)范主要涉及物化探、綜合研究、井筒工程、地面工程、開(kāi)發(fā)生產(chǎn)、天然氣凈化、分析化驗(yàn)、HSE應(yīng)急、物資設(shè)備、規(guī)劃計(jì)劃等11大類(lèi)業(yè)務(wù)域(表1)。如:業(yè)務(wù)域“綜合研究”包括“儲(chǔ)量計(jì)算”“氣藏開(kāi)發(fā)評(píng)價(jià)”兩個(gè)業(yè)務(wù)活動(dòng),分別對(duì)應(yīng)“氣藏類(lèi)型與要素分析”“氣體流體性質(zhì)分析”數(shù)據(jù)表。
根據(jù)數(shù)據(jù)采集與存儲(chǔ)方式不同,設(shè)計(jì)了4類(lèi)數(shù)據(jù)采集模式:①工業(yè)控制類(lèi)數(shù)據(jù)實(shí)時(shí)自動(dòng)采集;②崗位動(dòng)靜態(tài)數(shù)據(jù)人工采集;③視頻監(jiān)控信息進(jìn)行統(tǒng)一視頻接入;④文檔成果類(lèi)數(shù)據(jù)定期歸檔。形成了完善的數(shù)據(jù)采集體系(圖2)。
實(shí)時(shí)數(shù)據(jù)采集。普光氣田先進(jìn)的企業(yè)物聯(lián)網(wǎng)系統(tǒng),全面覆蓋從井筒、站場(chǎng)、管網(wǎng)到凈化裝置的關(guān)鍵生產(chǎn)、工藝參數(shù),實(shí)現(xiàn)LIMS化驗(yàn)分析、采氣SCADA、凈化DCS等實(shí)時(shí)數(shù)據(jù)自動(dòng)采集,將生產(chǎn)設(shè)施裝置的溫度、壓力、流量等通過(guò)RS485接口、硬接線(xiàn)方式接入站場(chǎng)、中控室PKS(Process Knowledge System),以API(Application Programming Interface)、OPC Server(OLE for Process Control Server)接口方式與辦公網(wǎng)絡(luò)數(shù)據(jù)信息交換[5],滿(mǎn)足了生產(chǎn)實(shí)時(shí)監(jiān)控、預(yù)警報(bào)警的需要。
表1 標(biāo)準(zhǔn)規(guī)范分類(lèi)表
圖2 數(shù)據(jù)采集體系框圖
崗位數(shù)據(jù)采集。針對(duì)基層崗位操作人員開(kāi)展崗位資料收集、整理,分析業(yè)務(wù)數(shù)據(jù)模型,編制采集模型,建立采集任務(wù),定制崗位報(bào)表。實(shí)現(xiàn)崗位數(shù)據(jù)一次采集、共享應(yīng)用,實(shí)現(xiàn)各流程節(jié)點(diǎn)上的不同崗位業(yè)務(wù)協(xié)同,為專(zhuān)業(yè)應(yīng)用、綜合管理提供基礎(chǔ)數(shù)據(jù)。
統(tǒng)一視頻接入。集成現(xiàn)場(chǎng)生產(chǎn)、辦公場(chǎng)所視頻信息,建立了以二級(jí)平臺(tái)設(shè)備層、接入層與一級(jí)平臺(tái)協(xié)議服務(wù)層聯(lián)通的視頻集成平臺(tái)。研究不同的視頻接入源和RTSP直播流、碼流轉(zhuǎn)換、碼流轉(zhuǎn)發(fā)、碼流合成等技術(shù),采用優(yōu)選的H.264算法[6]進(jìn)行編碼壓縮,按不同業(yè)務(wù)區(qū)域進(jìn)行音視頻信號(hào)轉(zhuǎn)換、壓縮、加密、傳輸、分析采集,實(shí)現(xiàn)不同類(lèi)型視頻的集中集成。
文檔成果數(shù)據(jù)歸檔。對(duì)鉆井、測(cè)井、錄井、井下作業(yè)、地面建設(shè)等工程施工形成的檔案資料,以及勘探開(kāi)發(fā)綜合研究形成的成果數(shù)據(jù),進(jìn)行電子化分類(lèi)歸檔存儲(chǔ)。
普光氣田具有數(shù)據(jù)類(lèi)型多樣、數(shù)據(jù)量較大的特點(diǎn),隨著業(yè)務(wù)信息化深化應(yīng)用推進(jìn),數(shù)據(jù)量比之前有了較大的增長(zhǎng)。存儲(chǔ)體系建設(shè)經(jīng)歷了從簡(jiǎn)單到復(fù)雜、由單一到多樣、由分散到統(tǒng)一的過(guò)程。自智能氣田建設(shè)開(kāi)展以來(lái),之前的以數(shù)據(jù)庫(kù)為主的應(yīng)用,發(fā)展到以數(shù)據(jù)庫(kù)、實(shí)時(shí)數(shù)據(jù)、視頻數(shù)據(jù)、文檔數(shù)據(jù)等多種數(shù)據(jù)并存情況。數(shù)據(jù)結(jié)構(gòu)上從結(jié)構(gòu)化數(shù)據(jù)為主,發(fā)展成為結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)多種類(lèi)型。按照結(jié)構(gòu)化數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)、視頻流媒體數(shù)據(jù)以及非結(jié)構(gòu)化文檔數(shù)據(jù)等格式分類(lèi)集中統(tǒng)一存儲(chǔ),建立了完善的數(shù)據(jù)中心存儲(chǔ)體系(圖3)。
圖3 分布式存儲(chǔ)框圖
針對(duì)工業(yè)控制實(shí)時(shí)數(shù)據(jù)建立了高并發(fā)高帶寬的Oracle RAC分布式數(shù)據(jù)高速存儲(chǔ);對(duì)于檔案成果等文檔采用Hadoop分布式文件系統(tǒng),HBase文件存儲(chǔ)系統(tǒng)對(duì)海量數(shù)據(jù)分布式存儲(chǔ)[7],充分利用集群能力進(jìn)行高速運(yùn)算和存儲(chǔ);對(duì)于高并發(fā)的實(shí)時(shí)數(shù)據(jù)建立了Redis緩存;對(duì)于生產(chǎn)視頻監(jiān)控,采用云存儲(chǔ)技術(shù)[8],將視頻監(jiān)控點(diǎn)的信息集中存儲(chǔ)和發(fā)布,由應(yīng)用層來(lái)實(shí)現(xiàn)媒體資源數(shù)據(jù)在各個(gè)服務(wù)器集群之間的遷移,滿(mǎn)足了大量視頻數(shù)據(jù)環(huán)境下對(duì)存儲(chǔ)負(fù)載均衡和橫向容量擴(kuò)展的需要,從而較好地解決了集中存儲(chǔ)IO瓶頸和故障冗余問(wèn)題。
重點(diǎn)圍繞數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理、數(shù)據(jù)服務(wù)監(jiān)控建立數(shù)據(jù)管理體系。加強(qiáng)數(shù)據(jù)質(zhì)量管控建 設(shè),實(shí)現(xiàn)對(duì)數(shù)據(jù)質(zhì)量相關(guān)規(guī)范的制訂、審核、發(fā)布的流程管理,提升了業(yè)務(wù)數(shù)據(jù)的完整性、有效性和一致性。強(qiáng)化數(shù)據(jù)質(zhì)量事中控制,事后評(píng)價(jià),降低因數(shù)據(jù)問(wèn)題給企業(yè)造成的損失,提升決策分析依據(jù)的準(zhǔn)確性和實(shí)用性。
數(shù)據(jù)安全管理,利用虛擬磁帶庫(kù)技術(shù)進(jìn)行數(shù)據(jù)安全管理,定期對(duì)數(shù)據(jù)中心數(shù)據(jù)進(jìn)行備份恢復(fù)測(cè)試,同時(shí)根據(jù)數(shù)據(jù)類(lèi)型和業(yè)務(wù)需求,創(chuàng)建不同的備份策略,提高了備份效率?!笆濉逼陂g,將通過(guò)存儲(chǔ)虛擬化雙活技術(shù),實(shí)現(xiàn)本(異)地災(zāi)難備份保護(hù)[9]。
數(shù)據(jù)服務(wù)監(jiān)控管理,使用技術(shù)手段和管控措施監(jiān)控?cái)?shù)據(jù)服務(wù)狀態(tài),能跟蹤和控制大數(shù)據(jù)處理事務(wù),對(duì)它進(jìn)行終止、重啟等操作,確保大數(shù)據(jù)處理集群安全高效地運(yùn)行。
重點(diǎn)圍繞數(shù)據(jù)計(jì)算引擎、大數(shù)據(jù)分析挖掘算法建立數(shù)據(jù)計(jì)算體系。按照數(shù)據(jù)類(lèi)型不同,分別建立結(jié)構(gòu)化數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)、地理信息等計(jì)算引擎?;贖adoop建立大數(shù)據(jù)平臺(tái),實(shí)現(xiàn)大數(shù)據(jù)的匯集、計(jì)算以及人工智能的分析應(yīng)用,在此基礎(chǔ)上利用經(jīng)典數(shù)學(xué)方法、大數(shù)據(jù)、機(jī)器學(xué)習(xí)等建立相應(yīng)的算法模型,提升大規(guī)模數(shù)據(jù)并行計(jì)算能力,大數(shù)據(jù)服務(wù)共享能力。
圍繞主數(shù)據(jù)服務(wù)、數(shù)據(jù)微服務(wù)、數(shù)據(jù)接口建立數(shù)據(jù)服務(wù)體系。主數(shù)據(jù)服務(wù)(圖4),它是整個(gè)企業(yè)范圍內(nèi)各個(gè)系統(tǒng)間共享的重要數(shù)據(jù),在整個(gè)企業(yè)范圍內(nèi)必須保持一致性、完整性、可控性[10]。通過(guò)分析業(yè)務(wù)關(guān)鍵參數(shù),確定普光智能氣田主數(shù)據(jù),實(shí)現(xiàn)對(duì)普光氣田主數(shù)據(jù)的統(tǒng)一采集和對(duì)外共享服務(wù)。
圖4 主數(shù)據(jù)服務(wù)框圖
建設(shè)數(shù)據(jù)微服務(wù),如建立地理信息微服務(wù),提供各種地理信息數(shù)據(jù)讀取、格式轉(zhuǎn)換,滿(mǎn)足應(yīng)用系統(tǒng)對(duì)空間信息調(diào)用,建立文檔資源數(shù)據(jù)服務(wù),提供文檔檢索查詢(xún)、調(diào)用等。建立數(shù)據(jù)接口服務(wù),如建立基于實(shí)時(shí)數(shù)據(jù)資源OPC接口服務(wù),為各應(yīng)用系統(tǒng)提供共享實(shí)時(shí)數(shù)據(jù)調(diào)用,利用視頻平臺(tái)SDK開(kāi)發(fā)包建立視頻組件,為三維可視化、智能管網(wǎng)、移動(dòng)應(yīng)用等提供視頻調(diào)用服務(wù)。
通過(guò)普光智能氣田數(shù)據(jù)資源共享中心建設(shè),形成了高含硫氣田數(shù)據(jù)采集標(biāo)準(zhǔn)規(guī)范,數(shù)據(jù)涵蓋勘探、開(kāi)發(fā)、生產(chǎn)、集輸、凈化、QHSE、經(jīng)營(yíng)等全業(yè)務(wù)領(lǐng)域。實(shí)時(shí)數(shù)據(jù)采集覆蓋全氣田DCS和SCADA系統(tǒng)3萬(wàn)點(diǎn)位,視頻集成普光氣田生產(chǎn)現(xiàn)場(chǎng)和生活區(qū)域全部1 046路視頻,崗位數(shù)據(jù)采集實(shí)現(xiàn)基層單位崗位全覆蓋,數(shù)據(jù)中心數(shù)據(jù)年增量由原先2萬(wàn)條上升到12萬(wàn)條。數(shù)據(jù)共享服務(wù)能力得到大幅提升,通過(guò)開(kāi)展主數(shù)據(jù)服務(wù)、數(shù)據(jù)微服務(wù)、數(shù)據(jù)接口服務(wù)建設(shè),有力支撐了智能氣田勘探開(kāi)發(fā)、三維仿真地理信息、生產(chǎn)運(yùn)行與應(yīng)急指揮、移動(dòng)應(yīng)用等智能氣田核心應(yīng)用系統(tǒng)的高效和穩(wěn)定運(yùn)行,為關(guān)鍵裝置故障診斷、管道腐蝕大數(shù)據(jù)分析等科技研究提供大數(shù)據(jù)基礎(chǔ),為智能氣田數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、大數(shù)據(jù)分析等智能化應(yīng)用提供了強(qiáng)大的數(shù)據(jù)支撐。
1)數(shù)據(jù)資源共享中心是普光智能氣田建設(shè)的基礎(chǔ)工程,其總體架構(gòu)設(shè)計(jì)、技術(shù)架構(gòu)設(shè)計(jì)都圍繞數(shù)據(jù)是企業(yè)核心資產(chǎn)、數(shù)據(jù)是企業(yè)“新能源”這一理念來(lái)完成的。
2)普光智能氣田數(shù)據(jù)資源共享中心,實(shí)現(xiàn)了數(shù)據(jù)一次采集、共享使用、統(tǒng)一管理的目標(biāo),為智能氣田業(yè)務(wù)系統(tǒng)建設(shè)提供了重要的數(shù)據(jù)基礎(chǔ)。
3)數(shù)據(jù)資源共享中心的建設(shè)是一個(gè)循序漸進(jìn)的過(guò)程,要不斷結(jié)合物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)等新技術(shù)來(lái)逐步發(fā)展完善,不斷提升數(shù)據(jù)服務(wù)能力水平,為企業(yè)轉(zhuǎn)型發(fā)展提供強(qiáng)大的數(shù)據(jù)支撐動(dòng)力。