陳哲 徐慶 范德軍
中國(guó)石油大港油田分公司信息中心,天津 300280
大港油田公司通過(guò)啟動(dòng)勘探開(kāi)發(fā)主數(shù)據(jù)庫(kù)建設(shè),目前專業(yè)數(shù)據(jù)覆蓋了鉆井、測(cè)井、錄井、分析化驗(yàn)、油氣生產(chǎn)等專業(yè)數(shù)據(jù)。各個(gè)專業(yè)數(shù)據(jù)庫(kù)和主庫(kù)的建設(shè)都是由資源建設(shè)模式統(tǒng)一錄入的,隨著信息化建設(shè)的深入,目前迫切需要解決數(shù)據(jù)入庫(kù)的常態(tài)化問(wèn)題。通俗的說(shuō),就是按照井的生命周期、油藏的生命周期在各個(gè)事件點(diǎn)都由對(duì)應(yīng)的數(shù)據(jù)產(chǎn)生的責(zé)任人錄入對(duì)應(yīng)的數(shù)據(jù),并能夠按照數(shù)據(jù)的質(zhì)控規(guī)則實(shí)現(xiàn)監(jiān)控和考評(píng),以最終提高數(shù)據(jù)的準(zhǔn)確率和時(shí)效性。同時(shí)由于建設(shè)過(guò)程模型設(shè)計(jì)還有很多不完善的方面,隨著應(yīng)用的深入,數(shù)據(jù)模型變更不可避免,如何做到清晰的模型描述,保證模型與物理模型統(tǒng)一,并為后期各種采集、查詢等應(yīng)用系統(tǒng)建設(shè)提供堅(jiān)實(shí)的基礎(chǔ),都是當(dāng)前面臨的主要問(wèn)題。
一般來(lái)說(shuō),數(shù)據(jù)質(zhì)量管理框架包括三部分,即:
(1)數(shù)據(jù)產(chǎn)生階段的質(zhì)量管理與控制;
(2)數(shù)據(jù)整編階段的數(shù)據(jù)質(zhì)量描述;
(3)數(shù)據(jù)共享階段的數(shù)據(jù)質(zhì)量評(píng)價(jià)與反饋。
數(shù)據(jù)質(zhì)量評(píng)價(jià)主要有三個(gè)指標(biāo),也就是我們平常所說(shuō)的“齊、全、準(zhǔn)”,這里我們細(xì)化一下這幾個(gè)字的含義:
(1)齊:這里的齊主要指管理對(duì)象的數(shù)據(jù)齊,比如:對(duì)于數(shù)據(jù)油藏和數(shù)字油田建設(shè)就是管理的井、油藏等的實(shí)體對(duì)象要求全部入庫(kù)。
(2)全:是指對(duì)于一個(gè)實(shí)體對(duì)象的屬性數(shù)據(jù)全,應(yīng)該包含鉆井?dāng)?shù)據(jù)、錄井?dāng)?shù)據(jù)、測(cè)井?dāng)?shù)據(jù)等。
(3)準(zhǔn):準(zhǔn)的含義有兩個(gè),準(zhǔn)確和準(zhǔn)時(shí)。準(zhǔn)時(shí)是指在實(shí)體事件發(fā)生后的一個(gè)特定的時(shí)間內(nèi)保證相應(yīng)的屬性數(shù)據(jù)入庫(kù),準(zhǔn)確是指數(shù)據(jù)的準(zhǔn)確率,也就是“在一定觀測(cè)條件下,觀測(cè)值及其函數(shù)的估值與其真值的偏離程度”。
數(shù)據(jù)質(zhì)量是指數(shù)據(jù)滿足特定用戶期望的程度。數(shù)據(jù)質(zhì)量必須包括下面六個(gè)基本要素:完整性 、唯一性 、一致性 、精確性 、合法性 、及時(shí)性。完整性主要包括實(shí)體不缺失、屬性不缺失、記錄不缺失和字段不缺失四個(gè)方面;唯一性主要指主鍵唯一和候選主鍵唯一;一致性指統(tǒng)一數(shù)據(jù)來(lái)源、統(tǒng)一存儲(chǔ)和統(tǒng)一數(shù)據(jù)口徑;精確性指指計(jì)量誤差、度量單位等方面的精確程度;合法性主要包括格式、類型、域值和業(yè)務(wù)規(guī)則的有效性;及時(shí)性指數(shù)據(jù)刷新、修改和提取等操作的及時(shí)性和快速性;
同時(shí),數(shù)據(jù)質(zhì)量也可以從兩個(gè)方面來(lái)理解:數(shù)據(jù)本身的質(zhì)量和數(shù)據(jù)的過(guò)程質(zhì)量。
數(shù)據(jù)本身質(zhì)量
數(shù)據(jù)的真實(shí)性:數(shù)據(jù)必須真實(shí)準(zhǔn)確的反映實(shí)際發(fā)生的業(yè)務(wù)。
數(shù)據(jù)的完備性:數(shù)據(jù)的完備性是說(shuō)數(shù)據(jù)是充分的,任何有關(guān)操作的數(shù)據(jù)都沒(méi)有被遺漏。
數(shù)據(jù)的自洽性:數(shù)據(jù)并不是孤立存在的,數(shù)據(jù)之間往往存在著各種各樣的約束,這種約束描述了數(shù)據(jù)的關(guān)聯(lián)關(guān)系。數(shù)據(jù)必須能夠滿足這種數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系,而不能夠相互矛盾。
數(shù)據(jù)的真實(shí)性、完備性、自洽性是數(shù)據(jù)本身應(yīng)具有的屬性,稱為數(shù)據(jù)的絕對(duì)質(zhì)量,是保證數(shù)據(jù)質(zhì)量的基礎(chǔ)。
數(shù)據(jù)過(guò)程質(zhì)量:在利用和存貯數(shù)據(jù)的過(guò)程中所產(chǎn)生的數(shù)據(jù)質(zhì)量,包括使用質(zhì)量、存貯質(zhì)量和傳輸質(zhì)量,稱之為過(guò)程質(zhì)量。
數(shù)據(jù)的使用質(zhì)量:數(shù)據(jù)的使用質(zhì)量是指數(shù)據(jù)被正確的使用。再正確的數(shù)據(jù),如果被錯(cuò)誤的使用,就不可能得出正確的結(jié)論。
數(shù)據(jù)的存貯質(zhì)量:數(shù)據(jù)的存貯質(zhì)量是指數(shù)據(jù)被安全的存貯在適當(dāng)?shù)慕橘|(zhì)上。所謂安全是指采用了適當(dāng)?shù)姆桨负图夹g(shù)來(lái)抵制外來(lái)的因素,使數(shù)據(jù)免受破壞,備份是我們常使用的技術(shù),包括異地備份和雙機(jī)備份。
數(shù)據(jù)的傳輸質(zhì)量:數(shù)據(jù)的傳輸質(zhì)量是指數(shù)據(jù)在傳輸過(guò)程中的效率和正確性。在現(xiàn)代信息社會(huì)中,數(shù)據(jù)在異地之間的傳輸越來(lái)越多,保證傳輸過(guò)程中的高效率和正確性非常重要。
本方案所涉及的數(shù)據(jù)質(zhì)量是指數(shù)據(jù)的本身質(zhì)量。
在系統(tǒng)發(fā)展的不同階段,系統(tǒng)對(duì)數(shù)據(jù)質(zhì)量的關(guān)注點(diǎn)也有所不同。早期對(duì)數(shù)據(jù)質(zhì)量的關(guān)注點(diǎn)主要是提高數(shù)據(jù)準(zhǔn)確性,隨著系統(tǒng)功能和定位的不斷延伸,用戶關(guān)注的重點(diǎn)逐步由數(shù)據(jù)準(zhǔn)確性擴(kuò)展至完整性、一致性、及時(shí)性等方面。
目前大多數(shù)企業(yè)存在多地區(qū),多產(chǎn)品,多業(yè)務(wù),多系統(tǒng)的環(huán)境,在數(shù)據(jù)信息,報(bào)表統(tǒng)計(jì),業(yè)務(wù)分析和業(yè)務(wù)單元定義上存在數(shù)據(jù)不一致,不完整,不統(tǒng)一以及不真實(shí)和不及時(shí)的情況,這樣讓業(yè)務(wù)人員,管理者,信息使用者存在誤解,導(dǎo)致決策出現(xiàn)偏差,同時(shí)低下的數(shù)據(jù)質(zhì)量往往造成開(kāi)發(fā)出來(lái)的系統(tǒng)與用戶的預(yù)期大相徑庭,而在維護(hù)階段,也出現(xiàn)維護(hù)成本不斷上升,工作量加大,系統(tǒng)難以擴(kuò)展。這樣的情況急切等待數(shù)據(jù)質(zhì)量管理的標(biāo)準(zhǔn)和指導(dǎo)方案。
數(shù)據(jù)質(zhì)量管理包括數(shù)據(jù)質(zhì)量的分析和驗(yàn)證,因此有數(shù)據(jù)的分析流程和數(shù)據(jù)的管理流程,如圖2.1。
首先是分析源數(shù)據(jù)系統(tǒng),從業(yè)務(wù)和數(shù)據(jù)本身的角度剖析,包括對(duì)數(shù)據(jù)源中存儲(chǔ)的邏輯定義,表結(jié)構(gòu),視圖結(jié)構(gòu),約束,觸發(fā)器,唯一性等等,得出相關(guān)的定義。由定義以及定義的關(guān)聯(lián)產(chǎn)生相應(yīng)的業(yè)務(wù)規(guī)則和數(shù)據(jù)邏輯規(guī)則。
數(shù)據(jù)的驗(yàn)證引擎利用這些產(chǎn)出的規(guī)則,對(duì)源數(shù)據(jù)和目標(biāo)數(shù)據(jù)進(jìn)行校驗(yàn),并對(duì)應(yīng)校驗(yàn)規(guī)則保存校驗(yàn)結(jié)果;修正引擎用業(yè)務(wù)和數(shù)據(jù)邏輯的修正規(guī)則對(duì)校驗(yàn)結(jié)果進(jìn)行自動(dòng)修正和提供手動(dòng)修正接口,同時(shí)保留修改前后的記錄;
圖2.1 數(shù)據(jù)分析和管理流程圖
在數(shù)據(jù)質(zhì)量管理模型中,需要對(duì)數(shù)據(jù)檢驗(yàn)結(jié)果和修正結(jié)果進(jìn)行分析,利用校驗(yàn)結(jié)果發(fā)現(xiàn)數(shù)據(jù)源和數(shù)據(jù)流程中存在的問(wèn)題,同時(shí)可以參考修正記錄,對(duì)數(shù)據(jù)的質(zhì)量提出適當(dāng)?shù)母倪M(jìn)策略,并采取適當(dāng)?shù)男袨椤?/p>
一般來(lái)講,數(shù)據(jù)質(zhì)量管理的項(xiàng)目包括的主要任務(wù)有:
源系統(tǒng)剖析:源數(shù)據(jù)剖析的深度和業(yè)務(wù)層次,來(lái)定義數(shù)據(jù)語(yǔ)義的一致性,將企業(yè)相關(guān)數(shù)據(jù)元就行分析,看看各系統(tǒng)間數(shù)據(jù)的不同部門對(duì)數(shù)據(jù)的定義,這是確定數(shù)據(jù)含義是否一致。
元定義:原系統(tǒng)的數(shù)據(jù)剖析是對(duì)分析各個(gè)原系統(tǒng)的數(shù)據(jù)存儲(chǔ)的結(jié)構(gòu),包括表數(shù)據(jù),視圖數(shù)據(jù),Excel數(shù)據(jù)等以及計(jì)算公式,比較方式,查看數(shù)據(jù)方式,都數(shù)據(jù)剖析的范圍,這需要一個(gè)比較可行的方式,對(duì)于數(shù)據(jù)庫(kù)中的內(nèi)容,需要有相應(yīng)的導(dǎo)出完整數(shù)據(jù)字典的結(jié)構(gòu)過(guò)程,能在Excel中修改,也能導(dǎo)入到制定的表中進(jìn)行保存,同時(shí)還能定期檢查表結(jié)構(gòu)是否發(fā)生變化。
數(shù)據(jù)驗(yàn)證:這里的驗(yàn)證有幾種,數(shù)據(jù)結(jié)構(gòu)驗(yàn)證,還有數(shù)據(jù)一致性,完整性,唯一性和準(zhǔn)確性的驗(yàn)證,每一種驗(yàn)證就需要建立固定的可變化的驗(yàn)證規(guī)則,而且驗(yàn)證規(guī)則,驗(yàn)證體,驗(yàn)證結(jié)構(gòu)都需要記錄日志和驗(yàn)證結(jié)果,同時(shí)還需要提供接口給UI,最好能做到讓業(yè)務(wù)人員自己更新驗(yàn)證規(guī)則,自己查看驗(yàn)證過(guò)程和結(jié)果,為數(shù)據(jù)修補(bǔ)引擎提供接口。
數(shù)據(jù)修正:針對(duì)不同類型的數(shù)據(jù)驗(yàn)證規(guī)則驗(yàn)證的數(shù)據(jù)進(jìn)行更新,有指定規(guī)則自動(dòng)更新的,有人工干預(yù)修改的,主要是能有UI接口,提供修改功能和修改策略,以及記錄修改日志和標(biāo)記。便于和正常數(shù)據(jù)區(qū)分。
元數(shù)據(jù)管理:數(shù)據(jù)質(zhì)量的元數(shù)據(jù)管理是貫穿整個(gè)解決方案體系,從數(shù)據(jù)剖析到最后的質(zhì)量檢測(cè)和管理部分,記錄管理元數(shù)據(jù),操作元數(shù)據(jù),業(yè)務(wù)規(guī)則元數(shù)據(jù),驗(yàn)證規(guī)則和修正規(guī)則等元數(shù)據(jù),它是數(shù)據(jù)質(zhì)量管理模型的靈魂。
檢驗(yàn)分析:這里的分析報(bào)表,如可以利用6Sigma的原理,對(duì)數(shù)據(jù)質(zhì)量情況進(jìn)行分析,可以預(yù)先制定標(biāo)準(zhǔn)和參考依據(jù),對(duì)數(shù)據(jù)質(zhì)量進(jìn)行等級(jí)劃分。方便企業(yè)制定數(shù)據(jù)質(zhì)量管理制度。也可以按照數(shù)據(jù)的檢驗(yàn)結(jié)果,按照不同的數(shù)據(jù)源劃分,檢測(cè)數(shù)據(jù)誤差來(lái)源點(diǎn),逐步解決數(shù)據(jù)質(zhì)量問(wèn)題。
數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)和等級(jí)定義:這部分是數(shù)據(jù)質(zhì)量管理的匯總部分,借鑒系統(tǒng)剖析,元定義,數(shù)據(jù)驗(yàn)證和修正,以及元數(shù)據(jù)和檢驗(yàn)分析等部分的匯總和指標(biāo)而建立的,意在提出較完整的數(shù)據(jù)質(zhì)量管理標(biāo)注,并由此劃分等級(jí)。
進(jìn)一步可以把數(shù)據(jù)質(zhì)量管理項(xiàng)目的任務(wù)進(jìn)行細(xì)化分解:
1)、數(shù)據(jù)分析和定義:
a、源數(shù)據(jù)系統(tǒng)剖析范圍和標(biāo)準(zhǔn)
b、數(shù)據(jù)語(yǔ)義的一致性的定義標(biāo)準(zhǔn)
c、數(shù)據(jù)元的完整性的定義標(biāo)準(zhǔn)
d、數(shù)據(jù)體的唯一性的定義標(biāo)準(zhǔn)
e、數(shù)據(jù)描述的準(zhǔn)確性的定義標(biāo)準(zhǔn)
f、業(yè)務(wù)的關(guān)聯(lián)性的定義標(biāo)準(zhǔn)
g、數(shù)據(jù)粒度的定義標(biāo)準(zhǔn)
h、數(shù)據(jù)生命周期的定義標(biāo)準(zhǔn)
2)、數(shù)據(jù)質(zhì)量問(wèn)題發(fā)現(xiàn):
a、業(yè)務(wù)規(guī)則定義標(biāo)準(zhǔn)和方案
b、數(shù)據(jù)業(yè)務(wù)邏輯定義
c、數(shù)據(jù)量定義
d、數(shù)據(jù)驗(yàn)證引擎實(shí)現(xiàn)方案
3)、數(shù)據(jù)質(zhì)量問(wèn)題修正:
a、數(shù)據(jù)自動(dòng)修改條件和標(biāo)準(zhǔn)
b、數(shù)據(jù)手動(dòng)修改條件和標(biāo)準(zhǔn)
c、數(shù)據(jù)修補(bǔ)引擎實(shí)現(xiàn)方案
4)、數(shù)據(jù)質(zhì)量元數(shù)據(jù)管理:
a、數(shù)據(jù)分析和定義部分元數(shù)據(jù)存儲(chǔ)和管理
b、數(shù)據(jù)質(zhì)量問(wèn)題發(fā)現(xiàn)部分元數(shù)據(jù)存儲(chǔ)和管理
c、數(shù)據(jù)質(zhì)量問(wèn)題修正部分元數(shù)據(jù)存儲(chǔ)和管理
d、管理型元數(shù)據(jù)存儲(chǔ)和管理
5)、數(shù)據(jù)質(zhì)量檢測(cè)分析:
a、數(shù)據(jù)質(zhì)量評(píng)估范圍
b、檢測(cè)分析報(bào)告內(nèi)容定義
系統(tǒng)整體設(shè)計(jì)體系就主要由元數(shù)據(jù)管理、質(zhì)量規(guī)則管理、質(zhì)量監(jiān)控程序調(diào)度、質(zhì)量監(jiān)測(cè)結(jié)果展示、質(zhì)量分析報(bào)告和質(zhì)量報(bào)警系統(tǒng)等構(gòu)成。
圖3.1 系統(tǒng)體系結(jié)構(gòu)圖
針對(duì)石油勘探開(kāi)發(fā)的數(shù)據(jù)特點(diǎn),石油的勘探開(kāi)發(fā)數(shù)據(jù)都是面向?qū)嶓w進(jìn)行衍生的,所有的數(shù)據(jù)都是伴隨著實(shí)體的生命周期產(chǎn)生的。因此數(shù)據(jù)檢查也是伴隨著實(shí)體生命周期進(jìn)行的,在不同的生命周期,必須產(chǎn)生相應(yīng)的準(zhǔn)確數(shù)據(jù)。
圖3.2 系統(tǒng)程序流程簡(jiǎn)圖
為了保證大港油田目前與后期勘探開(kāi)發(fā)中心主庫(kù)建設(shè)的順利進(jìn)行,本項(xiàng)目承擔(dān)著大港油田勘探開(kāi)發(fā)數(shù)據(jù)主庫(kù)建設(shè)的基礎(chǔ)工程,從模型管理支持和數(shù)據(jù)質(zhì)量保障兩個(gè)方面保證遼河油田的勘探開(kāi)發(fā)數(shù)據(jù)主庫(kù)建設(shè)的順利實(shí)施。
其一般的程序流程是數(shù)據(jù)采集、數(shù)據(jù)檢查、質(zhì)量報(bào)告、處理整改和最終總結(jié)考評(píng)。
大港油田主庫(kù)目前將包括幾十個(gè)各種專業(yè)數(shù)據(jù),這些系統(tǒng)的模型管理和維護(hù)是相當(dāng)艱巨的工作。通過(guò)統(tǒng)一模型管理實(shí)現(xiàn)了數(shù)據(jù)模型統(tǒng)一維護(hù),同時(shí)由于數(shù)據(jù)采集管理平臺(tái)采用MDA(模型驅(qū)動(dòng)架構(gòu))進(jìn)行建設(shè)的,因此模型管理也是通用數(shù)據(jù)采集管理平臺(tái)的基礎(chǔ)。
模型管理平臺(tái)主要實(shí)現(xiàn)下面的功能:
字典管理:統(tǒng)一管理系統(tǒng)中所有的分類數(shù)據(jù);
量綱管理:滿足用戶對(duì)多種單位制的要求,實(shí)現(xiàn)單位的自由轉(zhuǎn)換;
智能建表及元數(shù)據(jù)管理:能夠在瀏覽器中建立基礎(chǔ)數(shù)據(jù)表并進(jìn)行元數(shù)據(jù)描述;
模型日志管理與維護(hù):數(shù)據(jù)模型修改,同時(shí)生成模型修改日志,日志文件可作為多個(gè)系統(tǒng)模型同步依據(jù);
數(shù)據(jù)模型維護(hù):對(duì)后期模型修改完全在系統(tǒng)中進(jìn)行,不需要手工修改數(shù)據(jù)表對(duì)象,并同時(shí)完成數(shù)據(jù)模型更新;
模型約束管理:包括主鍵、唯一性、外鍵、引用關(guān)系全系列約束管理;
以井為對(duì)象對(duì)鉆井、錄井、測(cè)井、分析化驗(yàn)、開(kāi)發(fā)生產(chǎn)、測(cè)試、試油與酸化壓裂、措施修井等專業(yè)數(shù)據(jù)進(jìn)行采集流程梳理,實(shí)現(xiàn)數(shù)據(jù)流與業(yè)務(wù)流程的統(tǒng)一,找到所有數(shù)據(jù)在油田勘探開(kāi)發(fā)管理過(guò)程的數(shù)據(jù)源點(diǎn),并把所有井在生命周期的不同階段數(shù)據(jù)管理單位和責(zé)任人。形成數(shù)據(jù)采集流程規(guī)范和所有專業(yè)數(shù)據(jù)表的數(shù)據(jù)質(zhì)量規(guī)范。
按照數(shù)據(jù)生命周期,劃分不同專業(yè)數(shù)據(jù)質(zhì)量責(zé)任人,一般以油藏為單元進(jìn)行數(shù)據(jù)責(zé)任人劃分和確定。確定一個(gè)油藏下所屬井的數(shù)據(jù)質(zhì)量責(zé)任歸屬,同時(shí)也作為在數(shù)據(jù)質(zhì)量出現(xiàn)問(wèn)題時(shí)的人員提醒對(duì)象的邏輯確定。
基于已有數(shù)據(jù)庫(kù)描述的元數(shù)據(jù)信息,擴(kuò)展數(shù)據(jù)質(zhì)量規(guī)則描述系統(tǒng),對(duì)CWM(公共數(shù)據(jù)倉(cāng)庫(kù)元模型)和JESS(Java專家系統(tǒng)腳本語(yǔ)言)兩種模式在油田數(shù)據(jù)質(zhì)量管理應(yīng)用的適應(yīng)性進(jìn)行論證,選擇合適的模式進(jìn)行規(guī)則描述系統(tǒng)的開(kāi)發(fā)。
元數(shù)據(jù)模型質(zhì)量描述支持:
字符:支持空值檢查、數(shù)據(jù)格式檢查(正則表達(dá)式)、枚舉類型無(wú)效引用檢查。
日期:日期類型值域范疇,根據(jù)不同的日期類型(年度、月度、日、分時(shí))等數(shù)據(jù)類型,檢查數(shù)據(jù)的日期數(shù)據(jù)的規(guī)范。
整形:枚舉類型無(wú)效引用檢查,數(shù)據(jù)值域檢查;
數(shù)字:數(shù)據(jù)值域檢查;
外鍵引用及依賴關(guān)系:對(duì)于引用和外鍵是否被引用數(shù)據(jù)缺失。
JESS作為被基于CWM的模型方法數(shù)據(jù)質(zhì)量控制的一種擴(kuò)展,主要用于對(duì)數(shù)據(jù)時(shí)限內(nèi)缺失數(shù)據(jù)的檢查,如在完井一個(gè)時(shí)限內(nèi)必須完成測(cè)井?dāng)?shù)據(jù)的入庫(kù)。
利用任務(wù)管理等引擎,擴(kuò)展數(shù)據(jù)質(zhì)量檢查引擎的開(kāi)發(fā),能夠?qū)崿F(xiàn)可定制的數(shù)據(jù)質(zhì)量檢查系統(tǒng),按照數(shù)據(jù)時(shí)效特征、按照日、周、月的周期進(jìn)行數(shù)據(jù)質(zhì)量檢查。
數(shù)據(jù)管理者可以自動(dòng)查看由規(guī)則檢查出來(lái)的臟數(shù)據(jù)或者可疑數(shù)據(jù)列表。系統(tǒng)能夠根據(jù)數(shù)據(jù)管理歸屬關(guān)系,自動(dòng)用即時(shí)通訊對(duì)數(shù)據(jù)管理人員的進(jìn)行提醒。要求數(shù)據(jù)管理者在時(shí)間期限內(nèi)進(jìn)行整改。
針對(duì)需要錄入的數(shù)據(jù)和整改的數(shù)據(jù),定制對(duì)應(yīng)數(shù)據(jù)表的采集程序,用戶只要在待處理工作的列表點(diǎn)擊進(jìn)入進(jìn)行整改,由于工作量比較大,因此本次只完成兩個(gè)專業(yè)的數(shù)據(jù)整改和采集的程序開(kāi)發(fā),在整改界面中以紅色表示提示數(shù)據(jù)錯(cuò)誤原因,及正確數(shù)據(jù)的規(guī)范。
數(shù)據(jù)質(zhì)量檢測(cè)報(bào)告包括兩個(gè)部分的內(nèi)容:數(shù)據(jù)質(zhì)量日志系統(tǒng)和數(shù)據(jù)質(zhì)量考評(píng)系統(tǒng),對(duì)于每項(xiàng)數(shù)據(jù)質(zhì)量的問(wèn)題,系統(tǒng)都提交數(shù)據(jù)質(zhì)量日志,包括數(shù)據(jù)臟數(shù)據(jù)產(chǎn)生原因、類別等信息。以便在后期開(kāi)發(fā)數(shù)據(jù)采集系統(tǒng)進(jìn)行檢測(cè)和注意。數(shù)據(jù)質(zhì)量考評(píng)系統(tǒng)給領(lǐng)導(dǎo)對(duì)于各單位進(jìn)行數(shù)據(jù)質(zhì)量監(jiān)控和檢查的依據(jù)。建立一個(gè)數(shù)據(jù)質(zhì)量的考評(píng)權(quán)重評(píng)分機(jī)制,對(duì)所有的采油單位和二級(jí)單位進(jìn)行考評(píng)。
數(shù)據(jù)質(zhì)量管理系統(tǒng)的實(shí)施對(duì)企業(yè)可能產(chǎn)生顯著經(jīng)濟(jì)效益,主要體現(xiàn)在:
1)模型管理與質(zhì)量控制系統(tǒng)的建立規(guī)范了數(shù)據(jù)采集、提高了數(shù)據(jù)質(zhì)量。對(duì)于以數(shù)據(jù)為基礎(chǔ)的勘探開(kāi)發(fā)信息系統(tǒng),有著重要的現(xiàn)實(shí)意義。
2)提高了數(shù)據(jù)管理的效率、明確了采集流程中各崗位的職責(zé)。
3)使單井?dāng)?shù)據(jù)按照井的生命周期、油藏的生命周期在各個(gè)事件點(diǎn)都有對(duì)應(yīng)的數(shù)據(jù)管理者錄入對(duì)應(yīng)的數(shù)據(jù),并能夠按照數(shù)據(jù)的質(zhì)控規(guī)則實(shí)現(xiàn)監(jiān)控和考評(píng),以最終提高數(shù)據(jù)的準(zhǔn)確率和時(shí)效性
4)使報(bào)表、曲線有更加準(zhǔn)確的呈現(xiàn),從而為領(lǐng)導(dǎo)做出正確快速的決策奠定了基礎(chǔ)。
5)對(duì)油田未來(lái)的發(fā)展有著積極的影響,大港油田自二十世紀(jì)六十年代投入開(kāi)發(fā)至今,已經(jīng)進(jìn)入開(kāi)發(fā)的后期階段,良好的數(shù)據(jù)質(zhì)量成為利用新技術(shù)手段充分挖掘現(xiàn)有剩余資源潛力的基礎(chǔ)。
6)目前大港油田正在建設(shè)的數(shù)字油田項(xiàng)目對(duì)大港油田開(kāi)發(fā)生產(chǎn)有著重要意義,良好的數(shù)據(jù)質(zhì)量在一定程度加強(qiáng)了數(shù)字油田在開(kāi)發(fā)生產(chǎn)中所起到的作用。
[1]李慶陽(yáng),彭宏. 面向數(shù)據(jù)質(zhì)量的ETL框架的設(shè)計(jì)與實(shí)現(xiàn) [期刊論文].計(jì)算機(jī)工程與設(shè)計(jì),2010(9)
[2]孫水華,林志強(qiáng). 企業(yè)決策支持系統(tǒng)ETL建構(gòu)技術(shù)研究 [期刊論文].福建工程學(xué)院學(xué)報(bào),2011(1)
[3]王秋楠,周連喆. 基于數(shù)據(jù)倉(cāng)庫(kù)的一種通用ETL工具的設(shè)計(jì)與實(shí)現(xiàn) [期刊論文].電腦知識(shí)與技術(shù),2008(26)
[4]袁小一,蘇智星. 淺談特色數(shù)據(jù)庫(kù)元數(shù)據(jù)的建立 [期刊論文].晉圖學(xué)刊,2005(05)
[5]商光娟. 有效的數(shù)據(jù)質(zhì)量管邢體系--21世紀(jì)管理的基石 [期刊論文].航空標(biāo)準(zhǔn)化與質(zhì)量,2005(02)
[6]陸映橋. 油田信息化建設(shè)中的標(biāo)準(zhǔn)化 [期刊論文]. 中國(guó)標(biāo)準(zhǔn)化 , 2004(8)
[7]李世吉. 數(shù)據(jù)挖掘技術(shù)在油田監(jiān)控系統(tǒng)中的應(yīng)用 [期刊論文]. 電腦學(xué)習(xí),2008(6)
[8]張耀堂. 油田信息化建設(shè)中的標(biāo)準(zhǔn)化 [期刊論文]. 中國(guó)標(biāo)準(zhǔn)化 - 2004(8)
[9]李文玉. 面向金融行業(yè)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)質(zhì)量控管的研究與實(shí)現(xiàn) [學(xué)位論文 ],2009
[10]胡建偉,趙志勇,薛運(yùn)華 . 數(shù)據(jù)質(zhì)量和數(shù)據(jù)清洗關(guān)鍵技術(shù)研究 [學(xué)位論文],2002