摘 要: 電網(wǎng)設(shè)備臺帳數(shù)據(jù)是電網(wǎng)生產(chǎn)運營分析最基礎(chǔ)的數(shù)據(jù),其數(shù)據(jù)質(zhì)量水平?jīng)Q定了大量數(shù)據(jù)分析結(jié)果的可信度和決策的科學(xué)性。以廣東電網(wǎng)公司設(shè)備臺帳數(shù)據(jù)為研究樣本,通過歸納識別設(shè)備臺帳數(shù)據(jù)質(zhì)量的問題表象,剖析導(dǎo)致數(shù)據(jù)質(zhì)量問題的技術(shù)、管理深層次原因;基于業(yè)務(wù)協(xié)同與標(biāo)準(zhǔn)化等管理理論和數(shù)據(jù)分析挖掘方法,提出了有針對性的數(shù)據(jù)質(zhì)量改善管理措施和技術(shù)措施,為提升信息系統(tǒng)數(shù)據(jù)質(zhì)量提供了支撐。
關(guān)鍵詞: 數(shù)據(jù)質(zhì)量; 設(shè)備臺帳管理; 檢測規(guī)則; 改善措施
中圖分類號: TN915?34 文獻(xiàn)標(biāo)識碼: A 文章編號: 1004?373X(2016)13?0163?04
Abstract: The power grid equipment ledger data is the most fundamental data of power grid production and operation analysis, and its data quality level decides the reliability of massive data analysis results and scientificity of decision making. In this paper, the equipment ledger data of Guangdong Power Grid Corporation is taken as the research sample, and the problems of equipment ledger data quality is concluded and recognized to analyze the technology and management fundamental reasons causing data quality. On the basis of management theories of business collaboration and standardization, and data analysis and mining method, the management measure and technology measure for data quality improvement are proposed to provide the support for improving the information system data quality.
Keywords: data quality; equipment ledger management; detection rule; improvement measure
0 引 言
經(jīng)過信息系統(tǒng)的多年運轉(zhuǎn)完善,廣東電網(wǎng)以設(shè)備臺帳為核心的數(shù)據(jù)資產(chǎn)已超過400T,而且仍然在以每年30%的復(fù)合增長率高速膨脹,大量的數(shù)據(jù)資產(chǎn)為企業(yè)分析決策奠定了基礎(chǔ),但目前仍存在數(shù)據(jù)質(zhì)量達(dá)不到分析要求,實用化水平不高的問題[1]。本文以廣東電網(wǎng)公司設(shè)備臺帳數(shù)據(jù)為研究樣本,通過歸納識別設(shè)備臺帳數(shù)據(jù)質(zhì)量的問題表象,剖析導(dǎo)致數(shù)據(jù)質(zhì)量問題的技術(shù)、管理深層次原因,基于業(yè)務(wù)協(xié)同與標(biāo)準(zhǔn)化等管理理論和數(shù)據(jù)分析挖掘方法,提出了針對性的數(shù)據(jù)質(zhì)量改善管理措施和技術(shù)措施,為提升信息系統(tǒng)數(shù)據(jù)質(zhì)量提供了支撐。
1 設(shè)備臺帳數(shù)據(jù)質(zhì)量問題表象歸納
經(jīng)過數(shù)據(jù)清理工作及應(yīng)用問題總結(jié),歸納出廣東電網(wǎng)設(shè)備臺帳數(shù)據(jù)質(zhì)量問題主要表現(xiàn)在以下幾方面。
(1) 數(shù)據(jù)不完整
部分設(shè)備臺帳缺少記錄,記錄中個別字段經(jīng)查詢?yōu)榭?,主要集中在隔離開關(guān)、變電站自動化系統(tǒng)等設(shè)備或者系統(tǒng)的設(shè)備管理部門名稱、調(diào)管名稱、系統(tǒng)維護(hù)廠商名等字段,主要表現(xiàn)為數(shù)據(jù)缺失或把數(shù)據(jù)標(biāo)記為“9999”等情況。
(2) 數(shù)據(jù)不準(zhǔn)確
主要集中在高壓柜?斷路器、PCM設(shè)備、SDH光設(shè)備和路由器、主變母線等設(shè)備的額定電壓、額定峰值耐受電流、供電方式、型式、額定短時耐受電流、類型、額定電流、中壓?低壓負(fù)載損耗、絕緣類型、操作方式等字段,主要表現(xiàn)如下:
① 數(shù)據(jù)不符合事先對數(shù)據(jù)約束的規(guī)范。如:PCM設(shè)備或SDH光設(shè)備的供電方式要求同時錄入兩類信息,包括交流/直流、單電源/雙電源,但實際數(shù)據(jù)中往往僅含有交流/直流信息。
② 數(shù)據(jù)異常。即實際數(shù)據(jù)出現(xiàn)不應(yīng)存在的值,如:UPS設(shè)備的直流輸入電壓出現(xiàn)為‘12’,‘240’的情況,根據(jù)電力基本常識,UPS輸入電壓不存在這樣的取值,取值不合理。
(3) 數(shù)據(jù)不一致
主要集中在斷路器、隔離開關(guān)等設(shè)備的名稱、編碼、投運日期等字段。主要表現(xiàn)在:設(shè)備臺帳中的數(shù)據(jù)與其他系統(tǒng)(如財務(wù)資產(chǎn)卡片)數(shù)據(jù)不一致,如資產(chǎn)卡片中設(shè)備名稱為開關(guān)柜,設(shè)備臺帳中為斷路器。
除以上三種數(shù)據(jù)質(zhì)量問題表象外,還存在數(shù)據(jù)錯誤、數(shù)據(jù)污染、域值重復(fù)等問題。
2 設(shè)備臺帳數(shù)據(jù)質(zhì)量原因分析
引發(fā)數(shù)據(jù)質(zhì)量問題的原因既有管理上的,也有技術(shù)上的。主要集中在制度執(zhí)行不到位、業(yè)務(wù)過程“兩本賬”、操作人員素質(zhì)不高、系統(tǒng)設(shè)計不完善、數(shù)據(jù)檢測規(guī)則不健全、數(shù)據(jù)清理不及時等,根據(jù)數(shù)據(jù)質(zhì)量的基本特征,下面就常見的原因進(jìn)行詳細(xì)分析:
(1) 制度執(zhí)行不到位
廣東電網(wǎng)已制定并發(fā)布了各業(yè)務(wù)部門的設(shè)備臺帳管理制度,但在執(zhí)行過程中因缺乏精細(xì)匹配的數(shù)據(jù)質(zhì)量落地機制,導(dǎo)致數(shù)據(jù)錄入與審核的執(zhí)行不到位,臺帳數(shù)據(jù)質(zhì)量降低。
① 在設(shè)備臺帳錄入階段,設(shè)備臺帳錄入質(zhì)量缺乏考核制度與指標(biāo),不利于數(shù)據(jù)管理人員把握設(shè)備臺帳數(shù)據(jù)質(zhì)量的整體情況。
② 在設(shè)備臺帳維護(hù)階段,維護(hù)人員在清理核查過程中發(fā)現(xiàn)設(shè)備臺帳數(shù)據(jù)質(zhì)量問題,缺乏整改與跟蹤機制。
③ 缺少常態(tài)化的培訓(xùn)機制。在信息系統(tǒng)運轉(zhuǎn)后,沒有及時對相關(guān)業(yè)務(wù)人員進(jìn)行培訓(xùn),導(dǎo)致數(shù)據(jù)維護(hù)水平不高。
(2) 業(yè)務(wù)過程 “兩本賬”
在實際業(yè)務(wù)過程中,基層單位對系統(tǒng)的依賴性不高,對數(shù)據(jù)質(zhì)量的價值認(rèn)識不足。如:有的管理部門經(jīng)常另外發(fā)一份表格,要求全部重新統(tǒng)計設(shè)備臺帳,導(dǎo)致設(shè)備臺帳數(shù)據(jù)進(jìn)入系統(tǒng)外循環(huán)階段,降低了設(shè)備臺帳的使用與維護(hù)意識,導(dǎo)致數(shù)據(jù)質(zhì)量不能持續(xù)提升。
(3) 系統(tǒng)操作人員素質(zhì)不高
由于業(yè)務(wù)人員的IT素質(zhì)參差不齊,在系統(tǒng)使用過程中,不能理解或不能精確使用系統(tǒng)提供的數(shù)據(jù),不能確定每個數(shù)據(jù)元素的真正含義,針對同一數(shù)據(jù)項,不同的人也有不同的理解。在設(shè)備臺帳錄入過程中,有出現(xiàn)填充默認(rèn)值或無意義參數(shù)的現(xiàn)象,導(dǎo)致設(shè)備臺帳數(shù)據(jù)質(zhì)量降低。
(4) 系統(tǒng)設(shè)計不完善
隨著業(yè)務(wù)精細(xì)化的發(fā)展,信息模型也不斷完善,但由于信息模型更新滯后,導(dǎo)致原有系統(tǒng)設(shè)計存在缺陷或者不完善,引起數(shù)據(jù)項定義不清晰、信息分類不細(xì)致、存在歷史數(shù)據(jù)與現(xiàn)有標(biāo)準(zhǔn)的不匹配等一系列問題。
(5) 數(shù)據(jù)檢測規(guī)則不健全
設(shè)備臺帳初期數(shù)據(jù)質(zhì)量主要依賴于業(yè)務(wù)系統(tǒng)設(shè)置的一些規(guī)則,如:字段不允許為空,后期則主要依賴于數(shù)據(jù)質(zhì)量檢測平臺,規(guī)則主要以判斷字段是否為空、列舉所有可能取值等為主,對于沒有明顯的業(yè)務(wù)規(guī)則、隱性的數(shù)據(jù)質(zhì)量等問題,仍然缺少有效的技術(shù)檢測手段,無法滿足數(shù)據(jù)日益變化的數(shù)據(jù)質(zhì)量問題檢測需求。檢測規(guī)則的不健全主要表現(xiàn)在以下兩方面:
① 業(yè)務(wù)規(guī)范應(yīng)用不到位。目前某些設(shè)備技術(shù)參數(shù)的評價規(guī)則可根據(jù)明確的業(yè)務(wù)規(guī)范來設(shè)定,但在數(shù)據(jù)質(zhì)量檢測平臺仍未得到很好的應(yīng)用。如檢測主變壓器技術(shù)參數(shù)的規(guī)則共28條,其中僅16條可檢查出數(shù)據(jù)質(zhì)量問題,余下的某些規(guī)則由于業(yè)務(wù)規(guī)范應(yīng)用不到位的原因,并沒有很好地發(fā)揮作用,如圖1所示。
② 規(guī)則過于寬泛。目前某些字段的檢測規(guī)則過于寬松,規(guī)則檢測的數(shù)據(jù)基本全部通過,但實際數(shù)據(jù)仍存在數(shù)據(jù)范圍不在業(yè)務(wù)實際分布區(qū)間、數(shù)據(jù)精度不滿足要求等情況,數(shù)據(jù)質(zhì)量水平并不高。如僅約束主變套管的額定電流是否為空,實際數(shù)據(jù)中取值為9999,1111,00等數(shù)據(jù)質(zhì)量問題仍未檢測出來。詳細(xì)見表1。
(6) 數(shù)據(jù)清理不及時
歷史存量數(shù)據(jù)的產(chǎn)生沒有明確的數(shù)據(jù)質(zhì)量控制規(guī)范,數(shù)據(jù)質(zhì)量問題較多,由于大量歷史數(shù)據(jù)的采集、核對、處置需要投入大量的資源,會產(chǎn)生數(shù)據(jù)清理不及時的現(xiàn)象,無法滿足信息系統(tǒng)升級或集成的需要。
3 提高設(shè)備臺帳數(shù)據(jù)質(zhì)量建議與措施
針對廣東電網(wǎng)公司數(shù)據(jù)質(zhì)量原因的剖析,建議以管理措施與技術(shù)手段并進(jìn)的方式,建立設(shè)備臺帳數(shù)據(jù)質(zhì)量提升策略[2]。具體建議與措施包括:
(1) 建立全過程數(shù)據(jù)質(zhì)量管控機制,落實設(shè)備臺帳的各項管理制度標(biāo)準(zhǔn)
① 以誰使用誰負(fù)責(zé)為出發(fā)點,制定業(yè)務(wù)部門的數(shù)據(jù)質(zhì)量考核指標(biāo),促進(jìn)設(shè)備臺帳管理制度在業(yè)務(wù)部門的執(zhí)行。
② 仿照設(shè)備運維模式,建立數(shù)據(jù)質(zhì)量缺陷管理制度。每一個數(shù)據(jù)質(zhì)量問題,都應(yīng)該形成缺陷記錄,記錄發(fā)現(xiàn)時間、發(fā)現(xiàn)人、具體問題描述、消缺時間等。對數(shù)據(jù)的消缺率、消缺及時率進(jìn)行定期檢查,及時督促。建立數(shù)據(jù)質(zhì)量案例存檔機制,對已經(jīng)發(fā)現(xiàn)和處理過的數(shù)據(jù)質(zhì)量問題分類存檔,主要內(nèi)容包括:數(shù)據(jù)質(zhì)量監(jiān)控點設(shè)置、數(shù)據(jù)質(zhì)量檢查項、已發(fā)現(xiàn)的歷史數(shù)據(jù)質(zhì)量問題描述、可選解決方案、最終實施的解決方案、解決成果評估等。
③ 建立常態(tài)化的系統(tǒng)更新與培訓(xùn)機制。及時響應(yīng)業(yè)務(wù)人員的需求,完善信息系統(tǒng)功能,更新操作手冊,對基層業(yè)務(wù)人員開展有針對性的培訓(xùn),形成完善的信息系統(tǒng)從需求響應(yīng)到發(fā)布培訓(xùn)的閉環(huán)跟蹤機制。
(2) 規(guī)范系統(tǒng)使用過程
業(yè)務(wù)部門從實際需求出發(fā),制定系統(tǒng)使用規(guī)范,實現(xiàn)數(shù)據(jù)錄入、統(tǒng)計分析、匯報考核都完全在信息系統(tǒng)中實現(xiàn),杜絕“兩本賬”,真正做到“用系統(tǒng)數(shù)據(jù)說話”,主動促進(jìn)數(shù)據(jù)質(zhì)量提升。
(3) 建立專門的員工輔導(dǎo)隊伍,輔導(dǎo)提高系統(tǒng)操作規(guī)范
充分利用各地市局信息中心資源,組建信息部門主導(dǎo)的數(shù)據(jù)巡查隊伍,并形成數(shù)據(jù)巡查規(guī)范,巡查隊伍經(jīng)過統(tǒng)一培訓(xùn),分配到各業(yè)務(wù)部門,輔助數(shù)據(jù)錄入工作,提高業(yè)務(wù)部門的系統(tǒng)操作規(guī)范。
(4) 完善業(yè)務(wù)模型,優(yōu)化系統(tǒng)設(shè)計
建立信息模型快速更新機制,及時優(yōu)化系統(tǒng)設(shè)計[3?4]。在業(yè)務(wù)部門設(shè)立用戶聯(lián)絡(luò)人,增進(jìn)用戶與信息部及系統(tǒng)開發(fā)者之間的聯(lián)系,一旦有業(yè)務(wù)模型更新時,用戶聯(lián)系人可以監(jiān)督業(yè)務(wù)模型信息化落地,為確定數(shù)據(jù)范圍、數(shù)據(jù)的類型等提供幫助。
(5) 完善數(shù)據(jù)質(zhì)量檢測規(guī)則
針對不同類型的數(shù)據(jù),充分利用數(shù)據(jù)挖掘技術(shù),提取相關(guān)數(shù)據(jù)進(jìn)行數(shù)據(jù)探索,建立檢測模型并提煉檢測規(guī)則。一方面,對原有檢測規(guī)則進(jìn)行補充完善,并對模型進(jìn)行校驗固化,完善數(shù)據(jù)質(zhì)量檢測系統(tǒng)[5];另一方面,將檢測規(guī)則提交給業(yè)務(wù)系統(tǒng)開發(fā)商,促進(jìn)規(guī)則在系統(tǒng)錄入中的應(yīng)用,從源頭提升數(shù)據(jù)質(zhì)量,如圖2所示。
以資產(chǎn)管理系統(tǒng)設(shè)備臺帳中輸電線路的檔距取值為例,大多數(shù)輸電線路的檔距取值在240~ 520 m之間,而對于少數(shù)檔距取值為120~160 m,860 m的輸電線路,其相應(yīng)的線路長度和桿塔數(shù)量存在數(shù)據(jù)質(zhì)量問題的可能性較大。而原有校驗規(guī)則較為寬泛(僅檢查是否為空),無法發(fā)現(xiàn)此類由于系統(tǒng)用戶錄入錯誤或資料記錄錯誤等原因造成的數(shù)據(jù)質(zhì)量問題,如圖3所示。
針對輸電線路檔距中異常取值,進(jìn)一步開展數(shù)據(jù)質(zhì)量校驗規(guī)則的分析建模研究,挖掘更多潛在的數(shù)據(jù)質(zhì)量問題,并結(jié)合模型的結(jié)果和業(yè)務(wù)經(jīng)驗提煉數(shù)據(jù)質(zhì)量校驗規(guī)則,可對輸電線路現(xiàn)有規(guī)則進(jìn)行補充。即500 kV輸電線路檔距可考慮設(shè)定為200~600 m;220 kV輸電線路檔距可考慮設(shè)定為100~500 m;110 kV/35 kV輸電線路檔距可考慮設(shè)定為100~300 m。
通過分析資產(chǎn)管理系統(tǒng)設(shè)備臺帳數(shù)據(jù)的特點可以發(fā)現(xiàn),在參考字段的特定取值或分類下,待檢測字段取值具有一定的規(guī)律性,通常為多個特定取值、特定取值范圍或關(guān)鍵的特征描述。檢測模式如圖4所示。
(6) 歷史問題數(shù)據(jù)清理
建立歷史數(shù)據(jù)清理的專項工作方案,分批次逐步清理歷史數(shù)據(jù)。由設(shè)備管理部門牽頭,其他業(yè)務(wù)部門(如:財務(wù)部、信息部)協(xié)同配合,結(jié)合統(tǒng)一資產(chǎn)目錄進(jìn)行設(shè)備現(xiàn)場盤點與數(shù)據(jù)一致性核對。核查完成后,由各業(yè)務(wù)部門負(fù)責(zé)和更新設(shè)備臺帳,保證數(shù)據(jù)的完整、準(zhǔn)確。
建議排查順序如下:主網(wǎng)設(shè)備→配網(wǎng)設(shè)備,高電壓等級→低電壓等級,一次設(shè)備→二次設(shè)備。
4 結(jié) 語
本文從廣東電網(wǎng)公司設(shè)備臺帳數(shù)據(jù)質(zhì)量問題診斷出發(fā),通過識別歸納數(shù)據(jù)質(zhì)量問題的各種表現(xiàn),剖析造成數(shù)據(jù)質(zhì)量問題的原因,提出了數(shù)據(jù)質(zhì)量提升的系統(tǒng)性措施。對電網(wǎng)企業(yè)提高生產(chǎn)設(shè)備數(shù)據(jù)質(zhì)量和信息系統(tǒng)實用化水平有較強的指導(dǎo)意義。同時也對企業(yè)利用數(shù)據(jù)開展業(yè)務(wù)分析、支撐企業(yè)決策起到了促進(jìn)作用。
參考文獻(xiàn)
[1] 楊浩,徐暉,蕭展輝,等.廣東電網(wǎng)公司生產(chǎn)管理信息系統(tǒng)實用化評價研究[J].廣東電力,2010,23(4):29?34.
[2] 陳孟婕.數(shù)據(jù)質(zhì)量管理與數(shù)據(jù)清洗技術(shù)的研究與應(yīng)用[D].北京:北京郵電大學(xué),2013.
[3] 黨芳芳.電網(wǎng)企業(yè)業(yè)務(wù)數(shù)據(jù)質(zhì)量管控技術(shù)的研究[D].北京:華北電力大學(xué),2014.
[4] LUCAS A. Corporate data quality management towards a meta?framework [C]// Proceedings of 2011 International Conference on Management and Service Science. Wuhan, China: IEEE, 2011: 1?6.
[5] 王曉華.電信數(shù)據(jù)挖掘的數(shù)據(jù)質(zhì)量評估技術(shù)研究[D].杭州:浙江大學(xué),2010.
[6] 汪晨,鄧松,張濤,等.智能電網(wǎng)環(huán)境下用戶行為可信數(shù)據(jù)安全交換研究[J].現(xiàn)代電子技術(shù),2014,37(1):75?79.