李志華　李華軍

摘要：隨著電網(wǎng)智能化的發(fā)展，電力信息系統(tǒng)變得更為復(fù)雜，其數(shù)據(jù)也隨之增大，從而引起了各種的數(shù)據(jù)質(zhì)量問題，嚴(yán)重阻礙了電力信息系統(tǒng)的使用。文章闡述了電力大數(shù)據(jù)的特點以及影響數(shù)據(jù)質(zhì)量的因素，并在此基礎(chǔ)上提出了相應(yīng)的對策。

關(guān)鍵詞：大數(shù)據(jù)；數(shù)據(jù)質(zhì)量；供電局；電網(wǎng)智能化；電力信息系統(tǒng) 文獻標(biāo)識碼：A

中圖分類號：TP315 文章編號：1009-2374（2016）30-0177-03 DOI：10.13535/j.cnki.11-4406/n.2016.30.087

隨著信息技術(shù)在電網(wǎng)中的應(yīng)用，電網(wǎng)產(chǎn)生的數(shù)據(jù)量和類型也急劇增加。面對逐漸復(fù)雜的數(shù)據(jù)資源，數(shù)據(jù)質(zhì)量問題也隨之增多，比如系統(tǒng)內(nèi)/外的問題、核對標(biāo)準(zhǔn)的問題等，這些問題嚴(yán)重影響了電力信息系統(tǒng)的應(yīng)用與推廣，比較典型的例子就是電力營銷信息管理系統(tǒng)用電客戶檔案的數(shù)據(jù)質(zhì)量問題。電網(wǎng)企業(yè)在需要進行停電檢修或電網(wǎng)故障導(dǎo)致停電時都會電話或短信通知客戶，如果營銷系統(tǒng)里記錄的用電客戶的聯(lián)系電話缺失或者不準(zhǔn)確，電力客服就無法及時準(zhǔn)確地通知到客戶，從而對用電客戶的生產(chǎn)、生活造成不良影響。諸如此類的問題在電力資產(chǎn)管理系統(tǒng)，安全生產(chǎn)管理系統(tǒng)也一樣存在。

隨著電力營銷、生產(chǎn)、資產(chǎn)等主業(yè)務(wù)信息系統(tǒng)都采取了“大集中”模式，數(shù)據(jù)質(zhì)量的問題也逐步凸顯。為了解決這些數(shù)據(jù)質(zhì)量問題，供電系統(tǒng)逐漸引用了大數(shù)據(jù)技術(shù)。所以這對這些大數(shù)據(jù)和大數(shù)據(jù)技術(shù)，供電局應(yīng)引入有效、可行方法，來提高數(shù)據(jù)質(zhì)量。

1 電力大數(shù)據(jù)特征

目前，電力大數(shù)據(jù)指的是大數(shù)據(jù)的理論、技術(shù)以及思想在電力行業(yè)中的實踐，它提供了從數(shù)據(jù)的采集一直到最后的展示較為完善的解決方案。

1.1 價值密度比較低

一般而言，數(shù)據(jù)的價值是取決于在大量的數(shù)據(jù)中挖掘有效的信息。比如，在輸變電設(shè)備的檢測系統(tǒng)中，采集的大部分?jǐn)?shù)據(jù)是正常的，僅有少量的不正常，但是這些非正常的數(shù)據(jù)是對設(shè)備狀態(tài)檢測的關(guān)鍵性數(shù)據(jù)。

1.2 具有交互的特點

目前，電網(wǎng)企業(yè)正朝以用戶為核心的方向進行轉(zhuǎn)變，用戶對供電系統(tǒng)服務(wù)質(zhì)量的滿意程度將會是很重要的考核指標(biāo)，所以，供電系統(tǒng)可以根據(jù)數(shù)據(jù)的分析與挖掘，對用戶的需求進行了解，來提高更高質(zhì)量的服務(wù)。此外，交互特點還表現(xiàn)在用戶在用電的高峰期會向電網(wǎng)進行供電。

1.3 處理的速度較快

在對數(shù)據(jù)進行決策時，對能夠?qū)崟r與在線處理的要求逐漸提高，因此必須提高對數(shù)據(jù)進行處理的速度，符合決策的要求，在極短的時間內(nèi)對大量數(shù)據(jù)進行相關(guān)分析。

1.4 類型繁多

主要包括非結(jié)構(gòu)化、半結(jié)構(gòu)化和結(jié)構(gòu)化。信息系統(tǒng)的建立加快了半結(jié)構(gòu)化類型數(shù)據(jù)的增多，比如視頻、音頻以及圖片等。另外，電網(wǎng)企業(yè)還要必備能源和氣象等外部數(shù)據(jù)，才能保證供電的可靠性。

1.5 體量龐大

已經(jīng)從TB級升到PB級。信息化的電網(wǎng)的建立使數(shù)據(jù)可以進行實時的收集與傳輸，間隔僅為秒級，使數(shù)據(jù)量呈指數(shù)增長。但是對大量數(shù)據(jù)的應(yīng)用與存儲技術(shù)還不完善，數(shù)據(jù)的價值不能得到良好的挖掘。

2 數(shù)據(jù)質(zhì)量的影響因素

影響供電行業(yè)數(shù)據(jù)質(zhì)量的原因非常多，而依據(jù)數(shù)據(jù)產(chǎn)生的節(jié)點與時間，能夠把這些因素歸為以下三類：

2.1 數(shù)據(jù)的導(dǎo)入過程

該過程一般指的是利用集成、接口或手工等方式把數(shù)據(jù)輸入對應(yīng)倉庫的這一程序。這一程序?qū)?shù)據(jù)產(chǎn)生的作用主要體現(xiàn)在：（1）人工方式的錄入方式，會因為一些沒辦法預(yù)防的原因，而導(dǎo)致結(jié)果難以預(yù)測；（2）對系統(tǒng)進行重建或升級維護時，經(jīng)常會對舊系統(tǒng)進行淘汰或者合并，因此整頓數(shù)據(jù)與原來的數(shù)據(jù)之間的轉(zhuǎn)換問題較為復(fù)雜，面臨著嚴(yán)峻的挑戰(zhàn)；（3）對原來的數(shù)據(jù)進行轉(zhuǎn)換時，沒有可以依靠的源系統(tǒng)的元數(shù)據(jù)，為源數(shù)據(jù)自身并不完備；（4）業(yè)務(wù)系統(tǒng)前臺操作員錄入不規(guī)范或系統(tǒng)對錄入的數(shù)據(jù)未作校驗，導(dǎo)致業(yè)務(wù)單據(jù)流程歸檔后，保存到后臺數(shù)據(jù)庫的原始數(shù)據(jù)就存在數(shù)據(jù)質(zhì)量問題。

2.2 導(dǎo)致數(shù)據(jù)變壞的過程

會導(dǎo)致數(shù)據(jù)產(chǎn)生損壞的原因有很多：（1）不能對變化地對數(shù)據(jù)進行捕獲，各個系統(tǒng)間通常具有很多的接口，在對接口進行修改時，通常不會把對它產(chǎn)生影響的統(tǒng)一修改；（2）在專業(yè)知識或者人員流失后，新來人員對數(shù)據(jù)的意義進行準(zhǔn)確的分析比較困難；（3）數(shù)據(jù)的處理過程是一個自動化的操作，可能會發(fā)生某些驗證界面很難涵蓋數(shù)據(jù)的所有特點，也可能是因為性能上的原因?qū)⑵淦帘瘟?，所以一旦出現(xiàn)錯誤，在將大量的數(shù)據(jù)反饋給客戶的時候，將會被責(zé)怪，用戶對數(shù)據(jù)質(zhì)量的感知度也會降低。

2.3 系統(tǒng)內(nèi)部過程

系統(tǒng)自身在對數(shù)據(jù)進行整理分析的時候也會對其質(zhì)量產(chǎn)生一定的影響，主要是對數(shù)據(jù)進行處理、清洗和清除的過程。第一，在對數(shù)據(jù)進行處理過程中，一旦處理程序發(fā)生變化，就會導(dǎo)致質(zhì)量問題的出現(xiàn)，而新產(chǎn)生的對數(shù)據(jù)進行采集的程序同樣會導(dǎo)致類似的現(xiàn)象，此外，如果在不對的時間發(fā)生突發(fā)事件，打破數(shù)據(jù)應(yīng)有的狀態(tài)，那么正確的程序也會導(dǎo)致不正確結(jié)果的出現(xiàn)，而該問題較為隱蔽，不易被查出；第二，對數(shù)據(jù)進行清洗的過程，導(dǎo)致危險發(fā)生的原因一般在于數(shù)據(jù)質(zhì)量本身的內(nèi)部相關(guān)性與復(fù)雜性。在解決了某一問題后，也許會導(dǎo)致很多類似或者其他有關(guān)數(shù)據(jù)的問題的出現(xiàn)。數(shù)據(jù)清洗的自動化是由計算機程序操控的，而程序本身存在bug，對大量數(shù)據(jù)的記錄產(chǎn)生一定的影響，數(shù)據(jù)質(zhì)量的說明書不能體現(xiàn)實際數(shù)據(jù)的需要，因此清洗的結(jié)果也許會與理論上的模型相符合，但對實際使用而言依舊是不對的；第三，對數(shù)據(jù)進行清除的過程，該過程可能會不小心對其他有關(guān)數(shù)據(jù)也進行了清除。

3 提高數(shù)據(jù)質(zhì)量的對策

3.1 建立完善的數(shù)據(jù)質(zhì)量保障體系

建立一個可行、有效、系統(tǒng)的數(shù)據(jù)質(zhì)量的保障體系，應(yīng)該使其具備這六大特點：（1）能夠?qū)?shù)據(jù)質(zhì)量進行較為全面的管理；（2）可以控制數(shù)據(jù)質(zhì)量的所有程序；（3）活動要取得授權(quán)后才能進行；（4）建立規(guī)范的數(shù)據(jù)質(zhì)量的可操作文檔，保證數(shù)據(jù)質(zhì)量全過程能夠被檢查；（5）必須對其進行不斷改進：數(shù)據(jù)質(zhì)量問題的出現(xiàn)是不可避免的，但及時對其糾正、預(yù)防再犯才是關(guān)鍵的環(huán)節(jié)；（6）要尤其關(guān)注對出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)進行收集，并建立完善的數(shù)據(jù)質(zhì)量知識庫。

3.2 對數(shù)據(jù)質(zhì)量進行檢查

該過程指的是對數(shù)據(jù)倉庫中的數(shù)據(jù)質(zhì)量是否具有問題進行檢查，如果有問題，還要鑒定該問題級別。其目的是認(rèn)識錯誤，并評估對它的影響程度。主要包括以下項目：

3.2.1 檢查接口數(shù)據(jù)。提供接口數(shù)據(jù)時，其形式有文件和數(shù)據(jù)表兩種類型，所以主要針對這兩種類型進行檢查。檢查接口數(shù)據(jù)的及時性和完整性，找出問題所在，確保數(shù)據(jù)在入庫前沒有顯著的數(shù)據(jù)質(zhì)量上的潛在問題。尤其是對于電子化移交的相關(guān)數(shù)據(jù)推送接口，一定要對數(shù)據(jù)推送的接口規(guī)范做嚴(yán)格的審查，加強對推送數(shù)據(jù)正確性、一致性、及時性、完整性的校驗。

其中對接口文件的檢查主要是對格式、大小、傳送量、記錄長度等進行檢查；對接口表的檢查主要是對其屬性和時間等進行檢查；對于其他方式的接口，依據(jù)接口的具體情況進行。

3.2.2 檢查數(shù)據(jù)倉庫。該過程一般指的是對數(shù)據(jù)倉庫中數(shù)據(jù)的正確性、一致性、及時性、完整性進行檢查，來確保倉庫內(nèi)數(shù)據(jù)質(zhì)量的良好。鑒于電網(wǎng)信息系統(tǒng)的復(fù)雜性及海量數(shù)據(jù)，數(shù)據(jù)質(zhì)量的提高是一項長期的周期性工作，需要定期對數(shù)據(jù)倉庫中的數(shù)據(jù)進行檢查，并不斷完善數(shù)據(jù)檢查腳本。

3.2.3 檢查指定指標(biāo)。該項檢查主要是對數(shù)據(jù)的正確性進行質(zhì)量方面的檢查；確保數(shù)據(jù)可以根據(jù)業(yè)務(wù)的實際狀況進行體現(xiàn)。因此制定相關(guān)數(shù)據(jù)質(zhì)量考核指標(biāo)，提高數(shù)據(jù)質(zhì)量，對于電力公司業(yè)務(wù)開展及服務(wù)質(zhì)量的提升具有積極作用。

3.3 控制數(shù)據(jù)質(zhì)量問題

對數(shù)據(jù)質(zhì)量進行的控制是通過某些方法對已經(jīng)出現(xiàn)質(zhì)量問題的數(shù)據(jù)實施處理的過程。若發(fā)現(xiàn)有些問題是因為系統(tǒng)引起的，就要改變數(shù)據(jù)倉庫?？刂频膬?nèi)容主要包括以下方面：

3.3.1 質(zhì)量問題的處理程序。該流程主要分為：（1）數(shù)據(jù)質(zhì)量管理員對質(zhì)量問題的屬性進行判別，并執(zhí)行相應(yīng)的處理流程；（2）各個業(yè)務(wù)系統(tǒng)的代表提供實際情況，結(jié)合自身的經(jīng)驗，協(xié)助質(zhì)量人員明確引起錯誤發(fā)生的最根本原因；（3）責(zé)任歸屬業(yè)務(wù)系統(tǒng)的代表應(yīng)當(dāng)協(xié)助對應(yīng)的業(yè)務(wù)系統(tǒng)修改相應(yīng)的系統(tǒng)，完成后發(fā)業(yè)務(wù)系統(tǒng)變更通知到數(shù)據(jù)倉庫系統(tǒng)，而后數(shù)據(jù)倉庫系統(tǒng)依據(jù)變更通知進入系統(tǒng)變更處理程序；（4）將已經(jīng)產(chǎn)生錯誤的數(shù)據(jù)，啟動錯誤數(shù)據(jù)的維護流程。

3.3.2 錯誤數(shù)據(jù)維護程序。在數(shù)據(jù)倉庫系統(tǒng)中，因為歷史性的因素引起的新數(shù)據(jù)庫中的數(shù)據(jù)錯誤，必須進行維護。對這種錯誤性的數(shù)據(jù)的維護應(yīng)該征得質(zhì)量管理員或主管部門的意見，在維護工作完成后還要上交相應(yīng)的報告，管理員對其進行檢查與驗證。

3.3.3 數(shù)據(jù)倉庫系統(tǒng)變更程序。在業(yè)務(wù)環(huán)境變化的挑戰(zhàn)面前，供電局對應(yīng)業(yè)務(wù)的信息系統(tǒng)也一直在發(fā)生變化，那么數(shù)據(jù)倉庫也一定在時刻的變更過程中。變更數(shù)據(jù)倉庫系統(tǒng)的程序一般在技術(shù)與管理兩個層面來使上述事件的處理程序規(guī)范化。

3.4 預(yù)防數(shù)據(jù)質(zhì)量問題

3.4.1 數(shù)據(jù)質(zhì)量測試。數(shù)據(jù)倉庫對大量數(shù)據(jù)的輸入進行處理后，也會給出大量的結(jié)果，其中的存儲量也非常之大，給數(shù)據(jù)倉庫系統(tǒng)的測試帶來了巨大的壓力。值得注意的是，應(yīng)該尤其強化測試流程的管理。

為確保數(shù)據(jù)的質(zhì)量，管理員應(yīng)當(dāng)重視所有的檢測過程，尤其是數(shù)據(jù)倉庫系統(tǒng)中的測試方案和報告均需要質(zhì)量管理員的檢查通過。而檢測方案中應(yīng)該包括數(shù)據(jù)質(zhì)量的檢測、對所有方案的檢驗，還應(yīng)向質(zhì)量部門和倉庫研發(fā)組上交相應(yīng)的報告，此外，對于未通過的方案必須修改后重新提交。質(zhì)量管理人員檢查所有的報告，完畢后向研發(fā)、質(zhì)量小組上交報告，不能通過檢查的報告，即為未通過。

3.4.2 統(tǒng)計口徑差異控制程序。統(tǒng)計口徑作為管理元數(shù)據(jù)的重要組分，對倉庫體系有著十分重要的價值。系統(tǒng)間統(tǒng)計口徑的區(qū)別會對倉庫體系的運行產(chǎn)生一定程度的影響，所以控制好口徑的一致性是對數(shù)據(jù)質(zhì)量問題進行預(yù)防的基礎(chǔ)措施。

在對統(tǒng)計口徑差異進行控制時，質(zhì)量管理人員在收到問題報告之后，應(yīng)該判斷是否有文檔明確規(guī)定的統(tǒng)計口徑，假如不是，應(yīng)該交給質(zhì)量小組進行協(xié)調(diào)。而質(zhì)量小組包括了所有業(yè)務(wù)的代表，質(zhì)量管理人員要要求相關(guān)人員提供各自對統(tǒng)計口徑的定義或理解以及計算方式，并明確使用或者關(guān)注該統(tǒng)計口徑的業(yè)務(wù)部門。

3.4.3 檢查管理程序。該項程序主要是對管理機構(gòu)、流程和標(biāo)準(zhǔn)、質(zhì)量管理進行檢查。較為系統(tǒng)的管理標(biāo)準(zhǔn)、流程、機構(gòu)和操作過程，能夠確保數(shù)據(jù)的質(zhì)量，讓數(shù)據(jù)庫在所用情況下均依照制定的原則順利運維。

總之，要提高數(shù)據(jù)的質(zhì)量，應(yīng)以數(shù)據(jù)規(guī)劃為指導(dǎo)，以業(yè)務(wù)規(guī)則庫為基礎(chǔ)，從數(shù)據(jù)的元定義做起，對供電系統(tǒng)的主數(shù)據(jù)、業(yè)務(wù)處理數(shù)據(jù)進行系統(tǒng)地整理和檢查；同時構(gòu)建實用化的考核指標(biāo)體系，建設(shè)可以包含所有主營業(yè)務(wù)系統(tǒng)的統(tǒng)一數(shù)據(jù)質(zhì)量管理平臺，從大量的數(shù)據(jù)中獲取有效的信息，充分提高整個供電系統(tǒng)的數(shù)據(jù)質(zhì)量。

4 結(jié)語

在大數(shù)據(jù)技術(shù)飛速發(fā)展的當(dāng)今時代，電力系統(tǒng)的發(fā)展也將更加智能化，朝著高效、可靠的方向變化。目前針對這種大數(shù)據(jù)進行分析與處理必須具備一套與之配套的質(zhì)量管理體制。因此為提高數(shù)據(jù)質(zhì)量的水平，應(yīng)該積極開展數(shù)據(jù)質(zhì)量管理的研究方法，以便更好地促進電力的發(fā)展。

參考文獻

[1] 徐光年，劉鴻寧，馮朝力，陳振，郭陽.供電公司中的大數(shù)據(jù)應(yīng)用概述[J].湖北電力，2015，（4）.

[2] 江疆，黃劍文，楊秋勇.基于廣東電網(wǎng)大數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理方法[J].現(xiàn)代計算機（專業(yè)版），2016，（7）.

[3] 楊通國.智能電網(wǎng)大數(shù)據(jù)技術(shù)的發(fā)展策略分析及研究[J].科技展望，2016，（14）.