吳軍英++辛銳

摘 要：近年來大數(shù)據(jù)技術(shù)迅猛發(fā)展，在電商、金融等行業(yè)取得了巨大成效。國家電網(wǎng)公司十三五規(guī)劃目標(biāo)，廣泛應(yīng)用“大云物移”技術(shù)，推動(dòng)公司管理變革和運(yùn)營模式創(chuàng)新，推動(dòng)電網(wǎng)創(chuàng)新發(fā)展高效運(yùn)作。國網(wǎng)河北省電力公司基于大數(shù)據(jù)技術(shù)對(duì)電費(fèi)風(fēng)險(xiǎn)展開分析，對(duì)數(shù)據(jù)來源進(jìn)行了梳理，并探討了大數(shù)據(jù)的采集、存儲(chǔ)、處理及分析展示的技術(shù)。通過應(yīng)用場景分析直觀展現(xiàn)電費(fèi)回收情況，發(fā)現(xiàn)電費(fèi)風(fēng)險(xiǎn)問題。

關(guān)鍵詞：電費(fèi)回收 電費(fèi)風(fēng)險(xiǎn) 大數(shù)據(jù) 數(shù)據(jù)集市 聚類

中圖分類號(hào)：TP39 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2017）03（a）-0121-02

國家電網(wǎng)公司十三五規(guī)劃目標(biāo)，廣泛應(yīng)用“大云物移”技術(shù)，推動(dòng)公司管理變革和運(yùn)營模式創(chuàng)新，推動(dòng)電網(wǎng)創(chuàng)新發(fā)展高效運(yùn)作。隨著智能電網(wǎng)[1-3]的深入發(fā)展，電力大數(shù)據(jù)已經(jīng)成為學(xué)術(shù)研究和企業(yè)發(fā)展所關(guān)注的熱點(diǎn)領(lǐng)域，國內(nèi)外大學(xué)、研究機(jī)構(gòu)、IT企業(yè)、電力公司均已開展了相關(guān)方面的研究應(yīng)用。

目前公司精細(xì)化管理需要對(duì)電費(fèi)情況進(jìn)行實(shí)時(shí)監(jiān)控，及時(shí)發(fā)現(xiàn)存在的風(fēng)險(xiǎn)點(diǎn)，調(diào)整降低風(fēng)險(xiǎn)，提升企業(yè)收益。當(dāng)前主要采取人工從系統(tǒng)導(dǎo)出數(shù)據(jù)，工作量大，工作效率低下，并且由于傳統(tǒng)系統(tǒng)數(shù)據(jù)量龐大，經(jīng)常出現(xiàn)無法導(dǎo)出數(shù)據(jù)等問題，給日常工作帶來很大不便。

1 電費(fèi)風(fēng)險(xiǎn)數(shù)據(jù)來源

電費(fèi)作為電力公司收益的直觀數(shù)據(jù)，體現(xiàn)了公司經(jīng)營管理的成果。如何有效地降低電費(fèi)風(fēng)險(xiǎn)，提升電費(fèi)回收率，成為當(dāng)前公司經(jīng)營管理工作的重點(diǎn)。電費(fèi)風(fēng)險(xiǎn)來源于電費(fèi)回收情況，電費(fèi)回收由發(fā)行電費(fèi)、實(shí)收電費(fèi)、預(yù)收電費(fèi)、欠費(fèi)電費(fèi)等幾部分組成。日常工作中實(shí)收電費(fèi)由預(yù)收結(jié)轉(zhuǎn)、欠費(fèi)繳費(fèi)等幾類業(yè)務(wù)情況產(chǎn)生，流轉(zhuǎn)較為復(fù)雜，因此，此次主要從發(fā)行電費(fèi)、預(yù)收電費(fèi)和欠費(fèi)電費(fèi)3個(gè)方面入手進(jìn)行分析。

1.1 用戶信息

用戶分為考核用戶、高壓用戶、低壓非居民用戶和低壓居民四大類。此次主要針對(duì)存在電費(fèi)回收風(fēng)險(xiǎn)較大的用戶進(jìn)行分析，低壓居民用戶大多為預(yù)付費(fèi)，且管理比較系統(tǒng)化，風(fēng)險(xiǎn)相對(duì)較低，此次暫不分析，主要分析剩下的三大類用戶。

1.2 電費(fèi)信息

電費(fèi)風(fēng)險(xiǎn)主要通過電費(fèi)回收情況分析呈現(xiàn)，電費(fèi)回收主要從發(fā)行電費(fèi)、預(yù)收電費(fèi)和欠費(fèi)電費(fèi)幾方面體現(xiàn)，所以需要提供用戶每月產(chǎn)生的發(fā)行電費(fèi)、預(yù)收以及欠費(fèi)電費(fèi)數(shù)據(jù)信息。

1.3 供電單位

通過分析不同供電單位的電費(fèi)回收情況，對(duì)比各單位的電費(fèi)回收風(fēng)險(xiǎn)，說明發(fā)現(xiàn)供電單位對(duì)電費(fèi)回收風(fēng)險(xiǎn)有一定影響，可以有效借鑒較好的工作經(jīng)驗(yàn)，制定整改辦法，降低供電單位的電費(fèi)回收風(fēng)險(xiǎn)。

1.4 行業(yè)類別

通過分析用戶在不同行業(yè)下的電費(fèi)回收情況，說明不同行業(yè)對(duì)電費(fèi)回收風(fēng)險(xiǎn)的影響程度，一定程度上反映了用戶行業(yè)管理上的不足之處，從而強(qiáng)化管控，降低電費(fèi)風(fēng)險(xiǎn)，提升電費(fèi)回收率。

1.5 電壓等級(jí)

通過對(duì)不同電壓等級(jí)用戶的電費(fèi)情況分析，發(fā)現(xiàn)不同電壓等級(jí)用戶的回收情況有差異，說明電壓等級(jí)對(duì)電費(fèi)風(fēng)險(xiǎn)有影響?？梢詮碾妷贺?fù)荷、容量、穩(wěn)定性等各方面分析發(fā)現(xiàn)問題，降低電費(fèi)風(fēng)險(xiǎn)。

2 電費(fèi)風(fēng)險(xiǎn)關(guān)鍵技術(shù)

Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。

該平臺(tái)基于Hadoop架構(gòu)搭建實(shí)現(xiàn)，沿用國網(wǎng)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)倉庫工具Hive。圖1為平臺(tái)技術(shù)架構(gòu)。

2.1 數(shù)據(jù)采集

系統(tǒng)采用Kafka，Sqoop兩種技術(shù)來實(shí)現(xiàn)電費(fèi)、用戶以及所需信息的數(shù)據(jù)采集整合，為業(yè)務(wù)場景分析提供數(shù)據(jù)支撐。

Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)。它的目的是通過Hadoop的并行加載機(jī)制來統(tǒng)一線上和離線的消息處理，也是為了通過集群機(jī)來提供實(shí)時(shí)的消費(fèi)。因此，通過Kafka技術(shù)實(shí)現(xiàn)應(yīng)收電費(fèi)及欠費(fèi)電費(fèi)數(shù)據(jù)的實(shí)時(shí)采集。

Sqoop是一個(gè)用來將Hadoop和關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)相互轉(zhuǎn)移的工具。它類似于其他ETL工具，使用元數(shù)據(jù)模型來判斷數(shù)據(jù)類型并在數(shù)據(jù)從數(shù)據(jù)源轉(zhuǎn)移到Hadoop時(shí)確保類型安全的數(shù)據(jù)處理。Sqoop專為大數(shù)據(jù)批量傳輸設(shè)計(jì)，能夠分割數(shù)據(jù)集并創(chuàng)建Hadoop任務(wù)來處理每個(gè)區(qū)塊。因此，通過Sqoop技術(shù)實(shí)現(xiàn)用戶、預(yù)收電費(fèi)等信息的離線數(shù)據(jù)采集整合。

2.2 數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)存儲(chǔ)使用數(shù)據(jù)倉庫Hive和Postgresql數(shù)據(jù)庫聯(lián)合實(shí)現(xiàn)。發(fā)揮各自優(yōu)勢，為場景分析提供數(shù)據(jù)保障。

Hive用來存放數(shù)據(jù)采集的第一手?jǐn)?shù)據(jù)，將采集到的源端數(shù)據(jù)存儲(chǔ)至HDFS文件系統(tǒng)中。

Postgresql作為數(shù)據(jù)集，用來存放從數(shù)據(jù)倉庫Hive中抽取到的數(shù)據(jù)，并且按照國網(wǎng)CIM模型的標(biāo)準(zhǔn)域存儲(chǔ)，用來存放業(yè)務(wù)場景分析所需的數(shù)據(jù)。它通過Kettle技術(shù)實(shí)現(xiàn)完成。

2.3 數(shù)據(jù)計(jì)算及分析

數(shù)據(jù)計(jì)算采用Spark技術(shù)來滿足業(yè)務(wù)場景實(shí)時(shí)分析的需求。Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用并行框架，Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的MapReduce的算法，適用于需要多次操作特定數(shù)據(jù)集的應(yīng)用場合。

算法上，此次分析主要使用聚類算法，按照需求將不明確的數(shù)據(jù)實(shí)現(xiàn)分門別類，輔助日常監(jiān)測工作。采用具有代表性的K-means算法，它是很典型的基于距離的聚類算法，采用距離作為相似性的評(píng)價(jià)指標(biāo)。

通過使用聚類等算法，對(duì)業(yè)務(wù)進(jìn)行深入挖掘分析，最終以玫瑰圖、熱力圖、雷達(dá)圖等專業(yè)分析圖形展示，配備一定的表格展示數(shù)據(jù)，使分析結(jié)果顯得更加直觀。

3 應(yīng)用場景分析

應(yīng)用場景從系統(tǒng)采集數(shù)據(jù)，經(jīng)由噪聲處理、分析挖掘最終實(shí)現(xiàn)展現(xiàn)。圖2為分析挖掘流程，其關(guān)鍵技術(shù)包括噪聲數(shù)據(jù)處理、業(yè)務(wù)數(shù)據(jù)分析、基于距離計(jì)算的聚類分析。噪聲數(shù)據(jù)處理和業(yè)務(wù)數(shù)據(jù)分析是按照業(yè)務(wù)需求，對(duì)數(shù)據(jù)進(jìn)行初步篩選處理的過程，實(shí)現(xiàn)數(shù)據(jù)挖掘計(jì)算；聚類分析是根據(jù)歐式距離公式及誤差平方和準(zhǔn)則實(shí)現(xiàn)聚類中心點(diǎn)選擇與分類，實(shí)現(xiàn)對(duì)未知分類數(shù)據(jù)的類別劃分，主要應(yīng)用于供電單位間、行業(yè)間以及電壓等級(jí)間的電費(fèi)回收情況對(duì)比分類，劃分為較好、一般和較差3類。針對(duì)較差類別的情況進(jìn)行深入分析，發(fā)現(xiàn)管控薄弱環(huán)節(jié)，進(jìn)行整改完善。

應(yīng)用場景圍繞電費(fèi)回收情況開展，包括發(fā)行電費(fèi)、預(yù)收電費(fèi)和欠費(fèi)電費(fèi)3類，根據(jù)業(yè)務(wù)主題劃分電費(fèi)回收整體情況分析、預(yù)收電費(fèi)分析和欠費(fèi)電費(fèi)分析，其中電費(fèi)回收情況中包含發(fā)行電費(fèi)、預(yù)收電費(fèi)和欠費(fèi)電費(fèi)3類電費(fèi)的數(shù)據(jù)信息。此次分析以日為單位實(shí)時(shí)監(jiān)控，以月為單位分析電費(fèi)回收情況，可監(jiān)控分析每日的電費(fèi)回收情況，對(duì)應(yīng)分析當(dāng)月1日截止到監(jiān)控日的電費(fèi)回收走勢情況，通過供電單位、行業(yè)、電壓等級(jí)多維度分析電費(fèi)回收情況，發(fā)現(xiàn)回收情況弱點(diǎn)，從業(yè)務(wù)側(cè)深入分析發(fā)現(xiàn)風(fēng)險(xiǎn)點(diǎn)，制定整改措施，降低風(fēng)險(xiǎn)，達(dá)到提升效益的目的。

4 結(jié)語

未來的電費(fèi)風(fēng)險(xiǎn)依托于大數(shù)據(jù)技術(shù)實(shí)現(xiàn)實(shí)時(shí)監(jiān)控，通過分析電費(fèi)回收情況，進(jìn)一步深化、挖掘潛在的風(fēng)險(xiǎn)，為電網(wǎng)經(jīng)營管理提供實(shí)時(shí)多樣化的數(shù)據(jù)，為公司的精益化管理提供支撐，從而提升企業(yè)經(jīng)濟(jì)效益。

參考文獻(xiàn)

[1] 余貽鑫，欒文鵬.智能電網(wǎng)的基本理念[J].天津大學(xué)學(xué)報(bào)， 2011，44（5）：377-384.

[2] 余貽鑫，欒文平.智能電網(wǎng)評(píng)述[J].中國電機(jī)工程學(xué)報(bào)，2009，29（34）：1-8.

[3] 張文亮，劉壯志，王明俊，等.智能電網(wǎng)的研究進(jìn)展及發(fā)展趨勢[J].電網(wǎng)技術(shù)，2009，33（13）：1-11.