張?？?， 徐海洋， 劉 苗

(易聯(lián)云計算(杭州)有限責任公司，浙江杭州310000)

1 SaaS云平臺模式下的行業(yè)大數(shù)據(jù)挖掘

1.1 SaaS云平臺價值

作為公用事業(yè)行業(yè)信息化服務提供商，金卡智能旗下易聯(lián)云計算(杭州)有限責任公司(以下簡稱易聯(lián)云)通過建立行業(yè)大數(shù)據(jù)平臺，該平臺基于SaaS云平臺模式，將企業(yè)各系統(tǒng)遷移到云上，基于統(tǒng)一規(guī)范的服務平臺，對外聯(lián)接客戶、員工、在線設備及合作伙伴，對內(nèi)形成企業(yè)大數(shù)據(jù)。最終通過企業(yè)統(tǒng)一、真實、有效的數(shù)據(jù)信息，進行多方位的數(shù)據(jù)價值轉化。在大數(shù)據(jù)平臺下，完成各系統(tǒng)和數(shù)據(jù)的集成，保障各系統(tǒng)間的關聯(lián)性和融合性，讓所有業(yè)務數(shù)據(jù)可以歸結到統(tǒng)一的大數(shù)據(jù)業(yè)務分析中；大數(shù)據(jù)平臺的建設標準規(guī)范一致，從管網(wǎng)的設計、實施敷設到巡檢維護操作、到終端用戶設備安裝和收計費服務，都在企業(yè)內(nèi)部各單位各部門推行統(tǒng)一的操作流程，規(guī)范的數(shù)據(jù)標準，確保了數(shù)據(jù)的可靠性、可用性以及各類信息系統(tǒng)之間的跨平臺融合；有效采集匯總用戶基礎信息數(shù)據(jù)，并在此基礎上實現(xiàn)用戶數(shù)據(jù)分析，為用戶的行為分析提供有效基礎信息。

1.2 大數(shù)據(jù)平臺架構及功能

大數(shù)據(jù)平臺以華為基礎服務為支撐，基于分布式計算、存儲框架，面向公共事業(yè)不同價值的數(shù)據(jù)源，通過集成、存儲、建模、分析、挖掘等大數(shù)據(jù)技術，在保障公共事業(yè)數(shù)據(jù)安全前提下，進行整體的大數(shù)據(jù)技術整合，大數(shù)據(jù)平臺架構見圖1。

平臺提供全面的數(shù)據(jù)集成能力、海量數(shù)據(jù)存儲能力、全面數(shù)據(jù)批量及實時計算分析能力，并且通過多種途徑、多種方式對外提供數(shù)據(jù)服務，實現(xiàn)數(shù)據(jù)的可利用化、價值化，從而達到數(shù)據(jù)服務于公共事業(yè)的每一個場景。

① 數(shù)據(jù)集成

數(shù)據(jù)集成支持與多種數(shù)據(jù)源數(shù)據(jù)集成，支持實時、增量式的集成，支持海量結構化或非結構化的數(shù)據(jù)集成。

a.實時數(shù)據(jù)接入提供云服務外的數(shù)據(jù)實時傳輸?shù)皆品諆?nèi)的能力，使用華為實時流接入(Data Ingestion Service，DIS)及消息隊列Kafka對接第三方的采集工具，通過API接口把生產(chǎn)者產(chǎn)生的數(shù)據(jù)實時添加到消息隊列通道中，并讓消費者應用程序獲取并進行實時分析。數(shù)據(jù)接入服務支持多種數(shù)據(jù)源格式，如物聯(lián)網(wǎng)表采集數(shù)據(jù)、日志和定位追蹤事件、網(wǎng)站點擊流、社交媒體源等。

b.離線數(shù)據(jù)遷移(Cloud Data Migration，CDM)提供同構/異構數(shù)據(jù)源之間批量數(shù)據(jù)遷移服務能力，可將線下集團、第三方云及其他數(shù)據(jù)源的數(shù)據(jù)全量遷移或增量同步至易聯(lián)云大數(shù)據(jù)平臺，利用大數(shù)據(jù)平臺對海量數(shù)據(jù)分析處理，將結果數(shù)據(jù)回流到本地業(yè)務系統(tǒng)，實現(xiàn)數(shù)據(jù)價值的挖掘。數(shù)據(jù)遷移服務支持近20種常用數(shù)據(jù)源，滿足數(shù)據(jù)在云上和云下的不同的遷移場景，讓數(shù)據(jù)自動流動。

② 數(shù)據(jù)存儲

提供分布式存儲能力，實現(xiàn)PB(petabyte)級別結構化和非結構化數(shù)據(jù)存儲，并提供列式數(shù)據(jù)庫存儲，根據(jù)不同的應用場景，采取合理、安全、有效的方式將不同熱度的數(shù)據(jù)存儲至不同存儲空間，并能保證有效的訪問。大數(shù)據(jù)平臺數(shù)據(jù)存儲包括以下兩方面。

a.HBase數(shù)據(jù)庫是一個分布式的、面向列的開源數(shù)據(jù)庫，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)。公共事業(yè)可將大量的終端采集數(shù)據(jù)儲存在HBase數(shù)據(jù)庫中，以支持PB級別的數(shù)據(jù)存儲和ms級的數(shù)據(jù)詳單查詢，實現(xiàn)實時的交互式查詢。

b.對象存儲服務(Object Store Service，OBS)，是華為基于對象的海量存儲服務，提供超大存儲容量的能力，適合存放任意類型的文件，適合普通用戶、網(wǎng)站、企業(yè)和開發(fā)者使用。OBS提供3種存儲類型(標準、低頻訪問、歸檔)，依據(jù)數(shù)據(jù)不同冷熱程度，提供極致成本控制。易聯(lián)云大數(shù)據(jù)平臺選用OBS存儲，能夠大幅降低企業(yè)成本，并根據(jù)需求調(diào)整規(guī)模和提高創(chuàng)新速度，幫助企業(yè)簡單便捷地管理大數(shù)據(jù)。

③ 大數(shù)據(jù)分析

大數(shù)據(jù)分析是指對規(guī)模巨大的數(shù)據(jù)進行分析計算的過程，包括實時流分析、歷史數(shù)據(jù)統(tǒng)計分析及機器學習服務等。

a.實時流分析(Cloud Stream Service, CS)是運行在公有云上的實時流式大數(shù)據(jù)分析服務，支持大規(guī)模集群計算。提供數(shù)據(jù)實時分析的能力，可編寫Stream SQL，定義數(shù)據(jù)流入、數(shù)據(jù)處理、數(shù)據(jù)流出，快速便捷實現(xiàn)業(yè)務邏輯。

b.歷史數(shù)據(jù)統(tǒng)計分析通過MRS服務(MapReduce Service，MRS)提供的Spark、及MapReduce組件對海量數(shù)據(jù)進行分析計算。MRS是一個用于海量數(shù)據(jù)的管理和分析的虛擬化服務，集成了開源的Hadoop、Spark、Hive等大數(shù)據(jù)組件，可以在集群內(nèi)進行MapReduce、Spark和Hive作業(yè)，對數(shù)據(jù)進行分析和處理。數(shù)據(jù)處理完成后，加密傳輸數(shù)據(jù)至對象存儲服務，保證數(shù)據(jù)的完整性和機密性。

c.機器學習服務(Machine Learning Service，MLS)是一種數(shù)據(jù)挖掘分析服務，通過機器學習技術發(fā)現(xiàn)已有數(shù)據(jù)中的規(guī)律，從而創(chuàng)建機器學習模型，并基于機器學習模型處理新的數(shù)據(jù)，為業(yè)務應用生成預測結果。

④ 數(shù)據(jù)接口

通過統(tǒng)一標準的應用程序編程接口(Application Programming Interface，API)，對外部系統(tǒng)提供數(shù)據(jù)接口服務，如：根據(jù)分析結果實現(xiàn)動態(tài)調(diào)整人力、物力、財力之間的配置，實現(xiàn)移峰填谷、智能維護運營，方便公用行業(yè)決策層從漏損率控制、產(chǎn)銷差管理、安全性預防等方面對整個企業(yè)的運行進行動態(tài)調(diào)控。

2 SaaS云平臺模式下行業(yè)大數(shù)據(jù)應用

① 客戶端大數(shù)據(jù)應用

a.增值服務

公用事業(yè)行業(yè)在向用戶提供天然氣、自來水、電力等基礎服務過程中，積累了大量的業(yè)務數(shù)據(jù)，包含用戶名、用戶性質(zhì)、地址、電話、家庭人數(shù)、購買燃氣產(chǎn)品類型等用戶基本數(shù)據(jù)，包含用戶用氣使用量、使用規(guī)律、付費關系等用戶行為數(shù)據(jù)，以及用戶服務申報、安檢、投訴、建議等客戶服務數(shù)據(jù)等。

這些數(shù)據(jù)往往有一些局限，但這些數(shù)據(jù)可以結合企業(yè)外部的數(shù)據(jù)，如用戶微博信息、社交信息、商城訪問信息等，可獲取用戶風險信息、財務信息，進而判斷用戶信用等級、用戶利潤、貢獻度等，可進一步挖潛數(shù)據(jù)背后的巨大價值。

用戶畫像，又稱人群畫像，是根據(jù)客戶人口統(tǒng)計學信息、社交關系、偏好習慣和消費行為等信息而抽象出來的標簽化畫像，用戶畫像旨在通過一系列算法或規(guī)則挖掘，把用戶分成彼此相同或不同的人群或個體，進而區(qū)別化提供服務并進行觀察分析，如性別比例、品牌偏好、崗位分布、社交偏好、活躍度、大客戶、新裝戶、空房戶、采暖戶、設備類型、設備數(shù)量等。

基于用戶畫像標簽可實現(xiàn)精準營銷及服務推送。引入大數(shù)據(jù)可以根據(jù)用戶當前生命周期的重要事件，實現(xiàn)個性化的智慧服務和增值服務。如：通過數(shù)據(jù)發(fā)現(xiàn)某客戶的灶具快到期了，在用戶畫像中了解到客戶家庭收入較高，就可以針對性推送灶具到期更換提醒，并順便推介高檔灶具，對企業(yè)來說，既可以增加營收，還可以降低用氣事故風險，另外還可以針對這部分用戶推出個性化的增值服務，包括滾動式安檢、設備維護保養(yǎng)、專人預約上門等。

b.智能客服

在傳統(tǒng)的客服系統(tǒng)中，人力成本大、客服績效考核困難、客戶需求無法及時響應、客服中心工作簡單重復且同質(zhì)化嚴重。依靠大數(shù)據(jù)分析和人工智能的智能客服系統(tǒng)，全方位打通了客服的溝通渠道，將客服從簡單同質(zhì)化問題中解放出來，降低了人力成本，提高了團隊溝通效率。

大數(shù)據(jù)可以訓練和優(yōu)化人工智能，一般的客服機器人只能回答最直白的問題，但大數(shù)據(jù)可訓練和優(yōu)化人工智能知識庫，除了常規(guī)的自然語言理解啟動問答引擎外，通過內(nèi)部數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)，進行行業(yè)知識挖掘以及常見問題模型訓練，可以在一定程度上讓機器猜到用戶的問題，學會如何應對用戶各式各樣的問題，從而建立基于知識庫的問答、基于知識圖譜的問答以及開放式聊天。

智能客服能夠24 h不間斷地為客戶服務，隨時隨地都可進行接待，填補了人工客服在休息、假日期間的空缺，工作量更高；對于客戶的信息掌握得更加精準，可以根據(jù)提供的訪客基礎信息以及訪問信息進行預判，為客戶提供更加貼心的服務；同時，可以分析訪客所提出的問題，迅速讀取資料庫，完成共性問題的解答，最大限度地縮短了回復的時間。

c.服務渠道優(yōu)化

通過大數(shù)據(jù)搜集各個客戶接觸渠道的客戶行為信息，結合客戶關系管理客戶屬性和分類，對各渠道業(yè)務運行狀況和客戶服務消費偏好、熱點進行深入分析挖掘，以改善渠道用戶體驗，提升運營效率。通過分析客戶接觸渠道的客戶行為，有效安排營業(yè)廳、微信、支付寶、APP掌廳、網(wǎng)廳等不同渠道的業(yè)務形式，如用戶通過微信、支付寶可完成90%的繳費業(yè)務，營業(yè)廳便可減少現(xiàn)場繳費窗口，節(jié)省線下成本。

對于信息化發(fā)展相對落后、用戶對于網(wǎng)上繳費的意識還不夠的情況，公用行業(yè)大多采用增加線下的第三方代收的模式。通過大數(shù)據(jù)技術，通過分析代收日常業(yè)務、人流量、人口分布，對是否需要設置第三方代收繳費網(wǎng)點、設置位置、數(shù)量等進行科學決策。

② 運行端大數(shù)據(jù)應用

a.異常監(jiān)控與用量預測

通過有效利用數(shù)據(jù)采集與監(jiān)視控制系統(tǒng)數(shù)據(jù)和已經(jīng)建設完成的用戶關系管理系統(tǒng)、GIS地理信息系統(tǒng)等，利用云計算和大數(shù)據(jù)分析技術打通系統(tǒng)之間的屏障，實現(xiàn)數(shù)據(jù)共享和業(yè)務系統(tǒng)集成。

對安全相關設備的狀態(tài)、用量趨勢進行監(jiān)測，對異常行為進行報警。例如，表具一般都標有最大的工作流量，通過實時監(jiān)控分析，可監(jiān)測是否存在超負荷使用情況。對階段歷史用量數(shù)據(jù)，基于機器學習和預測模型進行分析，預測未來一段時間內(nèi)用戶的用量趨勢，預測未來一段時間內(nèi)用戶的用量，保證重點服務用戶的燃氣供應，同時，當未來一段時間發(fā)生后，可以用實際用量和預測用量進行對比，逐步修正預測結果。

某燃氣公司工商戶用氣監(jiān)控及預測信息截圖見圖2，整個截圖分3個功能區(qū)域，左側列表展示管轄區(qū)域內(nèi)流量計最近10 min流量排行。上側區(qū)域直觀呈現(xiàn)各流量計當前流量、溫度、壓力。下側區(qū)域則以曲線形式展現(xiàn)用氣量趨勢及預測情況，通過實時監(jiān)控，對比歷史數(shù)據(jù)在線分析，及時監(jiān)測篩選激增、陡減、跳躍等異常行為，進而協(xié)助業(yè)務分析是設備故障還是非法用氣，同時還展示每天及每月生產(chǎn)高峰，保證重點服務用戶的燃氣供應。

圖2 某燃氣公司工商戶用氣監(jiān)控及預測信息截圖

b.輸差管理與氣源調(diào)度

通過對上游門站進行抄表，對氣源采購量進行登記，實現(xiàn)氣源采購管理，通過手抄表、移動抄表(普表抄表和卡表抄表)，輔以必要的用氣量估算，實現(xiàn)用氣量管理。通過輸差相關數(shù)據(jù)提供部門對輸差氣量的填報，實現(xiàn)系統(tǒng)自動出具輸差統(tǒng)計報表，完善營銷管理系統(tǒng)，輔助客戶管理。最終實現(xiàn)加強企業(yè)管理，規(guī)范輸差整治，降低燃氣漏損，提高經(jīng)濟效益。

管網(wǎng)運行狀況數(shù)據(jù)監(jiān)控分析及調(diào)整、氣源協(xié)調(diào)、緊急情況的應急指揮，使輸配系統(tǒng)保持平穩(wěn)狀態(tài)，從而為用戶提供高質(zhì)量的供氣服務，減少輸配過程中的損失，最大限度延長管網(wǎng)的使用壽命，保障輸配系統(tǒng)安全運行，最終提高企業(yè)的運營效益。如：通過對同一管網(wǎng)支路上的工商戶生產(chǎn)用氣數(shù)據(jù)分析，分析多個工商戶用量在生產(chǎn)過程中，不同生產(chǎn)用氣峰值是否存在重疊。如果多個工商戶生產(chǎn)峰值重疊，可能造成氣量不足，對工商戶造成生產(chǎn)效益較低或產(chǎn)品質(zhì)量出現(xiàn)問題。通過實時監(jiān)控或歷史數(shù)據(jù)分析，調(diào)節(jié)工商戶投料時間，避開峰值，從而為工商戶生產(chǎn)提供足夠的燃氣。