孫 磊 邵鵬勇 劉 悅
感知城市(天津)物聯(lián)網科技股份有限公司
關于供熱計量管理服務平臺數據頂層設計的研究
孫 磊 邵鵬勇 劉 悅
感知城市(天津)物聯(lián)網科技股份有限公司
物聯(lián)網公司供熱計量管理服務平臺的正式發(fā)布,旨在幫助供熱企業(yè)對戶用熱量表計量數據進行管理,參考一段時間的運行情況以及收集用戶反饋意見,公司認識到:這些“小數據”可以有“大作為”,擁有空間和時間上的累積,再結合專業(yè)的大數據分析手段,可以發(fā)揮出巨大的價值。因此,項目組在需求調研上投入大量精力,深入到各公司、管理處和換熱站,與行業(yè)專家、專工和供熱一線生產人員進行深入交流,后期又與部分公司經營部門對接需求,經過多次調研探討后,公司制定了詳細的平臺升級開發(fā)計劃,將系統(tǒng)架構與頂層數據結構全部重新設計,以適應新時代不斷發(fā)展的供熱需求。
供熱計量;管理
隨著大數據分析的發(fā)展與普及,其分析方法和分析效果已經被廣泛認可,并應用于各個領域,而供熱運行數據與老百姓生活息息相關,運用大數據分析原理,挖掘其潛在價值,指導供熱運行,已是大勢所趨。但各供熱企業(yè)數據分散,來源眾多,數據交叉冗余,“數據孤島”大量存在,很難形成“大數據”統(tǒng)一分析,而如果想對數據進行整合歸類,則意味著巨大的工作量與多方面的協(xié)調工作。物聯(lián)網公司在之前的需求調研中,發(fā)現(xiàn)其實類似問題也一直讓各供熱企業(yè)的管理人員苦不堪言,而要做到快速準確的數據分析,數據結構的頂層設計至關重要,因此平臺V2.0最終確定,重新進行具有前瞻性的數據頂層設計與系統(tǒng)架構,并承擔整合“大數據”的工作,這意味著平臺V2.0將向上邁一個臺階,為今后不斷深化的數據挖掘工作鋪平道路,具體為:
1.建立統(tǒng)一的編號規(guī)則
掌握住數據的編號,就相當于找到了數據的“線頭”,無論怎樣紛繁復雜的數據,就都可以歸集整理。因此,本著易用性強,擴展性高的原則,平臺V2.0建立了如下編號規(guī)則:(見圖1)
圖1
2.系統(tǒng)間ID號兼容匹配
為了確保數據的完整性與真實性,消除“數據孤島”的存在,各系統(tǒng)編號的兼容匹配工作是最為關鍵的一步,平臺在這一環(huán)節(jié)做了大量的工作,通過公共字段兼容各供熱公司生產調度系統(tǒng),從而完成數據互通,而對于沒有公共字段的系統(tǒng),則只能采取人工逐戶核對地址的方式進行匹配,為了保證人工核對的準確率,項目組成員對每一條數據都進行了多次確認核查,其工作量也成倍數增長。經過長時間的匹配工作,目前已經完成15萬戶左右的用戶匹配工作。
3.統(tǒng)一數據庫和數據信息
在平臺V2.0構思之初,由于存在多家供熱計量相關的系統(tǒng)遠傳服務商,各家遠傳抄表模式不同,使用的數據庫和數據字段也存在較大差異,這就給數據管理工作帶來了一定的困難,而數據不統(tǒng)一則更使得數據挖掘無從談起。因此,經過與各家系統(tǒng)商的探討協(xié)商,平臺V2.0決定統(tǒng)一使用SQLSERVER2012數據庫,各家系統(tǒng)商數據一律遷移至該數據庫,同時所有數據表一律按照標準進行字段統(tǒng)一,為后面的數據整合工作打下了基礎。同時,針對同一小區(qū)存在多個名稱,樓號與門牌含有字母等信息不統(tǒng)一的情況,平臺V2.0也一并進行了統(tǒng)一要求,解決了基礎信息的冗余交叉問題。
4.數據整合與第三方系統(tǒng)商接入
在對基礎信息做了大量的統(tǒng)一匹配工作后,數據整合工作也得以順利開展,各家系統(tǒng)商的數據已經高度融合,因此各家遠傳DTO統(tǒng)一指向物聯(lián)網服務器,所有數據都統(tǒng)一進入一張數據表,并接入第三方系統(tǒng)商數據,經過一年多的整合對接,目前,接入平臺V2.0的熱用戶已經從8萬戶增長到接近20萬戶,徹底終結了數據“分而治之”的時代。
5.數據遷移與數據安全機制
為應對數據統(tǒng)一造成的數據傳輸量激增與數據安全問題,平臺V2.0對原有網絡架構與服務器進行了升級,服務器搬遷至新的大型機房,并增設專門的數據服務器與應用服務器,購置網絡安全設備,同時建立完善的數據保護與數據備份機制,確保系統(tǒng)整體的運行服務質量,網絡架構見下圖:
6.數據中轉與數據互通
數據的高度集中統(tǒng)一實際上是為了更好的疏通分散,在完成了以上諸項的數據頂層設計后,一個龐大而詳實的數據中轉庫便形成了,在面對各家供熱單位的生調、營業(yè)系統(tǒng)不同的數據需求時,數據中轉庫處理起來就顯得游刃有余,平臺可以根據各系統(tǒng)的數據需求,定制化的推送數據,徹底達成各系統(tǒng)的數據互聯(lián)互通。
物聯(lián)網公司供熱計量管理服務平臺的開發(fā)經歷了兩年多的時間,融入新興技術與緊貼生產需求,建立完善的更新維護機制,平臺逐步取得了供熱單位的認可和好評,物聯(lián)網公司在獲得多項自主知識產權的同時,積累了很多寶貴的經驗。