王風(fēng)碩 曾麗
摘要:隨著物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、泛在電力物聯(lián)網(wǎng)的迅猛發(fā)展,海量的傳感數(shù)據(jù)需要被記錄下來(lái)并用于大數(shù)據(jù)分析,所以對(duì)這類和時(shí)間序列強(qiáng)相關(guān)數(shù)據(jù)的存儲(chǔ)和檢索也提出了更高的要求,尤其在智能駕駛、運(yùn)輸、消防、電力等特殊業(yè)務(wù)更為突出。在這種背景下,時(shí)序數(shù)據(jù)庫(kù)逐步發(fā)展并得到了廣泛的應(yīng)用。相對(duì)于傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)它的存儲(chǔ)空間減半,查詢速度極大提高,是解決海量數(shù)據(jù)處理的一項(xiàng)重要技術(shù)。該文分析了時(shí)序數(shù)據(jù)的存儲(chǔ)與數(shù)據(jù)查詢?cè)?,并?duì)時(shí)序數(shù)據(jù)庫(kù)InfluxDB在智慧用電領(lǐng)域的應(yīng)用進(jìn)行了研究。
關(guān)鍵詞:時(shí)序數(shù)據(jù)庫(kù);influxDB;智慧用電;安全治理
中圖分類號(hào):TP391? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):1009-3044(2021)30-0048-03
開放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID):
隨著信息技術(shù)的快速發(fā)展和5G技術(shù)的推廣,大數(shù)據(jù)的價(jià)值已經(jīng)開始體現(xiàn)在各行各業(yè), 越來(lái)越多的傳統(tǒng)企業(yè)已經(jīng)開始關(guān)注到行業(yè)的大數(shù)據(jù),已經(jīng)在很大程度上決定著自己企業(yè)的未來(lái)發(fā)展及方向。但是像基于泛在電力物聯(lián)網(wǎng)的智慧用電這一領(lǐng)域,通過(guò)傳感設(shè)備采集到電壓、電流、導(dǎo)線溫度等數(shù)據(jù)都是有時(shí)間序列的特點(diǎn),目前對(duì)于這類海量時(shí)序數(shù)據(jù)的存儲(chǔ)和查詢一般都是采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行處理。由于關(guān)系型數(shù)據(jù)庫(kù)自身的特點(diǎn),無(wú)法進(jìn)行高效的數(shù)據(jù)存儲(chǔ)和海量數(shù)據(jù)的快速查詢。時(shí)序數(shù)據(jù)庫(kù)管理系統(tǒng)通過(guò)使用LSM-Tree等特殊的存儲(chǔ)方式,使得可以高效存儲(chǔ)和快速處理海量時(shí)序數(shù)據(jù),成為解決海量時(shí)序數(shù)據(jù)處理的一項(xiàng)重要技術(shù)[1]。該技術(shù)極大提高了時(shí)間相關(guān)數(shù)據(jù)的處理能力,時(shí)間序列數(shù)據(jù)庫(kù)優(yōu)越的查詢性能遠(yuǎn)超過(guò)關(guān)系型數(shù)據(jù)庫(kù),開源的influxDB以其卓越的性能和穩(wěn)定性成為智慧用電業(yè)務(wù)的最佳數(shù)據(jù)庫(kù)選型。
1時(shí)序數(shù)據(jù)庫(kù)
1.1時(shí)序數(shù)據(jù)
時(shí)序數(shù)據(jù)(Time Series Data)就是一串串按照時(shí)間維度進(jìn)行索引的數(shù)據(jù),這些數(shù)據(jù)用于描述被測(cè)主體對(duì)象在一個(gè)時(shí)間范圍之內(nèi)具體時(shí)間點(diǎn)上的某一個(gè)測(cè)量值。時(shí)序數(shù)據(jù)在IT基礎(chǔ)設(shè)施和監(jiān)控系統(tǒng),以及物聯(lián)網(wǎng)系統(tǒng)中使用比較普遍。時(shí)序數(shù)據(jù)可以在時(shí)間空間上將一個(gè)個(gè)獨(dú)立的觀測(cè)值連成一條線,能夠反映軟硬件系統(tǒng)的狀態(tài)變化趨勢(shì),從而為我們研究和預(yù)測(cè)提供數(shù)據(jù)基礎(chǔ),除此之外,時(shí)序數(shù)據(jù)還具有以下特點(diǎn):
①隨時(shí)間推進(jìn),同一個(gè)維度的數(shù)據(jù)重復(fù)取值,指標(biāo)會(huì)平滑變化。
②萬(wàn)計(jì)的終端設(shè)備會(huì)在較短時(shí)間內(nèi)持續(xù)產(chǎn)生海量的數(shù)據(jù),這些數(shù)據(jù)需要高并發(fā)實(shí)時(shí)寫入數(shù)據(jù)庫(kù)。
③一般業(yè)務(wù)場(chǎng)景還需要根據(jù)數(shù)據(jù)按不同維度對(duì)統(tǒng)計(jì)指標(biāo)進(jìn)行分析。
④需要高頻查詢最近的數(shù)據(jù),使得這類數(shù)據(jù)存在顯著的冷熱特征。
1.2 時(shí)序數(shù)據(jù)的數(shù)學(xué)模型
如下表1的時(shí)序數(shù)據(jù),記錄了智慧用電一段時(shí)間內(nèi)某些設(shè)備的告警數(shù)據(jù),成功告警會(huì)觸發(fā)記錄一個(gè)觀測(cè)值。以該數(shù)據(jù)為例,介紹下時(shí)序數(shù)據(jù)的數(shù)學(xué)模型。
Metric:用于度量的數(shù)據(jù)集,類似于MYSQL中table,如表1中的device_alarm。
Point:一個(gè)數(shù)據(jù)觀測(cè)點(diǎn),類似于MYSQL中row,如表1中的數(shù)據(jù)記錄。
Timestamp:時(shí)間戳,表示該數(shù)據(jù)的采集時(shí)間點(diǎn),如表1中timestamp。
Tag:維度列,代表數(shù)據(jù)的歸屬或?qū)傩?,表明是哪個(gè)設(shè)備產(chǎn)生那種類型的告警,一般不隨著時(shí)間變化,如表1中的設(shè)備碼code和告警類型type。
Field:指標(biāo)列,代表數(shù)據(jù)的測(cè)量值,隨時(shí)間平滑波動(dòng)。
1.3數(shù)據(jù)庫(kù)比較
MySQL等關(guān)系型數(shù)據(jù)庫(kù)在海量時(shí)序大數(shù)據(jù)場(chǎng)景下有以下的問(wèn)題,對(duì)于時(shí)序數(shù)據(jù)沒(méi)顯著變化壓縮效果,而且需占用大量資源導(dǎo)致存儲(chǔ)成本過(guò)高。單機(jī)吞吐量有限,很難滿足海量的數(shù)據(jù)實(shí)時(shí)寫入。沒(méi)有存儲(chǔ)策略,隨時(shí)數(shù)據(jù)規(guī)模的遞增,需要人工進(jìn)行分庫(kù)分表。這類適用OLTP系統(tǒng)的數(shù)據(jù)庫(kù),針對(duì)海量的時(shí)序數(shù)據(jù),查詢性能衰減嚴(yán)重。時(shí)間序列數(shù)據(jù)庫(kù)與其他傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)相比而言,其中最大區(qū)別在于時(shí)序數(shù)據(jù)庫(kù)是以具體時(shí)間為索引來(lái)記錄數(shù)據(jù)庫(kù)。如圖1所示為智慧用電平臺(tái)中時(shí)序數(shù)據(jù)庫(kù)傳感數(shù)據(jù)的顯示形式,其索引為time,后面的列記錄了傳感設(shè)備在當(dāng)前時(shí)間下的不同屬性值,而且隨著時(shí)間推進(jìn),這些記錄會(huì)周期性地遞增。隨著用戶及設(shè)備增加,并發(fā)寫入會(huì)線性增加,但是由于定期采樣,寫入量是可以保持平穩(wěn),但是不會(huì)有更新及刪除操作。這些特性使得時(shí)序數(shù)據(jù)庫(kù)采集數(shù)據(jù)非常平穩(wěn),數(shù)據(jù)記錄時(shí)效性很強(qiáng),隨著時(shí)間增加查詢性能也不會(huì)降低。和關(guān)系型數(shù)據(jù)庫(kù)相比較,時(shí)序性數(shù)據(jù)庫(kù)更多的場(chǎng)景的是寫入操作,所以時(shí)間序列數(shù)據(jù)庫(kù)一般采用了LSM-Tree存儲(chǔ)方式來(lái)代替?zhèn)鹘y(tǒng)的B -Tree,以提升了寫入性能。
2 時(shí)序數(shù)據(jù)庫(kù)在智慧用電中的應(yīng)用
智慧用電突破傳統(tǒng)互聯(lián)網(wǎng)技術(shù)的用電安全平臺(tái)的“在線”的局限,利用互聯(lián)網(wǎng)和大數(shù)據(jù)的同時(shí),實(shí)現(xiàn)了人與人、人與物以及物與物之間實(shí)時(shí)信息交換和泛在聯(lián)系。這種“線上”和“線下”的融合也體現(xiàn)了泛在電力物聯(lián)網(wǎng)“無(wú)所不在”的本質(zhì)特征,而這種特征也是適應(yīng)電氣安全需要實(shí)時(shí)監(jiān)控的動(dòng)態(tài)特征。智慧用電基于移動(dòng)互聯(lián)網(wǎng)技術(shù)、大數(shù)據(jù)技術(shù)、云計(jì)算技術(shù)等,通過(guò)物聯(lián)網(wǎng)傳感終端,將辦公樓宇、醫(yī)院、學(xué)校、酒店、商城等人員密集場(chǎng)所的電氣參數(shù)數(shù)據(jù),實(shí)時(shí)通過(guò)無(wú)線通信模塊傳輸至云服務(wù)器,為用戶和管理人員提供不間斷的數(shù)據(jù)、實(shí)時(shí)統(tǒng)計(jì)分析和安全監(jiān)管。而且平臺(tái)根據(jù)數(shù)據(jù)模型也可以發(fā)現(xiàn)各種安全隱患及時(shí)進(jìn)行預(yù)警,并實(shí)時(shí)推送給用戶和責(zé)任人員,以便及時(shí)檢查和排除隱患。另智慧用電還支持漏電、過(guò)流、短路、過(guò)載、過(guò)壓、欠壓等多重用電保護(hù),以及漏報(bào)自檢,功率限定,電量計(jì)算,在智慧用電平臺(tái)之上,各個(gè)子系統(tǒng)平臺(tái)之間的數(shù)據(jù)流通過(guò)封裝的API在EMQ,Redis,influxDB和MYSQL中間件之間可以實(shí)現(xiàn)即時(shí)有效傳遞。
2.1智慧用電架構(gòu)
智慧用電平臺(tái)通過(guò)物聯(lián)網(wǎng)智能斷路器終端,集成電氣、火災(zāi)等監(jiān)控傳感器和基于NB-IOT和MQTT協(xié)議的通信模塊。并搭載物聯(lián)網(wǎng)大數(shù)據(jù)分析服務(wù)云平臺(tái),為電氣安全監(jiān)管和能源數(shù)據(jù)管理提供了綜合解決方案?!爸悄芙K端”高度集成電氣、火災(zāi)監(jiān)控產(chǎn)品功能,能夠?qū)崟r(shí)精準(zhǔn)監(jiān)測(cè)用電末端的各項(xiàng)電氣參數(shù)及過(guò)程,通過(guò)業(yè)務(wù)分析平臺(tái)實(shí)時(shí)統(tǒng)計(jì)分析大數(shù)據(jù)信息,及時(shí)反饋、提示隱患,幫助終端用戶實(shí)現(xiàn)有效的電能管理, 通過(guò)安全治理平臺(tái)實(shí)現(xiàn)從用電隱患發(fā)現(xiàn)到治理的閉環(huán)式服務(wù),及時(shí)消除電氣安全隱患。僅需要在用戶的配電柜或末端的配電箱上安裝智能終端,就能夠?qū)崟r(shí)、精準(zhǔn)進(jìn)行線路的各項(xiàng)電氣參數(shù)數(shù)據(jù)的采集,并通過(guò)無(wú)線通信模塊把數(shù)據(jù)通過(guò)MQTT協(xié)議上傳到分布式部署的inluxDB時(shí)序數(shù)據(jù)庫(kù)中。再應(yīng)用使能平臺(tái)對(duì)接收到的時(shí)序數(shù)據(jù)進(jìn)行分析,通過(guò)微信、短信、App消息等方式及時(shí)將預(yù)警信息及時(shí)發(fā)送給用戶、責(zé)任人員、管理人員等,以便及時(shí)排查和消除安全隱患?;炯軜?gòu)如圖2所示:
2.2智慧用電業(yè)務(wù)分析
平臺(tái)利用多維參數(shù)來(lái)智能識(shí)別安全隱患,利用差異化的供電回路的特性,實(shí)現(xiàn)了個(gè)性化安全隱患自適應(yīng)識(shí)別算法。該算法通過(guò)橫向分析和縱向分析,建立了一套對(duì)電氣特征數(shù)據(jù)進(jìn)行全方位度量的指標(biāo)體系,橫向指標(biāo)用于刻畫多個(gè)傳感器參數(shù)(電流、電壓、線溫等)之間的平衡度,摒棄傳統(tǒng)單一閾值判斷方式,通過(guò)多維度參數(shù)識(shí)別安全隱患??v向指標(biāo)用于刻畫供電回路對(duì)歷史常態(tài)的偏離度及分布,從而對(duì)不同供電回路實(shí)現(xiàn)個(gè)性化、自適應(yīng)的隱患特征識(shí)別。并依據(jù)消防、電力行業(yè)規(guī)則建立大數(shù)據(jù)分析模型,結(jié)合大數(shù)據(jù)分析技術(shù)對(duì)安全隱患進(jìn)行深入分析,分析不同類型隱患的特點(diǎn),進(jìn)行精準(zhǔn)識(shí)別確認(rèn)、預(yù)警和防范。
2.3智慧用電安全治理
業(yè)務(wù)分析平臺(tái)對(duì)電氣火災(zāi)安全隱患進(jìn)行了精準(zhǔn)定位和準(zhǔn)確排查后,可以將結(jié)果和風(fēng)險(xiǎn)評(píng)估報(bào)告推送給終端用戶,提醒并有效指導(dǎo)終端用戶進(jìn)行安全隱患的處理,達(dá)到了防患未然的效果。平臺(tái)通過(guò)對(duì)海量線上終端設(shè)備的電氣數(shù)據(jù)記錄,積累形成安全用電行業(yè)大數(shù)據(jù),并通過(guò)對(duì)大數(shù)據(jù)的分析,可以有效準(zhǔn)確評(píng)估和預(yù)測(cè)用電量、用電安全等趨勢(shì),為政府職能部門提供專業(yè)的用電調(diào)度、電氣火災(zāi)分布、安全隱患分析、治理服務(wù)等大數(shù)據(jù)支撐。用戶在智慧用電的客戶端可以對(duì)自己的接入終端的電流、電流和溫度的實(shí)時(shí)檢測(cè),及設(shè)備運(yùn)行狀態(tài)的趨勢(shì)數(shù)據(jù),查看平臺(tái)推送的預(yù)警及專家建議。管理人員可以在職能端查看所監(jiān)控設(shè)備的剩余電流、導(dǎo)線溫度和電流等數(shù)據(jù)變化,如果發(fā)現(xiàn)電氣線路動(dòng)態(tài)運(yùn)行中出現(xiàn)的安全隱患,可以及時(shí)進(jìn)行響應(yīng)及處置。智慧用電平臺(tái)也可根據(jù)預(yù)設(shè)開啟報(bào)警,在智能化(自識(shí)別、自學(xué)習(xí))模式下對(duì)電氣線路運(yùn)行狀態(tài)進(jìn)行預(yù)判分析,并在數(shù)據(jù)分析基礎(chǔ)上向所用戶進(jìn)行預(yù)警信息的及時(shí)發(fā)送,讓用電安全更加智能化。
3結(jié)束語(yǔ)
在工業(yè)互聯(lián)網(wǎng)與信息化快速發(fā)展的大背景下,各行各業(yè)都部署了大量的設(shè)備傳感器和監(jiān)控系統(tǒng),二者一起提供了按照時(shí)間順序形成的實(shí)時(shí)數(shù)據(jù),這些海量實(shí)時(shí)數(shù)據(jù)能夠反映設(shè)備的狀態(tài)和特征值的變化過(guò)程,可以滿足多樣化的業(yè)務(wù)分析需求。本文就是在該背景下,根據(jù)智慧用電中的海量數(shù)據(jù)需求,分析了時(shí)序數(shù)據(jù)庫(kù)與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)的區(qū)別,并確定了時(shí)序數(shù)據(jù)庫(kù)在智慧用電平臺(tái)中作為數(shù)據(jù)存儲(chǔ)平臺(tái)的優(yōu)勢(shì),并以時(shí)序數(shù)據(jù)庫(kù) InfluxDB 作為時(shí)序數(shù)據(jù)存儲(chǔ)的基礎(chǔ),在此基礎(chǔ)上構(gòu)建了智慧用電平臺(tái)及合個(gè)子平臺(tái),實(shí)現(xiàn)了智慧用電過(guò)程時(shí)序數(shù)據(jù)的存儲(chǔ)、實(shí)時(shí)數(shù)據(jù)監(jiān)測(cè)等基本功能。該平臺(tái)現(xiàn)已經(jīng)投入實(shí)際運(yùn)用,運(yùn)行效果良好,為安全監(jiān)管和能源數(shù)據(jù)管理提供保障,同時(shí)也為政府職能部門決策提供行業(yè)大數(shù)據(jù)支撐。
參考文獻(xiàn):
[1] 徐化巖,初彥龍.基于influxDB的工業(yè)時(shí)序數(shù)據(jù)庫(kù)引擎設(shè)計(jì)[J].計(jì)算機(jī)應(yīng)用與軟件,2019,36(9):33-36,40.
[2]趙棟,劉宏.智慧用電監(jiān)控系統(tǒng)在電氣火災(zāi)中的應(yīng)用[J].消防科學(xué)與技術(shù),2018(12).
[3] 謝小軍,柳星,馬亮,等.基于大數(shù)據(jù)的智慧用電系統(tǒng)設(shè)計(jì)[J].電工技術(shù),2019(24):118-119,125.
[4] 高波,李飛,唐如意,等.泛在電力物聯(lián)網(wǎng)配用電側(cè)智慧感知設(shè)備設(shè)計(jì)[J].河北電力技術(shù),2019,38(6):11-13,30.
【通聯(lián)編輯:梁書】