張宗華,葉志佳,牛新征
(1.國家電網(wǎng)公司北京電力醫(yī)院信息通訊部,北京 100073;2.電子科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,四川 成都 611731)
面向監(jiān)測數(shù)據(jù)壓縮的自適應(yīng)SDT算法
張宗華1,葉志佳2,牛新征2
(1.國家電網(wǎng)公司北京電力醫(yī)院信息通訊部,北京 100073;2.電子科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,四川 成都 611731)
為降低IT運(yùn)維系統(tǒng)的實(shí)時(shí)監(jiān)測數(shù)據(jù)量、提高數(shù)據(jù)存儲效率,提出一種自適應(yīng)的旋轉(zhuǎn)門算法(adaptive swinging door trending,ASDT)。針對傳統(tǒng)SDT算法存在抗噪性弱、參數(shù)選取困難等缺陷,ASDT首先通過最小二乘平滑處理,減小噪聲數(shù)據(jù)對SDT趨勢判斷的影響;然后通過改進(jìn)死區(qū)限值過濾算法,對經(jīng)平滑處理后的數(shù)據(jù)進(jìn)行壓縮;最后基于相鄰壓縮區(qū)間標(biāo)準(zhǔn)差變化,自適應(yīng)調(diào)整壓縮精度參數(shù)。實(shí)驗(yàn)結(jié)果表明:在保證數(shù)據(jù)保真度的前提下,ASDT的仿真數(shù)據(jù)和真實(shí)數(shù)據(jù)上的壓縮比分別提高60%和24%以上。
數(shù)據(jù)壓縮;旋轉(zhuǎn)門算法;平滑處理;自適應(yīng)調(diào)整
隨著企業(yè)信息化建設(shè)的不斷推進(jìn)和完善,計(jì)算機(jī)軟硬件系統(tǒng)的運(yùn)行維護(hù)已經(jīng)成為了各行業(yè)普遍關(guān)注的問題。而IT運(yùn)維工作中一項(xiàng)重要的內(nèi)容是對主機(jī)設(shè)備的運(yùn)行狀態(tài)以及網(wǎng)絡(luò)負(fù)載等信息進(jìn)行實(shí)時(shí)監(jiān)控和記錄,以實(shí)現(xiàn)異常情況的及時(shí)告警、故障診斷以及數(shù)據(jù)挖掘等功能[1]。因此,為確保海量數(shù)據(jù)能實(shí)時(shí)存儲,并盡可能降低數(shù)據(jù)的存儲容量,提高存儲效率,需要對數(shù)據(jù)進(jìn)行快速有效地壓縮處理。
現(xiàn)有的數(shù)據(jù)壓縮技術(shù)包括基于小波變換的壓縮[2]、基于字典的壓縮[3]、基于統(tǒng)計(jì)的壓縮[4]等。而在實(shí)時(shí)數(shù)據(jù)庫領(lǐng)域,由于原始數(shù)據(jù)量大,數(shù)據(jù)的變化較平穩(wěn),且能容忍部分?jǐn)?shù)據(jù)損失,通常采用有損壓縮算法以獲取更高的壓縮比。旋轉(zhuǎn)門趨勢 (swinging door trending,SDT)算法[5]是一種用于實(shí)時(shí)數(shù)據(jù)庫中的有損壓縮算法,被廣泛應(yīng)用于實(shí)時(shí)數(shù)據(jù)壓縮。然而,傳統(tǒng)SDT算法的壓縮率和信息損失率受壓縮精度參數(shù)ΔE的影響較大,并且該算法在數(shù)據(jù)中有噪聲的情況下,壓縮性能較低。為了解決該問題,文獻(xiàn)[6]提出一種結(jié)合異常壓縮(exception compression,EC)和旋轉(zhuǎn)門的算法,一定程度地改善了算法的壓縮性能,但該算法中的壓縮參數(shù)需要根據(jù)專業(yè)背景和歷史數(shù)據(jù)的統(tǒng)計(jì)分析來確定。文獻(xiàn)[7]針對SDT算法受參數(shù)影響較大的問題,提出一種基于標(biāo)準(zhǔn)差的容差動態(tài)調(diào)整的改進(jìn)算法,然而該算法沒有考慮噪聲數(shù)據(jù)的影響。文獻(xiàn)[8]提出一種基于有效估算的旋轉(zhuǎn)門算法,能有效提高數(shù)據(jù)壓縮率并降低壓縮時(shí)間,但其仍未考慮噪聲數(shù)據(jù)的影響,且該算法通過構(gòu)造最大平行四邊形選取關(guān)鍵點(diǎn)容易造成趨勢特征的損失。
針對現(xiàn)有研究中存在的問題,結(jié)合運(yùn)維監(jiān)測數(shù)據(jù)變化平穩(wěn)的特點(diǎn),本文提出首先利用最小二乘法對原始數(shù)據(jù)進(jìn)行平滑處理,減小噪聲數(shù)據(jù)對壓縮性能產(chǎn)生的影響;然后結(jié)合死區(qū)限值過濾對數(shù)據(jù)進(jìn)行壓縮;最后通過比較相鄰區(qū)間的數(shù)據(jù)波動,動態(tài)調(diào)整壓縮參數(shù)。
SDT算法基本原理如圖1所示,對于t0~t5的原始數(shù)據(jù),首先將初始點(diǎn)a存儲,并以距離a點(diǎn)ΔE的上下兩點(diǎn)作為支點(diǎn),建立兩扇虛擬的門。當(dāng)處理到b點(diǎn)時(shí)門是閉合的,隨著壓縮的進(jìn)行,兩扇門會分別旋轉(zhuǎn)著打開,并且一旦打開就不能再閉合。只要兩扇門的內(nèi)角和<180°,即門未平行時(shí),就將數(shù)據(jù)點(diǎn)舍棄。當(dāng)兩扇門內(nèi)角和≥180°時(shí)(如圖1中的d點(diǎn)),停止操作,存儲前一數(shù)據(jù)點(diǎn)(c點(diǎn)),并以該點(diǎn)開始后續(xù)的壓縮。圖1中的原始數(shù)據(jù)經(jīng)SDT算法壓縮后變?yōu)閍、c、e 3個(gè)點(diǎn),并且相鄰數(shù)據(jù)點(diǎn)間用線段連接。解壓時(shí),通過線性插值還原被壓縮的點(diǎn)。
經(jīng)典SDT算法存在以下不足:1)在監(jiān)測數(shù)據(jù)的采集過程中,可能存在由意外誤差導(dǎo)致的噪聲數(shù)據(jù)。而噪聲會造成SDT算法對數(shù)據(jù)的變化趨勢判斷錯(cuò)誤,從而降低了算法的壓縮率。2)算法中參數(shù)ΔE的選取較困難,需要依賴先驗(yàn)知識。ΔE過小會保留較多的無用數(shù)據(jù)點(diǎn),降低壓縮率;而ΔE過大會使某些關(guān)鍵數(shù)據(jù)點(diǎn)被舍棄,還原后的數(shù)據(jù)精度較差。在經(jīng)典SDT算法中,ΔE由用戶預(yù)設(shè)并在整個(gè)壓縮過程中固定不變,參數(shù)取值會對算法性能產(chǎn)生很大影響。
圖1 SDT算法原理
本文在經(jīng)典SDT算法的基礎(chǔ)上做出改進(jìn),使其獲得更優(yōu)的壓縮性能,以更好地滿足IT運(yùn)維系統(tǒng)中對監(jiān)測數(shù)據(jù)壓縮的需求,主要改進(jìn)思路如下:
1)數(shù)據(jù)預(yù)處理。針對數(shù)據(jù)監(jiān)測過程中由測量誤差等因素引起的噪聲數(shù)據(jù),對原始數(shù)據(jù)進(jìn)行最小二乘平滑處理,減小噪聲數(shù)據(jù)對SDT算法的干擾,使后續(xù)的壓縮能更準(zhǔn)確地判斷數(shù)據(jù)變化的趨勢。
2)數(shù)據(jù)壓縮。為了進(jìn)一步減少監(jiān)測數(shù)據(jù)量,提高存儲效率,采用改進(jìn)死區(qū)限值算法對數(shù)據(jù)初步壓縮,再由SDT算法進(jìn)一步壓縮。提高總體壓縮比,并減少SDT算法處理的數(shù)據(jù)量。
3)參數(shù)自適應(yīng)調(diào)整?;诒O(jiān)測數(shù)據(jù)總體變化平穩(wěn)的特點(diǎn),在每次數(shù)據(jù)壓縮完成后,根據(jù)數(shù)據(jù)波動的變化,自適應(yīng)調(diào)整壓縮精度參數(shù),使其與數(shù)據(jù)的特性匹配,以取得更優(yōu)的壓縮性能。
2.1 最小二乘平滑
基于監(jiān)測數(shù)據(jù)變化平穩(wěn)的特點(diǎn),本文通過對原始數(shù)據(jù)進(jìn)行平滑處理來降低噪聲數(shù)據(jù)對壓縮性能的影響。常用的數(shù)據(jù)平滑技術(shù)有回歸分析[9]、最小二乘平滑[10]、小波變換[11]等。本文采用基于最小二乘定理的五點(diǎn)三次平滑算法對數(shù)據(jù)進(jìn)行處理。
對于相鄰的5個(gè)原始數(shù)據(jù)點(diǎn)(ti-2,yi-2),(ti-1,yi-1),…,(ti+2,yi+2),可用曲線y=α0+α1t+α2t2+α3t3進(jìn)行擬合,并由最小二乘法原理可求出系數(shù)。五點(diǎn)三次平滑公式如下:
式中:Y——原始數(shù)據(jù)向量;
Ys——平滑后的數(shù)據(jù)向量,分別表示5個(gè)連續(xù)的數(shù)據(jù)值;
A——五階系數(shù)矩陣,可由最小二乘定理計(jì)算得出。
2.2 改進(jìn)死區(qū)限值過濾
數(shù)據(jù)經(jīng)平滑處理后,削弱了噪聲對壓縮算法的影響,接下來就可以進(jìn)行數(shù)據(jù)的壓縮。為了進(jìn)一步提高SDT算法的壓縮率,本文采用改進(jìn)的死區(qū)限值算法[12]對平滑處理后的數(shù)據(jù)進(jìn)行初步過濾,再利用SDT算法二次壓縮的兩級壓縮策略。死區(qū)限值算法的基本思路如圖2所示。
圖2 死區(qū)限值壓縮原理
在初始數(shù)據(jù)點(diǎn)a設(shè)置ΔE′的限值區(qū)間,依次對后續(xù)數(shù)據(jù)進(jìn)行壓縮。若數(shù)據(jù)點(diǎn)在此死區(qū)內(nèi),則舍棄,否則進(jìn)行存儲。如圖2所示,t4時(shí)刻的b點(diǎn)在此區(qū)間之外,故存儲b點(diǎn),并以該點(diǎn)設(shè)置死區(qū)繼續(xù)對后續(xù)數(shù)據(jù)進(jìn)行壓縮。
由上述原理可知,死區(qū)壓縮算法本質(zhì)是上下斜率均為0時(shí)的SDT算法,其限值參數(shù)ΔE′同樣存在選取困難的缺陷:ΔE′設(shè)置偏大可能造成有效數(shù)據(jù)的丟失,增大壓縮誤差;偏小則會記錄過多冗余數(shù)據(jù),降低壓縮比?;诖耍疚膶⑺绤^(qū)壓縮參數(shù)ΔE′與SDT精度參數(shù)ΔE設(shè)置為相等,并同時(shí)進(jìn)行后續(xù)的動態(tài)調(diào)整。
2.3 壓縮參數(shù)自適應(yīng)調(diào)整
SDT算法的壓縮精度參數(shù)ΔE需要預(yù)先設(shè)定,并且在壓縮過程中固定不變。而在實(shí)際的運(yùn)維系統(tǒng)中,數(shù)據(jù)的特性是時(shí)變的,加上先驗(yàn)知識的缺失,很容易造成ΔE與數(shù)據(jù)的失配。
在IT運(yùn)維系統(tǒng)中,監(jiān)測數(shù)據(jù)的變化一般比較平穩(wěn),因此,在一定時(shí)間范圍內(nèi),可以利用前一區(qū)間的數(shù)據(jù)波動情況預(yù)測下一區(qū)間的情況。數(shù)據(jù)的離散程度一般用標(biāo)準(zhǔn)差表示,記為σ
式中:yi——數(shù)據(jù)值;
μ——y的平均值;
n——數(shù)據(jù)總數(shù)。
則相鄰壓縮區(qū)間的波動變化可用下式計(jì)算:
式中σi、σi-1分別表示第i和i-1次壓縮的數(shù)據(jù)標(biāo)準(zhǔn)差。
最終,動態(tài)調(diào)整ΔE的值
式中:τ——數(shù)據(jù)波動變化的容差系數(shù),是決定對ΔE進(jìn)行調(diào)整的閾值;
F(w)——?jiǎng)討B(tài)調(diào)幅系數(shù),根據(jù)本區(qū)間與前一區(qū)間數(shù)據(jù)的波動變化情況動態(tài)確定ΔE的調(diào)整幅度。
分析可知:當(dāng)|w-1|≤τ時(shí),說明數(shù)據(jù)的波動變化不明顯,無需對ΔE調(diào)整;當(dāng)|w-1|>τ時(shí),說明數(shù)據(jù)的波動變化較大,應(yīng)調(diào)整ΔE。由于調(diào)幅函數(shù)F(w)關(guān)于(1,1)中心對稱,且單調(diào)遞增,當(dāng)w<1時(shí),F(xiàn)(w)<1,數(shù)據(jù)波動變得平緩,為了取得更高的壓縮比,則減小ΔE;當(dāng)w>1時(shí),F(xiàn)(w)>1,增大ΔE以取得更低的壓縮誤差。
本文的調(diào)幅系數(shù)F(w)在w=1兩側(cè)一階導(dǎo)數(shù)不斷增大,使F(w)的變化更為快速,從而能更及時(shí)地調(diào)整ΔE使之適應(yīng)數(shù)據(jù)波動變化。
為了使ΔE在調(diào)整過程中不至于過大或過小,算法需設(shè)定其上下限值ΔEmax和ΔEmin。ASDT算法的總體流程為:對于輸入的原始數(shù)據(jù)序列Y=(ti,yi),首先初始化其上下斜率。若算法首次執(zhí)行,則初始化ΔE為(ΔEmax+ΔEmin)/2,并保存第1個(gè)點(diǎn)。隨后,對原始數(shù)據(jù)進(jìn)行五點(diǎn)三次平滑,并利用死區(qū)限值過濾對平滑后的數(shù)據(jù)初步壓縮,同時(shí)結(jié)合SDT算法做進(jìn)一步壓縮。最后,利用式(2)計(jì)算本壓縮區(qū)間的數(shù)據(jù)波動,并根據(jù)式(4)自適應(yīng)地調(diào)整ΔE。
為了驗(yàn)證本文提出的ASDT算法的有效性,本文分別基于仿真數(shù)據(jù)和真實(shí)數(shù)據(jù)在Matlab平臺上進(jìn)行壓縮測試,并與傳統(tǒng)SDT算法進(jìn)行對比。同時(shí),為了驗(yàn)證ASDT的可拓展性,對不同規(guī)模數(shù)據(jù)的壓縮時(shí)間進(jìn)行測試。
3.1 評價(jià)指標(biāo)
本文借鑒文獻(xiàn)[13],采用壓縮比CR和均方根誤差RMSE作為壓縮算法的性能評價(jià)指標(biāo)。計(jì)算如下:
式中:n——原始數(shù)據(jù)點(diǎn)數(shù);
m——壓縮后數(shù)據(jù)點(diǎn)數(shù);
yi——第i個(gè)時(shí)間點(diǎn)的原始數(shù)據(jù);
高壓縮比、低均方根誤差的有損壓縮算法性能更優(yōu)越。
3.2 仿真數(shù)據(jù)測試
仿真數(shù)據(jù)的生成,本文借鑒文獻(xiàn)[14]的方法,采用正弦波信號疊加噪聲的形式來模擬真實(shí)監(jiān)測數(shù)據(jù)。其函數(shù)表達(dá)式如下:
式中:N(p,t)——噪聲信號,由Matlab自帶的高斯白噪聲生成函數(shù)wgn[15]產(chǎn)生;
p——噪聲強(qiáng)度參數(shù),p值越大,噪聲數(shù)據(jù)對壓縮性能的影響越大。
為了測試ASDT算法對含噪數(shù)據(jù)的壓縮性能,本文令p從1增長至10,分別測試ASDT和SDT的算法性能。角頻率ω取0.001,采樣周期為2,采樣區(qū)間為[0,2000π],這是為了模擬真實(shí)監(jiān)測數(shù)據(jù)變化平緩,采樣頻繁的特點(diǎn)。SDT算法ΔE=0.02,ASDT算法ΔEmax= 0.04,ΔEmin=0,τ=0.1。實(shí)驗(yàn)結(jié)果如表1、圖3所示。
由表1及圖3(a)的結(jié)果可知,隨著噪聲強(qiáng)度的增大,ASDT和SDT的壓縮比均有不同程度的減小。盡管如此,ASDT的壓縮比一直高于SDT,最低時(shí)仍為3.25,相比于SDT提高了60%以上。這是由于噪聲數(shù)據(jù)的頻繁抖動使SDT算法不能正確預(yù)測數(shù)據(jù)的走勢,從而過多記錄了無用信息。而ASDT算法由于對原始數(shù)據(jù)進(jìn)行了平滑處理,減輕了噪聲的影響,使壓縮算法能更準(zhǔn)確的把握數(shù)據(jù)的關(guān)鍵趨勢,大大減少歸檔點(diǎn)數(shù)。同時(shí),采用死區(qū)限值過濾進(jìn)一步增大了壓縮比。
ASDT在壓縮比方面比SDT取得更好的性能,但這并不意味著它是以損失數(shù)據(jù)精度為代價(jià)。由表1和圖3(b)可以看出,ASDT和SDT的均方根誤差基本相同,這是由于ASDT能根據(jù)相鄰區(qū)間數(shù)據(jù)波動的變化趨勢動態(tài)調(diào)整精度參數(shù)ΔE,從而使壓縮誤差維持在合理的水平。
ASDT和SDT重構(gòu)后的數(shù)據(jù)如圖4所示,自上而下分別為原始數(shù)據(jù)、SDT以及ASDT。從圖可看到SDT算法受噪聲影響較大,而ASDT能更好地抵抗噪聲數(shù)據(jù)的干擾,忽略頻繁抖動的無關(guān)信息存儲,識別數(shù)據(jù)變化的關(guān)鍵趨勢。
3.3 真實(shí)數(shù)據(jù)測試
本文的真實(shí)數(shù)據(jù)來自某IT運(yùn)維系統(tǒng)中磁盤使用率的監(jiān)測數(shù)據(jù),包括10個(gè)不同時(shí)間段采集的數(shù)據(jù),采樣周期為2s,每個(gè)時(shí)間段采樣點(diǎn)均為2000以上。本文中SDT算法ΔE=0.5,ASDT的ΔEmax=1.0,ΔEmin=0,其他參數(shù)均與仿真數(shù)據(jù)實(shí)驗(yàn)中一致。實(shí)驗(yàn)結(jié)果如圖5 所示。
表1 仿真數(shù)據(jù)測試結(jié)果
圖3 仿真數(shù)據(jù)測試結(jié)果
由圖5(a)可知,ASDT在真實(shí)數(shù)據(jù)集上依然獲得了較高的壓縮比,最低時(shí)為9.49,對比SDT至少提升了24%。同時(shí),由圖5(b)可知,ASDT的均方根誤差基本與SDT持平,取得了良好的數(shù)據(jù)保真度。真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果再次證明本文提出的ASDT算法的性能更優(yōu)。
3.4 可擴(kuò)展性分析
為了驗(yàn)證ASDT算法的可擴(kuò)展性,對不同規(guī)模的數(shù)據(jù)進(jìn)行壓縮時(shí)間的測試。數(shù)據(jù)的生成方式與3.2節(jié)相同,數(shù)據(jù)規(guī)模為10n,n∈[2,8]。對于每個(gè)n,分別測試10次取平均值。實(shí)驗(yàn)結(jié)果如表2所示。
從表中結(jié)果可以看出,ASDT算法壓縮時(shí)間和重構(gòu)時(shí)間隨著數(shù)據(jù)規(guī)模的增長大致呈線性增長,證明ASDT具有良好的可擴(kuò)展性。同時(shí),從表2可知,當(dāng)數(shù)據(jù)規(guī)模為108時(shí),ASDT的壓縮時(shí)間和重構(gòu)時(shí)間分別為138.04s和507.34s,對較大規(guī)模的數(shù)據(jù)也具有良好的處理能力。
圖4 重構(gòu)數(shù)據(jù)對比(p=1)
圖5 真實(shí)數(shù)據(jù)測試結(jié)果
表2 可擴(kuò)展性實(shí)驗(yàn)結(jié)果
本文提出一種精度自適應(yīng)調(diào)整的SDT算法-ASDT,基于最小二乘原理,對原始數(shù)據(jù)進(jìn)行平滑處理,減小噪聲數(shù)據(jù)對壓縮性能的影響,使算法能更準(zhǔn)確地判斷數(shù)據(jù)的關(guān)鍵趨勢,提高壓縮比;結(jié)合死區(qū)限值算法實(shí)現(xiàn)初步壓縮,進(jìn)一步增大壓縮比;最后基于數(shù)據(jù)波動變化對壓縮精度參數(shù)動態(tài)調(diào)整。實(shí)驗(yàn)結(jié)果表明,ASDT在保持低壓縮誤差的前提下,有效提高了壓縮比,并且具有低復(fù)雜度和良好的可擴(kuò)展性。
[1]韓學(xué)奇,王鋒.IT運(yùn)維數(shù)據(jù)展示系統(tǒng)的研究和實(shí)現(xiàn)[J].計(jì)算機(jī)科學(xué),2012,39(S2):232-235.
[2]NING J,WANG J,GAO W,et al.A Wavelet-based data compression technique for smart grid[J].IEEE Trans actions on Smart Grid,2011,2(1):212-218.
[3]BRISABOA N R,CANOVAS R,CLAUDE F,et al. Compressed string dictionaries[J].Computer Science,2011(6630):136-147.
[4]KAVOUSIANOS X,KALLIGEROS E,NIKOLOS D. Optimal selective huffman coding for test-data compression[J].IEEE Transactions on Computers,2007,56(8):1146-1152.
[5]BRISTOL E H.Swinging door trending:adaptive trend recording[C]∥Proceedings of the ISA National Conference.New York:ISA,1990:749-753.
[6]ZHANG F,CHENG L,LI X,et al.Application of a real-time data compression and adapted protocol technique for WAMS[J].IEEE Transactions on Power Systems,2015,30(2):653-662.
[7]于松濤,王曉琨,趙利強(qiáng),等.基于容差動態(tài)調(diào)整的旋轉(zhuǎn)門(SDT)改進(jìn)算法[J].北京化工大學(xué)學(xué)報(bào)(自然科學(xué)版),2013,40(3):109-113.
[8]馬發(fā)勇,厲啟鵬,馬志斌,等.電力調(diào)度SCADA系統(tǒng)中歷史數(shù)據(jù)壓縮及存儲策略[J].電網(wǎng)技術(shù),2014,38(4):1109-1114.
[9]韋玉春,王國祥,程春梅.水面光譜數(shù)據(jù)的核回歸平滑去干擾分析[J].南京師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2010,33(3):97-102.
[10]楊正舉,劉洛琨,錢學(xué)鋒,等.基于最小二乘平滑算法的時(shí)變信道盲辨識[J].計(jì)算機(jī)工程與設(shè)計(jì),2013,34(1):59-65.
[11]LI X,LI Y,HAN X,et al.Application of fuzzy wavelet transform to smooth Wind/PV hybrid power system output with battery energy storage system[J].Energy Procedia,2011,12(39):994-1001.
[12]徐慧.實(shí)時(shí)數(shù)據(jù)庫中數(shù)據(jù)壓縮算法的研究[D].杭州:浙江大學(xué),2006.
[13]曲奕霖,王文海.用于過程數(shù)據(jù)壓縮的自控精度SDT算法[J].計(jì)算機(jī)工程,2010,36(22):40-42.
[14]寧海楠.一種基于SDT算法的新的過程數(shù)據(jù)壓縮算法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2010,20(1):25-28.
[15]MathWorks中國.Generate white Gaussian noise-Matlab wgn[EB/OL].http:∥cn.mathworks.com/help/comm/ref/wgn. html?searchHighlight=wgn,2016.
(編輯:劉楊)
Adaptive SDT algorithm for monitoring data compression
ZHANG Zonghua1,YE Zhijia2,NIU Xinzheng2
(1.Ministry of Information and Communication,Beijing Electric Power Hospital,State Grid Corporation of China,Beijing 100073,China;2.School of Computer Science and Engineering,University of Electronic Science and Technology of China,Chengdu 611731,China)
To reduce the amount of monitoring data of IT operation and maintenance system and improve the efficiency of data storage,an adaptive SDT algorithm named adaptive swinging door trending(ASDT)was proposed.To address problems such as the weak resistance to noise and the difficulty of parameter selection of traditional SDT algorithm,ASDT firstly adopts least-squares to smooth the original data to reduce the influence of noise to SDT trend judgment;then,it combines with improved boxcar-back slope algorithm to compress the data after smoothing;finally,it adjusts the parameters of compression accuracy adaptively based on the changes of standard deviation of adjacent interval.Results of experiments conducted on the simulation data and real data show that on the premise of guaranteeing the data fidelity,ASDT’s compression ratio is increased by over 60%and 24%respectively.
data compression;SDT algorithm;smoothing;adaptive adjustment
A
:1674-5124(2017)02-0104-05
10.11857/j.issn.1674-5124.2017.02.021
2016-06-17;
:2016-07-20
國家自然科學(xué)基金項(xiàng)目(61300192);中央高?;究蒲袠I(yè)務(wù)費(fèi)項(xiàng)目(ZYGX2014J052);北京電力醫(yī)院一體化運(yùn)維監(jiān)控與管理項(xiàng)目(HW2015000759)
張宗華(1977-),男,四川成都市人,工程師,碩士,研究方向?yàn)殡娏π畔⒒芯颗c建設(shè)。