陳赟,王宇雷
(1.中國葛洲壩集團(tuán)電力有限責(zé)任公司,湖北 武漢 430034;2.強(qiáng)電磁工程與新技術(shù)國家重點(diǎn)實(shí)驗(yàn)室 (華中科技大學(xué)),湖北 武漢 430074;3.華中科技大學(xué) 電氣與電子工程學(xué)院,湖北 武漢 430074)
智能配電網(wǎng)設(shè)備眾多,接線復(fù)雜,伴隨著智能電網(wǎng)概念的提出和大數(shù)據(jù)概念的推廣應(yīng)用,智能配電網(wǎng)監(jiān)測系統(tǒng)需要實(shí)現(xiàn)更多更精細(xì)的功能。與之對應(yīng),在智能配電網(wǎng)的監(jiān)測系統(tǒng)中需要傳輸海量的監(jiān)測數(shù)據(jù)。因此,無論是從提高智能配電網(wǎng)監(jiān)測系統(tǒng)實(shí)時(shí)性能的角度看,還是從減少數(shù)據(jù)傳輸系統(tǒng)的建設(shè)與運(yùn)行維護(hù)成本考慮,研究適用于智能配電網(wǎng)監(jiān)測系統(tǒng)的數(shù)據(jù)壓縮方案都具有重要的實(shí)際意義與經(jīng)濟(jì)價(jià)值[1]。
傳統(tǒng)的電力系統(tǒng)數(shù)據(jù)處理方法——離散傅里葉變換(discrete Fourier transform,DFT)及其快速算法——快速傅里葉變換(fast Fourier transform,F(xiàn)FT)可以視為對采樣值數(shù)據(jù)的一種壓縮方法,相對于工頻每周波80、200、256乃至更多個(gè)點(diǎn)的采樣值數(shù)據(jù),經(jīng)DFT/FFT得到的幅值、頻率及相角數(shù)據(jù)要少很多。近幾十年來,隨著小波變換的提出與推廣[2],離散小波變換(discrete wavelet transform,DWT)在電力系統(tǒng)數(shù)據(jù)壓縮領(lǐng)域中的應(yīng)用也得到了充分的研究。文獻(xiàn)[3-12]對DWT在電力領(lǐng)域中的應(yīng)用進(jìn)行了研究。文獻(xiàn)[3]將DWT應(yīng)用于船舶電力監(jiān)控系統(tǒng)中,通過與旋轉(zhuǎn)門算法共同作用,有效減少了船舶電力監(jiān)控系統(tǒng)中的數(shù)據(jù)量。文獻(xiàn)[4]將整數(shù)小波變換與LZ77算法相結(jié)合,在整數(shù)小波變換后,通過對低頻分量采用LZ77算法進(jìn)行無損壓縮,對高頻分量采用閾值量化進(jìn)行有損壓縮,由此取得了較高的數(shù)據(jù)壓縮比率和較低的數(shù)據(jù)重構(gòu)誤差。文獻(xiàn)[5]采用二維提升格式整數(shù)小波變換,充分利用了電能質(zhì)量數(shù)據(jù)周期性和對稱性的特點(diǎn),在確保數(shù)據(jù)準(zhǔn)確性的前提下提高了數(shù)據(jù)的壓縮比。文獻(xiàn)[6]采用雙樹復(fù)小波變換,對包括電壓暫升、暫降、閃爍以及諧波等在內(nèi)的多種信號進(jìn)行了壓縮,取得了良好的壓縮效果。文獻(xiàn)[7]也利用電能質(zhì)量數(shù)據(jù)的周期性,與文獻(xiàn)[5]不同的是,文獻(xiàn)[7]不對電能質(zhì)量數(shù)據(jù)直接進(jìn)行DWT,而是先令輸入信號與參考信號進(jìn)行減法計(jì)算,通過對差值進(jìn)行DWT,以實(shí)現(xiàn)對電能質(zhì)量數(shù)據(jù)的壓縮。文獻(xiàn)[8]對小波包的子樹分解進(jìn)行研究,提出一種最優(yōu)子樹的選取方法。文獻(xiàn)[9-10]對DWT系數(shù)的編碼方法進(jìn)行研究分析,其中:文獻(xiàn)[9]將嵌入式零樹編碼應(yīng)用到電力錄波中;文獻(xiàn)[10]則通過頻譜形狀估計(jì)對熵編碼進(jìn)行優(yōu)化。文獻(xiàn)[11]結(jié)合DCT方法與DWT方法,并在DCT與DWT之前使用主成分分析技術(shù)對PMU數(shù)據(jù)進(jìn)行預(yù)處理。文獻(xiàn)[12]研究小波壓縮在電廠設(shè)備中的應(yīng)用,不再將DWT方法局限于電壓電流信號的采樣值數(shù)據(jù),擴(kuò)展了小波壓縮的應(yīng)用范圍。2006年,一種新的數(shù)據(jù)處理方法——壓縮感知(compressed sensing,CS)理論被提出[13-14],被迅速應(yīng)用于電力系統(tǒng)的數(shù)據(jù)壓縮領(lǐng)域中[15-17]。文獻(xiàn)[15]對當(dāng)前國內(nèi)外CS方法在電力系統(tǒng)中的應(yīng)用做了詳盡的綜述。文獻(xiàn)[16]將CS方法應(yīng)用于電能質(zhì)量數(shù)據(jù)的壓縮中。文獻(xiàn)[17]則更近一步,結(jié)合分布式CS和邊緣計(jì)算技術(shù)對電能質(zhì)量的數(shù)據(jù)進(jìn)行壓縮。文獻(xiàn)[18-19]分別將分形插值方法與奇異值分解方法應(yīng)用于智能電網(wǎng)的數(shù)據(jù)壓縮中,也取得較好的效果。
到目前為止,上述幾種方法尚存在著應(yīng)用范圍較窄(集中于采樣值數(shù)據(jù))、實(shí)時(shí)性較差(需要加時(shí)間窗)等問題。其中:DFT/FFT與DWT應(yīng)用于數(shù)據(jù)壓縮領(lǐng)域時(shí),壓縮過程相對復(fù)雜,耗時(shí)較長;相對于研究比較充分的DFT/FFT與DWT,CS方法應(yīng)用于電力系統(tǒng)數(shù)據(jù)壓縮時(shí)性能較差。另一方面,盡管理論上DFT/FFT與DWT、CS都可以實(shí)現(xiàn)無損數(shù)據(jù)壓縮,但在實(shí)際應(yīng)用中,采用上述方法直接進(jìn)行無損數(shù)據(jù)壓縮的壓縮性能都比較差,這主要源自于上述方法中存在的固有缺陷。由于在實(shí)際應(yīng)用中存在大量不同步采樣,DFT/FFT會受到柵欄效應(yīng)的影響。如果數(shù)據(jù)采樣不是同步采樣,DFT/FFT還會受到頻譜泄漏效應(yīng)的影響;如果采樣頻率不足,DFT/FFT還會受到頻譜混疊效應(yīng)的影響。當(dāng)前CS在電力系統(tǒng)中的應(yīng)用研究基于DFT稀疏基,因此上述3種效應(yīng)同樣會對基于CS方法的數(shù)據(jù)壓縮方案產(chǎn)生影響。而從稀疏理論的角度來看,對于大多數(shù)電力系統(tǒng)信號(采樣值數(shù)據(jù)),DFT稀疏基優(yōu)于小波稀疏基,這意味著DFT方法在理論上的性能要優(yōu)于DWT方法。
由于無損數(shù)據(jù)壓縮以及應(yīng)用在智能配電網(wǎng)數(shù)據(jù)傳輸方面的研究較少,本文針對智能配電網(wǎng)的監(jiān)測數(shù)據(jù),提出一種綜合性的無損數(shù)據(jù)壓縮方案,并對該方案進(jìn)行模擬仿真,驗(yàn)證其有效性。
圖1為將數(shù)據(jù)壓縮方案應(yīng)用于數(shù)據(jù)傳輸?shù)耐ㄓ昧鞒?,包含?shù)據(jù)壓縮、數(shù)據(jù)傳輸與數(shù)據(jù)解壓縮3個(gè)過程。通常,可將數(shù)據(jù)解壓縮過程視作數(shù)據(jù)壓縮過程的逆過程,即在設(shè)計(jì)好數(shù)據(jù)壓縮過程后,可通過對數(shù)據(jù)壓縮過程進(jìn)行逆向解析設(shè)計(jì)得到數(shù)據(jù)解壓縮過程。
圖1 數(shù)據(jù)壓縮應(yīng)用于數(shù)據(jù)傳輸?shù)耐ㄓ昧鞒蘁ig.1 General process of data compression applying to data transmission
一套完整的數(shù)據(jù)壓縮方案通常由多個(gè)不同的數(shù)據(jù)壓縮方法有機(jī)組合構(gòu)成,按照原始數(shù)據(jù)與恢復(fù)數(shù)據(jù)是否完全一致可將數(shù)據(jù)壓縮方法分為無損壓縮方法和有損壓縮方法兩類。對于無損數(shù)據(jù)壓縮方法,香農(nóng)第一定理(Shannon first coding theory)指出,任何數(shù)據(jù)模型均有一個(gè)理論上的最小編碼率,如式(1)所示:
si∈S,i=1,2,…,N.
(1)
式中:S為數(shù)據(jù)模型,該數(shù)據(jù)模型中含有N個(gè)元素,si為其中第i個(gè)元素,這里,數(shù)據(jù)模型是對實(shí)例對象抽象特征的提取與符號描述;p(si)為第i個(gè)元素在S中出現(xiàn)的概率;H(S)被稱為香農(nóng)熵,為數(shù)據(jù)模型S的最小編碼率。
香農(nóng)第一定理指出對于任何一組數(shù)據(jù)實(shí)例,其無損壓縮性能都有一個(gè)理論上的極限值。理論上的最小編碼率是十分難以達(dá)到的,但是其對于設(shè)計(jì)無損壓縮方法的指導(dǎo)意義卻是十分明確的,即數(shù)據(jù)模型的可壓縮性與數(shù)據(jù)模型的概率模型直接相關(guān)。其中,數(shù)據(jù)模型的概率模型指的是數(shù)據(jù)模型中每個(gè)元素出現(xiàn)的概率的集合。針對一組特定的數(shù)據(jù),首先建立合適的數(shù)據(jù)模型,然后通過統(tǒng)計(jì)或其他手段為數(shù)據(jù)模型建立精確或近似的概率模型,再基于概率模型為數(shù)據(jù)模型設(shè)計(jì)新的編碼模型,并用新的編碼模型取代原始的編碼模型對數(shù)據(jù)進(jìn)行編碼以實(shí)現(xiàn)無損數(shù)據(jù)壓縮,這就是設(shè)計(jì)無損壓縮方法的一般方法。這里,數(shù)據(jù)模型的編碼模型指的是數(shù)據(jù)模型中每個(gè)元素所對應(yīng)的編碼符號的集合。
典型的無損數(shù)據(jù)壓縮方法如霍夫曼編碼就體現(xiàn)了這種設(shè)計(jì)思想。常規(guī)的編碼模型會為數(shù)據(jù)模型中的每一個(gè)元素分配相同位長的編碼符號;而在霍夫曼編碼中,則會選擇為出現(xiàn)概率較大的元素分配一個(gè)位長較短的編碼符號,為出現(xiàn)概率較小的元素分配一個(gè)位長較長的編碼符號。定義壓縮比
(2)
式中:So為原始數(shù)據(jù);Sc為壓縮數(shù)據(jù)。
在智能配電網(wǎng)的監(jiān)測系統(tǒng)中,存在著各種各樣的數(shù)據(jù),每種數(shù)據(jù)有其獨(dú)特的特征與數(shù)據(jù)模型,對應(yīng)不同形式的概率模型;因此,一般來說,難以直接為智能配電網(wǎng)監(jiān)測系統(tǒng)的各種數(shù)據(jù)設(shè)計(jì)一種通用形式的編碼模型。
但智能配電網(wǎng)是一個(gè)實(shí)際的物理系統(tǒng),而物理系統(tǒng)一個(gè)顯著的特征即是其在時(shí)間與空間上的連續(xù)性。智能配電網(wǎng)監(jiān)測系統(tǒng)所監(jiān)測的大部分信號(除少數(shù)情況,如電感電壓、電容電流等)在時(shí)間與空間上都是連續(xù)的,信號在前一時(shí)刻與后一時(shí)刻的幅值、頻率、相角等各種表征數(shù)據(jù)是接近的,相近地點(diǎn)的相同類型的信號的幅值、頻率、相角等表征數(shù)據(jù)也是接近的。基于智能配電網(wǎng)監(jiān)測系統(tǒng)信號的這一特征,本文提出一種基于預(yù)測的無損數(shù)據(jù)壓縮方案,該方案為智能配電網(wǎng)的數(shù)據(jù)壓縮提供一種統(tǒng)一的處理方式(要求被壓縮數(shù)據(jù)滿足前述連續(xù)性要求),其總體框架如圖2所示。
RLE—行程編碼,run length encoding的縮寫。
如圖2所示,該無損壓縮方案由數(shù)據(jù)殘差計(jì)算單元、監(jiān)測數(shù)據(jù)預(yù)測單元、改進(jìn)的RLE單元、霍夫曼編碼單元與數(shù)據(jù)輸出單元組成。其中,數(shù)據(jù)殘差計(jì)算單元計(jì)算智能配電網(wǎng)監(jiān)測數(shù)據(jù)當(dāng)前值與預(yù)測值之間的差值;監(jiān)測數(shù)據(jù)預(yù)測單元對當(dāng)前監(jiān)測數(shù)據(jù)的取值進(jìn)行預(yù)測,以使數(shù)據(jù)殘差盡可能??;改進(jìn)的RLE單元與霍夫曼編碼單元執(zhí)行對數(shù)據(jù)的編碼壓縮;由于經(jīng)RLE后的數(shù)據(jù)經(jīng)霍夫曼編碼算法再編碼后不一定得到壓縮,數(shù)據(jù)輸出單元會對此執(zhí)行一個(gè)比較判斷,只有當(dāng)霍夫曼編碼算法確實(shí)對RLE后數(shù)據(jù)起到壓縮作用時(shí),才會輸出霍夫曼編碼后的數(shù)據(jù),否則輸出RLE后的數(shù)據(jù)。
如前所述,監(jiān)測數(shù)據(jù)預(yù)測單元對當(dāng)前監(jiān)測數(shù)據(jù)的取值進(jìn)行預(yù)測,以使數(shù)據(jù)殘差盡可能小,預(yù)測精度的高低會直接影響最終的數(shù)據(jù)壓縮效果。然而,信號數(shù)據(jù)取值的精確預(yù)測是十分困難的,通常需要結(jié)合信號的多個(gè)特征進(jìn)行,這樣不僅會大大提高本文所提無損數(shù)據(jù)壓縮方案的復(fù)雜度,也會使適用面大大縮小。鑒于以上原因,本文基于智能配電網(wǎng)監(jiān)測信號時(shí)間上的連續(xù)性對信號的取值進(jìn)行預(yù)測。
一種最為簡單也是適用面最廣的預(yù)測方法是直接采用監(jiān)測信號采樣數(shù)據(jù)的上一個(gè)取值作為參考監(jiān)測數(shù)據(jù)(本文將這種方法稱之為前值預(yù)測法),但是采用這種預(yù)測方法得到的監(jiān)測數(shù)據(jù)的預(yù)測值精度較低,僅適合某些壓縮比要求較低或者連續(xù)但不可導(dǎo)的監(jiān)測數(shù)據(jù)。為此,本文將信號在時(shí)間上的連續(xù)性要求加強(qiáng)為信號在時(shí)間上具備多階可導(dǎo)性,對于智能配電網(wǎng)的多數(shù)監(jiān)測信號,這一要求可近似滿足。
利用泰勒公式可以對在時(shí)域上多階可導(dǎo)的信號進(jìn)行預(yù)測,如式(3)所示,所采用的階數(shù)越多,預(yù)測越精確,殘差越小。
(3)
式中:f(x)為一個(gè)n階可導(dǎo)的連續(xù)函數(shù);f(n)(x0)為其在x0點(diǎn)的n階導(dǎo)數(shù);Rn(x)為余項(xiàng),即殘差。
基于綜合考慮(計(jì)算復(fù)雜度與對信號多階可導(dǎo)性的要求),本文采用2階泰勒公式對信號進(jìn)行預(yù)測(此時(shí)要求監(jiān)測信號2階可導(dǎo)):
λdn-1.
(4)
式中:s′n為信號在時(shí)刻tn的預(yù)測值;sn為信號在時(shí)刻tn的值;dn為信號在時(shí)刻tn的殘差;λ為加權(quán)參數(shù),0≤λ≤1。式(4)的最后一項(xiàng)用以模擬泰勒公式中的余項(xiàng)Rn(x)。
當(dāng)被壓縮的配電網(wǎng)監(jiān)測數(shù)據(jù)采用等間隔方法采樣時(shí),式(4)可以被簡化為
s′n=2.5sn-1-2sn-2+0.5sn-3+λdn-1.
(5)
由式(4)、(5)可知,相對于前值預(yù)測法,基于2階泰勒公式的預(yù)測法利用了更多的歷史監(jiān)測數(shù)據(jù),對監(jiān)測信號在時(shí)間上的連續(xù)性利用更充分。當(dāng)式(5)中λ=0.5或λ=0.25時(shí),式(5)的計(jì)算可以由加法器完成,而不需要乘法器的參與,此時(shí),監(jiān)測數(shù)據(jù)預(yù)測單元的計(jì)算十分簡單,計(jì)算快速且易于實(shí)現(xiàn)。
另外,數(shù)據(jù)壓縮端和數(shù)據(jù)解壓縮端皆需要進(jìn)行監(jiān)測數(shù)據(jù)的預(yù)測,壓縮端由實(shí)際數(shù)據(jù)和預(yù)測數(shù)據(jù)計(jì)算殘差數(shù)據(jù),解壓縮端由殘差數(shù)據(jù)和預(yù)測數(shù)據(jù)恢復(fù)實(shí)際數(shù)據(jù)。
數(shù)據(jù)殘差計(jì)算單元首先計(jì)算當(dāng)前監(jiān)測數(shù)據(jù)的殘差
dn=sn-s′n.
(6)
此時(shí)殘差數(shù)據(jù)仍采用原始數(shù)據(jù)的編碼模型,對應(yīng)原始數(shù)據(jù)的概率模型,然而殘差數(shù)據(jù)的數(shù)據(jù)模型/概率模型與原始數(shù)據(jù)的數(shù)據(jù)模型/概率模型并不相同,原始數(shù)據(jù)的編碼模型對于殘差數(shù)據(jù)冗余,殘差數(shù)據(jù)能夠通過設(shè)計(jì)適用于殘差數(shù)據(jù)的編碼模型來壓縮。
假設(shè)原始數(shù)據(jù)的取值范圍(即峰峰值)映射到了取值區(qū)間的上下限(即編碼符號的每一位都被實(shí)際使用),經(jīng)過殘差計(jì)算,殘差數(shù)據(jù)的取值范圍大幅減小,對應(yīng)于概率模型,即在原始數(shù)據(jù)模型中大部分幅值較大的元素,現(xiàn)在其出現(xiàn)概率變?yōu)?,或者出現(xiàn)概率變得極其小,而幅值較小的元素的出現(xiàn)概率則大幅提升。如前文中舉例所提到的霍夫曼編碼方法,對于出現(xiàn)概率為0的元素,可以不對其進(jìn)行編碼,對于出現(xiàn)概率較小的元素,可以為其分配一個(gè)位長較長的編碼符號,對于出現(xiàn)概率較大的元素,可以為其分配一個(gè)位長較短的編碼符號,由此實(shí)現(xiàn)數(shù)據(jù)的壓縮。
為了進(jìn)一步提高編碼效率,在進(jìn)行霍夫曼編碼之前,先對殘差數(shù)據(jù)進(jìn)行RLE以獲得更高的壓縮性能。注意到經(jīng)過殘差計(jì)算,智能配電網(wǎng)的監(jiān)測數(shù)據(jù)不僅沒有被壓縮,反而為每個(gè)數(shù)據(jù)增加了一個(gè)符號位。另一方面,由于預(yù)測不可能完全精確,殘差數(shù)據(jù)將在一定范圍(0值附近)內(nèi)反復(fù)波動。這一結(jié)果致使對殘差數(shù)據(jù)直接進(jìn)行RLE時(shí),效率會十分低下,因?yàn)楸M管殘差數(shù)據(jù)的重復(fù)概率大幅提升,但是殘差數(shù)據(jù)并沒有表現(xiàn)出連續(xù)重復(fù)的特性,而RLE要求數(shù)據(jù)連續(xù)重復(fù)。因此,需要對殘差數(shù)據(jù)進(jìn)行處理以將殘差數(shù)據(jù)的重復(fù)性增強(qiáng)為連續(xù)重復(fù)性。
對殘差數(shù)據(jù)的處理方法源自于圖像的位平面編碼方法,如圖3、圖4所示。圖3中,每行代表1個(gè)數(shù)據(jù),共有16個(gè)數(shù)據(jù)(16行),每個(gè)數(shù)據(jù)占用2個(gè)字節(jié),加上1個(gè)符號位,一共17位。
圖3 原始數(shù)據(jù)的二進(jìn)制排列方式Fig.3 Binary arrangement of original data
對圖3中的數(shù)據(jù)進(jìn)行重排序(類似于矩陣中的轉(zhuǎn)置操作),得到圖4中的數(shù)據(jù)。在圖4中,按照從左到右、從上到下的順序,每8位視為1個(gè)新數(shù)據(jù),合計(jì)34個(gè)數(shù)據(jù)。可以發(fā)現(xiàn),圖4中的每行的數(shù)據(jù)皆來自于原始數(shù)據(jù)的對應(yīng)的各個(gè)位,如圖4中第1行的2個(gè)數(shù)據(jù)由原始各個(gè)數(shù)據(jù)的第15位按順序排列而成。
圖4 重排序后的數(shù)據(jù)的二進(jìn)制排列方式Fig.4 Binary arrangement of reordered data
回憶殘差計(jì)算結(jié)果,取值較大的數(shù)據(jù)大幅減少,數(shù)據(jù)集中在0值附近,這一結(jié)果表明,殘差數(shù)據(jù)的高位存在有大量的0,經(jīng)過重排序操作,這些高位0被集合到一起,構(gòu)成了大量新的值為0的數(shù)據(jù),這些0值數(shù)據(jù)連續(xù)重復(fù)。當(dāng)預(yù)測越精確時(shí),0值數(shù)據(jù)越多;當(dāng)預(yù)測的一致性越好時(shí)(即殘差數(shù)據(jù)波動平緩),低位數(shù)據(jù)位的一致性越好(即相鄰的殘差數(shù)據(jù)的同一低位數(shù)據(jù)位傾向于同時(shí)為0或同時(shí)為1,最低位除外),由低位數(shù)據(jù)位重構(gòu)成的數(shù)據(jù)的連續(xù)重復(fù)性越好。
殘差數(shù)據(jù)單元輸出重排序后的數(shù)據(jù)給改進(jìn)的RLE單元,注意此時(shí)的數(shù)據(jù)的概率模型已經(jīng)完全不同于原始智能配電網(wǎng)監(jiān)測數(shù)據(jù)的概率模型。
如前所述,殘差計(jì)算并不會對數(shù)據(jù)起到壓縮作用,采用位平面方法的重排序操作也不會壓縮數(shù)據(jù),真正對數(shù)據(jù)進(jìn)行壓縮的是改進(jìn)的RLE和其后的霍夫曼編碼。
RLE是微軟公司為AVI格式設(shè)計(jì)的一種編碼方法,其基本原理是使用“數(shù)據(jù)長度+數(shù)據(jù)”的組合替代連續(xù)重復(fù)的數(shù)據(jù);當(dāng)原始數(shù)據(jù)中存在大量連續(xù)重復(fù)的數(shù)據(jù)時(shí),使用該方法能有效減少數(shù)據(jù)存儲所需的空間。原始RLE的缺點(diǎn)十分明顯,對于連續(xù)重復(fù)性較差的數(shù)據(jù),使用該方法不僅不能壓縮數(shù)據(jù),反而會使數(shù)據(jù)的體積膨脹。另外,在原始的RLE中,數(shù)據(jù)長度所占用的位數(shù)固定,其所能編碼的連續(xù)重復(fù)數(shù)據(jù)的長度存在最大值;當(dāng)連續(xù)重復(fù)數(shù)據(jù)的長度超過該值時(shí),就只能視為2段不同的連續(xù)重復(fù)數(shù)據(jù),這顯著降低了RLE的效率,尤其是在存在超長長度的連續(xù)重復(fù)數(shù)據(jù)時(shí)。因此,針對本文所述的場合,必須對RLE進(jìn)行改進(jìn)以提高性能。
本文對RLE的改進(jìn)如下:
a)定義3個(gè)及以上連續(xù)且重復(fù)出現(xiàn)的字節(jié)為連續(xù)重復(fù)字節(jié)。
b)除連續(xù)重復(fù)字節(jié)的情況外,任意字節(jié)皆為連續(xù)非重復(fù)字節(jié)。
c)定義數(shù)據(jù)控制信息字節(jié)與數(shù)據(jù)值字節(jié)。數(shù)據(jù)控制信息字節(jié)的最高位表示數(shù)據(jù)為連續(xù)重復(fù)字節(jié)或連續(xù)非重復(fù)字節(jié);次高位表示是否擴(kuò)展數(shù)據(jù)控制信息字節(jié),若不擴(kuò)展,則數(shù)據(jù)控制信息字節(jié)為1個(gè)字節(jié),若擴(kuò)展,則數(shù)據(jù)控制信息字節(jié)的低6位表示擴(kuò)展字節(jié)數(shù)。
d)定義RLE的格式為數(shù)據(jù)控制信息字節(jié)在前,數(shù)據(jù)值字節(jié)在后,即每組數(shù)據(jù)控制信息字節(jié)后必然跟隨一組數(shù)據(jù)值字節(jié)。
e)當(dāng)連續(xù)重復(fù)字節(jié)或連續(xù)非重復(fù)字節(jié)的連續(xù)長度小于或等于64時(shí),數(shù)據(jù)控制信息字節(jié)不擴(kuò)展,長度為1,且低6位表示連續(xù)重復(fù)字節(jié)或連續(xù)非重復(fù)字節(jié)的連續(xù)長度;當(dāng)連續(xù)重復(fù)字節(jié)或連續(xù)非重復(fù)字節(jié)的連續(xù)長度大于64時(shí),數(shù)據(jù)控制信息字節(jié)擴(kuò)展,其后擴(kuò)展的字節(jié)表示連續(xù)重復(fù)字節(jié)或連續(xù)非重復(fù)字節(jié)的連續(xù)長度。
f)當(dāng)出現(xiàn)連續(xù)重復(fù)字節(jié)時(shí),數(shù)據(jù)控制信息字節(jié)后只跟隨1個(gè)數(shù)據(jù)值字節(jié),數(shù)據(jù)值為連續(xù)重復(fù)字節(jié)的值;當(dāng)出現(xiàn)連續(xù)非重復(fù)字節(jié)時(shí),數(shù)據(jù)控制信息字節(jié)后跟隨長度為數(shù)據(jù)控制信息字節(jié)所指示長度的數(shù)據(jù)值字節(jié),即為對應(yīng)的連續(xù)非重復(fù)字節(jié)。
經(jīng)過上述改進(jìn),原始RLE的缺點(diǎn)得到有效改正。針對大量連續(xù)非重復(fù)數(shù)據(jù),僅為這些連續(xù)非重復(fù)的數(shù)據(jù)附加一組控制數(shù)據(jù),數(shù)據(jù)膨脹問題得到有效控制。即使對于改進(jìn)的RLE而言最差的數(shù)據(jù)類型,這類數(shù)據(jù)的壓縮比為68/69,遠(yuǎn)優(yōu)于原始RLE的最差壓縮比2。而對于其他情況,改進(jìn)的RLE也具有更加優(yōu)秀的性能。由于控制字節(jié)長度可以自由擴(kuò)展,原始RLE的最大長度限制被解除。對于智能配電網(wǎng)的監(jiān)測系統(tǒng),由于其殘差數(shù)據(jù)的取值范圍要遠(yuǎn)小于原始監(jiān)測數(shù)據(jù)的取值范圍,經(jīng)重排序后,出現(xiàn)大量連續(xù)重復(fù)的0值數(shù)據(jù),采用改進(jìn)的RLE,可以顯著壓縮數(shù)據(jù)容量。
經(jīng)改進(jìn)的RLE單元編碼后的數(shù)據(jù)會被霍夫曼編碼單元再次編碼。兩者結(jié)果取優(yōu),可實(shí)現(xiàn)數(shù)據(jù)進(jìn)一步壓縮。
本文分別對所提智能配電網(wǎng)監(jiān)測數(shù)據(jù)的預(yù)測方法與基于預(yù)測的無損數(shù)據(jù)壓縮方案進(jìn)行仿真驗(yàn)證,以證明預(yù)測方法與壓縮方案皆行之有效。
首先對本文所提智能配電網(wǎng)監(jiān)測數(shù)據(jù)的預(yù)測方法進(jìn)行仿真,測試信號由式(7)生成,類型為模擬智能配電網(wǎng)監(jiān)測系統(tǒng)中的采樣值數(shù)據(jù)。
sn=2cos(99πknTs)+
0.4cos(200.6πknTs+π/3)+
0.4cos(401.4πknTs+2π/3)+
0.2cos(807.4πknTs+π).
(7)
式中:kn為采樣序列;sn為kn時(shí)的采樣值數(shù)據(jù);Ts為采樣間隔(0.25 ms)。
仿真結(jié)果如圖5所示,仿真中采用了2種方法對模擬的智能配電網(wǎng)采樣值監(jiān)測數(shù)據(jù)進(jìn)行預(yù)測以作對比。第1種方法為前值預(yù)測法;第2種方法為本文所提基于2階泰勒公式的預(yù)測方法,其中λ=0.5。由圖5可知:從波形上看,2種方法預(yù)測的結(jié)果都十分接近原始信號;相對于原始信號數(shù)據(jù)的取值,2種方法的殘差數(shù)據(jù)的取值都大幅減小。這一結(jié)果為本文所提的無損數(shù)據(jù)壓縮方案奠定了壓縮的基礎(chǔ)。本文所提基于2階泰勒公式的預(yù)測方法的預(yù)測效果要遠(yuǎn)好于前值預(yù)測法,基于2階泰勒公式的預(yù)測方法不僅在預(yù)測精度上遠(yuǎn)超過前值預(yù)測法,在一致性上也表現(xiàn)良好,殘差數(shù)據(jù)波動平緩,十分適合本文所提改進(jìn)的RLE算法。
模擬的采樣值數(shù)據(jù)在過0點(diǎn)時(shí)的取值可能會小于對應(yīng)的殘差數(shù)據(jù)的取值,定義預(yù)測數(shù)據(jù)的平均殘差比
(8)
式中Ra為平均殘差比。圖5中,前值預(yù)測法的平均殘差比為0.009 8,基于2階泰勒公式的預(yù)測法的平均殘差比為0.002 6,基于2階泰勒公式的預(yù)測法的精度約是前值預(yù)測法的4倍。
圖5 智能配電網(wǎng)監(jiān)測系統(tǒng)數(shù)據(jù)預(yù)測方法的仿真結(jié)果Fig.5 Simulation results of data prediction methods for monitoring system of smart grid
為了更加直觀地論證本文所提基于預(yù)測的無損壓縮方案的有效性,接下來,通過對一組仿真數(shù)據(jù)的實(shí)際壓縮過程來驗(yàn)證。
表1是一組由仿真得到的智能配電網(wǎng)監(jiān)測系統(tǒng)的采樣值仿真數(shù)據(jù),已經(jīng)預(yù)先通過預(yù)測得到了其監(jiān)測數(shù)據(jù)的預(yù)測值,這組數(shù)據(jù)一共包含16個(gè)監(jiān)測點(diǎn),采樣精度為16位,采樣值數(shù)據(jù)占用2個(gè)字節(jié),用十六進(jìn)制表示。表1第4列為計(jì)算得到的殘差數(shù)據(jù),用二進(jìn)制表示。對殘差數(shù)據(jù)進(jìn)行重排序操作,得到重排序后的數(shù)據(jù),見表2,同樣采樣二進(jìn)制表示。表1殘差值的行等于表2的列,這就是重排序操作的本質(zhì)。
表1 智能配電網(wǎng)監(jiān)測系統(tǒng)的采樣值仿真數(shù)據(jù)Tab.1 Simulation data of sampling values for monitoring system of smart grid
表2 重排序后的表1數(shù)據(jù)Tab.2 Reordered data of Table 1
將重排序后的數(shù)據(jù)1個(gè)字節(jié)視為1個(gè)數(shù)據(jù),共計(jì)34個(gè)數(shù)據(jù),依次為00 00 00 00 00 00 00 00 00 00 00 00 FF FF 3C 80 03 FE DF 43 A2 A0 B3 E0 0E 62 5B 9F 17 C3 AA 8B FF FF。對其執(zhí)行改進(jìn)的RLE,得到最終輸出的壓縮數(shù)據(jù)8C 00 16 FF FF 3C 80 03 FE DF 43 A2 A0 B3 E0 0E 62 5B 9F 17 C3 AA 8B FF FF共計(jì)25個(gè)字節(jié),較原數(shù)據(jù)32個(gè)字節(jié)減少了7個(gè)字節(jié),實(shí)現(xiàn)了數(shù)據(jù)壓縮,壓縮比為32/25。
由于本仿真實(shí)驗(yàn)的數(shù)據(jù)量較小(仿真中僅含16個(gè)監(jiān)測點(diǎn)),執(zhí)行霍夫曼編碼不能帶來壓縮比的提升,因此在本仿真中經(jīng)改進(jìn)的RLE輸出的數(shù)據(jù)即為最終壓縮數(shù)據(jù)。實(shí)際上,被壓縮的智能配電網(wǎng)監(jiān)測系統(tǒng)的數(shù)據(jù)量越大,壓縮效果越好。即使是在較少的數(shù)據(jù)時(shí),如本文中的仿真案例,數(shù)據(jù)也被壓縮減少了近1/4,因此本文所提基于預(yù)測的無損數(shù)據(jù)壓縮方案的有效性是毋庸置疑的。
另外,本仿真是對不同監(jiān)測點(diǎn)同一時(shí)刻的數(shù)據(jù)進(jìn)行壓縮仿真,這意味著本文所提壓縮方案在理論上的實(shí)時(shí)性可以達(dá)到每采樣1次即壓縮1次的速度,實(shí)時(shí)性遠(yuǎn)超必須添加時(shí)間窗的DFT/FFT與DWT、CS。這里,本文所提壓縮方法用到了智能配電網(wǎng)監(jiān)測系統(tǒng)中信號在時(shí)間上的連續(xù)性,其本質(zhì)是要求各個(gè)監(jiān)測點(diǎn)的信號具有相同的采樣精度,而這一要求,在智能配電網(wǎng)的監(jiān)測系統(tǒng)中十分容易達(dá)到。
針對智能配電網(wǎng)中的海量數(shù)據(jù)傳輸問題,本文提出對智能配電網(wǎng)的數(shù)據(jù)進(jìn)行壓縮再傳輸?shù)慕鉀Q方法。為實(shí)現(xiàn)這一方法,設(shè)計(jì)一種基于預(yù)測的無損數(shù)據(jù)壓縮方案,該方案采用基于2階泰勒公式的預(yù)測方法。通過與前值預(yù)測法的對比以及仿真實(shí)例,驗(yàn)證了所提無損數(shù)據(jù)壓縮方案的有效性與優(yōu)越性。所提方案具有傳統(tǒng)的DFT/FFT和近幾十年來發(fā)展起來的DWT與最新的CS所不具備的高實(shí)時(shí)性,十分適合于數(shù)據(jù)傳輸過程中的壓縮再傳輸。另外,本文所提方案還具有較強(qiáng)的適應(yīng)性,可以用于多種智能配電網(wǎng)監(jiān)測數(shù)據(jù)的壓縮傳輸,適用面廣,壓縮性能也十分優(yōu)秀,具有極高的實(shí)用價(jià)值。