顧 濤

(華北科技學(xué)院 計(jì)算機(jī)學(xué)院，河北 燕郊 065201)

0 引 言

數(shù)據(jù)壓縮是海量數(shù)據(jù)監(jiān)控領(lǐng)域中經(jīng)常要面對(duì)的問題。對(duì)于10 KV架空線路系統(tǒng)，其對(duì)地電場監(jiān)測數(shù)據(jù)的保存是供電單位電能質(zhì)量數(shù)據(jù)必須要保存的數(shù)據(jù)之一。分析已監(jiān)測到的對(duì)地電場歷史數(shù)據(jù)，可以得出結(jié)論，當(dāng)線路正常時(shí)，其值在±15%范圍內(nèi)波動(dòng)。當(dāng)故障發(fā)生時(shí)，其值會(huì)劇烈波動(dòng)，波動(dòng)范圍一般大于75%-95%以上。這樣數(shù)據(jù)特征就比較符合利用有損壓縮算法對(duì)數(shù)據(jù)進(jìn)行高壓縮比壓縮，因?yàn)閿?shù)據(jù)恢復(fù)后，其顯著的變化特征不會(huì)丟失。對(duì)于電力領(lǐng)域內(nèi)比較著名的數(shù)據(jù)壓縮算法是以色列的PQZIP壓縮軟件采用的快速FFT壓縮算法。該軟件利用FFT技術(shù)實(shí)現(xiàn)對(duì)正弦波高速采樣數(shù)據(jù)的壓縮，最大壓縮比可以達(dá)到1000∶1。這種基于FFT壓縮算法是有損壓縮技術(shù)，特別適合被壓縮對(duì)象是正弦變化的波形。但對(duì)于對(duì)地電場監(jiān)測值，由于是定期采樣獲得的有效值，其值變化受各種因素影響，不是正弦變化。因此，針對(duì)對(duì)地電場值高壓縮比存儲(chǔ)，需要研究其它壓縮算法。近年來提出的壓縮感知[1-5]算法已用在電能質(zhì)量數(shù)據(jù)存儲(chǔ)中，但該算法之核心還是用到DFT技術(shù)。考慮對(duì)于圖像數(shù)據(jù)處理，利用二維DCT變換和二維小波分解變換可以有效的對(duì)圖像進(jìn)行壓縮編碼。二維DCT變換可以將變換后的數(shù)據(jù)非常有效地集中到矩陣左上角區(qū)域，但對(duì)于圖像分塊邊緣效應(yīng)比較明顯，這是其缺點(diǎn)所在。圖像在經(jīng)過二維小波變換后，分解后的系數(shù)在低頻系數(shù)矩陣、垂直系數(shù)矩陣、水平系數(shù)矩陣、對(duì)角系數(shù)矩陣中得到集中和重新分配，只要對(duì)分解后系數(shù)進(jìn)行硬閾值處理，就可以有效壓縮圖像數(shù)據(jù)。受二維DCT和二維小波變換對(duì)圖像高效率壓縮啟發(fā)，本文將采樣得到的一維電場數(shù)據(jù)按照行順序排列，先構(gòu)造成128×128數(shù)據(jù)塊，對(duì)構(gòu)造的數(shù)據(jù)塊做二維haar小波提升分解，再利用二維DCT變換，對(duì)小波分解系數(shù)做二次變換。通過構(gòu)造二維系數(shù)篩選矩陣對(duì)DCT系數(shù)和小波系數(shù)進(jìn)行篩選取舍。對(duì)篩選到的系數(shù)再進(jìn)行一維小波變換編碼，最后實(shí)現(xiàn)對(duì)原始一維數(shù)據(jù)高壓縮比壓縮。該算法實(shí)質(zhì)是利用DCT變換進(jìn)行二次系數(shù)集中，通過mask稀疏矩陣對(duì)系數(shù)軟閾值化處理，再對(duì)所選系數(shù)進(jìn)行一維小波變換編碼。雖然用到二維DCT對(duì)小波分解塊系數(shù)做變換，但該算法并不存在邊緣效應(yīng)。實(shí)驗(yàn)結(jié)果表明，采用該算法，對(duì)于正常波動(dòng)的對(duì)地電場數(shù)據(jù)壓縮，壓縮比可以達(dá)到1024∶1，數(shù)據(jù)恢復(fù)后誤差控制在8.7743%-0%。提高數(shù)據(jù)塊編碼尺度大小，在保證一定數(shù)據(jù)質(zhì)量的情況下，壓縮比還可以提高到2048∶1。

1 二維haar小波提升與二維DCT變換

Daubechies等系統(tǒng)地證明了所有小波變換都可以通過分解、預(yù)測、更新和尺度縮放4步提升實(shí)現(xiàn)[6]，使一度深?yuàn)W的小波變換得到簡化，極大地促進(jìn)了小波理論應(yīng)用[7-11]。

1.1 haar小波提升變換

利用Z變換技術(shù)，先對(duì)小波濾波器進(jìn)行變換并將奇偶系數(shù)分開重組，然后再使用Euclidean算法分解，小波變換多相位矩陣P(z)最終可以用式(1)表示為

(1)

(2)

(3)

原始信號(hào)才能在分解后得到完美重構(gòu)。

式(1)給出小波提升過程可以分為4個(gè)步驟即分解、預(yù)測、更新和尺度縮放。重構(gòu)過程正好是其反過程。本算法使用haar小波對(duì)構(gòu)造出的數(shù)據(jù)方陣做二維小波提升變換，haar小波4個(gè)濾波器分別為：

(4)

對(duì)偶多相位矩陣為

(5)

因此，haar提升過程就可以用式(6)到式(9)表示(設(shè)x是待分解信號(hào)，dl和sl分別是小波分解后的高頻系數(shù)和低頻系數(shù))

(6)

(7)

(8)

(9)

根據(jù)前向提升公式，可以求出逆變換公式如下

(10)

(11)

(12)

(13)

利用haar小波對(duì)所構(gòu)造的數(shù)據(jù)塊做提升變換時(shí)，先對(duì)每行進(jìn)行一維提升變換，然后對(duì)中間變換結(jié)果的每列再做一維提升變換，由此得到數(shù)據(jù)塊二維提升變換。同樣，可以利用haar逆變換公式求取二維逆提升變換結(jié)果。

1.2 二維DCT變換

本文利用64×64二維DCT變換矩陣，將二維小波變換結(jié)果再做進(jìn)一步變換，使變換后數(shù)據(jù)進(jìn)一步集中在左上角，利于后續(xù)數(shù)據(jù)處理。

64×64二維DCT變換和逆變換分別定義為式(14)、式(15)表示，設(shè)Amn為待變換的數(shù)據(jù)方陣，Bpq為變換后的方陣，則有二維DCT正變換

(14)

逆變換為

(15)

從式(14)、式(15)可知，DCT變換和IDCT變換具有線性可加性和變換核可分離性，均可以通過一維DCT、IDCT變換實(shí)現(xiàn)。

2 數(shù)據(jù)壓縮算法

2.1 壓縮步驟

10KV架空線路對(duì)地電場數(shù)據(jù)是分析接地故障重要參數(shù)之一，需要長期對(duì)其保存，供故障追溯使用。架空線路監(jiān)測點(diǎn)眾多，數(shù)據(jù)量大，需要對(duì)上傳數(shù)據(jù)進(jìn)行壓縮保存。圖1給出對(duì)地電場數(shù)據(jù)壓縮具體實(shí)現(xiàn)步驟。第一步，先將獲取的監(jiān)測數(shù)據(jù)序列構(gòu)造成128×128二維數(shù)據(jù)方陣A。第二步，對(duì)方陣A做二維haar提升小波變換(LWT2)，得到矩陣B。數(shù)據(jù)方陣A變換后能量重新分配在低頻系數(shù)ca1矩陣、垂直系數(shù)cv1矩陣、水平系數(shù)ch1矩陣、對(duì)角系數(shù)cd1矩陣中，有利于下一步DCT變換進(jìn)一步能量集中。每個(gè)小波系數(shù)矩陣行列數(shù)目均是原來數(shù)據(jù)矩陣的一半。第三步，將ca1、cv1、ch1、cd1再構(gòu)造成一個(gè)128×128方陣B，再利用64×64DCT變換核，對(duì)新構(gòu)造的矩陣B變換。變換后的ca1_dct2、cv1_dct2、ch1_dct2、cd1_dct2矩陣能量最后主要集中在左上角。第四步，構(gòu)造MASKC64X64稀疏矩陣，對(duì)dct變換系數(shù)矩陣C進(jìn)行篩選，獲取篩選結(jié)果矩陣D。構(gòu)造MASKC64X64矩陣時(shí)，突出篩選出能量大的和決定頻率變化的數(shù)據(jù)，篩選方法是將一行數(shù)據(jù)排序，取一行中前a個(gè)最大值和后a個(gè)最小值，a和壓縮比有關(guān)。第五步，對(duì)矩陣D非零數(shù)據(jù)重新排列成一維數(shù)組，利用一維haar小波提升變換和軟閾值處理，進(jìn)一步將數(shù)據(jù)壓縮，最后獲取部分壓縮數(shù)據(jù)DATA1，壓縮信息中不含位置信息，其元素位置信息由MASK稀疏矩陣中1的元素位置決定。

圖1 一維采樣數(shù)據(jù)壓縮步驟

第六步，對(duì)DATA1解碼，做二維DCT逆變換，得到矩陣E，此矩陣是矩陣B的近似矩陣。第七步，構(gòu)造小波系數(shù)誤差矩陣F，令F=B-E。第八步，對(duì)誤差矩陣F做DCT2變換，得到矩陣G。第九步，構(gòu)造MASKG64X64稀疏矩陣，對(duì)矩陣G系數(shù)篩選，得到矩陣H。第十步，利用一維haar小波提升變換和軟閾值處理方法，將矩陣H非零元素壓縮成數(shù)據(jù)DATA2。

第十一步，對(duì)誤差矩陣F做LWT2變換，得到矩陣I。第十二步，構(gòu)造MASKI64X64稀疏矩陣，對(duì)矩陣I系數(shù)篩選，得到矩陣J。第十三步，利用一維haar小波提升變換和軟閾值處理方法，將矩陣J非零元素壓縮成數(shù)據(jù)DATA3。

2.2 壓縮誤差系數(shù)修正

DATA1、DATA2、DATA3即是原來一維數(shù)據(jù)經(jīng)過各種變換壓縮的結(jié)果。從圖1中，我們可以知道，小波系數(shù)矩陣B是矩陣E與矩陣F之和。要想理想恢復(fù)原壓縮數(shù)據(jù)，需要將誤差矩陣F求的精確。令

B=E+F

(16)

其中，E=IDCT2(ILWT(DATA1))。

同時(shí)，令

F=α(IDCT2(ILWT(DATA2)))+β(ILWT2(ILWT(DATA3)))

(17)

其中，稱α為DCT誤差系數(shù)調(diào)整因子，β為小波誤差系數(shù)調(diào)整因子。壓縮數(shù)據(jù)越少，壓縮比越大，α、β越大，反之亦然。數(shù)據(jù)實(shí)驗(yàn)表明，α在0～3.5之間，β在0～1.5之間恢復(fù)出的數(shù)據(jù)比較理想。

B=IDCT2(ILWT(DATA1))+α(IDCT2(ILWT(DATA2)))+β(ILWT2(ILWT(DATA3)))

(18)

壓縮數(shù)據(jù)時(shí)，提供給用戶可調(diào)參數(shù)有壓縮比。α、β參數(shù)根據(jù)壓縮比，壓縮算法自己計(jì)算其值。當(dāng)用戶調(diào)整好壓縮比參數(shù)后，根據(jù)壓縮比，可以計(jì)算出矩陣E、矩陣H、矩陣J中總共要保留多少參數(shù)，假設(shè)為L。按照矩陣E保留4個(gè)，矩陣H保留(L-4)/2個(gè)，剩下為矩陣J的。根據(jù)提前設(shè)定好的α、β值范圍，當(dāng)選定一組，做逆變換，求取最大誤差，若誤差滿足要求，該組α、β值就是選定的值。若誤差不滿足，繼續(xù)調(diào)整α、β值再計(jì)算，反復(fù)修訂后，α、β值可以求出。整個(gè)算法中，當(dāng)壓縮比確定后，就可以確定每個(gè)矩陣分配多少個(gè)保留系數(shù)，由此就可以分配每行保留幾個(gè)數(shù)據(jù)。3個(gè)MASK稀疏矩陣按左上角第一行第一個(gè)元素開始設(shè)置為1，該數(shù)據(jù)必須保留，其它元素初始化均為0。每行設(shè)置個(gè)數(shù)不超過行總數(shù)目的1/4(16個(gè))，具體個(gè)數(shù)由壓縮比計(jì)算決定。保留的數(shù)據(jù)要突出能量大的和影響頻率的數(shù)據(jù)(極小、極大數(shù)據(jù))，系數(shù)篩選規(guī)制按2.1節(jié)介紹內(nèi)容進(jìn)行。第一行設(shè)置完畢后，開始設(shè)置第二行，以此類推，對(duì)于DCT2系數(shù)篩選，第一行數(shù)據(jù)重要性遠(yuǎn)遠(yuǎn)高于第二行數(shù)據(jù)，一般設(shè)置兩行即可。

3 壓縮數(shù)據(jù)分析

任意取現(xiàn)場采集到的電場數(shù)據(jù)做第二節(jié)算法描述的數(shù)據(jù)壓縮過程，考察在不同壓縮比下數(shù)據(jù)解壓縮后百分比誤差范圍，以檢驗(yàn)壓縮算法是否滿足現(xiàn)場技術(shù)指標(biāo)要求。表1中給出了5組實(shí)驗(yàn)數(shù)據(jù)，說明了本算法的有效性。圖2到圖6對(duì)比了不同壓縮比下數(shù)據(jù)恢復(fù)曲線與原曲線波形差異，壓縮比越高，數(shù)據(jù)波形失真越大。

表1 不同壓縮比、α、β，對(duì)應(yīng)不同恢復(fù)百分比誤差

注：表中壓縮比定義為原始數(shù)據(jù)長度/壓縮后數(shù)據(jù)長度。同時(shí)采用百分比誤差范圍和百分比誤差占比兩個(gè)指標(biāo)考察壓縮效果，以對(duì)應(yīng)對(duì)地電場技術(shù)指標(biāo)誤差范圍±10%要求。

圖2 lwt2(F)變換壓縮后恢復(fù)曲線

圖3 dct2(F)變換壓縮后恢復(fù)曲線

圖4 lwt2(F)和dct2(F)變換壓縮后修正數(shù)據(jù)恢復(fù)曲線(壓縮比585.4∶1)

圖5 lwt2(F)和dct2(F)變換壓縮后修正數(shù)據(jù)恢復(fù)曲線(壓縮比442.8∶1)

圖6 lwt2(F)和dct2(F)變換壓縮后修正數(shù)據(jù)恢復(fù)曲線(壓縮比291.2∶1)

表1實(shí)驗(yàn)數(shù)據(jù)說明，隨著壓縮比降低，解壓縮后數(shù)據(jù)百分比誤差小于5%的數(shù)據(jù)占比提高，數(shù)據(jù)精度提高。不同壓縮比下，數(shù)據(jù)恢復(fù)最大百分比誤差小于10%，符合現(xiàn)場對(duì)地電場技術(shù)指標(biāo)誤差范圍±10%要求。雖然不同壓縮比下，賦范均方誤差相差不大，但百分比誤差<5%占比相差很大，說明本文所提指標(biāo)更能刻畫數(shù)據(jù)解壓縮失真情況，從波形對(duì)比上看百分比誤差占比指標(biāo)更符合直觀感受。表1中所有壓縮實(shí)驗(yàn)結(jié)果，前提是只取了系數(shù)矩陣C中4個(gè)數(shù)據(jù)做IDCT2，其結(jié)果作為近似矩陣E，即矩陣C中每一個(gè)64×64子矩陣左上角第一行第一列之元素，可見局部壓縮比高達(dá)4096∶1。

圖2至圖6說明，lwt2(F)變換后壓縮的數(shù)據(jù)DATA3在數(shù)據(jù)恢復(fù)時(shí)，是對(duì)dct2(F)變換后壓縮數(shù)據(jù)DATA2的有益補(bǔ)充，可以有效恢復(fù)數(shù)據(jù)曲線細(xì)節(jié)。在壓縮比確定后，根據(jù)百分比誤差率設(shè)置，α、β值就可以計(jì)算確定出來。圖中同時(shí)給出了不同壓縮比下，α、β不同取值條件下所對(duì)應(yīng)的解壓縮波形與原始數(shù)據(jù)波形對(duì)比。

文獻(xiàn)[1-5]算法核心都是采用DFT變換，然后構(gòu)造稀疏矩陣進(jìn)行壓縮。經(jīng)過壓縮算法比較換算后，文獻(xiàn)[1]壓縮比約為168∶1，文獻(xiàn)[2]壓縮比約為5.06∶1，文獻(xiàn)[3]壓縮比約為34.13∶1，文獻(xiàn)[4]壓縮比約為11∶1，文獻(xiàn)[5]壓縮比約為13.2∶1。與文獻(xiàn)[1-5]相比，本算法綜合壓縮比性能更高。

進(jìn)一步理論分析和計(jì)算表明，當(dāng)矩陣D取4個(gè)數(shù)據(jù)，矩陣G取40個(gè)數(shù)據(jù)，矩陣I取64×16個(gè)數(shù)據(jù)，對(duì)于任意對(duì)地電場128×128數(shù)據(jù)塊，此時(shí)壓縮比在15.34∶1左右，壓縮數(shù)據(jù)即可得到較完美恢復(fù)。與PQZIP壓縮正弦信號(hào)相比，該算法能提供非正弦信號(hào)高壓縮比壓縮。本算法性能在matlab R2016b平臺(tái)編程得到驗(yàn)證。α、β參數(shù)設(shè)置由壓縮比確定后，壓縮算法根據(jù)誤差率自適應(yīng)計(jì)算其值。

4 結(jié)束語

提出采用二維小波提升-DCT變換算法壓縮對(duì)地電場采樣值，并構(gòu)造誤差系數(shù)矩陣F，利用不同壓縮比下調(diào)整α、β因子，以提高數(shù)據(jù)解壓縮恢復(fù)效果。數(shù)據(jù)壓縮實(shí)驗(yàn)分析表明，采用本算法能夠?qū)崿F(xiàn)對(duì)地電場數(shù)據(jù)的高壓縮存儲(chǔ)，數(shù)據(jù)解壓縮最大百分比誤差滿足現(xiàn)場技術(shù)指標(biāo)要求。算法適合非正弦信號(hào)數(shù)據(jù)壓縮，使用范圍更廣。算法壓縮比高于基于壓縮感知算法的數(shù)據(jù)壓縮技術(shù)。