候志立

（積成電子股份有限公司，山東 濟南 250100）

一種基于用電信息采集終端的曲線數(shù)據(jù)存儲方案

候志立

（積成電子股份有限公司，山東 濟南 250100）

本文提出一種多個索引文件共享一個數(shù)據(jù)文件的存儲方案，來對測量點信息和曲線數(shù)據(jù)進行統(tǒng)一管理和有效定位，降低了存儲設(shè)備操作次數(shù)；采用文件大小虛擬定位技術(shù)針對回向校時提出了合理化解決方案；在索引文件MAP信息中增加曲線數(shù)據(jù)實際位置轉(zhuǎn)換系數(shù)優(yōu)化了曲線數(shù)據(jù)周期性裁剪。

用電信息；采集終端；曲線數(shù)據(jù)；方案

一、技術(shù)領(lǐng)域

本存儲方案涉及智能電網(wǎng)用電信息采集系統(tǒng)領(lǐng)域，特別涉及一種基于用電信息采集終端的曲線數(shù)據(jù)存儲方案。

二、背景技術(shù)

電力用戶用電信息采集系統(tǒng)（power user electric energy data acquire system）是對電力用戶的用電信息進行采集、處理和實時監(jiān)控的系統(tǒng)，用電信息采集終端（electric energy data acquire terminal）是對各信息采集點用電信息采集的設(shè)備，可實現(xiàn)電能表數(shù)據(jù)的采集、數(shù)據(jù)管理、數(shù)據(jù)雙向傳輸以及轉(zhuǎn)發(fā)或執(zhí)行控制命令的設(shè)備。

隨著OFDM等調(diào)制技術(shù)的不斷發(fā)展及寬帶載波通信技術(shù)的廣泛應(yīng)用，不同地市根據(jù)自身需求擴充了國網(wǎng)公司針對曲線數(shù)據(jù)管理及存儲的相關(guān)規(guī)定，像江蘇省供電公司提出用電信息采集終端應(yīng)采集全體用戶的曲線數(shù)據(jù)并支持存儲512個用戶10天的電壓、電流、功率、電能示值等數(shù)據(jù)項24個整點曲線數(shù)據(jù)，為適應(yīng)四表合一趨勢發(fā)展，要求在此基礎(chǔ)上支持存儲512個水表、氣表、燃氣表等的曲線數(shù)據(jù)；重慶市供電公司將重點用戶的數(shù)量擴充至255個，要求用電信息采集終端支持255個重點用戶10天的曲線數(shù)據(jù)存儲。

曲線數(shù)據(jù)存儲量的增大針對采集終端存儲時所采用的曲線數(shù)據(jù)存儲方案的性能也提出了極高的要求。包括以下幾點：

1.針對回向校時的處理能力。采集終端應(yīng)能及時對校時后的曲線數(shù)據(jù)進行處理，確保曲線數(shù)據(jù)存儲的及時響應(yīng)，保證曲線數(shù)據(jù)存儲的正確性和完整性。

2.曲線數(shù)據(jù)周期性裁剪的處理能力。當因存儲設(shè)備容量限制需要進行曲線數(shù)據(jù)周期性裁剪，所采用的存儲方案應(yīng)能具備盡量減少對存儲設(shè)備的操作次數(shù)的設(shè)計以保證存儲設(shè)備的使用壽命。

3.針對測量點信息發(fā)生變更的處理能力。采集終端采用的存儲方案需要便于處理發(fā)生變更的測量點的曲線數(shù)據(jù)，盡量保證該測量點發(fā)生變更前后的數(shù)據(jù)完整性和一致性。

4.曲線存儲方案需要具備對曲線數(shù)據(jù)的正確性、完整性進行驗證的能力。

目前針對曲線數(shù)據(jù)的存儲方案有以下3種：

1.以測量點為存儲單元的存儲方案。終端存儲曲線數(shù)據(jù)的時候每個測量點創(chuàng)建一個文件，采用MAP+DATA的存儲結(jié)構(gòu)，MAP存儲測量點相關(guān)信息，DATA存儲該測量點各時間點的曲線數(shù)據(jù)。但該存儲方式存在以下不足：

（1）隨著國網(wǎng)公司要求存儲的數(shù)據(jù)量越來越大，當測量點比較多的時候創(chuàng)建的文件比較多，不利于統(tǒng)籌管理。

（2）采集終端在上電啟動掛載文件系統(tǒng)的時候，文件系統(tǒng)會掃描每個block，判定每個block是否為壞塊、空塊來建立哈希表，如果創(chuàng)建的文件比較多，無疑延長了文件系統(tǒng)的檢查執(zhí)行時間，進而延長了采集終端的啟動速度。

（3）針對像UFFS文件系統(tǒng)的一些版本，文件系統(tǒng)每創(chuàng)建一個文件就會占用一個block的存儲空間，并且該block上無法再創(chuàng)建新的文件，此時如果創(chuàng)建的文件存儲內(nèi)容很少，就會對存儲空間造成極大浪費。

（4）當發(fā)生回向校時，需要對每個測量點文件中當前時間之后的曲線數(shù)據(jù)進行裁剪，如果需要裁剪的數(shù)據(jù)量較大、測量點較多，則裁剪執(zhí)行時間較長，影響了曲線數(shù)據(jù)存儲。

（5）當因磁盤容量限制需要對文件進行裁剪，則對每個文件存儲的曲線數(shù)據(jù)都要進行裁剪處理，造成存儲設(shè)備操作過于頻繁，減少了存儲設(shè)備的使用壽命。

（6）如果采集終端測量點類型發(fā)生變更，則對應(yīng)的曲線數(shù)據(jù)存儲單元長度也會發(fā)生變化，為了便于二分法查找，必須重建該測量點的曲線文件，造成測量點類型變更之前的數(shù)據(jù)丟失，影響了曲線數(shù)據(jù)完整性。

2.以時間為存儲單元的存儲方案，終端每天創(chuàng)建一個文件，文件中存儲所有測量點的曲線數(shù)據(jù)，該方案的優(yōu)點是便于按日期進行文件裁剪，但該存儲方案存在如下不足：

（1）國網(wǎng)公司規(guī)定的曲線數(shù)據(jù)項繁多復(fù)雜，每個曲線數(shù)據(jù)項的數(shù)據(jù)單元長度不一，根據(jù)測量點所屬采集通道的不同，存儲密度也不一樣，造成文件存儲結(jié)構(gòu)異?；靵y，當進行文件查詢的時候無法快速有效定位需要查詢的數(shù)據(jù)，增加了查詢時CPU開銷，當需要查詢的曲線數(shù)據(jù)不在一個文件中的時候，需要對多個文件進行操作，無法達到對主站請求幀的及時響應(yīng)，影響了嵌入式系統(tǒng)的實時性。

（2）當采集終端發(fā)生回向校時，要對當前時間之后的曲線數(shù)據(jù)進行裁剪，裁剪起始點的查找和定位很困難，增加了回向校時文件裁剪的執(zhí)行時間，此時若存在曲線數(shù)據(jù)存儲需求，曲線文件存儲或會異常，曲線數(shù)據(jù)安全性受到影響。

（3）用電信息采集終端在現(xiàn)場運行過程中若出現(xiàn)故障，因曲線文件存儲結(jié)構(gòu)混亂，增加了排查難度。

（4）當采集終端發(fā)生測量點信息變更、測量點被刪除或增加了新的測量點，及其不便于測量點信息的統(tǒng)籌管理。

（5）程序無法對存儲的曲線數(shù)據(jù)的有效性進行判定，進行曲線數(shù)據(jù)查詢的時候或會得到錯誤的數(shù)據(jù)并且無法進行有效驗證。

3.系統(tǒng)中增加嵌入式數(shù)據(jù)庫實現(xiàn)數(shù)據(jù)的存儲和管理。嵌入式數(shù)據(jù)庫的引入無疑方便了數(shù)據(jù)的存儲、獲取、刪減等操作，但這種存儲方案一方面增加了開發(fā)和維護成本，另一方面降低了程序的可移植性，并不是所有的嵌入式操作系統(tǒng)都適合嵌入式數(shù)據(jù)庫的移植，另外針對大量曲線數(shù)據(jù)回向校時的處理也較困難。

三、基于用電信息采集終端的曲線數(shù)據(jù)存儲方案的設(shè)計

1.在用電信息采集終端文件系統(tǒng)新建用于存儲曲線索引文件及曲線數(shù)據(jù)文件的文件夾。

2.根據(jù)測量點所屬通信端口將曲線索引文件劃分為交流采樣通道的曲線索引文件、RS485x采集通道的曲線索引文件、本地通信通道的曲線索引文件，創(chuàng)建曲線數(shù)據(jù)文件用于存儲所有曲線數(shù)據(jù)。

3.設(shè)計各曲線索引文件及曲線數(shù)據(jù)文件的存儲結(jié)構(gòu)。

交流采樣通道的曲線索引文件、RS485x采集通道的曲線索引文件及本地通信通道的曲線索引文件均包括MAP表頭和索引數(shù)據(jù)兩部分；

MAP表頭存儲曲線數(shù)據(jù)實際位置轉(zhuǎn)換系數(shù)、對應(yīng)曲線索引文件有效大小、MAXNUM個測量點存儲單元的存儲信息（MAXNUM為對應(yīng)曲線索引文件所屬通信通道允許接入的最大測量點數(shù)量），測量點存儲單元的存儲信息包括測量點號、曲線起始時標；

索引數(shù)據(jù)隨時間推移按照曲線存儲密度依次存儲每個曲線時標對應(yīng)的索引數(shù)據(jù)塊，每個曲線時標對應(yīng)的索引數(shù)據(jù)塊存儲曲線數(shù)據(jù)時標、該時標曲線數(shù)據(jù)起始相對存儲位置及MAXNUM個測量點曲線數(shù)據(jù)相對存儲位置；

曲線數(shù)據(jù)文件的存儲內(nèi)容包括曲線數(shù)據(jù)文件有效大小及每個測量點每個曲線時標的曲線單元數(shù)據(jù)，曲線單元數(shù)據(jù)包括曲線時標、數(shù)據(jù)單元長度、曲線數(shù)據(jù)。

針對曲線索引文件及曲線數(shù)據(jù)文件存儲結(jié)構(gòu)的相關(guān)說明：

（1）各索引文件及數(shù)據(jù)文件之間的依賴關(guān)系。交流采樣通道的曲線索引文件、RS485x采集通道的曲線索引文件及本地通信通道的曲線索引文件共享曲線數(shù)據(jù)文件，共同實現(xiàn)對曲線數(shù)據(jù)文件的管理和定位功能。

（2）曲線數(shù)據(jù)實際位置轉(zhuǎn)換系數(shù)說明。曲線數(shù)據(jù)實際位置轉(zhuǎn)換系數(shù)用于將索引文件中存儲的曲線數(shù)據(jù)絕對位置轉(zhuǎn)換成相對位置，優(yōu)化文件裁剪。該系數(shù)記錄從曲線數(shù)據(jù)文件初始創(chuàng)建到系統(tǒng)當前時間為止每次裁剪總共裁掉的字節(jié)數(shù)（累加值），當進行曲線數(shù)據(jù)存儲的時候，用曲線數(shù)據(jù)的實際存儲位置加上數(shù)據(jù)實際位置轉(zhuǎn)換系數(shù)所得結(jié)果更新相應(yīng)索引文件該曲線時標索引數(shù)據(jù)塊中對應(yīng)測量點的相對存儲位置的值，當進行曲線數(shù)據(jù)查詢的時候，就可以用該測量點的相對存儲位置減去曲線數(shù)據(jù)實際位置轉(zhuǎn)換系數(shù)，即可得曲線數(shù)據(jù)實際位置，當進行文件裁剪的時候，避免了需要對每個索引文件的各曲線時標索引數(shù)據(jù)塊中記錄的每個相對存儲位置進行變更的麻煩，提高了裁剪效率。

（3）索引文件有效大小及數(shù)據(jù)文件有效大小說明。文件有效大小即從文件起始位置到索引數(shù)據(jù)塊或曲線單元數(shù)據(jù)追加位置之間的字節(jié)數(shù)，也即索引數(shù)據(jù)塊或曲線單元數(shù)據(jù)從文件有效大小定位的位置開始追加存儲新增數(shù)據(jù)，這是為了方便用電信息采集終端發(fā)生回向校時設(shè)計的。使用文件大小虛擬定位技術(shù)實現(xiàn)采集終端回向校時處理。文件大小虛擬定位技術(shù)描述為：采集終端發(fā)生回向校時，查找裁剪位置，但無須裁剪，只需用裁剪位置的偏移量更新文件有效大小的值，如此，裁剪位置之后的索引或曲線數(shù)據(jù)作為無效數(shù)據(jù)處理，這樣就避免了對索引文件進行裁剪，提高了曲線數(shù)據(jù)存儲效率和安全性。

（4）曲線數(shù)據(jù)文件的存儲內(nèi)容根據(jù)測量點的曲線存儲結(jié)構(gòu)不同，每個曲線數(shù)據(jù)存儲單元包含的數(shù)據(jù)類型不同，根據(jù)測量點的所屬通信通道不同，曲線數(shù)據(jù)單元的存儲密度也不一樣，但每個曲線數(shù)據(jù)單元的所屬時標具有順時遞增的規(guī)律。

四、采集終端發(fā)生回向校時的解決方案

1.根據(jù)用電信息采集終端校時后系統(tǒng)時間及存儲密度確定校時后待裁剪曲線數(shù)據(jù)時標。

2.根據(jù)曲線索引文件有效大小定位到曲線索引文件最后存儲的有效索引數(shù)據(jù)塊，從最后存儲的有效索引數(shù)據(jù)塊中讀取最后存儲的有效曲線數(shù)據(jù)時標。

3.若校時后待裁剪曲線數(shù)據(jù)時標小于最后存儲有效曲線數(shù)據(jù)時標，則轉(zhuǎn)步驟4；反之，不作回向校時處理。

4.曲線索引文件回向校時處理

根據(jù)校時后待裁剪曲線數(shù)據(jù)時標及二分法確定校時后待裁剪索引數(shù)據(jù)塊的位置，用該位置相對于曲線索引文件起始位置的偏移量更新曲線索引文件有效大小信息。

5.曲線數(shù)據(jù)文件回向校時處理

首先讀取曲線數(shù)據(jù)實際位置轉(zhuǎn)換系數(shù)和曲線索引文件有效大?。黄浯螐那€索引文件有效大小指向的位置讀取最后存儲的有效索引數(shù)據(jù)塊，從最后存儲的有效索引數(shù)據(jù)塊中獲取最后存儲的有效時標曲線數(shù)據(jù)起始相對存儲位置；然后用最后存儲的有效時標曲線數(shù)據(jù)起始相對存儲位置減去曲線數(shù)據(jù)實際位置轉(zhuǎn)換系數(shù)即得曲線數(shù)據(jù)文件中校時后最后存儲的曲線數(shù)據(jù)的實際位置，用該實際位置相對曲線數(shù)據(jù)文件起始位置的偏移量更新曲線數(shù)據(jù)文件有效大小的值。

五、采集終端周期性裁剪處理方案

1.對每個曲線索引文件進行裁剪

首先，需要按照如下步驟確定曲線索引文件裁剪位置。

（1）根據(jù)用電信息采集終端當前系統(tǒng)時間及規(guī)定的曲線最大存儲天數(shù)，計算出待裁剪位置的曲線數(shù)據(jù)時標。

（2）從曲線索引文件中讀取存儲的首個索引數(shù)據(jù)塊，從首個索引數(shù)據(jù)塊中獲取首個曲線數(shù)據(jù)時標。

（3）如果待裁剪位置的曲線數(shù)據(jù)時標不大于首個曲線數(shù)據(jù)時標，則不對曲線索引文件和曲線數(shù)據(jù)文件進行裁剪；反之，根據(jù)待裁剪位置的曲線數(shù)據(jù)時標和二分法確定曲線索引文件裁剪位置。

其次，對曲線索引文件進行裁剪。在曲線索引文件所在目錄中創(chuàng)建空文件作為臨時索引文件，臨時索引文件中存儲曲線索引文件MAP表頭及曲線索引文件裁剪位置到MAP表頭曲線索引文件有效大小指向的最后有效位置之間的索引數(shù)據(jù)。

然后，需要按照如下步驟更新臨時索引文件MAP表頭信息：

（1）曲線索引文件有效大小的更新：用臨時索引文件的大小更新臨時索引文件MAP表頭中曲線索引文件有效大小的值。

（2）確定曲線數(shù)據(jù)文件裁剪位置。

（3）曲線數(shù)據(jù)實際位置轉(zhuǎn)換系數(shù)的更新：根據(jù)曲線數(shù)據(jù)文件的實際裁剪位置計算出曲線數(shù)據(jù)文件本次裁剪需要裁掉的無效數(shù)據(jù)的字節(jié)數(shù)，用臨時索引文件中記錄的原實際位置轉(zhuǎn)換系數(shù)加上本次裁掉的無效數(shù)據(jù)字節(jié)數(shù)，即可得裁剪后的曲線數(shù)據(jù)實際位置轉(zhuǎn)換系數(shù)，將該轉(zhuǎn)換系數(shù)存儲在臨時索引文件MAP表頭數(shù)據(jù)實際位置轉(zhuǎn)換系數(shù)的位置。

（4）MAXNUM個測量點信息的更新：從臨時索引文件中讀取首個索引數(shù)據(jù)塊，從索引數(shù)據(jù)塊中獲取首個曲線數(shù)據(jù)時標，如果MAXNUM個測量點信息中存儲的曲線起始時標小于首個曲線數(shù)據(jù)時標，則將首個曲線數(shù)據(jù)時標寫入測量點曲線起始時標位置。

2.對曲線數(shù)據(jù)文件進行裁剪

首先在曲線數(shù)據(jù)文件所在目錄下創(chuàng)建臨時數(shù)據(jù)文件，將原曲線數(shù)據(jù)文件有效大小的值和根據(jù)步驟一中確定的原數(shù)據(jù)文件裁剪位置到原曲線數(shù)據(jù)文件有效大小指向的最后有效存儲位置之間的曲線數(shù)據(jù)裁剪到臨時數(shù)據(jù)文件中；然后用臨時數(shù)據(jù)文件的大小更新臨時數(shù)據(jù)文件存儲的曲線數(shù)據(jù)文件有效大小信息。

3.臨時文件更名：將原曲線索引文件及曲線數(shù)據(jù)文件刪除，臨時索引文件及臨時數(shù)據(jù)文件改名為原曲線索引文件及曲線數(shù)據(jù)文件的文件名。

六、有益效果

1.數(shù)據(jù)存儲方案規(guī)避了類似于UFFS等文件系統(tǒng)個別版本特性造成的存儲空間資源浪費的缺陷，只要存儲空間滿足存儲需求，無需擴容即可實現(xiàn)所有測量點曲線數(shù)據(jù)的存儲。

2.減少了創(chuàng)建文件的數(shù)目，采用曲線索引文件對曲線數(shù)據(jù)文件進行定位實現(xiàn)數(shù)據(jù)存取及所有曲線索引文件共享一個曲線數(shù)據(jù)文件的方式，便于統(tǒng)籌管理。

3.提高了采集終端啟動時文件系統(tǒng)遍歷所有block的執(zhí)行效率，提高了采集終端啟動速度。

4.索引文件存儲結(jié)構(gòu)中增加曲線數(shù)據(jù)實際位置轉(zhuǎn)換系數(shù)，將索引數(shù)據(jù)存儲的曲線數(shù)據(jù)位置由絕對位置轉(zhuǎn)換成相對位置，避免了周期性裁剪對索引數(shù)據(jù)中存儲的曲線數(shù)據(jù)位置的更新，提高了裁剪效率，減少了對存儲設(shè)備的訪問次數(shù)，保證了存儲設(shè)備的使用壽命。

5.采用文件大小虛擬定位技術(shù)實現(xiàn)對采集終端發(fā)生回向校時的處理，轉(zhuǎn)變設(shè)計思路，規(guī)避了目前曲線數(shù)據(jù)存儲方案，當發(fā)生回向校時的時候需要對文件進行裁剪的弊端，提高了回向校時處理速度，保證了曲線數(shù)據(jù)存儲的及時性和安全性，確保了存儲設(shè)備壽命。

6.當測量點信息發(fā)生變更的時候，無須刪除信息變更之前的曲線數(shù)據(jù)，提高了曲線數(shù)據(jù)完整性。

7.此種曲線數(shù)據(jù)存儲方案不受操作系統(tǒng)、文件系統(tǒng)或編程方式的限制，方便程序移植，規(guī)避了使用數(shù)據(jù)庫造成的程序移植性降低的缺點。

8.針對異常斷電情況下的數(shù)據(jù)存儲及數(shù)據(jù)保護可提供較好的解決方案，可通過各種措施保證曲線數(shù)據(jù)的安全性和完整性，對存儲的曲線數(shù)據(jù)或文件的異常情況具備自恢復(fù)能力。

9.通用性良好。此種存儲方案可以有效應(yīng)用于國網(wǎng)公司要求的日凍結(jié)數(shù)據(jù)、月凍結(jié)數(shù)據(jù)、日統(tǒng)計數(shù)據(jù)、月統(tǒng)計數(shù)據(jù)等的存儲，甚至非電力系統(tǒng)也具備采用價值。

10.該曲線數(shù)據(jù)存儲方案將國網(wǎng)公司規(guī)定的繁復(fù)復(fù)雜的一系列曲線數(shù)據(jù)項和多樣的曲線數(shù)據(jù)存儲密度有機地整合在一起，存儲結(jié)構(gòu)簡單有序，便于曲線數(shù)據(jù)的定位、存儲和查詢，也便于對現(xiàn)場問題進行排查。

11.該曲線數(shù)據(jù)存儲方案提供了曲線數(shù)據(jù)有效性檢查能力，索引文件中存儲曲線起始存儲時標，且每個索引數(shù)據(jù)塊存儲曲線數(shù)據(jù)時標，曲線數(shù)據(jù)文件中每個曲線單元數(shù)據(jù)也存儲曲線數(shù)據(jù)時標和數(shù)據(jù)單元長度，可以通過以上存儲內(nèi)容對曲線的正確性進行有效檢查和驗證。

［1］謝永剛.電力用戶的用電信息采集系統(tǒng)與應(yīng)用探討［J］.科技創(chuàng)新與應(yīng)用，2012（32）：137-138.

［2］周金飛.用電信息采集系統(tǒng)［J］.農(nóng)村電氣化，2012（9）：43-44.

TM73

A