方宗順

(中石化揚(yáng)子石油化工有限責(zé)任公司，江蘇 南京 210048)

過(guò)程數(shù)據(jù)是非常寶貴的信息資源，在生產(chǎn)過(guò)程中加以挖掘并廣泛應(yīng)用于如設(shè)備運(yùn)行監(jiān)控、故障檢測(cè)與遠(yuǎn)程智能診斷、質(zhì)量實(shí)時(shí)控制、反饋控制等許多過(guò)程運(yùn)行和控制任務(wù)場(chǎng)合[1]。隨著企業(yè)的設(shè)備數(shù)量越來(lái)越多、信息采集與控制技術(shù)的進(jìn)步、計(jì)算機(jī)及網(wǎng)絡(luò)技術(shù)的發(fā)展，以及生產(chǎn)過(guò)程更加高效、安全的運(yùn)行要求，使生產(chǎn)過(guò)程中的數(shù)據(jù)量劇增，產(chǎn)生了海量過(guò)程數(shù)據(jù)存儲(chǔ)與實(shí)時(shí)多任務(wù)并發(fā)讀取的需求[2]。

過(guò)程數(shù)據(jù)壓縮和重建是過(guò)程數(shù)據(jù)管理的重要組成部分，過(guò)程數(shù)據(jù)壓縮一般要遵守基于逼近誤差和顯著特征的保真度準(zhǔn)則，像地震領(lǐng)域的大數(shù)據(jù)和語(yǔ)音壓縮算法以及傳統(tǒng)的圖像壓縮算法都不能滿足過(guò)程數(shù)據(jù)采集速度和壓縮質(zhì)量的要求。Hale等[3]闡述了實(shí)時(shí)數(shù)據(jù)壓縮的優(yōu)點(diǎn),并提出了矩形波串法(box car)和后向斜率法，使人們認(rèn)識(shí)到了過(guò)程數(shù)據(jù)壓縮的重要性。隨后，Bristol提出了旋轉(zhuǎn)門趨勢(shì)(swinging door trending, SDT)算法，Mah等[4]對(duì)SDT算法進(jìn)行了改進(jìn)，提出了一種分段線性在線趨勢(shì)化(piecewise linear on-line trending, PLOT)算法。這幾種算法的本質(zhì)是進(jìn)行分段線性插值，將實(shí)際信號(hào)與壓縮信號(hào)之間的局部誤差控制在給定范圍之內(nèi)。

本文采用基于非關(guān)系型的開源的BDB(Berkeley data base)，實(shí)現(xiàn)對(duì)過(guò)程數(shù)據(jù)的分布式存取管理。其突出優(yōu)點(diǎn)是數(shù)據(jù)存取算法易實(shí)現(xiàn)、執(zhí)行速度快、支持多操作系統(tǒng)、支持海量數(shù)據(jù)存儲(chǔ)(數(shù)據(jù)存儲(chǔ)容量達(dá)到256TB)[5]。同時(shí)，本文給出SDT壓縮算法的API軟件層代碼實(shí)現(xiàn)，采用 Windows 通訊開發(fā)平臺(tái)(Windows communication foundation, WCF)技術(shù)開發(fā)分布式數(shù)據(jù)存取中間件，以此構(gòu)建了過(guò)程數(shù)據(jù)存儲(chǔ)系統(tǒng)，并應(yīng)用于某石化企業(yè)的計(jì)量監(jiān)控系統(tǒng)，與其他不同類型數(shù)據(jù)庫(kù)存儲(chǔ)系統(tǒng)相比，BDB在過(guò)程數(shù)據(jù)領(lǐng)域有很大優(yōu)勢(shì)。

1 數(shù)據(jù)處理與存儲(chǔ)軟件結(jié)構(gòu)

1.1 嵌入式開源數(shù)據(jù)庫(kù)BDB

BDB是一個(gè)開源的文件型嵌入式數(shù)據(jù)庫(kù)，通過(guò)內(nèi)嵌在程序中的函數(shù)庫(kù)完成對(duì)數(shù)據(jù)的增加、修改、刪除操作。它包含5個(gè)子系統(tǒng)：存取管理子系統(tǒng)、內(nèi)存池管理子系統(tǒng)、事務(wù)處理子系統(tǒng)、加鎖子系統(tǒng)及日志子系統(tǒng)，結(jié)構(gòu)如圖1所示。由關(guān)鍵字及數(shù)據(jù)構(gòu)成的Key/Data構(gòu)成BDB的基本結(jié)構(gòu)單元，數(shù)個(gè)這樣的結(jié)構(gòu)單元構(gòu)成數(shù)據(jù)庫(kù)整體[6]。

圖1 BDB數(shù)據(jù)庫(kù)子系統(tǒng)

BDB具有如下突出優(yōu)點(diǎn)：

1)嵌入式(eebedded)。直接鏈接到應(yīng)用程序中，對(duì)數(shù)據(jù)庫(kù)的操作就是對(duì)操作函數(shù)的調(diào)用。為幾乎所有常見(jiàn)編程語(yǔ)言提供API接口。多個(gè)進(jìn)程，或者同一進(jìn)程的多個(gè)線程可并發(fā)操作數(shù)據(jù)庫(kù)[7]。

2)輕便靈活(portable)。不僅可以運(yùn)行于Windows操作系統(tǒng)下，還可運(yùn)行于如Linux、UNIX及其他嵌入式實(shí)時(shí)操作系統(tǒng)之下。

3)可伸縮(scalable)。能夠管理高達(dá)256TB規(guī)模的數(shù)據(jù)庫(kù)，動(dòng)態(tài)庫(kù)文件自身卻非常精簡(jiǎn)，支持高并發(fā)度。

存儲(chǔ)在BDB中的數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)潔明了，可以保存任意類型的鍵/值對(duì)(Key/Value Pair)，而且可以為一個(gè)鍵保存多個(gè)數(shù)據(jù)。

本文采用BDB存儲(chǔ)生產(chǎn)過(guò)程中采集的實(shí)時(shí)數(shù)據(jù)及文件、圖像等流數(shù)據(jù)。訪問(wèn)BDB流程為：定義數(shù)據(jù)的結(jié)構(gòu)體，創(chuàng)建數(shù)據(jù)庫(kù)表訪問(wèn)句柄，通過(guò)open函數(shù)打開數(shù)據(jù)庫(kù)，根據(jù)定義的結(jié)構(gòu)體創(chuàng)建Key/Data對(duì)象，調(diào)用put函數(shù)插入記錄，調(diào)用get函數(shù)查詢記錄。程序關(guān)閉時(shí)關(guān)閉創(chuàng)建的數(shù)據(jù)庫(kù)句柄。

1.2 數(shù)據(jù)壓縮與存取總體構(gòu)建

圖2為基于BDB的數(shù)據(jù)采集與壓縮存儲(chǔ)、分布式查詢提取的軟件結(jié)構(gòu)框圖。數(shù)據(jù)通道將采集的設(shè)備監(jiān)控?cái)?shù)據(jù)送入數(shù)據(jù)預(yù)處理模塊，更新一部分?jǐn)嗝鏀?shù)據(jù)到緩存內(nèi)存區(qū)，然后根據(jù)SDT算法進(jìn)行數(shù)據(jù)壓縮，并將壓縮數(shù)據(jù)通過(guò)數(shù)據(jù)總線交給數(shù)據(jù)存儲(chǔ)服務(wù)API層，API層將壓縮后的數(shù)據(jù)存入BDB。歸檔服務(wù)會(huì)定期識(shí)別BDB中的非活動(dòng)數(shù)據(jù)并將其轉(zhuǎn)移到其他設(shè)備中[8]。當(dāng)人機(jī)交互軟件請(qǐng)求查詢采樣數(shù)據(jù)時(shí)，基于WCF的中間件服務(wù)層會(huì)先對(duì)BDB中的壓縮數(shù)據(jù)解壓，然后將數(shù)據(jù)發(fā)送給軟件。

圖2 數(shù)據(jù)壓縮存取軟件結(jié)構(gòu)圖

2 SDT數(shù)據(jù)壓縮算法分析

一個(gè)良好的實(shí)時(shí)數(shù)據(jù)庫(kù)，必須處理好實(shí)時(shí)數(shù)據(jù)的壓縮問(wèn)題，才能使系統(tǒng)的整體性能達(dá)到海量數(shù)據(jù)存儲(chǔ)的實(shí)時(shí)性要求。數(shù)據(jù)壓縮算法流程如圖3所示。

圖3 數(shù)據(jù)壓縮算法流程

一般的數(shù)據(jù)壓縮算法都是通過(guò)對(duì)數(shù)據(jù)編碼和解碼來(lái)進(jìn)行壓縮和解壓，不同的壓縮算法主要的不同點(diǎn)就在于采用的編碼方式不同。比較常見(jiàn)的是查字典法，字典中包含了許多與實(shí)際數(shù)據(jù)對(duì)應(yīng)的編碼數(shù)據(jù)，通常情況下實(shí)際數(shù)據(jù)所對(duì)應(yīng)的編碼數(shù)據(jù)都比原數(shù)據(jù)占用更小的空間，通過(guò)對(duì)應(yīng)關(guān)系將實(shí)際數(shù)據(jù)轉(zhuǎn)化為編碼數(shù)據(jù)從而達(dá)到壓縮的目的[9]。

2.1 旋轉(zhuǎn)門壓縮算法模型

實(shí)時(shí)數(shù)據(jù)庫(kù)中，數(shù)據(jù)瞬時(shí)采集量巨大且相似度高，作為線性擬合的一種簡(jiǎn)便算法，即旋轉(zhuǎn)門趨勢(shì)(SDT)算法[10-11]，具有速度快、易實(shí)現(xiàn)、高壓縮、誤差可控等優(yōu)點(diǎn)，已成為一種專門算法[12]。

SDT算法形象地說(shuō)就是構(gòu)建許多高度(有損壓縮的閾值)固定的平行四邊形，用這些四邊形去“覆蓋”數(shù)據(jù)，當(dāng)數(shù)據(jù)超出四邊形的范圍時(shí)，歸檔(存儲(chǔ))數(shù)據(jù)點(diǎn)。圖4中不斷“膨脹”的平行四邊形就是旋轉(zhuǎn)門，任意時(shí)刻該旋轉(zhuǎn)門的寬度都為閾值的2倍。每次擴(kuò)大后，都要判斷是否所有的數(shù)據(jù)點(diǎn)都能被平行四邊形所覆蓋，若不能完全被覆蓋，則擴(kuò)張前的所有數(shù)據(jù)點(diǎn)就需要被歸檔(壓縮)[13]。

本文采用的SDT算法是一種直線趨勢(shì)化壓縮算法，其實(shí)質(zhì)是將一組連續(xù)的數(shù)據(jù)點(diǎn)用一條確定了起點(diǎn)和終點(diǎn)的直線替代。該算法需要使用時(shí)間間隔量、起點(diǎn)數(shù)據(jù)和終點(diǎn)數(shù)據(jù)3個(gè)參數(shù), 其中下一段的起點(diǎn)數(shù)據(jù)與前一段終點(diǎn)數(shù)據(jù)相同。圖4為其基本原理圖。

圖4 旋轉(zhuǎn)門壓縮算法原理圖

設(shè)ΔE為SDT算法的壓縮閾值，其壓縮原理為：起點(diǎn)t0為上一存儲(chǔ)結(jié)束的數(shù)據(jù)點(diǎn)，將與t0相距ΔE的上下兩點(diǎn)作為軸點(diǎn)，建立一扇有兩個(gè)門板的門，只有一個(gè)數(shù)據(jù)時(shí)門閉合；隨著數(shù)據(jù)點(diǎn)的增加，兩個(gè)門板會(huì)繞著軸點(diǎn)打開，門板的寬度可擴(kuò)展，門只能朝著打開的方向旋轉(zhuǎn)；只要兩個(gè)門板的內(nèi)角和小于180°(兩個(gè)門板未平行)，旋轉(zhuǎn)操作就可以繼續(xù)；一旦門板的內(nèi)角和大于等于180°，就結(jié)束開門的操作，存儲(chǔ)前一點(diǎn)數(shù)據(jù)，并將該點(diǎn)作為下一壓縮操作的起點(diǎn)。

在圖4中經(jīng)過(guò)旋轉(zhuǎn)門壓縮后，壓縮段1由t0～t4的直線代替了t0～t4的數(shù)據(jù)點(diǎn)；壓縮段2由t4～t7的直線代替了t4～t7的數(shù)據(jù)點(diǎn)。

SDT壓縮算法主要步驟如下：

Step2,計(jì)算斜率S1,S2,Sj。

Step3,確定S1new,S2new的值。S1new=max(S1,S1new)；S2new=max(S2,S2new)。

Step4,判斷數(shù)據(jù)是否需要存儲(chǔ)。如果S1new≥S2new，儲(chǔ)存前一刻值數(shù)據(jù)值D(j-1)與對(duì)應(yīng)時(shí)刻T(j-1)，否則返回Step3。依次循環(huán)，直至達(dá)到強(qiáng)制記錄極限(FSRL)，結(jié)束當(dāng)前循環(huán)，開始新一輪壓縮。

2.2 壓縮數(shù)據(jù)重建

壓縮數(shù)據(jù)重建是將壓縮數(shù)據(jù)還原成原始數(shù)據(jù)。旋轉(zhuǎn)門壓縮算法屬于有損壓縮，因此解壓縮后的數(shù)據(jù)與原始數(shù)據(jù)存在誤差。壓縮設(shè)定了閾值ΔE,因此還原誤差不會(huì)超過(guò)2ΔE。相較壓縮算法，重構(gòu)還原算法要簡(jiǎn)單得多，本質(zhì)上就是線性插值。設(shè)待解壓數(shù)據(jù)分為n段，D(i)中存放每段的長(zhǎng)度，R(i)中存放i個(gè)數(shù)據(jù)點(diǎn)，Z(i)存放還原后的數(shù)據(jù)，i=1，2，…，n，(n+1)。數(shù)據(jù)還原算法步驟為：

Step1n=1,i=1;

Step2incr=0.0+[R(i+1)-R(i)]/D(i),k=1;

Step3Z(n)=R(i)+incr× (k-1),k=k+1,n=n+1;

Step4 if (k>D(i)) Then Step5，Else Step3;

Step5i=i+1;

Step6 if (i=n) Then Step2, Else Return。

3 數(shù)據(jù)存取關(guān)鍵技術(shù)實(shí)現(xiàn)及應(yīng)用

3.1 系統(tǒng)構(gòu)建

某石化計(jì)量監(jiān)控系統(tǒng)數(shù)據(jù)采集存儲(chǔ)需求為：總計(jì)30 450個(gè)I/O點(diǎn)的數(shù)據(jù)，I/O點(diǎn)數(shù)據(jù)存儲(chǔ)時(shí)間間隔為5s，24h不間斷存儲(chǔ)，存儲(chǔ)時(shí)間1a以上，數(shù)據(jù)查詢刷新時(shí)間小于2s。其中多區(qū)域質(zhì)量流量計(jì)230臺(tái)，每臺(tái)質(zhì)量流量計(jì)采集65個(gè)I/O點(diǎn)的數(shù)據(jù)，多區(qū)域罐150個(gè)，每個(gè)罐采集50個(gè)I/O點(diǎn)的數(shù)據(jù)，多區(qū)域PLC控制系統(tǒng)4套，累計(jì)采集2 000個(gè)I/O點(diǎn)的數(shù)據(jù)。多區(qū)域視頻流采集點(diǎn)50個(gè)，存儲(chǔ)時(shí)間大于6個(gè)月。

按1a時(shí)間計(jì)算，以上I/O點(diǎn)的數(shù)據(jù)總量大于8TB，按照常規(guī)思路按點(diǎn)存儲(chǔ)，數(shù)據(jù)的存儲(chǔ)與提取無(wú)法滿足實(shí)時(shí)性需求。本文基于BDB存儲(chǔ)I/O點(diǎn)數(shù)據(jù)，采用SDT動(dòng)態(tài)數(shù)據(jù)壓縮及重建算法，結(jié)合WCF技術(shù)封裝數(shù)據(jù)的提取中間件，以此構(gòu)建計(jì)量監(jiān)控系統(tǒng)。圖5為分布式存儲(chǔ)數(shù)據(jù)結(jié)構(gòu)，區(qū)域1～區(qū)域m為獨(dú)立的前端采集存儲(chǔ)I/O點(diǎn)數(shù)據(jù)服務(wù)器，壓縮數(shù)據(jù)存儲(chǔ)在BDB。區(qū)域1～區(qū)域m的獨(dú)立的BDB數(shù)據(jù)與集中存儲(chǔ)服務(wù)器的BDB數(shù)據(jù)實(shí)時(shí)同步?；趬嚎s數(shù)據(jù)重建API函數(shù)，采用WCF技術(shù)構(gòu)建數(shù)據(jù)提取及適合于業(yè)務(wù)流的中間件，供計(jì)量監(jiān)控系統(tǒng)軟件客戶端調(diào)用。

圖5 計(jì)量監(jiān)控系統(tǒng)分布式存儲(chǔ)結(jié)構(gòu)

3.2 數(shù)據(jù)同步技術(shù)實(shí)現(xiàn)

數(shù)據(jù)存儲(chǔ)區(qū)域服務(wù)器主要實(shí)現(xiàn)：

服務(wù)1，采集數(shù)據(jù)并壓縮，按Key/Data配置好數(shù)據(jù)結(jié)構(gòu)并結(jié)合時(shí)間戳，存儲(chǔ)到BDB對(duì)應(yīng)的表中；

服務(wù)2，實(shí)時(shí)監(jiān)控BDB對(duì)應(yīng)表中數(shù)據(jù)的變化，一旦數(shù)據(jù)有變化，建立socket監(jiān)聽端口，執(zhí)行與集中存儲(chǔ)服務(wù)器的連接操作，將變化且未傳的數(shù)據(jù)存儲(chǔ)到集中存儲(chǔ)服務(wù)器的BDB對(duì)應(yīng)表中，并更新上傳標(biāo)志。

其中服務(wù)2采用了多線程的方式，包括1個(gè)主線程和2個(gè)子線程。主線程主要監(jiān)聽數(shù)據(jù)的變化及進(jìn)行數(shù)據(jù)同步。子線程1用來(lái)偵聽存儲(chǔ)服務(wù)器的連接請(qǐng)求，如果有請(qǐng)求就與服務(wù)器建立連接；子線程2負(fù)責(zé)在已建立的連接上將變化的數(shù)據(jù)交給rep_process_message函數(shù)處理。3個(gè)線程之間相互獨(dú)立運(yùn)行。具體流程如圖6所示。

圖6 數(shù)據(jù)同步流程圖

3.3 數(shù)據(jù)交互中間件設(shè)計(jì)

供客戶端及第三方軟件應(yīng)用的中間件的功能及流程為：基于WCF的異構(gòu)系統(tǒng)間交互數(shù)據(jù)，接收外界并行請(qǐng)求，然后執(zhí)行處理，并且在集中存儲(chǔ)服務(wù)器端BDB重建并封裝請(qǐng)求的數(shù)據(jù)，最終返回外界客戶端顯示。

WCF整合了.NET平臺(tái)下與通信服務(wù)相關(guān)的所有內(nèi)容，支持多種契約方式與服務(wù)運(yùn)行方式，具有可靠性、統(tǒng)一性、互操作性和兼容性等優(yōu)點(diǎn)，提供多種類型的消息編碼及多種協(xié)議的消息傳遞。地址(address)、綁定(binding)和契約(contract)是WCF的三要素，必須對(duì)它們進(jìn)行指定才能用WCF進(jìn)行通信[14]。地址指的是WCF的服務(wù)器地址，契約則表示雙方要進(jìn)行交互的內(nèi)容，綁定則是指雙方以什么樣的方式進(jìn)行交互。為了能在不同的網(wǎng)絡(luò)和環(huán)境下實(shí)現(xiàn)分布式訪問(wèn)，WCF支持多種綁定方式[15]。

數(shù)據(jù)交互中間件主要包括注冊(cè)、驗(yàn)證數(shù)據(jù)、數(shù)據(jù)處理及更新反饋功能模塊。注冊(cè)模塊實(shí)現(xiàn)數(shù)據(jù)交互系統(tǒng)間的IP、端口號(hào)等基本信息及交互信息的管理功能，配置文件、保存設(shè)置的信息。驗(yàn)證數(shù)據(jù)模塊提供對(duì)要操作數(shù)據(jù)的格式驗(yàn)證。數(shù)據(jù)處理模塊主要工作是對(duì)請(qǐng)求方的格式進(jìn)行驗(yàn)證、解析，并將請(qǐng)求轉(zhuǎn)發(fā)到提供方，調(diào)取數(shù)據(jù)重建API函數(shù)從BDB提取數(shù)據(jù)，并封裝成指定數(shù)據(jù)結(jié)構(gòu)，同時(shí)將處理后的消息通過(guò)平臺(tái)反饋給請(qǐng)求者。更新反饋模塊實(shí)現(xiàn)了更改配置信息通知等功能，并定期給注冊(cè)到該平臺(tái)的關(guān)聯(lián)系統(tǒng)轉(zhuǎn)發(fā)系統(tǒng)配置文件。圖7為數(shù)據(jù)交互實(shí)現(xiàn)流程。

圖7 數(shù)據(jù)交互實(shí)現(xiàn)流程

3.4 測(cè)試分析

編寫并發(fā)存儲(chǔ)、并發(fā)讀取和邊存儲(chǔ)邊讀取的測(cè)試程序，對(duì)BDB和SQL server數(shù)據(jù)庫(kù)進(jìn)行比較，整理測(cè)試結(jié)果，見(jiàn)表1。結(jié)果表明,采用BDB速度較快，且數(shù)據(jù)量越大效果越明顯。

表1 數(shù)據(jù)存取時(shí)間對(duì)比

采用SDT算法，基于BDB壓縮存儲(chǔ)及數(shù)據(jù)重建，對(duì)采集的I/O點(diǎn)數(shù)據(jù)存取性能指標(biāo)進(jìn)行計(jì)算，得到的計(jì)算結(jié)果見(jiàn)表2。表中數(shù)據(jù)1樣本為罐信息7 500個(gè)I/O點(diǎn)的數(shù)據(jù)，數(shù)據(jù)2樣本為質(zhì)量流量計(jì)采集的14 950個(gè)I/O點(diǎn)數(shù)據(jù)，數(shù)據(jù)3樣本為PLC系統(tǒng)2 000個(gè)I/O點(diǎn)的數(shù)據(jù)。結(jié)果表明，在對(duì)實(shí)際過(guò)程數(shù)據(jù)進(jìn)行處理時(shí)，使用SDT算法可以明顯地減少數(shù)據(jù)占用的空間，降低現(xiàn)場(chǎng)總線網(wǎng)絡(luò)出現(xiàn)阻塞的可能性，提高控制監(jiān)控系統(tǒng)的性能、數(shù)據(jù)存取的效率及實(shí)時(shí)性。顯著缺點(diǎn)是數(shù)據(jù)為有損重建。

表2 I/O點(diǎn)過(guò)程數(shù)據(jù)壓縮性能結(jié)果

4 結(jié)束語(yǔ)

本文將BDB與SDT算法結(jié)合，達(dá)到了提高數(shù)據(jù)存取效率、減少數(shù)據(jù)占用空間的目的。結(jié)合WCF技術(shù)，構(gòu)建的分布式數(shù)據(jù)存取系統(tǒng)[16]解決了大型實(shí)時(shí)數(shù)據(jù)存儲(chǔ)提取實(shí)時(shí)性不高的問(wèn)題，已應(yīng)用于某石化企業(yè)的過(guò)程數(shù)據(jù)SCADA系統(tǒng)。因本文的SDT算法為有損數(shù)據(jù)壓縮重建，難以滿足計(jì)量數(shù)據(jù)的一致性要求，下一步將對(duì)數(shù)據(jù)壓縮的無(wú)損算法及異構(gòu)系統(tǒng)服務(wù)緩存機(jī)制加強(qiáng)研究。