摘 要： 在變電站綜合自動(dòng)化系統(tǒng)中，需要對(duì)遙測(cè)、脈沖、遙信等實(shí)時(shí)數(shù)據(jù)進(jìn)行處理，由于電力系統(tǒng)對(duì)這些數(shù)據(jù)的存取具有較高的實(shí)時(shí)性，因此監(jiān)控系統(tǒng)通常會(huì)采用實(shí)時(shí)數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)的存儲(chǔ)管理。隨著監(jiān)控系統(tǒng)需要處理數(shù)據(jù)單元的增加和機(jī)器節(jié)點(diǎn)數(shù)的增長(zhǎng)，監(jiān)控系統(tǒng)普遍采用分布式內(nèi)存數(shù)據(jù)庫(kù)進(jìn)行實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)。分布式內(nèi)存數(shù)據(jù)庫(kù)的一個(gè)重要問(wèn)題就是如何實(shí)現(xiàn)多個(gè)機(jī)器節(jié)點(diǎn)之間的數(shù)據(jù)更新同步，提出了利用多播和TCP實(shí)現(xiàn)快速有效的數(shù)據(jù)同步方式，支持靈活的組網(wǎng)方式，并設(shè)計(jì)了一套穩(wěn)定可靠的數(shù)據(jù)傳輸機(jī)制，使得分布式內(nèi)存數(shù)據(jù)庫(kù)的各個(gè)節(jié)點(diǎn)的數(shù)據(jù)保持良好的一致性。

關(guān)鍵字： 分布式內(nèi)存數(shù)據(jù)庫(kù)； 數(shù)據(jù)同步； 變電站自動(dòng)化系統(tǒng)； 監(jiān)控系統(tǒng)

中圖分類(lèi)號(hào)： TN964?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2014）02?0077?03

0 引 言

傳統(tǒng)數(shù)據(jù)庫(kù)的存儲(chǔ)管理主要是利用磁盤(pán)進(jìn)行數(shù)據(jù)存儲(chǔ)，在存取數(shù)據(jù)過(guò)程中需要頻繁對(duì)磁盤(pán)進(jìn)行讀寫(xiě)操作，而且磁盤(pán)讀寫(xiě)的操作時(shí)間開(kāi)銷(xiāo)比較大。在變電站綜合自動(dòng)化系統(tǒng)中，需要對(duì)遙信、遙測(cè)等大量實(shí)時(shí)變化數(shù)據(jù)進(jìn)行處理，而且系統(tǒng)對(duì)數(shù)據(jù)存取的實(shí)時(shí)性要求比較高，所以傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)無(wú)法滿足監(jiān)控系統(tǒng)對(duì)實(shí)時(shí)數(shù)據(jù)的處理需要。目前大部分變電站綜合自動(dòng)化系統(tǒng)都會(huì)采用內(nèi)存數(shù)據(jù)庫(kù)對(duì)這些數(shù)據(jù)進(jìn)行存儲(chǔ)管理[1]。

為了保證數(shù)據(jù)處理的實(shí)時(shí)性和可靠性，監(jiān)控系統(tǒng)中會(huì)同時(shí)使用內(nèi)存和外部存儲(chǔ)設(shè)備（如硬盤(pán)）作為數(shù)據(jù)的存儲(chǔ)介質(zhì)。監(jiān)控系統(tǒng)將實(shí)時(shí)或關(guān)鍵性數(shù)據(jù)的操作在內(nèi)存中進(jìn)行處理，由于內(nèi)存的數(shù)據(jù)存取速度比硬盤(pán)快，因此內(nèi)存數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)的處理比傳統(tǒng)數(shù)據(jù)庫(kù)更高效、更迅捷。硬盤(pán)等外部存儲(chǔ)介質(zhì)一般用于保存系統(tǒng)中的操作日志、歷史信息和數(shù)據(jù)配置等信息。一般內(nèi)存數(shù)據(jù)庫(kù)在初始化的時(shí)候會(huì)從磁盤(pán)加載構(gòu)建內(nèi)存數(shù)據(jù)庫(kù)所需要的一切信息，并為每條記錄創(chuàng)建索引，進(jìn)一步加快數(shù)據(jù)的存取操作[2]。由于電力系統(tǒng)信息化程度的提高，變電站綜合自動(dòng)化系統(tǒng)需要處理的數(shù)據(jù)越來(lái)越多，單一的計(jì)算機(jī)節(jié)點(diǎn)已經(jīng)無(wú)法滿足應(yīng)用的需求，因此分布式多機(jī)系統(tǒng)成為監(jiān)控系統(tǒng)的首選方案，并且每臺(tái)機(jī)器都擁有自己的內(nèi)存數(shù)據(jù)庫(kù)[3]。當(dāng)某一節(jié)點(diǎn)對(duì)內(nèi)存數(shù)據(jù)庫(kù)中的數(shù)據(jù)修改后，它需要將變化數(shù)據(jù)同步至其他機(jī)器節(jié)點(diǎn)，保證各個(gè)節(jié)點(diǎn)上數(shù)據(jù)的一致性。

本文提出了一種用于分布式內(nèi)存數(shù)據(jù)庫(kù)的可靠有效的數(shù)據(jù)同步方式，能夠快速有效保持各個(gè)機(jī)器節(jié)點(diǎn)上對(duì)應(yīng)數(shù)據(jù)的一致性。

1 分布式內(nèi)存數(shù)據(jù)庫(kù)介紹

分布式系統(tǒng)（Distributed Systems）是通過(guò)網(wǎng)絡(luò)互聯(lián)的多處理機(jī)體系結(jié)構(gòu)上執(zhí)行任務(wù)的系統(tǒng)，由多臺(tái)計(jì)算機(jī)協(xié)同進(jìn)行對(duì)數(shù)據(jù)的處理。分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)由分布于多個(gè)計(jì)算機(jī)節(jié)點(diǎn)上的一個(gè)或多個(gè)內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)組成，它提供必要的存取手段來(lái)操作各個(gè)節(jié)點(diǎn)上的子數(shù)據(jù)庫(kù)中的數(shù)據(jù)。分布式內(nèi)存數(shù)據(jù)庫(kù)在使用上可以看成一個(gè)完整的內(nèi)存數(shù)據(jù)庫(kù)，而數(shù)據(jù)則是分布在系統(tǒng)中各個(gè)節(jié)點(diǎn)上，節(jié)點(diǎn)與節(jié)點(diǎn)之間的數(shù)據(jù)可能存在耦合，因此這些耦合的數(shù)據(jù)就需要進(jìn)行同步，保證節(jié)點(diǎn)數(shù)據(jù)的一致性[4]。

分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)中各個(gè)機(jī)器節(jié)點(diǎn)上的數(shù)據(jù)通過(guò)某種數(shù)據(jù)分配策略被分發(fā)，存儲(chǔ)在各個(gè)節(jié)點(diǎn)的內(nèi)存中。數(shù)據(jù)的分發(fā)是非常靈活的，可以只分發(fā)某個(gè)節(jié)點(diǎn)所關(guān)心的部分?jǐn)?shù)據(jù)，也可以是整個(gè)數(shù)據(jù)庫(kù)中的數(shù)據(jù)。由于數(shù)據(jù)分布在不同的機(jī)器節(jié)點(diǎn)上，因此需要在某個(gè)機(jī)器節(jié)點(diǎn)上數(shù)據(jù)發(fā)生變化后將變化后的數(shù)據(jù)傳送到其他關(guān)心這些數(shù)據(jù)的機(jī)器節(jié)點(diǎn)上，所以分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)中機(jī)器節(jié)點(diǎn)之間的數(shù)據(jù)同步也是構(gòu)成分布式內(nèi)存數(shù)據(jù)庫(kù)的一個(gè)重要組成部分[5]。在分布式內(nèi)存數(shù)據(jù)庫(kù)中，每個(gè)節(jié)點(diǎn)都有自己的實(shí)體管理單元，具有高度的自治性，數(shù)據(jù)是通過(guò)相應(yīng)的數(shù)據(jù)分片策略被分發(fā)得到，存儲(chǔ)在內(nèi)存中。和集中式數(shù)據(jù)庫(kù)對(duì)比，具有更高的可靠性和靈活性。

分布式內(nèi)存數(shù)據(jù)庫(kù)和傳統(tǒng)內(nèi)存數(shù)據(jù)庫(kù)相比，具有以下幾個(gè)優(yōu)點(diǎn)：

（1） 分布式內(nèi)存數(shù)據(jù)庫(kù)降低了數(shù)據(jù)傳送的開(kāi)銷(xiāo)，因?yàn)榇蠖鄶?shù)數(shù)據(jù)庫(kù)訪問(wèn)操作都是針對(duì)局部數(shù)據(jù)庫(kù)的，而不是對(duì)其他節(jié)點(diǎn)數(shù)據(jù)庫(kù)的訪問(wèn)；

（2） 分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)的可靠性得到了很大的提高了，當(dāng)網(wǎng)絡(luò)發(fā)生故障時(shí)，依然允許對(duì)局部數(shù)據(jù)庫(kù)進(jìn)行操作，而且一個(gè)機(jī)器節(jié)點(diǎn)的故障不會(huì)影響其他機(jī)器節(jié)點(diǎn)的數(shù)據(jù)處理；

（3） 分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)便于系統(tǒng)的擴(kuò)充，增加一個(gè)新的局部數(shù)據(jù)庫(kù)，或擴(kuò)充網(wǎng)絡(luò)中的機(jī)器節(jié)點(diǎn)，都很容易實(shí)現(xiàn)。

分布式內(nèi)存數(shù)據(jù)庫(kù)的主要節(jié)點(diǎn)之間的同步方式一般多采用多播（Multicast）的形式，如圖1所示。多播可以把數(shù)據(jù)同時(shí)傳遞給同屬某一多播組的其他節(jié)點(diǎn)，多播消息在每條網(wǎng)絡(luò)鏈路上只需要被傳遞一次，只有在網(wǎng)絡(luò)鏈路分叉時(shí)消息才會(huì)被進(jìn)行復(fù)制，因此它的使用策略相對(duì)來(lái)說(shuō)是比較高效的[6]。當(dāng)某個(gè)機(jī)器節(jié)點(diǎn)上的數(shù)據(jù)發(fā)生變化時(shí)，它會(huì)將變化的數(shù)據(jù)以多播的方式傳送出去，其他節(jié)點(diǎn)在收到該數(shù)據(jù)時(shí)首先判斷該數(shù)據(jù)是否屬于本節(jié)點(diǎn)，如果屬于本節(jié)點(diǎn)則將數(shù)據(jù)更新到內(nèi)存數(shù)據(jù)庫(kù)中，否則丟棄該變化數(shù)據(jù)[7]。如果機(jī)器節(jié)點(diǎn)少的話也可以采用TCP服務(wù)器/客戶(hù)機(jī)的方式，通過(guò)TCP的方式進(jìn)行數(shù)據(jù)同步[8]。為了監(jiān)控系統(tǒng)更容易部署和應(yīng)用，內(nèi)存數(shù)據(jù)庫(kù)同步模塊在設(shè)計(jì)時(shí)同時(shí)支持多播和TCP的混合組網(wǎng)方式。

2 批量確認(rèn)滑窗算法設(shè)計(jì)

對(duì)于大批量的數(shù)據(jù)傳輸，如果采用傳統(tǒng)的發(fā)送一幀數(shù)據(jù)確認(rèn)一幀的話，數(shù)據(jù)處理的效率會(huì)大大降低同時(shí)也增加了網(wǎng)絡(luò)流量[9]。本系統(tǒng)采用了批量確認(rèn)的滑窗算法，提高了數(shù)據(jù)傳輸?shù)耐掏铝?，也降低了網(wǎng)絡(luò)負(fù)荷。當(dāng)一個(gè)機(jī)器節(jié)點(diǎn)上的數(shù)據(jù)發(fā)生變化時(shí)，機(jī)器上的應(yīng)用程序會(huì)通過(guò)多播將這些變化信息按照一定格式發(fā)送至網(wǎng)絡(luò)上的其他機(jī)器節(jié)點(diǎn)。在數(shù)據(jù)變化很快的情況下，數(shù)據(jù)同步模塊會(huì)在某一個(gè)時(shí)刻通過(guò)多播方式發(fā)送多幀變化數(shù)據(jù)，每一幀數(shù)據(jù)都會(huì)有一個(gè)編號(hào)，其他機(jī)器節(jié)點(diǎn)在接收到這些數(shù)據(jù)時(shí)，先將這些數(shù)據(jù)幀按照順序緩存在數(shù)據(jù)隊(duì)列中，并根據(jù)數(shù)據(jù)幀的序號(hào)進(jìn)行確認(rèn)，如果接收到的數(shù)據(jù)幀序號(hào)不連續(xù)，接收方會(huì)把未收到的數(shù)據(jù)幀的序號(hào)報(bào)告給發(fā)送方，發(fā)送方通過(guò)單播（Unicast）的方式將接收方未接收到的數(shù)據(jù)幀發(fā)給對(duì)應(yīng)的接收方，接收方將這些缺失的數(shù)據(jù)幀按照順序插入到自己的數(shù)據(jù)緩存隊(duì)列中并且定時(shí)地將連續(xù)的那些數(shù)據(jù)幀交給數(shù)據(jù)存儲(chǔ)模塊寫(xiě)入實(shí)時(shí)庫(kù)，從而保證變化數(shù)據(jù)的寫(xiě)入順序和完整性。通過(guò)多播批量向多個(gè)節(jié)點(diǎn)傳輸變化數(shù)據(jù)，在數(shù)據(jù)發(fā)生丟失的情況下通過(guò)單播向接收方發(fā)送缺失的數(shù)據(jù)，大大提高了系統(tǒng)的可靠性，同時(shí)也極大減輕了網(wǎng)絡(luò)的負(fù)荷[10]。如圖2所示，當(dāng)發(fā)送方連續(xù)發(fā)送7幀變化數(shù)據(jù)后，接收方A接收到的數(shù)據(jù)完整，它會(huì)對(duì)發(fā)送方發(fā)送的數(shù)據(jù)進(jìn)行確認(rèn)并告知數(shù)據(jù)接收完整，接收方B接收數(shù)據(jù)不完整，它會(huì)對(duì)接收到的數(shù)據(jù)進(jìn)行確認(rèn)同時(shí)通知發(fā)送方缺失第5幀，發(fā)送方在收到接收方B的確認(rèn)時(shí)通過(guò)單播將第5幀數(shù)據(jù)補(bǔ)發(fā)給接收方B。

自適應(yīng)滑窗大小調(diào)整算法如式（1）所示：

[W=W+k*14C] （1）

式中：W為滑窗的大??；k為滑窗大小變化系數(shù)；C為常數(shù)。如果在某一個(gè)滑窗大小的時(shí)候，發(fā)送方檢測(cè)到大部分接收方普遍存在丟包現(xiàn)象，那么發(fā)送方按公式（1）減小滑窗的大小。如果在某一個(gè)滑窗大小的時(shí)候，發(fā)送方檢測(cè)到所有接收方數(shù)據(jù)接收完整，那么發(fā)送方會(huì)按照公式（1）適當(dāng)?shù)卦黾踊暗拇笮?，從而保證發(fā)送方與多個(gè)接收方之間的數(shù)據(jù)傳輸效率達(dá)到最優(yōu)。

3 數(shù)據(jù)同步模塊的設(shè)計(jì)與實(shí)現(xiàn)

在變電站監(jiān)控系統(tǒng)中，需要對(duì)測(cè)控裝置和保護(hù)裝置的信息加以采集和處理，因此系統(tǒng)設(shè)計(jì)了一個(gè)基于共享內(nèi)存的數(shù)據(jù)變化隊(duì)列[11]。規(guī)約模塊負(fù)責(zé)實(shí)現(xiàn)與變電站內(nèi)的裝置通訊并采集相應(yīng)的信息，并將這些數(shù)據(jù)寫(xiě)入內(nèi)存數(shù)據(jù)庫(kù)，內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)在將這些數(shù)據(jù)寫(xiě)入對(duì)應(yīng)的內(nèi)存的同時(shí)也會(huì)將這些數(shù)據(jù)變化信息寫(xiě)入數(shù)據(jù)變化隊(duì)列中。數(shù)據(jù)同步模塊通過(guò)不斷掃描數(shù)據(jù)變化隊(duì)列得知數(shù)據(jù)變化信息，通過(guò)網(wǎng)絡(luò)將這些變化信息發(fā)送至網(wǎng)絡(luò)上的其他機(jī)器節(jié)點(diǎn)，其他機(jī)器節(jié)點(diǎn)將同步來(lái)的變化數(shù)據(jù)庫(kù)寫(xiě)入本機(jī)內(nèi)存中，實(shí)現(xiàn)了分布式內(nèi)存數(shù)據(jù)庫(kù)的數(shù)據(jù)同步問(wèn)題。如圖3所示。

數(shù)據(jù)同步服務(wù)的系統(tǒng)架構(gòu)如圖4所示，由發(fā)送隊(duì)列、接收多列、網(wǎng)絡(luò)傳輸模塊、節(jié)點(diǎn)狀態(tài)管理模塊、文件傳輸模塊以及數(shù)據(jù)追趕模塊組成。

發(fā)送隊(duì)列中存放的是本機(jī)的變化數(shù)據(jù)，通過(guò)掃描數(shù)據(jù)變化隊(duì)列得到。接收隊(duì)列負(fù)責(zé)存放其他節(jié)點(diǎn)發(fā)送的變化數(shù)據(jù)，并在接收連續(xù)完整的變化數(shù)據(jù)后通過(guò)接口寫(xiě)入本機(jī)的內(nèi)存數(shù)據(jù)庫(kù)。網(wǎng)絡(luò)傳輸模塊用于發(fā)送/接收變化數(shù)據(jù)。節(jié)點(diǎn)狀態(tài)管理模塊用于管理網(wǎng)絡(luò)中其他機(jī)器節(jié)點(diǎn)的活動(dòng)狀態(tài)。文件傳輸模塊用于在機(jī)器節(jié)點(diǎn)之間同步文件，在本系統(tǒng)中，文件也被看成是一種特殊格式的數(shù)據(jù)。數(shù)據(jù)追趕模塊用于補(bǔ)發(fā)由于各種原因丟失的變化數(shù)據(jù)，確保各個(gè)機(jī)器節(jié)點(diǎn)之間內(nèi)存數(shù)據(jù)庫(kù)的一致性。

4 結(jié) 語(yǔ)

利用多播和TCP方式相結(jié)合，設(shè)計(jì)合理的數(shù)據(jù)同步機(jī)制，實(shí)現(xiàn)了分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)中的各個(gè)機(jī)器節(jié)點(diǎn)之間的高效率的數(shù)據(jù)同步。通過(guò)多播的批量發(fā)送和批量確認(rèn)提供了數(shù)據(jù)同步的效率，基于單播的數(shù)據(jù)補(bǔ)發(fā)模式保證了變化數(shù)據(jù)的順序性和完整性[12]?；诙嗖ズ蚑CP實(shí)現(xiàn)快速有效的數(shù)據(jù)同步方式，支持靈活的組網(wǎng)方式，并設(shè)計(jì)了一套穩(wěn)定可靠的數(shù)據(jù)傳輸機(jī)制，使得分布式內(nèi)存數(shù)據(jù)庫(kù)的各個(gè)節(jié)點(diǎn)的數(shù)據(jù)保持良好的一致性。

參考文獻(xiàn)

[1] 汪秀麗.數(shù)字化變電站綜述[J].水利電力科技，2007，33（2）：7?15.

[2] 王珊，肖艷芹，劉大為，等.內(nèi)存數(shù)據(jù)庫(kù)關(guān)鍵技術(shù)研究[J].計(jì)算機(jī)應(yīng)用，2007，27（10）：2353?2357.

[3] 鐘昀，詹成國(guó).分布式內(nèi)存數(shù)據(jù)庫(kù)在變電站自動(dòng)化系統(tǒng)中應(yīng)用[J].電力自動(dòng)化設(shè)備，2007，27（3）：116?119.

[4] 傅蕾，胡敏強(qiáng).變電站監(jiān)控軟件系統(tǒng)中內(nèi)存數(shù)據(jù)庫(kù)的研究[J].電力自動(dòng)化設(shè)備，2002，22（10）：21?23.

[5] 丁鯤，嚴(yán)浩，刁興春.分布式數(shù)據(jù)庫(kù)同步技術(shù)研究[J].海軍工程大學(xué)學(xué)報(bào)，2004，16（5）：100?104.

[6] MOHAN C， HADERLE D. ARIES： a transaction recovery method supporting fine?granularity locking and partial roll?back using write?ahead logging [J]. ACM Transactions on Database System， 1992， 17（1）： 94?162.

[7] PACITTI E， SIMON E. Update propagation strategies to improve freshness of data in lazy master schemas [C]// Proc of the 18th International Conference on Distributed Computation System. Amsterdam， Netherlands： ICDCS， 1998： 2032?2040.

[8] 張瑛，夏克儉，張法明，等.分布式異構(gòu)數(shù)據(jù)庫(kù)數(shù)據(jù)同步系統(tǒng)的研究與實(shí)現(xiàn)[J].小型微型計(jì)算機(jī)系統(tǒng)，2007，28（10）：1803?1806.

[9] MODI Tarak. Practical Java message service [M]. [S.l.]： Manning， 2002.

[10] 袁震.基于消息中間件的數(shù)據(jù)同步更新方法[J].兵工自動(dòng)化，2013，32（7）：93?96.

[11] 林源，陳志泊.分布式異構(gòu)數(shù)據(jù)庫(kù)同步系統(tǒng)的研究與應(yīng)用[J].計(jì)算機(jī)工程與設(shè)計(jì)，2010，31（24）：5278?5281.

[12] 孫世明，任遠(yuǎn)，徐春雷，等.地縣一體化調(diào)度自動(dòng)化系統(tǒng)中的數(shù)據(jù)緩存和同步方法[J].電力系統(tǒng)自動(dòng)化，2011，35（16）：76?78.

[13] GARCIA?MOLINA H， ULLMAN J D， WIDOM J. Database system implementation [M]. Beijing： China Machine Press， 2002.