吳慶曦,彭 暉,3,王 瑾,靳 晶,魏 娜,趙家慶

(1.南瑞集團(tuán)公司(國網(wǎng)電力科學(xué)研究院),江蘇省南京市 211106;2.國電南瑞科技股份有限公司,江蘇省南京市 211106;3.智能電網(wǎng)保護(hù)和運(yùn)行控制國家重點(diǎn)實(shí)驗(yàn)室,江蘇省南京市 211106;4.國網(wǎng)蘇州供電公司,江蘇省蘇州市 215004)

電網(wǎng)調(diào)控集群分布式實(shí)時(shí)數(shù)據(jù)庫的設(shè)計(jì)與關(guān)鍵技術(shù)

吳慶曦1,2,彭 暉1,2,3,王 瑾1,2,靳 晶1,2,魏 娜1,2,趙家慶4

(1.南瑞集團(tuán)公司(國網(wǎng)電力科學(xué)研究院),江蘇省南京市 211106;2.國電南瑞科技股份有限公司,江蘇省南京市 211106;3.智能電網(wǎng)保護(hù)和運(yùn)行控制國家重點(diǎn)實(shí)驗(yàn)室,江蘇省南京市 211106;4.國網(wǎng)蘇州供電公司,江蘇省蘇州市 215004)

為解決電網(wǎng)調(diào)度控制系統(tǒng)大規(guī)模實(shí)時(shí)數(shù)據(jù)的處理性能問題,設(shè)計(jì)了一種集群分布式實(shí)時(shí)數(shù)據(jù)庫,通過分布式技術(shù)實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ),并使用集群技術(shù)實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一訪問和管理。對集群分布式實(shí)時(shí)庫架構(gòu)及所使用的分布式存儲(chǔ)技術(shù)、分布式數(shù)據(jù)定位技術(shù)和分布式訪問技術(shù)進(jìn)行了討論,解決了調(diào)度控制系統(tǒng)實(shí)時(shí)數(shù)據(jù)的靈活分片、分布式存儲(chǔ)和快速定位問題。最后通過測試和現(xiàn)場運(yùn)行驗(yàn)證了集群分布式實(shí)時(shí)數(shù)據(jù)庫能在確保系統(tǒng)高可靠性的條件下,實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)的高性能訪問。

集群;分布式;實(shí)時(shí)數(shù)據(jù)庫;橫向擴(kuò)展;調(diào)度控制系統(tǒng)

0 引言

隨著特高壓交直流混合電網(wǎng)[1]的大規(guī)模建設(shè)及“大運(yùn)行”[2]體系建設(shè)的全面推進(jìn),實(shí)時(shí)數(shù)據(jù)采集范圍擴(kuò)大[3],部分應(yīng)用及其關(guān)聯(lián)數(shù)據(jù)有從各級調(diào)度分級處理向集中處理發(fā)展的趨勢[4],使得調(diào)度控制(簡稱調(diào)控)系統(tǒng)數(shù)據(jù)量、計(jì)算量不斷增加[4-5],對系統(tǒng)的服務(wù)能力、處理能力、可擴(kuò)展性、可靠性提出了更高的要求。各類集中式調(diào)控系統(tǒng)[6-9]的數(shù)據(jù)規(guī)模已經(jīng)突破百萬級別,向千萬級別發(fā)展。上述趨勢對電網(wǎng)調(diào)控系統(tǒng)實(shí)時(shí)數(shù)據(jù)庫的數(shù)據(jù)存儲(chǔ)容量和處理效率提出了更高的要求。

現(xiàn)有的集中式實(shí)時(shí)數(shù)據(jù)庫采用單節(jié)點(diǎn)或雙節(jié)點(diǎn)(主/備模式下)方式存儲(chǔ)實(shí)時(shí)數(shù)據(jù),并通過單個(gè)節(jié)點(diǎn)對外提供實(shí)時(shí)數(shù)據(jù)訪問,數(shù)據(jù)處理采用串行處理方式,在數(shù)據(jù)存儲(chǔ)規(guī)模和處理效率上難以兼顧,需要新的實(shí)時(shí)數(shù)據(jù)存儲(chǔ)和訪問技術(shù)來解決上述問題。

目前國內(nèi)電力系統(tǒng)領(lǐng)域?qū)Ψ植际綄?shí)時(shí)數(shù)據(jù)處理已經(jīng)有所研究。文獻(xiàn)[10]介紹了包含實(shí)時(shí)數(shù)據(jù)庫多種數(shù)據(jù)庫的基本工作原理;文獻(xiàn)[11]提出了基于廣域系統(tǒng)的數(shù)據(jù)協(xié)作的分布式處理,但不涉及單一系統(tǒng)及集群化的實(shí)時(shí)數(shù)據(jù)庫管理。在計(jì)算機(jī)領(lǐng)域內(nèi),分布式數(shù)據(jù)庫的研究很多,但均不涉及分布式實(shí)時(shí)數(shù)據(jù)庫方面。文獻(xiàn)[12-13]介紹了分布式數(shù)據(jù)分片技術(shù),實(shí)現(xiàn)了數(shù)據(jù)的分布式存儲(chǔ),但其所述分片方式不符合電力調(diào)控實(shí)時(shí)數(shù)據(jù)處理的特點(diǎn);文獻(xiàn)[14]實(shí)現(xiàn)了分布式處理,其所述的技術(shù)多用于交易系統(tǒng),難以滿足電網(wǎng)調(diào)控系統(tǒng)的實(shí)時(shí)數(shù)據(jù)處理需求。

本文設(shè)計(jì)了一種基于集群管理的電網(wǎng)調(diào)度分布式實(shí)時(shí)數(shù)據(jù)庫,采用分布式數(shù)據(jù)存儲(chǔ)和并發(fā)訪問手段來實(shí)現(xiàn)大規(guī)模實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)和并發(fā)訪問,并通過集群技術(shù)實(shí)現(xiàn)數(shù)據(jù)分布式管理在邏輯層面的統(tǒng)一組織,按照數(shù)據(jù)的不同種類和使用要求將分布式存儲(chǔ)的數(shù)據(jù)劃分為多個(gè)集群進(jìn)行管理,滿足電網(wǎng)調(diào)控系統(tǒng)對大規(guī)模實(shí)時(shí)數(shù)據(jù)的處理性能要求。

1 集群分布式實(shí)時(shí)數(shù)據(jù)庫

1.1 概念

電網(wǎng)調(diào)控系統(tǒng)實(shí)時(shí)數(shù)據(jù)庫是面向電網(wǎng)實(shí)時(shí)監(jiān)控、電網(wǎng)分析等應(yīng)用的專用數(shù)據(jù)庫,其特點(diǎn)是實(shí)時(shí)性強(qiáng)、吞吐量大和可靠性高?，F(xiàn)有的實(shí)時(shí)數(shù)據(jù)庫架構(gòu)多為集中式存儲(chǔ)架構(gòu)并采用雙機(jī)部署的方式,各數(shù)據(jù)節(jié)點(diǎn)都存儲(chǔ)全部的數(shù)據(jù),通過雙機(jī)主備的方式保證數(shù)據(jù)的可靠性。數(shù)據(jù)訪問一般由主機(jī)進(jìn)行處理,備機(jī)只在主機(jī)故障時(shí)對外提供訪問。

分布式實(shí)時(shí)數(shù)據(jù)庫將實(shí)時(shí)數(shù)據(jù)分布存儲(chǔ)在多個(gè)實(shí)時(shí)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上[11],能夠有效分解單臺(tái)計(jì)算機(jī)上實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)和處理壓力,并實(shí)現(xiàn)數(shù)據(jù)在多臺(tái)計(jì)算機(jī)上并行處理,大大提高了效率。在此基礎(chǔ)上,分布式存儲(chǔ)能夠通過增加節(jié)點(diǎn)的方式快速實(shí)現(xiàn)存儲(chǔ)和處理能力的橫向擴(kuò)展,提高了系統(tǒng)的擴(kuò)展性。

集群分布式實(shí)時(shí)數(shù)據(jù)庫在前述的分布式實(shí)時(shí)數(shù)據(jù)庫的基礎(chǔ)上,引入集群計(jì)算[15]技術(shù),實(shí)現(xiàn)了分布式數(shù)據(jù)的統(tǒng)一訪問和管理。系統(tǒng)中分布式存儲(chǔ)的各類數(shù)據(jù)按照不同用途,劃分為不同的集群,并以集群為單位進(jìn)行管理和訪問。集群根據(jù)數(shù)據(jù)的特點(diǎn)采取不同的數(shù)據(jù)管理方式,提供統(tǒng)一訪問服務(wù),從而屏蔽數(shù)據(jù)的存儲(chǔ)和分布特性。

如圖1所示,集群分布式實(shí)時(shí)數(shù)據(jù)庫根據(jù)數(shù)據(jù)的用途,定義了兩個(gè)集群。實(shí)時(shí)數(shù)據(jù)集群用于存儲(chǔ)和管理集群分布式實(shí)時(shí)數(shù)據(jù)庫中的實(shí)時(shí)數(shù)據(jù);定位數(shù)據(jù)集群用于存儲(chǔ)和管理分布式數(shù)據(jù)定位所使用的存儲(chǔ)位置數(shù)據(jù)。兩個(gè)集群的數(shù)據(jù)都采用了分布式方式進(jìn)行存儲(chǔ),但其數(shù)據(jù)組織方式完全不同,并可以作為一個(gè)完整的實(shí)體對外提供服務(wù),訪問者無需關(guān)注集群內(nèi)部的數(shù)據(jù)組織和分布方式,可直接將集群視為一個(gè)邏輯整體進(jìn)行訪問。兩個(gè)集群使用的資源相互獨(dú)立,但可部署在相同的物理設(shè)備上。

圖1 集群分布式實(shí)時(shí)數(shù)據(jù)庫Fig.1 Cluster based distributed real-time database

1.2 系統(tǒng)架構(gòu)

集群分布式實(shí)時(shí)數(shù)據(jù)庫架構(gòu)如圖2所示。集群分布式實(shí)時(shí)數(shù)據(jù)庫采用層次架構(gòu),包括基礎(chǔ)設(shè)施、存儲(chǔ)層、定位層、訪問層和應(yīng)用層等5個(gè)層次。

圖2 集群分布式實(shí)時(shí)數(shù)據(jù)庫架構(gòu)Fig.2 Architecture of cluster based distributed real-time database

1)基礎(chǔ)設(shè)施包括服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備等硬件平臺(tái)及上層操作系統(tǒng)等,是系統(tǒng)運(yùn)行的基礎(chǔ)。

2)分布式存儲(chǔ)層為實(shí)時(shí)數(shù)據(jù)提供分布式存儲(chǔ)能力,存儲(chǔ)層的功能包括數(shù)據(jù)分片的定義,通過集群方式實(shí)現(xiàn)的數(shù)據(jù)分布式存儲(chǔ)和數(shù)據(jù)在節(jié)點(diǎn)間的遷移和冗余互備。

3)分布式定位層實(shí)現(xiàn)了數(shù)據(jù)在分布式環(huán)境下的高效定位。是否具備高效的數(shù)據(jù)定位系統(tǒng),是一個(gè)分布式數(shù)據(jù)庫是否具備實(shí)用性的重要指標(biāo)。分布式定位層通過獨(dú)立的定位數(shù)據(jù)集群,解決了定位數(shù)據(jù)的存儲(chǔ)、訪問和可靠性管理等問題。

4)分布式訪問層提供了應(yīng)用對數(shù)據(jù)的訪問手段,包括統(tǒng)一的數(shù)據(jù)訪問接口、分布式數(shù)據(jù)查詢和并發(fā)式的訪問處理。統(tǒng)一的訪問接口使得應(yīng)用能夠?qū)⒎植际降膶?shí)時(shí)數(shù)據(jù)庫視為一個(gè)完整的邏輯整體進(jìn)行訪問;分布式數(shù)據(jù)查詢?yōu)樵L問接口提供了從多個(gè)節(jié)點(diǎn)上查詢數(shù)據(jù)的標(biāo)準(zhǔn)流程;在分布式查詢訪問多個(gè)節(jié)點(diǎn)數(shù)據(jù)時(shí),并發(fā)式的訪問處理能夠?qū)崿F(xiàn)多路數(shù)據(jù)請求在多個(gè)存儲(chǔ)節(jié)點(diǎn)上的并行處理,從而實(shí)現(xiàn)了高效的分布式數(shù)據(jù)訪問。

5)應(yīng)用層包含調(diào)控系統(tǒng)的各類應(yīng)用,如數(shù)據(jù)采集與監(jiān)控(SCADA)、高級應(yīng)用軟件(PAS)等,應(yīng)用通過訪問層提供的統(tǒng)一數(shù)據(jù)訪問接口操作實(shí)時(shí)數(shù)據(jù),是集群分布式實(shí)時(shí)數(shù)據(jù)庫系統(tǒng)的最終使用者。

2 集群分布式實(shí)時(shí)數(shù)據(jù)庫關(guān)鍵技術(shù)

2.1 實(shí)時(shí)數(shù)據(jù)分布式存儲(chǔ)技術(shù)

2.1.1 實(shí)時(shí)數(shù)據(jù)分片技術(shù)

分布式數(shù)據(jù)庫將數(shù)據(jù)庫的表通過分片操作劃分成多個(gè)不相交的子表進(jìn)行管理,這些子表稱為數(shù)據(jù)分片,數(shù)據(jù)分片存儲(chǔ)是實(shí)現(xiàn)分布式數(shù)據(jù)庫的基礎(chǔ)。電力系統(tǒng)數(shù)據(jù)處理的實(shí)時(shí)性和高吞吐特點(diǎn),特別是監(jiān)控類應(yīng)用(如SCADA)對實(shí)時(shí)數(shù)據(jù)有嵌入式使用的要求。此時(shí),實(shí)時(shí)數(shù)據(jù)分片不能采用分布式數(shù)據(jù)庫中常見的關(guān)鍵字取模[13,15]方式進(jìn)行劃分,而需要根據(jù)電力調(diào)控業(yè)務(wù)的需求進(jìn)行劃分。本文所述的集群分布式實(shí)時(shí)數(shù)據(jù)庫提供了兩種數(shù)據(jù)分片的劃分方式:基于關(guān)鍵字的直接分片和基于外鍵的關(guān)聯(lián)分片。

基于關(guān)鍵字的直接分片方式直接對數(shù)據(jù)表的關(guān)鍵字進(jìn)行劃分,生成關(guān)鍵字和分片的一一映射關(guān)系。

基于外鍵的關(guān)聯(lián)分片方式通過外鍵關(guān)系將數(shù)據(jù)表和外鍵所在的數(shù)據(jù)表進(jìn)行關(guān)聯(lián),記錄和記錄外鍵對應(yīng)的記錄同屬一個(gè)分片,數(shù)據(jù)庫只需要記錄預(yù)定義的分片外鍵,可動(dòng)態(tài)計(jì)算數(shù)據(jù)所屬的分片。

以廠站表和開關(guān)表分片處理為例。廠站表實(shí)行直接分片,每條記錄被分配到一個(gè)所屬分片;開關(guān)表實(shí)行關(guān)聯(lián)分片,以廠站ID作為關(guān)聯(lián)外鍵,每條記錄被劃分到其廠站ID對應(yīng)的數(shù)據(jù)分片,如圖3所示。

圖3 數(shù)據(jù)分片F(xiàn)ig.3 Data slicing

數(shù)據(jù)表的分片方式中,直接分片生成的關(guān)鍵字和分片號的映射關(guān)系,以及關(guān)聯(lián)分片產(chǎn)生的關(guān)聯(lián)表和關(guān)聯(lián)外鍵的映射關(guān)系稱為分片元數(shù)據(jù)。

集群分布式實(shí)時(shí)數(shù)據(jù)庫啟動(dòng)時(shí),根據(jù)分片元數(shù)據(jù),計(jì)算每張表的分片個(gè)數(shù)和記錄所屬分片,將數(shù)據(jù)寫入不同的分片文件中。

集群分布式實(shí)時(shí)數(shù)據(jù)庫運(yùn)行過程中,分片元數(shù)據(jù)可根據(jù)數(shù)據(jù)的插入、刪除情況進(jìn)行更新,并觸發(fā)分布式存儲(chǔ)和數(shù)據(jù)所屬分片信息更新,從而維持?jǐn)?shù)據(jù)庫數(shù)據(jù)的完整性和一致性。

2.1.2 分布式數(shù)據(jù)存儲(chǔ)技術(shù)

分布式數(shù)據(jù)存儲(chǔ)技術(shù)在數(shù)據(jù)分片的基礎(chǔ)上,對實(shí)時(shí)數(shù)據(jù)進(jìn)行獨(dú)立存儲(chǔ),為此集群分布式實(shí)時(shí)數(shù)據(jù)庫建立了如下的存儲(chǔ)結(jié)構(gòu),如附錄A圖A1所示。圖中表示的是斷路器表(breaker)的數(shù)據(jù)組織。

集群分布式實(shí)時(shí)數(shù)據(jù)庫將存儲(chǔ)的數(shù)據(jù)分為元數(shù)據(jù)、索引數(shù)據(jù)和分片數(shù)據(jù)等3個(gè)部分進(jìn)行管理。

1)元數(shù)據(jù)包括數(shù)據(jù)表的內(nèi)部信息和表結(jié)構(gòu)數(shù)據(jù),通過獨(dú)立的文件brk.dat存儲(chǔ)。

2)索引數(shù)據(jù)包含了數(shù)據(jù)表定義的索引信息,其中主鍵索引中包含了所有主鍵對應(yīng)的分片信息和存儲(chǔ)位置,因此主鍵索引是必需的,由文件brk_pk.dat存儲(chǔ)。另一方面,集群分布式實(shí)時(shí)數(shù)據(jù)庫允許在數(shù)據(jù)表的不同字段上建立多個(gè)索引,這些索引按照內(nèi)部的編號存儲(chǔ)在各自的數(shù)據(jù)文件中。例如brk_idx_01.dat是短路器表第1號索引的數(shù)據(jù)文件,01表明了內(nèi)部的索引編號。

3)分片數(shù)據(jù)包含了各分片的記錄數(shù)據(jù),brk_slc01.dat記錄了數(shù)據(jù)分片1的所有數(shù)據(jù),集群分布式實(shí)時(shí)數(shù)據(jù)庫中不同的分片數(shù)據(jù)記錄在不同的文件中,通過文件名中的編號區(qū)分。

分布式數(shù)據(jù)存儲(chǔ)按照分片為最小單位將不同的數(shù)據(jù)部署到不同的存儲(chǔ)節(jié)點(diǎn)上,每個(gè)節(jié)點(diǎn)部署一部分分片,最終將所有的節(jié)點(diǎn)構(gòu)成一個(gè)實(shí)時(shí)數(shù)據(jù)集群進(jìn)行管理。對一個(gè)定義了6個(gè)分片的4節(jié)點(diǎn)實(shí)時(shí)數(shù)據(jù)集群,數(shù)據(jù)部署方式如表1所示。

表1 分布式存儲(chǔ)數(shù)據(jù)部署Table 1 Deployment of distributed data storage

表1中,節(jié)點(diǎn)1上部署了數(shù)據(jù)分片1,2,3;節(jié)點(diǎn)2上部署了數(shù)據(jù)分片2,3,4;節(jié)點(diǎn)3上部署了數(shù)據(jù)分片4,5,6;節(jié)點(diǎn)4上部署了分片5,6,1。為實(shí)現(xiàn)數(shù)據(jù)可靠性要求,每個(gè)分片都在兩個(gè)節(jié)點(diǎn)上進(jìn)行冗余部署。每個(gè)節(jié)點(diǎn)上除部署分片文件,還部署了主文件和索引文件(主鍵索引和非主鍵索引),這些文件中只包含了當(dāng)前節(jié)點(diǎn)所含數(shù)據(jù)相關(guān)的信息。當(dāng)部署配置發(fā)生變化時(shí),分片文件隨配置變化在節(jié)點(diǎn)間遷移,并同時(shí)對索引信息和主文件數(shù)據(jù)進(jìn)行重構(gòu)。

2.1.3 實(shí)時(shí)數(shù)據(jù)內(nèi)存管理

2.1.3.1 內(nèi)存映像管理

實(shí)時(shí)數(shù)據(jù)庫以數(shù)據(jù)實(shí)時(shí)訪問為其特征,為了實(shí)現(xiàn)數(shù)據(jù)存取的高吞吐和低延時(shí),集群實(shí)時(shí)庫會(huì)建立數(shù)據(jù)的內(nèi)存映像以實(shí)現(xiàn)數(shù)據(jù)的內(nèi)存訪問,并通過內(nèi)存池和內(nèi)存管理器對這些數(shù)據(jù)表映像進(jìn)行管理。

集群實(shí)時(shí)數(shù)據(jù)庫以數(shù)據(jù)表為單位建立內(nèi)存映像,這些映像可以動(dòng)態(tài)加載到內(nèi)存中。為了減少映像建立和回收帶來的系統(tǒng)開銷,系統(tǒng)中使用的內(nèi)存映像被放置在各個(gè)實(shí)時(shí)數(shù)據(jù)節(jié)點(diǎn)的內(nèi)存池中。

內(nèi)存管理器根據(jù)數(shù)據(jù)訪問的請求,確認(rèn)所需使用的內(nèi)存映像是否已經(jīng)存在于內(nèi)存池中,如果內(nèi)存池中已有該映像,內(nèi)存管理器將映像的訪問句柄返回給請求者,并在映像的引用計(jì)數(shù)上加1;如果映像不存在,內(nèi)存管理器會(huì)創(chuàng)建映像,并將引用計(jì)數(shù)記為1。訪問請求完成后,內(nèi)存管理器會(huì)回收該內(nèi)存映像的訪問句柄,并減少映像的引用計(jì)數(shù),引用計(jì)數(shù)為0時(shí),表示當(dāng)前映像無人使用。

考慮到內(nèi)存數(shù)據(jù)反復(fù)使用的場景,內(nèi)存管理器一般不釋放引用計(jì)數(shù)為0的內(nèi)存映像。為防止內(nèi)存溢出,內(nèi)存池設(shè)置映像總大小的上限,當(dāng)內(nèi)存池中的映像總大小接近內(nèi)存池容量上限時(shí),如果新建映像的請求導(dǎo)致映像總大小超出容量上限,內(nèi)存管理器觸發(fā)清理過程,此時(shí),內(nèi)存管理器會(huì)遍歷所有的映像,從最小的映像開始,釋放引用計(jì)數(shù)為0的映像,直到映像總大小能夠滿足新的分配要求。如果所有引用計(jì)數(shù)為0 的映像釋放后仍無法滿足要求,則觸發(fā)內(nèi)存不足的運(yùn)行異常,此時(shí)映像分配失敗并導(dǎo)致上層的數(shù)據(jù)訪問失敗。

2.1.3.2 數(shù)據(jù)持久化

集群分布式實(shí)時(shí)庫數(shù)據(jù)操作都在內(nèi)存映像內(nèi)進(jìn)行,采用持久化方式寫入文件中。持久化具備卸載時(shí)寫入和快照加日志兩種方式。

1)卸載時(shí)寫入方式是在內(nèi)存管理器釋放引用計(jì)數(shù)為0 的映像時(shí),會(huì)將映像中的數(shù)據(jù)一次性寫入數(shù)據(jù)文件中。

2)快照方式是集群分布式實(shí)時(shí)數(shù)據(jù)庫系統(tǒng)定期將內(nèi)存映像中的數(shù)據(jù)寫入臨時(shí)的數(shù)據(jù)快照中,同時(shí),所有的增刪改操作異步寫入系統(tǒng)的REDO日志,日志數(shù)據(jù)存儲(chǔ)在持久化介質(zhì)中,當(dāng)系統(tǒng)因?yàn)橥獠吭虮罎⒒虻綦姾?集群分布式實(shí)時(shí)數(shù)據(jù)庫可根據(jù)最新的數(shù)據(jù)快照和日志進(jìn)行恢復(fù)。同時(shí),歷史快照也可用于重建特定時(shí)刻的數(shù)據(jù)斷面。

2.1.4 分布式數(shù)據(jù)冗余管理和數(shù)據(jù)遷移

2.1.4.1 數(shù)據(jù)冗余管理

如2.1.2節(jié)所述,實(shí)時(shí)數(shù)據(jù)集群中,實(shí)時(shí)數(shù)據(jù)按照分片在多個(gè)節(jié)點(diǎn)部署時(shí),為保證可靠性,采用冗余部署的方式,保證每個(gè)分片同時(shí)部署兩個(gè)副本,一主一備,主備兩個(gè)副本嚴(yán)格部署在不同節(jié)點(diǎn)上(見表1)。主備副本采用同步寫入、主機(jī)訪問的方式,數(shù)據(jù)寫入時(shí)先寫備機(jī)、再寫主機(jī),寫入主機(jī)失敗時(shí),將主機(jī)數(shù)據(jù)反寫備機(jī)后,再返回失敗,以保證寫入失敗情況下數(shù)據(jù)的一致性。數(shù)據(jù)冗余管理還設(shè)置了數(shù)據(jù)檢查點(diǎn),對主備數(shù)據(jù)進(jìn)行比較同步,消除單側(cè)寫入失敗條件下的數(shù)據(jù)不一致;數(shù)據(jù)讀取時(shí),通過主機(jī)完成。

當(dāng)分片數(shù)據(jù)主副本所在的節(jié)點(diǎn)異常時(shí),備節(jié)點(diǎn)切換為主節(jié)點(diǎn)進(jìn)行服務(wù),從而保證了部分節(jié)點(diǎn)故障情況下的系統(tǒng)可靠性。

2.1.4.2 數(shù)據(jù)遷移

數(shù)據(jù)遷移主要面向如下兩種情況。

1)隨著節(jié)點(diǎn)數(shù)的增加,數(shù)據(jù)分片可以遷移到新的分片上,按照上述的主、備不同節(jié)點(diǎn)和節(jié)點(diǎn)分片均分的方式,對全局的分片部署方式進(jìn)行調(diào)整。如上例中,增加了兩臺(tái)機(jī)器后,機(jī)器總數(shù)變?yōu)?,分片部署方式為節(jié)點(diǎn)1上部署分片1和2;節(jié)點(diǎn)2上部署分片3和4;節(jié)點(diǎn)3上部署分片5和6;節(jié)點(diǎn)4上部署分片6和1;節(jié)點(diǎn)5上部署分片2和3;節(jié)點(diǎn)6上部署分片4和5;數(shù)據(jù)遷移之后實(shí)時(shí)數(shù)據(jù)集群達(dá)到了新的狀態(tài),從而實(shí)現(xiàn)了規(guī)模的橫向擴(kuò)展。

2)當(dāng)節(jié)點(diǎn)出現(xiàn)異常時(shí),某些分片的副本數(shù)少于2,導(dǎo)致了故障狀況下的可靠性不足,此時(shí),實(shí)時(shí)數(shù)據(jù)集群對節(jié)點(diǎn)進(jìn)行存儲(chǔ)再分配。對于只有一份數(shù)據(jù)的分片,在部署了較少分片的節(jié)點(diǎn)上生成新的分片副本,形成向該節(jié)點(diǎn)的分片數(shù)據(jù)遷移,保證了分片數(shù)據(jù)的冗余配置和集群節(jié)點(diǎn)的負(fù)載均衡。

2.2 分布式數(shù)據(jù)定位技術(shù)

2.2.1 定位數(shù)據(jù)

集群分布式實(shí)時(shí)數(shù)據(jù)庫中,實(shí)時(shí)數(shù)據(jù)的分布式定位依賴于數(shù)據(jù)所屬分片和分片所在節(jié)點(diǎn)這兩部分信息,用于表示這兩部分信息的數(shù)據(jù)稱為定位數(shù)據(jù)。

數(shù)據(jù)所屬分片信息屬于靜態(tài)數(shù)據(jù),一旦分片劃分完成,該數(shù)據(jù)基本不再發(fā)生變化,但實(shí)時(shí)數(shù)據(jù)庫中數(shù)據(jù)規(guī)模龐大,每條記錄都有其對應(yīng)的分片信息,故無法進(jìn)行集中式存儲(chǔ)和訪問,需采用分布式技術(shù)。

分片所在節(jié)點(diǎn)信息數(shù)據(jù)屬于動(dòng)態(tài)數(shù)據(jù),隨著系統(tǒng)的運(yùn)行,實(shí)時(shí)數(shù)據(jù)集群狀態(tài)的動(dòng)態(tài)變化,分片所在的節(jié)點(diǎn)會(huì)隨著數(shù)據(jù)遷移不斷變化。此外,由于分片個(gè)數(shù)和實(shí)時(shí)數(shù)據(jù)集群節(jié)點(diǎn)個(gè)數(shù)一般在數(shù)十到數(shù)百之間,數(shù)據(jù)量較小,可進(jìn)行集中存儲(chǔ)和訪問。

2.2.2 定位數(shù)據(jù)存儲(chǔ)和訪問

為存儲(chǔ)定位數(shù)據(jù),集群分布式實(shí)時(shí)數(shù)據(jù)庫中建立了存儲(chǔ)定位數(shù)據(jù)的定位數(shù)據(jù)集群。針對2.2.1節(jié)所述定位數(shù)據(jù)特點(diǎn),定位數(shù)據(jù)集群采用不同方式管理分?jǐn)?shù)據(jù)的分片信息和數(shù)據(jù)分片的所在節(jié)點(diǎn)信息。

1)數(shù)據(jù)的所屬分片信息采用關(guān)鍵字—數(shù)據(jù)值(key-value)方式進(jìn)行表示,通過一致性哈希算法[16]進(jìn)行存儲(chǔ)。定位數(shù)據(jù)集群將所有記錄關(guān)鍵字和集群節(jié)點(diǎn)ID同時(shí)映射到一個(gè)32 bit的無符號整型數(shù)上,使用該整型數(shù)作為節(jié)點(diǎn)和數(shù)據(jù)在哈希環(huán)上的位置。為了提高數(shù)據(jù)所屬分片信息數(shù)據(jù)的存儲(chǔ)冗余,對定位數(shù)據(jù)集群使用的一致性哈希算法進(jìn)行了改進(jìn),使之能夠允許數(shù)據(jù)存儲(chǔ)在多個(gè)節(jié)點(diǎn),數(shù)據(jù)冗余部署算法具體如下。

對任意關(guān)鍵字KA,有哈希值IA,即IA=Hash(KA),則對應(yīng)記錄的分布信息存儲(chǔ)的節(jié)點(diǎn)(節(jié)點(diǎn)總數(shù)為n)如下:若IA>Nn,則為第1個(gè)和第2個(gè)節(jié)點(diǎn);若Nn≥IA>Nn-1,則為第一個(gè)和最后一個(gè)節(jié)點(diǎn);若Nk≥IA>Nk-1(k>2),則為第k和第k+1個(gè)節(jié)點(diǎn)。其中Nn為最后一個(gè)節(jié)點(diǎn)的編號哈希值;Nk和Nk-1分別為第k和第k-1個(gè)節(jié)點(diǎn)的編號哈希值。

2)分片所在節(jié)點(diǎn)信息采用一主多備方式存儲(chǔ)。多個(gè)定位數(shù)據(jù)集群的節(jié)點(diǎn)通過選舉產(chǎn)生一個(gè)主節(jié)點(diǎn),該節(jié)點(diǎn)負(fù)責(zé)管理實(shí)時(shí)數(shù)據(jù)集群上所有分片的所在節(jié)點(diǎn)信息,并向備節(jié)點(diǎn)同步分片所在節(jié)點(diǎn)的信息。一旦實(shí)時(shí)數(shù)據(jù)集群的狀態(tài)發(fā)生變化,主節(jié)點(diǎn)將向?qū)崟r(shí)數(shù)據(jù)集群獲取所有分片的所在節(jié)點(diǎn)信息,更新主節(jié)點(diǎn)的相關(guān)數(shù)據(jù),并對備節(jié)點(diǎn)進(jìn)行同步。

定位數(shù)據(jù)集群提供統(tǒng)一的訪問接口對分布于集群中各個(gè)節(jié)點(diǎn)的定位數(shù)據(jù)進(jìn)行訪問,應(yīng)用可通過實(shí)時(shí)數(shù)據(jù)的訪問接口使用定位數(shù)據(jù),也可以通過定位數(shù)據(jù)的訪問接口直接訪問定位數(shù)據(jù)。

2.2.3 定位數(shù)據(jù)高可用管理

2.2.2節(jié)已對定位數(shù)據(jù)的存儲(chǔ)進(jìn)行了描述,本節(jié)討論部分節(jié)點(diǎn)失效情況下定位數(shù)據(jù)集群的處理。

1)對于數(shù)據(jù)的所屬分片信息,2.2.2節(jié)描述了數(shù)據(jù)冗余部署的算法。對于某個(gè)關(guān)鍵字K,如果其對應(yīng)的所屬分片信息存儲(chǔ)在節(jié)點(diǎn)k和k+1上,則有Nk≥IKEY>Nk-1(k>2),其中IKEY為關(guān)鍵字K的哈希值。

正常情況下,數(shù)據(jù)定位從節(jié)點(diǎn)k獲取數(shù)據(jù),考慮如下情況:①當(dāng)節(jié)點(diǎn)k+1離線時(shí),查詢算法仍會(huì)從節(jié)點(diǎn)k獲取數(shù)據(jù),因此,數(shù)據(jù)訪問并不受影響;②當(dāng)節(jié)點(diǎn)k離線時(shí),k+1節(jié)點(diǎn)將自動(dòng)替代節(jié)點(diǎn)k的位置,此時(shí)有Nk+1≥IKEY>Nk-1(k>2)。

因此,查詢算法找到的即為k+1節(jié)點(diǎn),確保了數(shù)據(jù)的所屬分片信息能夠從節(jié)點(diǎn)k+1查詢到。

另一方面,當(dāng)節(jié)點(diǎn)k和k+1有一個(gè)離線時(shí),數(shù)據(jù)的雙副本狀態(tài)基本被打破,定位數(shù)據(jù)集群會(huì)對數(shù)據(jù)進(jìn)行遷移,以保證數(shù)據(jù)的雙副本部署?？紤]節(jié)點(diǎn)k離線的情況,此時(shí),對于任意關(guān)鍵字K,若有Nk≥Hash(K) >Nk-1,則關(guān)鍵字K對應(yīng)數(shù)據(jù)的所屬分片信息只存儲(chǔ)在第k+1個(gè)節(jié)點(diǎn)。此時(shí),定位數(shù)據(jù)集群會(huì)將這部分?jǐn)?shù)據(jù)從第k+1個(gè)節(jié)點(diǎn)復(fù)制到第k+2個(gè)節(jié)點(diǎn),以保證數(shù)據(jù)至少存在一份冗余。此時(shí)因這部分?jǐn)?shù)據(jù)訪問并不指向第k+2個(gè)節(jié)點(diǎn),數(shù)據(jù)復(fù)制過程不會(huì)影響第k+2個(gè)節(jié)點(diǎn)上數(shù)據(jù)的訪問。

2)對于分片所在節(jié)點(diǎn)信息。主節(jié)點(diǎn)通過廣播進(jìn)行選舉,由當(dāng)前在線節(jié)點(diǎn)中IP地址最小的節(jié)點(diǎn)當(dāng)選。一旦主節(jié)點(diǎn)選舉完成,主節(jié)點(diǎn)會(huì)向所有線上節(jié)點(diǎn)廣播自己的狀態(tài),一旦有節(jié)點(diǎn)發(fā)現(xiàn)主節(jié)點(diǎn)的狀態(tài)異常,即可發(fā)起新的主節(jié)點(diǎn)選舉,重新選舉主節(jié)點(diǎn)。

2.3 分布式數(shù)據(jù)訪問技術(shù)

2.3.1 統(tǒng)一訪問接口

集群分布式實(shí)時(shí)數(shù)據(jù)庫提供了統(tǒng)一的訪問接口,允許應(yīng)用將各個(gè)集群(實(shí)時(shí)數(shù)據(jù)集群和定位數(shù)據(jù)集群)作為邏輯整體進(jìn)行訪問,屏蔽了各集群的內(nèi)部存儲(chǔ)實(shí)現(xiàn)和部署方式,簡化了應(yīng)用的數(shù)據(jù)操作過程。

統(tǒng)一訪問接口屏蔽了數(shù)據(jù)分片的細(xì)節(jié),應(yīng)用直接使用面向數(shù)據(jù)表的操作函數(shù)實(shí)現(xiàn)數(shù)據(jù)訪問。通過分布式數(shù)據(jù)查詢,應(yīng)用無需預(yù)知數(shù)據(jù)的分片信息和數(shù)據(jù)部署位置,即可實(shí)現(xiàn)全部數(shù)據(jù)范圍的查詢訪問。

統(tǒng)一接口產(chǎn)生的數(shù)據(jù)訪問請求由各個(gè)實(shí)時(shí)數(shù)據(jù)集群節(jié)點(diǎn)上的實(shí)時(shí)數(shù)據(jù)服務(wù)進(jìn)行響應(yīng)和處理,各個(gè)節(jié)點(diǎn)上的服務(wù)根據(jù)本節(jié)點(diǎn)部署的數(shù)據(jù)返回請求的結(jié)果,并最終由接口層進(jìn)行匯總。

2.3.2 分布式數(shù)據(jù)查詢

在實(shí)時(shí)數(shù)據(jù)分布式存儲(chǔ)的條件下,數(shù)據(jù)分布在多個(gè)節(jié)點(diǎn)上,現(xiàn)有的客戶端到服務(wù)端點(diǎn)對點(diǎn)的訪問方式已經(jīng)不適合,集群分布式實(shí)時(shí)數(shù)據(jù)庫為此建立了分布式數(shù)據(jù)訪問機(jī)制。分布式數(shù)據(jù)查詢分為以下兩種情況。

1)基于關(guān)鍵字的分布式數(shù)據(jù)查詢,其查詢條件為數(shù)據(jù)關(guān)鍵字,查詢過程根據(jù)關(guān)鍵字條件定位數(shù)據(jù),具體流程如下。

步驟1:如圖4所示,數(shù)據(jù)訪問接口根據(jù)訪問請求,通過定位數(shù)據(jù)集群查詢記錄關(guān)鍵字對應(yīng)的分片號。

步驟2:通過分片位置管理獲得分片在實(shí)時(shí)數(shù)據(jù)集群中對應(yīng)的物理節(jié)點(diǎn)信息。

步驟3:數(shù)據(jù)訪問接口負(fù)責(zé)將訪問請求分發(fā)到數(shù)據(jù)所在的物理節(jié)點(diǎn),并將各物理節(jié)點(diǎn)返回的訪問結(jié)果歸并成完整的請求結(jié)果返回到請求發(fā)起者。

圖4 分布式數(shù)據(jù)查詢Fig.4 Distributed data query

2)基于條件的數(shù)據(jù)查詢,其查詢條件為非數(shù)據(jù)關(guān)鍵字,查詢過程由實(shí)時(shí)數(shù)據(jù)集群的全部節(jié)點(diǎn)按如下步驟協(xié)作完成。

步驟1:數(shù)據(jù)訪問接口會(huì)將訪問請求按照不同分片并行發(fā)送到所有的實(shí)時(shí)數(shù)據(jù)集群節(jié)點(diǎn),并開始等待數(shù)據(jù)返回。

步驟2:實(shí)時(shí)數(shù)據(jù)集群各節(jié)點(diǎn)的數(shù)據(jù)服務(wù)收到請求后,對本節(jié)點(diǎn)所轄的分片逐個(gè)執(zhí)行條件查詢和數(shù)據(jù)處理,并返回結(jié)果,每個(gè)分片的查詢過程獨(dú)立執(zhí)行、并行處理。

步驟3:數(shù)據(jù)訪問接口將不同節(jié)點(diǎn)返回的數(shù)據(jù)進(jìn)行拼裝,形成完整的訪問結(jié)果。

2.3.3 并發(fā)訪問處理

在分布式訪問中,大量的查詢請求需要發(fā)送到多個(gè)節(jié)點(diǎn)進(jìn)行處理,并匯總為最終的訪問結(jié)果,采用串行方式會(huì)產(chǎn)生大量等待時(shí)間。并發(fā)訪問處理采用多路并發(fā)訪問技術(shù),所有的數(shù)據(jù)請求可以通過異步方式一次性進(jìn)行發(fā)送,并由一個(gè)接收線程進(jìn)行讀取和匯總。此時(shí)各個(gè)節(jié)點(diǎn)上的請求可以進(jìn)行并行處理,根據(jù)測試,4個(gè)節(jié)點(diǎn)情況下,數(shù)據(jù)查詢時(shí)間降低到串行方式的1/3。

3 測試情況

集群分布式實(shí)時(shí)數(shù)據(jù)庫測試包括模擬系統(tǒng)測試和現(xiàn)場系統(tǒng)驗(yàn)證。模擬測試系統(tǒng)環(huán)境仿照某大型地調(diào)的SCADA運(yùn)行環(huán)境,采用8節(jié)點(diǎn)服務(wù)器集群,數(shù)據(jù)分為8個(gè)數(shù)據(jù)分片,部署在8個(gè)數(shù)據(jù)節(jié)點(diǎn)上,定位數(shù)據(jù)集群使用4個(gè)節(jié)點(diǎn)進(jìn)行部署。

3.1 系統(tǒng)可用性測試

系統(tǒng)可用性測試包括數(shù)據(jù)節(jié)點(diǎn)離線故障和定位數(shù)據(jù)集群節(jié)點(diǎn)離線故障。測試結(jié)果表明,對于集群分布式實(shí)時(shí)數(shù)據(jù)庫而言,單個(gè)數(shù)據(jù)節(jié)點(diǎn)的離線故障對數(shù)據(jù)訪問沒有影響,所有數(shù)據(jù)訪問無中斷現(xiàn)象;單個(gè)定位數(shù)據(jù)集群節(jié)點(diǎn)離線,哈希環(huán)在1 s之內(nèi)可以恢復(fù)訪問。另一方面,只要數(shù)據(jù)集群和定位數(shù)據(jù)集群還有工作的節(jié)點(diǎn),數(shù)據(jù)庫即可保證訪問,因此,系統(tǒng)的穩(wěn)定性和可靠性可以得到保障。

3.2 單表性能測試

測試數(shù)據(jù)集為單表800萬條記錄,分為8個(gè)分片,測試同時(shí)查詢分布在多個(gè)數(shù)據(jù)分片中的一組數(shù)據(jù),測試結(jié)果顯示了實(shí)時(shí)數(shù)據(jù)集群節(jié)點(diǎn)數(shù)分別為1,2,4,8的情況下,從測試集中查詢數(shù)據(jù)的耗時(shí)隨節(jié)點(diǎn)數(shù)增加有顯著下降,充分發(fā)揮了并發(fā)查詢的優(yōu)勢,如附錄A圖A2所示。由于采用了多分片并發(fā)查詢的技術(shù),即使在單個(gè)節(jié)點(diǎn)上,其查詢性能也遠(yuǎn)高于現(xiàn)有集中存儲(chǔ)的實(shí)時(shí)庫。

3.3 現(xiàn)場系統(tǒng)驗(yàn)證

集群分布式實(shí)時(shí)數(shù)據(jù)庫在某大型地區(qū)智能電網(wǎng)調(diào)控系統(tǒng)進(jìn)行了驗(yàn)證,系統(tǒng)配置為單機(jī)CPU(8核X4,內(nèi)存64 GB),使用千兆以太網(wǎng),系統(tǒng)包含800個(gè)廠站,共約320 000個(gè)遙測、480 000個(gè)遙信測點(diǎn)。測試結(jié)果如附錄A圖A3所示。在節(jié)點(diǎn)數(shù)據(jù)增加1倍的情況下,使用4節(jié)點(diǎn)集群分布式實(shí)時(shí)數(shù)據(jù)庫的SCADA應(yīng)用數(shù)據(jù)吞吐率接近傳統(tǒng)雙機(jī)使用實(shí)時(shí)數(shù)據(jù)庫的SCADA應(yīng)用的兩倍?，F(xiàn)場系統(tǒng)驗(yàn)證表明，集群分布式實(shí)時(shí)數(shù)據(jù)庫具備對大數(shù)據(jù)規(guī)模應(yīng)用的支撐能力。由于SCADA業(yè)務(wù)處理流程比單純的實(shí)時(shí)數(shù)據(jù)并發(fā)訪問測試復(fù)雜得多,其并發(fā)度受業(yè)務(wù)流程影響,因此實(shí)際系統(tǒng)中節(jié)點(diǎn)增加帶來的性能提升小于數(shù)據(jù)庫訪問。

4 結(jié)語

本文介紹了一種集群分布式實(shí)時(shí)數(shù)據(jù)庫,用于實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)庫系統(tǒng)的橫向擴(kuò)展,以解決特高壓交直流混合電網(wǎng)和“大運(yùn)行”體系下電網(wǎng)調(diào)控系統(tǒng)面臨的大規(guī)模實(shí)時(shí)數(shù)據(jù)存儲(chǔ)和處理難題。試驗(yàn)表明,集群分布式實(shí)時(shí)數(shù)據(jù)庫能夠滿足調(diào)控系統(tǒng)對高可靠性的要求,并且集群能夠有效實(shí)現(xiàn)數(shù)據(jù)的并行化處理,實(shí)現(xiàn)了大規(guī)模數(shù)據(jù)的高效訪問,有效解決了實(shí)時(shí)數(shù)據(jù)規(guī)模不斷擴(kuò)大的情況下實(shí)時(shí)數(shù)據(jù)庫的處理性能問題,并已在某大型地區(qū)調(diào)控系統(tǒng)投入使用,取得了良好的運(yùn)行效果。

針對集群分布式實(shí)時(shí)數(shù)據(jù)庫面向調(diào)控系統(tǒng)大規(guī)模實(shí)時(shí)數(shù)據(jù)存儲(chǔ)和管理的問題,目前解決了單系統(tǒng)內(nèi)數(shù)據(jù)的管理,進(jìn)一步的研究將著眼于上下級和同級調(diào)控系統(tǒng)之間數(shù)據(jù)的分布式統(tǒng)一管理。

本文工作得到江蘇省電力公司科技項(xiàng)目“蘇州供電公司智能電網(wǎng)調(diào)度控制全息動(dòng)態(tài)調(diào)試系統(tǒng)的研發(fā)與應(yīng)用”,以及江蘇省軟件新技術(shù)與產(chǎn)業(yè)化協(xié)同創(chuàng)新中心部分資助,特此致謝!

附錄見本刊網(wǎng)絡(luò)版(http://www.aeps-info.com/aeps/ch/index.aspx)。

[1] 艾琳,王超,陳為化.三華特高壓同步聯(lián)網(wǎng)及其對調(diào)度方式的影響[J].能源技術(shù)經(jīng)濟(jì),2011,23(5):38-41.

AI Lin,WANG Chao,CHEN Weihua.Analysis on UHV synchronous interconnection of three regional power grids of China and its influence on dispatch mode[J].Energy Technology and Economics,2011,23(5):38-41.

[2] 榮莉,徐迪,李偉玉.大運(yùn)行體系下智能電網(wǎng)調(diào)度支持系統(tǒng)的改革及應(yīng)用[J].中國電業(yè)(技術(shù)版),2012(11):46-49.

RONG Li,XU Di,LI Weiyu.Reform and application of SG-OSS under large operation system[J].China Electric Power (Technology Edition),2012(11):46-49.

[3] 姚建國,嚴(yán)勝,楊勝春,等.中國特色智能調(diào)度的實(shí)踐與展望[J].電力系統(tǒng)自動(dòng)化,2009,33(17):16-20.

YAO Jianguo,YAN Sheng,YANG Shengchun,et al.Practice and prospects of intelligent dispatch with Chinese characteristics[J].Automation of Electric Power Systems,2009,33(17):16-20.

[4] 姚建國,楊勝春,單茂華.面向未來互聯(lián)電網(wǎng)的調(diào)度技術(shù)支持系統(tǒng)架構(gòu)思考[J].電力系統(tǒng)自動(dòng)化,2013,37(21):52-59.

YAO Jianguo,YANG Shengchun,SHAN Maohua.Reflections on operation supporting system architecture for future interconnected power grid[J].Automation of Electric Power Systems,2013,37(21):52-59.

[5] 趙俊華,文福拴,薛禹勝,等.云計(jì)算:構(gòu)建未來電力系統(tǒng)的核心計(jì)算平臺(tái)[J].電力系統(tǒng)自動(dòng)化,2010,34(15):1-8.

ZHAO Junhua,WEN Fushuan,XUE Yusheng,et al.Cloud computing:implementing an essential computing platform for future power systems[J].Automation of Electric Power Systems,2010,34(15):1-8.

[6] 辛耀中,石俊杰,周京陽,等.智能電網(wǎng)調(diào)度控制系統(tǒng)現(xiàn)狀與技術(shù)展望[J].電力系統(tǒng)自動(dòng)化,2015,39(1):2-8.DOI:10.7500/AEPS20141008024.

XIN Yaozhong,SHI Junjie,ZHOU Jingyang,et al.Technology development trends of smart grid dispatching and control systems[J].Automation of Electric Power Systems,2015,39(1):2-8.DOI:10.7500/AEPS20141008024.

[7] 徐春雷,余璟.基于云技術(shù)的區(qū)域調(diào)控技術(shù)支撐系統(tǒng)[J].江蘇電機(jī)工程,2015,34(3):5-9.

XU Chunlei,YU Jing.Regional dispatching control technical support system based on cloud technology[J].Jiangsu Electrical Engineering,2015,34(3):5-9.

[8] 彭暉,葛以踴,吳慶曦,等.地縣調(diào)控一體化系統(tǒng)分區(qū)解并列機(jī)制的設(shè)計(jì)與實(shí)現(xiàn)[J].電力系統(tǒng)自動(dòng)化,2014,38(6):75-79.DOI:10.7500/AEPS20130704011.

PENG Hui,GE Yiyong,WU Qingxi,et al.Multi-region communication network division/recovery mechanism for prefecture-county integrated dispatching automation system[J].Automation of Electric Power Systems,2014,38(6):75-79.DOI:10.7500/AEPS20130704011.

[9] 彭暉,任遠(yuǎn),宋鑫,等.基于雙核架構(gòu)的分布式地縣配一體化技術(shù)支持系統(tǒng)設(shè)計(jì)[J].電力系統(tǒng)自動(dòng)化,2013,37(12):75-80.

PENG Hui,REN Yuan,SONG Xin,et al.Technical support system design of distributed city-county distribution automation based on dual-core structure[J].Automation of Electric Power Systems,2013,37(12):75-80.

[10] 彭暉,陶洪鑄,嚴(yán)亞勤,等.智能電網(wǎng)調(diào)度控制系統(tǒng)數(shù)據(jù)庫管理技術(shù)[J].電力系統(tǒng)與自動(dòng)化,2015,39(1):19-25.DOI:10.7500/AEPS20141009018.

PENG Hui,TAO Hongzhu,YAN Yaqin,et al.Database management technology for smart grid dispatching and control systems[J].Automation of Electric Power Systems,2015,39(1):19-25.DOI:10.7500/AEPS20141009018.

[11] 翟明玉,王瑾,吳慶曦,等.電網(wǎng)調(diào)度廣域分布式實(shí)時(shí)數(shù)據(jù)庫系統(tǒng)體系架構(gòu)和關(guān)鍵技術(shù)[J].電力系統(tǒng)與自動(dòng)化,2013,37(2):67-70.

ZHAI Mingyu,WANG Jin,WU Qingxi,et al.Architecture and key technologies of wide-area distributed real-time database system for power dispatching automation system[J].Automation of Electric Power Systems,2013,37(2):67-70.

[12] 王光耀.基于異構(gòu)網(wǎng)絡(luò)的分布式數(shù)據(jù)庫技術(shù)研究與實(shí)現(xiàn)[D].杭州:浙江工業(yè)大學(xué),2014.

[13] 陽振坤,楊傳輝,李震.海量結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)管理系統(tǒng)OceanBase[J].科研信息化技術(shù)與應(yīng)用,2013,4(1):41-48.

YANG Zhenkun,YANG Chuanhui,LI Zhen.OceanBase—a massive structured data storage management system[J].E-Science Technology &Application,2013,4(1):41-48.

[14] 分布式數(shù)據(jù)庫中間件DBScale的設(shè)計(jì)與實(shí)現(xiàn)[D].哈爾濱:哈爾濱工業(yè)大學(xué),2015.

[15] 申紅芳,羅四維,趙宏.集群計(jì)算系統(tǒng)的模型結(jié)構(gòu)[J].計(jì)算機(jī)應(yīng)用研究,2004,21(2):52-55.

SHEN Hongfang,LUO Siwei,ZHAO Hong.Model structure of cluster computing system[J].Application Research of Computers,2004,21(2):52-55.

[16] BALAKRISHNAN H,KAASHOEK M F,KARGER D,et al.Looking up data in P2P systems[J].Communications of the ACM,2003,46(2):43-49.

DesignandKeyTechnologiesofClusterBasedDistributedReal-timeDatabaseforPowerDispatchingandControlSystem

WUQingxi1,2,PENGHui1,2,3,WANGJin1,2,JINJing1,2,WEINa1,2,ZHAOJiaqing4

(1.NARI Group Corporation (State Grid Electric Power Research Institute),Nanjing 211106,China;2.NARI Technology Co.Ltd.,Nanjing 211106,China;3.State Key Laboratory of Smart Grid Protection and Control,Nanjing 211106,China;4.State Grid Suzhou Power Supply Company,Suzhou 215004,China)

In order to solve the problem of processing performance of large-scale real-time data in power dispatching and control systems,a cluster based distributed real-time database is designed,which uses distributed technologies to achieve massive data storage and cluster technologies to achieve uniform data access and management.Key technologies of cluster based real-time database are discussed including distributed storage,distributed data location and distributed data access.The problem of flexible slicing,large-scale data storage and fast data locating of real-time data in a power dispatching and control system is also solved.Testing and on-site system verification prove that the cluster based distributed real-time database system is able to achieve high efficient data access and the condition of high reliability of the system is ensured.

This work is supported by State Grid Corporation of China.

cluster;distributed;real-time database;scale-out;dispatching and control system

2017-05-06;

2017-07-26。

上網(wǎng)日期:2017-08-29。

國家電網(wǎng)公司科技項(xiàng)目“物理分布、邏輯統(tǒng)一的調(diào)控系統(tǒng)平臺(tái)廣域分布式數(shù)據(jù)管理關(guān)鍵技術(shù)研究”。

吳慶曦(1984—),男,通信作者，碩士,工程師,主要研究方向:電力系統(tǒng)及其自動(dòng)化。E-mail： wuqingxi@sgepri.sgcc.com.cn

彭 暉(1974—),男,碩士,高級工程師,主要研究方向:電力系統(tǒng)及其自動(dòng)化。

王 瑾(1980—),男,碩士,高級工程師,主要研究方向:電力系統(tǒng)及其自動(dòng)化。

(編輯章黎)