張少波 姚陽春 湛 鋒

電網(wǎng)調(diào)控系統(tǒng)集群分布式實(shí)時(shí)數(shù)據(jù)庫關(guān)鍵技術(shù)

張少波 姚陽春 湛 鋒

（上海思源弘瑞自動(dòng)化有限公司，上海 200240）

隨著特高壓和新能源項(xiàng)目的建設(shè)，需要監(jiān)控的數(shù)據(jù)點(diǎn)數(shù)急劇增多，對(duì)電網(wǎng)監(jiān)控系統(tǒng)的數(shù)據(jù)庫容量和實(shí)時(shí)性要求日益提高。傳統(tǒng)只是作為關(guān)系庫緩存、查找完全依賴Hash算法的實(shí)時(shí)數(shù)據(jù)庫因存在數(shù)據(jù)庫下裝、查找速度均隨數(shù)據(jù)點(diǎn)數(shù)增多而變慢的問題而面臨較大挑戰(zhàn)。本文分析電網(wǎng)調(diào)控系統(tǒng)中實(shí)時(shí)數(shù)據(jù)庫的實(shí)時(shí)性和一致性這兩個(gè)核心問題，通過對(duì)象線性轉(zhuǎn)換定位、指針級(jí)緊耦合訪問等方案解決實(shí)時(shí)性的問題，通過增加數(shù)據(jù)版本、支持增量和全量同步等方案解決一致性的問題。在包含60多個(gè)計(jì)算機(jī)節(jié)點(diǎn)、200多萬監(jiān)控?cái)?shù)據(jù)點(diǎn)的地區(qū)級(jí)配電網(wǎng)主站項(xiàng)目的工程實(shí)踐中驗(yàn)證了上述方案的可行性。

實(shí)時(shí)性；緊耦合；分布式；一致性；數(shù)據(jù)庫管理系統(tǒng)（DBMS）

0 引言

隨著特高壓交直流混合電網(wǎng)的大規(guī)模建設(shè)、新能源發(fā)電的大規(guī)模接入和低碳智能電網(wǎng)建設(shè)的加速推進(jìn)，電力實(shí)時(shí)數(shù)據(jù)采集的范圍和規(guī)模不斷擴(kuò)大，監(jiān)控系統(tǒng)采集的數(shù)據(jù)量不斷增加，數(shù)據(jù)規(guī)模已突破百萬級(jí)并向千萬級(jí)別發(fā)展，這對(duì)調(diào)控系統(tǒng)的數(shù)據(jù)庫管理系統(tǒng)（database management system, DBMS）的數(shù)據(jù)存儲(chǔ)容量和處理效率提出了更高的要求。

目前，行業(yè)內(nèi)廠家通常采用“基于關(guān)系數(shù)據(jù)庫的實(shí)時(shí)數(shù)據(jù)庫技術(shù)路線”[1]，即在關(guān)系庫的基礎(chǔ)上采用一些加速處理方法（如基于cache的內(nèi)存共享或基于Hash表的內(nèi)存共享），以滿足系統(tǒng)對(duì)數(shù)據(jù)處理和存儲(chǔ)的實(shí)時(shí)性要求，其本質(zhì)上是以關(guān)系數(shù)據(jù)庫為核心的集中式DBMS，這制約了大型電網(wǎng)調(diào)控系統(tǒng)的開發(fā)升級(jí)，因此設(shè)計(jì)獨(dú)立、完善的分布式實(shí)時(shí)數(shù)據(jù)庫管理系統(tǒng)非常必要。

近年來，互聯(lián)網(wǎng)、大數(shù)據(jù)的蓬勃發(fā)展催生了一批支持集群甚至不同數(shù)據(jù)中心的分布式并行數(shù)據(jù)庫。以BigTable、Cassandra、MongoDB為代表的NoSQL數(shù)據(jù)庫[2]，通過弱化數(shù)據(jù)一致性要求，以獲得更強(qiáng)的系統(tǒng)擴(kuò)展能力和系統(tǒng)可用性；以VbltDB、Spanner、MemSQL為代表的NoSQL數(shù)據(jù)庫，通過貼近應(yīng)用的設(shè)計(jì)來獲得更好的性能和擴(kuò)展能力。雖然這些分布式DBMS因無法滿足電網(wǎng)調(diào)控系統(tǒng)對(duì)實(shí)時(shí)性的要求而不能直接使用，但為調(diào)控系統(tǒng)集群分布式DBMS的實(shí)現(xiàn)提供了有益的參考[3-4]。

鑒于此，本文圍繞分布式數(shù)據(jù)庫訪問的實(shí)時(shí)性和數(shù)據(jù)一致性問題，設(shè)計(jì)一套面向電網(wǎng)監(jiān)控系統(tǒng)的集群分布式實(shí)時(shí)數(shù)據(jù)庫，在某地區(qū)配電網(wǎng)自動(dòng)化主站系統(tǒng)的工程實(shí)踐中對(duì)本文所提方案的有效性進(jìn)行驗(yàn)證。

1 監(jiān)控系統(tǒng)的應(yīng)用特點(diǎn)

電力監(jiān)控自動(dòng)化系統(tǒng)是最典型的工業(yè)監(jiān)控系統(tǒng)，實(shí)時(shí)數(shù)據(jù)庫管理系統(tǒng)是其核心支撐平臺(tái)，實(shí)時(shí)數(shù)據(jù)庫管理系統(tǒng)的實(shí)時(shí)性、可靠性、擴(kuò)展性、開放性和穩(wěn)定性，直接決定了整個(gè)系統(tǒng)的性能。

1）系統(tǒng)實(shí)時(shí)性

電力實(shí)時(shí)監(jiān)視系統(tǒng)要求應(yīng)用軟件具有很高的數(shù)據(jù)處理速度和控制響應(yīng)速度，特別是當(dāng)電力系統(tǒng)發(fā)生突發(fā)異常事件時(shí)，短時(shí)間內(nèi)要接收、記錄、處理、報(bào)告大量事件。而分析類應(yīng)用（狀態(tài)估計(jì)、在線潮流等）的矩陣和迭代計(jì)算量大，對(duì)于300個(gè)計(jì)算節(jié)點(diǎn)的中等規(guī)模電網(wǎng)，如果數(shù)據(jù)庫訪問速度能達(dá)到500萬次/s，完成狀態(tài)估計(jì)全過程的時(shí)間接近1s，如果訪問速度只有10萬次/s，則時(shí)間將超過5s，此時(shí)該軟件已喪失實(shí)時(shí)性和可用性[5-8]。由此可見，數(shù)據(jù)庫訪問的實(shí)時(shí)性對(duì)監(jiān)控系統(tǒng)特別重要，它直接決定了整個(gè)系統(tǒng)是否可用。

2）系統(tǒng)可靠性

電力監(jiān)控自動(dòng)化系統(tǒng)是電網(wǎng)運(yùn)行的控制中樞，對(duì)其可靠性要求極高，基于分布式的一主多備架構(gòu)，為提升系統(tǒng)可靠性提供新的解決方案。

3）系統(tǒng)擴(kuò)展性

分布式存儲(chǔ)技術(shù)將海量數(shù)據(jù)分散存儲(chǔ)在多臺(tái)服務(wù)器，并對(duì)其進(jìn)行統(tǒng)一管理，既能充分挖掘多服務(wù)器的處理能力，又能實(shí)現(xiàn)處理能力的水平擴(kuò)展。

4）數(shù)據(jù)庫一致性

DBMS需根據(jù)各類數(shù)據(jù)的特征，實(shí)現(xiàn)這些數(shù)據(jù)在系統(tǒng)維護(hù)、運(yùn)行階段增刪和更新操作的自動(dòng)同步，確保數(shù)據(jù)一致性，以簡(jiǎn)化上層應(yīng)用程序的設(shè)計(jì)開發(fā)，是實(shí)現(xiàn)調(diào)控系統(tǒng)分布式集群部署的基礎(chǔ)[9]。

因此，調(diào)控系統(tǒng)的分布式實(shí)時(shí)數(shù)據(jù)庫管理系統(tǒng)的設(shè)計(jì)，應(yīng)以實(shí)時(shí)性為基礎(chǔ)，以擴(kuò)展性和數(shù)據(jù)一致性為目標(biāo)，基于簡(jiǎn)單、實(shí)用、穩(wěn)定的原則，盡可能地提升系統(tǒng)的可用性。

2 實(shí)時(shí)性關(guān)鍵技術(shù)

調(diào)控系統(tǒng)實(shí)時(shí)數(shù)據(jù)庫中存儲(chǔ)以電網(wǎng)模型為骨架的當(dāng)前運(yùn)行斷面數(shù)據(jù)，其數(shù)據(jù)實(shí)時(shí)刷新，應(yīng)用程序需實(shí)現(xiàn)對(duì)全斷面數(shù)據(jù)的秒級(jí)掃描訪問，才能滿足電網(wǎng)監(jiān)控的實(shí)時(shí)性要求。下面針對(duì)實(shí)時(shí)性的關(guān)鍵技術(shù)進(jìn)行詳細(xì)介紹。

2.1 對(duì)象快速定位

本數(shù)據(jù)庫設(shè)計(jì)一種高效的數(shù)據(jù)訪問機(jī)制：表中每一個(gè)對(duì)象都有一個(gè)惟一的ID（稱為OID）。數(shù)據(jù)庫由對(duì)象索引區(qū)和對(duì)象數(shù)據(jù)區(qū)組成，用戶需要的表對(duì)象都存放在對(duì)象數(shù)據(jù)區(qū)。數(shù)據(jù)庫中每個(gè)對(duì)象都對(duì)應(yīng)一個(gè)索引項(xiàng)，索引項(xiàng)中記錄對(duì)應(yīng)對(duì)象的物理位置，即對(duì)象在數(shù)組中的下標(biāo)。對(duì)象OID由所屬表的ID、對(duì)應(yīng)的索引項(xiàng)在索引數(shù)組中的下標(biāo)、對(duì)象所占內(nèi)存單元/數(shù)組元素的使用次數(shù)三部分組成。通過對(duì)象OID中的索引下標(biāo)可以直接定位該對(duì)象對(duì)應(yīng)索引項(xiàng)的下標(biāo)，再通過索引項(xiàng)中記錄的對(duì)象下標(biāo)即可直接定位對(duì)象物理存儲(chǔ)位置。通過數(shù)組元素的使用次數(shù)累加，實(shí)現(xiàn)索引下標(biāo)的復(fù)用，確保對(duì)象OID的惟一。整個(gè)算法是一種線性轉(zhuǎn)換的算法，數(shù)據(jù)查找的時(shí)間復(fù)雜度為O(1)。OID定位如圖1所示。

圖1 OID定位

此外，為了提高數(shù)據(jù)增刪的性能，通過類似鏈表的方式對(duì)空閑索引項(xiàng)進(jìn)行管理。索引項(xiàng)增刪管理的基本原理如圖2所示。

圖2 索引項(xiàng)增刪管理

由上述內(nèi)容可知，根據(jù)OID可直接計(jì)算出對(duì)象在實(shí)時(shí)庫內(nèi)存中的存儲(chǔ)地址，實(shí)現(xiàn)了類似對(duì)象指針的功能?；贠ID機(jī)制可實(shí)現(xiàn)對(duì)象間復(fù)雜關(guān)聯(lián)關(guān)系的簡(jiǎn)潔高效表達(dá)，支持面向?qū)ο蟮臄?shù)據(jù)庫模型。該機(jī)制具有如下優(yōu)點(diǎn)：

1）自動(dòng)維護(hù)。對(duì)象OID由實(shí)時(shí)數(shù)據(jù)庫管理系統(tǒng)（real-time database management system, RTDBMS）自動(dòng)維護(hù)，在插入時(shí)自動(dòng)生成，在刪除時(shí)自動(dòng)釋放。

2）惟一性。對(duì)象插入時(shí)使用計(jì)數(shù)自動(dòng)加一，確保對(duì)象空間復(fù)用時(shí)OID的惟一性。

3）穩(wěn)定性。對(duì)象OID不會(huì)隨著表中其他對(duì)象的增刪而發(fā)生變化，因此OID雖然是數(shù)據(jù)庫內(nèi)部屬性，但是應(yīng)用程序也可記錄OID并借助OID實(shí)現(xiàn)快速訪問。

4）高效性。通過對(duì)象OID可借助相關(guān)算法直接換算出對(duì)象的物理存儲(chǔ)地址，確保數(shù)據(jù)訪問的實(shí)時(shí)、高效和O(1)的時(shí)間復(fù)雜度。

5）簡(jiǎn)潔性。通過存儲(chǔ)關(guān)聯(lián)對(duì)象的OID，即可表達(dá)對(duì)象間1:1單向引用、1:1雙向引用、1:合成聚集、1:共享聚集等關(guān)聯(lián)關(guān)系，實(shí)現(xiàn)面向?qū)ο蟮臄?shù)據(jù)存儲(chǔ)和訪問。

2.2 層次結(jié)構(gòu)的父子關(guān)系

在本實(shí)時(shí)數(shù)據(jù)庫中，平級(jí)的關(guān)聯(lián)關(guān)系用OID的方式來表示，可以通過OID線性方式定位到被關(guān)聯(lián)對(duì)象的地址，實(shí)現(xiàn)快速定位。對(duì)于層次關(guān)系，如廠站包含間隔，間隔包含設(shè)備，為了提高父子關(guān)系查詢的性能，采取類似于數(shù)據(jù)結(jié)構(gòu)中的樹、鏈表的思路，用等價(jià)于指針的OID來記錄父子、兄弟之間的關(guān)系。相比而言，其他數(shù)據(jù)庫都是通過“查找”的方式來獲取子記錄，而本文中的實(shí)時(shí)數(shù)據(jù)庫是通過“直接獲取”的方式來獲取，從而極大地提高了訪問效率。本數(shù)據(jù)庫通過支持合成聚集、共享聚集、引用關(guān)系，實(shí)現(xiàn)了對(duì)IEC 61970公共信息模型（common information model, CIM）標(biāo)準(zhǔn)的完整支持。

2.3 緊耦合訪問

數(shù)據(jù)庫文件映射到共享內(nèi)存后，進(jìn)程可以以私有內(nèi)存方式來訪問實(shí)時(shí)數(shù)據(jù)庫。按照常規(guī)的數(shù)據(jù)庫訪問思維，進(jìn)程可以定義一個(gè)緩存來接收從數(shù)據(jù)庫/共享內(nèi)存中獲得的數(shù)據(jù)，存在緩存的申請(qǐng)和釋放，以及共享內(nèi)存到緩存之間數(shù)據(jù)的拷貝。

考慮到數(shù)據(jù)庫以共享內(nèi)存的方式可以由進(jìn)程直接訪問，所以完全可以直接訪問內(nèi)存地址，前提是有一個(gè)描述內(nèi)存結(jié)構(gòu)的C++頭文件。用戶通過RTDBMS數(shù)據(jù)庫設(shè)計(jì)工具構(gòu)建實(shí)時(shí)數(shù)據(jù)庫模式時(shí)，工具會(huì)自動(dòng)生成對(duì)應(yīng)的各個(gè)表的C++頭文件，應(yīng)用程序通過數(shù)據(jù)庫提供的訪問接口獲取指定對(duì)象的內(nèi)存地址后，就可以用頭文件中表的類定義實(shí)現(xiàn)字段的高速訪問，這種訪問方式稱為緊耦合訪問。

2.4 快速索引

對(duì)于實(shí)時(shí)數(shù)據(jù)庫記錄的訪問，通常有兩種記錄定位的方式：一種是基于ID的定位；另一種是基于名稱的定位。除了基于OID實(shí)現(xiàn)的對(duì)象ID到對(duì)象地址的換算，還提供了基于Hash算法的附加索引機(jī)制，實(shí)現(xiàn)對(duì)象名稱到對(duì)象地址的快速定位。

3 一致性關(guān)鍵技術(shù)

CAP理論作為分布式系統(tǒng)的理論基礎(chǔ)，闡述了分布式系統(tǒng)的一致性（consistency）、可用性（availability）、分區(qū)容錯(cuò)性（partition tolerance），最多只能同時(shí)實(shí)現(xiàn)兩點(diǎn)，不可能三者兼顧。一般來說，分區(qū)容錯(cuò)是無法避免的，當(dāng)一致性和可用性無法兼顧時(shí)，只能選擇AP，或選擇CP。在一致性和可用性的取舍上，只能根據(jù)應(yīng)用場(chǎng)景選擇合適的方案[10-12]。

傳統(tǒng)關(guān)系數(shù)據(jù)庫如Oracle和MySQL支持準(zhǔn)備階段和提交階段的兩階段提交協(xié)議。準(zhǔn)備階段中事務(wù)管理器給每個(gè)參與者發(fā)送準(zhǔn)備的消息，每個(gè)數(shù)據(jù)庫參與者在本地執(zhí)行事務(wù)，并寫入U(xiǎn)ndo、Redo日志，此時(shí)事務(wù)沒有提交。在提交階段，如果事務(wù)管理器接收到參與者的失敗信息或者超時(shí)，則直接給每個(gè)參與者發(fā)送回滾消息，否則發(fā)送提交消息；參與者根據(jù)事務(wù)管理器的指令執(zhí)行提交或者回滾，并釋放事務(wù)過程中使用的鎖資源。由此可見，在一次數(shù)據(jù)寫的過程中參與者需要阻塞、存在多次交互而響應(yīng)時(shí)間過長(zhǎng)，可能沒有響應(yīng)而需要發(fā)起方等待超時(shí)、發(fā)起方在過程中崩潰等問題。雖然為了解決二階段協(xié)議中的同步阻塞等問題，還有三階段提交協(xié)議，但還是難以避免此過程中的網(wǎng)絡(luò)分區(qū)問題。在其他對(duì)強(qiáng)一致性要求不是特別高的場(chǎng)景，比較普遍的做法是選擇可用性，退而求其次使用最終一致性來保證數(shù)據(jù)安全。

在國(guó)內(nèi)廠家實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)庫的技術(shù)方面，一般會(huì)采用一些不僅為了保持?jǐn)?shù)據(jù)庫一致性的數(shù)據(jù)維護(hù)機(jī)制，如電網(wǎng)模型、參數(shù)等靜態(tài)數(shù)據(jù)有額外一份基于關(guān)系數(shù)據(jù)庫或者文件型數(shù)據(jù)庫的數(shù)據(jù)源（這里統(tǒng)一稱為維護(hù)數(shù)據(jù)庫），即使運(yùn)行的實(shí)時(shí)數(shù)據(jù)庫數(shù)據(jù)出現(xiàn)損壞、不一致的情況，亦可以通過重新下裝/發(fā)布來實(shí)現(xiàn)各個(gè)節(jié)點(diǎn)實(shí)時(shí)數(shù)據(jù)庫的同步。

在數(shù)據(jù)庫的維護(hù)方面，采取先對(duì)維護(hù)數(shù)據(jù)庫進(jìn)行寫操作，成功后再寫運(yùn)行的實(shí)時(shí)數(shù)據(jù)庫；或者只在維護(hù)數(shù)據(jù)庫上進(jìn)行增刪操作，運(yùn)行的數(shù)據(jù)庫上只進(jìn)行更新操作。同時(shí)還會(huì)進(jìn)行數(shù)據(jù)庫的定期備份。這些手段都降低了數(shù)據(jù)不一致的風(fēng)險(xiǎn)。

下面介紹從平臺(tái)角度為了盡可能降低數(shù)據(jù)不一致采取的策略，主要包括數(shù)據(jù)版本實(shí)時(shí)比較、全同步和增量同步相結(jié)合、數(shù)據(jù)庫寫日志在非同步節(jié)點(diǎn)上的redo操作、在節(jié)點(diǎn)數(shù)少的情況下用傳輸控制協(xié)議（transmission control protocol, TCP）代替用戶數(shù)據(jù)報(bào)協(xié)議（user datagram protocol, UDP）實(shí)現(xiàn)數(shù)據(jù)庫同步報(bào)文的發(fā)送等。

在分布式實(shí)時(shí)數(shù)據(jù)庫的環(huán)境中，系統(tǒng)中存在一個(gè)作為基準(zhǔn)的庫和多個(gè)被同步的庫，基準(zhǔn)庫稱為主本（庫），其他庫稱為副本（庫）。本實(shí)時(shí)數(shù)據(jù)庫基于嚴(yán)格的數(shù)據(jù)版本比較，這里的版本主要包括全局的表示表結(jié)構(gòu)信息的模式版本，以及各個(gè)表的數(shù)據(jù)版本。表的數(shù)據(jù)版本包含增刪版本、當(dāng)前對(duì)象數(shù)、首空閑索引下標(biāo)、更新版本。該版本信息表征了各表的對(duì)象存儲(chǔ)狀況，反映了主、副本同步過程中操作日志丟失的情況，為后續(xù)同步過程主本庫的處理提供了依據(jù)。

實(shí)時(shí)數(shù)據(jù)庫的主本和副本之間不一致后進(jìn)行的同步處理稱為一致性處理，分為數(shù)據(jù)庫文件級(jí)和日志級(jí)的同步處理，即數(shù)據(jù)庫的全同步和增量同步。從一致性處理的時(shí)間階段來劃分，又可以分為啟動(dòng)階段和運(yùn)行階段的一致性處理。在啟動(dòng)階段，如果副本和主本之間的版本不一致，則進(jìn)行數(shù)據(jù)庫文件級(jí)的同步處理。在運(yùn)行階段，應(yīng)用程序調(diào)用實(shí)時(shí)數(shù)據(jù)庫的寫接口進(jìn)行數(shù)據(jù)庫的增刪改操作，該寫操作報(bào)文發(fā)給數(shù)據(jù)庫主本來執(zhí)行，并滾動(dòng)緩存當(dāng)前帶數(shù)據(jù)版本的寫操作，報(bào)文（稱為同步報(bào)文）緩存的多條同步報(bào)文稱為操作日志，緩存數(shù)量可根據(jù)時(shí)間和數(shù)量動(dòng)態(tài)調(diào)整。主本執(zhí)行寫操作后，接口就立即返回給應(yīng)用程序成功與否，然后主本以異步方式向各個(gè)副本發(fā)送同步報(bào)文。副本收到同步報(bào)文后，發(fā)現(xiàn)數(shù)據(jù)版本和本機(jī)一致就執(zhí)行寫操作，若不一致或者副本執(zhí)行失敗，則主動(dòng)向主本請(qǐng)求執(zhí)行一致性處理。主本收到一致性處理請(qǐng)求后，如果請(qǐng)求的日志在緩存的日志范圍內(nèi)，則重發(fā)操作日志，否則執(zhí)行數(shù)據(jù)庫文件級(jí)的同步處理。

可見，采用這種方式，應(yīng)用程序?qū)?shí)時(shí)數(shù)據(jù)庫的訪問不受一致性處理過程的干擾，也不受副本節(jié)點(diǎn)數(shù)量的影響，確保了應(yīng)用程序調(diào)用實(shí)時(shí)數(shù)據(jù)庫接口的實(shí)時(shí)性。數(shù)據(jù)庫日志級(jí)和文件級(jí)一致性處理流程如圖3和圖4所示。

圖3 日志級(jí)一致性處理流程

4 實(shí)現(xiàn)和驗(yàn)證

基于上述設(shè)計(jì)思想，開發(fā)一套應(yīng)用于電力實(shí)時(shí)監(jiān)控系統(tǒng)的分布式實(shí)時(shí)數(shù)據(jù)庫管理系統(tǒng)，包括多層次訪問接口和完善的配套工具。數(shù)據(jù)庫提供本地緊耦合訪問接口、網(wǎng)絡(luò)層訪問接口和應(yīng)用層訪問接口。系統(tǒng)提供了高性能的數(shù)據(jù)庫服務(wù)，通過多線程并發(fā)管理和元數(shù)據(jù)自動(dòng)加載，極大提高了數(shù)據(jù)庫的讀寫性能。同時(shí)，為了實(shí)現(xiàn)完整的數(shù)據(jù)庫系統(tǒng)生態(tài)，系統(tǒng)提供了配套的數(shù)據(jù)庫定義工具、數(shù)據(jù)庫編輯工具、數(shù)據(jù)庫檢索工具。

圖4 文件級(jí)一致性處理流程

在實(shí)時(shí)數(shù)據(jù)庫的性能方面，進(jìn)行不同數(shù)據(jù)點(diǎn)數(shù)情況下的實(shí)時(shí)庫讀寫性能測(cè)試。測(cè)試環(huán)境為Intel(R) Core(TM) i5—10210U CPU@1.60GHz的CPU，16G內(nèi)存，1T固態(tài)硬盤（solid state disk, SSD），Windows10操作系統(tǒng)的便攜式計(jì)算機(jī)。單機(jī)實(shí)時(shí)庫讀寫性能的測(cè)試結(jié)果見表1。

表1 單機(jī)實(shí)時(shí)庫讀寫性能測(cè)試結(jié)果

從測(cè)試結(jié)果可知，實(shí)時(shí)庫的讀寫性能優(yōu)異，而且讀寫耗時(shí)基本不隨數(shù)據(jù)點(diǎn)數(shù)的增加而變化。

在實(shí)際系統(tǒng)中，實(shí)時(shí)庫均采用集群方式部署在多個(gè)節(jié)點(diǎn)，因此實(shí)時(shí)庫主、副本間的同步性能也是關(guān)注的重點(diǎn)。下面測(cè)試在不同節(jié)點(diǎn)規(guī)模場(chǎng)景下，實(shí)時(shí)庫更新操作時(shí)系統(tǒng)總體數(shù)據(jù)吞吐量的情況，測(cè)試機(jī)器性能同上。多機(jī)橫向擴(kuò)展實(shí)時(shí)庫更新性能測(cè)試結(jié)果見表2。

由此可見，將數(shù)據(jù)橫向擴(kuò)展方式部署在多個(gè)節(jié)點(diǎn)上，因?yàn)槊總€(gè)節(jié)點(diǎn)上的實(shí)時(shí)庫是獨(dú)立更新的，理論性能應(yīng)該接近線性擴(kuò)展，實(shí)際測(cè)試的結(jié)果也基本和預(yù)想吻合，這說明實(shí)時(shí)庫的橫向擴(kuò)展具有很好的線性度，在解決數(shù)據(jù)庫容量急劇擴(kuò)大的需求時(shí)具備良好的應(yīng)用前景。

表2 多機(jī)橫向擴(kuò)展實(shí)時(shí)庫更新性能測(cè)試結(jié)果

基于該實(shí)時(shí)數(shù)據(jù)庫開發(fā)了某地區(qū)級(jí)配電網(wǎng)自動(dòng)化主站系統(tǒng)，對(duì)市區(qū)及13個(gè)縣的配電網(wǎng)進(jìn)行調(diào)控。系統(tǒng)由60多個(gè)節(jié)點(diǎn)組成，監(jiān)控?cái)?shù)據(jù)點(diǎn)數(shù)達(dá)200萬，投運(yùn)兩年多以來，系統(tǒng)運(yùn)行穩(wěn)定可靠，性能優(yōu)異，驗(yàn)證了上述方案的可行性。

5 結(jié)論

實(shí)時(shí)數(shù)據(jù)庫是電網(wǎng)監(jiān)控系統(tǒng)軟件平臺(tái)中的核心、基礎(chǔ)組件，平臺(tái)和應(yīng)用的數(shù)據(jù)都存放在實(shí)時(shí)數(shù)據(jù)庫中。電網(wǎng)監(jiān)控系統(tǒng)的性能要求和分布式特點(diǎn)決定了實(shí)時(shí)數(shù)據(jù)庫的實(shí)時(shí)性和一致性是其最重要的特征。在這兩個(gè)問題上，本文充分考慮了相關(guān)的解決方案，同時(shí)采用緊耦合訪問、原生的層次結(jié)構(gòu)都極大提高了系統(tǒng)的性能，以及開發(fā)、維護(hù)、展示的方便性。

實(shí)時(shí)庫的現(xiàn)有功能已經(jīng)很好地滿足了電力實(shí)時(shí)監(jiān)控的需求，在此基礎(chǔ)上，下一步將在以下方面展開工作：

1）實(shí)時(shí)庫的橫向和縱向裁剪?？紤]橫向從表、縱向從字段角度進(jìn)行數(shù)據(jù)庫的裁剪，并支持這些裁剪后的庫的共享內(nèi)存加載和與完整庫方式一樣的程序訪問。

2）考慮到電網(wǎng)三、四區(qū)的Web也需要訪問實(shí)時(shí)庫中的數(shù)據(jù)，因此提供了多種其他編程語言的接口，實(shí)現(xiàn)遠(yuǎn)程過程調(diào)用（remote procedure call, RPC）方式的實(shí)時(shí)庫直接訪問。圖數(shù)據(jù)庫的數(shù)據(jù)模型與電力系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)具有自然的相似性，可對(duì)電力系統(tǒng)拓?fù)浣Y(jié)構(gòu)等進(jìn)行直觀表達(dá)，且更易擴(kuò)展，也是后續(xù)發(fā)展的方向。

按照本文方案實(shí)現(xiàn)的實(shí)時(shí)數(shù)據(jù)庫滿足了電網(wǎng)監(jiān)控的需求，隨著數(shù)據(jù)庫容量的擴(kuò)大、browser/server和client/server開發(fā)的相互融合，實(shí)時(shí)數(shù)據(jù)庫具有較好的擴(kuò)展性和廣泛適應(yīng)性，應(yīng)用前景良好。

[1] 劉士亞, 郭靜, 岑釗華. 城市電網(wǎng)監(jiān)控應(yīng)急系統(tǒng)的設(shè)計(jì)[J]. 電氣技術(shù), 2021, 22(2): 11-16.

[2] 李靜, 馬超, 黃鏡宇, 等. 跨平臺(tái)信息系統(tǒng)數(shù)據(jù)遷移技術(shù)研究與實(shí)現(xiàn)[J]. 電氣技術(shù), 2019, 20(10): 70-74.

[3] 劉廣一, 戴仁昶, 路軼, 等. 基于圖計(jì)算的能量管理系統(tǒng)實(shí)時(shí)網(wǎng)絡(luò)分析應(yīng)用研發(fā)[J]. 電工技術(shù)學(xué)報(bào), 2020, 35(11): 2339-2348.

[4] 孔令國(guó), 蔡國(guó)偉, 李龍飛, 等. 風(fēng)光氫綜合能源系統(tǒng)在線能量調(diào)控策略與實(shí)驗(yàn)平臺(tái)搭建[J]. 電工技術(shù)學(xué)報(bào), 2018, 33(14): 3371-3384.

[5] 辛耀中, 石俊杰, 周京陽, 等. 智能電網(wǎng)調(diào)度控制系統(tǒng)現(xiàn)狀與技術(shù)展望[J]. 電力系統(tǒng)自動(dòng)化, 2015, 39(1): 2-8.

[6] 陸杏全. 能量管理系統(tǒng)的實(shí)時(shí)數(shù)據(jù)庫技術(shù)[J]. 電力系統(tǒng)自動(dòng)化, 2003, 27(6): 1-4.

[7] 姚建國(guó), 楊勝春, 單茂華. 面向未來互聯(lián)電網(wǎng)的調(diào)度技術(shù)支持系統(tǒng)架構(gòu)思考[J]. 電力系統(tǒng)自動(dòng)化, 2013, 37(21): 52-59.

[8] 吳慶曦, 彭暉, 王瑾, 等. 電網(wǎng)調(diào)控集群分布式實(shí)時(shí)數(shù)據(jù)庫的設(shè)計(jì)與關(guān)鍵技術(shù)[J]. 電力系統(tǒng)自動(dòng)化, 2017, 41(22): 89-95.

[9] 王寧, 葉鋒, 許文慶, 等. 支持CIM的實(shí)時(shí)對(duì)象數(shù)據(jù)庫管理系統(tǒng)[J]. 電力系統(tǒng)自動(dòng)化, 2006, 30(16): 93-96, 101.

[10] 朱濤, 郭進(jìn)偉, 周歡, 等. 分布式數(shù)據(jù)庫中一致性與可用性的關(guān)系[J]. 軟件學(xué)報(bào), 2018, 29(1): 131-149.

[11] 王嘉豪, 蔡鵬, 錢衛(wèi)寧, 等. 集群數(shù)據(jù)庫系統(tǒng)的日志復(fù)制和故障恢復(fù)[J]. 軟件學(xué)報(bào), 2017, 28(3): 476-489.

[12] 趙春揚(yáng), 肖冰, 郭進(jìn)偉, 等. 一致性協(xié)議在分布式數(shù)據(jù)庫系統(tǒng)中的應(yīng)用[J]. 華東師范大學(xué)學(xué)報(bào)(自然科學(xué)版), 2018(5): 91-106.

Key technologies of cluster based distributed real-time database for power dispatching and control system

ZHANG Shaobo YAO Yangchun ZHAN Feng

(Shanghai SHR Automation Co., Ltd, Shanghai 200240)

With the construction of ultra-high voltage and new energy projects, the number of data points that need to be monitored has increased dramatically, and the database capacity and real-time requirements of the power grid monitoring system are increasing. The problem that the real-time database, which is only used as the relational database cache and relies entirely on the Hash algorithm, is installed under the database and the search speed slows down with the increase of data points, is faced with greater challenges. This paper analyzes the real-time and consistency of the real-time database in the power grid regulation and control system. The real-time problem is solved by means of object linear transformation and positioning, pointer level tight coupling access and other solutions, and the consistency problem is solved by adding data versions, supporting incremental and full synchronization. The feasibility of the above scheme have been verified in the engineering practice of the regional distribution network master station project, which includes more than 60 computer nodes and more than 2 million monitoring data points.

real-time; tightly-coupled; distributed; consistency; database management system (DBMS)

2022-11-03

2022-12-02

張少波（1975—），男，湖北天門人，碩士，高級(jí)工程師，主要從事電力系統(tǒng)人工智能、計(jì)算機(jī)應(yīng)用方面的研究工作。