占亮亮，周錫瑯

（國網電力科學研究院南京南瑞集團公司，江蘇南京，210003）

小灣水電站工程安全監(jiān)測自動化系統(tǒng)性能優(yōu)化

占亮亮，周錫瑯

（國網電力科學研究院南京南瑞集團公司，江蘇南京，210003）

介紹了小灣水電站工程安全監(jiān)測自動化系統(tǒng)的當前運行狀況，通過對系統(tǒng)運行緩慢進行原因分析，提出了系統(tǒng)優(yōu)化方案，并進行實施和測試。優(yōu)化后的系統(tǒng)運行速度較優(yōu)化前有較大提高，且能達到預先提出的性能目標。關鍵詞：性能優(yōu)化；數(shù)據(jù)分區(qū)；安全監(jiān)測

0 概述

小灣水電站工程是國家實施西部大開發(fā)、“西電東送”戰(zhàn)略的標志性工程，位于云南省西部南澗縣與鳳慶縣交界的瀾滄江中游河段，系瀾滄江中下游河段規(guī)劃的八個梯級中的第二級。工程屬一等大（1）型工程，以發(fā)電為主，兼有防洪、灌溉、養(yǎng)殖和旅游等綜合利用效益。樞紐工程由混凝土雙曲拱壩（壩高294.5 m）、壩后水墊塘及二道壩、左岸泄洪洞及右岸地下引水發(fā)電系統(tǒng)組成。水庫總庫容為149.14億m3，電站總裝機容量4 200 MW。

小灣水電站樞紐區(qū)工程安全監(jiān)測自動化系統(tǒng)由南京南瑞集團公司實施,目前包括左岸拱壩、右岸拱壩、左岸壩肩抗力體、右岸壩肩抗力體、地下引水發(fā)電系統(tǒng)洞室群、高邊坡監(jiān)測等6個區(qū)域子系統(tǒng)。其中納入自動化系統(tǒng)的各類監(jiān)測儀器近6 000支,自動化測點8 463個，人工及虛擬測點3 260個，測點總數(shù)共計11 723個。數(shù)據(jù)時間從2008年12月-2013年11月，約5年的測值記錄總數(shù)約4千萬條。以每個測點平均每天2-3條的數(shù)據(jù)計算，一年大概有近1千萬條數(shù)據(jù)需要存儲入庫。

由于系統(tǒng)測點之多，數(shù)據(jù)量之大，導致工程安全監(jiān)測自動化系統(tǒng)運行緩慢。日常使用系統(tǒng)進行數(shù)據(jù)查詢、成果分析和數(shù)據(jù)輸出時，速度慢、耗時長，嚴重影響系統(tǒng)可用性和日常工作。因此，需要對系統(tǒng)性能進行全面檢測分析，并進行相關的性能優(yōu)化。

1 優(yōu)化目標

本著系統(tǒng)運行可靠性、高效性和日常工作效率的需要，主要對日常數(shù)據(jù)查詢、成果分析和數(shù)據(jù)輸出效率以及系統(tǒng)后臺性能進行優(yōu)化。

具體需要優(yōu)化的內容包括：提高數(shù)據(jù)表格查詢速度、提高過程線查詢速度、提高報表查詢速度、提高前臺涉及數(shù)據(jù)查詢業(yè)務應用的速度、提高后臺涉及數(shù)據(jù)查詢的接口函數(shù)速度。具體優(yōu)化效率目標見表1。

2 系統(tǒng)分析

根據(jù)前面提出的優(yōu)化目標及要求，需要對系統(tǒng)應用進行全面分析。通常這種造成應用程序運行緩慢的原因，主要可以從應用程序自身問題、數(shù)據(jù)庫問題和硬件設備問題去查找分析。根據(jù)系統(tǒng)運行現(xiàn)狀初步分析及以往經驗，首先排除硬件設備的問題，重點放在應用程序和數(shù)據(jù)庫性能兩方面問題查找。

表1 優(yōu)化效率目標表Table 1 Goals of the optimized efficiency

通過對系統(tǒng)應用的詳細分析，找出系統(tǒng)各關鍵功能節(jié)點以及可能耗時的代碼位置，然后在這些關鍵位置加入調試代碼，并輸出每個功能節(jié)點的耗時情況。系統(tǒng)功能運行結構見圖1。

圖1 系統(tǒng)功能運行結構圖Fig.1 The functional structure of the system

通過對輸出的各功能節(jié)點耗時情況進行分析，發(fā)現(xiàn)系統(tǒng)主要在數(shù)據(jù)表查詢耗時較長，其中耗時長的部分主要是在ADO（數(shù)據(jù)庫訪問組件）訪問數(shù)據(jù)庫查詢數(shù)據(jù)的過程。耗時分析見圖2。

為了檢查是否是ADO數(shù)據(jù)訪問組件造成的長耗時,通過SQL Server自帶的查詢分析器進行數(shù)據(jù)查詢分析測試，發(fā)現(xiàn)比前面測試的快一些，但耗時也非常長。進一步分析發(fā)現(xiàn)，測值數(shù)據(jù)表中的數(shù)據(jù)非常龐大，有近4千萬的數(shù)據(jù)。單表4千萬的數(shù)據(jù)非常大，查詢效率慢也可想而之。根據(jù)以往經驗分析，單表的數(shù)據(jù)量超過300萬條（這個數(shù)據(jù)會根據(jù)硬件的不同而會有所不同）可能會影響數(shù)據(jù)查詢速度。應用程序中也有一些不必要的查詢開銷和SQL語句可以優(yōu)化。綜上分析，需要對應用程序進行優(yōu)化，重點需要對測量數(shù)據(jù)表進行優(yōu)化處理。

圖2 數(shù)據(jù)查詢耗時分析Fig.2 Analysis of the time consumed in data query

3 系統(tǒng)優(yōu)化設計

根據(jù)系統(tǒng)分析結果，確定了主要需要優(yōu)化的內容，包括應用程序優(yōu)化和數(shù)據(jù)庫優(yōu)化。

3.1 應用程序優(yōu)化方案

（1）批量查詢測點信息，將原來單條測點信息查詢的代碼改為多點批量查詢。

（2）限定特征值測點查詢范圍，原來時間選擇框默認打開時會查詢系統(tǒng)所有測值的最大最小時間，改為按實際需要查詢最大最小時間，只當選擇“全部”時才查詢當前傳入的測點時間范圍，以提高用戶體驗。

（3）SQL查詢語句優(yōu)化，按照SQL查詢語句優(yōu)化標準，比如原來數(shù)據(jù)查詢用到“in”查詢，拆為“=”查詢，包括一些嵌套查詢等。

3.2 數(shù)據(jù)庫優(yōu)化方案

通過分析測值數(shù)據(jù)表數(shù)據(jù)發(fā)現(xiàn)，測值記錄數(shù)約為4千萬條，數(shù)據(jù)空間約5G，索引空間約10G。因此，需要對數(shù)據(jù)進行拆分表存儲，通過拆分將原來大數(shù)據(jù)表拆分成多張小的子表。拆分表的方式有以下兩種。

3.2.1 數(shù)據(jù)表拆子表方式

原來數(shù)據(jù)存儲在一張表中，數(shù)據(jù)非常龐大，需要將原來數(shù)據(jù)表分成多張小的子表（DataMea1, DataMea3,DataMea3,DataMeaN…），然后通過視圖方式將這些表組合在一起。這種方式將原來在一張大表中的查詢操作分擔到每張小的子表中，能分擔大表的檢索壓力，但它還是必須遍歷每張子表，并將數(shù)據(jù)組裝在一起，效果可能并不會提高太多，而且對數(shù)據(jù)庫維護工作量較大（需要在視圖中創(chuàng)建“增”、“刪”、“改”觸發(fā)器），因此，還需要用數(shù)據(jù)表分區(qū)的方式。

3.2.2 數(shù)據(jù)表分區(qū)方式

為了滿足非常大的數(shù)據(jù)庫的管理，需要創(chuàng)建和使用分區(qū)表和分區(qū)索引，分區(qū)表允許將數(shù)據(jù)分成分區(qū)甚至子分區(qū)的更小的、更好管理的塊。每個分區(qū)可以單獨管理，可以不依賴其他分區(qū)而單獨發(fā)揮作用，因此可以提供更有利于可用性和性能的結構。SQL Server企業(yè)版自帶數(shù)據(jù)庫文件分組和數(shù)據(jù)表分區(qū)功能，通過SQL Server企業(yè)版的表分區(qū)功能，將原數(shù)據(jù)表通過分區(qū)函數(shù)進行分區(qū)并存儲到不同的文件組中。由于數(shù)據(jù)索引文件較大，需要將索引文件和數(shù)據(jù)文件一同分區(qū)。系統(tǒng)共有測點11 723個，每個測點每天有2～3條測值數(shù)據(jù)，數(shù)據(jù)查詢時可能會進行1天、1年或多年的查詢，查詢時長不固定。如果按數(shù)據(jù)時間進行分區(qū)并不合適，需要按測點編號及每個區(qū)500個測點進行分區(qū)。

分區(qū)函數(shù)及方案如下：

分區(qū)后的數(shù)據(jù)庫結構見圖3。

圖3 數(shù)據(jù)庫分區(qū)后結構Fig.3 The structure of the database after partition

4 優(yōu)化測試

4.1 測試環(huán)境

（1）數(shù)據(jù)庫安裝在普通臺式機上，計算機硬件及軟件配置如下：

CPU：Intel(R)Xeon(R)1.86GHz

內存：2GB

操作系統(tǒng)：Windows Server 2003

數(shù)據(jù)庫：SQL Server 2005 Enterprise Edition

（2）安全監(jiān)測系統(tǒng)軟件安裝筆記本上，計算機硬件及軟件配置如下：

CPU：Intel(R)Core(TM)2 Duo 1.80GHz

內存：2GB

操作系統(tǒng)：Windows XP

數(shù)據(jù)庫：SQL Server 2005 Enterprise Edition

在數(shù)據(jù)庫機器中安裝“安全監(jiān)測系統(tǒng)”所需數(shù)據(jù)庫，數(shù)據(jù)庫按前面設計的數(shù)據(jù)表分區(qū)方式創(chuàng)建，并將原來數(shù)據(jù)導入到新的分區(qū)庫中。創(chuàng)建完成后的數(shù)據(jù)庫文件分組結果見圖4。

4.2 測試內容

參照前面的系統(tǒng)分析和優(yōu)化目標，需要對原來數(shù)據(jù)庫和新的分區(qū)數(shù)據(jù)庫分別進行測試，本次測試功能模塊主要有以下幾項：

（1）單點過程線，查詢單點過程線“C4-A15-PL-05”1天、1年和所有數(shù)據(jù)，計算查詢時間。

（2）多點過程線，查詢多點過程線“29號壩段1090以下溫度”的1天、1年和所有數(shù)據(jù)，計算查詢時間。

圖4 數(shù)據(jù)表文件分組結果圖Fig.4 Groups of the data files

（3）單點數(shù)據(jù)表格，查詢單點表格“C4-A15-PL-05”的1天、1年和所有數(shù)據(jù)，計算查詢時間。

（4）多點數(shù)據(jù)表格，查詢多點表格“C4-A15-C-01到C4-A15-C-07”的1天、1年和所有數(shù)據(jù)，計算查詢時間。

（5）月報表，查詢“壩基多點位移計”2012年1月報表，計算查詢時間。

（6）年報表，查詢“水平位移統(tǒng)計表”2012年報表，計算查詢時間。

4.3 測試方法

根據(jù)系統(tǒng)分析及測試內容，在各功能模塊長耗時的位置增加時間輸出調試代碼，計算每個測試內容的耗時情況。首先對原始數(shù)據(jù)庫進行測試，然后再對分區(qū)數(shù)據(jù)庫進行測試。每個功能模塊都進行4

表2 耗時測試結果表Table 2 Result of the time-consuming test

次以上的測試，且每次測試都清除數(shù)據(jù)庫緩存，確保測試結果的真實性和可用性，測試完后取耗時第二長的時間作為樣本。

4.4 測試結果

通過設計的優(yōu)化方案及對照測試方法和測試內容，各功能模塊測試后，計算每個功能模塊的耗時情況，耗時測試結果見表2。從表2可以看出，通過分區(qū)后的數(shù)據(jù)查詢速度較以前有巨大的提高，且能滿足優(yōu)化目標。

4.5 總結與建議

經過對應用程序及數(shù)據(jù)庫的分區(qū)優(yōu)化，系統(tǒng)運行速度較以前有較大提高，已能滿足提出的性能目標要求。暫時測試的數(shù)據(jù)是5年4千萬條左右，預計10年的數(shù)據(jù)在8千萬條左右，通過數(shù)據(jù)分區(qū)存儲到多個文件中，系統(tǒng)運行10年，每個分區(qū)數(shù)據(jù)在500～600萬條左右，暫時可以在單磁盤上進行存儲。隨著以后數(shù)據(jù)不斷增長，數(shù)據(jù)庫的壓力會逐漸增大，如果出現(xiàn)壓力過大，可以增加磁盤，將分區(qū)數(shù)據(jù)文件組分別存儲到不同的磁盤中，提高IO性能。 ■

[1]深入SQL Server 2008（第1版）[M].人民郵電出版社,2011.

[2]SQL Server 2008查詢性能優(yōu)化（第1版）[M].人民郵電出版社,2010.

This paper introduced the current state of the automatic safety monitoring system at Xiaowan hydropower station and analyzed the cause reasons for slow operation.Further,the system optimization plan was proposed,then implementation as well as testing were carried out.After the optimization,oper?ating speed of the system was greatly improved and the goals advanced were achieved.

performance optimization;data partitioning;safety monitoring

TV736

B

1671-1092（2014）03-0015-04

2014-02-27

占亮亮（1981-），男，工程師，主要研究方向：水利水電行業(yè)軟件研究與開發(fā)。

Title:Performance optimization of the automatic safety monitoring system at Xiaowan hydropower sta?tion//by ZHAN Liang-liang and ZHOU Xi-lang//State Grid Electric Power Research Institute