黃德龍

（云南華電金沙江中游水電開發(fā)有限公司梨園發(fā)電分公司，云南 麗江 674100）

水電廠的工作內(nèi)容較為繁瑣，不僅要監(jiān)測自動化系統(tǒng)的運行情況，同時還需要考慮環(huán)保等多個方面的因素，因此管理起來具有一定的難度。而數(shù)據(jù)同步系統(tǒng)的運用則有效解決了這些問題，其能夠使水電廠的運行更加高效，目前該系統(tǒng)的應用范圍也在逐步擴大。

1 相關(guān)技術(shù)

數(shù)據(jù)同步系統(tǒng)是基于XML的異種數(shù)據(jù)庫交換系統(tǒng)。通過XML結(jié)構(gòu)實現(xiàn)字段名與數(shù)據(jù)的描述和映射，根據(jù)映射關(guān)系組織源數(shù)據(jù)，進而實現(xiàn)數(shù)據(jù)交換。該系統(tǒng)使用C/S架構(gòu)，支持Oracle、SQL Server、Mysql及達夢數(shù)據(jù)庫，具有強大的兼容性，執(zhí)行效率極高，并且可針對數(shù)據(jù)同步的可靠性系統(tǒng)實施多種應急方案，融入手動補傳功能，在出現(xiàn)停電等不可抗逆因素的狀況下，不會出現(xiàn)漏電同步及同步錯的現(xiàn)象，進而有效保障了同步數(shù)據(jù)的完整性和準確性。

數(shù)據(jù)同步系統(tǒng)主要包括3種關(guān)鍵技術(shù)，分別是數(shù)據(jù)庫連接技術(shù)、XML技術(shù)和作業(yè)調(diào)度技術(shù)。首先是數(shù)據(jù)庫連接技術(shù)。它是Java與SQL的結(jié)合體，但該技術(shù)的編程接口完全獨立，可編寫完整的數(shù)據(jù)庫應用程序，并且數(shù)據(jù)保存在多種不同的數(shù)據(jù)庫管理系統(tǒng)中，不受數(shù)據(jù)存儲格式的限制。其次是XML技術(shù)。該技術(shù)是一種簡單靈活的文本格式的可擴展標記語言，能夠在Web或其它多種數(shù)據(jù)源間快速完成數(shù)據(jù)的交換。另外，該技術(shù)的結(jié)構(gòu)性較為突出，可定義多種不同類型的數(shù)據(jù)，并且在應用該技術(shù)時用戶的自主性較強，可根據(jù)自身的需求定義不同的語言，并且XML可提供統(tǒng)一的方法來描述和交換獨立于應用程序或供應商的結(jié)構(gòu)化數(shù)據(jù)。最后是作業(yè)調(diào)度技術(shù)。該技術(shù)是一個完全由Java編寫的開源作業(yè)調(diào)度框架，為在Java應用程序中進行作業(yè)調(diào)度提供了簡單強大的機制。該技術(shù)中設定了明確的時間間隔，開發(fā)人員可以此為依據(jù)來完成調(diào)度作業(yè)，并且還能將作業(yè)與各種不同類型的觸發(fā)器進行連接，進而形成多種關(guān)系。另外，整合了作業(yè)調(diào)度技術(shù)的應用程序，不僅可以重新使用來自不同事件的作業(yè)，還可為一個事件組合多個作業(yè)。

2 系統(tǒng)功能

數(shù)據(jù)同步系統(tǒng)是針對局域網(wǎng)內(nèi)關(guān)系數(shù)據(jù)庫之間數(shù)據(jù)同步和交換需求而開發(fā)的通用數(shù)據(jù)同步平臺，源數(shù)據(jù)庫和目標數(shù)據(jù)庫的表結(jié)構(gòu)無關(guān)，能夠支持復雜的數(shù)據(jù)同步邏輯，如多表對多表的數(shù)據(jù)同步、字段轉(zhuǎn)移同步及需要公式計算得出數(shù)據(jù)的同步，并且系統(tǒng)可支持條件過濾，能夠自動過濾掉不需要同步的數(shù)據(jù)。另外，系統(tǒng)還支持直接的SQL語法關(guān)系的解析。

2.1 庫表配置

庫表配置指初始階段數(shù)據(jù)源及不同表格之間關(guān)系的配置，下面就對這2種不同類型的配置進行詳細介紹。

（1）數(shù)據(jù)源配置。數(shù)據(jù)源配置用于管理數(shù)據(jù)庫的基本信息，包括源數(shù)據(jù)庫以及目標數(shù)據(jù)庫的名稱、IP地址、用戶名、登錄口令等，同時還可完成對數(shù)據(jù)內(nèi)容的新增、刪除與修改。另外，在增加新的內(nèi)容或?qū)υ瓟?shù)據(jù)信息進行修改后，首先需要進行檢查，確保其中不存在任何問題，進而在此基礎上進行連接測試，如果連接時顯示成功，才能加以確認。如果存在問題則需要繼續(xù)進行修改，只有這樣才能實現(xiàn)有效連接，并且能夠完成信息的緩存，之后在處理類似的關(guān)系配置時就可直接引用。另外，如果數(shù)據(jù)庫中的數(shù)據(jù)源被某一關(guān)系引用，則不能隨意進行刪除或修改處理，否則就會使交換過程中數(shù)據(jù)庫連接的完整性受到影響。

（2）關(guān)系配置。關(guān)系配置用于配置某1張源表至1張或多張目標表的映射關(guān)系，即源表字段至目標表字段之間對應的轉(zhuǎn)換規(guī)則，在具體配置的過程中，可新增關(guān)系，同時也可進行刪除與修改，如果存在映射關(guān)系的2個表格的類型相同，則無需逐一進行配置。另外，針對字段配置關(guān)系可采用4種不同類型的插入方式：第一是直接插入。是指可直接將源表信息進行轉(zhuǎn)換，并錄入目標表格中。第二是序列插入。如果目標表格在序列方面有明確的要求，則需要以此為依據(jù)完成插入操作。第三是隨機數(shù)插入。是指在插入過程中需要按照系統(tǒng)所生成的字符為依據(jù)，通常情況下，系統(tǒng)中包括32位字符。第四是主鍵關(guān)系插入。即依據(jù)不同字段間的映射關(guān)系，并按照相應的次序逐步進行處理。如果已經(jīng)完成配置，則可直接導入，否則可能出現(xiàn)重復的問題。以上所提到的插入類型主要針對的是以字段為主鍵的情況，如果在實際操作過程中，字段以非主鍵的形式呈現(xiàn)，除了運用直接插入方法外，還可選擇特殊關(guān)系插入與自定義插入，特殊關(guān)系插入是指主鍵插入；自定義插入支持固定值插入，主要填入需要插入的固定值就能夠避免目標字段產(chǎn)生變化。字段配置關(guān)系中提供條件配置功能，只要為原源字段添加同步條件，不符合條件的數(shù)據(jù)記錄就不會同步至目標表中。系統(tǒng)支持添加1個或多個過濾條件，但需要選擇連接符AND或OR。

2.2 同步類型

關(guān)系配置中必須選擇數(shù)據(jù)交換的類型。具體來說，主要包括3種同步類型，分別是實時同步、定時同步與手動同步。實時同步是指根據(jù)數(shù)據(jù)表的映射關(guān)系，在源表上自動建立觸發(fā)器，進而保證新增、刪除及修改的數(shù)據(jù)都能夠?qū)崟r且準確地同步到目標表中。定時同步是指對于不能破壞數(shù)據(jù)庫結(jié)構(gòu)及源表，即不能建立觸發(fā)器的情況提供實時同步功能。手動同步針對的是一些較為特殊的情況，即可以手動篩選源庫中的某張數(shù)據(jù)表，并根據(jù)需要將部分數(shù)據(jù)同步至目標表中。這3種不同的數(shù)據(jù)類型均能夠?qū)崿F(xiàn)如下操作，即如果某條數(shù)據(jù)記錄的同步操作為INSERT，而目標表中已經(jīng)包含該記錄主鍵值的數(shù)據(jù)，那么實際操作將為UPDATE類型。

（1）實時同步。如果同步類型為實時同步，系統(tǒng)則會自動建立觸發(fā)器，在此過程中主要依據(jù)的是關(guān)系配置中的內(nèi)容。如果源表數(shù)據(jù)產(chǎn)生變化，在任務表格中則會記錄改變后的內(nèi)容，之后系統(tǒng)可自動完成掃描處理，進而在此基礎上篩選與拼接數(shù)據(jù)，最終以SQL語句的形式呈現(xiàn)，這時就可直接在目標表格中進行處理。另外，如果在操作過程中所選擇的插入類型為隨機數(shù)或序列，目標表格則會自動搜索主鍵值，這樣之后在修改數(shù)據(jù)時就會更加便利。

（2）定時同步。定時同步的特點在于無需建立觸發(fā)器，其只要完成字段的選擇，并設置好間隔時間即可。在任務執(zhí)行過程中，需要以啟動時間作為基本依據(jù)，進而在此基礎上進行時間的追溯，進而確保相應時間段內(nèi)的數(shù)據(jù)信息能夠完成同步處理。在任務結(jié)束后，可保存數(shù)據(jù)處理的過程和結(jié)果。如果在處理過程中存在符合要求的條件，可直接生成SQL語句，并在目標表格中進行處理，這樣便可省去許多的操作環(huán)節(jié)。另外，該類型的同步方式在啟動過程中需要進行手動操作，但之后的環(huán)節(jié)就可由系統(tǒng)自動完成。

（3）手動同步。如果同步類型為手動同步，首先需要完成過濾條件的設定，如果條件較多則需要運用連接符，拼接完成的SQL查詢語句會直接顯示，這時就可復制粘貼至數(shù)據(jù)庫中執(zhí)行，并檢驗查詢結(jié)果。另外，可在左下表的列表中，觀察到需要同步的數(shù)據(jù)；觸發(fā)同步后，可將篩選出的數(shù)據(jù)記錄，根據(jù)關(guān)系配置生成SQL語句，并在目標表中執(zhí)行。手動同步是一次性的觸發(fā)操作，只能對目標表格進行INSERT或UPDATE操作。

2.3 日志查詢

在查詢?nèi)罩镜倪^程中，需要根據(jù)同步類型加以選擇。如果所要查看的是實時同步日志，需要從臨時任務表中獲取信息，并展示實時任務的操作類型、源表以及目標表、完成時間及狀態(tài)等，并且需要滿足修改、添加及刪除等查詢功能。另外，還應確保系統(tǒng)能夠根據(jù)源表名或目標表名、執(zhí)行狀態(tài)進行查詢。同時還需要對顯示記錄的條數(shù)進行一定程度的限制，并且確保在執(zhí)行任務失敗時，可保存為日志，便于日后查看。此外，還可手動刪除已經(jīng)執(zhí)行的任務記錄，如果主鍵關(guān)系表中存在隨機數(shù)或序列插入的主鍵對應關(guān)系，可填入需要刪除的天數(shù)，即設置刪除那段時間間隔內(nèi)插入的主鍵關(guān)系并手動進行刪除。如果所要查看的是其它2種同步類型的日志，則由系統(tǒng)根據(jù)配置條件自動查找需要同步的原表數(shù)據(jù)，而不需要任務表存儲相關(guān)的數(shù)據(jù)去變更記錄，因此可實時顯示相關(guān)的過程信息。例如本次同步符合條件的數(shù)據(jù)記錄數(shù)、實時同步的記錄數(shù)等，便于用戶查看實時記錄或歷史同步記錄。

3 結(jié)語

總之，隨著數(shù)據(jù)同步系統(tǒng)在水電廠自動化及其他領域的逐步應用，使得異種數(shù)據(jù)庫的異種數(shù)據(jù)的平滑流動變得更加簡單，進而實現(xiàn)了跨數(shù)據(jù)庫的數(shù)據(jù)同步。因此，目前數(shù)據(jù)同步系統(tǒng)的實用價值也越來越高，但在應用數(shù)據(jù)同步系統(tǒng)的過程中，還必須了解系統(tǒng)的同步類型，進而以此為依據(jù)，查看相對應的日志。

參考文獻：

[1]劉千,紀菁,向南．淺談數(shù)據(jù)同步系統(tǒng)在水電廠自動化中的具體應用[J]．水電廠自動化,2017,38(2):16-18．

[2]饒婷．智能水電廠數(shù)據(jù)交互平臺的設計與實現(xiàn)[D]．電子科技大學,2013．