趙 穎，蔣 薈

（中國鐵道科學研究院 電子計算技術研究所，北京 100081）

基于數(shù)據(jù)同步技術的5T系統(tǒng)架構優(yōu)化方案研究

趙 穎，蔣 薈

（中國鐵道科學研究院 電子計算技術研究所，北京 100081）

論文分析5T系統(tǒng)的現(xiàn)狀及存在的問題，對比現(xiàn)有的數(shù)據(jù)同步技術，提出一種基于數(shù)據(jù)庫日志分析的數(shù)據(jù)同步方法，介紹該方法的數(shù)據(jù)同步流程和原理?；诖朔椒▽?T系統(tǒng)架構進行優(yōu)化，提出對主備庫數(shù)據(jù)同步、讀寫分離、消息推送等方面的解決方案，論述了此方案的優(yōu)勢以及可提升的空間。

數(shù)據(jù)同步；日志；架構

鐵路車輛運行安全監(jiān)控系統(tǒng)（簡稱：5T系統(tǒng)）已投入使用多年，系統(tǒng)通過多種探測設備實時監(jiān)控客、貨車輛運行狀態(tài)，并提供告警，為保障客、貨車輛運行安全發(fā)揮了顯著的作用。

現(xiàn)有的5T系統(tǒng)架構如圖1所示，探測站、鐵路局服務器、鐵路總公司服務器之間的數(shù)據(jù)交互主要通過中間件傳輸數(shù)據(jù)文件。探測站采集的監(jiān)測數(shù)據(jù)形成文件后逐級上傳至鐵路局服務器和鐵路總公司服務器，經(jīng)過數(shù)據(jù)庫的讀取和解析寫入監(jiān)測表中；同時，鐵路總公司服務器將處理匯總后的數(shù)據(jù)導出成數(shù)據(jù)文件，再分發(fā)至鐵路局服務器；鐵路局服務器將匯總信息解析后，同監(jiān)測數(shù)據(jù)一起進行綜合評判，得到報警評判結果，實現(xiàn)基于多點監(jiān)測信息的聯(lián)網(wǎng)綜合報警評判。

隨著5T系統(tǒng)監(jiān)測設備覆蓋范圍的不斷擴大，需要傳輸和存儲的數(shù)據(jù)量越來越大。Oracle數(shù)據(jù)庫要存儲大量的數(shù)據(jù)，完成解析、評判、統(tǒng)計和導出等工作，還要為應用系統(tǒng)提供數(shù)據(jù)查詢服務，因此數(shù)據(jù)庫的資源越發(fā)緊張，由此帶來幾個問題：

（1）上傳的監(jiān)測數(shù)據(jù)入庫可能出現(xiàn)延遲，數(shù)據(jù)入庫延時會使監(jiān)測信息推送滯后，影響現(xiàn)場作業(yè)人員依據(jù)監(jiān)測報警信息進行列車檢查作業(yè)。（2）自上而下的數(shù)據(jù)同步的實時性若無法保證，將會影響綜合評判的準確性，極易造成系統(tǒng)誤判或漏判。（3）數(shù)據(jù)同步的延時或失敗如果不能及時告警，將不利于提醒系統(tǒng)技術人員在第一時間發(fā)現(xiàn)系統(tǒng)運行故障。（4）查詢分析的響應速度慢，不利于開展更加深入的數(shù)據(jù)挖掘分析，影響用戶體驗。

因此，從改進數(shù)據(jù)同步方法、分離讀寫數(shù)據(jù)庫、增加敏感業(yè)務消息等幾方面，對5T系統(tǒng)架構進行優(yōu)化，提高系統(tǒng)整體性能，保證5T系統(tǒng)的準確性和高效性，已成為當前的一項重要工作。

1 數(shù)據(jù)同步方案對比

Oracle提供了DataGuard、Streams、GoldenGate等數(shù)據(jù)同步工具，它們的用途和要求各不相同。

圖1 系統(tǒng)現(xiàn)有架構與流程圖

1.1 DataGuard

DataGuard是Oracle數(shù)據(jù)庫自帶的一款免費數(shù)據(jù)同步工具，基本原理是將日志文件從源數(shù)據(jù)庫傳輸?shù)侥繕藬?shù)據(jù)庫，在目標數(shù)據(jù)庫上應用這些日志文件，從而使目標數(shù)據(jù)庫與源數(shù)據(jù)庫保持同步。它對網(wǎng)絡帶寬要求高，主備庫環(huán)境與結構須完全一致，因此適用于數(shù)據(jù)庫災備、故障恢復，不適合讀庫與寫庫、異構數(shù)據(jù)庫之間的數(shù)據(jù)同步。

1.2 Streams

Streams利用高級隊列技術，通過用Log Miner挖掘日志文件生成變更的邏輯記錄，將這些變更應用到目標數(shù)據(jù)庫上，從而實現(xiàn)數(shù)據(jù)庫之間或一個數(shù)據(jù)庫內(nèi)部的數(shù)據(jù)同步。盡管Streams支持異構的、部分對象的復制，但它配置維護復雜、對源數(shù)據(jù)庫壓力大、穩(wěn)定性較差。

1.3 GoldenGate

GoldenGate可以用于多種不同操作系統(tǒng)平臺和多種不同數(shù)據(jù)庫系統(tǒng)之間的數(shù)據(jù)同步，它支持一對多、多對一，雙向復制等，也可以選擇部分對象進行復制，可滿足數(shù)據(jù)分發(fā)和數(shù)據(jù)集成的需要，減輕源數(shù)據(jù)庫壓力，但是需要支付昂貴的費用。

基于項目成本和系統(tǒng)長遠發(fā)展多方面綜合考慮，決定自行研發(fā)一款基于數(shù)據(jù)庫日志的同步工具，通過捕獲Oracle數(shù)據(jù)庫的日志變化，將源數(shù)據(jù)庫的變化邏輯復制到目標數(shù)據(jù)庫中，實現(xiàn)數(shù)據(jù)的同步。

2 基于日志的數(shù)據(jù)同步原理

在Oracle中，每執(zhí)行一次更新操作（創(chuàng)建、插入、刪除、更改），系統(tǒng)都將該操作以固定格式記錄到日志文件（Redo Log File）中，以便在數(shù)據(jù)庫出現(xiàn)例程失敗或設備故障時，可以恢復數(shù)據(jù)庫[2]。因此，若需了解數(shù)據(jù)庫的操作變化，將變化的數(shù)據(jù)從一個數(shù)據(jù)庫同步到另一個數(shù)據(jù)庫，可以通過分析Oracle數(shù)據(jù)庫的日志變化來實現(xiàn)。

2.1 數(shù)據(jù)同步流程

數(shù)據(jù)同步的流程如圖2所示，數(shù)據(jù)同步邏輯上分為源端和目標端。源端的任務主要是負責捕獲Redo Log的變化，分析日志，合成交易，最后輸出程序可識別的數(shù)據(jù)變更項；目標端的任務主要是將數(shù)據(jù)變更項根據(jù)需要應用到目標庫中。

2.2 源端同步原理

源端通過監(jiān)控讀取、日志分析、事物緩存、發(fā)布等步驟，將二進制格式的日志信息翻譯成程序可讀操作記錄，過濾無需提交的操作記錄后，將有效的操作記錄合成為事務，發(fā)布到消息系統(tǒng)，供目標端進行按需訂閱。

2.3 目標端同步原理

目標端根據(jù)需要訂閱源端發(fā)布的消息，獲取操作記錄，將其過濾分發(fā)到不同的應用模塊,實現(xiàn)數(shù)據(jù)同步或其他功能，目標端的應用模塊可根據(jù)需要擴展。例如SQL Applier，主要將操作記錄翻譯成SQL語句，并在目標庫執(zhí)行，也就是常見的表對表的數(shù)據(jù)同步；WarnMsgApplier,通過捕獲敏感數(shù)據(jù)的變化，當達到閾值時，向告警中心推送報警信息。

圖2 數(shù)據(jù)同步流程圖

這種方式不依賴任何數(shù)據(jù)庫的引擎便可獲取變更數(shù)據(jù)，因此不會影響源庫的性能；且由于獲取的是源庫操作記錄的變化，所以應用這些變化可以靈活多樣地開展同步工作。既可以按需要進行同步，也可以進行異構同步。

3 系統(tǒng)架構優(yōu)化方案

針對上述5T系統(tǒng)架構存在的問題，提出基于日志的數(shù)據(jù)同步工具對5T系統(tǒng)架構進行改進優(yōu)化的方案，優(yōu)化后的系統(tǒng)架構如圖3所示。對系統(tǒng)架構優(yōu)化的工作主要體現(xiàn)在以下幾個方面。

圖3 優(yōu)化的系統(tǒng)架構與流程圖

3.1 采用數(shù)據(jù)同步工具取代傳輸中間件，實現(xiàn)鐵路總公司到鐵路局的數(shù)據(jù)同步

探測站形成的數(shù)據(jù)文件上傳至鐵路局服務器后，一方面進行解析入庫，另一方面直接通過消息中間件傳輸至鐵路總公司服務器，這是自底向上傳輸最快捷的方式。而自上而下從鐵路總公司同步到各鐵路局的數(shù)據(jù)，如果采用中間件傳輸，需要經(jīng)過讀表、導出、傳輸、解析和入庫多個步驟，頻繁地讀寫數(shù)據(jù)庫和硬盤，容易造成資源緊張。因此，可采用數(shù)據(jù)同步工具取代傳輸中間件，通過捕獲鐵路總公司級數(shù)據(jù)庫日志的變化，實現(xiàn)鐵路總公司到鐵路局的數(shù)據(jù)同步。由于監(jiān)控和讀取日志變化無需訪問數(shù)據(jù)庫，因此可以有效降低對數(shù)據(jù)庫資源占用，同時不需要向磁盤上寫任何文件，還可以降低系統(tǒng)對磁盤寫入的壓力。

此外，系統(tǒng)值班監(jiān)控人員可以在鐵路總公司級服務器監(jiān)控數(shù)據(jù)同步的進度和結果，隨時掌握數(shù)據(jù)同步記錄。一旦出現(xiàn)同步失敗，可及時通過人工進行補傳，最大限度保證數(shù)據(jù)的一致性。

3.2 鐵路總公司和鐵路局分別增加讀數(shù)據(jù)庫，實現(xiàn)業(yè)務數(shù)據(jù)的讀寫分離

原有5T系統(tǒng)架構中，數(shù)據(jù)存儲與分析都在一個數(shù)據(jù)庫中實現(xiàn)，資源緊張時，復雜的數(shù)據(jù)分析會影響數(shù)據(jù)入庫存儲，且統(tǒng)計分析的效率較低、用戶查詢的響應速度慢。

新的系統(tǒng)架構中，利用數(shù)據(jù)同步工具實現(xiàn)讀寫庫分離，將主要業(yè)務數(shù)據(jù)從寫庫實時同步到讀庫中，可以將復雜的數(shù)據(jù)統(tǒng)計和分析放在讀庫上實現(xiàn)，面向用戶的信息查詢也直接訪問讀庫。通過這樣讀寫拆分，既實現(xiàn)了對關鍵業(yè)務數(shù)據(jù)的備份，還可以避免數(shù)據(jù)入庫與統(tǒng)計分析之間相互影響，大大提高了用戶查詢的響應速度。此外，數(shù)據(jù)同步工具支持一對多、異構的復制，所以讀庫可以根據(jù)業(yè)務需求進行橫向擴展及按需復制。

3.3 新增敏感業(yè)務消息提醒服務

原有系統(tǒng)中，用戶主要通過監(jiān)控頁面查看告警信息。而在新系統(tǒng)中，可利用數(shù)據(jù)同步工具捕獲敏感數(shù)據(jù)的變化，并提供推送告警信息的功能，將危及行車安全的車輛報警信息，實時推送給用戶，使他們可以及時獲取告警信息，及時進行故障處置。且該功能可以根據(jù)用戶需求，進行個性化定制，使得用戶及時獲取滿足自己需求的告警信息，從而避免因濫報導致故障處置響應不及時的現(xiàn)象發(fā)生。

4 結束語

基于日志的數(shù)據(jù)同步技術可將數(shù)據(jù)同步延時控制在秒級，完全滿足5T系統(tǒng)業(yè)務的需求。采用此方法對5T系統(tǒng)架構進行優(yōu)化，可以在很大程度上解決資源緊張、數(shù)據(jù)不一致、響應速度慢等問題。同時，將讀寫數(shù)據(jù)庫分離，為更深入的數(shù)據(jù)分析與挖掘奠定了基礎。此外，利用數(shù)據(jù)同步工具的實時告警服務，可以讓用戶更方便及時地獲取報警信息，提高用戶體驗。

改進后的系統(tǒng)，數(shù)據(jù)的查詢和分析還是在關系型數(shù)據(jù)庫里實現(xiàn)。隨著數(shù)據(jù)的不斷增多，關系型數(shù)據(jù)庫在處理海量數(shù)據(jù)方面將是一個瓶頸，今后可以通過數(shù)據(jù)同步工具將數(shù)據(jù)同步到Hadoop，這樣系統(tǒng)的日常分析可以在Hadoop里進行，同樣有利于系統(tǒng)性能的提升。

[1]李偉明.ORACLE REDO LOG文件分析及C語言描述[J].小型微型計算機系統(tǒng)，2003（7）：1243-1246.

[2]林樹澤，盧 芬.Oracle 11g R2 DBA操作指南[M].北京：清華大學出版社，2013.

[3]弗里曼，哈 特.Oracle Database 11g RMAN備份與恢復[M].王念濱，陳子陽，譯.北京：清華大學出版社，2011.

責任編輯 王 浩

Optimization architecture of 5T System based on data synchronization technology

ZHAO Ying,JIANG Hui
( Institute of Computing Technologies,China Academy of Railway Sciences,Beijing 100081,China)

This article analyzed the present situation and problems of 5T System,compared with existing data synchronization techniques,put forward a method of data synchronization based on database log analysis,introduced the process and principle of data synchronization in detail.Based on this method,the architecture of 5T System was optimized,and the solution of the main data synchronization,read and write separation,message push was proposed.Finally,the advantages of this data synchronization scheme were discussed.

data synchronous;log;architecture

U260.42∶TP39

A

1005-8451（2016）06-0009-04

2015-11-20

中國鐵路總公司白皮書項目（2015X009-A）。

趙 穎，助理研究員；蔣 薈，研究員 。