高建章 吳志鋒 孫嘯 劉昊 李怡

摘 ?要： 針對傳統(tǒng)油氣管道數據動態(tài)遷移系統(tǒng)數據映射性能較差的問題，提出一種基于XML映射規(guī)則的油氣管道數據動態(tài)遷移系統(tǒng)。系統(tǒng)硬件配置為調度模塊，由FIFO調度器、計算能力調度器、公平調度器、I/O調度器、TaskTracker、JobTracker構成。系統(tǒng)軟件包括數據轉換模塊、數據動態(tài)遷移模塊，其中，數據轉換模塊主要利用XML映射規(guī)則獲取XML映射數據，并將其嫁接在目的數據庫與源數據庫之間，以實現(xiàn)油氣管道數據的數據類型轉換與數據備份;數據動態(tài)遷移模塊主要通過數據遷移程序發(fā)出的數據遷移命令來遷移XML 配置文件。該系統(tǒng)通過硬件與軟件相結合實現(xiàn)了油氣管道數據的動態(tài)遷移。為了驗證該系統(tǒng)的數據映射性能，將該系統(tǒng)與幾種傳統(tǒng)油氣管道數據動態(tài)遷移系統(tǒng)對比，共同進行油氣管道數據動態(tài)遷移的對比實驗。實驗結果證明，基于XML映射規(guī)則的油氣管道數據動態(tài)遷移系統(tǒng)的數據映射性能更強并且更穩(wěn)定，說明該系統(tǒng)更適用于油氣管道數據的動態(tài)遷移。

關鍵詞： 油氣管道; 數據動態(tài)遷移; XML映射規(guī)則; 數據嫁接; 數據類型轉換; 任務調度

中圖分類號： TN02?34; TP311 ? ? ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）07?0155?04

Design of oil?gas pipeline data dynamic migration system based on XML mapping rules

GAO Jianzhang1， 2， WU Zhifeng2， SUN Xiao2， LIU Hao2， LI Yi3

（1. Beijing University of Posts and Telecommunications， Beijing 100876， China; 2. PetroChina Southwest Pipeline Company， Chengdu 610037， China;

3. Chengdu Aerospace Science & Industry Big Data Institute Ltd.， Chengdu 610000， China）

Abstract： An oil?gas pipeline data dynamic migration system based on XML mapping rules is proposed to improve the performance of data mapping in traditional oil?gas pipeline data dynamic migration system. The hardware configuration of the system includes a scheduling module， which consists of FIFO dispatcher， computing power dispatcher， fair dispatcher， I/O dispatcher， TaskTracker and JobTracker. The system software includes data conversion module and data dynamic migration module. The data conversion module is used to obtain XML mapping data mainly by means of XML mapping rules， and graft it between the target database and the source database in order to realize data type transformation and data backup of oil?gas pipeline data. The data dynamic migration module is used to migrate XML configuration file according to the data migration command issued by the data migration program. The dynamic migration of oil?gas pipeline data is realized by the combination of hardware and software in the system. In order to verify the data mapping performance of the system， the system is compared with several traditional oil?gas pipeline data dynamic migration systems， and a contrast experiment of oil?gas pipeline data dynamic migration was carried out. The experimental results prove that the oil?gas pipeline data dynamic migration system based on XML mapping rules has stronger data mapping performance and is more stable， which shows that the system is more suitable for the dynamic migration of oil?gas pipeline data.

Keywords： oil?gas pipeline; data dynamic migration; XML mapping rule; data grafting; data type transformation; task scheduling

0 ?引 ?言

在轉移存儲的電子文獻、升級網絡、更換存儲設備、遷移分系統(tǒng)數據至新建的綜合數據管理中心時，都需要解決數據更新問題與數據遷移問題，特別是處于異構環(huán)境下時，數據的高度復雜使遷移數據時面臨著巨大的壓力[1]。對于油氣企業(yè)，油氣管道數據多種數據庫、多種方式的數據存儲問題已經成為企業(yè)數據應用中難以解決的問題。非結構化文檔和圖形、結構化數據、數據體大型文件等，石油行業(yè)不同于其他行業(yè)，具備海量數據并且數據結構十分復雜，由于多個數據庫存在存儲方式等方面的差異，使用戶在訪問數據庫時非常不便[2]。

在數據庫的開發(fā)與管理中，最常用的功能就是數據遷移。數據遷移指的是對數據進行數據環(huán)境轉移，從而實現(xiàn)精確而徹底的數據轉換，適用于將數據從原本的舊系統(tǒng)轉移至新系統(tǒng)中，從多個舊系統(tǒng)統(tǒng)一轉移至一個新系統(tǒng)中，從多個小系統(tǒng)統(tǒng)一融匯至一個大系統(tǒng)中，需要將分系統(tǒng)中結構各異的數據與舊系統(tǒng)中各種歷史數據轉移至新系統(tǒng)、新環(huán)境中[3]。遷移不同數據庫中的數據時，需要遵循下列步驟：源數據識別、數據集成轉換具體規(guī)則確定以及轉換規(guī)則代碼開發(fā)。目前，數據遷移是數據管理領域、勘探數據采集領域的核心工作[4]。由于石油行業(yè)整體業(yè)務的復雜性，對油氣管道數據遷移系統(tǒng)提出了越來越高的要求，因此，基于XML映射規(guī)則開發(fā)了一套高性能、高穩(wěn)定性并且滿足目前石油行業(yè)數據勘探、管理現(xiàn)狀的油氣管道數據動態(tài)遷移系統(tǒng)。

1 ?設計基于XML映射規(guī)則的油氣管道數據動態(tài)遷移系統(tǒng)

1.1 ?硬件設計

基于XML映射規(guī)則的油氣管道數據動態(tài)遷移系統(tǒng)的硬件配置為調度模塊，調度模塊中包含多種調度器，包括FIFO調度器、計算能力調度器、公平調度器以及I/O調度器[5]。各個調度器的具體調度配置如表1所示。

在調度模塊中，通過JobTracker來采集、管理油氣管道數據，TaskTracker與JobTracker會定期交互信息，每隔一段時間，TaskTracker會利用心跳信息向FIFO調度器、計算能力調度器、公平調度器以及I/O調度器進行數據匯報，包括系統(tǒng)剩余內存空間、內存使用狀況、運行任務數量、slot數量等[6]。而各個調度器則根據Heartbeat信息進行油氣管道數據調度與任務調度，以確保系統(tǒng)能夠進行油氣管道數據動態(tài)遷移[7]。各個調度器還會根據TaskTracker的網絡、磁盤使用狀況來判斷系統(tǒng)的資源使用狀況以合理分配遷移作業(yè)[8]。分配遷移作業(yè)時，需要通過I/O調度器判斷各個模塊的I/O負載情況，當I/O負載過重時，則停止對該模塊的作業(yè)分配，這樣遷移油氣管道數據的過程中能夠整體遷移效率[9]。

1.2 ?設計軟件

基于XML映射規(guī)則的油氣管道數據動態(tài)遷移系統(tǒng)的軟件包括數據轉換模塊、數據動態(tài)遷移模塊[10]。

1.2.1 ?設計數據轉換模塊

基于XML映射規(guī)則設計數據轉換模塊，數據轉換模塊主要利用XML映射規(guī)則獲取XML映射數據，并將其嫁接在目的數據庫與源數據庫之間，以實現(xiàn)油氣管道數據的數據類型轉換與數據備份，具體映射原理如圖2所示[11]。

通過XML映射規(guī)則獲取的XML映射數據包括日期類型、大對象類型、字符類型、數值類型，具體如表2～表5所示[12]。

1.2.2 ?設計數據動態(tài)遷移模塊

數據動態(tài)遷移模塊主要通過數據遷移程序發(fā)出的數據遷移命令來遷移XML 配置文件，具體動態(tài)遷移流程如圖3所示[13]。

圖3中，Transformer指的是傳輸對象包;Permanence指的是持久化包;DBAccess指的是數據訪問包;DataReader指的是數據對象包;Tansform指的是數據傳輸處理包;QC指的是質量控制包[14]。

在油氣管道數據的動態(tài)遷移過程中，數據遷移率的計算公式如下：

[T=QWi=1le2i] （1）

式中：[T]代表油氣管道數據的遷移率;[Q]代表油氣管道數據的形式轉換速率;[W]代表油氣管道數據加工時間;[ei]代表目標信息對比速率[15]。

2 ?實驗分析

2.1 ?實驗方法

為了檢測本文設計的基于XML映射規(guī)則的油氣管道數據動態(tài)遷移系統(tǒng)的性能，通過對比實驗驗證。隨機選取一些油氣管道數據，基于XML映射規(guī)則轉換其數據形式，將其轉換成XML映射數據。利用基于XML映射規(guī)則的油氣管道數據動態(tài)遷移系統(tǒng)對XML映射數據進行動態(tài)遷移，將油氣管道數據遷移至新系統(tǒng)中。首先需要部署基于XML映射規(guī)則的油氣管道數據動態(tài)遷移系統(tǒng)的運行環(huán)境，包括硬件環(huán)境與軟件環(huán)境，具體如表6所示。

完成系統(tǒng)運行環(huán)境的部署后，利用系統(tǒng)進行油氣管道數據的動態(tài)遷移。為了保證本次實驗的有效性，使用基于數據總體優(yōu)化策略的油氣管道數據動態(tài)遷移系統(tǒng)、基于源數據清洗的油氣管道數據動態(tài)遷移系統(tǒng)、基于增量數據處理的油氣管道數據動態(tài)遷移系統(tǒng)、基于源數據整合的油氣管道數據動態(tài)遷移系統(tǒng)與本文提出的基于XML映射規(guī)則的油氣管道數據動態(tài)遷移系統(tǒng)進行比較。觀察實驗結果，比較各個油氣管道數據動態(tài)遷移系統(tǒng)的數據映射性能，也就是系統(tǒng)的數據轉換能力，通常數據映射性能可以分為1～8級，級數越高代表系統(tǒng)的數據轉換能力越強、數據轉換速率越高。

2.2 ?實驗結果

利用基于數據總體優(yōu)化策略的油氣管道數據動態(tài)遷移系統(tǒng)、基于源數據清洗的油氣管道數據動態(tài)遷移系統(tǒng)、基于增量數據處理的油氣管道數據動態(tài)遷移系統(tǒng)、基于源數據整合的油氣管道數據動態(tài)遷移系統(tǒng)、基于XML映射規(guī)則的油氣管道數據動態(tài)遷移系統(tǒng)進行選取油氣管道數據的動態(tài)遷移，其數據映射性能對比如圖4所示。

根據圖4的數據映射性能對比結果可知：基于數據總體優(yōu)化策略的油氣管道數據動態(tài)遷移系統(tǒng)、基于源數據清洗的油氣管道數據動態(tài)遷移系統(tǒng)、基于增量數據處理的油氣管道數據動態(tài)遷移系統(tǒng)、基于源數據整合的油氣管道數據動態(tài)遷移系統(tǒng)等傳統(tǒng)系統(tǒng)在數據遷移次數成倍增加的狀態(tài)下，均存在數據映射性能級別不斷降低的現(xiàn)象;而基于XML映射規(guī)則的油氣管道數據動態(tài)遷移系統(tǒng)則不同于傳統(tǒng)油氣管道數據動態(tài)遷移系統(tǒng)，在數據遷移次數成倍增加的狀態(tài)下仍然可以將數據映射性能保持在7級，即基于XML映射規(guī)則的油氣管道數據動態(tài)遷移系統(tǒng)的數據映射性能優(yōu)于其余幾種傳統(tǒng)油氣管道數據動態(tài)遷移系統(tǒng)。

3 ?結 ?語

基于XML映射規(guī)則的油氣管道數據動態(tài)遷移系統(tǒng)在實現(xiàn)油氣管道數據安全遷移的同時，也實現(xiàn)了數據映射性能的提升，并且相對于傳統(tǒng)油氣管道數據動態(tài)遷移系統(tǒng)，對于未上線系統(tǒng)而言，該系統(tǒng)的兼容性更強，對石油行業(yè)的數據共享具有重要意義。

參考文獻

[1] 朱杰，游雄，夏青.基于任務驅動的戰(zhàn)場環(huán)境分析數據映射模型設計與實現(xiàn)[J].地理信息世界，2017，24（4）：80?85.

[2] 趙軍富，譚躍生，王猛.基于Active XML動態(tài)自適應工作流引擎的設計與實現(xiàn)[J].現(xiàn)代電子技術，2017，40（22）：75?77.

[3] 王美琴.基于.NET的通用數據庫轉換系統(tǒng)的設計與實現(xiàn)[J].中國非金屬礦工業(yè)導刊，2017，21（4）：50?53.

[4] 吳玥，王建強，夏開建.基于動態(tài)密鑰分發(fā)機制的XML電子病歷共享方案研究與設計[J].中國數字醫(yī)學，2017，12（10）：26?28.

[5] 臧昊，趙強，卞水榮.基于XML的電子病歷隱私數據脫敏技術的研究與設計[J].信息技術與信息化，2017，22（3）：111?114.

[6] 王義，于書媛，李亞龍，等.基于XML和ASP技術Flash地震圖文動態(tài)展示[J].網絡安全技術與應用，2017，11（2）：68?69.

[7] 陳明.分布式網絡數據包優(yōu)先級傳輸模型研究仿真[J].電子設計工程，2016，24（12）：5?8.

[8] 丁小勇.基于ASP+FLASH+XML架構的珍珠電子相冊的設計與實現(xiàn)[J].通訊世界，2018，17（8）：242?243.

[9] 趙軍富，李禹睿，彭亞云，等.基于Active XML動態(tài)自適應工作流任務分配研究[J].內蒙古科技大學學報，2017，36（1）：55?58.

[10] 王忠波，羅喜伶，齊鳴，等.基于UML和XSD的航班信息交換模型研究與實現(xiàn)[J].計算機技術與發(fā)展，2017，27（4）：139?144.

[11] 杜震洪，黃祥志，姜斌之，等.一種動態(tài)實時的遙感專題應用系統(tǒng)定制框架[J].浙江大學學報（理學版），2018，45（6）：758?764.

[12] 朱勇，徐中偉，萬勇兵.CBTC仿真測試系統(tǒng)線路數據可視化生成的設計與實現(xiàn)[J].鐵路計算機應用，2018，27（4）：54?58.

[13] 劉東洪，鄢萍.基于插件和優(yōu)先級FCFS的機床數據采集方案設計[J].現(xiàn)代制造工程，2017，21（3）：51?56.

[14] HUANG S T， HUANG C C， HUANG W L， et al. Tanshinone IIA induces intrinsic apoptosis in osteosarcoma cells both in vivo and in vitro associated with mitochondrial dysfunction [J]. Scientific reports， 2017， 27（31）： 40382?40398.

[15] SINGH L P， ISSENMANN B， CAUPIN F. Pressure dependence of viscosity in supercooled water and a unified approach for thermodynamic and dynamic anomalies of water [J]. Proceedings of the national academy of sciences， 2017， 114（117）： 4312?4317.