吳軍 黃寅 王金和 邵妍婷 楊磊

[摘? ? 要] 實(shí)時(shí)數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫是截然不同的兩種數(shù)據(jù)庫，隨著信息化水平的不斷進(jìn)步，在實(shí)際的過程控制系統(tǒng)和信息管理系統(tǒng)中，往往將兩種數(shù)據(jù)庫結(jié)合使用。數(shù)據(jù)交換服務(wù)為不同數(shù)據(jù)庫之間的互聯(lián)互通提供加載、轉(zhuǎn)換、傳輸和存儲等功能。本文主要以采油二廠油氣生產(chǎn)物聯(lián)網(wǎng)系統(tǒng)數(shù)據(jù)建設(shè)為例，描述了2種數(shù)據(jù)交換服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)過程，介紹了實(shí)時(shí)數(shù)據(jù)庫與關(guān)系數(shù)據(jù)庫相互通訊時(shí)用到的數(shù)據(jù)轉(zhuǎn)換和存儲的方法。

[關(guān)鍵詞] 實(shí)時(shí)數(shù)據(jù)庫;關(guān)系數(shù)據(jù)庫;數(shù)據(jù)交換存儲

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2020. 01. 042

[中圖分類號] F270.7;TP315? ? [文獻(xiàn)標(biāo)識碼]? A? ? ? [文章編號]? 1673 - 0194（2020）01- 0100- 03

1? ? ? 引? ? 言

物聯(lián)網(wǎng)時(shí)代下的現(xiàn)代工業(yè)，其特性是要求生產(chǎn)全過程的實(shí)時(shí)監(jiān)控，高速的實(shí)時(shí)數(shù)據(jù)處理，長期的歷史數(shù)據(jù)存儲以及生產(chǎn)信息的集成與共享。在工業(yè)生產(chǎn)過程中，自控技術(shù)已經(jīng)普及，先進(jìn)控制和計(jì)算機(jī)技術(shù)的結(jié)合，更好地解決了生產(chǎn)工藝日益復(fù)雜，控制質(zhì)量要求越來越高的問題。在實(shí)際工業(yè)生產(chǎn)自動化控制過程中，大量數(shù)據(jù)處理，數(shù)據(jù)變化速度快，同時(shí)存在大量非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)。實(shí)時(shí)數(shù)據(jù)庫的優(yōu)點(diǎn)在于不需人工干預(yù)，可實(shí)時(shí)處理大量并發(fā)數(shù)據(jù)信息;關(guān)系數(shù)據(jù)庫則非常簡便地實(shí)現(xiàn)對象信息的定義和存儲。基于生產(chǎn)管理需求和兩種數(shù)據(jù)庫的各自優(yōu)勢，產(chǎn)生了實(shí)時(shí)數(shù)據(jù)庫與關(guān)系數(shù)據(jù)庫的相互通訊、結(jié)合使用。

2? ? ? 數(shù)據(jù)交換服務(wù)基本框架

2.1? ?數(shù)據(jù)交換服務(wù)概念

實(shí)時(shí)數(shù)據(jù)庫是數(shù)據(jù)庫技術(shù)結(jié)合實(shí)時(shí)處理技術(shù)產(chǎn)生的，適用于處理快速變化的數(shù)據(jù)及具有時(shí)間限制的事務(wù);是開發(fā)實(shí)時(shí)控制系統(tǒng)、數(shù)據(jù)采集系統(tǒng)等的重要核心，具有很高的I/O吞吐量、高效數(shù)據(jù)壓縮技術(shù)，可以實(shí)現(xiàn)實(shí)時(shí)、高效、可靠的數(shù)據(jù)存儲和查詢。實(shí)時(shí)數(shù)據(jù)庫主要應(yīng)用于工業(yè)自動化監(jiān)控，存儲著生產(chǎn)工藝過程采集到的海量數(shù)據(jù)。

數(shù)據(jù)交換服務(wù)，用于管理不同來源、不同屬性的海量數(shù)據(jù)，提供快捷方便的服務(wù)。數(shù)據(jù)交換服務(wù)為不同數(shù)據(jù)庫之間的互聯(lián)互通提供了包含加載、轉(zhuǎn)換、傳輸和存儲等操作，有效解決數(shù)據(jù)及時(shí)、高效地上傳下達(dá)，在安全、快捷進(jìn)行數(shù)據(jù)交換的同時(shí)，保證數(shù)據(jù)的一致性和準(zhǔn)確性，實(shí)現(xiàn)數(shù)據(jù)的一次采集、多次分析使用，為各種應(yīng)用和決策支持提供良好的數(shù)據(jù)環(huán)境。

2.2? ?數(shù)據(jù)交換服務(wù)設(shè)計(jì)研究路線

基于采油二廠物聯(lián)網(wǎng)系統(tǒng)建設(shè)，研究實(shí)時(shí)數(shù)據(jù)庫與關(guān)系數(shù)據(jù)庫的交換服務(wù)技術(shù)，研發(fā)了生產(chǎn)實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)日生產(chǎn)數(shù)據(jù)系統(tǒng)，主要采用實(shí)時(shí)庫數(shù)據(jù)接口訪問、數(shù)據(jù)讀寫、實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)存關(guān)系數(shù)據(jù)、數(shù)據(jù)入庫、發(fā)布的研發(fā)流程路線，實(shí)現(xiàn)了實(shí)時(shí)數(shù)據(jù)提取、發(fā)布、與基于EPDM的油氣水井生產(chǎn)數(shù)據(jù)管理系統(tǒng)（A2）系統(tǒng)、單井問題診斷、功圖分析系統(tǒng)等各類生產(chǎn)應(yīng)用和管理系統(tǒng)的共享應(yīng)用。

系統(tǒng)采用Web Service與數(shù)據(jù)庫交互，建立多層次、功能全面的平臺。使用VS.NET中的C#作為主要開發(fā)工具，提高開發(fā)進(jìn)度，增強(qiáng)系統(tǒng)兼容性及穩(wěn)定性;充分利用數(shù)據(jù)庫中現(xiàn)有的數(shù)據(jù)，建立相應(yīng)的視圖或同義詞;對庫中不存在的數(shù)據(jù)采用編寫存儲過程處理的方法，最大限度的提高系統(tǒng)的性能。采用B/S架構(gòu)開發(fā)實(shí)現(xiàn)解決不同的問題，方便使用、擴(kuò)展、定制各種模塊。而這些模塊可以不受任何開發(fā)工具或者開發(fā)模式限制，只要符合框架要求的接口定義就可以插入系統(tǒng)。

使用鏈表可以方便有層次地進(jìn)行管理和擴(kuò)展，鏈表中的每個(gè)結(jié)點(diǎn)包括數(shù)據(jù)域和指針域，其中數(shù)據(jù)域存儲數(shù)據(jù)元素的信息，指針域中存儲結(jié)點(diǎn)直接后繼的存儲位置。在數(shù)據(jù)交換服務(wù)中采用三層鏈表結(jié)構(gòu)如圖2所示，將連接connection作為第一級鏈表，每個(gè)連接下的表格table掛接到二級鏈表上，綁定bind則作為第三級鏈表。

3? ? ? 數(shù)據(jù)交換服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)

3.1? ?實(shí)時(shí)數(shù)據(jù)讀取存儲

實(shí)時(shí)數(shù)據(jù)采集主要通過編寫實(shí)時(shí)數(shù)據(jù)庫中間件接口，同步數(shù)據(jù)標(biāo)簽和同步實(shí)時(shí)數(shù)據(jù)兩大功能，實(shí)現(xiàn)海量實(shí)時(shí)數(shù)據(jù)（200萬+條/天，5 000萬條左右/月），數(shù)據(jù)標(biāo)簽（10 881個(gè)）在10分鐘內(nèi)讀取。通過額外功能對收集數(shù)據(jù)進(jìn)行配置，可以方便地根據(jù)需求變化進(jìn)行數(shù)據(jù)收集的靈活調(diào)整，節(jié)約處理時(shí)間和存儲空間。系統(tǒng)實(shí)現(xiàn)了數(shù)據(jù)從實(shí)時(shí)庫寫入關(guān)系庫，實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)（多條記錄形成1口井的完整信息）與結(jié)構(gòu)化數(shù)據(jù)（1條記錄為1口井完整信息）轉(zhuǎn)換處理及同步實(shí)時(shí)庫的數(shù)據(jù)標(biāo)簽列表和值到Oracle庫。

3.2? ?實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)換關(guān)系數(shù)據(jù)

實(shí)時(shí)數(shù)據(jù)處理成關(guān)系數(shù)據(jù)，主要是將從實(shí)時(shí)數(shù)據(jù)庫讀出來數(shù)據(jù)，存入關(guān)系數(shù)據(jù)庫之前先把數(shù)據(jù)轉(zhuǎn)換成變體類型，再將變體類型存入關(guān)系數(shù)據(jù)庫。存入關(guān)系數(shù)據(jù)庫的數(shù)據(jù)類型和從數(shù)據(jù)庫取出的變體類型是有確定的對應(yīng)關(guān)系的。通過RealTimeExtractionData接口，按設(shè)計(jì)時(shí)間，同步完數(shù)據(jù)之后，添加處理邏輯調(diào)用處理過程，處理數(shù)據(jù)。通過代碼控制，更加靈活且實(shí)效性好，速度快;異?？刂聘鼜?qiáng)大。系統(tǒng)實(shí)現(xiàn)自動和手動生成關(guān)系數(shù)據(jù)日報(bào)2種方式。

3.3? ?關(guān)系數(shù)據(jù)轉(zhuǎn)換實(shí)時(shí)數(shù)據(jù)

從關(guān)系數(shù)據(jù)庫取出變體類型的數(shù)據(jù)，進(jìn)行數(shù)據(jù)類型轉(zhuǎn)換，再存入實(shí)時(shí)數(shù)據(jù)庫。在類型轉(zhuǎn)換時(shí)，同樣需要進(jìn)行嚴(yán)格的類型匹配檢查以及合法轉(zhuǎn)換的數(shù)值范圍檢查。Int的數(shù)據(jù)范圍是-32 768～32 767，unsigned int的數(shù)據(jù)范圍是0～65 535。因此當(dāng)需要轉(zhuǎn)換的數(shù)值處于[-32 768，0）時(shí)，服務(wù)會報(bào)錯(cuò)提示轉(zhuǎn)換非法。

數(shù)據(jù)類型轉(zhuǎn)換的分支很多，分支總個(gè)數(shù)是實(shí)時(shí)數(shù)據(jù)庫數(shù)據(jù)類型的個(gè)數(shù)與關(guān)系數(shù)據(jù)庫數(shù)據(jù)類型個(gè)數(shù)的笛卡爾積，而在每個(gè)分支中的類型匹配檢查個(gè)數(shù)以及合法轉(zhuǎn)換數(shù)值范圍檢查個(gè)數(shù)則更為龐大，十分復(fù)雜。

4? ? ? 結(jié)? ? 語

數(shù)據(jù)交換服務(wù)是物聯(lián)網(wǎng)系統(tǒng)技術(shù)發(fā)展的一個(gè)重要組成部分，它快速準(zhǔn)確地提供實(shí)時(shí)數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫之間數(shù)據(jù)的加載、轉(zhuǎn)換、傳輸和存儲服務(wù)，建立高效穩(wěn)定的實(shí)時(shí)庫數(shù)據(jù)提取和關(guān)系庫數(shù)據(jù)同步機(jī)制，在解決數(shù)據(jù)共享、數(shù)據(jù)資源整合、發(fā)掘數(shù)據(jù)資源的潛在價(jià)值上發(fā)揮著重要作用，滿足不同業(yè)務(wù)的協(xié)同需求。

主要參考文獻(xiàn)

[1]李亮舉，劉孟祎.實(shí)時(shí)數(shù)據(jù)庫與關(guān)系數(shù)據(jù)庫數(shù)據(jù)交換服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)[J].自動化博覽，2013（4）.