亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于ETL工具的系泊監(jiān)測(cè)數(shù)據(jù)回傳方式

        2019-02-23 07:34:08
        資源節(jié)約與環(huán)保 2019年1期
        關(guān)鍵詞:數(shù)據(jù)庫(kù)

        張 鵬

        (中海油能源發(fā)展股份有限公司采油服務(wù)分公司 天津 300000)

        引言

        單點(diǎn)系泊是中國(guó)海上油田FPSO作業(yè)期間普遍采用的一種系泊方式,通過(guò)單點(diǎn)系泊裝置實(shí)現(xiàn)FPSO定位,井液輸送,電力、控制、通訊信號(hào)輸送。同時(shí),F(xiàn)PSO在單點(diǎn)系泊裝置的牽引下,做風(fēng)向標(biāo)運(yùn)動(dòng),使其在各種風(fēng)浪流作用下的應(yīng)力達(dá)到最小。[1]因此,單點(diǎn)系泊裝置成為保障FPSO連續(xù)安全作業(yè)的關(guān)鍵設(shè)備。

        從近十幾年國(guó)內(nèi)應(yīng)用效果來(lái)看,圍繞單點(diǎn)系泊裝置引發(fā)的生產(chǎn)安全事故時(shí)有發(fā)生,單點(diǎn)液壓緊固件損壞導(dǎo)致單點(diǎn)艙透水的事故,系泊錨鏈斷裂導(dǎo)致生產(chǎn)立管損壞的事故,甚至發(fā)生過(guò)單點(diǎn)塔架倒塌導(dǎo)致FPSO解脫漂移的嚴(yán)重事故,造成重大經(jīng)濟(jì)損失和不良社會(huì)影響。海上油田作業(yè)者愈發(fā)認(rèn)識(shí)到對(duì)作業(yè)期間的單點(diǎn)系泊裝置進(jìn)行監(jiān)測(cè)、預(yù)警是十分必要的,陸續(xù)開(kāi)展對(duì)在役FPSO加裝系泊數(shù)據(jù)監(jiān)測(cè)系統(tǒng)的工作,同時(shí)要求新建FPSO建造期間同期安裝。[1,2]

        最近幾年,中國(guó)海油旗下FPSO運(yùn)營(yíng)公司對(duì)標(biāo)國(guó)際,圍繞系泊技術(shù)開(kāi)展了一系列基礎(chǔ)工作,從錨鏈更換到滑環(huán)維修再到參與單點(diǎn)設(shè)計(jì)及滑環(huán)研制,逐步形成了系泊技術(shù)方面的經(jīng)驗(yàn)積累。從2017年,以公司系泊技術(shù)方面的工程技術(shù)人員為基礎(chǔ)開(kāi)始籌備組建國(guó)內(nèi)首家系泊技術(shù)實(shí)驗(yàn)室,長(zhǎng)期開(kāi)展FPSO系泊數(shù)據(jù)監(jiān)測(cè)、分析、診斷、評(píng)估工作成為實(shí)驗(yàn)室的核心業(yè)務(wù)之一。因此,能夠連續(xù)抓取分布于中國(guó)各個(gè)海域內(nèi)的FPSO系泊監(jiān)測(cè)數(shù)據(jù),并實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換整合的數(shù)據(jù)回傳方式,是實(shí)驗(yàn)室前期建設(shè)的重要課題。

        1 系泊數(shù)據(jù)監(jiān)測(cè)系統(tǒng)基本情況調(diào)查

        目前,中國(guó)海上油田現(xiàn)役FPSO共計(jì)13艘,分布于渤海、南海,其中6艘已安裝功能較為完善的系泊數(shù)據(jù)監(jiān)測(cè)系統(tǒng),5艘可以長(zhǎng)期提供穩(wěn)定、全面、可靠的數(shù)據(jù)源(表1)。

        表1 部分在役FPSO系泊數(shù)據(jù)檢測(cè)系統(tǒng)安裝情況

        1.1 系統(tǒng)功能及構(gòu)架

        標(biāo)準(zhǔn)的系統(tǒng)監(jiān)測(cè)功能包括:系泊力、運(yùn)動(dòng)姿態(tài)、環(huán)境條件三大類(lèi)。[2]通用數(shù)據(jù)采集范圍涉及17項(xiàng)參數(shù)(表2),有些FPSO會(huì)根據(jù)單點(diǎn)形式和海域環(huán)境特點(diǎn)設(shè)置個(gè)性化參數(shù)。數(shù)據(jù)采集頻率5HZ、1HZ。系統(tǒng)主要設(shè)備包括傳感器、數(shù)據(jù)采集器、上位機(jī)。上位機(jī)安裝監(jiān)測(cè)軟件和數(shù)據(jù)庫(kù),實(shí)現(xiàn)監(jiān)測(cè)預(yù)警、中間過(guò)程計(jì)算、數(shù)據(jù)存儲(chǔ)。

        表2 測(cè)量參數(shù)類(lèi)型

        1.2 對(duì)外通訊方式及質(zhì)量

        截止2017年底,中國(guó)海域內(nèi)海上油田已實(shí)現(xiàn)微波網(wǎng)絡(luò)全面覆蓋,海陸聯(lián)接帶寬10-30MBps,平均延遲<3mS。上述6艘FPSO的系泊數(shù)據(jù)監(jiān)測(cè)系統(tǒng)滿(mǎn)足接入海油專(zhuān)網(wǎng)的條件,可實(shí)現(xiàn)海陸數(shù)據(jù)聯(lián)通。南海部分系泊數(shù)據(jù)監(jiān)測(cè)系統(tǒng)還考慮到了躲避臺(tái)風(fēng)期間,人員撤離后,F(xiàn)PSO斷網(wǎng)斷電的特殊情況,這時(shí)監(jiān)測(cè)系統(tǒng)可以依靠專(zhuān)屬UPS供電繼續(xù)工作3-7天,期間可以通過(guò)海事衛(wèi)星與外部進(jìn)行通訊連接。

        2 ETL技術(shù)原理

        ETL(Extract-Transform-Load)是用來(lái)描述將數(shù)據(jù)從來(lái)源端經(jīng)過(guò)抽取、交互轉(zhuǎn)換、加載至目的端的過(guò)程。[3]這一概念來(lái)自于數(shù)據(jù)倉(cāng)庫(kù),是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的重要一環(huán),用戶(hù)從數(shù)據(jù)源抽取出所需的數(shù)據(jù),經(jīng)過(guò)數(shù)據(jù)清洗,最終按照預(yù)先定義好的數(shù)據(jù)倉(cāng)庫(kù)模型,將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中去。伴隨著數(shù)據(jù)倉(cāng)庫(kù),ETL技術(shù)已經(jīng)發(fā)展了近30年,從紛繁復(fù)雜逐步走向標(biāo)準(zhǔn)化,其技術(shù)日趨成熟。

        2.1 ETL的實(shí)現(xiàn)方式

        ETL的實(shí)現(xiàn)有多種方法,常用的有兩種。[4]一種是通過(guò)SQL編程方式實(shí)現(xiàn)。其優(yōu)點(diǎn)是靈活,可實(shí)現(xiàn)復(fù)雜的功能應(yīng)用,執(zhí)行過(guò)程高效,但是編碼復(fù)雜,技術(shù)要求高,后期維護(hù)過(guò)程有一定的難度,且不容易擴(kuò)展。另一種是借助ETL工具實(shí)現(xiàn)。ETL工具是數(shù)據(jù)庫(kù)廠(chǎng)商或第三方開(kāi)發(fā)的專(zhuān)業(yè)工具軟件,借助工具可以快速建立起ETL過(guò)程,屏蔽了復(fù)雜的編碼任務(wù),提高了開(kāi)發(fā)效率,降低了技術(shù)難度,但是缺少一定的靈活性,不過(guò)這也是當(dāng)前大數(shù)據(jù)時(shí)代普遍采用的一種方式。

        2.2 ETL工具架構(gòu)

        ETL工具有兩種技術(shù)架構(gòu),ETL架構(gòu)和ELT架構(gòu),區(qū)別如下:[5]

        2.2.1 ETL架構(gòu)

        在ETL架構(gòu)中,數(shù)據(jù)的流向是從源數(shù)據(jù)流到ETL工具,ETL工具是一個(gè)單獨(dú)的數(shù)據(jù)處理引擎,一般會(huì)在單獨(dú)的硬件服務(wù)器上,實(shí)現(xiàn)所有數(shù)據(jù)轉(zhuǎn)化的工作,然后將數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)中,如果要增加整個(gè)ETL過(guò)程的效率,則只能增強(qiáng)ETL工具服務(wù)器的配置,優(yōu)化系統(tǒng)處理流程。ETL架構(gòu)的特點(diǎn)包括:

        (1)ETL可以分擔(dān)數(shù)據(jù)庫(kù)系統(tǒng)的負(fù)載。

        (2)ETL相對(duì)于ELT架構(gòu)可以實(shí)現(xiàn)更為復(fù)雜的數(shù)據(jù)轉(zhuǎn)化邏輯。

        (3)ETL采用單獨(dú)的硬件服務(wù)器。

        (4)ETL與底層的數(shù)據(jù)庫(kù)數(shù)據(jù)存儲(chǔ)無(wú)關(guān)。

        2.2.2 ELT架構(gòu)

        在ELT架構(gòu)中,ELT只負(fù)責(zé)提供圖形化的界面來(lái)設(shè)計(jì)業(yè)務(wù)規(guī)則,數(shù)據(jù)的整個(gè)加工過(guò)程都在目標(biāo)和源的數(shù)據(jù)庫(kù)之間流動(dòng),ELT協(xié)調(diào)相關(guān)的數(shù)據(jù)庫(kù)系統(tǒng)來(lái)執(zhí)行相關(guān)的應(yīng)用,數(shù)據(jù)加工過(guò)程既可以在源數(shù)據(jù)庫(kù)端執(zhí)行,也可以在目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)端執(zhí)行。當(dāng)ELT過(guò)程需要提高效率,則可以通過(guò)對(duì)相關(guān)數(shù)據(jù)庫(kù)進(jìn)行調(diào)優(yōu),或者改變執(zhí)行加工的服務(wù)器就可以達(dá)到。ELT架構(gòu)的特點(diǎn)包括:

        (1)ELT主要通過(guò)數(shù)據(jù)庫(kù)引擎來(lái)實(shí)現(xiàn)系統(tǒng)的可擴(kuò)展性。

        (2)ELT可以保持所有的數(shù)據(jù)始終在數(shù)據(jù)庫(kù)當(dāng)中,避免數(shù)據(jù)的加載和導(dǎo)出,從而保證效率,提高系統(tǒng)的可監(jiān)控性。

        (3)ELT可以根據(jù)數(shù)據(jù)的分布情況進(jìn)行并行處理優(yōu)化,并可以利用數(shù)據(jù)庫(kù)的固有功能優(yōu)化磁盤(pán)I/O。

        (4)ELT的可擴(kuò)展性取決于數(shù)據(jù)庫(kù)引擎和其硬件服務(wù)器的可擴(kuò)展性。

        (5)通過(guò)對(duì)相關(guān)數(shù)據(jù)庫(kù)進(jìn)行性能調(diào)優(yōu)。

        3 基于ETL工具的數(shù)據(jù)回傳方式設(shè)計(jì)

        3.1 ETL工具的選擇與對(duì)比

        近年來(lái)大數(shù)據(jù)概念席卷全球,圍繞大數(shù)據(jù)的相關(guān)應(yīng)用如雨后春筍。能夠?qū)崿F(xiàn)快速部署的數(shù)據(jù)集成業(yè)務(wù)推動(dòng)了ETL工具快速發(fā)展。常用的ETL工具主要包括國(guó)外商業(yè)品牌,開(kāi)源工具、國(guó)產(chǎn)商業(yè)品牌這三類(lèi)(表3)。國(guó)外商業(yè)品牌工具功能強(qiáng)大,尤其是大型數(shù)據(jù)庫(kù)廠(chǎng)商開(kāi)發(fā)的自有工具能夠與其數(shù)據(jù)庫(kù)完美配合,但產(chǎn)品費(fèi)用和后期維護(hù)成本高昂,適合大型數(shù)據(jù)工程。開(kāi)源工具可以免費(fèi)獲取,代碼公開(kāi)透明,能夠?qū)崿F(xiàn)快速部署,實(shí)施過(guò)程幾乎沒(méi)有成本,但后期維護(hù)沒(méi)有技術(shù)保障,對(duì)于維護(hù)人員的技術(shù)水平有較高的要求,適合個(gè)人應(yīng)用或者搞數(shù)據(jù)實(shí)驗(yàn)。國(guó)產(chǎn)商業(yè)品牌工具最近幾年也有了相當(dāng)不錯(cuò)的進(jìn)步,內(nèi)核多基于國(guó)外開(kāi)源工具,產(chǎn)品費(fèi)用相對(duì)低廉,后期維護(hù)能夠獲得技術(shù)支持,適合中小型數(shù)據(jù)工程。

        表3 部分常用ETL工具

        3.2 ETL工具基本配置方法

        使用ETL工具可以快速實(shí)現(xiàn)數(shù)據(jù)抓取、整合的工作(圖A),避免了開(kāi)發(fā)專(zhuān)業(yè)軟件的復(fù)雜過(guò)程。ETL工具對(duì)于使用者像一個(gè)遮蔽的黑盒,無(wú)需關(guān)心其內(nèi)部代碼執(zhí)行過(guò)程,使用者只需把精力投入到參數(shù)配置過(guò)程。

        圖A 系泊數(shù)據(jù)回傳系統(tǒng)架構(gòu)

        ETL工具通常都具備圖形化操作界面,使用過(guò)程像搭建流程圖一樣快捷、簡(jiǎn)便、直觀。以Beeload軟件為例,通過(guò)以下步驟表4可以實(shí)現(xiàn)數(shù)據(jù)回傳的基本需求。

        表4 ETL工具配置步驟

        3.3 優(yōu)化設(shè)計(jì)分析

        通常,經(jīng)過(guò)以上配置過(guò)程就可以實(shí)現(xiàn)數(shù)據(jù)回傳的基本需求,但要保持高效、穩(wěn)定的運(yùn)行還需要從以下幾個(gè)方面進(jìn)行深入細(xì)致的調(diào)優(yōu)設(shè)計(jì)。

        3.3.1 ETL工具的部署

        ETL工具可以直接部署在目標(biāo)數(shù)據(jù)庫(kù)服務(wù)器上,這種布部署能夠減少硬件投入,提高網(wǎng)絡(luò)I/O效率。也可以獨(dú)立部署在一臺(tái)專(zhuān)用服務(wù)器上,這種布部署能夠加強(qiáng)系統(tǒng)安全性和獨(dú)立性,避免與其他系統(tǒng)爭(zhēng)奪CPU和內(nèi)存資源。當(dāng)清洗轉(zhuǎn)換過(guò)程不需要太多的計(jì)算,而對(duì)網(wǎng)絡(luò)響應(yīng)速率有要求的時(shí)候,可以選擇直接部署在目標(biāo)數(shù)據(jù)庫(kù)服務(wù)器上。

        3.3.2 數(shù)據(jù)源的選擇

        數(shù)據(jù)源的質(zhì)量是實(shí)現(xiàn)有效回傳的前提,應(yīng)該對(duì)數(shù)據(jù)進(jìn)行充分分析。例如,ETL工具能夠提供多種數(shù)據(jù)源接口,包括結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù),但還是要盡量選擇結(jié)構(gòu)化的數(shù)據(jù)資源以提高抓取效率。如果有可能,可以對(duì)源數(shù)據(jù)做進(jìn)一步的改造。

        3.3.3 目標(biāo)數(shù)據(jù)庫(kù)的設(shè)計(jì)

        目標(biāo)數(shù)據(jù)庫(kù)結(jié)構(gòu)應(yīng)根據(jù)源數(shù)據(jù)結(jié)構(gòu)統(tǒng)一成為合理的、關(guān)聯(lián)的、分析型的新結(jié)構(gòu),其結(jié)構(gòu)應(yīng)該能最大化地承載關(guān)鍵業(yè)務(wù)數(shù)據(jù),便于查詢(xún)和發(fā)布。設(shè)計(jì)過(guò)程要重視數(shù)據(jù)標(biāo)準(zhǔn)化定義,實(shí)現(xiàn)統(tǒng)一的編碼、統(tǒng)一的分類(lèi)和組織。

        3.3.4 數(shù)據(jù)清洗轉(zhuǎn)換

        數(shù)據(jù)清洗轉(zhuǎn)換是建立源數(shù)據(jù)到目標(biāo)數(shù)據(jù)字段映射的過(guò)程。由于數(shù)據(jù)源的多樣性,需要建立規(guī)則統(tǒng)一數(shù)據(jù)類(lèi)型、祛除臟數(shù)據(jù),以免給后期數(shù)據(jù)裝載帶來(lái)麻煩。通過(guò)ETL工具自帶的函數(shù)集可以實(shí)現(xiàn)復(fù)雜的轉(zhuǎn)換規(guī)則,也可以實(shí)現(xiàn)中間過(guò)程量到最終結(jié)果的計(jì)算。如果轉(zhuǎn)換清洗算法復(fù)雜,計(jì)算量大,ETL工具應(yīng)該獨(dú)立部署在一個(gè)服務(wù)器上。

        3.3.5 數(shù)據(jù)同步

        數(shù)據(jù)同步是ETL過(guò)程中重要的環(huán)節(jié),規(guī)則設(shè)定的優(yōu)劣直接影響傳輸效率。數(shù)據(jù)同步要求源數(shù)據(jù)的變化能夠映射到目標(biāo)數(shù)據(jù)庫(kù)中。數(shù)據(jù)同步模式包括:全量同步模式和增量同步模式。[6]全量同步模式將源數(shù)據(jù)無(wú)差別全部復(fù)制到目標(biāo)數(shù)據(jù)庫(kù)中,隨著數(shù)據(jù)記錄的增多同步過(guò)程會(huì)消耗大量時(shí)間,造成網(wǎng)絡(luò)堵塞,通常只用于初始數(shù)據(jù)同步或者源數(shù)據(jù)記錄少且增長(zhǎng)不大的同步過(guò)程。增量同步模式將源數(shù)據(jù)與目標(biāo)數(shù)據(jù)進(jìn)行比對(duì),僅對(duì)差異部分進(jìn)行同步更新,適用于源數(shù)據(jù)記錄不斷增加的同步過(guò)程。增量模式又包括:差異增量模式、時(shí)間戳模式、觸發(fā)器模式。差異增量模式通過(guò)邏輯主鍵逐行比較源數(shù)據(jù)和目標(biāo)數(shù)據(jù),源數(shù)據(jù)在目標(biāo)數(shù)據(jù)表中不存在則插入,存在且信息不同則更新目標(biāo)數(shù)據(jù),目標(biāo)數(shù)據(jù)在源數(shù)據(jù)表中不存在則刪除目標(biāo)數(shù)據(jù),能夠?qū)崿F(xiàn)無(wú)差別同步。同步過(guò)程期間需要大范圍比較,效率比較低,不適合大數(shù)據(jù)量的同步過(guò)程。時(shí)間戳模式要求源數(shù)據(jù)表中存在至少1個(gè)字段(時(shí)間戳),其值隨著時(shí)間變化不斷累計(jì),同步過(guò)程中,程序通過(guò)時(shí)間戳對(duì)數(shù)據(jù)進(jìn)行過(guò)濾,結(jié)束后程序記錄時(shí)間戳信息。這種模式適合源數(shù)據(jù)只增不減,不斷累積的同步過(guò)程。觸發(fā)器模式要求在源數(shù)據(jù)庫(kù)中創(chuàng)建觸發(fā)器和臨時(shí)表,觸發(fā)器捕獲新增、修改、刪除的數(shù)據(jù)到臨時(shí)表中,程序從臨時(shí)表再同步到目標(biāo)數(shù)據(jù)表,同步過(guò)程效率高,由于源數(shù)據(jù)服務(wù)器分擔(dān)了一部分工作使得ETL服務(wù)器負(fù)荷大大降低,但是這種模式對(duì)源數(shù)據(jù)庫(kù)有較高的要求。數(shù)據(jù)同步過(guò)程還需要作業(yè)調(diào)度配合,以實(shí)現(xiàn)自動(dòng)定時(shí)抓取數(shù)據(jù)。作業(yè)調(diào)度設(shè)計(jì)要求充分考慮同步頻率、數(shù)據(jù)采集密度與傳輸效率之間的矛盾,同步頻率高,采集密度大容易造成網(wǎng)絡(luò)堵塞。對(duì)實(shí)時(shí)性要求不高,可以降低同步頻率,甚至可以選擇T+1同步(隔天同步)。對(duì)實(shí)時(shí)性要求高,可以通過(guò)數(shù)據(jù)篩選降低采集密度。

        結(jié)語(yǔ)

        使用ETL工具抓取數(shù)據(jù)已經(jīng)成為業(yè)內(nèi)比較成熟的解決方案。通過(guò)ETL工具實(shí)現(xiàn)系泊監(jiān)測(cè)數(shù)據(jù)回傳優(yōu)勢(shì)明顯:①實(shí)施過(guò)程簡(jiǎn)易高效,能夠快速達(dá)到數(shù)據(jù)整合的目的;②相比較專(zhuān)業(yè)開(kāi)發(fā),節(jié)省人力物力;③后期維護(hù)過(guò)程穩(wěn)定可靠,不需要投入太多精力;④具備很強(qiáng)的擴(kuò)展能力,隨時(shí)可以加入新的數(shù)據(jù)源。目前,國(guó)產(chǎn)部分ETL工具軟件進(jìn)步很快,在業(yè)界積累了一定的成功經(jīng)驗(yàn),足以應(yīng)對(duì)中小型數(shù)據(jù)工程的基本需求,是一個(gè)性?xún)r(jià)比不錯(cuò)的選擇。

        猜你喜歡
        數(shù)據(jù)庫(kù)
        數(shù)據(jù)庫(kù)
        數(shù)據(jù)庫(kù)
        兩種新的非確定數(shù)據(jù)庫(kù)上的Top-K查詢(xún)
        數(shù)據(jù)庫(kù)
        數(shù)據(jù)庫(kù)
        數(shù)據(jù)庫(kù)
        數(shù)據(jù)庫(kù)
        數(shù)據(jù)庫(kù)
        數(shù)據(jù)庫(kù)
        數(shù)據(jù)庫(kù)
        日本综合视频一区二区| 亚洲白白色无码在线观看| 亚洲欧美日韩国产综合久| 国产一品二品三品精品久久| 成人av蜜桃在线观看| 强奷乱码中文字幕| 7777精品久久久大香线蕉| 亚洲VR永久无码一区| 色男色女午夜福利影院| av无码国产精品色午夜| 伊人久久五月丁香综合中文亚洲| 国产精品欧美久久久久老妞| 中文字幕二区三区在线| 国产精品自线一区二区三区| 日韩欧美亚洲综合久久影院ds| 在线免费观看国产精品| 一区二区三区免费观看在线视频 | 丝袜美腿人妻第一版主| 先锋五月婷婷丁香草草| 成人亚洲性情网站www在线观看| 色综合999| 国产69精品麻豆久久| 亚洲av无码专区在线观看下载| 无遮挡边吃摸边吃奶边做| 色偷偷亚洲第一综合网| 精品中文字幕在线不卡| 亚洲愉拍99热成人精品热久久| 亚洲熟妇av乱码在线观看| 青青草针对华人超碰在线| 亚洲伊人av天堂有码在线| 成人国产精品一区二区视频| 99热成人精品免费久久| 美女偷拍一区二区三区| 丰满人妻一区二区三区视频| 在线亚洲+欧美+日本专区| av天堂精品久久久久| 在线观看视频亚洲一区二区三区| 妺妺跟我一起洗澡没忍住| 国产色综合天天综合网| 久久AⅤ无码精品色午麻豆| 成人自拍一二在线观看|