亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        元數(shù)據(jù)驅(qū)動的大數(shù)據(jù)服務(wù)平臺

        2018-04-07 14:53:54佘俊周宇鵬王林董天波蘭天
        科技傳播 2018年5期
        關(guān)鍵詞:元數(shù)據(jù)數(shù)據(jù)服務(wù)大數(shù)據(jù)

        佘俊 周宇鵬 王林 董天波 蘭天

        摘 要 隨著物聯(lián)網(wǎng)、大數(shù)據(jù)等IT技術(shù)的快速發(fā)展,產(chǎn)生了大量多源異構(gòu)的數(shù)據(jù),但這些數(shù)據(jù)往往是各自為政、孤立存在,數(shù)據(jù)中蘊藏的知識和價值不能得到有效釋放。首先分析了工業(yè)大數(shù)據(jù)的現(xiàn)狀和特性,針對大數(shù)據(jù)時代的數(shù)據(jù)應(yīng)用挑戰(zhàn),提出元數(shù)據(jù)驅(qū)動的大數(shù)據(jù)服務(wù)平臺的體系結(jié)構(gòu),利用元數(shù)據(jù)實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化管理,并驅(qū)動合適粒度的數(shù)據(jù)服務(wù),實現(xiàn)大數(shù)據(jù)時代的數(shù)據(jù)自服務(wù)平臺,推動數(shù)據(jù)共享和價值釋放。

        關(guān)鍵詞 大數(shù)據(jù);元數(shù)據(jù);數(shù)據(jù)服務(wù)

        中圖分類號 TP3 文獻標(biāo)識碼 A 文章編號 1674-6708(2018)206-0105-03

        隨著物聯(lián)網(wǎng)、大數(shù)據(jù)等IT技術(shù)的快速發(fā)展,包括電力企業(yè)在內(nèi)的行業(yè)均產(chǎn)生大量的數(shù)據(jù),其數(shù)據(jù)儲存也占據(jù)著大量的資源,依據(jù)相關(guān)數(shù)據(jù)限制,在未來的發(fā)展中其數(shù)據(jù)總量呈現(xiàn)上升趨勢,大數(shù)據(jù)時代屬于一場前所未有的革命。當(dāng)前大數(shù)據(jù)主要應(yīng)用在互聯(lián)網(wǎng)、傳統(tǒng)商業(yè)領(lǐng)域,主要是開展客戶挖掘、購物行為預(yù)測,購物需求分析等。在信息時代下,工業(yè)化生產(chǎn)逐漸朝著智能化、柔性化的方向發(fā)展。不管是在生產(chǎn)設(shè)備,或者是感知設(shè)備均屬于數(shù)據(jù)的生產(chǎn)者。依據(jù)相關(guān)資料顯示,制造行業(yè)內(nèi)的數(shù)據(jù)儲存量明顯高于其他行業(yè)。在2012年其數(shù)據(jù)儲存量已經(jīng)接近于2EB。隨著數(shù)據(jù)儲存量的增長,其管理難度、數(shù)據(jù)種類也在不斷變化,呈爆炸式增長趨勢,直接導(dǎo)致工業(yè)大數(shù)據(jù)爆發(fā)[ 1 ]。德國的4.0工業(yè)、美國的工業(yè)互聯(lián)網(wǎng)行業(yè)的深入發(fā)展以及“中國制造2025”規(guī)劃,將促使智能化分析與物聯(lián)網(wǎng)實現(xiàn)密切配合,以此對現(xiàn)存的生產(chǎn)方式、管理方式進行轉(zhuǎn)變[ 2 ]。德國4.0工業(yè)也提出過“智能工廠”“智能物流”等發(fā)展理念,在任何一種發(fā)現(xiàn)理念中,其數(shù)據(jù)屬于底層核心。工業(yè)4.0就是將多源異構(gòu)的數(shù)據(jù)整合并支撐前端智能的過程。無疑,數(shù)據(jù)將會滲透到企業(yè)運營的整個生命周期,推動制造業(yè)向智能化轉(zhuǎn)型,意味著工業(yè)大數(shù)據(jù)時代到來[ 3 ]。

        結(jié)合相關(guān)資料,工業(yè)大數(shù)據(jù)本身具備采樣性、多樣性的排列順序,其數(shù)據(jù)還具備混雜性的特點[4]。工業(yè)數(shù)據(jù)主要分為密集數(shù)據(jù)、慢數(shù)據(jù)、快數(shù)據(jù)。通過深入分析發(fā)現(xiàn),工業(yè)數(shù)據(jù)還具有多源性、廣泛性、動態(tài)性的特點,在工業(yè)數(shù)據(jù)的應(yīng)用與管理上存在著較多的問題與挑戰(zhàn)。主要是因為工業(yè)數(shù)據(jù)涉及的部門較多,其涉及的領(lǐng)域也比較廣,在實際工作中面臨著數(shù)據(jù)安全、所有權(quán)、質(zhì)量、管理、控制等問題。加之當(dāng)前我國對工業(yè)數(shù)據(jù)管理與控制上還未能形成統(tǒng)一的管理制度與管理固定,在實際的管理中“信息孤島”現(xiàn)象普遍存在。這就對工業(yè)產(chǎn)生的海量數(shù)據(jù),如何進行合理管理,科學(xué)儲存,以此提升數(shù)據(jù)資源的利用率,成為當(dāng)前工業(yè)行業(yè)改革的重點問題之一。

        使用元數(shù)據(jù),能夠?qū)I(yè)數(shù)據(jù)進行目錄化管理,實現(xiàn)數(shù)據(jù)服務(wù),這類技術(shù)能夠彌補傳統(tǒng)數(shù)據(jù)集中中的缺陷,特別是數(shù)據(jù)集成不完善問題。從而能使工業(yè)大數(shù)據(jù)能得到更好的存儲和共享。

        1 平臺體系架構(gòu)

        多源異構(gòu)的數(shù)據(jù)就像一個個信息孤島,如何集成到統(tǒng)一的數(shù)據(jù)中心并在統(tǒng)一管理下對外提供數(shù)據(jù)服務(wù)是研究的重點。為了打破數(shù)據(jù)壁壘,釋放數(shù)據(jù)價值,應(yīng)用元數(shù)據(jù)管理技術(shù)建立元數(shù)據(jù)管理平臺,實現(xiàn)元數(shù)據(jù)的采集、變更、刪除及檢索,并在元數(shù)據(jù)的驅(qū)動下實現(xiàn)數(shù)據(jù)的抽取、轉(zhuǎn)換、加載,結(jié)合數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)模型管理和數(shù)據(jù)質(zhì)量管理,建立電子化數(shù)據(jù)目錄,最終實現(xiàn)統(tǒng)一的對外數(shù)據(jù)服務(wù)。

        數(shù)據(jù)中心將來源于設(shè)備狀態(tài)監(jiān)測、企業(yè)管理信息系統(tǒng)等不同來源、不同特性的數(shù)據(jù)通過統(tǒng)一的ETL過程存儲下來,并在此過程中實現(xiàn)元數(shù)據(jù)的采集和稽核,建立電子化的數(shù)據(jù)目錄并存儲在元數(shù)據(jù)庫中,同時在服務(wù)平臺上建立適當(dāng)粒度的數(shù)據(jù)服務(wù)。外部應(yīng)用可以在元數(shù)據(jù)管理平臺中檢索元數(shù)據(jù)和數(shù)據(jù)服務(wù),并構(gòu)成數(shù)據(jù)服務(wù)請求進而訪問數(shù)據(jù),從而實現(xiàn)應(yīng)用系統(tǒng)以自助式、自主式的方式獲得數(shù)據(jù),真正意義上打破數(shù)據(jù)壁壘,實現(xiàn)工業(yè)大數(shù)據(jù)環(huán)境下的數(shù)據(jù)自服務(wù),釋放數(shù)據(jù)價值。

        2 關(guān)鍵技術(shù)

        2.1 元數(shù)據(jù)管理

        元數(shù)據(jù)是一種結(jié)構(gòu)化的信息,用于對某項信息資源進行描述、解釋、定位,使其易于提取和使用。工業(yè)大數(shù)據(jù)時代,如何從海量數(shù)據(jù)中發(fā)現(xiàn)知識進行分析成為難題。為此通過元數(shù)據(jù)管理高效支撐海量數(shù)據(jù)資產(chǎn)的快速識別定位、高效有序管理和智能便捷應(yīng)用,使決策者知曉數(shù)據(jù)資產(chǎn)概況,管理者知曉數(shù)據(jù)資產(chǎn)的健康運行狀況,使用者知曉數(shù)據(jù)資產(chǎn)的來龍去脈。

        元數(shù)據(jù)包括業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和管理元數(shù)據(jù)。元數(shù)據(jù)管理以業(yè)務(wù)模型為切入點,以數(shù)據(jù)模型(特指基于業(yè)務(wù)原始數(shù)據(jù)且未進行邏輯加工處理的模型)為中心,制定業(yè)務(wù)模型和數(shù)據(jù)模型標(biāo)準(zhǔn),管理數(shù)據(jù)模型、數(shù)據(jù)應(yīng)用、數(shù)據(jù)集成、數(shù)據(jù)處理、數(shù)據(jù)視圖等對象元數(shù)據(jù)信息,監(jiān)控標(biāo)準(zhǔn)的執(zhí)行情況。

        元數(shù)據(jù)管理包含元數(shù)據(jù)采集、元數(shù)據(jù)維護、元數(shù)據(jù)發(fā)布、血緣分析、影響度分析、表關(guān)聯(lián)度分析、元數(shù)據(jù)稽核等功能。通過自動采集ETL轉(zhuǎn)換過程,對結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)進行統(tǒng)一管理,進而支撐上層數(shù)據(jù)服務(wù)。

        2.2 數(shù)據(jù)標(biāo)準(zhǔn)管理

        數(shù)據(jù)標(biāo)準(zhǔn)管理要符合企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)管理的相關(guān)辦法,落實數(shù)據(jù)標(biāo)準(zhǔn)管理相關(guān)人員的職責(zé),固化數(shù)據(jù)標(biāo)準(zhǔn)管理的流程規(guī)范。

        數(shù)據(jù)標(biāo)準(zhǔn)管理通過采集抽取元數(shù)據(jù),建立標(biāo)準(zhǔn)數(shù)據(jù)與元數(shù)據(jù)映射,并對關(guān)鍵元數(shù)據(jù)進行篩選,按照業(yè)務(wù)、地域、系統(tǒng)3個維度進行劃分形成數(shù)據(jù)目錄,數(shù)據(jù)目錄支持按維度下鉆瀏覽,同時支持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)對數(shù)據(jù)地圖進行探索;數(shù)據(jù)標(biāo)準(zhǔn)管理支持?jǐn)?shù)據(jù)分布智能查詢、數(shù)據(jù)分布瀏覽功能??筛鶕?jù)元數(shù)據(jù)信息及專業(yè)數(shù)據(jù),結(jié)合業(yè)務(wù)經(jīng)驗,將具有詞典意義的單詞定義為標(biāo)準(zhǔn)單詞,也可將多個單詞組合成業(yè)務(wù)術(shù)語或技術(shù)用語。

        2.3 數(shù)據(jù)模型管理

        數(shù)據(jù)模型管理是對企業(yè)概念模型、邏輯模型和物理模型進行統(tǒng)一管理,覆蓋模型的設(shè)計、發(fā)布和應(yīng)用等各階段。數(shù)據(jù)模型管理將企業(yè)模型管理規(guī)范、模型與數(shù)據(jù)庫映射管理導(dǎo)入數(shù)據(jù)模型管理組件中,并提供模型信息維護、版本管理、業(yè)務(wù)模型與物理模型映射等功能。數(shù)據(jù)模型管理也提供模型的可視化展現(xiàn)、在設(shè)計期、開發(fā)期、運行期的模型分析比對、模型的分發(fā)功能,進行模型的全生命周期管理。

        2.4 數(shù)據(jù)服務(wù)總線

        數(shù)據(jù)服務(wù)總線建立基于元數(shù)據(jù)和數(shù)據(jù)模型的對外數(shù)據(jù)服務(wù),采用基于數(shù)據(jù)模型的可視化配置的方式,節(jié)省繁復(fù)的接口腳本編寫過程,提高數(shù)據(jù)服務(wù)的效率。

        數(shù)據(jù)服務(wù)總線提供的統(tǒng)一的數(shù)據(jù)服務(wù)目錄,對數(shù)據(jù)資產(chǎn)的產(chǎn)生、位置、責(zé)任單位、共享范圍、更新維護方式、服務(wù)方式等方面的信息進行全面描述,為企業(yè)提供統(tǒng)一的數(shù)據(jù)資源全景地圖,明確信息資源有什么,在哪里,誰負責(zé),做到“信息清、資源清”。

        通過數(shù)據(jù)服務(wù)標(biāo)準(zhǔn)化開放訪問,幫助數(shù)據(jù)中心和應(yīng)用中心實現(xiàn)應(yīng)用和數(shù)據(jù)分離,提高應(yīng)用開發(fā)效率和生產(chǎn)效率。訪問接口支持Web?Service、Http/ Rest、FTP等,并提供統(tǒng)一的服務(wù)封裝能力,將對外共享的數(shù)據(jù)按照一定粒度封裝為獨立的服務(wù)實體,盡可能屏蔽內(nèi)部的細節(jié),只提供標(biāo)準(zhǔn)化的交互接口,保證了數(shù)據(jù)的安全性和數(shù)據(jù)交換的標(biāo)準(zhǔn)化。

        3 應(yīng)用實踐

        中國南方電網(wǎng)有限責(zé)任公司調(diào)峰調(diào)頻發(fā)電公司成立于2006年7月,隸屬于中國南方電網(wǎng)有限責(zé)任公司。公司主要負責(zé)南方電網(wǎng)區(qū)域內(nèi)的調(diào)峰、調(diào)頻電廠的運營、維護、管理和建設(shè)工作。其工作目的是為南方電網(wǎng)提供優(yōu)質(zhì)運行服務(wù),確保南方電網(wǎng)的安全性、經(jīng)濟性。目前,公司的已投運機組容量642萬kW,在建機組容量158萬kW,前期開發(fā)項目容量660萬kW。公司的管轄范圍主要包括:調(diào)峰、調(diào)頻、調(diào)相、事故備用等,是確保電網(wǎng)安全運行的關(guān)鍵環(huán)節(jié),直接帶動了當(dāng)?shù)亟?jīng)濟的發(fā)展。

        當(dāng)前調(diào)峰調(diào)頻發(fā)電公司正在開展圍繞發(fā)電設(shè)備狀態(tài)監(jiān)測的狀態(tài)監(jiān)測中心研究與建設(shè)工作。其軟件環(huán)境分為數(shù)據(jù)中心和應(yīng)用中心兩大部分。數(shù)據(jù)中心集中存儲設(shè)備準(zhǔn)實時數(shù)據(jù)和管理業(yè)務(wù)的結(jié)構(gòu)化數(shù)據(jù),分為采集層、存儲層、數(shù)據(jù)倉庫層、數(shù)據(jù)服務(wù)層。應(yīng)用中心以輕量化應(yīng)用的思路,遵循OSGi技術(shù)規(guī)范,支持PC端、移動端的組件化應(yīng)用。

        通過應(yīng)用元數(shù)據(jù)驅(qū)動的數(shù)據(jù)服務(wù)平臺,狀態(tài)監(jiān)測中心的數(shù)據(jù)中心已具備各類準(zhǔn)實時的設(shè)備監(jiān)測數(shù)據(jù)和結(jié)構(gòu)化的業(yè)務(wù)系統(tǒng)數(shù)據(jù)統(tǒng)一采集、存儲、綜合管理、分析和數(shù)據(jù)服務(wù)等功能,初步實現(xiàn)應(yīng)用和數(shù)據(jù)的解耦,為設(shè)備實時管理、企業(yè)實時管控和科學(xué)決策提供支持。

        4 結(jié)論

        隨著數(shù)據(jù)的指數(shù)級爆發(fā)式增長,企業(yè)信息化轉(zhuǎn)型和數(shù)字化驅(qū)動的迫切需求,如何應(yīng)對大數(shù)據(jù)時代,從數(shù)據(jù)中發(fā)現(xiàn)知識并驅(qū)動企業(yè)發(fā)展,成為當(dāng)前的熱點問題。提出元數(shù)據(jù)驅(qū)動的數(shù)據(jù)服務(wù)平臺,適合大數(shù)據(jù)的存儲分析應(yīng)用需求,是實現(xiàn)數(shù)據(jù)自服務(wù)、推動企業(yè)數(shù)據(jù)化運營的可行路線。在未來的工作中,要考慮如何將數(shù)據(jù)服務(wù)平臺支撐的應(yīng)用效果反饋到平臺中,實現(xiàn)閉環(huán)的數(shù)據(jù)服務(wù)體系,對設(shè)備監(jiān)測和企業(yè)管理進行控制優(yōu)化。

        參考文獻

        [1]GE智能平臺.工業(yè)大數(shù)據(jù)云利用大數(shù)據(jù)集推動創(chuàng)新、競爭和增長[J].自動化博覽,2012(12):40-42.

        [2]羅平.淺談工業(yè)大數(shù)據(jù)的價值實現(xiàn)方式[J].商,2015(29):210-2l1.

        [3]馬蕾.何為工業(yè)大數(shù)據(jù)[J].經(jīng)營者(汽車商業(yè)評論),2015(7):105-108.

        [4]劉強,秦泗釗.過程工業(yè)大數(shù)據(jù)建模研究展望[J].自動化學(xué)報,2016(2):161-171.

        [5]王淑芬.基于大數(shù)據(jù)的制造運行監(jiān)測與分析平臺研究[D].廣州:廣東工業(yè)大學(xué),2014.

        猜你喜歡
        元數(shù)據(jù)數(shù)據(jù)服務(wù)大數(shù)據(jù)
        地理空間大數(shù)據(jù)服務(wù)自然資源調(diào)查監(jiān)測的方向分析
        基于來源的組織機構(gòu)元數(shù)據(jù)構(gòu)建研究
        檔案管理(2017年1期)2017-01-17 19:09:04
        如何運用稅收大數(shù)據(jù)服務(wù)供給側(cè)結(jié)構(gòu)性改革
        中國商論(2016年34期)2017-01-15 14:24:18
        元數(shù)據(jù)與社會化標(biāo)簽在微視頻搜索中的應(yīng)用
        高等院校智慧校園建設(shè)規(guī)劃與實現(xiàn)
        基于大數(shù)據(jù)背景下的智慧城市建設(shè)研究
        科技視界(2016年20期)2016-09-29 10:53:22
        基于頻繁子圖挖掘的數(shù)據(jù)服務(wù)Mashup推薦
        歸檔網(wǎng)絡(luò)信息價值判斷的元數(shù)據(jù)描述研究綜述
        一種基于數(shù)據(jù)服務(wù)超鏈進行情景數(shù)據(jù)集成的方法*
        天下第二社区在线视频| 美女把内衣内裤脱了给男人舔| 亚洲国产综合精品中久| 在线播放真实国产乱子伦| 亚洲欧美另类激情综合区| 久久久久久久一线毛片| 日本一区人妻蜜桃臀中文字幕| 一本色道无码不卡在线观看| 亚洲色欲色欲综合网站| 国产亚洲女在线线精品| 亚洲中文字幕一区高清在线| 性欧美丰满熟妇xxxx性久久久| 精品国产人成亚洲区| 99久久综合九九亚洲| 91羞射短视频在线观看| 激情综合色综合啪啪开心| 国产福利酱国产一区二区| 日本理论片一区二区三区| 日韩一区二区中文天堂| 极品少妇hdxx麻豆hdxx| 国产色诱视频在线观看| 国产成人精品视频网站| 人妖一区二区三区在线| s级爆乳玩具酱国产vip皮裤| 精品2021露脸国产偷人在视频| 黄网站a毛片免费观看久久| 国产一级内射视频在线观看| 亚洲av永久无码精品国产精品| 久久精品国产亚洲av大全相关| 蜜桃视频在线在线观看| 日本又色又爽又黄的a片18禁| 狠狠人妻久久久久久综合| 亚洲天堂av社区久久| 在线播放av不卡国产日韩| 国产xxxx99真实实拍| 亚洲欧美日韩高清一区二区三区| 亚洲一区二区三区成人网| 国内精品伊人久久久久网站| 国产黑丝在线| 国产av在线观看91| 亚洲精品久久激情国产片|