亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于數(shù)據(jù)中臺(tái)的企業(yè)賦能體系構(gòu)建研究

        2021-08-26 02:50:04徐文杰
        中國新技術(shù)新產(chǎn)品 2021年10期
        關(guān)鍵詞:中臺(tái)數(shù)據(jù)服務(wù)體系

        徐文杰

        (上海軟中信息技術(shù)有限公司,上海 200235)

        0 引言

        隨著數(shù)字經(jīng)濟(jì)的飛速發(fā)展,數(shù)據(jù)作為企業(yè)中的關(guān)鍵資產(chǎn)之一,其地位與關(guān)注度不斷提升,依靠數(shù)據(jù)驅(qū)動(dòng)創(chuàng)新成為企業(yè)數(shù)字化轉(zhuǎn)型的重要目標(biāo)。中臺(tái)的概念源于阿里,是以“共享”和“復(fù)用”為核心,與前臺(tái)與后臺(tái)相對應(yīng),在企業(yè)組織中前臺(tái)是指市場、銷售等部門,后臺(tái)是指人資、財(cái)務(wù)等支撐部門。而中臺(tái)介于二者之間,可將前后臺(tái)有機(jī)聯(lián)系起來,這種概念的提出將企業(yè)從多個(gè)平臺(tái)分散煙囪式系統(tǒng)集群轉(zhuǎn)變?yōu)橄嗤脚_(tái)下的應(yīng)用集群,依靠數(shù)據(jù)賦能企業(yè)發(fā)展,進(jìn)一步凸顯數(shù)據(jù)價(jià)值。

        1 數(shù)據(jù)中臺(tái)體系架構(gòu)與技術(shù)選型

        1.1 定義

        從阿里提出“中臺(tái)”戰(zhàn)略后,數(shù)據(jù)中臺(tái)在網(wǎng)絡(luò)背景下得到迅猛發(fā)展,其主要以數(shù)據(jù)驅(qū)動(dòng)創(chuàng)新為目標(biāo),使用先進(jìn)的技術(shù)創(chuàng)建體系,具有機(jī)動(dòng)靈活、組織能力強(qiáng)等特點(diǎn),其終極目標(biāo)在于解決業(yè)務(wù)問題、快速解決業(yè)務(wù)訴求為中臺(tái)建設(shè)的重要考量指標(biāo)。從本質(zhì)上看,中臺(tái)建設(shè)的目的在于使用服務(wù);如果沒有嚴(yán)格的組織協(xié)調(diào)就很難形成強(qiáng)大戰(zhàn)斗力,該體系建設(shè)應(yīng)有嚴(yán)格的技術(shù)體系與組織架構(gòu),并且需要深入思考。

        1.2 體系架構(gòu)

        近年來,隨著Flink等技術(shù)的飛速發(fā)展,逐漸形成流批一體化潮流,接入層以流式接入,計(jì)算層支持實(shí)時(shí)計(jì)算,批處理成為流處理中的補(bǔ)充場景,可實(shí)現(xiàn)處理方式的自由切換,架構(gòu)如圖1所示。在大數(shù)據(jù)統(tǒng)計(jì)方面,統(tǒng)計(jì)分析不會(huì)出現(xiàn)根本性變化,以“T+1”批處理為例,作為數(shù)據(jù)應(yīng)用不可或缺的內(nèi)容,在相同的架構(gòu)中,因數(shù)據(jù)源與維度變化較大,批處理面臨許多復(fù)雜場景,在利用相同框架時(shí)有一定難度,需要進(jìn)行架構(gòu)分層,在符合網(wǎng)絡(luò)應(yīng)用需求的基礎(chǔ)上,采用ELT系統(tǒng)架構(gòu)將其分為3層,具體如下:1)業(yè)務(wù)數(shù)據(jù)層。該層數(shù)據(jù)來源為原始數(shù)據(jù),數(shù)據(jù)結(jié)構(gòu)基本與數(shù)據(jù)源相同,可采用拉鏈加工與存儲(chǔ)變化數(shù)據(jù)。2)公共數(shù)據(jù)層。寬表便于理解與應(yīng)用,下游調(diào)用十分便捷,且寬表利用率70%。3)應(yīng)用層。其主要作用是數(shù)據(jù)加工,即集市層,該層設(shè)計(jì)較為靈活,與實(shí)際應(yīng)用相貼合,設(shè)計(jì)理念為維度建模思想[1]。

        圖1 數(shù)據(jù)中臺(tái)處理架構(gòu)

        2 企業(yè)數(shù)據(jù)中臺(tái)體系的搭建內(nèi)容

        2.1 元數(shù)據(jù)管理

        元數(shù)據(jù)主要對數(shù)據(jù)、信息資源進(jìn)行定位,使檢索與應(yīng)用更加便利,同時(shí)還具有資源尋找、存儲(chǔ)位置和文件記錄等作用,是實(shí)現(xiàn)數(shù)據(jù)交換的必要前提。中臺(tái)系統(tǒng)十分龐大,內(nèi)部資源需要統(tǒng)籌管理,以元數(shù)據(jù)為頂層控制層,對內(nèi)部數(shù)據(jù)全面管控。中臺(tái)作為數(shù)據(jù)資源、共享中心,其本質(zhì)與具體業(yè)務(wù)無關(guān),主要內(nèi)容如下所述。

        2.1.1 基礎(chǔ)模式

        在數(shù)據(jù)導(dǎo)入中臺(tái)后形成基礎(chǔ)數(shù)據(jù)信息,資源類型多種多樣,根據(jù)關(guān)系與對象模式進(jìn)行結(jié)構(gòu)化處理,還有一些非結(jié)構(gòu)化的信息;元數(shù)據(jù)可采用自動(dòng)與手動(dòng)2種形式獲取,前者利用元數(shù)據(jù)獲取接口;對于難以獲取的數(shù)據(jù)可通過人機(jī)界面錄入。

        2.1.2 數(shù)據(jù)服務(wù)

        數(shù)據(jù)服務(wù)包括基礎(chǔ)數(shù)據(jù)與分析結(jié)果數(shù)據(jù)2項(xiàng)內(nèi)容,中臺(tái)服務(wù)是在Web服務(wù)的基礎(chǔ)上開展的,并遵循相關(guān)行業(yè)標(biāo)準(zhǔn)規(guī)定,采用微服務(wù)形式,通過提煉、回補(bǔ)等方式對基礎(chǔ)數(shù)據(jù)進(jìn)行采集。

        2.1.3 數(shù)據(jù)分析

        通過配置建立分析邏輯,利用大數(shù)據(jù)分析引擎,在自定義數(shù)據(jù)中執(zhí)行相應(yīng)的分析任務(wù),通過對象模式描述數(shù)據(jù)分析結(jié)果。當(dāng)該類數(shù)據(jù)需求得到滿足后,與數(shù)據(jù)管理同步運(yùn)行[2]。

        2.2 業(yè)務(wù)數(shù)據(jù)整合

        中臺(tái)數(shù)據(jù)的來源為各業(yè)務(wù)系統(tǒng),因數(shù)據(jù)提供方式不同,可將元數(shù)據(jù)整合到中臺(tái)內(nèi)進(jìn)行統(tǒng)一管理。關(guān)系型數(shù)據(jù)經(jīng)過抽取轉(zhuǎn)換進(jìn)入中臺(tái)的關(guān)系型數(shù)據(jù)庫中,對象型數(shù)據(jù)以公共信息模型為參考進(jìn)行優(yōu)化,如對象關(guān)聯(lián)、路徑等,以原始數(shù)據(jù)為主,可利用關(guān)系型數(shù)據(jù)庫與對象數(shù)據(jù)訪問服務(wù)。在中臺(tái)內(nèi)的關(guān)系型數(shù)據(jù),只要是在信息模型覆蓋內(nèi),對象轉(zhuǎn)換后就可以將引入數(shù)據(jù)作為待處理的整體,按照層次、關(guān)聯(lián)等分為多個(gè)級別,實(shí)現(xiàn)多元系統(tǒng)數(shù)據(jù)配置,完成數(shù)據(jù)整合目標(biāo),鏟除內(nèi)部數(shù)據(jù)聯(lián)系存在的阻礙。將中臺(tái)內(nèi)部數(shù)據(jù)按照共享的方式提供給外界使用,為進(jìn)一步提高數(shù)據(jù)效用,還可以發(fā)揮大數(shù)據(jù)的作用與優(yōu)勢,也可根據(jù)現(xiàn)實(shí)需求開發(fā)分析軟件,將所得結(jié)果作為中臺(tái)數(shù)據(jù)的構(gòu)成內(nèi)容之一,將元數(shù)據(jù)凝練后納入平臺(tái)中。通過反復(fù)循環(huán)和補(bǔ)充,不僅使中臺(tái)管理內(nèi)容更加豐富,而且可以根據(jù)分析結(jié)果選擇相應(yīng)的服務(wù)方式,為數(shù)據(jù)取用提供更多便利。在數(shù)據(jù)整合完畢后,中臺(tái)可獲得3種類型數(shù)據(jù),即原始數(shù)據(jù)、全域數(shù)據(jù)與分析型數(shù)據(jù)[3]。

        2.3 數(shù)據(jù)服務(wù)發(fā)布

        在中臺(tái)體系中數(shù)據(jù)服務(wù)十分關(guān)鍵,通過自定義查詢工具生成的查詢腳本存儲(chǔ)到關(guān)系型數(shù)據(jù)庫內(nèi),并標(biāo)記好名稱、協(xié)議、路徑與分組等信息,創(chuàng)建數(shù)據(jù)訪問API。生成API可注冊到服務(wù)平臺(tái)中進(jìn)行統(tǒng)一管理,且可直接發(fā)布到API網(wǎng)管,提供開放共享的服務(wù),如圖2所示。在數(shù)據(jù)服務(wù)的基礎(chǔ)上,一些價(jià)值較高的計(jì)算結(jié)果可導(dǎo)入指定數(shù)據(jù)源中,為展示分析提供更多便利。數(shù)據(jù)導(dǎo)出過程與導(dǎo)入基本相同,只要將源與目標(biāo)角色對調(diào)即可。將導(dǎo)出計(jì)算結(jié)果傳入關(guān)系型數(shù)據(jù)庫中,使中臺(tái)數(shù)據(jù)內(nèi)容更加豐富,為商業(yè)數(shù)據(jù)智能應(yīng)用提供更多便利,以數(shù)據(jù)資源管控為代表,可直接分析結(jié)果,并通過可視化的方式展現(xiàn),使應(yīng)用創(chuàng)建速度得到顯著提升[4]。

        圖2 數(shù)據(jù)服務(wù)發(fā)布

        中臺(tái)可提供多種與國際、行業(yè)標(biāo)準(zhǔn)相符合的標(biāo)準(zhǔn),使多種數(shù)據(jù)訪問需求得到滿足,包括關(guān)系型、對象型、非結(jié)構(gòu)型,其服務(wù)與說明見表1。

        表1 中臺(tái)主要數(shù)據(jù)服務(wù)

        在RDS的基礎(chǔ)上,除關(guān)系型數(shù)據(jù)有特定的訪問接口之外,其他數(shù)據(jù)都具有微服務(wù)與Web服務(wù)。GDA提供相似SQL語言對象訪問語義支持,可按照批量、關(guān)聯(lián)鏈等查詢導(dǎo)航。對地址空間對象統(tǒng)一管理,在安全通道的基礎(chǔ)上,以二進(jìn)制編碼高效傳輸數(shù)據(jù)。如果數(shù)據(jù)訪問端要求較高,就可以有限采用OPCUA服務(wù)。在服務(wù)部署方面,RDS數(shù)據(jù)服務(wù)可由RDS服務(wù)器提供,在ECS上統(tǒng)一部署到EDAS。

        2.4 生命周期

        在數(shù)據(jù)研發(fā)后還應(yīng)注重生命周期,爆炸式增長的數(shù)據(jù)不但會(huì)占據(jù)更多的存儲(chǔ)空間,如機(jī)柜、存儲(chǔ)設(shè)備和IDC機(jī)房等,而且會(huì)影響計(jì)算效率。從數(shù)據(jù)形成開始就要重視生命周期問題,并根據(jù)數(shù)據(jù)利用情況,制定數(shù)據(jù)歸檔、銷毀等管理策略。如果數(shù)據(jù)已經(jīng)占用龐大的存儲(chǔ)資源,應(yīng)采取一系列成本控制措施,包括以下3種:1)降低存量。采用數(shù)據(jù)壓縮技術(shù)、降低副本等方式,創(chuàng)建合理的數(shù)據(jù)模型,使存儲(chǔ)量降到最低。2)控制增量。根據(jù)數(shù)據(jù)關(guān)鍵性,明確數(shù)據(jù)存檔周期,根據(jù)周期自動(dòng)歸檔,由此提高利用率。3)分?jǐn)偝杀尽Mㄟ^創(chuàng)建算法,如數(shù)據(jù)應(yīng)用分布、需求來源等,其目標(biāo)在于將成本分?jǐn)偟讲煌块T,使相關(guān)部門更加重視資產(chǎn)管理成本,從而降低安全風(fēng)險(xiǎn)[5]。

        3 數(shù)據(jù)中臺(tái)基礎(chǔ)上的賦能體系構(gòu)建案例

        某企業(yè)為大型國資企業(yè),主要從事資本運(yùn)營,已經(jīng)在國內(nèi)多個(gè)地區(qū)與國外地區(qū)投資管理300多家子公司,企業(yè)實(shí)力雄厚,擁有廣闊的發(fā)展空間。

        3.1 技術(shù)選型

        由數(shù)據(jù)流向上進(jìn)行技術(shù)選型,采用開源技術(shù)創(chuàng)建數(shù)據(jù)中臺(tái),具體如下:1)抽取層。結(jié)構(gòu)化數(shù)據(jù)采用sqoop離線抽取,利用flume進(jìn)行非結(jié)構(gòu)化日志接入。2)存儲(chǔ)層。文件可利用Hdfs與kafka進(jìn)行存儲(chǔ),適用于流式數(shù)據(jù)總線。3)計(jì)算與調(diào)度層??衫胔ive與spark進(jìn)行離線計(jì)算,采用Airflow、Axkabon進(jìn)行數(shù)據(jù)調(diào)度,采用storm與spark進(jìn)行實(shí)時(shí)計(jì)算。4)引擎層。主要為ROLAP與MOLAP。5)可視化。以Superset、Metabase為主。除此之外,整個(gè)Hadoop技術(shù)體系可選范圍較多,應(yīng)與自身業(yè)務(wù)場景相結(jié)合靈活選擇,在選擇時(shí)還可對社區(qū)活躍度、技術(shù)開放性和組件兼容性等進(jìn)行綜合分析。

        3.2 體系構(gòu)建

        在網(wǎng)絡(luò)時(shí)代,該企業(yè)逐漸引進(jìn)先進(jìn)的信息技術(shù),在技術(shù)與數(shù)字的驅(qū)動(dòng)下實(shí)現(xiàn)轉(zhuǎn)型升級,緊緊圍繞企業(yè)戰(zhàn)略目標(biāo),從本質(zhì)上解決企業(yè)效率、速度與細(xì)節(jié)等問題。采用精細(xì)化管理模式,使IT部門能夠?qū)I(yè)務(wù)變化快速響應(yīng),創(chuàng)建一套敏捷、智能、場景化數(shù)據(jù)賦能體系,在數(shù)據(jù)中臺(tái)的基礎(chǔ)上使該體系不斷成熟完善,具體內(nèi)容如下。

        3.2.1 數(shù)據(jù)系統(tǒng)化

        經(jīng)過信息化3.0建設(shè),該企業(yè)數(shù)據(jù)系統(tǒng)化程度不斷加深,基本涵蓋全部業(yè)務(wù)與數(shù)據(jù),如資源信息數(shù)據(jù)、記錄數(shù)據(jù)和經(jīng)營活動(dòng)等,還包括內(nèi)部資源活動(dòng)記錄、主動(dòng)采集數(shù)據(jù)和公共數(shù)據(jù)資源等,在系統(tǒng)化模式下使各項(xiàng)工作效率得到顯著提升。

        3.2.2 數(shù)據(jù)服務(wù)化

        在數(shù)據(jù)治理完畢后,企業(yè)應(yīng)充分適應(yīng)市場業(yè)務(wù)變化情況,加強(qiáng)人資培養(yǎng),創(chuàng)建數(shù)字化人才賦能模型,實(shí)現(xiàn)數(shù)據(jù)場景化應(yīng)用目標(biāo),如圖3所示。從數(shù)據(jù)整合向中臺(tái)演進(jìn),在模型搭建過程中,通過夯實(shí)技術(shù)、業(yè)務(wù)為基、逐級培訓(xùn)和因地制宜等方式,將整合后的有價(jià)值的數(shù)據(jù)直接輸出到業(yè)務(wù)場景中,為業(yè)務(wù)解決提供更多便利。

        圖3 數(shù)字化人才賦能模型

        3.2.3 數(shù)據(jù)展現(xiàn)

        為提高數(shù)據(jù)應(yīng)用水平,在業(yè)務(wù)場景與角色的基礎(chǔ)上,對個(gè)別角色數(shù)據(jù)進(jìn)行強(qiáng)化。例如,在移動(dòng)銷售應(yīng)用場景中,對總經(jīng)理、業(yè)務(wù)代表等營銷類員工來說,不僅要了解內(nèi)部產(chǎn)品研發(fā)與生產(chǎn)進(jìn)度,而且要考察市場信息,掌握銷售指標(biāo)完成情況與自身績效排名等,業(yè)務(wù)場景見表2[6]。

        表2 不同業(yè)務(wù)場景分析

        3.3 應(yīng)用效果

        在數(shù)據(jù)資源的基礎(chǔ)上創(chuàng)建數(shù)據(jù)中臺(tái),并根據(jù)現(xiàn)實(shí)需求進(jìn)行數(shù)據(jù)分析。生產(chǎn)域數(shù)據(jù)、管理系統(tǒng)等通過ETL等實(shí)時(shí)匯集到中臺(tái),在該基礎(chǔ)上,豐富和優(yōu)化系統(tǒng)資源,為生產(chǎn)經(jīng)營開展關(guān)聯(lián)性分析。對象數(shù)據(jù)通過OPC UA服務(wù),通過受控?cái)?shù)據(jù)庫服務(wù)與Web服務(wù)進(jìn)行訪問。通過云計(jì)算創(chuàng)建基礎(chǔ)設(shè)施,提高大數(shù)據(jù)分析能力,有針對性地分析中臺(tái)數(shù)據(jù),如設(shè)備缺陷、日志統(tǒng)計(jì)和生產(chǎn)運(yùn)行等,將分析結(jié)果寫到中臺(tái),為其他應(yīng)用提供高效可靠的數(shù)據(jù)資源。在中臺(tái)內(nèi)規(guī)范化數(shù)據(jù)的基礎(chǔ)上,對企業(yè)運(yùn)營、智慧園區(qū)和新能源應(yīng)用等進(jìn)行開發(fā),并對資產(chǎn)部分功能進(jìn)行細(xì)致地劃分,在生產(chǎn)域基礎(chǔ)上展示臺(tái)賬數(shù)據(jù)分析結(jié)果。企業(yè)內(nèi)部數(shù)據(jù)逐漸向中臺(tái)匯總,并將更多領(lǐng)域的分析結(jié)果納入中臺(tái),使中臺(tái)內(nèi)部數(shù)據(jù)更加豐富完善,為應(yīng)用開發(fā)提供強(qiáng)有力的支撐。數(shù)據(jù)資源價(jià)值得以充分突顯,獲得顯著的應(yīng)用成效。

        4 結(jié)論

        綜上所述,隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,中臺(tái)管理系統(tǒng)不斷匯總更多數(shù)據(jù)信息,豐富和優(yōu)化系統(tǒng)資源,為網(wǎng)絡(luò)開展關(guān)聯(lián)性分析,也為其他應(yīng)用提供高效可靠的數(shù)據(jù)資源。在未來的發(fā)展中,可將阿里云技術(shù)引入其中,在私有云支持下優(yōu)化企業(yè)賦能體系,使數(shù)據(jù)采集、管理、分析與服務(wù)等功能更加全面,提高構(gòu)建效率,降低業(yè)務(wù)管理難度,通過服務(wù)共享提高數(shù)據(jù)價(jià)值,為更多的新業(yè)務(wù)挖掘提供強(qiáng)有力的技術(shù)支持。

        猜你喜歡
        中臺(tái)數(shù)據(jù)服務(wù)體系
        地理空間大數(shù)據(jù)服務(wù)自然資源調(diào)查監(jiān)測的方向分析
        中臺(tái)是媒體轉(zhuǎn)型必經(jīng)之路嗎?
        ——媒體中臺(tái)建設(shè)的特點(diǎn)和誤區(qū)
        視聽界(2021年2期)2021-11-27 00:30:14
        構(gòu)建體系,舉一反三
        關(guān)于零售企業(yè)“中臺(tái)”建設(shè)的研究
        汽車制造企業(yè)質(zhì)量中臺(tái)研究
        以技術(shù)開發(fā)中心為中臺(tái),數(shù)字化轉(zhuǎn)型之見解
        如何運(yùn)用稅收大數(shù)據(jù)服務(wù)供給側(cè)結(jié)構(gòu)性改革
        中國商論(2016年34期)2017-01-15 14:24:18
        基于頻繁子圖挖掘的數(shù)據(jù)服務(wù)Mashup推薦
        “曲線運(yùn)動(dòng)”知識(shí)體系和方法指導(dǎo)
        一種基于數(shù)據(jù)服務(wù)超鏈進(jìn)行情景數(shù)據(jù)集成的方法*
        91精品国产乱码久久中文| 亚洲一区二区欧美色妞影院| 日本一级淫片免费啪啪| 欧美成人免费看片一区| 亚洲素人av在线观看| 亚洲成人av大片在线观看| 蜜臀av一区二区三区免费观看| 久久99热狠狠色精品一区| 日韩精品一区二区三区免费视频| 精品乱码久久久久久中文字幕| 天天躁日日操狠狠操欧美老妇 | 久久精品一区二区三区夜夜| 日韩精品视频免费在线观看网站| 免费的日本一区二区三区视频 | 亚洲国产成人久久综合碰碰| 国产不卡视频一区二区三区| 久久久久久久综合狠狠综合| 亚洲精品动漫免费二区| 久久久人妻一区二区三区蜜桃d| 中文无码伦av中文字幕| 欧美丰满熟妇bbbbbb百度| 日韩女优一区二区视频| 国产黄色一级大片一区二区| 国产精品久久久久一区二区三区| 亚洲日韩精品欧美一区二区一| 深夜福利国产| 海外华人在线免费观看| 又大又紧又粉嫩18p少妇| 999国产精品视频| 国产三级在线观看不卡| 狠狠色狠狠色综合网| 亚洲欧美日本| 国产亚洲曝欧美不卡精品| 久久国产在线精品观看| 夜鲁很鲁在线视频| 啪啪视频一区二区三区入囗| 亚洲av天堂在线免费观看| av色欲无码人妻中文字幕| 99爱这里只有精品| 国产三级黄色片子看曰逼大片 | 亚洲毛片αv无线播放一区|