亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        數(shù)據(jù)湖對(duì)外數(shù)據(jù)服務(wù)架構(gòu)體系研究
        ——以北京社會(huì)管理職業(yè)學(xué)院為例

        2021-05-25 01:59:32孟凡明
        卷宗 2021年11期
        關(guān)鍵詞:數(shù)據(jù)服務(wù)結(jié)構(gòu)化架構(gòu)

        孟凡明

        (北京社會(huì)管理職業(yè)學(xué)院,北京 101601)

        1 引言

        近幾年,網(wǎng)絡(luò)技術(shù)迅猛發(fā)展,隨著云技術(shù)的發(fā)展及應(yīng)用,將各類信息轉(zhuǎn)型為大數(shù)據(jù),大數(shù)據(jù)將成為高效率、低成本的信息處理技術(shù)發(fā)展的標(biāo)志,我們無(wú)形中已經(jīng)步入了一個(gè)新的時(shí)代[1]?!爸腔坌@”的建設(shè)也必然經(jīng)過(guò)大數(shù)據(jù)技術(shù)這條路。而數(shù)據(jù)湖技術(shù)是大數(shù)據(jù)技術(shù)發(fā)展的一個(gè)重要部分。

        目前,數(shù)據(jù)湖技術(shù)生態(tài)繁榮,發(fā)展日新月異,Hadoop、MPP、NoSQL、HTAP、OLAP、OLTP等技術(shù)不斷發(fā)展,不同的數(shù)據(jù)存儲(chǔ)技術(shù)適用于不同的業(yè)務(wù)場(chǎng)景,高職院校的數(shù)據(jù)湖必定是混合式的架構(gòu)。高校與互聯(lián)網(wǎng)、政企領(lǐng)域的業(yè)務(wù)有其獨(dú)有的特色,建設(shè)具有高職院校特色的數(shù)據(jù)湖架構(gòu)體系,并對(duì)數(shù)據(jù)按高職院校的業(yè)務(wù)特點(diǎn)進(jìn)行關(guān)聯(lián)融合,形成契合業(yè)務(wù)需求的、高效便捷的數(shù)據(jù)服務(wù)[2]。

        2 數(shù)據(jù)湖在高校信息化建設(shè)中的應(yīng)用

        “智慧校園”是通過(guò)信息技術(shù)的有效支撐,提供一個(gè)可感知、可個(gè)性化定制、可共享協(xié)作的開放教育教學(xué)環(huán)境,在這種環(huán)境中,師生可以便捷地進(jìn)行教學(xué)、學(xué)習(xí)和生活,以發(fā)展學(xué)習(xí)者的智慧為目的,同時(shí)為學(xué)校提供管理決策,助力學(xué)校管理水平的提升[3]。

        數(shù)據(jù)湖能夠有效治理校園數(shù)據(jù),通過(guò)充分地挖掘數(shù)據(jù),為學(xué)院的精準(zhǔn)管理創(chuàng)造新的價(jià)值,進(jìn)而規(guī)范業(yè)務(wù)流程、提高工作效率和工作透明度。

        存儲(chǔ)數(shù)據(jù)只是數(shù)據(jù)湖價(jià)值之一,數(shù)據(jù)湖還能夠在存儲(chǔ)海量數(shù)據(jù)的基本上,分析統(tǒng)計(jì)數(shù)據(jù),打破不同領(lǐng)域、不同行業(yè)、不同類型數(shù)據(jù)之間的壁壘,提升分析效率,節(jié)約校園運(yùn)行成本。例如,很多高校在“智慧校園”建設(shè)過(guò)程中均應(yīng)用到了數(shù)據(jù)湖技術(shù),該技術(shù)通過(guò)打通校內(nèi)各業(yè)務(wù)系統(tǒng)接口,使數(shù)據(jù)關(guān)聯(lián)融合,為行政人員計(jì)算考勤、工作考核、職務(wù)晉升、職稱評(píng)審、人員增減、掛職培訓(xùn)等提供了快速、精準(zhǔn)的數(shù)據(jù),從而優(yōu)化了學(xué)校管理服務(wù)體系,提高了業(yè)務(wù)工作效率。

        3 我院在數(shù)據(jù)應(yīng)用服務(wù)方面面臨的挑戰(zhàn)

        我校信息化建設(shè)已有多年,主要分為教學(xué)口和行政口。教學(xué)口是由教務(wù)系統(tǒng)連接我校網(wǎng)絡(luò)教學(xué)平臺(tái),實(shí)時(shí)上傳學(xué)生的上課數(shù)據(jù)和活動(dòng)數(shù)據(jù),教學(xué)管理單位隨時(shí)監(jiān)督教師的教學(xué)過(guò)程和學(xué)生的學(xué)習(xí)過(guò)程,行政口的業(yè)務(wù)系統(tǒng)有財(cái)務(wù)系統(tǒng)、網(wǎng)絡(luò)報(bào)銷系統(tǒng)、科研系統(tǒng)、人事系統(tǒng)、教務(wù)系統(tǒng)等,但這些系統(tǒng)目前都處于各自獨(dú)立狀態(tài),并沒(méi)有打通數(shù)據(jù)庫(kù)接口,因此,導(dǎo)致只能在各自范圍內(nèi)開展相關(guān)工作,部門間的交叉業(yè)務(wù)效率低下因此我校急需進(jìn)行技術(shù)架構(gòu)改革,實(shí)現(xiàn)各業(yè)務(wù)系統(tǒng)間真正的交互,從交互的數(shù)據(jù)中挖掘更多的新信息,充分利用這些無(wú)形的數(shù)據(jù)資產(chǎn),為學(xué)校的運(yùn)行發(fā)展提供戰(zhàn)略服務(wù)。

        4 我院數(shù)據(jù)服務(wù)應(yīng)用探究

        如果說(shuō)大數(shù)據(jù)的戰(zhàn)略意義在于從海量的數(shù)據(jù)中挖掘出有用的價(jià)值,那么數(shù)據(jù)湖技術(shù)則是實(shí)現(xiàn)這種意義的技術(shù)基礎(chǔ)。

        數(shù)據(jù)湖技術(shù)主要包含數(shù)據(jù)的加載、存儲(chǔ)、加工和對(duì)外數(shù)據(jù)服務(wù)四個(gè)部分。1)數(shù)據(jù)加載將分布在不同業(yè)務(wù)系統(tǒng)不同數(shù)據(jù)存儲(chǔ)庫(kù)中的數(shù)據(jù)自動(dòng)抽取加載數(shù)據(jù)湖中。2)數(shù)據(jù)存儲(chǔ)具有對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)能力,支持OLTP、OLAP、HTAP、全文、KV、對(duì)象等數(shù)據(jù)庫(kù)。3)數(shù)據(jù)加工指對(duì)入庫(kù)存儲(chǔ)的數(shù)據(jù)按照業(yè)務(wù)需求和特色關(guān)聯(lián)融合業(yè)務(wù)數(shù)據(jù)的過(guò)程,該功能按照預(yù)先定義的業(yè)務(wù)數(shù)據(jù)加工規(guī)則,通過(guò)定期、觸發(fā)等方式將數(shù)據(jù)湖中的多源異構(gòu)數(shù)據(jù)進(jìn)行加工融合,并將生成的高價(jià)值數(shù)據(jù)存儲(chǔ)回?cái)?shù)據(jù)湖中。4)對(duì)外數(shù)據(jù)服務(wù)是將數(shù)據(jù)湖中的數(shù)據(jù)通過(guò)可視化界面、RestFul數(shù)據(jù)服務(wù)接口等方式對(duì)業(yè)務(wù)人員或其他業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)服務(wù)。

        針對(duì)我校目前面臨的問(wèn)題,本文提出了一種數(shù)據(jù)湖服務(wù)架構(gòu)體系,實(shí)現(xiàn)校內(nèi)各業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)的融合共享,打通各業(yè)務(wù)系統(tǒng)數(shù)據(jù)通道,形成全局?jǐn)?shù)據(jù)資產(chǎn)和數(shù)據(jù)服務(wù),為我校各部門數(shù)據(jù)賦能。

        該架構(gòu)體系如圖:

        圖1 數(shù)據(jù)服務(wù)架構(gòu)

        根據(jù)我校對(duì)數(shù)據(jù)服務(wù)架構(gòu)的功能需求,本數(shù)據(jù)服務(wù)架構(gòu)共分為4部分:數(shù)據(jù)抽取與加載、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)關(guān)聯(lián)融合、數(shù)據(jù)服務(wù);

        1)數(shù)據(jù)抽取與加載:對(duì)接各業(yè)務(wù)系統(tǒng),抽取各業(yè)務(wù)系統(tǒng)的業(yè)務(wù)數(shù)據(jù),本部分主要解決數(shù)據(jù)的來(lái)源多、格式多的問(wèn)題,完成數(shù)據(jù)的抽取、格式的規(guī)范化功能,支持對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的抽取與加載,支持與Mysql、Oracle、MPP、HBase、ES、S3、Hive、文件系統(tǒng)等數(shù)據(jù)存儲(chǔ)組件的數(shù)據(jù)抽取和持久化;2)數(shù)據(jù)存儲(chǔ):提供海量異構(gòu)數(shù)據(jù)的存儲(chǔ)能力,針對(duì)我校業(yè)務(wù)特點(diǎn),選用MySQL、ES、對(duì)象庫(kù)這3類數(shù)據(jù)庫(kù),常見的課表、成績(jī)等結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)存儲(chǔ)至MySQL中,郵件、教案等需全文檢索的長(zhǎng)文本數(shù)據(jù)存儲(chǔ)至ES數(shù)據(jù)庫(kù)中,教學(xué)視頻、教學(xué)PPT等音視頻數(shù)據(jù)存儲(chǔ)至對(duì)象數(shù)據(jù)庫(kù)中。數(shù)據(jù)存儲(chǔ)庫(kù)層兼容開源組件,支撐后續(xù)業(yè)務(wù)升級(jí)時(shí)的新數(shù)據(jù)庫(kù)的擴(kuò)增。3)數(shù)據(jù)關(guān)聯(lián)融合:對(duì)來(lái)自教務(wù)、科研等業(yè)務(wù)系統(tǒng)的異構(gòu)數(shù)據(jù)進(jìn)行關(guān)聯(lián),形成高價(jià)值知識(shí)數(shù)據(jù)和業(yè)務(wù)中臺(tái)數(shù)據(jù),如學(xué)生/職工基礎(chǔ)信息庫(kù)、部門工作考核績(jī)效等數(shù)據(jù),并將生成的高價(jià)值數(shù)據(jù)存儲(chǔ)至數(shù)據(jù)存儲(chǔ)庫(kù)中,用于支撐上層數(shù)據(jù)查詢業(yè)務(wù)。4)數(shù)據(jù)服務(wù):通過(guò)可視化界面和數(shù)據(jù)查詢服務(wù)接口(RestFul)的形式,對(duì)業(yè)務(wù)人員和業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)查詢服務(wù)。在原生數(shù)據(jù)庫(kù)接口的基礎(chǔ)上,針對(duì)我校業(yè)務(wù)數(shù)據(jù)使用特點(diǎn),增加方便易用的業(yè)務(wù)查詢接口。如人員基礎(chǔ)信息查詢、部門業(yè)績(jī)查詢等許多數(shù)據(jù)庫(kù)表關(guān)聯(lián)查詢的業(yè)務(wù),通過(guò)一次數(shù)據(jù)服務(wù)接口調(diào)用,完成關(guān)聯(lián)查詢功能。查詢服務(wù)接口支持靈活擴(kuò)增,可快速滿足業(yè)務(wù)需求的持續(xù)變化。

        5 總結(jié)

        立足我?!爸腔坌@”管理工作實(shí)際需求,最大限度地滿足和提高工作效率及管理水準(zhǔn),對(duì)各部門統(tǒng)籌規(guī)劃,對(duì)各業(yè)務(wù)進(jìn)行整合梳理,充分地實(shí)現(xiàn)數(shù)據(jù)收集,高效的挖掘校園數(shù)據(jù),為校園高層管理、決策提供最有力的數(shù)據(jù)依據(jù)。因此,實(shí)現(xiàn)大數(shù)據(jù)技術(shù)助力我校未來(lái)發(fā)展的愿景,使“智慧校園”能得到更充分的理解。

        猜你喜歡
        數(shù)據(jù)服務(wù)結(jié)構(gòu)化架構(gòu)
        基于FPGA的RNN硬件加速架構(gòu)
        地理空間大數(shù)據(jù)服務(wù)自然資源調(diào)查監(jiān)測(cè)的方向分析
        促進(jìn)知識(shí)結(jié)構(gòu)化的主題式復(fù)習(xí)初探
        功能架構(gòu)在電子電氣架構(gòu)開發(fā)中的應(yīng)用和實(shí)踐
        汽車工程(2021年12期)2021-03-08 02:34:30
        結(jié)構(gòu)化面試方法在研究生復(fù)試中的應(yīng)用
        LSN DCI EVPN VxLAN組網(wǎng)架構(gòu)研究及實(shí)現(xiàn)
        如何運(yùn)用稅收大數(shù)據(jù)服務(wù)供給側(cè)結(jié)構(gòu)性改革
        基于頻繁子圖挖掘的數(shù)據(jù)服務(wù)Mashup推薦
        基于圖模型的通用半結(jié)構(gòu)化數(shù)據(jù)檢索
        一種基于FPGA+ARM架構(gòu)的μPMU實(shí)現(xiàn)
        亚洲人成网站77777在线观看 | 国产美女精品AⅤ在线老女人| 久久久久亚洲AV无码专区一区| 激情内射亚洲一区二区| 亚洲中文字幕不卡一区二区三区| 日本精品av中文字幕| 国产三区三区三区看三区| 无码高潮少妇毛多水多水免费| 久久综合伊人有码一区中文字幕| 久久精品一区二区三区蜜桃| av网站免费线看精品| 人妻丰满熟妇岳av无码区hd| 国产特级毛片aaaaaa| 国产乱人伦av在线a| 国产v视频| 亚洲中文字幕av天堂| 国产高清亚洲精品视频| 日本视频一中文有码中文| 无遮挡1000部拍拍拍免费| 色哟哟精品视频在线观看| 天天弄天天模| 日日摸夜夜添狠狠添欧美| 亚洲伊人久久成人综合网| 青青草99久久精品国产综合| 日韩男女av中文字幕| 全亚洲高清视频在线观看| 四虎影在永久在线观看| 国产aⅴ无码专区亚洲av麻豆 | 国产一级一级内射视频| 久久理论片午夜琪琪电影网| 亚洲国产成人片在线观看无码 | 在线亚洲精品一区二区三区| av成人一区二区三区| 欧美激欧美啪啪片| 欧美寡妇xxxx黑人猛交| 丰满爆乳一区二区三区| 揄拍成人国产精品视频| 久99久精品视频免费观看v| 伊人不卡中文字幕在线一区二区| 国产精品一区二区黄色| 亚洲精品动漫免费二区|