亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于SQL語義的流式數(shù)據(jù)總線行列級數(shù)據(jù)訪問控制研究

        2023-01-20 21:01:22禹熹方亞超洪丁節(jié)
        關(guān)鍵詞:訪問控制數(shù)據(jù)安全

        禹熹 方亞超 洪丁節(jié)

        關(guān)鍵詞:流式數(shù)據(jù)總線;數(shù)據(jù)安全;訪問控制;數(shù)據(jù)視圖;SQL

        中圖法分類號:TP311 文獻(xiàn)標(biāo)識碼:A

        1技術(shù)背景

        隨著企業(yè)內(nèi)數(shù)據(jù)的急劇膨脹和快速增長,如何在企業(yè)內(nèi)不同應(yīng)用間高效、安全的共享數(shù)據(jù),避免數(shù)據(jù)孤島效應(yīng),成為現(xiàn)代企業(yè)數(shù)字化轉(zhuǎn)型的巨大挑戰(zhàn)。一方面,數(shù)據(jù)的整合和共享是“讓企業(yè)內(nèi)數(shù)據(jù)用起來”的前提,只有實(shí)現(xiàn)“數(shù)據(jù)的平民化”,使企業(yè)內(nèi)數(shù)據(jù)取數(shù).用數(shù)便捷高效,才能打通企業(yè)內(nèi)各業(yè)務(wù)線的七經(jīng)八脈,讓數(shù)據(jù)信息得以快速觸達(dá)企業(yè)各處,為企業(yè)創(chuàng)造有效價值、預(yù)警不利風(fēng)險;另一方面,數(shù)據(jù)是企業(yè)的核心資產(chǎn),數(shù)據(jù)安全是每個企業(yè)都需要重視的課題,實(shí)現(xiàn)便捷的數(shù)據(jù)訪問的同時,企業(yè)數(shù)據(jù)的安全應(yīng)同樣得到保障。數(shù)據(jù)的訪問須滿足“最小權(quán)限訪問”原則,通過賦予數(shù)據(jù)訪問者滿足其業(yè)務(wù)需求的必要、最小的數(shù)據(jù)集,可極大地降低數(shù)據(jù)泄露和濫用的風(fēng)險,從而保護(hù)企業(yè)的權(quán)益。

        在企業(yè)內(nèi),通過構(gòu)建基于OLAP關(guān)系型數(shù)據(jù)庫的傳統(tǒng)數(shù)據(jù)倉庫或基于Hadoop生態(tài)的大數(shù)據(jù)平臺,歸集源自企業(yè)內(nèi)外的數(shù)據(jù),可以實(shí)現(xiàn)數(shù)據(jù)的集中,提供統(tǒng)一的數(shù)據(jù)訪問服務(wù)。為保障數(shù)據(jù)的訪問安全,在基于RDMBS的數(shù)據(jù)倉庫中,可按數(shù)據(jù)訪問需求創(chuàng)建數(shù)據(jù)訪問視圖(view)并授權(quán)用戶訪問?;诖髷?shù)據(jù)Hadoop生態(tài)構(gòu)建數(shù)據(jù)平臺,可通過Ranger或Sentr等大數(shù)據(jù)體系安全訪問控制組件,并結(jié)合數(shù)據(jù)私有視圖的方式實(shí)現(xiàn)對大數(shù)據(jù)表的行列級訪問控制,從而保障數(shù)據(jù)的訪問安全。

        傳統(tǒng)的數(shù)據(jù)倉庫和大數(shù)據(jù)平臺可提供原始明細(xì)數(shù)據(jù)和匯總數(shù)據(jù)的訪問,然而其提供的數(shù)據(jù)主要基于T-1日的歷史數(shù)據(jù),無法提供時效性更高的數(shù)據(jù)訪問?;诟咄掏孪㈥犃写蛟炱髽I(yè)級實(shí)時的流水?dāng)?shù)據(jù)總線,將實(shí)時數(shù)據(jù)流水統(tǒng)一歸集至數(shù)據(jù)總線,可以為企業(yè)內(nèi)各系統(tǒng)提供各種實(shí)時數(shù)據(jù)流的數(shù)據(jù)訂閱服務(wù),然而目前卻缺少有效的數(shù)據(jù)訪問控制機(jī)制來滿足數(shù)據(jù)安全性需求:(1)消息隊列提供訪問控制機(jī)制粒度較粗,通常基于單份數(shù)據(jù)整體,無法提供細(xì)粒度的行列級訪問控制,如Apache Kafka通過ACL控制對數(shù)據(jù)topic的訪問,但不支持對topic內(nèi)數(shù)據(jù)內(nèi)容的訪問控制,阿里云Datahub服務(wù)基于阿里云通用訪問控制RAM機(jī)制控制對Datahub資源的訪問,但目前只實(shí)現(xiàn)了針對項(xiàng)目級(Project)、主題級(Topic)以及訂閱級(Subscription)三級的控制,并沒有更細(xì)粒度的數(shù)據(jù)范圍控制能力;(2)為支持細(xì)粒度的訪問控制,可采用新建應(yīng)用二次轉(zhuǎn)移的方式為下游系統(tǒng)按需篩選、過濾,提供對應(yīng)的數(shù)據(jù)和字段,但這會導(dǎo)致數(shù)據(jù)冗余存儲、應(yīng)用開發(fā)成本高、部署結(jié)構(gòu)以及上線流程復(fù)雜等問題。

        本文提出了一種基于SQL語義在流式數(shù)據(jù)總線(Apache Kafka)上的行列級數(shù)據(jù)訪問控制方式,解決企業(yè)實(shí)時數(shù)據(jù)總線的細(xì)粒度數(shù)據(jù)訪問控制問題,如圖1所示。

        2設(shè)計思路

        按照批量數(shù)據(jù)平臺上的訪問控制方式,通過在流式數(shù)據(jù)總線上建立類關(guān)系型數(shù)據(jù)庫( RDBMS)的數(shù)據(jù)表(Table)、數(shù)據(jù)視圖(View)能力,并對數(shù)據(jù)視圖進(jìn)行賦權(quán),實(shí)現(xiàn)對流式實(shí)時數(shù)據(jù)總線上的數(shù)據(jù)的行列級訪問控制。

        2.1通過建立數(shù)據(jù)表(Table),賦予流式數(shù)據(jù)總線上元數(shù)據(jù)管理能力

        流式數(shù)據(jù)總線中的消息中間件通常以主題(Topic)形式存儲二進(jìn)制數(shù)據(jù),不具備數(shù)據(jù)內(nèi)容、數(shù)據(jù)字段等元信息管理能力,這也導(dǎo)致其數(shù)據(jù)訪問控制的粒度僅能到Topic級別。通過為流式總線上Topic中存儲數(shù)據(jù)建立數(shù)據(jù)表,將數(shù)據(jù)字段名稱、數(shù)據(jù)字段類型、數(shù)據(jù)字段的解析器(Deserializer)等涉及數(shù)據(jù)內(nèi)容的信息保存下來,賦予流式數(shù)據(jù)總線對數(shù)據(jù)內(nèi)容的元數(shù)據(jù)管理能力,從而支持對Topic中保存的二進(jìn)制數(shù)據(jù)進(jìn)一步解析、處理的能力。

        2.2通過建立數(shù)據(jù)視圖(View),實(shí)現(xiàn)數(shù)據(jù)行列級數(shù)據(jù)訪問控制

        不同業(yè)務(wù)系統(tǒng)對同一份數(shù)據(jù)的訪問需求不盡相同,因此,需要根據(jù)實(shí)際需求制定不同的安全控制規(guī)則。在數(shù)據(jù)表上支持建立私有的數(shù)據(jù)視圖,為下游數(shù)據(jù)應(yīng)用系統(tǒng)按需創(chuàng)建不同的視圖并賦予其訪問權(quán)限??刂茦I(yè)務(wù)系統(tǒng)僅能訪問業(yè)務(wù)所需的數(shù)據(jù)和字段,支持行級過濾、列級過濾,并通過UDF函數(shù)支持?jǐn)?shù)據(jù)字段的處理,以支持脫敏、加密等數(shù)據(jù)字段的處理,滿足了最小化數(shù)據(jù)訪問原則,無須再進(jìn)行定制化開發(fā)數(shù)據(jù)處理應(yīng)用。

        2.3擴(kuò)展實(shí)現(xiàn)流式數(shù)據(jù)總線的SQL能力

        在數(shù)據(jù)表和數(shù)據(jù)視圖的基礎(chǔ)上,支持對流式數(shù)據(jù)總線的進(jìn)一步擴(kuò)展,使其建立較完備的SQL訪問能力,支持RDBMS常用SQL語義:(1)支持創(chuàng)建、修改或刪除表/視圖/用戶(CREATE TABLE/VIEW/USER);(2)支持從數(shù)據(jù)表和視圖上查詢數(shù)據(jù)(SELECT…FROM TABLE/VIEW WHERE);(3)支持對用戶賦權(quán)( GRANT/REVOKE SELECT/INSERT

        .. TO/FROM USER);支持(4)查看表/視圖/用戶信息DESCRIBE TABLE/VIEW/USER等。

        通過建立基于流式數(shù)據(jù)總線的SQL訪問能力,不僅能滿足日常運(yùn)維查詢需求,同時使流式數(shù)據(jù)總線像數(shù)據(jù)庫一樣簡單易用。

        2.4訪問接口兼容

        為不侵入流式數(shù)據(jù)總線的內(nèi)部,和原系統(tǒng)耦合,對流式數(shù)據(jù)總線的訪問接口外層進(jìn)行封裝并提供兼容于原數(shù)據(jù)的訪問API接口,使外部應(yīng)用仍可通過簡單的形式訂閱實(shí)時流水?dāng)?shù)據(jù)。業(yè)務(wù)系統(tǒng)透明化,實(shí)現(xiàn)即插即用,使業(yè)務(wù)系統(tǒng)開發(fā)和改造的影響性最小化,并在安全控制的限制下實(shí)現(xiàn)輕松接人。

        2.5不顯著降低數(shù)據(jù)訪問性能

        對于流式數(shù)據(jù)總線而言,其重要的一項(xiàng)指標(biāo)是實(shí)時數(shù)據(jù)訪問的吞吐量和時效性。引入行列級的訪問控制不可避免地帶來性能開銷,但應(yīng)盡量減小對流式數(shù)據(jù)總線性能的影響。

        3原型系統(tǒng)實(shí)現(xiàn)

        基于業(yè)界流行的高吞吐開源消息中間件Kafka,實(shí)現(xiàn)了本文提出的流式實(shí)時總線的行列級訪問控制原型以及基于“一套公共的流式實(shí)時數(shù)據(jù),多套私有視圖”數(shù)據(jù)安全訪問模式(圖2)。本原型系統(tǒng)在Kafka上實(shí)現(xiàn)類RDBMS的數(shù)據(jù)表/視圖模式的訪問管理能力,建立基于SQL的行列級數(shù)據(jù)訪問控制,并支持基礎(chǔ)的SQL查詢,配套的客戶端包聯(lián)通了業(yè)務(wù)系統(tǒng)和Kafka,顯著提升了實(shí)時服務(wù)的安全性和運(yùn)維便捷性。

        原型系統(tǒng)主體包括SQL執(zhí)行服務(wù)、管控中心、消費(fèi)者客戶端三大模塊,每個模塊涉及的關(guān)鍵功能點(diǎn)如下。

        3.1 SQL執(zhí)行服務(wù)

        SQL執(zhí)行服務(wù)對外提供SQL語義接口,支持以SQL語句作為輸入進(jìn)行數(shù)據(jù)表與視圖的管理或數(shù)據(jù)查詢。對于數(shù)據(jù)表、數(shù)據(jù)視圖定義等DDL類型的SQL(如CREATE TABLE/VIEW),SQL執(zhí)行服務(wù)將其轉(zhuǎn)發(fā)給管控中心進(jìn)行進(jìn)一步處理,這是本文目標(biāo)實(shí)現(xiàn)的安全控制規(guī)則的定義;對于Kafka數(shù)據(jù)的DQL查詢請求(如SELECT FROM TABLE/VIEW),SQL執(zhí)行服務(wù)將其請求解析后轉(zhuǎn)化為對Kafka數(shù)據(jù)的讀取并在SQL執(zhí)行服務(wù)中處理SELECT語句,這是附帶實(shí)現(xiàn)的類數(shù)據(jù)庫查詢Kafka中數(shù)據(jù)的功能。

        3.2管控中心

        管控中心負(fù)責(zé)數(shù)據(jù)表、數(shù)據(jù)視圖、UDF函數(shù)等Topic元信息的管理,并保存在自有數(shù)據(jù)庫中。通過管控中心創(chuàng)建應(yīng)用私有視圖并賦權(quán)給下游應(yīng)用用戶訪問實(shí)現(xiàn)數(shù)據(jù)的權(quán)限控制。數(shù)據(jù)視圖定義支持行級過濾/列級過濾/字段處理和UDF函數(shù)等功能。

        3.3消費(fèi)者客戶端

        消費(fèi)者客戶端封裝原生的Kafka消費(fèi)者客戶端(Kafka-consumer),對外部應(yīng)用提供兼容原Kafka-consumer API的接口,實(shí)現(xiàn)應(yīng)用的快速接人和平順遷移。Kafka中的數(shù)據(jù)仍然通過原生的Kafka-consumer客戶端讀取,避免和Kafak系統(tǒng)的深度耦合,簡化系統(tǒng)的實(shí)現(xiàn)流程。同時,通過定期訪問管控中心服務(wù),實(shí)現(xiàn)數(shù)據(jù)視圖所定義的訪問控制規(guī)則的同步后,對從Kafka中讀取的數(shù)據(jù)進(jìn)行反序列化、行列級數(shù)據(jù)過濾以及脫敏、加密等操作后送給下游系統(tǒng),實(shí)現(xiàn)業(yè)務(wù)對數(shù)據(jù)的最小訪問。

        4結(jié)束語

        本文提出了一種基于SQL語義的流式數(shù)據(jù)總線行列級數(shù)據(jù)訪問控制方式,主要解決企業(yè)中實(shí)時數(shù)據(jù)總線細(xì)粒度的數(shù)據(jù)訪問控制問題,并基于業(yè)界流行的開源消息中間件Apahce Kafka,驗(yàn)證了系統(tǒng)實(shí)現(xiàn)的可行性。本文方式一方面實(shí)現(xiàn)了對企業(yè)中流式數(shù)據(jù)總線的行列級數(shù)據(jù)訪問控制,無須冗余存儲和數(shù)據(jù)處理應(yīng)用,同時統(tǒng)一了流式數(shù)據(jù)總線上實(shí)時數(shù)據(jù)、數(shù)據(jù)倉庫/大數(shù)據(jù)平臺中批量數(shù)據(jù)的訪問控制形式,均可通過廣泛應(yīng)用的SQL語言定義數(shù)據(jù)視圖并賦權(quán)實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的最小訪問。

        作者簡介:

        禹熹(1986—),碩士,研究方向:大數(shù)據(jù)應(yīng)用和開發(fā)。

        猜你喜歡
        訪問控制數(shù)據(jù)安全
        云計算中基于用戶隱私的數(shù)據(jù)安全保護(hù)方法
        電子制作(2019年14期)2019-08-20 05:43:42
        建立激勵相容機(jī)制保護(hù)數(shù)據(jù)安全
        大數(shù)據(jù)云計算環(huán)境下的數(shù)據(jù)安全
        電子制作(2017年20期)2017-04-26 06:57:48
        ONVIF的全新主張:一致性及最訪問控制的Profile A
        動態(tài)自適應(yīng)訪問控制模型
        淺析云計算環(huán)境下等級保護(hù)訪問控制測評技術(shù)
        大數(shù)據(jù)平臺訪問控制方法的設(shè)計與實(shí)現(xiàn)
        大數(shù)據(jù)安全搜索與共享
        无码精品日韩中文字幕| 一本久道久久丁香狠狠躁| 国产色视频一区二区三区不卡| 女人被狂躁c到高潮视频| 国产在线无码一区二区三区| 日本特黄a级高清免费大片| 在线观看国产av一区二区| av影院在线免费观看不卡| 丰满人妻被持续侵犯中出在线| 日韩精品综合一本久道在线视频| 亚洲av中文无码乱人伦在线播放| 亚洲人成网站免费播放| Jizz国产一区二区| 视频女同久久久一区二区| 高清精品一区二区三区| 久久久久亚洲精品无码网址| 色婷婷久久免费网站| 一区二区三区观看视频在线| 五月av综合av国产av| 精品久久久久久777米琪桃花| 99久久国内精品成人免费| 国产亚洲日本精品二区| 亚洲午夜精品一区二区| 性高朝久久久久久久| 天天插天天干天天操| 一区二区人妻乳中文字幕| 久久亚洲av成人无码电影a片| 正在播放国产对白孕妇作爱| 亚洲AV小说在线观看| 日本久久精品视频免费| 成 人 免费 在线电影| 亚洲一区综合精品狠狠爱| 亚洲一区二区三区一区| 国产人成视频在线视频| 日日噜狠狠噜天天噜av| 男人的天堂av网站一区二区 | 欧美日韩精品乱国产| 中文字幕一区二区区免| 手机在线看片| 成人无码一区二区三区网站| 亚欧视频无码在线观看|