楊凌 張?zhí)鞓s

摘要：行業(yè)公共數(shù)據(jù)鏈作為行業(yè)數(shù)據(jù)共享的通道，其運行效率和安全影響著數(shù)據(jù)匯聚對用戶的服務(wù)水平。傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)無法承載海量數(shù)據(jù)的行業(yè)條線傳輸，基于阿里的MAXcomputer數(shù)據(jù)倉+DSC前置機的行業(yè)公共數(shù)據(jù)鏈設(shè)計方案，不給行業(yè)條線單位增加任何經(jīng)濟壓力就能分析處理高達PB級的海量數(shù)據(jù)，形成省廳-市-縣/區(qū)完整的行業(yè)全域公共數(shù)據(jù)鏈體系，提供數(shù)據(jù)匯聚、數(shù)據(jù)推送、數(shù)據(jù)查詢、數(shù)據(jù)填報、統(tǒng)計分析、比對訂閱等面向數(shù)據(jù)應(yīng)用的場景。

關(guān)鍵詞：數(shù)據(jù)鏈；行業(yè)數(shù)據(jù)倉；DSC；MAXcomputer

中圖分類號：TP274? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）30-0066-02

開放科學（資源服務(wù)）標識碼（OSID）：

1 引言

隨著信息技術(shù)的逐步成熟和數(shù)字化改革的持續(xù)推進， 越來越多的行業(yè)數(shù)據(jù)被積累下來，數(shù)據(jù)規(guī)模已經(jīng)增長到了傳統(tǒng)軟件行業(yè)無法承載的海量數(shù)據(jù)（百GB、TB乃至PB）級別對各個行業(yè)條線的大數(shù)據(jù)匯聚和共享要求越來越高。傳統(tǒng)的手工報送、即時聊天軟件傳輸或樹形層次性結(jié)構(gòu)匯聚都不能滿足海量數(shù)據(jù)實時共享的需求，迫切需要構(gòu)建部、省、市、區(qū)縣一體化的數(shù)據(jù)服務(wù)鏈路體系，形成行業(yè)公共數(shù)據(jù)平臺的開放體系。通過大量調(diào)研，筆者設(shè)計了基于阿里的MAXcomputer數(shù)據(jù)倉+DSC前置機的行業(yè)公共數(shù)據(jù)鏈解決方案，不給基層條線單位增加任何經(jīng)濟壓力。

2 行業(yè)公共數(shù)據(jù)鏈的設(shè)計

2.1 MAXcomputer

MaxComputer是阿里云的一種全新的大數(shù)據(jù)處理服務(wù)，是一種用于批量結(jié)構(gòu)化數(shù)據(jù)的存儲和計算，提供海量數(shù)據(jù)倉庫和針對大數(shù)據(jù)分析建模的服務(wù)[1]。MaxComputer能提供完善的數(shù)據(jù)導入方案以及多種經(jīng)典的分布式計算模型，能夠提供快速的、一站式的、完全托管PB級數(shù)據(jù)倉庫的數(shù)據(jù)同步、任務(wù)開發(fā)、數(shù)據(jù)工作流開發(fā)、數(shù)據(jù)管理和數(shù)據(jù)運維服務(wù)，讓需求單位不用花大價錢建設(shè)數(shù)據(jù)中心，就能分析處理高達PB級的海量數(shù)據(jù)，有效降低企業(yè)或單位成本，并保障數(shù)據(jù)安全[2]。

2.2 DSC前置機

很多大型企業(yè)（如銀行、券商、電信運營商等）有很多后臺核心處理系統(tǒng)和核心數(shù)據(jù)，當需要對外提供各種業(yè)務(wù)接口和數(shù)據(jù)服務(wù)時，會在他們企業(yè)內(nèi)部部署一臺服務(wù)器（或計算機），然后通過專線或硬件隔離技術(shù)將這臺服務(wù)器連接到外部企業(yè)的外網(wǎng)系統(tǒng)上，這臺服務(wù)器稱為前置機。前置機用于安裝外部需求企業(yè)的業(yè)務(wù)軟件或架設(shè)一個小型數(shù)據(jù)倉，方便企業(yè)或單位之間交換、存放和獲取數(shù)據(jù)。

政務(wù)（或企業(yè)）內(nèi)外網(wǎng)兩端的業(yè)務(wù)系統(tǒng)需要數(shù)據(jù)交換，在各自業(yè)務(wù)系統(tǒng)前布置前置機，實現(xiàn)數(shù)據(jù)交換。一是前置機能保證外部的應(yīng)用不能直接訪問核心服務(wù)；二是前置機負責將需要交換過來或者交換的數(shù)據(jù)緩存到這臺服務(wù)器中；三是前置機提供業(yè)務(wù)渠道與核心服務(wù)主機的交流橋梁，有管理和調(diào)度業(yè)務(wù)渠道發(fā)起的交易的作用，通過前置機調(diào)用可大大減輕后臺核心服務(wù)器的負載[3]。

2.3 行業(yè)公共數(shù)據(jù)鏈的設(shè)計

2.3.1 行業(yè)公共數(shù)據(jù)鏈定義

行業(yè)公共數(shù)據(jù)鏈是一個面向數(shù)據(jù)全域共享，解決跨部門、跨區(qū)域、跨層級的數(shù)據(jù)流通和治理，為行業(yè)提供一體化、智能化的數(shù)據(jù)服務(wù)平臺，助力形成全域數(shù)據(jù)資產(chǎn)體系，是行業(yè)/產(chǎn)業(yè)數(shù)據(jù)大腦建設(shè)的基石。

2.3.2 行業(yè)公共數(shù)據(jù)鏈的架構(gòu)設(shè)計

基于MAXcomputer數(shù)據(jù)倉+DSC前置機設(shè)計的行業(yè)公共數(shù)據(jù)鏈，設(shè)計架構(gòu)如圖1所示，解決了通過在線任務(wù)的方式向下級單位發(fā)送匯聚要求、上級單位可以隨時了解下級上報數(shù)據(jù)的實時情況了、下級單位對要上報的數(shù)據(jù)更清晰等問題。

3 行業(yè)公共數(shù)據(jù)服務(wù)鏈的關(guān)鍵技術(shù)

行業(yè)公共數(shù)據(jù)服務(wù)鏈主要涉及異構(gòu)數(shù)據(jù)庫離線同步、數(shù)據(jù)湖倉一體、敏捷部署、安全策略等技術(shù)。

3.1 異構(gòu)數(shù)據(jù)庫離線同步技術(shù)

異構(gòu)數(shù)據(jù)庫是指不同結(jié)構(gòu)的數(shù)據(jù)庫系統(tǒng)，如Oracle、 SQL Server、MySQL、Hive、ADS、HBase、TableStore（OTS）等；異構(gòu)數(shù)據(jù)庫離線同步是指不同結(jié)構(gòu)數(shù)據(jù)庫在離線的狀態(tài)下實現(xiàn)數(shù)據(jù)共享和透明訪問[4]。通過MAXcomputer提供的離線數(shù)據(jù)同步工具——DataX部署Reader插件和Writer插件，同步不同數(shù)據(jù)源可抽象為從源頭數(shù)據(jù)源讀取數(shù)據(jù)的Reader插件以及向目標端寫入數(shù)據(jù)的Writer插件[5]。每接入一個新的源頭數(shù)據(jù)庫，在開發(fā)環(huán)境創(chuàng)建并運行同步數(shù)據(jù)的DataX任務(wù)，以實現(xiàn)不同數(shù)據(jù)源和現(xiàn)有的數(shù)據(jù)源的數(shù)據(jù)同步；在生產(chǎn)環(huán)境運行DataX任務(wù)，保障生產(chǎn)環(huán)境業(yè)務(wù)數(shù)據(jù)的正常產(chǎn)出。

3.2 數(shù)據(jù)湖倉一體技術(shù)

構(gòu)建數(shù)據(jù)湖倉一體技術(shù)有兩種方式：一、通過MaxCompute與數(shù)據(jù)湖構(gòu)建DLF和對象存儲OSS構(gòu)建湖倉一體：數(shù)據(jù)湖的元數(shù)據(jù)（Schema）全部位于DLF中。MaxCompute利用DLF對OSS元數(shù)據(jù)管理能力，提升對OSS半結(jié)構(gòu)化格式（Delta Lake、Hudi、AVRO、CSV、JSON、PARQUET、ORC）數(shù)據(jù)的處理能力。二、通過MaxCompute與Hadoop構(gòu)建湖倉一體：該方式包括本地機房搭建、基于云上虛擬機搭建以及阿里云E-MapReduce等。當MaxCompute與Hadoop平臺所在的VPC區(qū)域網(wǎng)絡(luò)開通后，MaxCompute可以直接訪問Hive元數(shù)據(jù)服務(wù)，并將元數(shù)據(jù)信息映射到MaxCompute的外部項目（External Project）中[6]。

3.3 安全策略技術(shù)

圍繞數(shù)據(jù)共享的安全生命周期，借助于EDR檢測響應(yīng)技術(shù)通過預(yù)防、防御、檢測、響應(yīng)賦予前置機更為細致的隔離策略、更為精準的查殺能力、更為持續(xù)的檢測能力、更為快速的處置能力[7]。另外，通過雙向白名單機制，不在白名單中的IP不允許訪問，并且每個下級單位加裝終端檢測響應(yīng)平臺EDR，在應(yīng)對高級威脅時，通過“云-網(wǎng)-端” 協(xié)同聯(lián)動、共享威脅情報和多層級響應(yīng)機制，幫助用戶快速處置終端安全問題[8]。

3.4 敏捷化部署技術(shù)

面向多變的業(yè)務(wù)網(wǎng)需求，采用OneData/OneProfile/OneService的一體化數(shù)據(jù)架構(gòu)從明細數(shù)據(jù)→細粒度模型→粗粒度模型→業(yè)務(wù)模型的敏捷化迭代快速實現(xiàn)數(shù)據(jù)支撐，對場景進行建模，完成應(yīng)用的快速上線[9]。同時支持海亮實時數(shù)據(jù)的匯聚和分發(fā)，采用智能分片技術(shù)，數(shù)據(jù)傳輸性能≥100MB/S，性能支持橫向擴容。

4 甘肅省數(shù)據(jù)中心公共數(shù)據(jù)解決方案

甘肅省數(shù)據(jù)中心在構(gòu)建某行業(yè)省級公共數(shù)據(jù)服務(wù)鏈時，為了減低下級單位的部署成本降低費用，采用的是基于MAXcomputer數(shù)據(jù)倉+DSC前置機的服務(wù)架構(gòu)，實現(xiàn)了某行業(yè)省廳-市-縣/區(qū)完整的行業(yè)公共數(shù)據(jù)鏈體系，如圖2所示。該體系支持100多種數(shù)據(jù)源類型，支持阿里、華為、開元等多種異構(gòu)大數(shù)據(jù)平臺。面向數(shù)據(jù)應(yīng)用的場景可提供多種服務(wù)能力，例如數(shù)據(jù)匯聚、數(shù)據(jù)推送、數(shù)據(jù)查詢、數(shù)據(jù)填報、統(tǒng)計分析、比對訂閱等。經(jīng)過應(yīng)用發(fā)現(xiàn)，基于MAXcomputer數(shù)據(jù)倉+DSC前置機的行業(yè)公共數(shù)據(jù)鏈體系優(yōu)勢如下：

1）信息資源支持按照主題，來源部門，行業(yè)等多維多檢索，數(shù)據(jù)查找方便；

2）資源使用方在線填寫待接收數(shù)據(jù)的地址信息，推送頻率和全量/增量在線可選，推送任務(wù)自動執(zhí)行，結(jié)果可在線查看；

3）云化部署，免前置機部署，監(jiān)控簡單，性能可線性擴展，使用方不用感知；

4）支持豐富的數(shù)據(jù)接收方式，包括MySQL/SQL Server/Oracle等傳統(tǒng)數(shù)據(jù)庫、多種文件格式、Hadoop/Hive/Hbase等大數(shù)據(jù)組件；

5）審批完成后自動啟動推送服務(wù)，不用復(fù)雜人工配置。

5 結(jié)論

現(xiàn)代通訊與大數(shù)據(jù)技術(shù)的發(fā)展，徹底改變了傳統(tǒng)數(shù)據(jù)報送模式下信息資源不能共享這一現(xiàn)狀，基于MAXcomputer數(shù)據(jù)倉+DSC前置機為甘肅省數(shù)據(jù)中心設(shè)計的某行業(yè)公共數(shù)據(jù)鏈為行業(yè)成員組織之間提供信息橋梁，緩解了單位信息化建設(shè)中的資金、人員、技術(shù)等諸多困難，對大多數(shù)中、小單位是個福音，并且通過該行業(yè)公共數(shù)據(jù)鏈體系也能夠促進自身的信息意識和信息化建設(shè)進程。

參考文獻：

[1] 宋亞奇.云平臺下電力設(shè)備監(jiān)測大數(shù)據(jù)存儲優(yōu)化與并行處理技術(shù)研究[D].北京：華北電力大學（北京），2016.

[2] 有石為玉. MaxCompute介紹[DB/OL]. [2018-09-04]. https：//blog.csdn.net/weixin_41770169/article/details/82380232.

[3] 林勉，李一凡，高洋.“云媒體電視”酒店平臺系統(tǒng)建設(shè)[J].有線電視技術(shù)，2016，23（3）：21-25.

[4] 阿里云. DataX同步數(shù)據(jù)[R/OL].[2020-12-09].https：//help.aliyun.com/document_detail/194293.html

[5] 丁志勇，黃霖，董輝.路網(wǎng)運行管理系統(tǒng)的數(shù)據(jù)協(xié)同與應(yīng)用研究[J].人民交通，2018（2）：48-51.

[6] 阿里云. MaxCompute湖倉一體[DB/OL].[2022-1-7].https：//help.aliyun.com/document_detail/205439.html.

[7] 張明全.業(yè)務(wù)安全和云化，深信服助力融合媒體智慧轉(zhuǎn)型[J].中國傳媒科技，2020（1）：14-19.

[8] 彭佳麗， 閆凱麗， 宗思雨，等. 數(shù)據(jù)驅(qū)動下面向產(chǎn)品設(shè)計的需求識別研究[J]. 科技經(jīng)濟導刊， 2019（35）：2.

[9] 向中文，陳云.行業(yè)公共數(shù)據(jù)中心研究與應(yīng)用[J].計算機應(yīng)用，2001，21（3）：68-69.

【通聯(lián)編輯：王力】