金琦 劉宗凡 邱元陽 倪俊杰 楊磊 邵建勛

編者按：在大數(shù)據(jù)技術(shù)的幫助下，一個全新的世界正向我們敞開大門，隨著形態(tài)各異的數(shù)據(jù)的日益增多，大數(shù)據(jù)管理成為大數(shù)據(jù)發(fā)展中的一大挑戰(zhàn)。上期我們對大數(shù)據(jù)及其代表處理架構(gòu)Hadoop做了技術(shù)流介紹，本期各位老師將解構(gòu)數(shù)據(jù)領(lǐng)域（數(shù)據(jù)倉庫、數(shù)據(jù)湖、數(shù)據(jù)中臺）相關(guān)概念，引導(dǎo)讀者能據(jù)此有的放矢地構(gòu)建自己的大數(shù)據(jù)體系觀。

金琦：在上一期中，我們對大數(shù)據(jù)的基本概念和大數(shù)據(jù)處理的代表框架Hadoop進行了介紹。Hadoop分布式文件系統(tǒng)（HDFS）是大數(shù)據(jù)技術(shù)典型代表。這個開源軟件框架的設(shè)計初衷就是解決在分布計算集群中的存儲和處理大量數(shù)據(jù)集的難題。隨著大數(shù)據(jù)的蓬勃發(fā)展，數(shù)據(jù)管理工具得到了飛速的發(fā)展，相關(guān)概念如雨后春筍一般應(yīng)運而生，如數(shù)據(jù)倉庫、數(shù)據(jù)湖、數(shù)據(jù)中臺等，這些概念特別容易混淆，本期對這些名詞術(shù)語及內(nèi)涵進行系統(tǒng)的解析，便于讀者對數(shù)據(jù)平臺相關(guān)概念有全面的認識。

數(shù)據(jù)倉庫

劉宗凡：包括教育在內(nèi)眾多機構(gòu)的數(shù)據(jù)建設(shè)經(jīng)歷了分散建設(shè)、主數(shù)據(jù)集中和大數(shù)據(jù)平臺多個階段，大數(shù)據(jù)重在挖掘，提到數(shù)據(jù)挖掘不能不談數(shù)據(jù)庫和數(shù)據(jù)倉庫。數(shù)據(jù)庫主要是針對事務(wù)的，數(shù)據(jù)倉庫主要是針對主題。例如，露天市場與超市都在賣菜，它們的區(qū)別是市場里攤主自己賣菜，所以他會把青菜、蘿卜、冬瓜等放在一起銷售。換個角度說，市場里的蔬菜相當于計算機里的數(shù)據(jù)，攤主相當于應(yīng)用程序，蔬菜按照攤主的要求歸堆，就相當于數(shù)據(jù)按照應(yīng)用程序即事務(wù)去處理。但在超市里，青菜、蘿卜、冬瓜各自在一塊，也就相當于超市里蔬菜是按照同一類型放在一起的，這里的同一類型就相當于軟件里的主題。

邱元陽：劉老師的比喻很形象，我們再來談一下兩者的特性吧，首先數(shù)據(jù)倉庫具有時間屬性，因為出于決策的需要，倉庫中的數(shù)據(jù)必須表明它是什么時間建立的，但數(shù)據(jù)庫保存信息的時候并不強調(diào)一定有時間信息。此外，數(shù)據(jù)倉庫的另一個特性是不可修改。數(shù)據(jù)倉庫中的數(shù)據(jù)來源于歷史數(shù)據(jù)，所以其中的數(shù)據(jù)不一定是最新的，而數(shù)據(jù)庫中的數(shù)據(jù)都是日常事務(wù)，是時時更新的。例如，我們查詢的當月話費都是實時數(shù)據(jù)，這個數(shù)據(jù)庫是可以變化的，但電信服務(wù)器中存儲大量客戶信息以及他們過去時段所用的話費就是歷史數(shù)據(jù)，從這些歷史數(shù)據(jù)中我們可能會向分析師提供哪些是優(yōu)質(zhì)客戶，哪些是大型客戶，這時庫里的數(shù)據(jù)就不可更改了。數(shù)據(jù)倉庫里的數(shù)據(jù)是過去的，數(shù)據(jù)庫里的數(shù)據(jù)是實時的，數(shù)據(jù)庫是為了捕獲數(shù)據(jù)，數(shù)據(jù)倉庫是為了分析數(shù)據(jù)。

倪俊杰：我們再對數(shù)據(jù)倉庫進行技術(shù)性描述，數(shù)據(jù)倉庫使用ETL（Extraction，提取;Transform，轉(zhuǎn)換;Load，加載）過程來攝取新數(shù)據(jù)，在將數(shù)據(jù)加載至數(shù)據(jù)倉庫前，需要使用預(yù)定義好的模組（Schema）將其結(jié)構(gòu)化處理（或稱建模），即所謂的“寫入時建?！保⊿chema-on-Write），使用時再根據(jù)特定需求進行結(jié)構(gòu)化處理，即所謂的“讀出時建?！保⊿chema-on-Read）。上期我們講的Hadoop上就包含Hive這一數(shù)據(jù)倉庫基礎(chǔ)構(gòu)架。它提供了一系列的工具，可以用來進行數(shù)據(jù)提取轉(zhuǎn)化加載（ETL），這是一種可以存儲、查詢和分析存儲在Hadoop中的大規(guī)模數(shù)據(jù)的機制。Hive定義了簡單的類SQL查詢語言，稱為HQL，它允許熟悉SQL的用戶查詢數(shù)據(jù)。同時，這個語言也允許熟悉MapReduce的開發(fā)者開發(fā)自定義的mapper和reducer來處理內(nèi)建的mapper和reducer無法完成的復(fù)雜的分析工作。

楊磊：就教育系統(tǒng)而言，《國家教育管理信息系統(tǒng)建設(shè)總體方案》指出國家教育管理信息系統(tǒng)建設(shè)要以“兩級建設(shè)、五級應(yīng)用”體系為重點，其中的“兩級建設(shè)”指國家級和省級兩級云數(shù)據(jù)中心。在智慧教育生態(tài)系統(tǒng)中，這兩級數(shù)據(jù)中心（Data Center）分別部署于教育公有云和區(qū)域混合云中。著眼于省級以下的各級自制系統(tǒng)管理發(fā)展水平不一，兩級數(shù)據(jù)中心是各自治系統(tǒng)互聯(lián)互通的外部接口，它對各級自治系統(tǒng)傳來的數(shù)據(jù)進行數(shù)據(jù)規(guī)整和數(shù)據(jù)清洗等處理，將數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的或合乎某一特定系統(tǒng)的標準格式，以便為各自治系統(tǒng)提供數(shù)據(jù)服務(wù)。而私有云配備數(shù)據(jù)倉庫是面向主題的、單一的、完整的、一致的數(shù)據(jù)存儲。數(shù)據(jù)倉庫中的數(shù)據(jù)來源于本地架構(gòu)根據(jù)開放政策或協(xié)議公開的數(shù)據(jù)，同一數(shù)據(jù)一次、一處進入私有云（保證數(shù)據(jù)的準確性、及時性和完整性），其數(shù)據(jù)結(jié)構(gòu)和存儲方式與系統(tǒng)具體功能或數(shù)據(jù)流無關(guān)（保證數(shù)據(jù)的共享性）。這樣的設(shè)計為各自治系統(tǒng)從兩兩互相調(diào)用的耦合向數(shù)據(jù)松耦合轉(zhuǎn)變創(chuàng)造了基礎(chǔ)條件。在基于數(shù)據(jù)中心的松耦合中，所有自治系統(tǒng)的簡單關(guān)聯(lián)均通過數(shù)據(jù)中心實現(xiàn)，目前比較典型的是用東方通中間件來完成各級系統(tǒng)的數(shù)據(jù)共享交換和協(xié)同運作。

數(shù)據(jù)中臺

金琦：隨著技術(shù)的進步，特別是存儲硬件價格的下降與分布式計算的發(fā)展，數(shù)據(jù)倉庫得到了廣泛的應(yīng)用，但數(shù)據(jù)倉庫也遇到了一些問題，大家也可以對此探討一下。

邵建勛：是的。例如，數(shù)據(jù)實時性問題：由于數(shù)據(jù)倉庫是基于歷史數(shù)據(jù)的，它無法滿足現(xiàn)代機構(gòu)管理需求，原來數(shù)據(jù)倉庫基于歷史數(shù)據(jù)設(shè)計主要是為了提高查詢效率，但是現(xiàn)代的硬件技術(shù)與分布式計算早已提供了更好的解決方法。數(shù)據(jù)共享問題：數(shù)據(jù)倉庫以主題方式組織數(shù)據(jù)，如學(xué)校就有不同主題諸如教師管理、學(xué)生管理、資源管理數(shù)據(jù)，就使得在解決數(shù)據(jù)孤島的問題上又形成了一個個“數(shù)據(jù)煙囪”，各部門在使用數(shù)據(jù)時，仍然會面臨數(shù)據(jù)不一致的問題，且數(shù)據(jù)倉庫與業(yè)務(wù)之間高度耦合，也使得數(shù)據(jù)倉庫難以維護，修改起來工作量巨大，跟不上管理變革。數(shù)據(jù)分析對業(yè)務(wù)的支撐不足：由于數(shù)據(jù)分析是基于歷史數(shù)據(jù)的分析，而業(yè)務(wù)是實時的，所以兩者之間存在一定的時間差，導(dǎo)致數(shù)據(jù)分析只能起到對業(yè)務(wù)的“支撐”作用，而無法起到對業(yè)務(wù)的“驅(qū)動”作用。

劉宗凡：為了解決這些問題，阿里提出了“數(shù)據(jù)中臺”概念，現(xiàn)在這個概念已經(jīng)被很多機構(gòu)所接受，“中臺”這個概念，是相對于前臺和后臺而生，是前臺和后臺的鏈接點，將業(yè)務(wù)共同的工具和技術(shù)予以沉淀。同時，以Hadoop等分布式技術(shù)和組件為核心的“計算和存儲混搭”的數(shù)據(jù)處理架構(gòu)，能夠支持批量和實時的數(shù)據(jù)加載以及靈活的業(yè)務(wù)需求。另外，數(shù)據(jù)的預(yù)處理流程正在從前面提及的ETL結(jié)構(gòu)向ELT（Extraction，提取;Load，加載;Transform，轉(zhuǎn)換）結(jié)構(gòu)轉(zhuǎn)變。傳統(tǒng)的數(shù)據(jù)倉庫集成處理架構(gòu)是ETL結(jié)構(gòu)，這是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，即用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。而大數(shù)據(jù)背景下的架構(gòu)體系是ELT結(jié)構(gòu)，其根據(jù)上層的應(yīng)用需求，隨時從數(shù)據(jù)中臺中抽取想要的原始數(shù)據(jù)進行建模分析。

邱元陽：好的，這時我們可以給出數(shù)據(jù)中臺的定義，即通過機構(gòu)內(nèi)外部多源異構(gòu)的數(shù)據(jù)采集、治理、建模、分析、應(yīng)用，使數(shù)據(jù)對內(nèi)優(yōu)化管理提高業(yè)務(wù)，對外可以數(shù)據(jù)合作價值釋放，成為機構(gòu)數(shù)據(jù)資產(chǎn)管理中樞。數(shù)據(jù)中臺建立后，會形成數(shù)據(jù)API，為機構(gòu)和客戶提供高效的數(shù)據(jù)服務(wù)。數(shù)據(jù)中臺整體技術(shù)架構(gòu)上采用云計算架構(gòu)模式，將數(shù)據(jù)資源、計算資源、存儲資源充分云化，通過多租戶技術(shù)進行資源打包整合，并進行開放，為用戶提供“一站式”數(shù)據(jù)服務(wù)。利用大數(shù)據(jù)技術(shù)，對海量數(shù)據(jù)進行統(tǒng)一采集、計算、存儲，并使用統(tǒng)一的數(shù)據(jù)規(guī)范進行管理，將機構(gòu)內(nèi)部所有數(shù)據(jù)統(tǒng)一處理形成標準化數(shù)據(jù)，挖掘出對機構(gòu)最有價值的數(shù)據(jù)，構(gòu)建機構(gòu)數(shù)據(jù)資產(chǎn)庫，提供一致的、高可用的大數(shù)據(jù)服務(wù)。數(shù)據(jù)中臺不是一套軟件，也不是一個信息系統(tǒng)，而是一系列數(shù)據(jù)組件的集合，機構(gòu)基于自身的信息化建設(shè)基礎(chǔ)、數(shù)據(jù)基礎(chǔ)以及業(yè)務(wù)特點對數(shù)據(jù)中臺的能力進行定義，基于能力定義利用數(shù)據(jù)組件搭建自己的數(shù)據(jù)中臺，其架構(gòu)如上頁圖1所示。

倪俊杰：我來說一說數(shù)據(jù)中臺帶來的價值。數(shù)據(jù)中臺對一個單位的數(shù)字化轉(zhuǎn)型和可持續(xù)發(fā)展起著至關(guān)重要的作用。數(shù)據(jù)中臺為解耦而生，為單位建設(shè)數(shù)據(jù)中臺的最大意義就是應(yīng)用與數(shù)據(jù)解耦，這樣單位就可以不受限制地按需構(gòu)建滿足業(yè)務(wù)需求的數(shù)據(jù)應(yīng)用。數(shù)據(jù)中臺構(gòu)建了開放、靈活、可擴展的機構(gòu)級統(tǒng)一數(shù)據(jù)管理和分析平臺，將機構(gòu)內(nèi)、外部數(shù)據(jù)隨需關(guān)聯(lián)，打破了數(shù)據(jù)的系統(tǒng)界限;利用大數(shù)據(jù)智能分析、數(shù)據(jù)可視化等技術(shù)，實現(xiàn)了數(shù)據(jù)共享、日常報表自動生成、快速和智能分析，滿足集團總部和各分子公司各級數(shù)據(jù)分析應(yīng)用需求;深度挖掘數(shù)據(jù)價值，助力機構(gòu)數(shù)字化轉(zhuǎn)型落地;實現(xiàn)了數(shù)據(jù)的目錄、模型、標準、認責、安全、可視化、共享等管理，實現(xiàn)數(shù)據(jù)集中存儲、處理、分類與管理，建立大數(shù)據(jù)分析工具庫、算法服務(wù)庫，實現(xiàn)報表生成自動化、數(shù)據(jù)分析敏捷化、數(shù)據(jù)挖掘可視化，實現(xiàn)數(shù)據(jù)質(zhì)量評估、落地管理流程。

楊磊：我來列個表做個總結(jié)，同時也可以看一下數(shù)據(jù)倉庫與數(shù)據(jù)中臺的差異點（如表1）。

數(shù)據(jù)湖

金琦：數(shù)據(jù)倉庫得到了廣泛的應(yīng)用，但隨著技術(shù)的進步，建設(shè)大數(shù)據(jù)平臺為平臺上其他應(yīng)用需要提供通用的數(shù)據(jù)存儲服務(wù)，需要支持存儲用戶數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、元數(shù)據(jù)、預(yù)測分析結(jié)果等傳統(tǒng)關(guān)系型數(shù)據(jù)和日志數(shù)據(jù)、圖片視頻、影像數(shù)據(jù)等非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)。許多機構(gòu)開始面臨儲存大量不同形態(tài)數(shù)據(jù)的問題。這里我有兩個疑問：所有的數(shù)據(jù)都會進入數(shù)據(jù)中臺嗎？目前看來“沒用”的數(shù)據(jù)是否真的沒有用處呢？

邵建勛：一般遵循有用的數(shù)據(jù)才會進入數(shù)據(jù)中臺，同時會為進入數(shù)據(jù)中臺的數(shù)據(jù)完成模型定義。但有用無用依賴的是業(yè)務(wù)人員的經(jīng)驗判斷，這明顯不符合大數(shù)據(jù)的價值發(fā)現(xiàn)原則，大數(shù)據(jù)方法希望盡可能攝取各種來源的“粗數(shù)據(jù)”，甚至?xí)簳r不知其用途，也得收藏起來，而這些需求傳統(tǒng)的架構(gòu)可能無法負荷，由此誕生了“數(shù)據(jù)湖”。數(shù)據(jù)湖的概念最初是由大數(shù)據(jù)廠商提出的，是一種數(shù)據(jù)存儲的理念，相較于將數(shù)據(jù)以數(shù)據(jù)倉庫模式儲存，數(shù)據(jù)湖被廣泛視為大數(shù)據(jù)快速演進的下一步。其最主要的特點有兩個：數(shù)據(jù)是以原始格式存儲，不同于數(shù)據(jù)中臺的結(jié)構(gòu)化存儲方式;數(shù)據(jù)湖以自然格式存儲數(shù)據(jù)，數(shù)據(jù)不需要提前進行定義，在準備使用數(shù)據(jù)時，再定義即可，提高了靈活性與可擴展性。

劉宗凡：一般數(shù)據(jù)湖架構(gòu)有別于傳統(tǒng)的數(shù)據(jù)倉庫，傳統(tǒng)的數(shù)據(jù)倉庫的數(shù)據(jù)通常是品質(zhì)較高且預(yù)先處理過的數(shù)據(jù);而數(shù)據(jù)湖架構(gòu)的設(shè)計是可擷取大量的、各種類型的數(shù)據(jù)作為數(shù)據(jù)素材的儲存管理，以便于分析應(yīng)用。因為數(shù)據(jù)湖架構(gòu)范圍更廣、在數(shù)據(jù)分析上擁有更多彈性，所以它很適合作為導(dǎo)入巨量數(shù)據(jù)分析應(yīng)用的架構(gòu)藍圖。數(shù)據(jù)湖數(shù)據(jù)可包含各式的大規(guī)模并行處理數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫及HDFS分散式儲存數(shù)據(jù)庫，各種來源、各類型的數(shù)據(jù)在數(shù)據(jù)湖經(jīng)由不同方式的儲存、處理、凈化、管理后，有彈性地產(chǎn)出各種分析數(shù)據(jù)。不同的是，數(shù)據(jù)湖可同時包含“未被清理的數(shù)據(jù)”，保持其最原始的形式，故分析者可取得最原始模式的數(shù)據(jù)，以減少資源上處理數(shù)據(jù)的必要，讓來自各機關(guān)的數(shù)據(jù)來源更易于結(jié)合。數(shù)據(jù)湖主要有四點特性：以低成本保存巨量數(shù)據(jù)、維持數(shù)據(jù)高度真實性、數(shù)據(jù)易取得及數(shù)據(jù)分析富有彈性。最常用的部署數(shù)據(jù)湖的技術(shù)就是我們之前講的Hadoop技術(shù)，而數(shù)據(jù)湖作為第二數(shù)據(jù)平面最重要的數(shù)據(jù)平臺，與Hadoop技術(shù)的融合越來越緊密，相輔相成。例如，HBase可以讓數(shù)據(jù)湖存儲海量數(shù)據(jù);基于內(nèi)存處理數(shù)據(jù)的Spark（上期我們講過通過磁盤處理數(shù)據(jù)的MapReduce）使得數(shù)據(jù)湖可以更快地批量計算和分析海量數(shù)據(jù);Storm、Flink、NiFi等使數(shù)據(jù)湖能夠?qū)崟r接入和處理物聯(lián)傳感數(shù)據(jù)。Hadoop本身更多地聚焦于數(shù)據(jù)的處理與應(yīng)用，但是對于底層的數(shù)據(jù)存儲工作并未過多地關(guān)注。例如，傳統(tǒng)的Hadoop使用三副本技術(shù)保存數(shù)據(jù)，數(shù)據(jù)利用率只有百分之三十三，數(shù)據(jù)保存成本較高;同時客戶對Hadoop承載的數(shù)據(jù)可靠性要求也越來越高，數(shù)據(jù)保護（備份、容災(zāi)等）需求越來越多，Hadoop3.x開啟了存儲和計算分離的趨勢，但這些還不能完全滿足用戶需求，數(shù)據(jù)湖需要從數(shù)據(jù)存儲、數(shù)據(jù)治理等方面繼續(xù)發(fā)展。目前的數(shù)據(jù)湖架構(gòu)如圖2所示。

楊磊：我再來列個表，看一下數(shù)據(jù)倉庫與數(shù)據(jù)湖的差異（如表2）。

總結(jié)

金琦：感謝各位老師參與這次對數(shù)據(jù)領(lǐng)域相關(guān)概念的討論。雖然部分人將數(shù)據(jù)湖作為數(shù)據(jù)倉庫的替代品，但許多專業(yè)人士也認為這兩種技術(shù)是互補的，不同應(yīng)用程序的業(yè)務(wù)數(shù)據(jù)通過數(shù)據(jù)湖匯聚到一起，之后在數(shù)據(jù)湖的基礎(chǔ)上建構(gòu)數(shù)據(jù)倉庫和高級分析環(huán)境，將這些應(yīng)用與技術(shù)全部云化后，擁抱第三方平臺，從而實現(xiàn)系統(tǒng)與第三方平臺的數(shù)據(jù)整合。數(shù)據(jù)湖這種“存儲一切數(shù)據(jù)、分析一切數(shù)據(jù)”的技術(shù)以及數(shù)據(jù)湖與數(shù)據(jù)倉庫相連接的理念，為企事業(yè)單位數(shù)據(jù)中心的松耦合架構(gòu)設(shè)計提供了新思路。在這樣的混搭結(jié)構(gòu)中，數(shù)據(jù)統(tǒng)一以原始格式存儲于數(shù)據(jù)湖內(nèi)，確認有用的數(shù)據(jù)從數(shù)據(jù)湖內(nèi)轉(zhuǎn)為結(jié)構(gòu)化存儲，進入數(shù)據(jù)中臺使用，讓數(shù)據(jù)中臺能更好地支撐數(shù)據(jù)預(yù)測分析、跨領(lǐng)域分析、主動分析、實時分析、多元化結(jié)構(gòu)化數(shù)據(jù)分析，而數(shù)據(jù)中臺建設(shè)為各級數(shù)據(jù)部門提供數(shù)據(jù)服務(wù)和共享奠定重要的基礎(chǔ)，可以加速從數(shù)據(jù)到價值轉(zhuǎn)變的過程，提高相應(yīng)業(yè)務(wù)能力。