Thor Olavsrud

要想獲得數(shù)據(jù)分析的好處，首先必須正確地準備數(shù)據(jù)。據(jù)市場研究機構(gòu)Gartner的最新研究顯示，對于許多企業(yè)來說，這是一個很大的瓶頸，其70%的時間都花在了數(shù)據(jù)準備工作上了。

作為《數(shù)據(jù)準備工具市場指南》的主要作者，Gartner的數(shù)據(jù)和分析團隊高級分析師Ehtisham Zaidi指出，“通過適當?shù)娜藛T及時地查找、訪問、清理、轉(zhuǎn)換和共享數(shù)據(jù)仍然是數(shù)據(jù)管理和分析中最耗時的障礙之一。”

日立Vantara的首席營銷官Jonathan Martin認為，對于希望通過分析來轉(zhuǎn)變業(yè)務(wù)的公司而言，主要問題不在于掌握人工智能，而在于掌握數(shù)據(jù)管道。

他指出：“數(shù)據(jù)準備工作是最具挑戰(zhàn)性的工作。如何確定所有這些數(shù)據(jù)在哪里？是否可以建立一個投資組合？是否可以設(shè)計管道，以自動化的管理與治理方式將所有這些數(shù)據(jù)源連接在一起，從而使我們能夠在要求的時間范圍將這些數(shù)據(jù)送到正確的位置、合適的人和適當?shù)臋C器那里？”

以下我們將深入探討數(shù)據(jù)準備為何仍然是數(shù)據(jù)分析所面臨的重大挑戰(zhàn)，如何準備數(shù)據(jù)準備工具以解決這些問題，以及在為企業(yè)選擇數(shù)據(jù)準備工具時要尋找哪些內(nèi)容。

數(shù)據(jù)準備面臨的挑戰(zhàn)

數(shù)據(jù)準備面臨的挑戰(zhàn)是由多種因素導(dǎo)致的。

首先，支持分析計劃所需的數(shù)據(jù)源和數(shù)據(jù)類型在數(shù)量上和復(fù)雜性上呈指數(shù)級增長。訪問這些分布在分布式數(shù)據(jù)生態(tài)系統(tǒng)、公司內(nèi)部和外部的數(shù)據(jù)源需要大量的時間、資源、技能和工具才能完成。

市場研究機構(gòu)IDC負責數(shù)據(jù)集成和完整性軟件服務(wù)的研究主管Stewart Bond說：“當今乃至這個時代的數(shù)據(jù)環(huán)境是非常復(fù)雜的。環(huán)境中存在著多種不同的數(shù)據(jù)類型，如交易數(shù)據(jù)、主數(shù)據(jù)、社交媒體數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、日志文件數(shù)據(jù)、圖形數(shù)據(jù)。不僅數(shù)據(jù)類型各不相同，并且這些數(shù)據(jù)所使用的存儲技術(shù)也都不相同?！?/p>

其次，對自助式數(shù)據(jù)訪問與集成的請求數(shù)量正在讓IT團隊不堪重負。Zaidi認為，這表明集中式IT模型和數(shù)據(jù)集成已經(jīng)不再有效。

他說：“IT部門需要通過易于用戶使用和理解的工具來配置數(shù)據(jù)訪問和集成，這是數(shù)據(jù)準備需求進一步上升的原因。”

再次，數(shù)據(jù)需求在不斷變化。因為業(yè)務(wù)分析師、整合者、業(yè)務(wù)用戶、數(shù)據(jù)工程師和數(shù)據(jù)科學家對他們的項目都有著不同的數(shù)據(jù)需求。

Zaidi表示：“這使得準備一次數(shù)據(jù)就可以滿足不同角色/消費者的不斷變化的需求成為了不可能的事情?！?h3>下一代數(shù)據(jù)準備工具

他補充道，隨著數(shù)據(jù)準備工具的成熟，痛點已經(jīng)發(fā)生了很大的變化。過去，痛點在于用來連接哪些數(shù)據(jù)源以及準備哪些數(shù)據(jù)。如今，公司正在將重點放在數(shù)據(jù)治理、沿襲、可追溯性和質(zhì)量上。此外，他們還需要確保具有必要技能的合適人員能夠通過數(shù)據(jù)準備工具訪問適當?shù)臄?shù)據(jù)。

Bond 將此歸為“數(shù)據(jù)智能”問題，即有關(guān)數(shù)據(jù)的元數(shù)據(jù)。他說：“這種智能包括了解數(shù)據(jù)的位置、數(shù)據(jù)的含義，以及誰在使用它們，誰可以訪問它們，為什么我們有數(shù)據(jù)，我們需要保存這些數(shù)據(jù)多長時間，別人如何使用它們。”

值得慶幸的是，數(shù)據(jù)準備工具市場正在不斷發(fā)展，并且發(fā)展出了能夠解決這些問題的新功能。上一代工具僅限于簡單數(shù)據(jù)轉(zhuǎn)換要求。數(shù)據(jù)轉(zhuǎn)換可以說是業(yè)務(wù)用戶所需的數(shù)據(jù)準備工作中的最后一英里。下一代工具可以與IT團隊共享發(fā)現(xiàn)結(jié)果和準備就緒的模型，并包含了諸如數(shù)據(jù)編錄之類的數(shù)據(jù)管理功能，這樣用戶就能夠查看和搜索連接的數(shù)據(jù)資產(chǎn)。

Zaidi表示：“某些工具現(xiàn)在還嵌入了高級數(shù)據(jù)質(zhì)量功能，這些是上一代工具所沒有的。這些功能包括性能分析、標記、注釋、重復(fù)數(shù)據(jù)刪除、模糊邏輯匹配、鏈接和合并功能。IT和數(shù)據(jù)管理團隊通過這些功能可以更容易提高質(zhì)量，確保廣泛采用和數(shù)據(jù)模型使用的治理與合規(guī)”。

這里機器學習（ML）是關(guān)鍵。基于機器學習的功能不僅可以在準備之前自動進行數(shù)據(jù)的匹配、聯(lián)接、配置文件、標記和注釋，而且某些工具可以突出顯示敏感屬性、反常現(xiàn)象和異常值，并與元數(shù)據(jù)管理和治理工具進行協(xié)作以防止敏感數(shù)據(jù)被泄露。

Zaidi解釋道：“這些由機器學習增強的數(shù)據(jù)準備工具允許不同技能水平的用戶采用數(shù)據(jù)準備，同時確保治理和合規(guī)性。”

應(yīng)關(guān)注數(shù)據(jù)準備工具的哪些方面？

Zaidi指出，企業(yè)在評估現(xiàn)代化的數(shù)據(jù)準備工具時應(yīng)當將重點放在以下關(guān)鍵功能上：

● 數(shù)據(jù)提取和分析。關(guān)注可視化環(huán)境，讓用戶能夠以交互方式獲取、搜索、采樣和準備數(shù)據(jù)資產(chǎn)。

● 數(shù)據(jù)分類和基本元數(shù)據(jù)管理。工具應(yīng)允許用戶創(chuàng)建和搜索元數(shù)據(jù)。

● 數(shù)據(jù)建模和轉(zhuǎn)換。工具應(yīng)支持數(shù)據(jù)混搭和混合、數(shù)據(jù)清洗、過濾，以及用戶定義的計算、群組和層級結(jié)構(gòu)。

● 數(shù)據(jù)安全。工具應(yīng)包括安全性功能，例如數(shù)據(jù)屏蔽、平臺身份驗證以及用戶/組/角色級別的安全性篩選。

● 基本的數(shù)據(jù)質(zhì)量和治理支持。數(shù)據(jù)準備工具應(yīng)與支持數(shù)據(jù)治理/管理以及數(shù)據(jù)質(zhì)量、用戶權(quán)限和數(shù)據(jù)沿襲功能的工具集成在一起。

● 數(shù)據(jù)豐富。工具應(yīng)支持基本的數(shù)據(jù)豐富功能，包括實體提取和從集成數(shù)據(jù)中捕獲屬性。

● 用戶協(xié)作和可操作性。這些工具應(yīng)便于共享查詢和數(shù)據(jù)集，包括發(fā)布、共享和推廣具有治理功能的模型，例如數(shù)據(jù)集用戶評分或官方水印。

此外，Zaidi還強調(diào)要關(guān)注以下差異化功能：

● 數(shù)據(jù)源訪問/連接。工具應(yīng)具有基于API和基于標準的連接性，包括原生的對云應(yīng)用程序和數(shù)據(jù)源的訪問能力，例如流行的數(shù)據(jù)庫PaaS和云數(shù)據(jù)倉庫、本地數(shù)據(jù)源、關(guān)系型和非結(jié)構(gòu)化數(shù)據(jù)以及非關(guān)系型數(shù)據(jù)庫。

● 機器學習。工具應(yīng)支持使用機器學習AI來改善甚至自動化數(shù)據(jù)準備過程。

● 混合和多云部署選項。數(shù)據(jù)準備工具需要支持在云端、本地或混合集成平臺中的部署。

● 針對特定領(lǐng)域或垂直領(lǐng)域的產(chǎn)品或模板。工具應(yīng)提供針對特定領(lǐng)域或垂直領(lǐng)域的數(shù)據(jù)和模型的成套模板或產(chǎn)品，以加快數(shù)據(jù)準備時間。

Zaidi在最后指出，用戶必須考慮的第一件事是，企業(yè)是使用獨立的數(shù)據(jù)準備工具，還是與廠商合作將數(shù)據(jù)準備嵌入后者的分析/商業(yè)智能、數(shù)據(jù)科學、數(shù)據(jù)集成工具中。如果用戶的大多數(shù)使用情況依賴于一系列分析/商業(yè)智能和數(shù)據(jù)科學工具的數(shù)據(jù)集成，那么請考慮使用獨立工具。如果僅在特定平臺或生態(tài)系統(tǒng)的背景中需要數(shù)據(jù)準備，則使用這些工具的嵌入式數(shù)據(jù)準備功能可能更有意義。

數(shù)據(jù)準備市場概況

Gartner將數(shù)據(jù)準備工具供應(yīng)商分為四類，由于數(shù)據(jù)準備功能已嵌入所有數(shù)據(jù)管理和分析工具中，因此每一類都在不斷發(fā)生著變化。

獨立的數(shù)據(jù)準備工具。這一領(lǐng)域內(nèi)的供應(yīng)商將重點放在了與下游流程進行更緊密集成方面，例如API訪問以及對多個分析/商業(yè)智能、數(shù)據(jù)科學和數(shù)據(jù)集成工具的支持。該領(lǐng)域的工具包括Altair、Datameer、Lore IO、Modak Analytics、Paxata和Trifacta等供應(yīng)商的產(chǎn)品。

數(shù)據(jù)整合工具。此類供應(yīng)商一直專注于數(shù)據(jù)集成和管理。相關(guān)產(chǎn)品包括來自Cambridge Semantics、Denodo、Infogix、Informatica、SAP、SAS、Talend和TMMData等供應(yīng)商的解決方案。

現(xiàn)代分析和商業(yè)智能平臺。這些供應(yīng)商專注于將數(shù)據(jù)準備作為端到端分析工作流的一部分。Zaidi稱，由于數(shù)據(jù)準備對于現(xiàn)代分析和商業(yè)智能至關(guān)重要，因此該領(lǐng)域的所有供應(yīng)商都嵌入了數(shù)據(jù)準備功能。此類別中的供應(yīng)商包括Alteryx、Tableau、Cambridge Semantics、Infogix、微軟、MicroStrategy、甲骨文、Qlik、SAP、SAS、TIBCO Software和TMMData。

數(shù)據(jù)科學和機器學習平臺。Gartner指出，這類供應(yīng)商將數(shù)據(jù)準備功能作為了端到端數(shù)據(jù)科學和ML流程的一部分。代表廠商包括Alteryx、Cambridge Semantics、Dataiku、IBM、Infogix、Rapid Insight、SAP和SAS。

除了以上四個大類之外，Gartner還注意到了其他新興的具有數(shù)據(jù)準備功能的新類別，其中包括以下平臺和代表性供應(yīng)商：

● 數(shù)據(jù)管理/數(shù)據(jù)湖支持平臺：Informatica、Talend、Unifi和Zaloni

● 數(shù)據(jù)工程平臺：Infoworks

● 數(shù)據(jù)質(zhì)量工具：Experian

● 數(shù)據(jù)集成專家：Alooma、Nexla、StreamSet和Striim

6個關(guān)鍵的數(shù)據(jù)準備工具

下列6個數(shù)據(jù)準備工具充分展示了當前有關(guān)可用功能的發(fā)展情況。

Alteryx Designer

這個獨立的數(shù)據(jù)準備工具其實也是Alteryx Analytics和Data Science平臺的一部分，這意味著它們能夠作為廣泛應(yīng)用的分析與商業(yè)智能平臺中的一個功能被嵌入，亦或是作為被廣泛應(yīng)用的數(shù)據(jù)科學和機器學習平臺中的一個功能被嵌入。它們可以提供拖放工作流，無需SQL代碼即可分析、準備和混合數(shù)據(jù)。另外，該工具采取按年訂閱并根據(jù)用戶數(shù)量進行收費。

Cambridge Semantics Anzo

Anzo為Cambridge Semantics的端到端數(shù)據(jù)發(fā)現(xiàn)與集成平臺，因此涵蓋了上述Gartner的所有4個類別。Anzo在現(xiàn)有數(shù)據(jù)基礎(chǔ)架構(gòu)上應(yīng)用了基于語義和圖形的數(shù)據(jù)結(jié)構(gòu)層，以映射企業(yè)數(shù)據(jù)，顯示數(shù)據(jù)集之間的連接，啟用可視化探索與發(fā)現(xiàn)以及混合多個數(shù)據(jù)集。Anzo可通過訂閱獲得，其根據(jù)核心數(shù)量和用戶數(shù)量進行收費。

Datameer Enterprise

Datameer Enterprise為數(shù)據(jù)準備與數(shù)據(jù)工程平臺，屬于Gartner劃分的獨立類別。其重點是使用由向?qū)б龑?dǎo)的集成流程將原始且分散的數(shù)據(jù)源聚集在一起，以創(chuàng)建單一的數(shù)據(jù)存儲。Datameer提供了類似于電子表格的界面，可用于混合和視覺探索功能。 收費方式采取的是根據(jù)計算能力或數(shù)據(jù)量向客戶收費，云用戶則按小時收費或是包年。

Infogix Data3Sixty Analyze

Infogix的Data3Sixty Analyze為基于Web的解決方案，源自于Infogix收購的Lavastorm。與Datameer一樣，其涵蓋了Gartner的所有4個類別。Data3Sixty通過角色定義用戶。設(shè)計人員可以創(chuàng)建和編輯數(shù)據(jù)流，調(diào)度器可以創(chuàng)建和修改計劃以進行自動處理，但瀏覽器只能執(zhí)行數(shù)據(jù)流。Infogix既將Data3Sixty作為基于訂閱的桌面產(chǎn)品，又將其作為基于服務(wù)器的產(chǎn)品出售。作為基于服務(wù)器的產(chǎn)品出售時，其采取的收費方式為一次收費和訂閱兩種方式。

Talend Data Preparation

Talend提供了三種數(shù)據(jù)準備工具：開源桌面版Talend Data Preparation、Talend Data Preparation Cloud（作為Talend Cloud平臺的一部分提供的商業(yè)版本）和商業(yè)版Talend Data Preparation（作為本地部署的Talend Data Fabric產(chǎn)品的一部分）。Talend數(shù)據(jù)準備是一個獨立的工具，而Talend Cloud和Talend Data Fabric則將數(shù)據(jù)準備作為一個功能整合到了數(shù)據(jù)集成/數(shù)據(jù)管理工具中。Talend使用了機器學習算法進行標準化、清洗、模式識別和對賬。開源版本是免費的，商業(yè)版本則采取的是指定用戶許可證的方式進行訂閱。

Trifacta Wrangler

Trifacta Wrangle是一個獨立的數(shù)據(jù)準備平臺，其有著多種版本，可支持云計算和本地計算環(huán)境。該平臺提供了嵌入式的機器學習功能，能夠推薦與之連接的數(shù)據(jù)、推斷數(shù)據(jù)結(jié)構(gòu)和架構(gòu)、推薦聯(lián)接、定義用戶訪問權(quán)限以及能夠?qū)崿F(xiàn)可視化/數(shù)據(jù)質(zhì)量的自動化可視化。Trifacta Wrangler有免費版本，有收費版本。其中，Wrangler Pro根據(jù)計算力和用戶數(shù)量收費，Wrangler Enterprise（分為本地版本和云版本） 按計算/處理規(guī)模和用戶數(shù)量收費，Trifacta的Google Cloud Dataprep則根據(jù)計算消耗情況收費。

本文作者Thor Olavsrud長期負責CIO.com網(wǎng)站的數(shù)據(jù)分析、商業(yè)智能和數(shù)據(jù)科學專欄。

原文網(wǎng)址

https：//www.cio.com/article/3449897/data-preparation-tools-your-analytics-strategys-secret-weapon.html？nsdr=true