大多數(shù)企業(yè)都會努力捕獲和分析自己的數(shù)據(jù)。但這項工作以何種方式,在哪里進(jìn)行呢?
解決方案曾經(jīng)僅限于完全部署在本地的數(shù)據(jù)庫。但今天,企業(yè)必須面對一個充滿眾多技術(shù)和部署類型的環(huán)境。從單個數(shù)據(jù)庫和Hadoop產(chǎn)品到云端、本地和混合部署,數(shù)據(jù)格局呈現(xiàn)出多樣化和快速演變的特征。
《云端數(shù)據(jù)簡報》是一項持續(xù)性項目,目標(biāo)是對這種格局的演變進(jìn)行定量。它探索Tableau Online客戶在全球范圍內(nèi)使用的數(shù)據(jù)源的連接。通過分析這些連接,我們可以窺見企業(yè)當(dāng)前,以何種方式在何處分析自己的數(shù)據(jù)。
我們的方法:
《云端數(shù)據(jù)簡報》對4000 多個客戶向Tableau Online發(fā)布,數(shù)量超過一百萬個匿名數(shù)據(jù)源連接進(jìn)行采樣分析。由于這是一種云端托管工具,其使用模式可能在總體上帶有云端偏向性。
盡管如此,Tableau Online客戶既有小公司,也有大型股份制企業(yè),并且?guī)缀醺采w了所有行業(yè)。此報告中的數(shù)據(jù)囊括了這些客戶,我們相信它可以準(zhǔn)確地指示市場大趨勢。
重要發(fā)現(xiàn):
數(shù)據(jù)存儲正在延伸到傳統(tǒng)數(shù)據(jù)庫概念之外。
Tableau Online客戶在自己的分析中使用眾多類型的數(shù)據(jù)源。從專有數(shù)據(jù)庫到開源Hadoop工具,客戶使用的數(shù)據(jù)源類型超過40種。就其中三分之二的數(shù)據(jù)源類型而言,云端部署比本地部署更常見。
數(shù)據(jù)重心正在向云端偏移
●在過去15個月內(nèi),云端托管數(shù)據(jù)的連接數(shù)量增加了28%。2015年1月,在Tableau Online的數(shù)據(jù)源連接中,云端和本地部署的數(shù)據(jù)源基本呈均勢分布。到2016 年第一季度,二者的比例已經(jīng)變?yōu)?0:30。
●Amazon Redshift和Google BigQuery之類云端原生數(shù)據(jù)源正在獲得更多的市場份額。2014年年初,此類連接僅占Tableau Online連接總數(shù)的12%。到2016年第一季度,其份額已增長到所有連接的28%。
混合數(shù)據(jù)技術(shù)對企業(yè)經(jīng)營仍至關(guān)重要。
●既能部署在本地又能部署在云端的混合數(shù)據(jù)源
仍然是Tableau Online客戶使用最多的連接類型,遠(yuǎn)超其他類型。在過去兩年內(nèi),混合數(shù)據(jù)源在所有連接中的份額從未低于60%。
●混合數(shù)據(jù)的重心同樣正在朝云端偏移。15個月前,Tableau Online客戶在云端環(huán)境和本地環(huán)境中部署的混合數(shù)據(jù)源一樣多。到2016年第一季度,云端部署的混合數(shù)據(jù)源在連接中的份額已增加到了60%。
數(shù)據(jù)呈多樣化格局
Tableau Online用戶使用40多種數(shù)據(jù)源。
排除基于文件的源(例如Excel)和業(yè)務(wù)特定Web應(yīng)用程序(例如Salesforce和Google Analytics),用戶使用32個不同的數(shù)據(jù)庫類型和Hadoop生態(tài)系統(tǒng)。這種多樣性表明當(dāng)今可用的數(shù)據(jù)管理工具,具有廣泛且多樣的格局。
未來,該格局只會變得更加稠密。高德納 (Gartner) 報告指出,運(yùn)營數(shù)據(jù)庫管理系統(tǒng)正在經(jīng)歷“強(qiáng)勢復(fù)蘇,新來者在這一過程中對傳統(tǒng)領(lǐng)先者構(gòu)成了挑戰(zhàn)?!备叩录{還發(fā)現(xiàn),在專為數(shù)據(jù)分析設(shè)計的倉儲工具中,顛覆過程將加速創(chuàng)新。
在用戶更喜歡云端部署還是本地部署的問題上,各種數(shù)據(jù)源類型之間有很大差異。
就三分之二的上述數(shù)據(jù)源而言,云端部署比本地部署更常見。但雖然Amazon Redshift和Google BigQuery之類的某些數(shù)據(jù)倉庫僅支持云端部署,SQL Server和MySQL等其他數(shù)據(jù)倉庫同時支持云端和本地環(huán)境部署。
部署偏好有怎樣的總體趨勢?
云端部署的連接正在增長。
在2015年1月,云端部署的數(shù)據(jù)源在向Tableau Online發(fā)布的所有連接中占55%。到2016年第一季度,其份額為所有連接的70%。這相當(dāng)于在短短15個月內(nèi),就實現(xiàn)了28%的合計百分比增長。
是什么在推動云端數(shù)據(jù)源連接的增長?
云端部署,無疑可以幫助組織在設(shè)置和維護(hù)基礎(chǔ)結(jié)構(gòu)方面,降低成本和節(jié)省時間。但另外三個趨勢,在進(jìn)一步推動云端數(shù)據(jù)源的使用:
●新公司常?!霸谠贫苏Q生”。這些公司從第一天起就將自己的數(shù)據(jù)基礎(chǔ)結(jié)構(gòu)部署在云端,它們在市場中的占比不大,但卻一直在增加。
●新數(shù)據(jù)源讓高度可擴(kuò)展的環(huán)境不可或缺。最好的例子是物聯(lián)網(wǎng)(IoT),在其中,機(jī)器生成的數(shù)據(jù)不斷地從設(shè)備和傳感器流出。組織常常使用可擴(kuò)展的云基礎(chǔ)結(jié)構(gòu),來捕獲和存儲這些數(shù)據(jù)。企業(yè)管理協(xié)會(一家研究公司)估計IoT記錄當(dāng)前占云端環(huán)境中數(shù)據(jù)總量的33%。另外,在使用IoT數(shù)據(jù)來為業(yè)務(wù)系統(tǒng)提供信息和改進(jìn)業(yè)務(wù)系統(tǒng)的企業(yè)中,這些情況正在變得越來越普遍。
●人們越來越多地使用手機(jī)和平板電腦之類的設(shè)備來完成業(yè)務(wù)任務(wù)。Dresner Advisory Service的“Wisdom of Crowds 2015”市場調(diào)查發(fā)現(xiàn),接近 70%的調(diào)查對象認(rèn)為,移動設(shè)備的支持對于商業(yè)智能計劃而言“重要、非常重要或至關(guān)重要”。云解決方案可以在任何時間和地點實現(xiàn)數(shù)據(jù)訪問,由此為業(yè)務(wù)數(shù)據(jù)的移動訪問提供了基礎(chǔ)。
雖然一些數(shù)據(jù)庫僅支持云端部署,另一些解決方案既可以在本地,也可以在云端環(huán)境部署。企業(yè)怎樣選擇?
在過去兩年中,云端原生數(shù)據(jù)源的連接增加了125%。
2014年初,支持云端使用的數(shù)據(jù)源僅占Tableau Online連接總數(shù)的12%。到2016年3月,其占比為27%。Tableau Online客戶對Amazon Redshift 和Google BigQuery等云端數(shù)據(jù)倉庫的使用,推動了這一增長。
云端部署呈增長態(tài)勢,但混合部署仍占統(tǒng)治地位,最常見的連接類型仍然是“混合”數(shù)據(jù)源。
在2014 年初,既可以部署在本地又可以部署在云端的混合數(shù)據(jù)源占連接總量的73%。2016年3月,其占比為62%。雖然略有下降,混合類型仍然在Tableau Online用戶發(fā)布的所有數(shù)據(jù)源連接中占據(jù)絕大多數(shù)。
混合數(shù)據(jù)源為何如此盛行?許多組織以多種數(shù)據(jù)源為基礎(chǔ)進(jìn)行分析構(gòu)建,其中的一些數(shù)據(jù)源無法部署在云端。例如,為了符合某些類型的財務(wù)和醫(yī)療數(shù)據(jù)在安全性方面的要求,常常需要采用本地存儲方式。在另一些情況下,將業(yè)務(wù)遷移至云端是一個漸進(jìn)的過程,需耗費數(shù)月或數(shù)年時間才能完成。高德納預(yù)測,2016 年的競爭將以這些混合產(chǎn)品的實現(xiàn)為焦點。到2018年,這些產(chǎn)品將成為主流。
業(yè)務(wù)用戶具體選擇部署混合類型中的哪種數(shù)據(jù)庫技術(shù),在哪里部署?
混合數(shù)據(jù)源的重心已移至云端。
2015年1月,Tableau Online客戶的云端環(huán)境混合數(shù)據(jù)源連接與本地環(huán)境混合數(shù)據(jù)源連接一樣多。到2016年第一季度,云端部署的混合數(shù)據(jù)源在連接中的份額略有增加,達(dá)到60%。
《云端數(shù)據(jù)簡報》使用Tableau Online 中混合數(shù)據(jù)源連接的匿名IP 地址,判斷它們是部署在本地還是在云端。這種方法雖有少量誤差,但可以正確確定多數(shù)部署的類型。
高德納預(yù)測,同時包含云端和本地軟件部署的企業(yè)資源規(guī)劃 (ERP) 環(huán)境,最晚將在2018年成為常見環(huán)境。與混合數(shù)據(jù)的總體統(tǒng)治地位一樣,云端部署和本地部署幾乎平分混合數(shù)據(jù)源的現(xiàn)象也表明,雖然市場明顯趨向于云端部署,過渡還遠(yuǎn)未完成。
Tableau Online客戶使用最多的四種混合數(shù)據(jù)源為Microsoft SQL Server、MySQL、PostgreSQL和Oracle。
在這四種類型中,SQL Server和Oracle部署在本地的可能性更大。
平均而言,本地部署的SQL Server比云端部署的SQL Server多出一倍。本地Oracle數(shù)據(jù)源的連接概率是云端Oracle數(shù)據(jù)源的四倍。
SQL Server和Oracle都是云時代到來之前的常見技術(shù)。它們長期以來一直部署在本地,對本地部署的偏向性不足為奇。然而,隨著Microsoft Azure云平臺的增長,Rightscale的《State of the Cloud》發(fā)現(xiàn)Azure的使用量,在2014至2015年增加了一倍。我們可能很快就會看到,該公司的SQL Server更加普遍地采用云端部署。
相比之下,與云端部署的MySQL和PostgreSQL的連接遠(yuǎn)比本地部署連接常見。
平均而言,云端MySQL 的概率幾乎是本地MySQL的六倍。云端部署的PostgreSQL比本地部署的PostgreSQL多四倍。
作為開源技術(shù),MySQL和PostgreSQL在云端的流行很可能都是因為它們兼容所有主要的云端平臺(包括Amazon Web Services、Microsoft Azure和Google Cloud Platform)。Tableau Online客戶對于云端MySQL和PostgreSQL的偏愛,還突出了在云端使用開源數(shù)據(jù)庫技術(shù)的更大行業(yè)趨勢。
未來的數(shù)據(jù)格局
從部署方案到具體的數(shù)據(jù)庫產(chǎn)品,想要捕獲自己的數(shù)據(jù)并從其中提取見解的企業(yè)有眾多選擇。本地、云端,還是混合?Redshift還是SQL Server?選擇最佳的解決方案并不容易。
但盡管選擇眾多,企業(yè)管理協(xié)會 (EMA) 的一項近期調(diào)查發(fā)現(xiàn),企業(yè)對具體技術(shù)的屬性并不是特別關(guān)注。他們關(guān)注的是,特定解決方案的價值實現(xiàn)時間。確實,同一項調(diào)查發(fā)現(xiàn),40%的組織相信他們的數(shù)據(jù)管理系統(tǒng)有助于建立競爭優(yōu)勢。云端托管的軟件,日益被視為創(chuàng)造這種競爭優(yōu)勢的最佳方法。
為了構(gòu)建成功的數(shù)據(jù)戰(zhàn)略,組織需要理解并考慮大數(shù)據(jù)世界正在發(fā)生的變化。高德納等行業(yè)分析機(jī)構(gòu)提出,很快大部分IT費用將會用于“對已經(jīng)長期使用的業(yè)務(wù)應(yīng)用程序進(jìn)行現(xiàn)代化改進(jìn)或擴(kuò)展,或用基于云的應(yīng)用程序?qū)ζ溥M(jìn)行取代。”云端部署的數(shù)據(jù)源在Tableau Online用戶中越來越流行,這表明云技術(shù)的勢頭在大數(shù)據(jù)世界同樣日趨強(qiáng)勁。
三個具體趨勢將影響分析和可視化未來將使用什么樣的數(shù)據(jù):
1. 數(shù)據(jù)重心將向云端偏移。
數(shù)據(jù)重力表示數(shù)據(jù)在服務(wù)和應(yīng)用程序方面的影響。如果您的數(shù)據(jù)存儲在云端,您將很可能希望您的數(shù)據(jù)工具(從處理到分析)也能在云端運(yùn)行。
現(xiàn)在,數(shù)據(jù)重心集中在云端,集中程度在未來會進(jìn)一步增強(qiáng)。構(gòu)建數(shù)據(jù)生態(tài)系統(tǒng)的企業(yè)應(yīng)將工作重心放在云端工作流程上,以確保系統(tǒng)做好應(yīng)對數(shù)據(jù)改變的準(zhǔn)備。
2. 在向云端遷移的過程中,混合數(shù)據(jù)技術(shù)對企業(yè)經(jīng)營至關(guān)重要。
如果只有部分?jǐn)?shù)據(jù)可以遷移至云端,或者你想循序漸進(jìn)地遷移數(shù)據(jù),混合數(shù)據(jù)選項讓你可以靈活地應(yīng)對云端托管和本地環(huán)境之間的矛盾。
高德納最近預(yù)計,到2018年前,這些混合產(chǎn)品與服務(wù)將成為標(biāo)準(zhǔn)。針對正在向云端轉(zhuǎn)移的企業(yè),混合已經(jīng)成為了標(biāo)準(zhǔn)。
3. 數(shù)據(jù)存儲正在迅速地延伸到傳統(tǒng)數(shù)據(jù)庫和數(shù)據(jù)倉庫概念之外。
現(xiàn)在,數(shù)據(jù)來自四面八方,來自萬事萬物。因此,為滿足多種多樣的新數(shù)據(jù)流所帶來的需求,存儲的格局正在擴(kuò)展。
通過Snowflake等“即服務(wù)”產(chǎn)品以及Amazon關(guān)系數(shù)據(jù)庫服務(wù)等可信服務(wù),云端托管數(shù)據(jù)工具對這種擴(kuò)展起到了尤為突出的推動作用。
未來,該格局一定會變得更加稠密。為了從突飛猛進(jìn)的創(chuàng)新中獲益,許多企業(yè)正在致力于構(gòu)建以靈活性和選擇性為最高標(biāo)準(zhǔn)的數(shù)據(jù)流程。
無論數(shù)據(jù)有多大或是來源于多少系統(tǒng),Tableau軟件都能幫助人們查看并理解數(shù)據(jù)。通過從PC到iPad的無縫體驗,快速連接、混合、可視化并分享數(shù)據(jù)儀表板。用戶不需要編程技能,就能創(chuàng)建和發(fā)布帶有自動數(shù)據(jù)更新功能的儀表板,并分享給同事、合作伙伴或客戶。