James Kobielus

與幾年前的行業(yè)應(yīng)用相比，今天的大數(shù)據(jù)分析市場已經(jīng)截然不同。未來十年，這一全球性行業(yè)的各個領(lǐng)域都將掀起變革、創(chuàng)新和顛覆的浪潮。

在最近發(fā)布的市場研究年度更新報告中，SiliconAngle媒體分析集團Wikibon發(fā)現(xiàn)，全球大數(shù)據(jù)分析市場2017年比前一年增長了24.5%。這比上一年報告中預(yù)測的要快得多，主要原因是公有云的部署和應(yīng)用比預(yù)期要強，以及平臺、工具和其他解決方案的加速融合。而且，企業(yè)通過大數(shù)據(jù)分析更快地走出試驗和概念驗證階段，并從部署中獲得了更高的業(yè)務(wù)價值。

展望未來，Wikibon預(yù)測到2027年，大數(shù)據(jù)分析市場整體年增長率將達(dá)到11%，全球達(dá)到1030億美元。未來幾年市場的大部分增長是依靠物聯(lián)網(wǎng)（IoT）、移動和其他邊緣計算等應(yīng)用領(lǐng)域采用大數(shù)據(jù)分析來維持的。

未來十年大數(shù)據(jù)分析發(fā)展的主要趨勢

正如Wikibon研究所證實的，未來十年將推動大數(shù)據(jù)分析行業(yè)發(fā)展的主要趨勢如下：

·公有云提供商正在擴大其影響范圍。大數(shù)據(jù)行業(yè)匯聚了三大主要公有云提供商——亞馬遜網(wǎng)絡(luò)服務(wù)、微軟Azure和谷歌云平臺，大多數(shù)軟件供應(yīng)商開發(fā)的解決方案都是在這些平臺上運行的。這些和其他大數(shù)據(jù)公有云提供商，包括IBM和Oracle這些老牌的大數(shù)據(jù)供應(yīng)商，提供托管IaaS和PaaS數(shù)據(jù)湖，鼓勵客戶和合作伙伴在其上開發(fā)新的應(yīng)用程序，并遷移老的應(yīng)用程序。結(jié)果，純數(shù)據(jù)平臺/NoSQL供應(yīng)商似乎變得平淡無奇，在多元化公有云提供商占據(jù)主導(dǎo)地位的大數(shù)據(jù)領(lǐng)域被逐步邊緣化了。

·公有云相對于私有云的優(yōu)勢在繼續(xù)擴大。公有云正在成為每一客戶群首選的大數(shù)據(jù)分析平臺。這是因為公有云解決方案比本地堆棧更為成熟，增加了更豐富的功能，而且在總體擁有成本上更有競爭力。相對于為本地部署所設(shè)計的大數(shù)據(jù)分析解決方案工作環(huán)境，公有云能夠更迅速地擴展其應(yīng)用程序編程接口生態(tài)支持系統(tǒng)，增強其管理工具。

·企業(yè)大數(shù)據(jù)工程在全面部署公有云的過程中，中間會采用混合云作為過渡。很多大型企業(yè)的大數(shù)據(jù)計劃都會考慮混合云，但主要是作為一種過渡策略。這是因為企業(yè)越來越傾向于把更多的大數(shù)據(jù)資產(chǎn)放在公有云上。認(rèn)識到這一趨勢后，傳統(tǒng)的大數(shù)據(jù)供應(yīng)商正在針對混合應(yīng)用情形優(yōu)化其產(chǎn)品。出于同樣的原因，正在重新設(shè)計基于本地的大數(shù)據(jù)平臺以便在公有云中部署。

·基于云的大數(shù)據(jù)孤島融合幫助企業(yè)加速實現(xiàn)時間價值。用戶開始加快將其孤立的大數(shù)據(jù)資產(chǎn)整合到公有云中。公有云提供商成為主流，打破了迄今為止一直困擾企業(yè)私有大數(shù)據(jù)架構(gòu)的跨部門孤島。同樣重要的是，不論基于云的還是基于本地的大數(shù)據(jù)解決方案都正在融合為集成產(chǎn)品和服務(wù)，以降低復(fù)雜度，加速實現(xiàn)時間價值。更多的解決方案提供商正在提供標(biāo)準(zhǔn)化的API，目的是簡化訪問、加速開發(fā)，在其大數(shù)據(jù)解決方案堆棧中實現(xiàn)更全面的管理。

·創(chuàng)新的大數(shù)據(jù)初創(chuàng)公司把越來越復(fù)雜的人工智能應(yīng)用推向了市場。創(chuàng)新的應(yīng)用程序提供商借助于人工智能解決方案，開始顛覆大數(shù)據(jù)競爭格局。對于新進(jìn)入市場的企業(yè)，其大部分創(chuàng)新都是針對公有云或者混合云部署而設(shè)計的，在每一個大數(shù)據(jù)領(lǐng)域都掀起了競爭浪潮。過去幾年中，很多數(shù)據(jù)庫、流處理和數(shù)據(jù)科學(xué)新初創(chuàng)公司進(jìn)入了市場。

·顛覆性的大數(shù)據(jù)方法正在成為既有平臺的可行替代方案。不久之后，融合了物聯(lián)網(wǎng)、區(qū)塊鏈和流計算的下一代技術(shù)領(lǐng)域?qū)⒊霈F(xiàn)新一代的“ 獨角獸”大數(shù)據(jù)平臺提供商。大部分這些下一代大數(shù)據(jù)平臺將針對機器學(xué)習(xí)、深度學(xué)習(xí)和人工智能的管理端到端DevOps流水線進(jìn)行優(yōu)化。而且，大數(shù)據(jù)平臺正在被設(shè)計成用于人工智能微服務(wù)以及邊緣設(shè)備中。

·Hadoop正在成為一個大數(shù)據(jù)難題。我們看到的跡象表明，市場把Hadoop視為一種傳統(tǒng)的大數(shù)據(jù)技術(shù)，而不是顛覆性的業(yè)務(wù)應(yīng)用戰(zhàn)略平臺。然而，Hadoop是一種成熟的技術(shù)，廣泛應(yīng)用于很多用戶IT部門中的非結(jié)構(gòu)化信息提取等關(guān)鍵應(yīng)用情形中，在很多企業(yè)中仍然有很長的使用壽命。從長遠(yuǎn)考慮，供應(yīng)商通過在獨立開發(fā)的硬件和軟件組件之間實現(xiàn)更平滑的互操作性，來增強他們的產(chǎn)品服務(wù)。

·用戶在開放的生態(tài)支持系統(tǒng)中越來越多地混合部署多家供應(yīng)商的大數(shù)據(jù)產(chǎn)品并進(jìn)行匹配。很少有大數(shù)據(jù)供應(yīng)商提供采用了私有、非標(biāo)準(zhǔn)，或者非開源組件的解決方案?？蛻粽卯?dāng)今競爭激烈的市場，借助大數(shù)據(jù)分析供應(yīng)商不斷增強自己。反之，供應(yīng)商則將他們的工具分散到模塊化體系結(jié)構(gòu)中，在這種架構(gòu)中，客戶可以在各種功能級別上交換組件。在鎖定一家全堆棧供應(yīng)商已經(jīng)成為過去的市場上，對于希望持續(xù)獲得市場份額的供應(yīng)商而言，這是最好的方法。

·采用創(chuàng)新方法對數(shù)據(jù)庫進(jìn)行解構(gòu)和重組。從架構(gòu)的觀點來看，我們所熟悉的數(shù)據(jù)庫越來越少了。展望未來，流、內(nèi)存和無服務(wù)器大數(shù)據(jù)分析基礎(chǔ)設(shè)施將占據(jù)絕對主導(dǎo)地位。供應(yīng)商正在探索新的方法來重新構(gòu)建核心數(shù)據(jù)庫功能，以滿足新出現(xiàn)的需求，例如自動機器學(xué)習(xí)流水線和面向邊緣的認(rèn)知物聯(lián)網(wǎng)分析等。在這一演進(jìn)過程中，越來越多的高性能業(yè)務(wù)分析功能被集成到各種類型的數(shù)據(jù)平臺中，導(dǎo)致分析和應(yīng)用數(shù)據(jù)庫開始融合。此外，數(shù)據(jù)庫存儲引擎正在成為主要用于機器數(shù)據(jù)的存儲庫，通過關(guān)鍵值索引和對象模式等可選結(jié)構(gòu)對這些數(shù)據(jù)進(jìn)行尋址。

大數(shù)據(jù)增強型編程會越來越復(fù)雜。開發(fā)人員能夠使用越來越多的不同DevOps工具，自動完成機器學(xué)習(xí)、深度學(xué)習(xí)、人工智能和其他人工智能資產(chǎn)等各種任務(wù)的開發(fā)、部署和管理。越來越多的這些解決方案是利用專門的機器學(xué)習(xí)算法來推動超參數(shù)調(diào)整等機器學(xué)習(xí)開發(fā)功能。

·封裝好的大數(shù)據(jù)分析應(yīng)用程序變得更加普及。在未來十年中，更多的用戶將通過預(yù)構(gòu)建、預(yù)訓(xùn)練和模板化云服務(wù)的形式獲得大數(shù)據(jù)分析解決方案。更多的這些服務(wù)將自動適應(yīng)并調(diào)整它們的嵌入式機器學(xué)習(xí)、深度學(xué)習(xí)和人工智能模型，以不斷交付最佳業(yè)務(wù)成果。更多的這些服務(wù)將結(jié)合經(jīng)過預(yù)先訓(xùn)練的模型，客戶可以對其進(jìn)行調(diào)整和擴展，以滿足自己的具體需求。

大數(shù)據(jù)分析演進(jìn)和部署面臨的障礙

盡管針對大數(shù)據(jù)分析應(yīng)用的預(yù)測看起來很樂觀，但仍然一直有一些問題，這些問題使得用戶很難最大限度地發(fā)揮出這些技術(shù)的投資價值。其中最主要的有：

·過于復(fù)雜。大數(shù)據(jù)分析環(huán)境和應(yīng)用仍然過于復(fù)雜。供應(yīng)商應(yīng)繼續(xù)簡化這些環(huán)境的接口、體系結(jié)構(gòu)、特性和工具。這樣做將使得復(fù)雜的大數(shù)據(jù)分析功能能夠被主流用戶和開發(fā)人員所使用，很多這類人員所在的企業(yè)缺乏具有必要專業(yè)技能的IT員工。

·繁瑣的開銷。對于很多IT專業(yè)人員而言，大數(shù)據(jù)分析管理和治理過程仍然過于孤立，不但成本高而且效率低。供應(yīng)商需要建立經(jīng)過預(yù)封裝的工作流程，幫助大批專業(yè)人才更有效、迅速、準(zhǔn)確地管理數(shù)據(jù)、元數(shù)據(jù)、分析和服務(wù)功能。

·過長的流水線。大數(shù)據(jù)分析應(yīng)用開發(fā)和運營流水線仍然太耗時，而且是由人工完成的。供應(yīng)商需要加強工具的自動化功能，以便提高用戶技術(shù)人員的工作效率，同時確保即使是技術(shù)能力不太高的人員也能處理復(fù)雜的任務(wù)。

·客戶應(yīng)用。大數(shù)據(jù)分析專業(yè)服務(wù)仍然是開發(fā)、部署和管理很多自定義應(yīng)用程序的基礎(chǔ)。對于跨混合云的數(shù)據(jù)驅(qū)動應(yīng)用來說，這一點尤其適用，因為這些應(yīng)用涉及到不同的平臺和工具，并包含了難以理解的復(fù)雜的數(shù)據(jù)過程。供應(yīng)商應(yīng)針對普通大數(shù)據(jù)分析應(yīng)用加強經(jīng)過預(yù)封裝的應(yīng)用內(nèi)容，同時給用戶提供自助服務(wù)和可視化工具，在沒有外部幫助的情況下也能夠完成具體的復(fù)雜業(yè)務(wù)邏輯。

對于企業(yè)IT，Wikibon的主要建議是開始將更多的大數(shù)據(jù)分析開發(fā)工作遷移到公有云環(huán)境中。這將有助于提高利用亞馬遜網(wǎng)絡(luò)服務(wù)、微軟、谷歌、IBM和其他公有云提供商提供的快速成熟、低成本服務(wù)的能力。企業(yè)應(yīng)該考慮構(gòu)建企業(yè)混合云，以確保在未來幾年順利過渡到公有云。

James Kobielus是SiliconAngle Wikibon的人工智能、數(shù)據(jù)科學(xué)以及應(yīng)用開發(fā)首席分析師。

原文網(wǎng)址

https：//www.infoworld.com/article/3261145/big-data/big-data-analytics-the-cloud-fueled-shift-now-under-way.html