數(shù)據(jù)如今對企業(yè)來說可謂是頭等大事。使用欺詐檢測來降低財務(wù)風(fēng)險或是建設(shè)推薦系統(tǒng)來改善用戶體驗(yàn),都需要數(shù)據(jù)來為企業(yè)解決這些日益復(fù)雜的問題提供支撐。
既然數(shù)據(jù)已成為企業(yè)的重要元素,那我們這幾年在數(shù)據(jù)這個領(lǐng)域都學(xué)到了什么?市面上有多種不同的軟件模式,包括私有專屬軟件、云端SaaS軟件和開源軟件?,F(xiàn)在開展大數(shù)據(jù)分析項(xiàng)目時,開發(fā)者、架構(gòu)師和數(shù)據(jù)科學(xué)家要在眾多軟件中進(jìn)行選型,某些軟件可能需要昂貴的前期投資或需要投入龐大資源,當(dāng)然也有一些工具恰到好處,既容易部署又為構(gòu)建原型(Prototype)供了廣泛的支持。
尋找合適的工具對提高項(xiàng)目成功率和避免落入常見陷阱來說至關(guān)重要。Elastic工程師曾勇為用戶在大數(shù)據(jù)分析項(xiàng)目中進(jìn)行產(chǎn)品選型提供了以下五點(diǎn)建議:
第一,從簡單的小規(guī)模起步。企業(yè)構(gòu)建數(shù)據(jù)分析項(xiàng)目常見的錯誤往往是貪大求全。特別是如果項(xiàng)目是從上往下推,執(zhí)行團(tuán)隊(duì)很有可能會被要求構(gòu)建一套既沒有明確成效卻又十分復(fù)雜的解決方案,造成項(xiàng)目成本高昂且工期很長。
企業(yè)不如從規(guī)模較小的項(xiàng)目起步,讓決策者很快可以看到成效,提升他們對同類項(xiàng)目的信心。利用現(xiàn)代化開源技術(shù),企業(yè)不但不用做大量的前期投資,更可以讓開發(fā)者迅速投入工作,在幾天或幾周內(nèi)就能構(gòu)建出所需的應(yīng)用程序或是原型。
第二,及早考慮可擴(kuò)展性。即使只是構(gòu)建一個框架,也應(yīng)盡早測試其可擴(kuò)展性。很多項(xiàng)目之所以失敗,全因應(yīng)用程序在構(gòu)建時并沒有測試其擴(kuò)展性,也可能是因?yàn)槠渌x技術(shù)并不是為處理大數(shù)據(jù)而設(shè)計(jì)的。
確保性能測試不是事后的事。先預(yù)計(jì)在這段時間內(nèi)將會產(chǎn)生多少數(shù)據(jù),并進(jìn)行測試和評估,構(gòu)建合適的架構(gòu),同時確保當(dāng)數(shù)據(jù)量增加并需要橫向擴(kuò)展時,也不會影響業(yè)務(wù)。
第三,數(shù)據(jù)的實(shí)時性很重要。我們都經(jīng)歷過應(yīng)用程序或網(wǎng)站沒反應(yīng)或是緩慢的那種痛苦。時至今日,任何不能實(shí)時響應(yīng)的事情我們都不能接受。如果有一個請求沒有被及時處理,用戶可能很快就會因缺乏耐心而離開該網(wǎng)站或程序,從而導(dǎo)致客戶流失和營收下降。
企業(yè)要確保所用的軟件不但能處理大量數(shù)據(jù),還要有能力實(shí)時響應(yīng)這些請求。建議使用具備聚合與地理位置分析功能,且能與實(shí)時搜索相結(jié)合的數(shù)據(jù)分析軟件。
第四,采用靈活的數(shù)據(jù)模式?,F(xiàn)今的系統(tǒng)主要包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。但不要被那些為結(jié)構(gòu)化圖表和數(shù)據(jù)而設(shè)計(jì)的關(guān)系型數(shù)據(jù)庫所限制。這類數(shù)據(jù)庫很難被加上索引,解析、搜索和分析這些日積月累的大量數(shù)據(jù)往往很難。
企業(yè)應(yīng)采用具備通用數(shù)據(jù)結(jié)構(gòu)的軟件。很多用于數(shù)據(jù)分析的軟件包括NoSQL數(shù)據(jù)庫和Elasticsearch等均采用JSON作為數(shù)據(jù)格式,支持文字、數(shù)字、字符串、布爾值、數(shù)組和哈希等結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)類型。
第五,挑選開發(fā)者易于使用的工具?,F(xiàn)今數(shù)據(jù)流量之多讓企業(yè)或開發(fā)者在應(yīng)對大數(shù)據(jù)分析項(xiàng)目時,很難去使用不包含開放API接口的軟件。API接口被用作數(shù)據(jù)錄入、索引和數(shù)據(jù)分析,這些數(shù)據(jù)一般來自不同的數(shù)據(jù)源或是業(yè)務(wù)系統(tǒng)本身的數(shù)據(jù)。
企業(yè)應(yīng)提供給開發(fā)者一套擁有豐富、開放和資料完整的應(yīng)用程序API接口,讓他們更快速有效地解決問題。久而久之,當(dāng)項(xiàng)目壯大時,開發(fā)者亦能不斷創(chuàng)新和改進(jìn)這套應(yīng)用程序。
基于以上五點(diǎn)為大數(shù)據(jù)分析項(xiàng)目挑選最適合的工具,將有助改善項(xiàng)目的價值,并確保企業(yè)已為長遠(yuǎn)的成功做好準(zhǔn)備。很多如華為、聯(lián)想、BBC、高盛集團(tuán)、英國衛(wèi)報等大企業(yè)均已采用這方式,挑選如Elastic Stack這樣的開源軟件來解決其關(guān)鍵項(xiàng)目問題。只要方法正確,企業(yè)所需的數(shù)據(jù)分析其實(shí)可以很迅速、簡單和劃算。