認(rèn)清大數(shù)據(jù)

“當(dāng)前對于大數(shù)據(jù)最明顯的認(rèn)識誤區(qū)是把大數(shù)據(jù)和Hadoop MapReduce劃等號，和互聯(lián)網(wǎng)UGC（用戶生成內(nèi)容）畫等號?！?/p>

《計(jì)算機(jī)世界》：“大數(shù)據(jù)”是當(dāng)前最流行的概念，應(yīng)該怎樣理解這個(gè)概念？

潘越：大數(shù)據(jù)原來只是技術(shù)領(lǐng)域里的概念，后來逐漸發(fā)展到與產(chǎn)業(yè)和商業(yè)緊密相關(guān)，這導(dǎo)致圍繞著大數(shù)據(jù)的很多觀念和做法都發(fā)生了轉(zhuǎn)變。過去人們更強(qiáng)調(diào)數(shù)據(jù)本身的價(jià)值，只保存“有用的”數(shù)據(jù)，然后對此做出分析就可以了。但是隨著數(shù)據(jù)管理和數(shù)據(jù)分析技術(shù)的進(jìn)步，現(xiàn)在已經(jīng)可以處理更大規(guī)模的數(shù)據(jù)，所以此時(shí)就需要考慮數(shù)據(jù)分析服務(wù)的個(gè)性化問題，人們對于數(shù)據(jù)應(yīng)用的理念也開始發(fā)生轉(zhuǎn)變。現(xiàn)在的大數(shù)據(jù)服務(wù)商可以先把各種各樣的數(shù)據(jù)保存下來，包括那些原來被認(rèn)為是“沒有用”的數(shù)據(jù)，然后進(jìn)行有針對性的分析和實(shí)現(xiàn)按需交付，從而給客戶帶來快捷和更細(xì)化的服務(wù)，推動商業(yè)的進(jìn)步。

《計(jì)算機(jī)世界》：大數(shù)據(jù)應(yīng)用就是保存所有的數(shù)據(jù)、分析所有的數(shù)據(jù)？

《潘越》：把數(shù)據(jù)盡可能地保存并不是說把數(shù)據(jù)像堆雜物一樣地儲存，而是需要對數(shù)據(jù)進(jìn)行組織和管理，IBM稱之為數(shù)據(jù)治理，意思就是把數(shù)據(jù)當(dāng)做資產(chǎn)來看待。資產(chǎn)肯定包括不同的類型，數(shù)據(jù)也一樣。

對一個(gè)企業(yè)來說，它的主數(shù)據(jù)就是核心資產(chǎn)，其中可能包括客戶信息、產(chǎn)品信息、供應(yīng)商信息等。核心資產(chǎn)非常重要，也經(jīng)常要被使用，所以必須保證其在安全和高效的環(huán)境下得到利用和保護(hù)；還有一類數(shù)據(jù)關(guān)系到企業(yè)的業(yè)績水平，它將決定企業(yè)的運(yùn)營做得好還是不好，體現(xiàn)出的是績效管理的結(jié)果，這部分?jǐn)?shù)據(jù)由數(shù)據(jù)倉庫支持；第三類則是關(guān)系到企業(yè)未來的數(shù)據(jù)，它們的價(jià)值在于“潛力”，比如原始單據(jù)就是這類數(shù)據(jù)，企業(yè)有可能從中挖掘出新價(jià)值，讓自己的業(yè)務(wù)做得更好、更有前景，它們是“內(nèi)容管理”的對象；此外還有一類“很快的數(shù)據(jù)”，它們是需要迅速得出處理結(jié)果的數(shù)據(jù)。比如一個(gè)客戶來了，企業(yè)馬上就要分析出該客戶的興趣點(diǎn)是什么、與其他客戶有何關(guān)聯(lián)關(guān)系等，以便及時(shí)做出最有效的應(yīng)對。這種數(shù)據(jù)的形態(tài)與前幾種都不同，它們需要以流數(shù)據(jù)的方式進(jìn)行處理。

需要指出的是，每一類數(shù)據(jù)都有一個(gè)生命周期，都有一個(gè)從獲取、管理、應(yīng)用，到用于決策支持的過程。

《計(jì)算機(jī)世界》：大數(shù)據(jù)應(yīng)用發(fā)展到理想狀態(tài)，企業(yè)就可以精準(zhǔn)預(yù)測客戶需求，提前解決供應(yīng)問題嗎？人們對大數(shù)據(jù)的認(rèn)識是否有誤區(qū)？

潘越：1974年的諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)得主哈耶克，他發(fā)表的獲獎(jiǎng)演說題為《知識的偽裝》，其中說到：“隨著科學(xué)知識的增加，我們高估了自己理解構(gòu)成世界的微妙變化能力，也高估了我們對每個(gè)變化的重要性做出判斷的能力。”所以，無所不知只是人的錯(cuò)覺?，F(xiàn)在很多研究者制作出一些精確的數(shù)學(xué)模型，認(rèn)為這就是因果模型，但其實(shí)它們是關(guān)聯(lián)模型。同樣，大數(shù)據(jù)本身也不能幫你得出因果關(guān)系，而只能顯現(xiàn)關(guān)聯(lián)關(guān)系。

當(dāng)前對于大數(shù)據(jù)最明顯的認(rèn)識誤區(qū)是把大數(shù)據(jù)和Hadoop MapReduce畫等號，和互聯(lián)網(wǎng)UGC畫等號。其實(shí)MapReduce只對處理大數(shù)據(jù)中的一類數(shù)據(jù)有效，而且只是一種處理方法?；ヂ?lián)網(wǎng)UGC也只是大數(shù)據(jù)分類中的一部分，許多行業(yè)都有待挖掘的大數(shù)據(jù)資源，包括傳統(tǒng)零售行業(yè)、醫(yī)療行業(yè)、政府信息等。

數(shù)據(jù)就是資產(chǎn)

“各行各業(yè)都有大規(guī)模的數(shù)據(jù)資源，只不過因?yàn)榉N種原因，很多沒有開放，只要有合理的機(jī)制解決開放問題，讓數(shù)據(jù)能在被充分保護(hù)的基礎(chǔ)上加以利用，就能發(fā)掘出很多大數(shù)據(jù)的應(yīng)用機(jī)會。”

《計(jì)算機(jī)世界》：大數(shù)據(jù)時(shí)代，IBM追尋怎樣的目標(biāo)？

潘越：IBM總的原則就是：為客戶創(chuàng)造價(jià)值。在大數(shù)據(jù)方面，IBM所做的是幫助客戶確認(rèn)數(shù)據(jù)資產(chǎn)，對數(shù)據(jù)資產(chǎn)進(jìn)行有效管理和有效利用，讓數(shù)據(jù)資源長久為客戶服務(wù)，這是我們的基本原則。短時(shí)期內(nèi)，IBM的目標(biāo)是通過自己的技術(shù)、產(chǎn)品和服務(wù)，幫助客戶管好、用好數(shù)據(jù)資源。而在將來，IBM一方面希望更深層次地利用現(xiàn)有或者可能產(chǎn)生的數(shù)據(jù)，進(jìn)一步挖掘數(shù)據(jù)的價(jià)值；另一方面，IBM認(rèn)為數(shù)據(jù)既然是資產(chǎn)，就可以進(jìn)行交易，未來是否可以把數(shù)據(jù)資產(chǎn)定價(jià)，像別的資產(chǎn)一樣自由交易，又該怎樣進(jìn)行交易，這個(gè)問題IBM正在研究。

《計(jì)算機(jī)世界》：當(dāng)前在行業(yè)應(yīng)用方面，IBM的大數(shù)據(jù)能力體現(xiàn)在哪里？

潘越：目前零售行業(yè)是大數(shù)據(jù)應(yīng)用非?；钴S的領(lǐng)域，在中國，IBM跟王府井百貨和蘇寧都有合作，用大數(shù)據(jù)技術(shù)和服務(wù)幫助這些傳統(tǒng)零售商在向電商形態(tài)轉(zhuǎn)變。事實(shí)上，傳統(tǒng)的零售商也有自己的優(yōu)勢，比如它的物流系統(tǒng)要比第三方更穩(wěn)定可靠，所以在電商領(lǐng)域他們有自己的后發(fā)優(yōu)勢，當(dāng)這種優(yōu)勢與大數(shù)據(jù)技術(shù)得到良好結(jié)合，他們的電商之路一定會順暢很多。另外，醫(yī)療行業(yè)也是大數(shù)據(jù)應(yīng)用的重要行業(yè)，超級電腦Watson就在朝這個(gè)方向努力。

Watson是一個(gè)問答系統(tǒng)，可以根據(jù)病人的病歷、分析文獻(xiàn)和其他醫(yī)生的意見，給出一個(gè)診斷決策。目前Watson在醫(yī)療領(lǐng)域已經(jīng)有應(yīng)用案例，比如IBM和美國最大的保險(xiǎn)公司W(wǎng)ellPoint就在進(jìn)行相關(guān)合作。更重要的是，IBM將Watson與大數(shù)據(jù)結(jié)合在一起，還在于探索解決非結(jié)構(gòu)化數(shù)據(jù)的處理問題，尤其是多媒體數(shù)據(jù)，包括圖像、視頻等等。比如醫(yī)學(xué)影像通常需要專業(yè)的醫(yī)生去解讀，而IBM現(xiàn)在試圖讓W(xué)atson也去完成這類解讀，這是一個(gè)很大的挑戰(zhàn)，但是如果能夠探索出解決辦法，無疑將對醫(yī)療行業(yè)的發(fā)展帶來巨大推動力。

《計(jì)算機(jī)世界》：用戶生成內(nèi)容是大數(shù)據(jù)的重要來源，這是否意味著互聯(lián)網(wǎng)企業(yè)在大數(shù)據(jù)時(shí)代的話語權(quán)最大？

潘越：短期來講互聯(lián)網(wǎng)企業(yè)很有優(yōu)勢，因?yàn)樗麄兗仁菙?shù)據(jù)的生產(chǎn)者，也是數(shù)據(jù)的利用者，他們可以很方便地把數(shù)據(jù)用于改善用戶體驗(yàn)，由此便獲得了先天的話語權(quán)。但從長遠(yuǎn)來看，大數(shù)據(jù)的應(yīng)用遠(yuǎn)遠(yuǎn)不限于互聯(lián)網(wǎng)，就好像采礦，最初都會挖一些容易探到的礦產(chǎn)，生產(chǎn)出來的產(chǎn)品也都比較初級，然而當(dāng)行業(yè)發(fā)展成熟，下游產(chǎn)品越來越豐富，后續(xù)的探索會更加有價(jià)值。比如石油資源可以支持化工行業(yè)，化工業(yè)的價(jià)值要比初級的煉油高得多。所以，數(shù)據(jù)的后續(xù)深挖能力，也將決定大數(shù)據(jù)領(lǐng)域企業(yè)的份量。另外，當(dāng)把淺層的礦產(chǎn)挖完后，就需要具備更強(qiáng)的探礦能力，把用戶生成數(shù)據(jù)理順以后，對于其他類型的數(shù)據(jù)是否具備處理能力會顯得更加重要。其實(shí)，各行各業(yè)都有大規(guī)模的數(shù)據(jù)資源，只不過因?yàn)榉N種原因，很多沒有開放，只要有合理的機(jī)制解決開放問題，讓數(shù)據(jù)能在被充分保護(hù)的基礎(chǔ)上加以利用，就能發(fā)掘出很多大數(shù)據(jù)的應(yīng)用機(jī)會。所以在將來，一定不是非互聯(lián)網(wǎng)企業(yè)就沒有掌控大數(shù)據(jù)產(chǎn)業(yè)話語權(quán)的機(jī)會。

《計(jì)算機(jī)世界》：IBM認(rèn)為大數(shù)據(jù)和目前正在不斷推進(jìn)的認(rèn)知計(jì)算的交匯點(diǎn)在哪里？認(rèn)知計(jì)算將會是最理想的大數(shù)據(jù)計(jì)算方式嗎？

潘越：認(rèn)知計(jì)算，從狹義來講，是計(jì)算機(jī)和心理學(xué)以及神經(jīng)生物學(xué)交叉的研究領(lǐng)域?，F(xiàn)在相關(guān)概念被擴(kuò)大化了，能跟人有自然接口的、可以學(xué)習(xí)的系統(tǒng)，都被稱為認(rèn)知計(jì)算。最近認(rèn)知計(jì)算領(lǐng)域進(jìn)展比較快，有兩個(gè)原因：一是因?yàn)橛布夹g(shù)的進(jìn)步，現(xiàn)在已經(jīng)能夠更大規(guī)模地建立神經(jīng)網(wǎng)絡(luò)，IBM有一個(gè)項(xiàng)目就是在研究利用立體的集成電路去搭建一個(gè)高密度的神經(jīng)網(wǎng)絡(luò)，現(xiàn)在能做到類貓腦的程度，最終的目標(biāo)是構(gòu)建一個(gè)達(dá)到人腦級別的神經(jīng)網(wǎng)絡(luò)；第二，當(dāng)前計(jì)算領(lǐng)域，算法方面有很大的提高。在認(rèn)知計(jì)算領(lǐng)域，越是基本的概念機(jī)器越難學(xué)會表達(dá)，以前這是計(jì)算方面的難點(diǎn)，而現(xiàn)在這一塊有了突破。

不過目前，認(rèn)知計(jì)算和大數(shù)據(jù)還是各做各的，沒有完全融合，未來如果兩者能很好地結(jié)合，將帶來無限可能。事實(shí)上，認(rèn)知計(jì)算屬于人工智能范疇，而人工智能一直是IBM特別關(guān)注的領(lǐng)域，因此把認(rèn)知計(jì)算和大數(shù)據(jù)應(yīng)用的能力協(xié)調(diào)發(fā)揮，也是IBM的努力方向。W