陳冰
阿里巴巴公司根據(jù)在淘寶網(wǎng)上中小企業(yè)的交易狀況篩選出財務健康和誠信的企業(yè),從而無需擔保來放貸,目前已放貸300多億元,壞賬率僅0.3%,大大低于商業(yè)銀行。Google把5000萬條美國人最頻繁檢索的詞條和美國疾控中心在2003—2008年間流感傳播期的數(shù)據(jù)進行了比較,在2009年出現(xiàn)甲型H1N1流感爆發(fā)的幾周前,Google就給出了預測。
實際上,你的每一次點擊,每一次評論,每一個視頻點播,都已成為電腦進行記錄和分析的“行為指紋”,所有你潛在的、真實的需求都不再是秘密,也許互聯(lián)網(wǎng)將比你還要了解你。
經(jīng)過大數(shù)據(jù)改造的互聯(lián)網(wǎng)不再是一個冷冰冰的系統(tǒng),而是推動業(yè)務發(fā)展,挖掘客戶內心需求的真正推進劑,大數(shù)據(jù)在滿足需求的同時將催生出更多的新需求。正如哈佛大學社會學教授加里·金所說:“這是一場革命,龐大的數(shù)據(jù)資源使得各個領域開始了量化進程,無論學術界、商界還是政府,所有領域都將開始這種進程。”
毫無疑問,這不是數(shù)字的小時代,而是所有人的大時代!
發(fā)現(xiàn)“上帝粒子”的背后
近年,云計算、云存儲、大數(shù)據(jù)……云服務相關詞匯媒體曝光率驟增,凡是有實力的企業(yè)紛紛布局“云存儲”。IDC的報告顯示,在未來4年內,全球云服務市場規(guī)模將增長到442億美元,其中云存儲的市場比例將從目前的9%增長到14%,其規(guī)模將接近62億美元,存儲市場是增長最快的云計算服務。
2012年7月4日,歐洲核子研究中心(CERN)宣布發(fā)現(xiàn)了“上帝粒子”的存在。在這個讓霍金都賭輸了的激動人心的發(fā)現(xiàn)背后,有無數(shù)科學家多年來孜孜不倦的探索,還有難以想象的海量科研數(shù)據(jù)的分析研究,這些都離不開數(shù)據(jù)存儲系統(tǒng)的支撐。
作為世界上最大的粒子物理研究組織,CERN為滿足高能物理學研究的需要,設立了處理能力很強的大型網(wǎng)格計算中心,協(xié)助實驗數(shù)據(jù)的分析。為此CERN和全球領先的ICT公司合作,組建了具有合作伙伴關系的獨立組織OpenLAB(開放實驗室)。
OpenLAB的任務是推動尖端IT解決方案的發(fā)展,并將其應用在世界范圍內的大型強子對撞機系統(tǒng)中。近年來,持續(xù)快速增長的海量科研數(shù)據(jù)對CERN的存儲系統(tǒng)在可擴展性、可靠性等方面提出了嚴峻的挑戰(zhàn)。對此,成為CERN OpenLAB合作伙伴的華為公司提供了海量云存儲系統(tǒng)(Universal Distributed Storage),與CERN一起探索如何迎接未來EB級數(shù)據(jù)存儲的挑戰(zhàn)(1024個MB是1個GB,1024個GB是1個TB,1024個TB是1個PB,1024個PB是1個EB,1024個EB是1個ZB。舉個例子來說,歐洲物理對撞機每年會產(chǎn)生28PB的數(shù)據(jù)規(guī)模)。
正是因為海量云存儲系統(tǒng)表現(xiàn)出卓越的讀寫性能和極佳的可擴展性,以及智能的自我修復功能,幫助CERN能夠輕松應對未來EB級數(shù)據(jù)量存儲和處理的挑戰(zhàn),對人類探索宇宙起源及未來,提供新的契機。“上帝粒子”被認為是人類了解宇宙的關鍵。物理學家認為“上帝粒子”給予了組成原子的粒子質量。倘若沒有質量,這些粒子將會以光速穿越宇宙,而無法連接在一起形成原子,后者是構成宇宙萬物的基本單位,大至行星小至人類。進一步講,“上帝粒子”的發(fā)現(xiàn)將有助于解釋恒星、行星和人類存在的原因,因此被認為將是現(xiàn)代物理學最重大的發(fā)現(xiàn)之一。
“桌面云”綻放
什么是云計算?
有人認為云計算無所不能,甚至能夠解決全球的饑餓問題。
美國市場研究公司Gartner曾經(jīng)評選出2011年對多數(shù)組織最具戰(zhàn)略意義的十大技術和趨勢,云計算高居榜首。由此可見,云計算將給市場帶來巨大變革,是時代發(fā)展的必然趨勢,而并非一場過眼煙“云”。
云計算的最終目標是將計算、服務和應用作為一種公共設施提供給公眾,使人們能夠像使用水、電、煤氣和電話那樣使用計算機資源。云計算模式即為電廠集中供電模式。在云計算模式下,用戶的計算機會變得十分簡單,不再需要內存、硬盤和各種應用軟件,就可以滿足我們的需求,因為用戶的計算機除了通過瀏覽器給“云”發(fā)送指令和接受數(shù)據(jù)外基本上什么都不用做便可以使用云服務提供商的計算資源、存儲空間和各種應用軟件。這就像連接“顯示器”和“主機”的電線無限長,從而可以把顯示器放在使用者的面前,而主機放在遠到甚至計算機使用者本人也不知道的地方。云計算把連接“顯示器”和“主機”的電線變成了網(wǎng)絡,把“主機”變成云服務提供商的服務器集群。
2013年8月底,記者在上海盲童學校見證了一朵綻放的“桌面云”——這是華為為盲童學校的孩子們專門定制的云計算平臺。所有的終端設備簡化成了一臺顯示器、一個鍵盤和一個鼠標,服務器也不過一臺影碟機大小。學校的盲童孩子只需戴上耳機、在語音軟件的提示下,就能輕松自如地上網(wǎng)、學習、聊天、購物。
最方便的地方還在于每個盲童孩子都擁有一個專屬賬號,通過這個賬號,孩子們可以對自己的桌面進行個性化設置,比方說特大號字體,黑底白字或者白底黑字,設定保存之后,無論是在哪臺電腦、又或者在Pad以及手機上,孩子們只要以這個賬號登錄,都能隨時隨地地享有自己的個性化操作環(huán)境。
如果說以前是人跟著機器跑的話,那么“桌面云”就真正實現(xiàn)了機器跟著人跑。千葉的裸眼視力只有0.01,即便是用Pad,也必須貼到眼皮底下才能看清楚屏幕上的字,為了查找資料,千葉常常弓腰駝背完成蝦米狀,十幾分鐘下來就腰酸背痛,眼睛酸了?,F(xiàn)在登錄“桌面云”,每個字都有半個屏幕那么大,千葉終于可以抬頭挺胸地操作Pad了?!翱傊?,真的是很方便,很方便。”
校園網(wǎng)內的計算機病毒的防控一直是一個十分棘手的問題。尤其在多媒體教室及計算機實驗室。一臺機器中毒,很快就會傳遍所有機器。殺毒軟件授權使用費用對學校來說也是一筆不小的開支,但對病毒仍不能有效地防控。而在華為提供的云平臺上,華為提供商擁有先進技術和專業(yè)團隊來負責這些資源的安全維護工作,師生們只需通過網(wǎng)絡就能訪問自己的數(shù)據(jù)。本地不再存儲任何數(shù)據(jù),因而不用擔心病毒入侵造成的破壞。所以,“云計算在學校的應用既省去了學校在信息安全方面的開支,又確保了學校師生的信息安全”。盲童學??倓臻L胡老師大贊云計算給學校教學管理帶來的巨大變化。
華東師范大學商學院徐鑫教授也有相同的感受。“基于統(tǒng)一的協(xié)作云管理平臺,利用多媒體教室的計算機管理,使得日常教學科研變得更為便捷、高效。而eClass平臺可以支撐遠程互動教學,實現(xiàn)云中教學、互動課堂、在線答疑等;特別值得一提的是統(tǒng)一通信功能。它支持多終端接入,如PC、Pad、智能手機等,并融合了語音、數(shù)據(jù)、視頻等業(yè)務,使華師大商學院實現(xiàn)了即時消息、IP語音、遠程會議、遠程培訓、移動辦公等全方位應用;而在虛擬化的服務器上,也已經(jīng)部署了20余套軟件,既包括各類企業(yè)專用軟件,也包括大量的實訓教學模擬軟件,極大地豐富了實訓教學?!?/p>
云計算平臺對于學生而言,“化被動為主動”探索式學習成為主流,“讓學習無處不在”,“理論走向實際”。對于老師而言,云中教學、云中協(xié)作、在線答疑等正改變著傳統(tǒng)的教學和科研模式,并實現(xiàn)了跨區(qū)域教學、優(yōu)秀教師資源共享,增強了教師間的溝通交流與協(xié)作。
桌面云解決方案除了能夠實現(xiàn)計算、存儲資源的集中共享,云數(shù)據(jù)中心的統(tǒng)一調度管理,還能解決傳統(tǒng)PC帶來的信息安全、辦公效率、運維管理等諸多問題,對政府、企業(yè)具有重大意義。
為了解決研發(fā)辦公信息的安全性問題,提高IT管理維護效率,降低辦公系統(tǒng)能耗,同時對員工的辦公環(huán)境也帶來了顯著改善,華為2009年開始試驗部署桌面云,支持研發(fā)、測試、辦公、會議室等各種場景,2010年在華為上海研究所完成1萬用戶的部署,之后全面推廣到全球機構。華為桌面云是全球最大規(guī)模的的辦公桌面云,目前支持10萬用戶同時使用。
桌面云的實施效果非常驚人。新人入職申領辦公設備從原來的一天/人次,提高到10分鐘/人次,節(jié)省了98%的費用;維護效率從小于100臺/人提高到大于1000臺/人,整整提高了9倍。每臺機器的能耗更是從253瓦下降到66瓦。設備的更換頻率也從原來的3年提高到10年以上,僅此一項就可以一年節(jié)約將近8000萬的費用。
數(shù)據(jù)爆炸
進入2012年,大數(shù)據(jù)(big data)一詞越來越多地被提及,人們用它來描述和定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù),并命名與之相關的技術發(fā)展與創(chuàng)新。正如《紐約時報》2012年2月的一篇專欄文章中所稱,“大數(shù)據(jù)”時代已經(jīng)降臨,在商業(yè)、經(jīng)濟及其他領域中,決策將日益基于數(shù)據(jù)和分析而作出,而并非基于經(jīng)驗和直覺。
Google前雇員創(chuàng)辦Climate公司,從美國氣象局等獲得幾十年的天氣數(shù)據(jù),并與各地的土壤狀況及歷年農(nóng)作物產(chǎn)量關聯(lián),向有需求的農(nóng)場提供明年產(chǎn)量預測,就是一則典型的大數(shù)據(jù)應用案例。正是因為有了足夠大量的天氣數(shù)據(jù)做模型測算,Climate公司底氣十足地表示——如果出現(xiàn)未能預測的惡劣天氣損壞莊稼,將及時賠付農(nóng)戶。
中國工程院鄔賀銓院士指出,2011年全球的數(shù)據(jù)規(guī)模為1.8ZB,信息足以填滿575億個32GB的蘋果iPad,這些iPad可以在中國建起兩座長城。2020年全球數(shù)據(jù)將達到40ZB,如果把這些數(shù)據(jù)全部存入現(xiàn)在的藍光光盤,這些光盤的重量將相當于424艘尼米茲級航母!
每時每刻,企業(yè)內IT系統(tǒng)在產(chǎn)生各式各樣的數(shù)據(jù);分分秒秒,互聯(lián)網(wǎng)上浪涌般的信息將一個個企業(yè)淹沒或推高。面對這些持續(xù)激增的海量數(shù)據(jù)信息,現(xiàn)今大部分企業(yè)所能做的至多是被動地將數(shù)據(jù)短暫存儲,已采用近30年的企業(yè)傳統(tǒng)數(shù)據(jù)處理架構對這些海量信息幾乎無能為力。如何讓這些繁雜無序的數(shù)據(jù)產(chǎn)生價值、而不只是空耗成本?如何讓企業(yè)輕松駕馭這些海量數(shù)據(jù)信息來創(chuàng)新、快速洞悉商機?是現(xiàn)今企業(yè)的迫切需求。
一個流傳甚廣的案例則是美國零售企業(yè)好市多(Costco)接到了一位母親的投訴:“我的女兒才16歲,你們卻向她推銷孕婦類的產(chǎn)品?!?/p>
結果她16歲的女兒確實懷孕了。為什么賣貨的商場,卻能比朝夕相處的母親,更早知道女兒的孕事?原來,發(fā)現(xiàn)自己懷孕之后,16歲的她不敢告訴母親,只能時常在網(wǎng)上瀏覽一些和懷孕相關的網(wǎng)站,搜尋一些孕婦要用的東西。這些瀏覽行為會被當做數(shù)據(jù)記錄下來,Costco的數(shù)據(jù)分析團隊據(jù)此進行了精確的商品促銷定位。
“除了存在那里,大數(shù)據(jù)最終還是要給用戶或數(shù)據(jù)的擁有者帶來價值?!比A為中國區(qū)副總裁胡忠華對記者表示,對于如何從數(shù)據(jù)中發(fā)現(xiàn)價值,業(yè)界有很多技術,其中最主要的是以Hadoop為基礎建立的一整套分析體系。
截至目前,無論是英特爾、IBM、EMC這樣的基礎架構廠商,還是微軟、SAP、甲骨文這樣的應用軟件廠商,都推出了支持Hadoop或者基于Hadoop的產(chǎn)品線,以應對市場對于大數(shù)據(jù)的需求。
據(jù)悉華為將在今年的HCC上正式發(fā)布企業(yè)級大數(shù)據(jù)分析平臺FusionInsight,旨在幫助企業(yè)快速構建海量數(shù)據(jù)信息處理系統(tǒng),通過對企業(yè)內部和外部的巨量信息數(shù)據(jù)實時與非實時的分析挖掘,發(fā)現(xiàn)全新價值點和企業(yè)商機。
華為FusionInsight大數(shù)據(jù)平臺,以雙引擎的處理為核心,包括海量數(shù)據(jù)引擎FusinInsight Hadoop和實時數(shù)據(jù)處理引擎FusionInsight Streaming,并針對金融、運營商等數(shù)據(jù)密集型行業(yè)的運行維護、應用開發(fā)等需求打造了高可靠、高安全、易使用的OM系統(tǒng)和建模中間件,讓企業(yè)可以更快、更準、更穩(wěn)地從各類繁雜無序的海量數(shù)據(jù)中發(fā)現(xiàn)價值。FusionInsight軟件平臺可以運行在標準的x86服務器集群上,也可以運行在提供HDFS接口的集群NAS上,企業(yè)可以根據(jù)自己的需要進行任意搭配。
通過大數(shù)據(jù)分析平臺,我們可以想象,通過遍布各地的電子眼和監(jiān)控攝像頭,警務系統(tǒng)可以基于大數(shù)據(jù)識別一些危險的人或危險的行為,發(fā)現(xiàn)苗頭進行預警。
再如,現(xiàn)在幾乎沒有人可以離開手機,而手機信號的大數(shù)據(jù)使用,未來甚至可以用于控制交通流量,通過車上的GPS和手機,當交通進入擁堵狀態(tài),就通過手機提示你進入某個路段要收費,如果執(zhí)意進入,費用就從手機上直接自動收取了,這就避免了現(xiàn)在在各個路口設卡刷卡所帶來的麻煩。
當然,大數(shù)據(jù)的應用也不都是那么美妙,新浪微博和阿里聯(lián)姻之后,就鬧出一個經(jīng)典促銷的段子——
一個微博網(wǎng)友聽說淘寶上有棺材包郵的信息,就試著搜了一下“棺材”,結果還真有?。∵€是檀木的!接下來見證奇跡的時刻到了,網(wǎng)友在自己的微博上發(fā)現(xiàn)了各種各樣、五花八門的骨灰盒、壽衣、墓地之類的廣告信息,而且一連推送了一個月……
苦不堪言的網(wǎng)友只好@微博小秘書——我錯了!?。?!我之前看微博說淘寶大部分棺材都包郵,我無聊得蛋疼就真的去淘寶看了一下還真的很多都包郵!但是,新浪微博你!用不著一個月來在熱門商品推薦天天給我推薦棺材!壽衣!骨灰盒!好嗎!我不需要!好嗎!我只是無聊搜了搜!給次機會我改錯好嗎?。?!
當然,這樣的烏龍事件應該隨著數(shù)據(jù)應用的深化而逐漸減少。只是我們在享受越來越精準的服務同時會不會感到隱私越來越少了呢?也許在互聯(lián)網(wǎng)上,我們從來都是透明人。
云計算
“云計算”是將所有的計算資源集中起來,并由軟件實現(xiàn)自動管理,無需人為參與。企業(yè)只需要定制相應的服務,由云服務商或云端提供需要的基礎架構、服務、軟硬件資源等。
利用云計算企業(yè)可以節(jié)約成本,不用投資購買昂貴的硬件設備,無需負擔頻繁的維護與升級費用,也不需要建立自己的數(shù)據(jù)中心、大型機房、服務器中心等,并相應減少軟硬件的運行維護費用和IT人員的實施費。此外,云計算可以輕松實現(xiàn)不同設備間的數(shù)據(jù)與應用共享。與傳統(tǒng)的應用平臺相比,云計算平臺的優(yōu)點在于強大的計算能力、存儲能力、多樣化的服務以及高性價比。
目前,云計算的主要服務形式有軟件即服務SaaS(Software as a Service)、平臺即服務PaaS(Platform as a Service)、基礎設施服務IaaS(Infrastructure as a Service)三種形式。
SaaS,服務提供商將應用軟件統(tǒng)一部署在自己的服務器上,用戶根據(jù)需求通過互聯(lián)網(wǎng)向廠商訂購應用軟件服務,服務提供商根據(jù)客戶所訂軟件的數(shù)量、時間的長短等因素收費,并且通過瀏覽器向客戶提供軟件的模式。這種模式下,客戶不再像傳統(tǒng)模式那樣花費大量資金在硬件、軟件、維護人員,只需要支出一定的租賃服務費用,通過互聯(lián)網(wǎng)就可以享受到相應的硬件、軟件和維護服務,這是網(wǎng)絡應用最具效益的營運模式。
PaaS,把開發(fā)環(huán)境作為一種服務來提供。這是一種分布式平臺服務,廠商提供開發(fā)環(huán)境、服務器平臺、硬件資源等服務給客戶,用戶在其平臺基礎上定制開發(fā)自己的應用程序并通過其服務器和互聯(lián)網(wǎng)傳遞給其他客戶。
IaaS,即把廠商的由多臺服務器組成的“云端”基礎設施,作為計量服務提供給客戶。它將內存、I/O設備、存儲和計算能力整合成一個虛擬的資源池為整個業(yè)界提供所需要的存儲資源和虛擬化服務器等服務。這是一種托管型硬件方式,用戶付費使用廠商的硬件設施。