國務院發(fā)展研究中心 李泊溪
大數(shù)據(jù)與生產力
國務院發(fā)展研究中心 李泊溪
大數(shù)據(jù)開啟了新時代,它正在改變我們的思維與生活以及理解世界的方式,成為創(chuàng)新生產和服務的源泉。當我們研究未來我國生產力發(fā)展的時候必須要考慮大數(shù)據(jù)的影響。有專家指出“大數(shù)據(jù)與云計算是一個問題的兩面,一個是問題,一個是解決問題的方法”。因此,要認識大數(shù)據(jù)必須要認識云計算??梢哉f,云計算是大數(shù)據(jù)時代的系統(tǒng)工程。
本文研究了大數(shù)據(jù)的概念和特征,分析了大數(shù)據(jù)云計算的通用技術屬性,論證了大數(shù)據(jù)對生產力的影響、表明了大數(shù)據(jù)促進各行業(yè)生產力發(fā)展的方面,在全面分析的基礎上,提出了我國發(fā)展大數(shù)據(jù)—云計算的思考等幾部分。本文對大數(shù)據(jù)對生產力的影響做了概括的論述。
大數(shù)據(jù);云計算;生產力
大數(shù)據(jù)與云計算是相互密切關聯(lián)的事,又不是一回事,本文所提到的大數(shù)據(jù),往往意味著包含與密切相關的云計算,因為云計算是支撐大數(shù)據(jù)的平臺。
數(shù)據(jù)及其分析處理在現(xiàn)代社會的地位越來越重要,越來越多的政府、企業(yè)等機構開始意識到數(shù)據(jù)正在成為組織最重要的資產,數(shù)據(jù)分析能力正在成為組織的核心競爭力。
在學術界,大數(shù)據(jù)這一概念的提出相對較早。2008年9月,《自然》雜志就推出了名為“大數(shù)據(jù)”(big data)的???。2011年5月,麥肯錫全球研究院發(fā)布了名為《大數(shù)據(jù):創(chuàng)新、競爭和生產力的下一個前沿》(Big data:The next frontier for innovation,competition,and productivity)的研究報告,指出大數(shù)據(jù)將成為企業(yè)的核心資產,對大數(shù)據(jù)的分析將成為競爭的關鍵,并會引發(fā)新一輪生產力的增長與創(chuàng)新,對海量數(shù)據(jù)的有效利用將成為企業(yè)在競爭中取勝的最有力武器。
2012年,聯(lián)合國發(fā)布大數(shù)據(jù)政務白皮書,指出大數(shù)據(jù)對于聯(lián)合國和各國政府來說是一個歷史性的機遇,可以使用極為豐富的數(shù)據(jù)資源,來對社會經濟進行前所未有的實時分析,幫助政府更好地響應社會和經濟運行。在美國,大數(shù)據(jù)上升到了國家競爭的戰(zhàn)略層面。2012年3月29日,奧巴馬政府發(fā)布了《大數(shù)據(jù)研究與發(fā)展計劃倡議》,宣布啟動對大數(shù)據(jù)的研發(fā)計劃。
在IT領域,企業(yè)已經意識到大數(shù)據(jù)是隱藏的金礦,紛紛針對大數(shù)據(jù)領域進行布局。
1.亞馬遜一直非常強調數(shù)據(jù)驅動的管理思想,其早在2009年就推出了亞馬遜彈性Map Reduce的編程模型,用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運算。
2.IBM則提出,上一個十年,他們拋棄了PC,成功轉向了軟件和服務,而這次將遠離服務與咨詢,更多地專注于因大數(shù)據(jù)分析軟件而帶來的全新業(yè)務增長點。
3.EMC公司是信息存儲和管理系統(tǒng)、軟件、服務和解決方案領域世界領先的公司。2011年EMC組建中國研究院。EMC中國研究院下設三個實驗室:大數(shù)據(jù)實驗室、云基礎構建實驗室、云平臺與應用實驗室。
4.2009年以來,已有多起針對大數(shù)據(jù)領域的收購兼并,涉及的企業(yè)包括EMC、IBM、Oracle和HP。
5.在國內,百度和阿里巴巴等企業(yè)已經致力于開發(fā)自己的大數(shù)據(jù)處理和存儲系統(tǒng);騰訊也提出目前已經到了數(shù)據(jù)化運營的黃金時期,如何整合這些數(shù)據(jù)成為未來的關鍵任務。
6.國內的行動——有的地區(qū)超前建立園區(qū)。
大數(shù)據(jù)(big data),或稱巨量資料,指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具,在合理時間內到達獲取、管理、處理、并整理成為幫助企業(yè)經營決策更積極目的的資訊。
根據(jù)維克托·邁爾-舍恩伯格和肯尼斯·庫克耶的《大數(shù)據(jù)時代》,大數(shù)據(jù)指的是人們在大規(guī)模數(shù)據(jù)的基礎上可以做到的事情,這些事情在小規(guī)模數(shù)據(jù)的基礎上是無法完成的。
“大數(shù)據(jù)”的經典定義是可以歸納為4個“V”:海量的數(shù)據(jù)規(guī)模(volume)、快速的數(shù)據(jù)流轉和動態(tài)的數(shù)據(jù)體系(velocity)、多樣的數(shù)據(jù)類型(variety)和巨大的數(shù)據(jù)價值(value)。
《大數(shù)據(jù)時代》的作者認為,大數(shù)據(jù)開啟了重大的時代轉型,它促進了人們思維方式的三個轉變。首先,人們將利用所有的數(shù)據(jù),而不僅僅是依靠一小部分的數(shù)據(jù)(數(shù)據(jù)采樣)。其次,大數(shù)據(jù)通常用概率說話,不再以高昂的代價來追求精確性。最后,大數(shù)據(jù)關注的不是因果關系,而是相關關系。
云計算(cloud computing)是基于互聯(lián)網的相關服務的增加、使用和交付模式,通常涉及通過互聯(lián)網來提供動態(tài)易擴展且經常是虛擬化的資源。云是網絡、互聯(lián)網的一種比喻說法。廣義云計算指服務的交付和使用模式,指通過網絡以按易擴展的方式獲得所需服務。這種服務可以是IT和軟件、互聯(lián)網相關,也可是其他服務。它意味著計算能力也可作為一種商品通過互聯(lián)網進行流通。
Wiki定義:云計算是一種通過Internet以服務的方式提供動態(tài)可伸縮的虛擬化的資源的計算模式。
云計算服務代表一種新的商業(yè)模式,SaaS(軟件即服務)、PaaS(平臺即服務)和laaS(基礎設施即服務),三者都是服務,是這種商業(yè)模式的代表表現(xiàn)形式。
云計算得到企業(yè)的重視。2006年谷歌推出了“Google 101計劃”,并正式提出“云”的概念和理論。隨后亞馬遜、微軟、惠普、雅虎、英特爾、IBM等公司都宣布了自己的“云計劃”。
大數(shù)據(jù)的出現(xiàn),為云計算提供了釋放能量的空間,云計算為大數(shù)據(jù)提供了解決問題的手段。大數(shù)據(jù)的指數(shù)級增長使得數(shù)據(jù)的存儲、管理以及分析具有很高的復雜性,因此大數(shù)據(jù)對云環(huán)境有著很高的依賴,以云計算為基礎的信息儲存、分享和處理手段,可以便宜、有效地對大數(shù)據(jù)進行分析、計算和預測,使決策更為準確。
可以說,大數(shù)據(jù)是隱藏的寶礦,云計算是開礦的工具。沒有大數(shù)據(jù)的云計算,就失去了發(fā)揮作用的舞臺;沒有云計算的大數(shù)據(jù),將成為沒有價值的資料。
大數(shù)據(jù)—云計算是否能全面影響生產力和國民經濟的發(fā)展,關鍵取決于它是否為通用技術,由于大數(shù)據(jù)的應用要通過云計算,因此只要表明云計算是通用技術,那大數(shù)據(jù)—云計算就具有廣泛意義。
云計算能否對整體經濟產生較大的影響,關鍵在于它是否能成為一種通用目的技術。根據(jù)其定義,一項通用的技術至少應包含如下幾個特征:第一個特征是滲透性,應用范圍非常廣闊,最終實現(xiàn)向經濟體多個產業(yè)領域的持續(xù)擴散。第二個特征是發(fā)展性,一項通用目的技術會不斷發(fā)展進步,而且用戶成本將呈現(xiàn)出不斷下降的趨勢。各個應用領域的產出績效得到改善。第三個特征是激發(fā)創(chuàng)新,通用目的技術的應用往往會激發(fā)更多的創(chuàng)新活動,為新產品、新工藝以及相關的組織和制度變革提供土壤。
一方面,它與其他一些專有技術之間存在著很強的互補性,表現(xiàn)出較強的溢出效應,在其自身不斷演變與創(chuàng)新的同時,會促使新的技術和產品不斷涌現(xiàn),從而引發(fā)收益遞增的可能;另一方面,除了技術層面的創(chuàng)新之外,通用目的技術的應用還可能引起生產、流通及組織模式等管理方式的發(fā)展變化,引發(fā)新的商業(yè)模式,改變現(xiàn)有產品或服務的生產流程,實現(xiàn)資源配置效率的進一步優(yōu)化。
基于上述特征,一項通用目的技術的發(fā)展和應用往往會引起全面的生產效率提升,通過在不同領域之間的擴散和深化,最終對整個經濟體產生重要影響,甚至成為新一時期的主要增長引擎。從發(fā)展歷史來看,除了青銅冶煉、印刷術、蒸汽機、電力等技術外,互聯(lián)網和云計算作為信息技術(IT)不同發(fā)展階段的代表,也被認為是典型的通用目的技術。云計算既然被稱為繼計算機和互聯(lián)網之后的信息技術新一代技術革命。有關研究的結論是,云計算完全具備了通用技術的特征,而且影響更廣泛、功能更強大。
當前,大數(shù)據(jù)和云計算在世界各國的應用處于初期階段,可有關專家預計,大數(shù)據(jù)時代已經降臨,在商業(yè)、經濟及其他領域中,決策將日益基于數(shù)據(jù)和分析而做出,而并非基于經驗和直覺。大數(shù)據(jù)時代的來臨對生產力發(fā)展產生了重要影響。
隨著全球化和信息化的發(fā)展,產生了大量的數(shù)據(jù)和信息。這些數(shù)據(jù)、信息的累積增加了數(shù)據(jù)和信息處理的難度與壓力,有可能對社會生產力的發(fā)展形成阻礙作用。大數(shù)據(jù)—云計算解決了這個問題,從而保證了生產力持續(xù)發(fā)展。
第一,大數(shù)據(jù)資源通過讓數(shù)據(jù)更透明、更可用,能夠促進市場供求雙方的信息對稱,避免社會資源的浪費。第二,大數(shù)據(jù)可以提高企業(yè)決策效率和管理水平。企業(yè)利用大數(shù)據(jù),可以做更加復雜的分析,提高決策能力。大數(shù)據(jù)還有利于促進供應鏈管理的發(fā)展,掌握了大數(shù)據(jù)及其分析能力的企業(yè)能夠把握對供應鏈的控制權。第三,大數(shù)據(jù)提升了部門的生產效率。麥肯錫報告研究指出,大數(shù)據(jù)可以在任何一個行業(yè)內創(chuàng)造更多價值,其中零售業(yè)可以利用大數(shù)據(jù)提高60%的運營利潤,如果運用到公共領域,歐洲政府每年可以減少1000億歐元的開支。第四,大數(shù)據(jù)提升促進智慧城市的發(fā)展。智慧城市來源于人的決策,這個決策來自于科學的判斷,而判斷依據(jù)是數(shù)據(jù),所以智慧城市的核心是整個城市積累下來或正在產生的大量數(shù)據(jù)。
利用大數(shù)據(jù),可以發(fā)展有效的預測和決策技術,從而降低決策的失誤率。一些重要的利用大數(shù)據(jù)成功預測和決策的案例包括:
1.源于對大數(shù)據(jù)的重視和對消費行為等非結構化數(shù)據(jù)的分析,沃爾瑪把尿布與啤酒這兩種風馬牛不相及的商品居然擺在一起,這一奇怪的舉措使尿布和啤酒的銷量大幅增加?!捌【婆c尿布”的故事已經成為經典商業(yè)案例。
2.阿里巴巴在對用戶行為分析的基礎上,預言了2008年的金融危機,并采取措施幫助中小制造商準備過冬,為其贏得了不少聲譽。
3.美國國家海洋和大氣管理局(NOAA)每年的IT預算高達10億美元,主要用于大數(shù)據(jù)中心的建設。2011年3月11日,日本大地震發(fā)生后僅9分鐘,NOAA就發(fā)布了詳細的海嘯預警。
隨著大數(shù)據(jù)的發(fā)展,一些新的產業(yè)部門開始出現(xiàn)?!洞髷?shù)據(jù)時代》指出了大數(shù)據(jù)價值鏈上的三類企業(yè)。第一種是基于數(shù)據(jù)本身的公司。這些公司擁有大量數(shù)據(jù)或可以收集到大量數(shù)據(jù),卻不一定從數(shù)據(jù)中提取價值。最好的例子就是Twitter公司。第二種是基于技能的公司。通常是咨詢公司、技術供應商或分析公司,他們掌握的專業(yè)技能,但不一定擁有數(shù)據(jù)。例如沃爾瑪利用Tedadata公司的分析來獲得營銷的策略。第三種是基于思維的公司。這些公司擁有創(chuàng)新性思維,有挖掘數(shù)據(jù)新價值的獨特想法。
大數(shù)據(jù)創(chuàng)造新的產業(yè)部門,促進經濟發(fā)展和就業(yè)增長,提升生產力發(fā)展的水平,擴大市場和就業(yè),特別需要信息分析人才。
規(guī)劃的重要前提是能夠較準地確定未來的發(fā)展趨勢。通過對大數(shù)據(jù)的分析,能夠對分析對象的發(fā)展變化加以較為準確地把握,對其變動的趨勢有較為準確的預測,從而大大提高規(guī)劃的科學性,對政府和企業(yè)的資源配置發(fā)揮正確的引領作用,從而提升資源配置的水平,促進社會生產力的發(fā)展。
大數(shù)據(jù)產生于各行各業(yè),與能源、制造、農業(yè)、旅游、醫(yī)療、公共服務等領域均有密切關系,大數(shù)據(jù)變革也必將影響到各行各業(yè),改進生產函數(shù)的各個方面,促進生產力發(fā)展。
目前,能源領域的大數(shù)據(jù)應用主要有四個方面:
1.促進能源新產品開發(fā)。美國通用公司通過每秒分析上萬個數(shù)據(jù)點,融合能量儲存和先進的預測算法,開發(fā)出能靈活操控120米長葉片的2.5-120型風機,并無縫地將數(shù)據(jù)傳遞給鄰近的風機、服務技術人員和顧客,效率與電力輸出分別比現(xiàn)行風機提高了25%和15%。
2.使能源更“綠色”。其關鍵是利用可再生能源技術,如冰島的Green Earth Data與Green Qloud公司,依靠冰島豐富的地熱與水電資源驅動為數(shù)據(jù)中心提供100%的可再生能源。
3.實現(xiàn)能源管理智能化。能源產業(yè)可以利用大數(shù)據(jù)分析天然氣或其他能源的購買量、預測能源消費、管理能源用戶、提高能源效率、降低能源成本等;大數(shù)據(jù)與電網的融合可組成智能電網,涉及發(fā)電到用戶的整個能源轉換過程和電力輸送鏈。
4.改善城市社會。大數(shù)據(jù)和能源的結合使城市基礎設施、交通、環(huán)境管理越來越智能化,紐約、芝加哥與西雅圖向公眾開放數(shù)據(jù),鼓勵建設多樣化的智能城市。
大數(shù)據(jù)推動工業(yè)創(chuàng)新、競爭和增長,不僅體現(xiàn)3D打印與數(shù)據(jù)的結合,還體現(xiàn)在工業(yè)互聯(lián)網的出現(xiàn)。
1.3D打印+數(shù)據(jù)。3D打印機接收模型的三維圖形數(shù)據(jù),可以互聯(lián)網上設計的立體的東西通過3D打印變成實物。
2.傳感器+大數(shù)據(jù):打造工業(yè)互聯(lián)網(物聯(lián)網)。GE提出打造工業(yè)互聯(lián)網,通過在其產品中增加更多的傳感器來獲取海量數(shù)據(jù),并最終幫助公司提高其機車飛機引擎、核磁共振儀器等設備的能源效率。GE工業(yè)大數(shù)據(jù)云利用大數(shù)據(jù)集推動創(chuàng)新、競爭和增長。
由于在市場經濟條件下,農業(yè)生產很難在全國范圍內形成統(tǒng)一規(guī)劃,致使農業(yè)生產受市場波動影響頗大。大數(shù)據(jù)時代,不僅可以通過建立統(tǒng)一的數(shù)據(jù)平臺,調控農業(yè)生產;還可以記錄分析農產品種植過程中的數(shù)據(jù),通過分析數(shù)據(jù),決定澆水、施肥、光照、溫度等條件,從而提高產量和品質。
大數(shù)據(jù)使得旅游更智慧。
1.大數(shù)據(jù)智慧旅游解決方案。巔峰美景同IBM合作,基于巔峰-IBM存儲與分析平臺,存儲與處理龐大數(shù)據(jù)量、龐雜數(shù)據(jù)類型,獲得“智慧旅游移動應用統(tǒng)一解決方案”。
2.旅游網站應用大數(shù)據(jù)技術。Hopper通過“大數(shù)據(jù)”技術的應用,為游客提供最佳的旅游景點推薦,已經抓取了“超過5億頁旅游數(shù)據(jù)”,價值10億元。社交旅游網站Tripl、酒店整合搜索引擎De-alAngel。
世界衛(wèi)生組織一直倡導“個性化醫(yī)療”。在大數(shù)據(jù)時代,人們會長期監(jiān)測自身健康數(shù)據(jù),“預防”比“治療”變得更重要,而且醫(yī)生會通過分析病人的歷史數(shù)據(jù)給出個性化治療方案。
利用大數(shù)據(jù)的分析方法可以分析人類基因序列,得出基因突變的概率,提前避免疾病的發(fā)生。利用大數(shù)據(jù)技術還可以制定量身打造的健身計劃。
大數(shù)據(jù)時代,只要你上網,使用社交產品,你肯定能找到符合自己的娛樂項目。而你的歷史數(shù)據(jù)會告訴商家有諸如你這樣一類人群的存在,從而開發(fā)針對的娛樂項目。
未來,大數(shù)據(jù)將成為社會基礎設施的一部分,跟公路、自來水、電一樣,不僅成為人們生活不可或缺的一部分,更可以有效協(xié)助提供公共安全服務。
大數(shù)據(jù)云計算從國內外發(fā)展情況和趨勢看,從各界的認識和熱情看,大數(shù)據(jù)—云計算在我國發(fā)展壯大,是不可阻擋的潮流。問題不是要不要發(fā)展的問題,而是怎樣才能健康有效的問題。要認識到我們發(fā)展大數(shù)據(jù)云計算是在起步階段,避免一哄而上,盲目發(fā)展,對可能出現(xiàn)的不良苗頭,要防患于未然。
1.要將大數(shù)據(jù)和云計算統(tǒng)籌考慮,突出其關聯(lián)性、融合性,使問題和解決方案一并考慮,在此基礎上確定發(fā)展規(guī)劃,合理布局,引導各個主體的發(fā)展方向。發(fā)揮政府的統(tǒng)籌和調控能力。從全國范圍來看,要保證數(shù)據(jù)中心有經濟上的合理性。
2.要對國家發(fā)展大數(shù)據(jù)和云計算的工作進行戰(zhàn)略謀劃,用國家戰(zhàn)略引導產業(yè)的發(fā)展方向。明確市場是配置資源的基礎性手段,企業(yè)是發(fā)展的主體,政府起戰(zhàn)略引導作用。
3.政府要營造投資環(huán)境,確定發(fā)展大數(shù)據(jù)云計算的市場規(guī)則,利用企業(yè)在市場中競爭發(fā)展。并告知發(fā)展大數(shù)據(jù)云計算所需的條件,避免不看條件盲目發(fā)展。
4.要加強我國的數(shù)據(jù)管理,使各主體特別是不同參與主體產生的大量數(shù)據(jù)信息能進入相關平臺,創(chuàng)造數(shù)據(jù)應用的條件。這其中既包括擁有大數(shù)據(jù)平臺的互聯(lián)網和電子商務企業(yè),又包括政府部門、科研院所、高等院校、非營利機構等組織擁有大量的尚未得到有效利用的數(shù)據(jù)。這件工作繁瑣而重要。
5.要發(fā)展支撐大數(shù)據(jù)和云計算的基礎設施建設。這是大數(shù)據(jù)應用發(fā)展所必需的基礎。大數(shù)據(jù)的存儲和高效處理需要云計算中心支撐,大數(shù)據(jù)的高速傳輸則需要足夠帶寬的互聯(lián)網通道。這涉及對傳統(tǒng)數(shù)據(jù)中心的改造和利用、新型云計算和處理系統(tǒng)的建設,以及如何盡快建設一個高速、方便接入的互聯(lián)網通道。
6.要對發(fā)展大數(shù)據(jù)和云計算的可能遇到的安全問題,做全面的安排、系統(tǒng)的考慮?!霸瓢踩眴栴}比原有的互聯(lián)網安全問題更復雜,要求更高,這是政府要特別關注的問題。除要進行全面扎實的工作外,特別需要有專門的法律法規(guī)和制度支持。有專家提出,對國家層面的安全問題應采取審慎和自主原則解決,為此要專題研究。
7.大數(shù)據(jù)和云計算對軟件、硬件的發(fā)展提出了很高的要求,我國要發(fā)展大數(shù)據(jù)和云計算,創(chuàng)新軟件和硬件問題,對此要充分的認識,要支持企業(yè)創(chuàng)新又要利用國家力量參與相關創(chuàng)新工作。要支持資助大數(shù)據(jù)—云計算的關鍵技術和軟件的研發(fā),特別是基礎技術。
8.培養(yǎng)大數(shù)據(jù)和云計算的專業(yè)人才。從大數(shù)據(jù)和云計算的發(fā)展及應用的進展看,關鍵的因素是人才,對我國而言尤為重要,人才匱乏才是最突出的問題。要通過教育培養(yǎng)、引進等,多渠道促進人才的生長,是當務之急。
對大數(shù)據(jù)的看法,在國內外其實存在兩種不同的觀點,一種認為大數(shù)據(jù)時代已經到來,它影響生產、生活乃至思維方式的改變;另一種意見不看好大數(shù)據(jù),因為太復雜,數(shù)據(jù)收集難度大,垃圾數(shù)據(jù)不好處理,風險大難防范等。本文是研究第一種情況撰寫的,第二種情況要另行研究。在實現(xiàn)中,大數(shù)據(jù)為人們提供了另一種選擇,可能大數(shù)據(jù)與現(xiàn)有的一些做法同時存在一段時間,隨著發(fā)展情況會進一步明朗。除這一段外,本文包括結束語,都是按第一種意見撰寫的。對大數(shù)據(jù)深入認識利用,才可能進一步認識它和把握它。
大數(shù)據(jù)—云計算蘊含著巨大的潛在經濟價值,它正在開啟一個時代,而且勢不可擋。站在戰(zhàn)略高度、全面謀劃、積極、有序、高效、務實發(fā)展大數(shù)據(jù)—云計算是正確的選擇。大數(shù)據(jù)—云計算對生產力的發(fā)展有深刻、實質而突破性的影響。我們要抓住這個機會,提高我國生產力的發(fā)展水平、創(chuàng)新能力、資源配置效率,提升我國產業(yè)在全球的競爭力,幫助每個企業(yè)在持續(xù)發(fā)展中取得成功。
人們或許考慮在一個可能將數(shù)據(jù)作為最強競爭力的社會里,將會有怎樣的硝煙,我們要如何面對一個連我們自身都成為數(shù)據(jù)一部分的社會,將把人類的命運帶向何處。
我們要適應大數(shù)據(jù)—云計算時代的到來,為此,轉變觀念、深化思維、提升戰(zhàn)略。讓我們做好準備,張開雙臂,一起迎接大數(shù)據(jù)時代的到來,和這個時代一起取得新成功。
F061.1
A
2095-3151(2014)10-0014-07