廣東省廣州工商學(xué)院軟件專業(yè) 梁光華

一、引言

隨著網(wǎng)絡(luò)信息化的日益普遍，移動互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)拓展了在互聯(lián)網(wǎng)的應(yīng)用領(lǐng)域，大數(shù)據(jù)是由人類日益普及的網(wǎng)絡(luò)行為所伴生，它吸引了越來越多人。

美國互聯(lián)網(wǎng)數(shù)據(jù)中心指出，互聯(lián)網(wǎng)上的數(shù)據(jù)每年增長50%，每兩年便將翻一番，而近幾年世界上產(chǎn)生了90%以上的數(shù)據(jù)。它包含有工業(yè)設(shè)備、汽車、電表上有著無數(shù)的數(shù)碼傳感器，隨時測量和傳遞著有關(guān)位置、運(yùn)動、震動、溫度乃至空氣中化學(xué)物質(zhì)變化產(chǎn)生了海量的數(shù)據(jù)。

在這大數(shù)據(jù)的熱潮中，微軟公司生產(chǎn)了數(shù)據(jù)驅(qū)動的軟件，通過跟蹤取暖器、空調(diào)、風(fēng)扇以及燈光等積累下的大量數(shù)據(jù)，捕捉如何杜絕能源浪費(fèi)。這一款軟件可以為世界節(jié)約40%能源。

據(jù)美國《紐約時報》報道，奧巴馬政府將繪制完整的人腦活動圖，全面解開人類大腦的思考、儲存和檢索記憶等思維密碼作為美國科技發(fā)展的重點(diǎn)，美國科學(xué)家已經(jīng)成功繪制出鼠腦的三維圖譜。2012年，美國IBM計算機(jī)專家用運(yùn)算速度最快的96臺計算機(jī)，制造了世界上第一個“人造大腦”，電腦精確模擬大腦不再是癡人說夢。

二、大數(shù)據(jù)在國內(nèi)外發(fā)展現(xiàn)狀

大數(shù)據(jù)的火爆，也帶動了國內(nèi)學(xué)術(shù)界、產(chǎn)業(yè)界和政府對大數(shù)據(jù)的關(guān)注。2011年以來，科技部的《中國云科技發(fā)展“十二五”專項(xiàng)規(guī)劃》和工信部的《物聯(lián)網(wǎng)“十二五”發(fā)展規(guī)劃》等都把大數(shù)據(jù)技術(shù)作為一項(xiàng)重點(diǎn)予以支持。

應(yīng)用方面，中國三大通信運(yùn)營商都在結(jié)合自身業(yè)務(wù)情況，積極推進(jìn)大數(shù)據(jù)應(yīng)用工作，并取得了較好的進(jìn)展。電子商務(wù)企業(yè)阿里巴巴提出要做中國數(shù)據(jù)分析第一平臺，通過掌握的企業(yè)交易數(shù)據(jù)，借助大數(shù)據(jù)技術(shù)自動分析判定是否給予企業(yè)貸款，全程不出現(xiàn)人工干預(yù)。目前阿里巴巴已經(jīng)放貸300多億元，壞賬率約0.3%左右，大大低于商業(yè)銀行。

2009年，聯(lián)合國啟動“全球脈動計劃”，借大數(shù)據(jù)推動落后地區(qū)發(fā)展。美國從開放政府?dāng)?shù)據(jù)、開展關(guān)鍵技術(shù)研究和推動大數(shù)據(jù)應(yīng)用三方面布局大數(shù)據(jù)產(chǎn)業(yè)。美國通過Data.gov開放37萬個數(shù)據(jù)集，并開放網(wǎng)站的API和源代碼，提供上千個數(shù)據(jù)應(yīng)用。除了推動本國政府?dāng)?shù)據(jù)開放，美國倡導(dǎo)發(fā)起全球開放政府?dāng)?shù)據(jù)運(yùn)動，已有41個國家響應(yīng)。

快速發(fā)展的大數(shù)據(jù)成為IT領(lǐng)域的又一大新興產(chǎn)業(yè)。據(jù)中央財經(jīng)大學(xué)中國經(jīng)濟(jì)管理研究院博士張永力估算，國外大數(shù)據(jù)行業(yè)約有1000億美元的市場，而且每年都以10%的速度在增長，增速是軟件行業(yè)的兩倍。我國2012年大數(shù)據(jù)市場規(guī)模大約4.7億元，2013年增速將達(dá)到138%，達(dá)到11.2億元，產(chǎn)業(yè)發(fā)展?jié)摿Ψ浅＞薮蟆?/p>

三、大數(shù)據(jù)的分析

（一）大數(shù)據(jù)的特性

1.數(shù)據(jù)量巨大

數(shù)據(jù)量巨大的表現(xiàn)之一是，它的容量的起步單位單位以TB、PB級別計量數(shù)據(jù)，而ZB、EB單位也越來越多出現(xiàn)。

2.數(shù)據(jù)處理速度快

大數(shù)據(jù)類型多、數(shù)量巨大，處理相對困難，但因大數(shù)據(jù)與決策緊密相關(guān)，所以對大數(shù)據(jù)的處理要求是以“1秒”為目標(biāo)的實(shí)時處理成為重要特征。

3.數(shù)據(jù)價值密度高或低

待分析處理的大數(shù)據(jù)整體價值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。但對于由大數(shù)據(jù)分析處理的結(jié)果而言，其數(shù)據(jù)價值密度相當(dāng)高。

（二）大數(shù)據(jù)技術(shù)

是指以通過傳感器數(shù)據(jù)、射頻數(shù)據(jù)、網(wǎng)絡(luò)交互數(shù)據(jù)等方式獲得的各類結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的海量數(shù)據(jù)經(jīng)過專業(yè)技術(shù)處理獲得的有價值的信息技術(shù)。解決大數(shù)據(jù)問題的核心就是大數(shù)據(jù)技術(shù)。

處理大數(shù)據(jù)主要有8種技術(shù)：數(shù)據(jù)采集，數(shù)據(jù)存取，基礎(chǔ)架構(gòu)，數(shù)據(jù)處理，統(tǒng)計分析，數(shù)據(jù)挖掘，模型預(yù)測，結(jié)果呈現(xiàn)等。

（三）大數(shù)據(jù)的處理流程概括為四步

1.采集

大數(shù)據(jù)的采集是利用多個數(shù)據(jù)庫來收發(fā)自客戶端的數(shù)據(jù)，用戶能查詢和處理這些數(shù)據(jù)庫中的數(shù)據(jù)。

2.導(dǎo)入/預(yù)處理

首先將這些來自前端的巨量數(shù)據(jù)導(dǎo)入到一個集中的大型分布式數(shù)據(jù)庫中或分布式存儲集群中，并且在導(dǎo)入的基礎(chǔ)上做一些簡單的清洗和預(yù)處理工作。

3.統(tǒng)計分析

統(tǒng)計與分析主要利用分布式數(shù)據(jù)庫或分布式計算集群的海量數(shù)據(jù)進(jìn)行分析和分類匯總等，來滿足分析需求。

4.挖掘

挖掘就是從大量的、不完全的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中提取隱含在其中的、但又是有用信息過程。

四、高校在大數(shù)據(jù)時代的任務(wù)

大數(shù)據(jù)技術(shù)已經(jīng)滲透到每一個行業(yè)和各個領(lǐng)域使越來越多人意識到它的重要性。大數(shù)據(jù)的影響將推出一批新的崗位，如數(shù)據(jù)算法工程師、數(shù)據(jù)管理專家、數(shù)據(jù)分析師等。每個崗位都需要專業(yè)人員，因此，必須培養(yǎng)和造就一支掌握大數(shù)據(jù)技術(shù)、有大數(shù)據(jù)應(yīng)用經(jīng)驗(yàn)的專業(yè)隊(duì)伍。

據(jù)蓋特納咨詢公司預(yù)測大數(shù)據(jù)將為全球帶來440萬個IT新崗位和上千萬個非IT崗位。麥肯錫公司預(yù)測美國到2018年需要深度數(shù)據(jù)分析人才44萬—49萬，缺口14萬—19萬人；需要既熟悉本單位需求又了解大數(shù)據(jù)技術(shù)與應(yīng)用的管理者150萬，這方面的人才缺口更大。

由于市場的強(qiáng)烈需求，作為人才培養(yǎng)的重要場所高校肩負(fù)著培養(yǎng)具有大數(shù)據(jù)建設(shè)專業(yè)人才的重大使命。

中國是人才大國，但能理解與應(yīng)用大數(shù)據(jù)的創(chuàng)新人才資源是非常稀缺。而由于強(qiáng)烈的市場需求，高校也將逐步開設(shè)大數(shù)據(jù)相關(guān)的專業(yè)。

五、總結(jié)

洶涌澎湃的大數(shù)據(jù)浪潮的到來與互聯(lián)網(wǎng)的發(fā)明一樣，它不僅僅是信息技術(shù)領(lǐng)域的革命，更是在全球范圍加速企業(yè)創(chuàng)新、引領(lǐng)社會變革的銳利武器?！按髷?shù)據(jù)之大”，并不僅僅在于“容量之大”，更大的意義在于通過對數(shù)據(jù)的整合、分析和交換，來發(fā)現(xiàn)新的知識，創(chuàng)造出新價值，帶來“大利潤”和“大發(fā)展”。

在大數(shù)據(jù)時代，獲取并挖掘有價值的信息就意味著巨大的投資回報?！按髷?shù)據(jù)”能夠提高政府各部門間協(xié)同辦公能力，提高為民辦事的效率，大幅降低政府管理的成本，最重要的是能為政府決策提供有力的支撐，源源不斷的“數(shù)據(jù)智慧”將推動政府管理的整體水平。

“大數(shù)據(jù)”能夠提升城市智能水平，讓居民享受智慧生活。

大數(shù)據(jù)的發(fā)展前景是美好的，但數(shù)據(jù)是否有好的處理能力和技術(shù)，如何獲得大量數(shù)據(jù)，培養(yǎng)精通“大數(shù)據(jù)”的專業(yè)人才是當(dāng)今最重要的。

大數(shù)據(jù)的到來已在各行業(yè)掀起了變革的巨浪，促使人們對數(shù)據(jù)搜集能力、傳輸能力、存儲能力和處理分析能力要快速提高，未來十年將是一個“大數(shù)據(jù)技術(shù)”引領(lǐng)的智慧科技時代。