余濤

摘 要：大數(shù)據(jù)本身并不是一種新技術(shù)，也不是一種新的產(chǎn)品，而是這個時代出現(xiàn)的一種現(xiàn)象，是近年來研究的新技術(shù)熱點。以互聯(lián)網(wǎng)企業(yè)為主的信息通信企業(yè)是大數(shù)據(jù)應(yīng)用的領(lǐng)先企業(yè)，它們具有較好的信息化能力并擁有數(shù)據(jù)優(yōu)勢，進而可以從技術(shù)能力、組織架構(gòu)、業(yè)務(wù)應(yīng)用等多個層面共同發(fā)展大數(shù)據(jù)。

關(guān)鍵詞：大數(shù)據(jù);信息通信;應(yīng)用現(xiàn)狀;協(xié)調(diào)發(fā)展

1、定義

大數(shù)據(jù)處理流程主要包括數(shù)據(jù)收集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲、數(shù)據(jù)處理與分析、數(shù)據(jù)展示、數(shù)據(jù)可視化和數(shù)據(jù)應(yīng)用等環(huán)節(jié)，其中數(shù)據(jù)質(zhì)量貫穿于整個大數(shù)據(jù)流程，每一個數(shù)據(jù)處理環(huán)節(jié)都會對大數(shù)據(jù)質(zhì)量產(chǎn)生影響作用。通常，一個好的大數(shù)據(jù)產(chǎn)品要有大量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)處理、精確的數(shù)據(jù)分析與預(yù)測、優(yōu)秀的可視化圖表以及簡練易懂的結(jié)果解釋。

2、大數(shù)據(jù)的技術(shù)

技術(shù)是大數(shù)據(jù)價值體現(xiàn)的手段和前進的基石。我將分別從云計算、分布式處理技術(shù)和存儲技術(shù)的發(fā)展來說明大數(shù)據(jù)從采集、處理、存儲到形成結(jié)果的整個過程。

2.1云技術(shù)

大數(shù)據(jù)常和云計算聯(lián)系到一起，因為實時的大型數(shù)據(jù)集分析需要分布式處理框架技術(shù)來實現(xiàn)，所以云計算充當了信息革命時期的發(fā)動機的角色。簡單來說，云計算就是給數(shù)百甚至數(shù)萬的電腦分配工作，而大數(shù)據(jù)在這個過程中充當電的角色。Facebook、Amazon、Google等一批互聯(lián)網(wǎng)企業(yè)引領(lǐng)下，做成公用事業(yè)提供給用戶。如今，在這種發(fā)展情況下，一種行之有效的模式出現(xiàn)了：云計算提供基礎(chǔ)架構(gòu)平臺，大數(shù)據(jù)應(yīng)用運行在這個平臺上。但是云計算的計算能力再強大，如果沒有大數(shù)據(jù)的信息積淀，這種模式也無法運作起來。業(yè)內(nèi)形容兩者的關(guān)系也終究只是鏡花水月。但是大數(shù)據(jù)的信息積淀再豐富，如果沒有云計算的處理能力，這種模式也找不到用武之地。分布式處理需要用比如虛擬化技術(shù)，那么大數(shù)據(jù)到底需要哪些云計算技術(shù)呢？這里暫且列舉一些，實時流數(shù)據(jù)處理、智能分析技術(shù)等。

2.2分布式處理技術(shù)

分布式處理系統(tǒng)可以將不同地點的或具有不同功能的或擁有不同數(shù)據(jù)的多臺計算機，用通信協(xié)調(diào)地完成信息處理任務(wù)。這就是分布式處在控制系統(tǒng)的統(tǒng)一管理控制下，網(wǎng)絡(luò)連接起來，處理系統(tǒng)的定義。以此例進行說明，Yahoo的Hadoop模式能夠?qū)Υ罅繑?shù)據(jù)MapReduce進行處理的技術(shù)，它是一個實現(xiàn)了Hadoop進行分布式處理的軟件框架，是以一種可靠、高效、可伸縮的方式進行處理的方式。其包含的一種云計算的核心計算模式，是一種分布式運算技術(shù)。它的特性，第一，它是可靠的，因為它假設(shè)計算元素和存儲會失敗，也不會影響其計算結(jié)果。其次，確保能夠針對失敗的節(jié)點重新分布處理。維護多個工作數(shù)據(jù)副本，是高效的。PB 能夠處理還是可伸縮的，Hadoop 通過并行處理加快處理速度。因為它以并行的方式工作，依賴于社區(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用Hadoop 級數(shù)據(jù)。此外，Hadoop +HBase（文件系統(tǒng)，數(shù)據(jù)存儲技術(shù)相關(guān)）=HDFS的構(gòu)成，Hadoop你也可以這么理解數(shù)據(jù)庫=數(shù)據(jù)處理+Map+Reduce

2.3存儲技術(shù)

大數(shù)據(jù)存儲的目的是支持大數(shù)據(jù)分析。這兩者的關(guān)系是：大數(shù)據(jù)可以抽象的分為大數(shù)據(jù)存儲和大數(shù)據(jù)分析，大數(shù)據(jù)存儲致力于研發(fā)還是兩種截然不同的計算機技術(shù)領(lǐng)域：到目前為止，撐大數(shù)據(jù)分析。EB甚至PB可以擴展至大數(shù)據(jù)分析。關(guān)注在最短時間內(nèi)處理大量不同類級別的數(shù)據(jù)存儲平臺型的數(shù)據(jù)集。集成電路的復(fù)雜性就增加一倍。提到存儲，有一個著名的摩爾定律相信大家都聽過：成本的不斷下降也造就了大數(shù)據(jù)的可存?zhèn)€月就下降一半。比如，還在不斷擴展的Google萬塊硬盤，而且100萬臺服務(wù)器和其中很多的擴展都是基于在廉價服務(wù)器和普通存儲硬盤的基礎(chǔ)上，升級其計算能力和存儲能力，這大大降低了其服務(wù)成本，因此可以將更多的資金投入到技術(shù)的研發(fā)當中。該服務(wù)旨在讓開發(fā)人員能 Internet是一種面向Amazon S3舉例，Amazon以Amazon S3更輕松的進行網(wǎng)絡(luò)規(guī)模計算。在服務(wù)界面上，用戶可通過它隨 Web 提供一個簡明的此服務(wù)讓所有開發(fā)人員都能訪問同上的任何位置存儲和檢索的任意大小的數(shù)據(jù)。Web是在用它來運行其全球的Amazon 一個具備高擴展性、可靠性、安全性和快速價廉的基礎(chǔ)設(shè)施，S3再看看網(wǎng)站網(wǎng)絡(luò)的可用性，并能夠承受兩個設(shè)施中的數(shù)據(jù)同時丟失。99.99% S3云的存儲對象已達到萬億級別，而且性能表現(xiàn)相當良好。S3很成功也確實卓有成效，S3目前全球的對象執(zhí)行請求也達到百萬的峰值數(shù)量。AWS同時云已經(jīng)擁萬億跨地域存儲對象，運行自己的全部或者部分日常業(yè)務(wù)。AWS范圍內(nèi)已經(jīng)有數(shù)以十萬計的企業(yè)在通過這些企業(yè)用戶的身影。Amazon多個國家，幾乎世界上的每個角落都有遍布。

3、大數(shù)據(jù)處理技術(shù)的展望

3.1對于企業(yè)

對于企業(yè)的大數(shù)據(jù)，外部數(shù)據(jù)的重要性日益提高。這里尤其有兩個明顯的現(xiàn)象：最終形成“數(shù)據(jù)供應(yīng)鏈”單一企業(yè)的內(nèi)部數(shù)據(jù)與整個互聯(lián)網(wǎng)數(shù)據(jù)比較起來在互聯(lián)互通的互聯(lián)網(wǎng)時代，超過內(nèi)部數(shù)據(jù)。能提供包括數(shù)據(jù)供應(yīng)、數(shù)據(jù)整合與加工、數(shù)據(jù)應(yīng)用等多環(huán)節(jié)服務(wù)的公司只是滄海一粟：會有明顯的綜合競爭優(yōu)勢。成功轉(zhuǎn)向了軟件和服務(wù)，而這次將遠離服務(wù)與PC舉例，上一個十年，他們拋棄了IBM的執(zhí)行總裁羅睿蘭認為，IBM更多地專注于因大數(shù)據(jù)分析軟件而帶來的全新業(yè)務(wù)增長點。

3.2 對于個人

可由本人授權(quán)提供第三與個人相關(guān)聯(lián)的各種有價值數(shù)據(jù)信息被有效采集后，個人的大數(shù)據(jù)方可進行處理和使用，并獲得第三方提供的數(shù)據(jù)服務(wù)。每個用戶可以在互聯(lián)網(wǎng)上注冊個人的數(shù)據(jù)中心，未來，用戶可確以存儲個人的大數(shù)據(jù)信息。并通過可穿戴設(shè)備或植入芯片等感知技術(shù)來采集捕獲個人的大數(shù)定哪些個人數(shù)據(jù)可被采集，比如，牙齒監(jiān)控數(shù)據(jù)，心率數(shù)據(jù)，體溫數(shù)據(jù)，視力數(shù)據(jù)，記憶能力，地理位置信息，社購物數(shù)據(jù)等等。用戶可以將其中的牙齒監(jiān)測數(shù)據(jù)授權(quán)給飲食數(shù)據(jù)，會關(guān)系數(shù)據(jù)，運動數(shù)據(jù)，牙科診所使用，由他們監(jiān)控和使用這些數(shù)據(jù)，進而為用戶制定有效的牙齒防治和維護計劃由他們監(jiān)測自己的身體運動機能，也可以將個人的運動數(shù)據(jù)授權(quán)提供給某運動健身機構(gòu)，還可以將個人的消費數(shù)據(jù)授權(quán)給金融理財機構(gòu)，并有針對地制定和調(diào)整個人的運動計劃。他們幫你制定合理的理財計劃并對收益進行預(yù)測。比如罪案預(yù)防監(jiān)控中心可以實時的監(jiān)控本地授權(quán)，即可提供給國家相關(guān)部門進行實時監(jiān)控的每個人的情緒和心理狀態(tài)，以預(yù)防自殺和犯罪的發(fā)生。

隨著互聯(lián)網(wǎng)及計算機技術(shù)的飛速發(fā)展，各類應(yīng)用層出不窮，引發(fā)了數(shù)據(jù)規(guī)模的爆發(fā)式增長，數(shù)據(jù)分析和數(shù)據(jù)滲透到了當前的各行各業(yè)中，大數(shù)據(jù)時代已經(jīng)來臨，相信在不遠的將來，大數(shù)據(jù)必將給我們的生活帶來深刻的變革。