石景泉陳耀武

（作者單位：1．陜西廣電網(wǎng)絡(luò)傳媒（集團(tuán)）石泉縣支公司；2．陜西廣電網(wǎng)絡(luò)傳媒（集團(tuán)）鎮(zhèn)坪縣支公司）

?

對大數(shù)據(jù)處理關(guān)鍵技術(shù)研究

石景泉1陳耀武2

（作者單位：1．陜西廣電網(wǎng)絡(luò)傳媒（集團(tuán)）石泉縣支公司；2．陜西廣電網(wǎng)絡(luò)傳媒（集團(tuán)）鎮(zhèn)坪縣支公司）

摘 要：21世紀(jì)，人類已經(jīng)進(jìn)入信息時代，大量數(shù)據(jù)的出現(xiàn)，傳統(tǒng)的數(shù)據(jù)處理模式已難以實施處理大數(shù)據(jù)信息。怎樣處理數(shù)據(jù)的存儲、分析、實施等問題已經(jīng)成為當(dāng)下急需解決的問題。針對這些問題，本文主要對大數(shù)據(jù)的概念與特點進(jìn)行了闡述，分析大數(shù)據(jù)面臨著哪些核心問題，以及如何解決這此問題。

關(guān)鍵詞：大數(shù)據(jù)處理；關(guān)鍵技術(shù)；核心問題

當(dāng)今時代，數(shù)據(jù)已經(jīng)成為增長最快的資源之一，據(jù)IDC統(tǒng)計，相比于2010年的信息量，2012年有了64.5%的增長率，達(dá)到80萬PB，2013年全球信息量已達(dá)2.1ZB，預(yù)計到2020年全天數(shù)據(jù)總量將是2012年的兩倍，伴隨著數(shù)據(jù)規(guī)模的快速增長的同時數(shù)據(jù)類型也變得更為復(fù)雜。面對如此嚴(yán)峻的問題，當(dāng)下的著手點是怎樣挖掘數(shù)據(jù)中的價值。

1 大數(shù)據(jù)概念

通常所說的大數(shù)據(jù)指的就是海量的資料，指通過使用的軟件以及其它工具來獲取所需要的資料，然后對所獲得的資料進(jìn)行整理分析，處理數(shù)據(jù)的過程所花的時間遠(yuǎn)遠(yuǎn)超過了數(shù)據(jù)的有效時間。其定義就是對決策力、洞察發(fā)現(xiàn)力的提升以及流程優(yōu)化能力的提升，以及對海量、多樣化與高增長率的信息數(shù)據(jù)的處理能力的提升。

2 大數(shù)據(jù)特點

現(xiàn)今，大數(shù)據(jù)有以下4V特點：Value，Volume，Velocity，Variety。

2.1數(shù)據(jù)量大

按照IDC概念分析，如果需要分析數(shù)據(jù)至少需要100TB的數(shù)據(jù)，非常大的數(shù)據(jù)量就是大數(shù)據(jù)的基本屬性所在?，F(xiàn)今，大數(shù)據(jù)已經(jīng)開始從TB級別迅猛增加到EB級別了。

2.2數(shù)據(jù)處理速度快

與傳統(tǒng)的數(shù)據(jù)處理不同的關(guān)鍵點之一就是非常快的數(shù)據(jù)處理速度。當(dāng)今時代，各種信息技術(shù)的飛速發(fā)展，數(shù)據(jù)的產(chǎn)生，公布也變得越來越簡單了，新生的數(shù)據(jù)在不斷的出現(xiàn)，因此，要求處理數(shù)據(jù)的速度也越來越快了，這樣大數(shù)據(jù)大都夠得到有效的應(yīng)用。

2.3數(shù)據(jù)種類多

數(shù)據(jù)的分類可以劃分為結(jié)構(gòu)與非結(jié)構(gòu)數(shù)據(jù)這兩種。結(jié)構(gòu)化數(shù)據(jù)需要把數(shù)據(jù)抽象出來，向方便于人類以及計算機存儲、分析、處理的方向抽象出來。在這個過程中需要忽略一些不必要的細(xì)節(jié)，但對分析數(shù)據(jù)得出正確結(jié)論沒有影響的問題，提取出需要的信息。而非結(jié)構(gòu)化數(shù)據(jù)在結(jié)構(gòu)屬性上并沒有相同的，將結(jié)構(gòu)用表的形式表達(dá)出來可以說是非常的困難，對數(shù)據(jù)進(jìn)行記錄需要對數(shù)據(jù)結(jié)構(gòu)也要進(jìn)行記錄，這是為了對數(shù)據(jù)處理的能力進(jìn)行增加，同時也是為了將存儲的難度進(jìn)行提升。

2.4數(shù)據(jù)價值密度低

非結(jié)構(gòu)話數(shù)據(jù)的重要屬性就是通常所說的數(shù)據(jù)價值密度低。數(shù)據(jù)總量的大小是與價值密度的高低與成反比關(guān)系的。

3 大數(shù)據(jù)要處理面臨的四大核心問題

3.1數(shù)據(jù)的收集

數(shù)據(jù)的收集就是獲取數(shù)據(jù)，因此需要注重對數(shù)據(jù)的收集，大數(shù)據(jù)出現(xiàn)以前數(shù)據(jù)是人類需要分析具體的問題，經(jīng)過采集樣本，抽象等方法存儲原始產(chǎn)生的數(shù)據(jù)，而如今隨著互聯(lián)網(wǎng)科技的發(fā)展，更多的信息都是通過人們在網(wǎng)絡(luò)上上傳信息。大量的數(shù)據(jù)信息也就因此產(chǎn)生了，數(shù)據(jù)信息并不是越多越好，而是盡可能的去獲取一些有用的信息才是大數(shù)據(jù)的關(guān)鍵。處理非結(jié)構(gòu)化數(shù)據(jù)需要是通過獲得數(shù)據(jù)的方法實現(xiàn)的，需要根據(jù)具體的數(shù)據(jù)，需要獲得有效數(shù)據(jù)，需要處理掉那些對數(shù)據(jù)分析有誤導(dǎo)作用的數(shù)據(jù)。

3.2數(shù)據(jù)分析

數(shù)據(jù)分析是大數(shù)據(jù)處理中非常關(guān)鍵的一步，大數(shù)據(jù)本身是沒有任何意義的，只有分析具體的事物或者應(yīng)用，大數(shù)據(jù)才是有用處的。數(shù)據(jù)隨處可用，但是最大的缺點是不能夠有效的從數(shù)據(jù)中提取知識，對非結(jié)構(gòu)話數(shù)據(jù)分析還沒有找到很好的處理方法。大數(shù)據(jù)今后的發(fā)展趨勢就是能不能從大量的數(shù)據(jù)中提取出有用的數(shù)據(jù)。然而現(xiàn)今對數(shù)據(jù)進(jìn)行簡單的概率統(tǒng)計就可以輕松的獲得特定事物發(fā)展的大致趨勢。

3.3數(shù)據(jù)可視化

數(shù)據(jù)可視化就是數(shù)據(jù)的顯示，數(shù)據(jù)顯示指的就是需要將數(shù)據(jù)經(jīng)過處理后可以寫或者可以讀出來，這樣便于用戶輕松的得到他們想要的信息。傳統(tǒng)的數(shù)據(jù)顯示通常是直接現(xiàn)實、數(shù)據(jù)表以及各種統(tǒng)計圖等形式來顯示。而大數(shù)據(jù)處理的非結(jié)構(gòu)化數(shù)據(jù)則主要是利用計算機圖形和圖像處理的可視計算機技術(shù)來處理，把數(shù)據(jù)轉(zhuǎn)換成圖形或圖像，復(fù)雜的數(shù)據(jù)可以用三維形體來表示，對有形體的數(shù)據(jù)直接進(jìn)行操作。

3.4處理數(shù)據(jù)的能力

大數(shù)據(jù)需要人們從大量的復(fù)雜的并與此專業(yè)相關(guān)的信息中查找出他們所需要的正確的內(nèi)容。大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)在很多方面存有差別，其中最大的差別就是他們的處理要求不同。傳統(tǒng)的數(shù)據(jù)應(yīng)用處理通常對時間要求不是很高，一兩天之內(nèi)的運行結(jié)果依然有效。而大數(shù)據(jù)的數(shù)據(jù)應(yīng)用處理對時間的要求大部分需要在1秒鐘內(nèi)或瞬間內(nèi)得到結(jié)果，要不然它所處理的結(jié)果就沒有任何意義了。要對數(shù)據(jù)進(jìn)行實際性的處理有三個方面的要求，即對實時數(shù)據(jù)的獲得，理解分析，以及繪制這三個環(huán)節(jié)缺一不可。實時分析大規(guī)模數(shù)據(jù)是大數(shù)據(jù)急需解決的核心問題；計算機可視化的熱點是及時的繪制數(shù)據(jù)，CPU的快速發(fā)展有助于將實時繪制變?yōu)楝F(xiàn)實。數(shù)據(jù)的繪制方式很重要，它的選取有兩個參考條件，其一就是實際使用的條件，其二就是它本身所具有的硬件特點。

4 大數(shù)據(jù)面臨的核心問題的解決

通過以上分析，知道大數(shù)據(jù)面臨四個方面的問題：獲取有用數(shù)據(jù)、數(shù)據(jù)分析、數(shù)據(jù)顯示、處理數(shù)據(jù)的能力。在過去的一年中，市場上在云計算方面推出了需要產(chǎn)品（比如面向互聯(lián)網(wǎng)高密度的數(shù)據(jù)中心、面向行業(yè)的大數(shù)據(jù)等都推出了大數(shù)據(jù)產(chǎn)品）。專家認(rèn)為，為客戶規(guī)劃云計算需要按部就班不能一口吃成一個大胖子。而具體到對大數(shù)據(jù)的要求，相關(guān)專家一直認(rèn)為一體化是解決大數(shù)據(jù)面臨的四大核心問題的關(guān)鍵。一體化可以分為三個部分：第一個部分就是上文講的數(shù)據(jù)的處理，從獲取數(shù)據(jù)，存儲數(shù)據(jù)，分析數(shù)據(jù)到最后數(shù)據(jù)的可視化的過程，都可以用一體化的方案來解決；第二個部分需要發(fā)揮現(xiàn)在硬件技術(shù)方面的優(yōu)勢，需要通過硬件與軟件的結(jié)合來提升整體的綜合性能；第三個部分就是整個解決方案的一體化，面對不同的行業(yè)（比如面對銀行業(yè)的一體機等）來做整體的解決方案，也就是專家所說的一體化。

5 結(jié)語

21世紀(jì)是信息高速發(fā)展的時代，隨著大數(shù)據(jù)技術(shù)的應(yīng)用，物聯(lián)網(wǎng)以及云計算的迅猛發(fā)展，數(shù)據(jù)量也在不斷增加，大數(shù)據(jù)已經(jīng)成為了一個當(dāng)今必須解決的一個熱門問題。當(dāng)前大數(shù)據(jù)還有非常多的技術(shù)以及相關(guān)的概念沒有形成統(tǒng)一的規(guī)定，面臨著諸多挑戰(zhàn)，但隨著社會各界開始對數(shù)據(jù)的重視程度不斷地提升，相信今后對大數(shù)據(jù)處理的技術(shù)也會不斷發(fā)展與更新。這些技術(shù)將朝著便捷化、合理化、人性化方向發(fā)展。通過對這些技術(shù)的處理分析，大數(shù)據(jù)給人類社會帶來非常多的好處。

陳耀武，本科學(xué)歷，陜西廣電網(wǎng)絡(luò)傳媒（集團(tuán)）鎮(zhèn)坪縣支公司，工程師。

作者簡介：石景泉，本科學(xué)歷，陜西廣電網(wǎng)絡(luò)傳媒（集團(tuán)）石泉縣支公司，工程師。