陳曉偉

摘 要：文章的內(nèi)容主要是以大數(shù)據(jù)的發(fā)展?fàn)顩r作為研究的背景，然后對(duì)大數(shù)據(jù)處理系統(tǒng)以及大數(shù)據(jù)等等相關(guān)內(nèi)容進(jìn)行了深入的分析和研究，并且在這個(gè)基礎(chǔ)上分析發(fā)現(xiàn)當(dāng)前我國(guó)大數(shù)據(jù)計(jì)算所面臨的困難和難題，并且根據(jù)這些難題提出相應(yīng)的解決措施，希望能夠大大的提升大數(shù)據(jù)的計(jì)算工作效率，并且能夠進(jìn)一步的提升系統(tǒng)的有效性。

關(guān)鍵詞：大數(shù)據(jù)；數(shù)據(jù)分析；技術(shù)

中圖分類號(hào)：TP311.13 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-2945（2019）20-0136-02

Abstract： The content of this paper is mainly based on the development of big data as the research background， and then carries on the in-depth analysis and research to big data processing system and big data and so on. On this basis， this paper analyzes and finds the difficulties and problems faced by big data's calculation in our country， and puts forward the corresponding solutions according to these problems， hoping to greatly improve the computational efficiency of big data and further improve the effectiveness of the system.

Keywords： big data； data analysis； technology

我們從技術(shù)的角度來進(jìn)行分析，可以發(fā)現(xiàn)大數(shù)據(jù)和云計(jì)算之間的關(guān)系就好像是一枚硬幣所存在的正反面。大數(shù)據(jù)是無法采用單獨(dú)的計(jì)算機(jī)而進(jìn)行工作的，必須是采用分布式的架構(gòu)方式來進(jìn)行。它的主要特點(diǎn)就是能夠?qū)Υ罅康臄?shù)據(jù)進(jìn)行分布式的數(shù)據(jù)挖掘，但與此同時(shí)它還必須在云計(jì)算的基礎(chǔ)上去完成進(jìn)一步的云儲(chǔ)存以及虛擬化技術(shù)等等。

隨著現(xiàn)如今我國(guó)科學(xué)技術(shù)的飛速發(fā)展，目前已經(jīng)進(jìn)入到了大數(shù)據(jù)與云時(shí)代的發(fā)展階段中，隨著大數(shù)據(jù)在我們生活和工作中的逐漸滲透，大數(shù)據(jù)因此吸引了越來越多人們的重視和關(guān)注。相關(guān)的研究人員認(rèn)為，大數(shù)據(jù)一般都是用來形容一個(gè)公司所創(chuàng)造的大量非結(jié)構(gòu)化的數(shù)據(jù)，這些數(shù)據(jù)一般在下載到關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行分析應(yīng)用時(shí)就會(huì)花費(fèi)大量的時(shí)間以及金錢。與此同時(shí)大數(shù)據(jù)的分析一般都會(huì)和云計(jì)算緊密的聯(lián)系起來，最主要的原因是由于實(shí)時(shí)的大數(shù)據(jù)分析一定需要數(shù)以千計(jì)的電腦來進(jìn)行分配完成工作[1]。

1 大數(shù)據(jù)的處理系統(tǒng)

1.1 批量的數(shù)據(jù)處理系統(tǒng)

大數(shù)據(jù)的處理系統(tǒng)最為主要也是最為重要的任務(wù)就是根據(jù)大批數(shù)據(jù)然后分析適當(dāng)?shù)哪Ｊ?，并且由此提出相關(guān)的明確含義，制定出科學(xué)合理的應(yīng)對(duì)策略，從而進(jìn)一步的實(shí)現(xiàn)特定的業(yè)務(wù)目標(biāo)。一般來說大數(shù)據(jù)都是源于互聯(lián)網(wǎng)或者是云計(jì)算等等相關(guān)的網(wǎng)絡(luò)平臺(tái)，能夠幫助平臺(tái)解決所出現(xiàn)的各種難題，并且提出新的問題。對(duì)于一個(gè)企業(yè)來說，企業(yè)可以通過處理過程中所產(chǎn)生的相關(guān)數(shù)據(jù)從而進(jìn)行對(duì)惡意軟件的有效識(shí)別，從而進(jìn)一步的判斷出這些外來的信息是否安全可靠，這樣就可以大大的加強(qiáng)公司網(wǎng)絡(luò)和數(shù)據(jù)的安全性[2]。

1.2 交互式的數(shù)據(jù)處理系統(tǒng)

交互式的數(shù)據(jù)處理系統(tǒng)和非交互式的數(shù)據(jù)處理系統(tǒng)相比較來說，前者更具有靈活的特點(diǎn)，該系統(tǒng)能夠和相關(guān)的工作人員采用人機(jī)對(duì)話的方式來完成輸入工作，這時(shí)系統(tǒng)就可以自動(dòng)的進(jìn)行數(shù)據(jù)的分析，并且指導(dǎo)相關(guān)的操作人員按照分析的要求去一步一步的展開操作，最終獲取得到有效的結(jié)果。采用這樣的處理方式能夠?qū)⑾到y(tǒng)當(dāng)中的應(yīng)用信息得到及時(shí)的處理，從而便于交互式的數(shù)據(jù)能夠進(jìn)一步的展開工作[3]。

2 對(duì)大數(shù)據(jù)的分析

2.1 深度學(xué)習(xí)

在進(jìn)行分析大數(shù)據(jù)的過程中，其中最為重要的一個(gè)內(nèi)容就是我們?nèi)绾尾拍苡行У谋磉_(dá)以及學(xué)習(xí)大數(shù)據(jù)，因?yàn)闊o論是什么樣形式的數(shù)據(jù)它都具有著很多的表達(dá)方式，但是最為主要的方式也是最為簡(jiǎn)單的模型，這種模型目前來說還處于在低級(jí)階段，因此其并不能給予我們良好的學(xué)習(xí)效果。針對(duì)于此從而產(chǎn)生了深度學(xué)習(xí)。深度學(xué)習(xí)主要指的是根據(jù)層次的架構(gòu)中所針對(duì)對(duì)象在不同階級(jí)上的表達(dá)從而解決一些比較抽象不容易直接思考的問題。深度學(xué)習(xí)主要起源于20世紀(jì)的80年代期間，隨著近幾年科學(xué)技術(shù)的飛速發(fā)展，深度學(xué)習(xí)無論是在圖像領(lǐng)域中還是在語言語音的應(yīng)用領(lǐng)域中都得到了飛速的發(fā)展。在2009年，微軟研究院的相關(guān)工作人員第1次在關(guān)于對(duì)語音的處理中開始采用這一深度神經(jīng)網(wǎng)絡(luò)，采用這樣的方式明顯的提升了語音在識(shí)別過程中的正確率，因此這種處理模式很快成為了在深度學(xué)習(xí)過程中最為成熟的應(yīng)用之一[4]。

2.2 知識(shí)計(jì)算

知識(shí)計(jì)算是對(duì)大數(shù)據(jù)展開分析的一個(gè)最為基礎(chǔ)的環(huán)節(jié)。知識(shí)計(jì)算在目前的世界領(lǐng)域當(dāng)中是一個(gè)非常關(guān)鍵和重要的研究?jī)?nèi)容，從目前的實(shí)際情況來看，國(guó)內(nèi)以及國(guó)外一共建立了50多種相關(guān)的知識(shí)庫(kù)，相關(guān)有效的應(yīng)用建立了上百種，在這其中比較具有代表性的知識(shí)庫(kù)以及應(yīng)用的系統(tǒng)有KnowItAll，TextRunner，Probase，Satori 以及一些在維基百科等等相關(guān)在線知識(shí)百科所構(gòu)建的知識(shí)庫(kù)，例如DBpedia。隨著大數(shù)據(jù)信息的飛速發(fā)展，針對(duì)一些規(guī)模較大的網(wǎng)頁(yè)信息中所包含的信息和知識(shí)，和自動(dòng)能夠構(gòu)建知識(shí)庫(kù)這種的方式已經(jīng)被越來越多的人所重視和接納。當(dāng)人們面對(duì)大量的知識(shí)建庫(kù)時(shí)就會(huì)根據(jù)不同信息從而建立不同的各種知識(shí)之間的相互融合，而這也同樣是我們必須要得到快速解決的內(nèi)容之一。

3 目前大數(shù)據(jù)計(jì)算所面臨的問題以及提出的相關(guān)解決措施

3.1 數(shù)據(jù)的復(fù)雜性

隨著大數(shù)據(jù)的飛速發(fā)展，目前大數(shù)據(jù)已經(jīng)融入到了我們生活以及工作中的方方面面，但同時(shí)人們?cè)谶M(jìn)行計(jì)算的過程中也會(huì)面臨著各種各樣的問題，例如大規(guī)模樣本的出現(xiàn)，這種現(xiàn)象的產(chǎn)生直接導(dǎo)致我們的群眾開始面臨著各種復(fù)雜的數(shù)據(jù)對(duì)象。眾所周知大數(shù)據(jù)的主要特點(diǎn)就是數(shù)據(jù)的類型以及數(shù)據(jù)的模式具有多樣化豐富化，并且之間的聯(lián)系也是非常的復(fù)雜繁多，數(shù)據(jù)的質(zhì)量也是參差不齊，這些種種因素都會(huì)導(dǎo)致數(shù)據(jù)在計(jì)算或者是表達(dá)的過程出現(xiàn)較大的難題，傳統(tǒng)的數(shù)據(jù)模式下計(jì)算的復(fù)雜性以及難度會(huì)不斷的被增大，同時(shí)語義的分析也會(huì)變得更加復(fù)雜。然而從目前我國(guó)的發(fā)展現(xiàn)狀來看，大部分的群眾對(duì)于數(shù)據(jù)當(dāng)中所蘊(yùn)含的意義理解得并不夠深入，再加上大部分人們對(duì)大數(shù)據(jù)的相關(guān)知識(shí)并不是非常了解，因此在很大程度上嚴(yán)重的影響了計(jì)算機(jī)模型的設(shè)計(jì)以及相關(guān)的制作。因此我們目前應(yīng)當(dāng)加緊解決的重要問題就是要將大數(shù)據(jù)的復(fù)雜本性定量化，并且對(duì)數(shù)據(jù)所包含的問題展開深入性的分析和研究。當(dāng)我們將上述的問題都得到快速的解決以后那么在一定程度上能夠讓更多的群眾理解大數(shù)據(jù)的模型是什么，了解到大數(shù)據(jù)所具有的特征和優(yōu)點(diǎn)是什么，從而進(jìn)一步的獲取到相關(guān)的知識(shí)和信息。同時(shí)也由此我們可以看出，只有我們不斷的去完善以及改進(jìn)多模式下的數(shù)據(jù)分析理論以及模型，并且將各個(gè)數(shù)據(jù)之間所存在的聯(lián)系做到及時(shí)的梳理，對(duì)復(fù)雜的模型進(jìn)行深入的分析和研究，只有這樣才可以真正的降低其的復(fù)雜程度，從而讓人們對(duì)大數(shù)據(jù)有一個(gè)更加透徹的認(rèn)識(shí)[5]。

3.2 計(jì)算的復(fù)雜性

我們都知道，大數(shù)據(jù)的特點(diǎn)就是規(guī)模大、速度快以及數(shù)據(jù)的結(jié)構(gòu)多樣等等。而這些特點(diǎn)也導(dǎo)致了過去傳統(tǒng)的機(jī)器學(xué)習(xí)以及數(shù)據(jù)的收集都無法得到當(dāng)前數(shù)據(jù)的支持，尤其是當(dāng)大數(shù)據(jù)在面對(duì)一些小樣本的數(shù)據(jù)時(shí)，無法進(jìn)行全局式的分析以及計(jì)算，對(duì)此我們的大數(shù)據(jù)在計(jì)算過程中就要選擇適當(dāng)?shù)拿撾x傳統(tǒng)計(jì)算的局限性。大數(shù)據(jù)在進(jìn)行求解的過程中，我們要提前對(duì)它的可計(jì)算性進(jìn)行一個(gè)有效的評(píng)估工作，并且對(duì)計(jì)算方法進(jìn)行進(jìn)一步的確認(rèn)，對(duì)價(jià)值驅(qū)動(dòng)在特定領(lǐng)域的應(yīng)用給予支持。但是從目前的情況來看，當(dāng)前我國(guó)的大數(shù)據(jù)樣本種類非常繁多，結(jié)構(gòu)也比較復(fù)雜，分布的非常不均衡等等這些現(xiàn)象都為大數(shù)據(jù)的研究工作帶來了一定的挑戰(zhàn)。對(duì)于這種現(xiàn)象我們應(yīng)當(dāng)將目光放在大數(shù)據(jù)的生命周期當(dāng)中，在大數(shù)據(jù)自身復(fù)雜性的基礎(chǔ)上，然后對(duì)以數(shù)據(jù)為中心的計(jì)算模式進(jìn)行深入的研究和分析，并且找出科學(xué)合理的改善方式，建立起更加規(guī)范科學(xué)的數(shù)據(jù)模式，從而對(duì)大數(shù)據(jù)的相關(guān)理論展開進(jìn)一步的研究工作，最終建立起一套牢固的并且不依賴于全量數(shù)據(jù)的數(shù)據(jù)計(jì)算理論基礎(chǔ)。

3.3 系統(tǒng)的復(fù)雜性

目前有效的支持大數(shù)據(jù)的研究平臺(tái)是針對(duì)不同數(shù)據(jù)類型的處理系統(tǒng)。這一數(shù)據(jù)的處理大平臺(tái)所面臨的難題也非常繁多，例如數(shù)據(jù)太大、結(jié)構(gòu)復(fù)雜、計(jì)算過程的周期長(zhǎng)以及難度較高等等。這些問題不僅僅會(huì)給處理系統(tǒng)的整體結(jié)構(gòu)以及計(jì)算方式等等帶來更加嚴(yán)峻以及困難的挑戰(zhàn)，與此同時(shí)也會(huì)在數(shù)據(jù)處理系統(tǒng)的運(yùn)行速度以及其他方面都帶來較大的難題，而這每一個(gè)問題都是非常嚴(yán)重以及必須加緊解決的重要問題，是系統(tǒng)想要不斷的進(jìn)行優(yōu)化的最基本的準(zhǔn)則，更是系統(tǒng)想要得到有效處理的重要基礎(chǔ)，因此我們要想有效的提高數(shù)據(jù)的計(jì)算能力那么就必須要加強(qiáng)解決這些關(guān)鍵性的問題。而要想解決這些問題那么首先要做的就是要充分的了解大數(shù)據(jù)在處理過程中所存在的問題，并且針對(duì)大數(shù)據(jù)在價(jià)值的基礎(chǔ)上進(jìn)一步的整合大數(shù)據(jù)的處理以及存儲(chǔ)系統(tǒng)的架構(gòu)，嚴(yán)格的按照?qǐng)?zhí)行大數(shù)據(jù)的感知準(zhǔn)則在其系統(tǒng)以及數(shù)據(jù)的處理方面等等都展開深入的研究和分析，只有這樣才能形成一個(gè)高效率低耗能的大數(shù)據(jù)處理系統(tǒng)。

4 結(jié)束語

現(xiàn)如今我國(guó)正處于在高速發(fā)展的重要時(shí)期，科技的發(fā)展信息之間的快速流通，人與人之間的交流等等越來越密集，我們的生活也變得越來越方便，大數(shù)據(jù)正是現(xiàn)如今高科技時(shí)代的重要產(chǎn)物。有人將大數(shù)據(jù)當(dāng)作為一座蘊(yùn)藏能量的煤礦，煤礦如果按照性質(zhì)分可以分為焦煤、無煙煤、貧煤等等，與此同時(shí)露天煤礦以及深山煤礦的挖掘成本又會(huì)有著巨大的不同。而大數(shù)據(jù)和煤礦之間有著非常相似的聯(lián)系，大數(shù)據(jù)的主要并不在于大，而是在于有用有價(jià)值，價(jià)值含量高以及挖掘成本都要比數(shù)量顯得更為重要，因此對(duì)于我國(guó)很多的行業(yè)和企業(yè)來說，如何有效的利用大規(guī)模的數(shù)據(jù)才是自身企業(yè)贏得勝利的關(guān)鍵內(nèi)容。

參考文獻(xiàn)：

[1]程學(xué)旗，靳小龍，王元卓，等.大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J].軟件學(xué)報(bào)，2014（09）：1889-1908.

[2]曹軍威，袁仲達(dá)，明陽陽，等.能源互聯(lián)網(wǎng)大數(shù)據(jù)分析技術(shù)綜述[J].南方電網(wǎng)技術(shù)，2015（11）：11-12.

[3]張磊，杜冬梅.基于大數(shù)據(jù)系統(tǒng)和分析技術(shù)的研討[J].現(xiàn)代經(jīng)濟(jì)信息，2016（21）：90-91.

[4]喬雙寧，梁文慶.大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J].數(shù)字化用戶，2018（39）：67-68.

[5]吳卉男.大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J].信息記錄材料，2016（03）：71-72.