趙麗 常娟 任霓洲

【摘? 要】從大數(shù)據(jù)概念、本質(zhì)、特征方面講述大數(shù)據(jù)的基礎(chǔ)知識，對大數(shù)據(jù)關(guān)鍵技術(shù)進(jìn)行了分析，總結(jié)了大數(shù)據(jù)在各個領(lǐng)域的應(yīng)用價值和安全權(quán)問題。

【關(guān)鍵詞】大數(shù)據(jù);大數(shù)據(jù)技術(shù); 大數(shù)據(jù)應(yīng)用

引言

人類社會邁入新世紀(jì)以來，在物聯(lián)網(wǎng)、云計算等信息技術(shù)和產(chǎn)業(yè)推動下，大數(shù)據(jù)已經(jīng)全面滲透到了各行各業(yè)，“數(shù)據(jù)即資產(chǎn)”成為了共識，與“物質(zhì)資產(chǎn)”和“人力資本”并列為三大社會生產(chǎn)要素，大數(shù)據(jù)技術(shù)及相關(guān)研究在全球范圍內(nèi)給政治、經(jīng)濟(jì)、社會、軍事領(lǐng)域帶來了深刻影響。理解大數(shù)據(jù)概念、認(rèn)識大數(shù)據(jù)本質(zhì)和特征、建立大數(shù)據(jù)思維，對于信息化建設(shè)和改革、重塑偉大征程有著重大現(xiàn)實(shí)意義。

1.大數(shù)據(jù)的概念

20世紀(jì)80年代美國阿爾文·托夫勒在其著名的預(yù)言書《第三次浪潮》中就提出了“大數(shù)據(jù)”的概念，資料顯示，最初，大數(shù)據(jù)是指那些不斷增長、類型復(fù)雜、短時間難以分析和處理的海量數(shù)據(jù)，其已經(jīng)超出了一般電腦在處理數(shù)據(jù)時所能使用的內(nèi)存量，普通的軟件工具難以捕捉、存儲、管理和分析，因此工程師們必須改進(jìn)處理數(shù)據(jù)的工具，導(dǎo)致了新處理技術(shù)的誕生。目前，大數(shù)據(jù)主要是指對海量數(shù)據(jù)進(jìn)行開發(fā)與利用的技術(shù)及相關(guān)政策標(biāo)準(zhǔn)，實(shí)現(xiàn)由“撥云散霧見數(shù)據(jù)”到“騰云駕霧用知識”的轉(zhuǎn)變。實(shí)際上，到目前為止，大數(shù)據(jù)并非一個確切的概念，人們對其也沒有一個標(biāo)準(zhǔn)的定義，不同研究機(jī)構(gòu)和部門對大數(shù)據(jù)從不同角度進(jìn)行了闡述，對大數(shù)據(jù)的本質(zhì)和特點(diǎn)基本達(dá)成了共識，綜合起來不外這幾個方面：

從數(shù)據(jù)本身看，大數(shù)據(jù)的明顯特征是數(shù)據(jù)規(guī)模龐大，其體量遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的處理能力。從技術(shù)角度看，大數(shù)據(jù)是從海量的多類型數(shù)據(jù)中，快速獲得有價值信息的所有技術(shù)集成。從數(shù)據(jù)類別看，大數(shù)據(jù)主要指無法或者很難用傳統(tǒng)的關(guān)系數(shù)據(jù)模型去分析、處理的信息，用戶也很難用傳統(tǒng)的處理方法去直觀認(rèn)識數(shù)據(jù)的隱藏內(nèi)涵。從應(yīng)用分析看，大數(shù)據(jù)是對特定海量數(shù)據(jù)進(jìn)行處理、分析和挖掘，獲得有價值信息，并以多種形式呈現(xiàn)的行為。從思維認(rèn)識看，大數(shù)據(jù)分析對象是全部數(shù)據(jù)而不是抽樣數(shù)據(jù)，分析內(nèi)容追求高效率而不是絕對精確，分析過程體現(xiàn)相關(guān)性而不局限于因果關(guān)系，分析結(jié)果重在未來預(yù)測而不僅是過去總結(jié)。

2.大數(shù)據(jù)的本質(zhì)

涂子沛在《大數(shù)據(jù)》一書中指出：“之所以要稱之為戰(zhàn)略，是因?yàn)椤髷?shù)據(jù)之‘大，并不僅僅在于其‘容量之大。當(dāng)然，由于數(shù)據(jù)容量的爆炸，數(shù)據(jù)的收集、保存、維護(hù)以及共享等任務(wù)，都成為具有研究意義的現(xiàn)象和挑戰(zhàn)。但‘大數(shù)據(jù)之大，更多的意義在于：人類可以‘分析和使用的數(shù)據(jù)在大量增加，通過這些數(shù)據(jù)的交換、整合和分析，人類可以發(fā)現(xiàn)新的知識，創(chuàng)造新的價值?！币灿袑＜乙会樢娧刂赋觯捍髷?shù)據(jù)的核心，就是預(yù)測。

當(dāng)前，比較普遍的觀點(diǎn)認(rèn)為，大數(shù)據(jù)的本質(zhì)既包含不斷增長的海量復(fù)雜數(shù)據(jù)，也涉及獲取、管理和應(yīng)用這些海量數(shù)據(jù)全生命周期的各種關(guān)鍵技術(shù)和解決方案。海量數(shù)據(jù)存儲、數(shù)據(jù)挖掘、圖像視頻智能分析、信息感知、信息傳輸、信息安全等技術(shù)都與大數(shù)據(jù)密切相關(guān)。大數(shù)據(jù)不是指一般意義上的數(shù)據(jù)規(guī)模大。例如，銀行數(shù)據(jù)庫中的數(shù)據(jù)實(shí)時產(chǎn)生增長，數(shù)據(jù)量龐大，但不能稱之為大數(shù)據(jù)，因?yàn)槠渚哂忻鞔_的格式，且盡在銀行的掌控之中。

3.大數(shù)據(jù)的特征

目前，對大數(shù)據(jù)的特征描述，比較一致的看法是可以用“4V”來表達(dá)，就是容量（Volume）、類型（Variety）、速度（Velocity）、價值（Value）。

容量大（Volume）。指數(shù)據(jù)體量巨大，Google的資料顯示，作為其“長尾效應(yīng)”的頭部，2016年其首頁導(dǎo)航每天需要提供的數(shù)據(jù)超過2.5PB，如果這些數(shù)據(jù)全部打印出來，大約將有8千億張A4紙。

類型多（Variety）。指數(shù)據(jù)類型多樣，數(shù)據(jù)類型涵蓋結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化等各種形式的數(shù)據(jù)，其中既包括文本、文件、圖片、視音頻、地理位置信息等富媒體數(shù)據(jù)，遠(yuǎn)遠(yuǎn)超出傳統(tǒng)數(shù)據(jù)格式和分析工具能處理的范疇。

速度快（Velocity）。指數(shù)據(jù)增長率和處理速度快，有統(tǒng)計顯示，近十年以來，網(wǎng)頁、視頻類數(shù)據(jù)每年都以60%的速率增長，預(yù)計到2020年，全球?qū)a(chǎn)生44ZB的數(shù)據(jù);與此相對應(yīng)，必然要求處理速度快，才能在及時發(fā)現(xiàn)有效信息。

價值高（Value）。指數(shù)據(jù)背后隱藏的價值高，大數(shù)據(jù)價值密度很低，但如果被有效挖掘，發(fā)現(xiàn)規(guī)律，預(yù)測趨勢，產(chǎn)生的價值卻很高，有時甚至無法用金錢衡量。在國家安全領(lǐng)域，數(shù)十小時的監(jiān)控錄像，數(shù)據(jù)量達(dá)近百G，可用的數(shù)據(jù)也許只有幾秒，但這幾秒鐘的數(shù)據(jù)如果能夠及時發(fā)現(xiàn)，則會產(chǎn)生巨大的效應(yīng)。

4.大數(shù)據(jù)技術(shù)的應(yīng)用及安全問題

大數(shù)據(jù)時代已經(jīng)到來，但大數(shù)據(jù)技術(shù)的運(yùn)用卻是一把雙刃劍。

一方面，大數(shù)據(jù)開啟了一次重大的時代轉(zhuǎn)型，引發(fā)了一場生活、工作與思維的大變革，其在經(jīng)濟(jì)、政治、文化等方面都產(chǎn)生了深遠(yuǎn)的影響，它幫助人們開啟了循“數(shù)”管理的模式。例如，零售公司跟蹤客戶的購買情況，發(fā)現(xiàn)某個客戶購買了大量的真絲襯衣，這時數(shù)據(jù)挖掘系統(tǒng)就在此客戶和真絲襯衣之間創(chuàng)建關(guān)系。銷售部門就會直接發(fā)送真絲襯衣的行情，以及所有關(guān)于真絲襯衣的資料給該客戶。零售公司通過數(shù)據(jù)挖掘系統(tǒng)發(fā)現(xiàn)了以前未知的關(guān)于客戶的新信息，并且擴(kuò)大了經(jīng)營范圍。

而另一方面，大數(shù)據(jù)主宰一切，也讓我們的隱私暴露在“第三只眼”之下。它使得目前用以保護(hù)隱私的法律手段和核心技術(shù)失去了效果，甚至威脅到國家秘密的安全。電商監(jiān)視著我們的購物習(xí)慣，搜索引擎、交友網(wǎng)站和微博消息，使得人們的行為習(xí)慣和情緒的細(xì)節(jié)化測量成為可能。據(jù)《華盛頓郵報》2010年的研究表明，美國國家安全局每天攔截并存儲的電子郵件、電話和其他通信記錄多達(dá)17億條。為了弄明白這些數(shù)據(jù)，美國建立了龐大的數(shù)據(jù)中心。

在大數(shù)據(jù)高度融入我們的生活和生產(chǎn)之中時，與其相伴而生的是人們對隱私被侵犯的擔(dān)憂與無奈，其安全問題是一個繞不開、必須談的話題。應(yīng)對大數(shù)據(jù)的洶涌來襲，我們沒有萬無一失的方法，只能正確認(rèn)識大數(shù)據(jù)的問題和缺陷，改變一系列的慣例來幫助社會應(yīng)對這種沖擊，建立規(guī)范自身的新準(zhǔn)則。一個層面是運(yùn)用大數(shù)據(jù)技術(shù)，來解決大數(shù)據(jù)時代的安全問題，用數(shù)據(jù)驅(qū)動安全，這一理念將是未來網(wǎng)絡(luò)安全發(fā)展的方向;另一層面是大數(shù)據(jù)作為重要資產(chǎn)，用其本身的安全來驅(qū)動數(shù)據(jù)產(chǎn)業(yè)開花結(jié)果，良性發(fā)展。

參考文獻(xiàn)

[1]張雪超.數(shù)據(jù)致勝時代已經(jīng)到來

[2]黃征.大數(shù)據(jù)技術(shù)在軍事中的應(yīng)用淺析

[3]李儉.大數(shù)據(jù)ABC

[4]周德旺.大數(shù)據(jù)引發(fā)新一代信息技術(shù)變革浪潮

作者介紹：趙麗（1980.08-），女，漢族，甘肅慶陽人，工程師，研究方向?yàn)橥ㄐ偶夹g(shù)。

常娟（1989.09-），女，漢族，陜西米脂人，助理工程師，研究方向?yàn)橥ㄐ偶夹g(shù)。

任霓洲（1985.10-），女，漢族，陜西淳化人，工程師，研究方向?yàn)橥ㄐ偶夹g(shù)。

1.中國人民解放軍32269部隊(duì)? ? 甘肅蘭州? ? 730000

2.中國人民解放軍31682部隊(duì)? ? 甘肅蘭州? ? 730000