徐維堅

摘要：自2008年首次提出“大數(shù)據(jù)”概念以來，基于大數(shù)據(jù)的計算機信息處理技術日新月異，極大的豐富和改善了人們的生活方式。人們生活方式的改變又進一步的促進了大數(shù)據(jù)信息處理技術的發(fā)展，同時也對大數(shù)據(jù)信息安全提出了挑戰(zhàn)。本文從大數(shù)據(jù)的生命周期角度出發(fā)，立足大數(shù)據(jù)的5V特征，系統(tǒng)研究了大數(shù)據(jù)各個生命周期環(huán)節(jié)中所使用的計算機信息處理技術和信息安全技術，提出應當采用哪些技術來進行大數(shù)據(jù)的分析和處理，并保證這些環(huán)節(jié)的大數(shù)據(jù)信息安全。最后，對大數(shù)據(jù)時代下所面臨的挑戰(zhàn)，給出應對措施，以提高企業(yè)機構(gòu)應對風險和挑戰(zhàn)的能力，推動大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展和變革。

關鍵詞：大數(shù)據(jù);信息處理;生命周期;安全

Abstract：Since the concept of "big data" was first proposed in 2008，computer information processing technology based on big data has been changed rapidly，greatly enriching and improving people's way of life. The change of people's way of life has further promoted the development of big data information processing technology，but also challenged the security of big data information. Based on the 5V characteristics of big data from the perspective of the life cycle of big data，this paper systematically research the computer information processing technology and information security technology used in all stages of the life cycle of big data，and puts forward which technologies should be used for the analysis and processing of big data，and ensure the security of big data information in these stages. Finally，to improve the ability of enterprises to respond to risks and challenges，and promote the growth and transformation of the big data industry，I give some measures to address the challenges in the era of big data.

Keywords：Big data;information processing; life cycle; security

前言

2008年9月美國《自然》雜志專刊——The Next Google，第一次正式提出“大數(shù)據(jù)”（Big Data）概念。在該專欄中，研究人員和商業(yè)人士為我們描述了未來十年影響人類的前瞻性技術，其中很多已經(jīng)實現(xiàn)或是近似實現(xiàn)，如電子閱讀器（ELECTRONIC PAPER）、VR設備（VIDEO VISORS）、語義分析與智能推薦（THE SEMANTIC WEB，BETTER BROWSERS）等。

但具體“大數(shù)據(jù)”所指是什么，尚沒有明確定義。直到2011年5月，麥肯錫研究院發(fā)布報告——Big data：The next frontier for innovation，competition，and productivity，才第一次給出了大數(shù)據(jù)較為清晰地定義：大數(shù)據(jù)是指其容量超出了常規(guī)數(shù)據(jù)庫大小的數(shù)據(jù)池，數(shù)據(jù)池中的數(shù)據(jù)可以被獲取、關聯(lián)、聚合、儲存和分析，已經(jīng)成為全球經(jīng)濟各個環(huán)節(jié)中的一部分。從該份報告中，我們可以看到，大數(shù)據(jù)在經(jīng)濟領域發(fā)揮著越來越重要的作用。

1 大數(shù)據(jù)時代中計算機信息處理技術

經(jīng)過這些年的發(fā)展，大數(shù)據(jù)的特征，也由早期的3V特征——規(guī)模大（Volume）、速度快或時效快（Velocity）和種類多（Variety），發(fā)展到現(xiàn)在的5V特征，增加了價值（Value）和可靠性（Veracity）兩個特性。這些特性反映了大數(shù)據(jù)技術的目的是：處理超大規(guī)模數(shù)據(jù)，保證很高的時效性，從多樣的數(shù)據(jù)集中提取出有價值的數(shù)據(jù)，并且確保原始數(shù)據(jù)的可靠性，從而產(chǎn)生有效益的創(chuàng)新數(shù)據(jù)，來輔助觀察、決策和過程控制。

1.1 大數(shù)據(jù)采集技術

首先第一步，對“大數(shù)據(jù)”進行數(shù)據(jù)采集。在采集過程中，首先面臨的難題是采集的數(shù)據(jù)體量非常巨大，即“大數(shù)據(jù)”的首個特征“規(guī)模大”。其次是數(shù)據(jù)類型豐富，結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)種類繁多，即第三個特征“種類多”。最后是數(shù)據(jù)以“分布式數(shù)據(jù)庫”形式存儲在不同形式的數(shù)據(jù)庫中，其時效性難以保持。傳統(tǒng)數(shù)據(jù)庫采集方式面對體量如此龐大、種類如此繁多的“大數(shù)據(jù)”難以勝任，越來越無法滿足大數(shù)據(jù)的采集要求。因此有必要使用新的采集方式來完成大數(shù)據(jù)的采集工作，當前發(fā)展比較成熟的大數(shù)據(jù)采集技術有：

第一種，系統(tǒng)日志采集技術。如基于Hadoop的HDFS和Map Reduce構(gòu)建的Chukwa框架，它采用分布式架構(gòu)，能滿足每秒數(shù)百MB的日志采集和數(shù)據(jù)傳輸需求。很多企業(yè)的業(yè)務平臺使用該框架來處理每天產(chǎn)生的大量業(yè)務數(shù)據(jù)，這些數(shù)據(jù)結(jié)構(gòu)化程度高，易于后續(xù)的數(shù)據(jù)處理與分析。

第二種，網(wǎng)絡數(shù)據(jù)采集技術。該技術是通過網(wǎng)絡爬蟲，或是通過一些公開的API接口來獲取網(wǎng)絡數(shù)據(jù)。但是網(wǎng)絡上獲取的數(shù)據(jù)，大多以非機構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)居多。對于這些數(shù)據(jù)，需要進一步進行處理。目前常用的網(wǎng)頁爬蟲技術有Apache Nutch、Scrapy、Crawler4j等框架，這些框架各有優(yōu)劣，需要工程師根據(jù)業(yè)務形式去取舍，或是進行二次開發(fā)。但是爬蟲技術可能會遭到一些平臺的反爬限制，從而導致采集終止或是采集數(shù)據(jù)不理想，這個時候需要不定期變更代理服務器，避免被封。

第三種，數(shù)據(jù)庫采集技術。這種方法，多用于傳統(tǒng)的關系型數(shù)據(jù)庫，對已經(jīng)穩(wěn)定的系統(tǒng)或平臺友好，能夠保證企業(yè)每時每刻都能將產(chǎn)生大量的業(yè)務數(shù)據(jù)寫入到業(yè)務平臺數(shù)據(jù)庫中。使用這種方式的企業(yè)，還需要建立相應的數(shù)據(jù)倉庫、數(shù)據(jù)總線或是數(shù)據(jù)中臺，以便進行后續(xù)的大數(shù)據(jù)綜合分析和處理。

1.2 大數(shù)據(jù)預處理技術

對于采集的數(shù)據(jù)，不能直接存入到數(shù)據(jù)庫或數(shù)據(jù)倉庫中，需要進行數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)離散化等步驟，將數(shù)據(jù)處理成可以用于數(shù)據(jù)挖掘的信息。由于獲取的數(shù)據(jù)量十分巨大，且數(shù)據(jù)結(jié)構(gòu)不完整、不一致、含臟數(shù)據(jù)，所以在大數(shù)據(jù)預處理上將花費大量的時間，大約需要占到整個數(shù)據(jù)挖掘過程中60%以上的時間[5]。

在數(shù)據(jù)清洗過程中，需要利用自動填充空白值、緊鄰值補齊、貝葉斯公式等方法來填充缺省值。利用分箱技術（Binning）對數(shù)據(jù)進行分類，識別出噪聲數(shù)據(jù)和離群數(shù)據(jù)，然后對噪聲數(shù)據(jù)剔除，對離群數(shù)據(jù)進行糾偏;或者利用回歸技術（Regression）對數(shù)據(jù)進行擬合，平滑數(shù)據(jù)，消除噪聲數(shù)據(jù)和離群數(shù)據(jù)的影響。最后對不一致的數(shù)據(jù)進行糾錯處理，輸出滿足“準確性、完整性、一致性”要求的數(shù)據(jù)。

清洗完畢后，再對數(shù)據(jù)進行集成和規(guī)約，該過程需要合并不同數(shù)據(jù)源，去除重復數(shù)據(jù)。接著對數(shù)據(jù)進行歸一化、標準化和去中心化，消除不同數(shù)據(jù)源之間的差異，統(tǒng)一數(shù)據(jù)的屬性、度量單位、數(shù)據(jù)值范圍等。然后對數(shù)據(jù)進行規(guī)約，需要用到的策略有：1）維規(guī)約，即減少隨機數(shù)據(jù)，將數(shù)據(jù)投射到更小的空間，降低維度，具體方法有小波變換（WT）和主成分分析（PCA）技術;2）數(shù)量規(guī)約，用較小的數(shù)據(jù)替代原始數(shù)據(jù)，如抽樣和“數(shù)據(jù)立方體聚集”技術。

最后對規(guī)約好的數(shù)據(jù)進行轉(zhuǎn)化和離散化，一般是將參與模型計算的分類數(shù)據(jù)和有序數(shù)據(jù)轉(zhuǎn)換成數(shù)值型數(shù)據(jù)，將連續(xù)性數(shù)據(jù)離散化，方便模型計算。常用的方法有K-means聚類離散化算法和數(shù)據(jù)分箱算法。

1.3 大數(shù)據(jù)存儲技術

雖然預處理完畢的大數(shù)據(jù)相對于單個數(shù)據(jù)源來說，有一定程度的裁剪，但不同來源、不同形式的數(shù)據(jù)依然是海量數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)庫存儲技術無法滿足如此海量數(shù)據(jù)存儲的要求。以分布式文件存儲為核心的HDFS存儲方式很好的解決了海量數(shù)據(jù)存儲的問題，已經(jīng)在被應用到很多企業(yè)的大數(shù)據(jù)平臺上。隨著網(wǎng)絡存儲的不斷發(fā)展，以“云存儲”為代表的網(wǎng)絡分布式存儲方式正在被越來越多的中小企業(yè)所青睞。這些企業(yè)尚無能力建立起自己的大數(shù)據(jù)存儲平臺，借助“阿里云”、“百度云”等云存儲技術可以快速實現(xiàn)自己的大數(shù)據(jù)存儲?！霸拼鎯Α背浞职l(fā)揮了網(wǎng)絡虛擬化技術的優(yōu)勢，合理劃分、安裝及調(diào)度虛擬云服務器資源，提高了數(shù)據(jù)存儲和索引的速度，保證了大數(shù)據(jù)挖掘和分析的時效性。

1.4 大數(shù)據(jù)挖掘與分析

數(shù)據(jù)挖掘與數(shù)據(jù)分析是大數(shù)據(jù)處理流程中重要的一環(huán)，也是體現(xiàn)大數(shù)據(jù)產(chǎn)價值的關鍵一環(huán)。數(shù)據(jù)挖掘，是從大數(shù)據(jù)中挖掘出隱藏其中的、不為人所知的、有潛在價值的、新穎的信息的過程，如經(jīng)典的“啤酒與尿布”的案例。該過程對技術水平、算法精通程度有很高要求，常用的挖掘算法有神經(jīng)網(wǎng)絡方法、遺傳算法、ID3決策樹、支持向量機和K近鄰分類算法（KNN）等。而數(shù)據(jù)分析，則側(cè)重于利用統(tǒng)計學知識，從中提取有用信息，并形成結(jié)論，以輔助決策，更多是詳細研究和概括總結(jié)的過程，常用的分析方法有漏斗分析法、關聯(lián)規(guī)則、回歸分析、指標分析等方法。

1.5 大數(shù)據(jù)可視化與應用

最后，將從大數(shù)據(jù)中挖掘出來的信息和分析提取而來的信息，通過可視化相關技術，呈現(xiàn)給用戶（尤其是決策者），以幫助其在紛繁復雜的大數(shù)據(jù)面前，能有效的抓住核心價值信息，提高其管理水平，幫助其挖掘更多的商業(yè)價值，做出更正確的決策。目前國內(nèi)外很多企業(yè)，都在建設自己的大數(shù)據(jù)可視化平臺，其中較為成熟的可視化平臺形式有BI系統(tǒng)和數(shù)字孿生技術。其中BI系統(tǒng)是通過建立數(shù)據(jù)模型，建立關鍵指標，以圖表、2D/3D地圖、指標數(shù)據(jù)等形式，來展現(xiàn)業(yè)務的監(jiān)測情況和研判結(jié)果，并提供智能預測，如由蘭州大學自主研發(fā)的“新冠肺炎疫情全球預測系統(tǒng)”。

2 大數(shù)據(jù)時代下信息安全技術研究

上一章節(jié)系統(tǒng)闡述了大數(shù)據(jù)信息處理各個階段的關鍵技術和方案，按照上述流程可以較好的完成大數(shù)據(jù)的采集、處理和分析等工作，但是不能保證各個環(huán)節(jié)的數(shù)據(jù)安全、網(wǎng)絡安全和信息安全?，F(xiàn)今頻頻發(fā)生的數(shù)據(jù)泄漏和黑客攻擊時間，嚴重降低了人們對大數(shù)據(jù)技術的信任，使得人們對大數(shù)據(jù)技術的安全產(chǎn)生了懷疑，影響了大數(shù)據(jù)的發(fā)展進程。本章節(jié)將系統(tǒng)分析大數(shù)據(jù)生命周期中關鍵的安全技術。

2.1 大數(shù)據(jù)采集安全技術

大數(shù)據(jù)采集作為大數(shù)據(jù)生命周期中第一步，其安全技術至關重要，決定了數(shù)據(jù)的質(zhì)量和可信程度。上一章節(jié)中，我們提到三種采集技術：系統(tǒng)日志采集方法、網(wǎng)絡數(shù)據(jù)采集方法、數(shù)據(jù)庫采集方法。

第一種和第三種采集方法，主要來源于企業(yè)自有平臺或可信的外部系統(tǒng)，傳統(tǒng)的安全技術，如防火墻技術和虛擬專用網(wǎng)絡技術，可以有效的保證大數(shù)據(jù)采集的安全。其中常用的SSL VPN技術可以進行數(shù)據(jù)加密、完整性檢測和身份認證，配置簡單，無需安裝特定軟件，可有效保護局域網(wǎng)內(nèi)的網(wǎng)絡拓撲結(jié)構(gòu)，保證數(shù)據(jù)在安全通道中流通，保證大數(shù)據(jù)采集的安全。

但是第二種方式，網(wǎng)絡數(shù)據(jù)采集方法，由于采集的數(shù)據(jù)量大、來源多、種類復雜，且無法保證數(shù)據(jù)的真實性和完整性，也無法有效識別并剔除掉其中虛假或惡意的信息。一旦大數(shù)據(jù)采集器被黑客攻擊，注入臟數(shù)據(jù)，當其注入的臟數(shù)據(jù)達到一定規(guī)模后，將會將數(shù)據(jù)分析引入歧途，從而對大數(shù)據(jù)使用者造成誤判，導致其出現(xiàn)損失。這種攻擊手段比較隱晦，短時間難以發(fā)現(xiàn)。第二種采集方式所面臨的問題，目前尚無比較有效的技術來有效防范。不過，我們?nèi)匀豢梢酝ㄟ^一些舉措來加以控制。本人認為，可以采用“評分等級”來控制，具體步驟為：1）首先對所涉及到的數(shù)據(jù)源，進行量化評級。級別越高，表示該數(shù)據(jù)源質(zhì)量高、可信度高、安全系數(shù)高，對應將其采集權(quán)重設置的更高。2）對相同評級的數(shù)據(jù)源，進行相互補充，相互印證。出現(xiàn)矛盾數(shù)據(jù)時，哪個更貼近更高級別的數(shù)據(jù)范圍，就保留哪個數(shù)據(jù)。3）對于無法印證其來源的數(shù)據(jù)，視為孤立點，予以剔除。當然上述實施方案，不能完全依賴于機器自動識別，必要時可以人工介入，及時調(diào)整數(shù)據(jù)源的等級權(quán)重，避免受到極值干擾。

2.2 大數(shù)據(jù)預處理安全技術

在大數(shù)據(jù)預處理階段，重點是需要保證數(shù)據(jù)的質(zhì)量。數(shù)據(jù)質(zhì)量的好壞直接影響后續(xù)的數(shù)據(jù)分析與挖掘。如何保證數(shù)據(jù)的質(zhì)量，關鍵是在數(shù)據(jù)清洗、集成、規(guī)約、轉(zhuǎn)化和離散化過程中，保證“不一致校驗”有效。目前較為有效的方式有：1）分布式違反條件函數(shù)依賴（CDF）檢測方法;2）判斷導致數(shù)據(jù)質(zhì)量問題的原因是數(shù)據(jù)一致性還是約束一致性。

另外，在大數(shù)據(jù)預處理階段，有一些數(shù)據(jù)需要加密處理，如個人敏感數(shù)據(jù)、企業(yè)機構(gòu)機密數(shù)據(jù)、公共安全數(shù)據(jù)（如小區(qū)攝像頭位置與生產(chǎn)廠商等敏感數(shù)據(jù)）等，需要進行脫敏處理。數(shù)據(jù)脫敏，簡而言之就是對敏感數(shù)據(jù)屬性進行轉(zhuǎn)化，使得該部分原始數(shù)據(jù)失真，但其他數(shù)據(jù)和其他屬性不受干擾，也不影響候選數(shù)據(jù)的分析與處理，從而達到保護的目的。該過程，可以用對稱或非對稱加密技術實現(xiàn)，也可以用隨機數(shù)或特殊字符來進行數(shù)據(jù)脫敏，前者可以讓授信方通過解密查看，而后者則會丟失原始數(shù)據(jù)，有一定的局限性。

2.3 大數(shù)據(jù)存儲安全技術

在大數(shù)據(jù)存儲階段，需要保證分布式數(shù)據(jù)庫、數(shù)據(jù)倉庫和云存儲等大數(shù)據(jù)存儲的安全。這一階段除了在物理層面上保證數(shù)據(jù)存儲設備的安全外，還需要保證數(shù)據(jù)存儲、變更、訪問等過程中的安全。

對于數(shù)據(jù)存儲，需要建立完備的數(shù)據(jù)備份和數(shù)據(jù)恢復機制，來保證機器發(fā)生故障時，能夠快速恢復數(shù)據(jù)。常用的方式有異地備份，建立數(shù)據(jù)鏡像，對數(shù)據(jù)進行定期快照。

對于數(shù)據(jù)變更和訪問過程，需要設立安全可靠的訪問機制。可以通過Kerberos認證、PKI公鑰認證、動態(tài)口令等技術來確保訪問者是可信用戶。其中動態(tài)口令認證機制，能有效解決了靜態(tài)口令不安全的的問題，其基本原理是：在客戶端登錄時，通過秘密通行短語（SPP，Secure Pass Phrase）來加入不確定因素，保證用戶每次認證的數(shù)據(jù)都不相同，有效提高身份認證安全性。

同時設計合理的權(quán)限管理機制，對大數(shù)據(jù)訪問的粒度進行控制。常用的技術方案有：1）基于屬性加密的訪問控制，該方式是利用密文機制來控制訪問客體，如用于訪問靜態(tài)數(shù)據(jù)的KP-ABE算法（基于密鑰策略的屬性加密），以及用于云計算的CP-ABE算法（基于密文策略的屬性加密）;2）基于角色的訪問控制，該方式通過將用戶劃分成不同角色，每個角色給予不同的訪問權(quán)限;該方式是通過建立數(shù)據(jù)信任模型來控制數(shù)據(jù)在安全范圍內(nèi)進行訪問，保證了即使出現(xiàn)“內(nèi)鬼”，數(shù)據(jù)也不至于被大量泄漏。

3 大數(shù)據(jù)時代信息處理技術面臨的挑戰(zhàn)和應對措施

大數(shù)據(jù)發(fā)展至今，已經(jīng)有十余個年頭，期間不斷出現(xiàn)新的問題、新的挑戰(zhàn)、新的突破。其中主要的問題和挑戰(zhàn)，有以下幾個方面。

3.1 大數(shù)據(jù)信息質(zhì)量堪憂

由于目前大數(shù)據(jù)研究還處于發(fā)展階段，各行各業(yè)的大數(shù)據(jù)應用參差不齊，所使用的技術也是良莠不齊，導致大數(shù)據(jù)在采集和處理過程中，很難保證大數(shù)據(jù)的信息質(zhì)量。前文提到在大數(shù)據(jù)的采集和預處理階段，需要采用分箱技術或是線性回歸等技術對數(shù)據(jù)進行清洗。這在一定程度上可以提高大數(shù)據(jù)的質(zhì)量，但仍然不能保證所有的數(shù)據(jù)都能達到準確性、一致性和有效性的三個要求。因此，學術界和產(chǎn)業(yè)界需要在這些方面不斷優(yōu)化算法，調(diào)整模型，改善方法，以進一步提高所處理的大數(shù)據(jù)信息質(zhì)量。

3.2 信息安全問題日益突出

當前大數(shù)據(jù)信息處理技術還不夠成熟，技術實現(xiàn)上還不夠完善，一些大數(shù)據(jù)技術框架還存在漏洞。如2017年，Hadoop提權(quán)漏洞CVE-2017-7669，導致黑客可以拿到Root權(quán)限（最高權(quán)限）。除此之外，還有一些大數(shù)據(jù)安全事故是由于疏于安全管理，導致安全制度形同虛設。如數(shù)據(jù)分析公司Polecat今年近30TB業(yè)務數(shù)據(jù)遭到破壞，其根源是該公司一臺存儲了大量員工用戶名和密碼的ES服務器竟然沒有任何身份驗證或其他加密措施的保護。再有一些公司或者企事內(nèi)部員工為了自己的私利，利用自身技術手段或特殊權(quán)限，非法獲取用戶敏感信息，或倒賣用戶個人信息獲利，如2017年京東內(nèi)部員工涉嫌竊取50億條用戶數(shù)據(jù)案件。

為了解決上述問題，需要研究人員不斷加大大數(shù)據(jù)安全技術的研究和應用，不斷完善現(xiàn)有數(shù)據(jù)安全技術。同時，企業(yè)和機構(gòu)需要建立起嚴格有效的大數(shù)據(jù)安全體系。建立大數(shù)據(jù)安全體系，一是要政府和職能機關發(fā)揮監(jiān)督監(jiān)管作用，加大大數(shù)據(jù)方面法律、法規(guī)和標準的制定，約束大數(shù)據(jù)各個環(huán)節(jié)中的行為，對不符合法律法規(guī)的大數(shù)據(jù)信息處理行為進行有效懲戒，同時制定相應的大數(shù)據(jù)安全標準，促進大數(shù)據(jù)的發(fā)展;二是企業(yè)和機構(gòu)加大大數(shù)據(jù)的安全審計力度和審計技術的研發(fā)，利用基于日志、基于網(wǎng)絡監(jiān)聽、基于網(wǎng)關等審計技術，來監(jiān)控大數(shù)據(jù)處理活動，及時發(fā)現(xiàn)隱患，避免出現(xiàn)事故。

3.3 人才發(fā)展不均衡

當今世界，技術發(fā)展日新月異，競爭日益激烈。說到底是人才的競爭，科技的競爭。當前國內(nèi)大數(shù)據(jù)從業(yè)人才嚴重匱乏，與國外相比，國內(nèi)從業(yè)人員專業(yè)化程度較低，技術技能還存在較大差距。大數(shù)據(jù)的關鍵不是信息采集和信息本身，而是大數(shù)據(jù)的分析和處理的過程，這個過程依賴于從業(yè)人員的專業(yè)素養(yǎng)。若沒有一支專業(yè)化的人才隊伍，就如沒有良好設備的掘金者一樣，只能望“礦”興嘆，那大數(shù)據(jù)信息處理技術和安全技術也就無從談起。而建設這樣一支人才隊伍，需要社會各界共同努力。學校和科研機構(gòu)應當建立或完善大數(shù)據(jù)相關專業(yè)的培養(yǎng)方案，政府可以給大數(shù)據(jù)企業(yè)、機構(gòu)和人才提供一定程度的政策傾斜，社會各界提倡良好的人才觀，避免過分追逐熱門專業(yè)，而忽視了基礎學科、關鍵技術和重要領域的建設與發(fā)展，保證人才均衡可持續(xù)發(fā)展。

4 大數(shù)據(jù)時代下計算機信息處理技術展望

未來，大數(shù)據(jù)發(fā)展方向如何，學術界和產(chǎn)業(yè)界看法不一。雖然眾說紛紜，但下面幾個發(fā)展方向，在未來定會得到更大的發(fā)展：1）大數(shù)據(jù)基礎研究得到突破，在大數(shù)據(jù)信息處理技術層面不斷涌現(xiàn)新的算法、規(guī)則和技術方案，例如云計算方向的發(fā)展;2）大數(shù)據(jù)系統(tǒng)工程不斷改善，涌現(xiàn)出一批優(yōu)秀的大數(shù)據(jù)技術工具和框架，為大數(shù)據(jù)的分析和處理奠定堅實基礎;3）大數(shù)據(jù)安全技術得到有效發(fā)展，更多安全可靠的安全技術被應用到大數(shù)據(jù)信息處理技術中。除此之外，大數(shù)據(jù)與經(jīng)濟、大數(shù)據(jù)與社會、大數(shù)據(jù)與道德法律等交叉學科的研究也會得到長足發(fā)展，進而推動大數(shù)據(jù)的技術創(chuàng)新、思想創(chuàng)新、制度創(chuàng)新。

5 結(jié)語

總之，當今大數(shù)據(jù)時代的迅猛發(fā)展，使得人們的生產(chǎn)生活方式越來越智能、越來越豐富、越來越便捷。同時，人們?nèi)招略庐惖纳a(chǎn)生活方式所創(chuàng)建的豐富的、多樣的、海量的數(shù)據(jù)，反過來進一步促進了大數(shù)據(jù)的信息處理技術的發(fā)展。兩者相輔相成，相互促進，共同發(fā)展。在這相互促進的發(fā)展過程中，學術界和產(chǎn)業(yè)界應當抓住機遇，克服困難，加大大數(shù)據(jù)的信息處理技術和安全技術的研發(fā)力度，加大大數(shù)據(jù)產(chǎn)業(yè)的建立力度，努力建設一批思想先進、技術專業(yè)、符合國家戰(zhàn)略發(fā)展的高素質(zhì)人才隊伍，不斷推動大數(shù)據(jù)的健康、安全、穩(wěn)定發(fā)展。

參考文獻：

[1]Big data：The next Google. Nature 455，8–9 （2008）.

[2]Manyika，J.. “Big data：The next frontier for innovation，competition，and productivity.” （2011）.

[3]Y. Demchenko，C. de Laat and P. Membrey，"Defining architecture components of the Big Data Ecosystem，" 2014 International Conference on Collaboration Technologies and Systems （CTS），2014，pp. 104-112，doi：10.1109/CTS.2014.6867550.

[4]大數(shù)據(jù)觀察. 大數(shù)據(jù)采集技術綜述[EB/OL]. 2018[2021-10-10]. https：//cloud.tencent.com/developer/news/305675.

[5]觀向數(shù)據(jù). 大數(shù)據(jù)關鍵技術——數(shù)據(jù)預處理[EB/OL]. 2018[2021-10-10]. https：//cloud.tencent.com/developer/news/312404.

[6]陳興蜀，楊露，羅永剛. 大數(shù)據(jù)安全保護技術[J]. 工程科學與技術，2017，49（5）：1-12.

[7]Luminous. 大數(shù)據(jù)安全核心技術[EB/OL]. 2020[2022-10-10]. https：//www.cnblogs.com/nongchaoer/p/12201559.html.

[8]Chen Yanli，Song Lingling，Yang Geng.Attribute-based access control for multi-authority systems with constant size ciphertext in cloud computing[J].China Communications，2016，13（2）：146–162.

[9]Zhou Lan，Varadharajan V，Hitchens M.Enforcing role-based access control for secure data storage in the cloud[J].The Computer Journal，2011，54（10）：1675–1687.

[10]孫紅梅，賈瑞生. 大數(shù)據(jù)背景下企業(yè)網(wǎng)絡信息安全技術體系研究[J]. 通信技術，2017，50（2）：334-339. DOI：10.3969/j.issn.1002-0802.2017.02.023.