謝恩

（湖南省食品藥品安全信息中心，湖南 長沙 410013）

0 引言

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和應(yīng)用，如何加快中國信息處理技術(shù)的發(fā)展，實現(xiàn)建立大數(shù)據(jù)應(yīng)用的體系也受到社會的廣泛關(guān)注。在這些工程中，大數(shù)據(jù)應(yīng)用基礎(chǔ)設(shè)施的建設(shè)是最基本、最核心的問題[1]。大數(shù)據(jù)處理已成為現(xiàn)代社會最重要的問題之一，也是關(guān)系到國家網(wǎng)絡(luò)安全的重大問題。隨著信息產(chǎn)業(yè)作為國家戰(zhàn)略的發(fā)展，大數(shù)據(jù)應(yīng)用處理體系的建設(shè)成為近期工作的重點。更重要的是，大數(shù)據(jù)網(wǎng)絡(luò)的發(fā)展和普及對信息傳輸提出了更高的要求。因此，大數(shù)據(jù)應(yīng)用體系的建立和發(fā)展在眼下就顯得尤為重要。

1 大數(shù)據(jù)應(yīng)用的重要性

1.1 大數(shù)據(jù)是國家技術(shù)發(fā)展規(guī)范的重要組成部分

近些年來，我們正面臨這一場巨大的變革，這場變革的引起者就是信息和數(shù)據(jù)。大數(shù)據(jù)應(yīng)用已經(jīng)充分滲透進了社會的各個領(lǐng)域以及人們?nèi)粘Ｉ畹母鱾€方面，并成為推動社會經(jīng)濟的一種新的動力。根據(jù)市場數(shù)據(jù)顯示，2010年-2015年，全球流量激增26倍，在2012年我國大數(shù)據(jù)市場規(guī)模上升至4.5億元人民幣，同比上漲40.6%， 從2013年開始，大數(shù)據(jù)市場呈爆發(fā)式增長，2016達到101億元。信息技術(shù)的革新、社會經(jīng)濟的改善，都表現(xiàn)出大數(shù)據(jù)應(yīng)用引起的諸多變化。在信息化建設(shè)的競爭階段，大數(shù)據(jù)應(yīng)用已然成為世界各國競相發(fā)展的重點。大數(shù)據(jù)影響著各國之間的競爭，成為了一種國家必備的軟實力。也將引領(lǐng)未來國際競爭的戰(zhàn)略格局[2]。

正如前文所述，大數(shù)據(jù)應(yīng)用體系的建設(shè)是十分有必要的，同時也是國家發(fā)展規(guī)劃中的重要技術(shù)組成。目前大數(shù)據(jù)技術(shù)同樣廣泛應(yīng)用在政府機構(gòu)中，例如在上海早在2006年便開始通過公開金融信息，從而催生了一大批金融咨詢服務(wù)企業(yè)，極大的拉動了就業(yè)；再例如交通部門通過大數(shù)據(jù)技術(shù)實現(xiàn)交通狀況的動態(tài)檢測等。通過立體的探索和研究并通過深度的發(fā)掘大數(shù)據(jù)應(yīng)用領(lǐng)域，將會成為未來大數(shù)據(jù)發(fā)展最主流以及最核心的方向。如圖是近年來我國的大數(shù)據(jù)應(yīng)用的比例：

1.2 大數(shù)據(jù)應(yīng)用滲透至各行各業(yè)

大數(shù)據(jù)建設(shè)的意義所在是其在現(xiàn)實中的應(yīng)用，需要通過調(diào)研從而發(fā)掘大數(shù)據(jù)在不同場景下的應(yīng)用，因為只有深入了解應(yīng)用場景的本質(zhì)，才能對客戶的需求充分掌握并做出真正符合市場需求的高性價比應(yīng)用。通過細分行業(yè)的充分規(guī)劃可以實際高效的大數(shù)據(jù)平臺打造，必須發(fā)掘大數(shù)據(jù)在細分行業(yè)的應(yīng)用點才可以實現(xiàn)大數(shù)據(jù)的價值體現(xiàn)并將其最大限程度的利用。

圖1 大數(shù)據(jù)應(yīng)用比例（數(shù)據(jù)來源：國家統(tǒng)計局）

1.3 大數(shù)據(jù)驅(qū)動技術(shù)創(chuàng)新

大數(shù)據(jù)的出現(xiàn)不是憑空的，技術(shù)的變革才是關(guān)鍵和基底。核心技術(shù)從來都是大數(shù)據(jù)價值體現(xiàn)的根本。從數(shù)據(jù)信息的獲取到數(shù)據(jù)信息研究從再到算法模型與數(shù)據(jù)呈現(xiàn)，必須都要以關(guān)鍵的技術(shù)支持。大數(shù)據(jù)時代的到來，是通過刺激經(jīng)濟發(fā)展需要的間接手段，從而極大的驅(qū)動技術(shù)的創(chuàng)新[3]。

2 大數(shù)據(jù)應(yīng)用的技術(shù)體系

大數(shù)據(jù)所需的資料量以及數(shù)據(jù)量極其龐大，主流的軟件無法在合理的時間內(nèi)進行有效的處理。而眼下，對大數(shù)據(jù)主要的定義為：規(guī)模龐大、信息種類多樣以及處理效率極高。規(guī)模龐大就是：數(shù)據(jù)量積累到一定的程度，就無法用主流軟件進行分析處理，大多需要用定性模式來操作；數(shù)據(jù)多樣是指，面對需要處理的信息類型，將這些信息分為結(jié)構(gòu)化、本結(jié)構(gòu)化和非結(jié)構(gòu)化，將這些特征加在相應(yīng)信息的屬性上，提升操作的效率。

2.1 基礎(chǔ)設(shè)施建設(shè)

大數(shù)據(jù)技術(shù)的關(guān)鍵意義不僅僅是對大量數(shù)據(jù)的接收，關(guān)鍵在于對這些海量數(shù)據(jù)的針對處理分析。換句話說，大數(shù)據(jù)實現(xiàn)經(jīng)濟價值的關(guān)鍵是提高數(shù)據(jù)分析的水平，從而實現(xiàn)實現(xiàn)數(shù)據(jù)處理的價，而大數(shù)據(jù)的基礎(chǔ)設(shè)施就是指實現(xiàn)數(shù)據(jù)的獲取存儲與管理并實現(xiàn)分析的基礎(chǔ)設(shè)施——即大數(shù)據(jù)處理中心，它涵蓋了計算機系統(tǒng)以及其他的配套設(shè)備，例如通信和存儲設(shè)備等。它的特點在于可以對大量數(shù)據(jù)進行專門的挖掘與處理。

數(shù)據(jù)中心的概念最早起源于上世紀60年代，主要與計算機信息存儲等相關(guān)。在上世紀90年代，數(shù)據(jù)中心又逐漸發(fā)展成為——將服務(wù)器放在一定的空間并實現(xiàn)布線和連接設(shè)備，到來21世紀，互聯(lián)網(wǎng)的發(fā)展十分迅猛，從而讓數(shù)據(jù)中心的建設(shè)需要也隨之不斷增加。到了2021年，云數(shù)據(jù)中心的概念與技術(shù)開始出現(xiàn)，因此數(shù)據(jù)中心也采用了超級融合架構(gòu)管理的技術(shù)與模式——即將計算內(nèi)存網(wǎng)絡(luò)資源、服務(wù)器虛擬化技術(shù)相互結(jié)合，并整理在同一組服務(wù)器上從而實現(xiàn)使用的管理軟件的統(tǒng)一管理，且可以將網(wǎng)絡(luò)上的多組設(shè)備聚合在一起，以形成一個單一的資源池。近年來伴隨著用戶的平均流量不斷增加，數(shù)據(jù)中心的建設(shè)又迎來了新的需求和變化[4]。

2.2 軟件建設(shè)

大數(shù)據(jù)系統(tǒng)軟件將大數(shù)據(jù)處理平臺與大數(shù)據(jù)應(yīng)用軟件相結(jié)合，是大數(shù)據(jù)系統(tǒng)的基礎(chǔ)，大數(shù)據(jù)系統(tǒng)軟件是分布式計算機平臺資源的統(tǒng)一抽象，提供基本的通用功能，如集成存儲管理、分析框架、全生命周期數(shù)據(jù)工程、大數(shù)據(jù)處理安全等，為大數(shù)據(jù)應(yīng)用的開發(fā)和運行提供環(huán)境，是大數(shù)據(jù)產(chǎn)業(yè)的“主要驅(qū)動力”。

國際大數(shù)據(jù)系統(tǒng)軟件開發(fā)主要以O(shè)SS為基礎(chǔ)，逐步形成了以Hadoop、spark、tensorflow為代表的，大數(shù)據(jù)應(yīng)用開發(fā)的共同核心軟件和工具平臺。國際開放源碼軟件基金會（APACHE）和其他社區(qū)被用作快速技術(shù)開發(fā)的平臺。IBM和其他基于開源軟件的商業(yè)版本也打包在hadweb中，hadweb是一個非常重要的開源框架，用于在大型數(shù)據(jù)流程序中使用數(shù)據(jù)流分析數(shù)據(jù)流，包括批處理、連續(xù)操作、統(tǒng)計分析、計算圖和tensorflow，是一個開源軟件平臺，通過與數(shù)據(jù)處理和數(shù)據(jù)處理系統(tǒng)中成熟的關(guān)系數(shù)據(jù)庫技術(shù)的比較，針對大數(shù)據(jù)時代的負載優(yōu)化問題，提出了一種，基于列族和鍵索引的無模型存儲系統(tǒng)，并給出了計算框架。從大數(shù)據(jù)系統(tǒng)軟件開發(fā)的實踐來看，注重區(qū)域創(chuàng)新和生態(tài)創(chuàng)新是大數(shù)據(jù)系統(tǒng)軟件的發(fā)展方向。大數(shù)據(jù)領(lǐng)域國家工程實驗室作為公共平臺，通過創(chuàng)新和突破，是大數(shù)據(jù)系統(tǒng)軟件的核心技術(shù)，促進了大數(shù)據(jù)與各種行業(yè)應(yīng)用的深度融合，推動了大數(shù)據(jù)系統(tǒng)軟件技術(shù)和產(chǎn)品的研發(fā)，形成具有代表性的示范應(yīng)用案例。

2.3 移動端開發(fā)

通過大數(shù)據(jù)的基本原理可以到處——大數(shù)據(jù)是憑借多種渠道來達到獲取信息的目的。計算機和移動終端（如手提電腦等）分布在有線、無線網(wǎng)絡(luò)中從而增加獲取信息的渠道，而各種傳感器又廣泛的應(yīng)用在不同的移動終端上，憑借這些傳感器，用戶可以實現(xiàn)獲得各種信息的目的，并通過網(wǎng)絡(luò)傳輸數(shù)據(jù)。因此在大數(shù)據(jù)時代，移動端是其大數(shù)據(jù)傳輸?shù)年P(guān)鍵媒介。

實現(xiàn)信息數(shù)據(jù)的共享是目前技術(shù)研究的關(guān)鍵，這其中涵蓋了針對實現(xiàn)為大數(shù)據(jù)信息的獲得提供保障傳感器研究，以實現(xiàn)高速優(yōu)化自身網(wǎng)絡(luò)結(jié)構(gòu)的技術(shù)目的。以Wed2.0為例，它可以實現(xiàn)將網(wǎng)絡(luò)上的各項信息由被動的信息接受轉(zhuǎn)化為信息研究分析，為網(wǎng)上“沖浪”增加體驗感，可以說在大數(shù)據(jù)時代，網(wǎng)絡(luò)技術(shù)手段的成熟與移動端的大力開發(fā)，為人們的生活帶來了很多的便捷。

2.4 管理體系建設(shè)

隨著大數(shù)據(jù)技術(shù)的不斷深入應(yīng)用，信息安全所面臨的風(fēng)險相比，也發(fā)生了根本性的變化。從這個角度考慮和出發(fā)，對大數(shù)據(jù)建立完善的管理體系的要求十分迫切。

整體的數(shù)據(jù)安全管理體系通常通過分層建設(shè)、防護，利用平臺能力及應(yīng)用的可成長、可擴充性，創(chuàng)造管理體系系統(tǒng)框架，形成完整的安全管理體系。其中，數(shù)據(jù)采集和分析是基本要求。收集匯總各類業(yè)務(wù)系統(tǒng)產(chǎn)生的海量信息數(shù)據(jù)，并運用實時關(guān)析技術(shù)、智推技術(shù)和風(fēng)管技術(shù)，對數(shù)據(jù)事件統(tǒng)一加工分析，實現(xiàn)對數(shù)據(jù)安全風(fēng)險的統(tǒng)一監(jiān)管和風(fēng)險預(yù)警處理。敏感數(shù)據(jù)隔離交換層通過數(shù)據(jù)指紋采集、內(nèi)容檢測和響應(yīng)處理三個步驟，極大提高了工作效率。數(shù)據(jù)防泄露層擊破：數(shù)據(jù)易流動、易復(fù)制、難管理等難題，深度分析和識別、監(jiān)視和保護靜止的數(shù)據(jù)、移動的數(shù)據(jù)以及使用中的數(shù)據(jù)，達到在敏感數(shù)據(jù)利用的，事前、事中、事后完整保護和響應(yīng)，實現(xiàn)數(shù)據(jù)的合規(guī)用，防止數(shù)據(jù)泄漏。

3 潛在問題

3.1 信息安全問題

在大數(shù)據(jù)的發(fā)展過程中，不得不提到一個非常關(guān)鍵的問題——安全以及隱私問題。隨著目前科技的提升，以攝像頭為代表的監(jiān)控設(shè)備在不斷增加，為人們提供位置信息記錄、監(jiān)控的同時，但也有被不法分子利用的風(fēng)險。他們通過對數(shù)據(jù)的竊取，從而掌握人們的出行、消費等信息情況，從而達到為自己提供非法牟利的目的。另一方面由于云計算技術(shù)的不斷提升，這為僵尸網(wǎng)絡(luò)的發(fā)展帶來了便利的同時，也增加了密碼被破譯的風(fēng)險，由于人們對于計算機的依賴程度不斷提升，所以信息安全技術(shù)是目前大數(shù)據(jù)發(fā)展的同時一直是不容忽視的風(fēng)險[5]。

3.2 數(shù)據(jù)準確性問題

數(shù)據(jù)輸入規(guī)范的不統(tǒng)一，造成不同的業(yè)務(wù)部門、不同時間、甚至在處理相同業(yè)務(wù)的時候造成數(shù)據(jù)沖突或矛盾。并且，不是所有行業(yè)都有公認可信的數(shù)據(jù)標準，而組織標準制定過程中容易出現(xiàn)數(shù)據(jù)元描述及理解錯誤；代碼不正確、不完整等情況都會導(dǎo)致大數(shù)據(jù)不準確的主要因素。

3.3 運營管理問題

由于大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展較為迅速，因此也就導(dǎo)致了大數(shù)據(jù)在具體的行業(yè)應(yīng)用中存在一些運營管理問題的存在，包括運營管理制度的建設(shè)不完善、對于大數(shù)據(jù)在具體應(yīng)用場景中的掌握不充分等，從而大大限制了大數(shù)據(jù)技術(shù)的實際應(yīng)用效果。

4 結(jié)論

在目前的時代發(fā)展背景下，大數(shù)據(jù)在發(fā)展過程中會遇到很多機遇，同時也會遭遇不同的挑戰(zhàn)，因此做好系統(tǒng)化的規(guī)劃是非常重要的，同時針對數(shù)據(jù)的分析處理也十分關(guān)鍵，因為它可以為企業(yè)的發(fā)展提供準確的信息，從而為企業(yè)創(chuàng)造極大的經(jīng)濟效益；另一方面，大數(shù)據(jù)的的發(fā)展也為百姓的提供了更好的生活條件。綜上來看，全面的掌握大數(shù)據(jù)的核心內(nèi)涵、并規(guī)范大數(shù)據(jù)的處理步驟，針對大數(shù)據(jù)處理技術(shù)上存在的缺陷進一步研究并解決，可以達到大數(shù)據(jù)信息的處理品質(zhì)并使得大數(shù)據(jù)在實際應(yīng)用中的水準得到提高，同時針對大數(shù)據(jù)技術(shù)中的安全性性等問題也需要提上日程。