高紅旭，康永，郭芃

（中國(guó)電子科技集團(tuán)公司第二十研究所，西安 710068）

0 引言

大數(shù)據(jù)作為當(dāng)今一個(gè)很熱門(mén)的話(huà)題，越來(lái)越多的得到國(guó)家和企業(yè)屆的廣泛關(guān)注。大數(shù)據(jù)在發(fā)現(xiàn)規(guī)律和預(yù)測(cè)未來(lái)兩個(gè)方面展現(xiàn)的核心競(jìng)爭(zhēng)力使得大數(shù)據(jù)正在轉(zhuǎn)變成一種資源與一種生產(chǎn)要素滲透至各個(gè)領(lǐng)域。大數(shù)據(jù)具有的善于聚合信息并有效利用數(shù)據(jù)的能力將會(huì)帶來(lái)層出不窮的創(chuàng)新，從某種意義上說(shuō)大數(shù)據(jù)技術(shù)代表著一種生產(chǎn)力，這預(yù)示著人類(lèi)已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代。

美國(guó)率先開(kāi)始布局大數(shù)據(jù)產(chǎn)業(yè)并投資2億美元啟動(dòng)“大數(shù)據(jù)研究和發(fā)展計(jì)劃”，美國(guó)的大數(shù)據(jù)產(chǎn)業(yè)已經(jīng)創(chuàng)造了巨大的價(jià)值；歐盟及日韓緊隨其后，相應(yīng)的戰(zhàn)略舉措也已出臺(tái)；我國(guó)大數(shù)據(jù)得到了政府的高度重視，大數(shù)據(jù)產(chǎn)業(yè)發(fā)展前景廣闊，預(yù)計(jì)我國(guó)大數(shù)據(jù)潛在市場(chǎng)規(guī)模未來(lái)有望達(dá)到2萬(wàn)億人民幣。大數(shù)據(jù)已經(jīng)被認(rèn)為是“未來(lái)的新石油與礦產(chǎn)”，數(shù)據(jù)規(guī)模及運(yùn)用數(shù)據(jù)的能力將成為綜合國(guó)力的重要組成部分。

1 大數(shù)據(jù)技術(shù)

大數(shù)據(jù)(big data)，或稱(chēng)巨量資料，指的是所涉及的資料量規(guī)模巨大到無(wú)法透過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。簡(jiǎn)言之，從各種各樣類(lèi)型的數(shù)據(jù)中，快速獲得有價(jià)值信息的能力，就是大數(shù)據(jù)技術(shù)。

1.1 大數(shù)據(jù)特點(diǎn)

大數(shù)據(jù)的特性非常豐富，包含：規(guī)模性、高速性、多樣性、價(jià)值型、準(zhǔn)確性、有效性、可見(jiàn)性、真實(shí)性、可溯性等，目前主流采用“4V”模型來(lái)對(duì)大數(shù)據(jù)進(jìn)行分析?！?V”的主要特征如表1所示：

表1 大數(shù)據(jù)4V特點(diǎn)列表

1.2 大數(shù)據(jù)分析方法

大數(shù)據(jù)技術(shù)真正面臨的已不僅是數(shù)據(jù)量大的問(wèn)題，而最重要的是現(xiàn)實(shí)對(duì)大數(shù)據(jù)進(jìn)行的分析，只有通過(guò)分析才能獲取很多智能的、深入的、有價(jià)值的信息。越來(lái)越多的應(yīng)用涉及到大數(shù)據(jù)，而這些大數(shù)據(jù)的屬性，包括數(shù)量，速度，多樣性等等都是呈現(xiàn)了大數(shù)據(jù)不斷增長(zhǎng)的復(fù)雜性，因此大數(shù)據(jù)的分析方法在大數(shù)據(jù)領(lǐng)域顯得尤為重要，已成為決定最終信息是否有價(jià)值的決定性因素。大數(shù)據(jù)分析普遍存在的方法如圖1所示。

1.3 大數(shù)據(jù)處理流程

大數(shù)據(jù)數(shù)據(jù)處理的三大原則：要全體不要抽樣，要效率不要絕對(duì)精確，要相關(guān)不要因果。具體的大數(shù)據(jù)處理方法確實(shí)有很多，主流的處理流程可以概括為四步，分別是采集、導(dǎo)入和預(yù)處理、統(tǒng)計(jì)和分析，最后是數(shù)據(jù)挖掘。

1.3.1 采集

大數(shù)據(jù)的采集是指利用多個(gè)數(shù)據(jù)庫(kù)來(lái)接收發(fā)自客戶(hù)端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶(hù)可以通過(guò)這些數(shù)據(jù)庫(kù)來(lái)進(jìn)行簡(jiǎn)單的查詢(xún)和處理工作。在大數(shù)據(jù)的采集過(guò)程中，其主要特點(diǎn)和挑戰(zhàn)是并發(fā)數(shù)高，因?yàn)橥瑫r(shí)有可能會(huì)有成千上萬(wàn)的用戶(hù)來(lái)進(jìn)行訪(fǎng)問(wèn)和操作，比如火車(chē)票售票網(wǎng)站和淘寶，它們并發(fā)的訪(fǎng)問(wèn)量在峰值時(shí)達(dá)到上百萬(wàn)，所以需要在采集端部署大量數(shù)據(jù)庫(kù)才能支撐。如何在這些數(shù)據(jù)庫(kù)之間進(jìn)行負(fù)載均衡和分片是采集的難點(diǎn)。

1.3.2 導(dǎo)入和預(yù)處理

雖然采集端本身會(huì)有很多數(shù)據(jù)庫(kù)，但是如果要對(duì)這些海量數(shù)據(jù)進(jìn)行有效的分析，還是應(yīng)該將這些來(lái)自前端的數(shù)據(jù)導(dǎo)入到一個(gè)集中的大型分布式數(shù)據(jù)庫(kù)，或者分布式存儲(chǔ)集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡(jiǎn)單的清洗和預(yù)處理工作。導(dǎo)入與預(yù)處理過(guò)程的特點(diǎn)和挑戰(zhàn)主要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量經(jīng)常會(huì)達(dá)到百兆，甚至千兆級(jí)別。

圖1 大數(shù)據(jù)分析方法

1.3.3 統(tǒng)計(jì)和分析

統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫(kù)，或者分布式計(jì)算集群來(lái)對(duì)存儲(chǔ)于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類(lèi)匯總等，以滿(mǎn)足大多數(shù)常見(jiàn)的分析需求。統(tǒng)計(jì)與分析這部分的主要特點(diǎn)和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對(duì)系統(tǒng)資源，特別是I/O會(huì)有極大的占用。

1.3.4 數(shù)據(jù)挖掘

與前面統(tǒng)計(jì)和分析過(guò)程不同的是，數(shù)據(jù)挖掘一般沒(méi)有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計(jì)算，從而起到預(yù)測(cè)的效果，從而實(shí)現(xiàn)一些高級(jí)別數(shù)據(jù)分析的需求。該過(guò)程的特點(diǎn)和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計(jì)算涉及的數(shù)據(jù)量和計(jì)算量都很大，常用數(shù)據(jù)挖掘算法都以單線(xiàn)程為主。

1.4 大數(shù)據(jù)實(shí)用工具

從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無(wú)法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘，但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)和云存儲(chǔ)、虛擬化技術(shù)?，F(xiàn)在大型大數(shù)據(jù)解決方案的提供商主要采用Hadoop平臺(tái)，Hadoop是一個(gè)由Apache基金會(huì)所開(kāi)發(fā)分布式系統(tǒng)基礎(chǔ)架構(gòu)。 Hadoop 是以一種成熟、可靠、高效、可伸縮的方式處理問(wèn)題的。Hadoop的結(jié)構(gòu)圖如圖2所示。

圖2 Hadoop結(jié)構(gòu)圖

HDFS:是 Hadoop的分布式文件系統(tǒng)，具有高可靠、高擴(kuò)展、高效性和高容錯(cuò)等特性。HDFS提供高傳輸率來(lái)訪(fǎng)問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。HDFS放寬了POSIX的要求，這樣可以流的形式訪(fǎng)問(wèn)文件系統(tǒng)中的數(shù)據(jù)。

MapReduce是用于并行處理大數(shù)據(jù)集的軟件框架?；贛apReduce寫(xiě)出來(lái)的應(yīng)用程序能夠運(yùn)行在由上千個(gè)商用機(jī)器組成的大型集群上，并以一種可靠容錯(cuò)的式并行處理上 TB級(jí)別的數(shù)據(jù)集。MapReduce極大地方便了編程人員將自己的程序運(yùn)行在分布式系統(tǒng)上。

HBase是一個(gè)分布式的基于列存儲(chǔ)的非關(guān)系型數(shù)據(jù)庫(kù)（NOSQL）。HBase的查詢(xún)效率很高，主要由于查詢(xún)和展示結(jié)果。HBase通過(guò)組織起節(jié)點(diǎn)內(nèi)所有機(jī)器的內(nèi)存，提供一個(gè)超大的內(nèi)存 Hash表，它需要組織自己的數(shù)據(jù)結(jié)構(gòu)，包括磁盤(pán)和內(nèi)存中的。

Hive是分布式的數(shù)據(jù)倉(cāng)庫(kù)工具。主要用來(lái)并行分布式處理大量數(shù)據(jù)。它可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供完整的sql查詢(xún)功能，可以將sql語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。

Zookeeper：分布式鎖設(shè)施，提供類(lèi)似 Google Chubby 的功能，由 Facebook貢獻(xiàn)。

Avro：新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代 Hadoop 原有的IPC機(jī)制。

Pig：大數(shù)據(jù)分析平臺(tái)，為用戶(hù)提供多種接口。

Ambari：Hadoop管理工具，可以快捷的監(jiān)控、部署、管理集群。

HCatalog：是面向 Apache Hadoop 框架的一個(gè)數(shù)據(jù)表管理層。它提供了數(shù)據(jù)表抽象功能，可支持在 Apache Hadoop 框架中將數(shù)據(jù)作為一系列數(shù)據(jù)表進(jìn)行處理。

2 大數(shù)據(jù)技術(shù)在空管監(jiān)控中的應(yīng)用

大數(shù)據(jù)已經(jīng)在各行各業(yè)引發(fā)各類(lèi)創(chuàng)新模式。隨著大數(shù)據(jù)的發(fā)展，行業(yè)漸進(jìn)融合，大數(shù)據(jù)給人們生活帶來(lái)翻天覆地的變化。大數(shù)據(jù)技術(shù)進(jìn)步將極大地惠及人們生活的方方面面，在家有智能管家?guī)椭闵罡篮?；外出?gòu)物，商家會(huì)根據(jù)你的消費(fèi)習(xí)慣將購(gòu)物信息通過(guò)無(wú)線(xiàn)互聯(lián)網(wǎng)推送給你；外出就餐，車(chē)載語(yǔ)音助手會(huì)幫你挑選餐廳并告訴你即時(shí)的周邊情況和停車(chē)狀況。衣食住行的便利將無(wú)處不在。迄今為止，大數(shù)據(jù)提升了電子政務(wù)和政府社會(huì)治理的效率、大數(shù)據(jù)提高了醫(yī)療服務(wù)質(zhì)量、大數(shù)據(jù)使美國(guó)的交通更加便利、大數(shù)據(jù)提升了教育質(zhì)量得到、大數(shù)據(jù)預(yù)警了經(jīng)濟(jì)危機(jī)、大數(shù)據(jù)有力的支撐了風(fēng)險(xiǎn)管理效率。大數(shù)據(jù)技術(shù)在民航空管監(jiān)控領(lǐng)域中也發(fā)揮了不可替代的作用。

根據(jù)民航總局“十二五”規(guī)劃文件中“提高空管設(shè)備運(yùn)行管理水平，加快值班和運(yùn)行管理系統(tǒng)建設(shè)，完善空管設(shè)備運(yùn)行監(jiān)控系統(tǒng)，健全空管設(shè)備維護(hù)維修體系。”的具體要求，中國(guó)電子科技集團(tuán)公司第二十研究所研發(fā)了一套專(zhuān)業(yè)的“民航空管設(shè)備大數(shù)據(jù)信息化分析管理應(yīng)用平臺(tái)”產(chǎn)品，該平臺(tái)已廣泛應(yīng)用于各空管局與空管分局的空管設(shè)備集中監(jiān)控系統(tǒng)。該平臺(tái)可接入的空管設(shè)備有數(shù)據(jù)語(yǔ)音系統(tǒng)、WAFS系統(tǒng)、氣象數(shù)據(jù)庫(kù)系統(tǒng)、管理生產(chǎn)運(yùn)行管理信息系統(tǒng)、GPS系統(tǒng)、航行情報(bào)發(fā)布系統(tǒng)、辦公系統(tǒng)、自動(dòng)轉(zhuǎn)報(bào)系統(tǒng)、航管自動(dòng)化系統(tǒng)、全向信標(biāo)/測(cè)距儀（DVOR/DME)設(shè)備、儀表著陸設(shè)備、二次雷達(dá)（SSR）設(shè)備、一次雷達(dá)（PSR）設(shè)備、場(chǎng)面監(jiān)視雷達(dá)、VHF收發(fā)信機(jī)設(shè)備、內(nèi)話(huà)系統(tǒng)設(shè)備狀況/語(yǔ)音交換系統(tǒng)、氣象自動(dòng)觀(guān)測(cè)系統(tǒng)設(shè)備和空管通信網(wǎng)絡(luò)綜合監(jiān)控系統(tǒng)等，同時(shí)還包括設(shè)備運(yùn)行的動(dòng)力、環(huán)境、安全防范等動(dòng)環(huán)監(jiān)控。

到2020全國(guó)空管設(shè)備數(shù)量將達(dá)到數(shù)十萬(wàn)臺(tái)套，各種設(shè)備的運(yùn)行維護(hù)參數(shù)又極為龐大，長(zhǎng)期運(yùn)行下來(lái)，每一個(gè)設(shè)備的數(shù)據(jù)將達(dá)到TB級(jí)別，全國(guó)總數(shù)據(jù)將達(dá)到EB級(jí)別，對(duì)于這么龐大數(shù)據(jù)的存儲(chǔ)與分析將成為一個(gè)新的挑戰(zhàn)?！懊窈娇展茉O(shè)備大數(shù)據(jù)信息化分析管理應(yīng)用平臺(tái)”中大數(shù)據(jù)技術(shù)的引入，有效的解決這一難題。

2.1 平臺(tái)組成

“民航空管設(shè)備大數(shù)據(jù)信息化分析管理應(yīng)用平臺(tái)”主要用于民航（空管、機(jī)場(chǎng)）領(lǐng)域，該平臺(tái)由空管設(shè)備采集系統(tǒng)、數(shù)據(jù)組網(wǎng)傳輸系統(tǒng)、大數(shù)據(jù)分布式存儲(chǔ)、綜合數(shù)據(jù)信息化管理系統(tǒng)四部分組成。總體架構(gòu)如圖3。

在不影響空管設(shè)備正常運(yùn)行和現(xiàn)行本機(jī)監(jiān)控的前提下，設(shè)備采集系統(tǒng)采用目前先進(jìn)、成熟的設(shè)備接入、采集、通信等監(jiān)控技術(shù)，實(shí)現(xiàn)對(duì)目前民航通信、導(dǎo)航、監(jiān)視、氣象、情報(bào)等設(shè)備運(yùn)行狀態(tài)的實(shí)時(shí)采集；數(shù)據(jù)組網(wǎng)傳輸系統(tǒng)通過(guò)空管ATM網(wǎng)絡(luò)的建設(shè)，構(gòu)成了臺(tái)站、地方、區(qū)域、全國(guó)四級(jí)空管設(shè)備集中監(jiān)控網(wǎng)絡(luò)體系；大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)利用Hadoop平臺(tái)構(gòu)建了可動(dòng)態(tài)調(diào)配的分布式存儲(chǔ)結(jié)構(gòu)，并采用NOSQL數(shù)據(jù)庫(kù)進(jìn)行海量數(shù)據(jù)的存儲(chǔ)；綜合數(shù)據(jù)信息化管理系統(tǒng)利用空管設(shè)備大量參數(shù)數(shù)據(jù)進(jìn)行分析處理，為用戶(hù)提供設(shè)備實(shí)時(shí)告警、設(shè)備故障診斷、設(shè)備備件管理、歷史回放、狀態(tài)統(tǒng)計(jì)、運(yùn)行狀態(tài)趨勢(shì)分析、現(xiàn)行設(shè)備性能總體分析等一系列功能，并且實(shí)現(xiàn)監(jiān)控、維護(hù)、管理等多部門(mén)之間的工作流轉(zhuǎn)，實(shí)現(xiàn)整個(gè)空管系統(tǒng)設(shè)備的自動(dòng)化管理。并可以為空管部門(mén)提供現(xiàn)有機(jī)場(chǎng)或航路服務(wù)保障能力評(píng)估。同時(shí)可以通過(guò)專(zhuān)家系統(tǒng)，進(jìn)行設(shè)備遠(yuǎn)程分析指導(dǎo)和維護(hù)。

圖3 平臺(tái)架構(gòu)圖

2.2 平臺(tái)實(shí)現(xiàn)

該平臺(tái)中采用了主流的Hadoop平臺(tái)架構(gòu)，使用HDFS作為分布式文件系統(tǒng)，HBase作為分布式NoSQL列數(shù)據(jù)庫(kù)，Hive作為處理數(shù)據(jù)倉(cāng)庫(kù)，并使用 MapReduce進(jìn)行并行計(jì)算。該平臺(tái)具有實(shí)時(shí)監(jiān)控、專(zhuān)家系統(tǒng)、數(shù)據(jù)挖掘和趨勢(shì)分析等功能，本系統(tǒng)能夠自動(dòng)接收各空管設(shè)備采集接收單元監(jiān)測(cè)的實(shí)時(shí)數(shù)據(jù)，分別以圖形、WebGIS和表格等多種展現(xiàn)形式展現(xiàn)，并提供實(shí)時(shí)告警與歷史查詢(xún)，通過(guò)分析引擎，根據(jù)事先規(guī)定好的的模型進(jìn)行數(shù)據(jù)挖掘與分析，分析空管設(shè)備運(yùn)行趨勢(shì)和關(guān)聯(lián)性，同時(shí)對(duì)維修單位提供專(zhuān)家系統(tǒng)服務(wù)。在空管設(shè)備出現(xiàn)故障時(shí)在WebGIS地圖上直觀(guān)震撼的方式閃爍報(bào)警加以提示。系統(tǒng)還提供了設(shè)備狀態(tài)歷史查詢(xún)、仿真界面、連接拓?fù)?、歷史回放、狀態(tài)統(tǒng)計(jì)等功能，同時(shí)該系統(tǒng)還為部分空管設(shè)備國(guó)產(chǎn)化提供了大量寶貴的數(shù)據(jù)支持。圖4為某國(guó)際機(jī)場(chǎng)的空管設(shè)備運(yùn)行狀況顯示。

圖4 某國(guó)際機(jī)場(chǎng)空管設(shè)備運(yùn)行狀況圖

2.3 專(zhuān)家系統(tǒng)

專(zhuān)家系統(tǒng)模塊主要是通過(guò)空管設(shè)備領(lǐng)域大量數(shù)據(jù)挖掘產(chǎn)生的知識(shí)以及這個(gè)領(lǐng)域?qū)＜业慕?jīng)驗(yàn)相結(jié)合，利用具有專(zhuān)家推理方法的計(jì)算機(jī)模型,模仿人類(lèi)專(zhuān)家的知識(shí)和解決問(wèn)題的方法來(lái)處理設(shè)備故障排查以及維修等問(wèn)題。同時(shí)該模塊還具有自學(xué)習(xí)功能，可將新的故障現(xiàn)象記錄并轉(zhuǎn)換為知識(shí)進(jìn)行存儲(chǔ)。

該模塊可以回放設(shè)備故障前一天的設(shè)備運(yùn)行參數(shù)與狀態(tài)信息，通過(guò)該設(shè)備故障時(shí)的參數(shù)指示，結(jié)合專(zhuān)家系統(tǒng)中優(yōu)化決策樹(shù)，判斷出該設(shè)備故障描述、故障原因以及專(zhuān)家意見(jiàn)。例如THALES廠(chǎng)家的DME設(shè)備監(jiān)控器出現(xiàn)問(wèn)題，設(shè)備進(jìn)行了告警提示，通過(guò)對(duì)設(shè)備參數(shù)的判斷專(zhuān)家系統(tǒng)給出故障描述與故障原因分析，最后給出專(zhuān)家意見(jiàn)為“通過(guò)更換雙機(jī)監(jiān)控器K1649中的U7、U8集成模塊，下滑發(fā)射機(jī)電池工作時(shí)面板預(yù)警指示燈亮，設(shè)備預(yù)警功能正?！?，如圖5所示。

圖5 專(zhuān)家系統(tǒng)

2.4 趨勢(shì)分析系統(tǒng)

趨勢(shì)分析模塊通過(guò)對(duì)大數(shù)據(jù)的分析發(fā)現(xiàn)新的信息與知識(shí)，從而為進(jìn)行數(shù)據(jù)建模，根據(jù)對(duì)過(guò)去同種設(shè)備運(yùn)行性能的分析了解來(lái)進(jìn)行未來(lái)性能趨勢(shì)的預(yù)測(cè)，主要針對(duì)時(shí)間變化的對(duì)象進(jìn)行規(guī)律或趨勢(shì)挖掘，例如對(duì)某國(guó)際機(jī)場(chǎng)-NM7033西航向設(shè)備輸出功率分析趨勢(shì)，該設(shè)備之前的歷史數(shù)據(jù)與飛行器數(shù)量分布、溫濕度數(shù)據(jù)、NM7033發(fā)射信號(hào)強(qiáng)度等多組數(shù)據(jù)進(jìn)行COLS-BSVR算法計(jì)算，得出了未來(lái)一周該設(shè)備的輸出功率趨勢(shì)。

隨著大數(shù)據(jù)技術(shù)在空管集中監(jiān)控系統(tǒng)中的應(yīng)用，有效解決了空管部門(mén)管理落后、維修保障難度大費(fèi)用高等多方面問(wèn)題，顯著提高空管運(yùn)行管理水平和安全保障能力，從而為民航飛行安全提供全面保障，有利于保障國(guó)家和人民生命財(cái)產(chǎn)安全，保障經(jīng)濟(jì)建設(shè)、保障和諧社會(huì)的發(fā)展。

3 結(jié)束語(yǔ)

大數(shù)據(jù)已經(jīng)深耕于政府、互聯(lián)網(wǎng)、電信、金融、IT等領(lǐng)域并創(chuàng)造了巨大的經(jīng)濟(jì)價(jià)值，歐美等發(fā)達(dá)國(guó)家更是把數(shù)據(jù)資產(chǎn)上升到國(guó)家信息戰(zhàn)略高度。作為全球大數(shù)據(jù)產(chǎn)業(yè)的重要組成，中國(guó)大數(shù)據(jù)潛在市場(chǎng)規(guī)模未來(lái)有望達(dá)到2萬(wàn)億人民幣。數(shù)據(jù)產(chǎn)業(yè)的發(fā)展對(duì)于我國(guó)全面建成工業(yè)化、信息化、城鎮(zhèn)化、農(nóng)業(yè)現(xiàn)代化的發(fā)展的起著至關(guān)重要的作用。大數(shù)據(jù)技術(shù)的應(yīng)用對(duì)我們深刻領(lǐng)會(huì)世情和國(guó)情，把握規(guī)律，實(shí)現(xiàn)科學(xué)發(fā)展，做出科學(xué)決策都具有非常重要的意義。

[1]Tom White.Hadoop:The Definitive Guide [M].The US:OReilly Media,Inc,2009.

[2]JoyK1.Massive data visualization:a survey[C],Moeller T,Hamann B,Russeleds RD,2009:285-302.

[3]曹強(qiáng),黃建忠,萬(wàn)繼光,謝長(zhǎng)生.海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)原理與設(shè)計(jì)[M].武漢:華中科技大學(xué)出版社,2010,196-198.

[4]劉琨,李?lèi)?ài)菊,董龍江.基于 Hadoop的海量數(shù)據(jù)存儲(chǔ)的研究及實(shí)現(xiàn)[J].微計(jì)算機(jī)信息,2011,27(7):220-221.

[5]黃曉云.基于 HDFS 的海量數(shù)據(jù)存儲(chǔ)服務(wù)系統(tǒng)研究[D].大連海事大學(xué),2010.