文/翟霞

1 引言

全球多家研究機(jī)構(gòu)統(tǒng)計(jì)數(shù)據(jù)顯示，大數(shù)據(jù)產(chǎn)業(yè)將迎來(lái)發(fā)展黃金期，IDC 預(yù)計(jì)，大數(shù)據(jù)和分析市場(chǎng)將從2016年的1300 億美元增長(zhǎng)到2020年的2030 億美元以上，中國(guó)報(bào)告大廳發(fā)布的大數(shù)據(jù)行業(yè)報(bào)告數(shù)據(jù)也說明，自2017年起，未來(lái)2-3年的市場(chǎng)規(guī)模增長(zhǎng)率將保持在35%左右。大數(shù)據(jù)像空氣一樣，隨處可見，日積月累的海量數(shù)據(jù)不得不讓人們重新考慮大數(shù)據(jù)的存儲(chǔ)和管理。

2 傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)面臨的挑戰(zhàn)

基于二維關(guān)系模型的數(shù)據(jù)庫(kù)在數(shù)據(jù)管理的發(fā)展歷程中是一個(gè)標(biāo)志性的時(shí)期，數(shù)據(jù)結(jié)構(gòu)化存儲(chǔ)，冗余較低、程序和數(shù)據(jù)具有一定的獨(dú)立性、易擴(kuò)充等特點(diǎn)。隨著Internet技術(shù)的發(fā)展，涌現(xiàn)出半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，對(duì)這些結(jié)構(gòu)復(fù)雜的大數(shù)據(jù)的高效實(shí)時(shí)多維分析的需求越來(lái)越多。傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)從70年代發(fā)展至今，雖然應(yīng)用范圍較廣技術(shù)較成熟，但在處理海量數(shù)據(jù)方面還存在許多不足。

（1）關(guān)系模型結(jié)構(gòu)制約了快速訪問大數(shù)據(jù)的能力。在二維關(guān)系表中，依據(jù)屬性的值來(lái)檢索相應(yīng)的元組，受這種方式的束縛，在檢索數(shù)據(jù)過程中，將耗費(fèi)一定的時(shí)間，從而使訪問數(shù)據(jù)的時(shí)間較慢。在存儲(chǔ)對(duì)象設(shè)計(jì)上雖然可以使用分區(qū)的方法，提高數(shù)據(jù)訪問沖突，但在大量數(shù)據(jù)的前提下，分區(qū)技術(shù)改善的性能較微弱。

（2）處理大數(shù)據(jù)的靈活性不足。在應(yīng)用系統(tǒng)中，用戶的各種查詢需求經(jīng)常發(fā)生變化，不受時(shí)間和操作對(duì)象的約束，用戶希望隨時(shí)隨地都能快速得到反饋結(jié)果。關(guān)系型數(shù)據(jù)庫(kù)需要專門的數(shù)據(jù)庫(kù)維護(hù)人員對(duì)用戶的查詢要求進(jìn)行優(yōu)化處理，不能及時(shí)的反饋給用戶查詢結(jié)果，這使得使用關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)的企業(yè)不具備對(duì)大數(shù)據(jù)的快速響應(yīng)能力。

（3）處理復(fù)雜結(jié)構(gòu)數(shù)據(jù)能力較弱。關(guān)系型數(shù)據(jù)庫(kù)對(duì)現(xiàn)實(shí)數(shù)據(jù)的處理常見類型為字符、數(shù)值等，對(duì)于半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理只限于二進(jìn)制代碼文件的存儲(chǔ)，而現(xiàn)今用戶對(duì)復(fù)雜結(jié)構(gòu)數(shù)據(jù)的要求上升為識(shí)別、檢索和多維分析，如何處理占總數(shù)據(jù)量85%的非結(jié)構(gòu)化數(shù)據(jù)，是許多關(guān)系數(shù)據(jù)庫(kù)產(chǎn)品需要解決的問題。

（4）存儲(chǔ)維護(hù)管理PB 級(jí)數(shù)據(jù)導(dǎo)致成本不斷增加。數(shù)據(jù)量遞增使得企業(yè)在硬件存儲(chǔ)上投資不斷增加，雖然存儲(chǔ)設(shè)備的投入成本在逐步降低，但總成本卻在逐步提高。此外，大量復(fù)雜結(jié)構(gòu)的數(shù)據(jù)維護(hù)工作也給數(shù)據(jù)庫(kù)管理員增加了很多負(fù)擔(dān)。

3 大數(shù)據(jù)庫(kù)技術(shù)

隨著大數(shù)據(jù)技術(shù)的日趨完善，各大公司及開源社區(qū)都陸續(xù)發(fā)布了一系列新型數(shù)據(jù)庫(kù)來(lái)解決海量數(shù)據(jù)的組織、存儲(chǔ)及管理問題。目前，工業(yè)界主流的處理海量數(shù)據(jù)的數(shù)據(jù)庫(kù)有四種，分別是列式數(shù)據(jù)庫(kù)、內(nèi)存數(shù)據(jù)庫(kù)、鍵值數(shù)據(jù)庫(kù)及流式數(shù)據(jù)庫(kù)。

3.1 列式數(shù)據(jù)庫(kù)

采用列族存儲(chǔ)數(shù)據(jù)，將經(jīng)常被使用的數(shù)據(jù)放到一個(gè)列族中，例如，經(jīng)常會(huì)查詢學(xué)生的學(xué)號(hào)和姓名，而不是專業(yè)，這樣把學(xué)號(hào)和姓名放到一個(gè)列族中，專業(yè)放到另一個(gè)列族中，該數(shù)據(jù)庫(kù)通常用來(lái)存儲(chǔ)分布式大數(shù)據(jù)，HBase 是列式數(shù)據(jù)庫(kù)的典型代表。

3.2 內(nèi)存數(shù)據(jù)庫(kù)

對(duì)數(shù)據(jù)庫(kù)中所有數(shù)據(jù)的操作都在內(nèi)存中完成，一般數(shù)據(jù)庫(kù)也有一定的緩存機(jī)制，對(duì)大部分?jǐn)?shù)據(jù)的操作都包含從外存到內(nèi)存的讀取，這一過程在很大程度上降低了系統(tǒng)的性能。由于在內(nèi)存中的讀/寫是以納秒為單位的，所以內(nèi)存數(shù)據(jù)庫(kù)的性能極高，Spark 是內(nèi)存數(shù)據(jù)庫(kù)的典型代表。

3.3 鍵值數(shù)據(jù)庫(kù)

該數(shù)據(jù)庫(kù)主要借助哈希表的結(jié)構(gòu)，使用一個(gè)特定的鍵和一個(gè)指向特定數(shù)據(jù)的指針，利用鍵來(lái)完成對(duì)數(shù)據(jù)庫(kù)中數(shù)據(jù)的添加、刪除和查詢操作，這種結(jié)構(gòu)具有很好的擴(kuò)展性，使系統(tǒng)具有較高的性能，Memcached、Redis、MemcacheDB 都是鍵值數(shù)據(jù)庫(kù)的典型代表。

3.4 流式數(shù)據(jù)庫(kù)

基本理念是數(shù)據(jù)的價(jià)值會(huì)隨著時(shí)間的流逝而不斷減少，因此，需要使式數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)流式計(jì)算。流式計(jì)算處理模式是將源源不斷的數(shù)據(jù)視為數(shù)據(jù)流，它總是盡可能快速地分析最新的數(shù)據(jù)，并給出分析結(jié)果，也就是盡可能實(shí)現(xiàn)實(shí)時(shí)計(jì)算。典型流式數(shù)據(jù)庫(kù)：Spark Streaming、Storm。

4 大數(shù)據(jù)SQL

大數(shù)據(jù)查詢分析是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交互模式中的核心問題。由Apache Lucene 的創(chuàng)始人 Doung Cutting 使用GFS、Map-Reduce 技術(shù)支持創(chuàng)建的Apache Hadoop，是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。Hadoop 技術(shù)無(wú)處不在，其發(fā)展得益于 Google 發(fā)表的關(guān)于GFS 和 MapReduce 的論文。在開源世界，Apache Hadoop 的分布式文件系統(tǒng)HDFS 和 Hadoop MapReduce 完全是谷歌文件系統(tǒng) GFS 和 MapReduce 的開源實(shí)現(xiàn)。Hadoop 項(xiàng)目已經(jīng)發(fā)展成為一個(gè)生態(tài)圈，觸及了大數(shù)據(jù)領(lǐng)域的各個(gè)方面。由Google 的 BigTable 和Amazon 的Dynamo 使用的NoSQL 數(shù)據(jù)庫(kù)，提倡使用非關(guān)系型的數(shù)據(jù)存儲(chǔ)，這一全新的思維的注入，打破了關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)在商用數(shù)據(jù)庫(kù)領(lǐng)域幾十年的統(tǒng)治性地位。

5 小結(jié)

本文在分析了大數(shù)據(jù)研究現(xiàn)狀后，對(duì)傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)面臨的挑戰(zhàn)進(jìn)行了介紹，在此基礎(chǔ)上研究分析了當(dāng)前主流的大數(shù)據(jù)庫(kù)技術(shù)以及大數(shù)據(jù)查詢分析。對(duì)開發(fā)一個(gè)大數(shù)據(jù)庫(kù)項(xiàng)目而言，技術(shù)是不斷更新變換的，哪種技術(shù)能被使用的時(shí)間越久，關(guān)鍵在于誰(shuí)的生態(tài)系統(tǒng)更強(qiáng)，能夠高效的應(yīng)對(duì)用戶各種隨機(jī)變化的需求。