呂冬雪

（北京工業(yè)大學 北京　100124）

基于大數(shù)據(jù)環(huán)境的NoSQL技術分析

呂冬雪

（北京工業(yè)大學 北京100124）

傳統(tǒng)關系數(shù)據(jù)庫滿足不了當前海量數(shù)據(jù)的高效存儲和管理、高并發(fā)訪問、高可用性、高擴展性、高容錯性等特點的大數(shù)據(jù)環(huán)境，同時，NoSQL技術在海量數(shù)據(jù)存儲方面展現(xiàn)了許多優(yōu)秀性能，因此，NoSQL技術越來越受到重視。本文總結了大數(shù)據(jù)環(huán)境對數(shù)據(jù)存儲的挑戰(zhàn)，重點分析了NoSQL的理論基礎、系統(tǒng)架構、數(shù)據(jù)模型、關鍵技術、安全問題等，并分析了幾種典型的NoSQL數(shù)據(jù)庫。

大數(shù)據(jù)；NoSQL；關系數(shù)據(jù)庫；數(shù)據(jù)存儲

隨著云計算、物聯(lián)網(wǎng)、數(shù)據(jù)挖掘等新一代技術的發(fā)展，在移動計算、社交網(wǎng)絡等業(yè)務的推動下，大數(shù)據(jù)技術產(chǎn)生并迅速地建立起生態(tài)體系。然而，大數(shù)據(jù)在推動技術變革的同時，對海量數(shù)據(jù)的存儲、并發(fā)訪問、擴展等要求越來越高。例如，在Web2.0的社交網(wǎng)站中有龐大的用戶群，每時每刻都有大量的數(shù)據(jù)量訪問，因而會產(chǎn)生大量的日志和資料等，其數(shù)據(jù)量已經(jīng)達到PB級別。對于這些海量的數(shù)據(jù)，不但包括結構化數(shù)據(jù)，更多的是包括非結構化數(shù)據(jù)，傳統(tǒng)關系數(shù)據(jù)庫不能很好、及時地處理這些數(shù)據(jù)，其ACID（Atomicity、Consistency、Isolation、Durability）原則、結構規(guī)整、表連接操作等特性成為制約海量數(shù)據(jù)存儲的瓶頸［1］。NoSQL就是為了解決海量數(shù)據(jù)的存儲而提出的，具有數(shù)據(jù)模型靈活、并發(fā)訪問高、易于擴展和伸縮、開發(fā)效率高、開發(fā)成本低等優(yōu)點。

本文先是分析了在大數(shù)據(jù)環(huán)境下對海量數(shù)據(jù)存儲的挑戰(zhàn)，然后分析了NoSQL技術，主要從理論基礎、系統(tǒng)架構、數(shù)據(jù)模型、關鍵技術、安全問題等幾個方面進行分析，最后對當前主流的NoSQL數(shù)據(jù)庫進行總結分析。

1　大數(shù)據(jù)環(huán)境對數(shù)據(jù)存儲的挑戰(zhàn)

早在2012年，《紐約時報》就已經(jīng)刊稱“大數(shù)據(jù)時代”已經(jīng)來臨，我們現(xiàn)在已經(jīng)處于大數(shù)據(jù)時代。大數(shù)據(jù)對當前數(shù)據(jù)存儲、訪問和管理帶來了前所未有的挑戰(zhàn)［2］：

1）高并發(fā)讀寫需求。對于提供實時性、動態(tài)性的社交網(wǎng)站、微博等，往往需要達到每秒上萬次的讀寫請求，這種很高的并發(fā)性對數(shù)據(jù)庫的并發(fā)負載相當大，特別是對于傳統(tǒng)關系數(shù)據(jù)庫的硬盤I/0是個很大的負擔。

2）高效率存儲和訪問需求。每天產(chǎn)生的數(shù)據(jù)量是巨大的，采用傳統(tǒng)的關系數(shù)據(jù)庫將海量數(shù)據(jù)放到具有結構固定的二維表中，不管是查詢還是更新等操作效率都非常低。

3）高擴展性。關系數(shù)據(jù)庫是很難水平擴展的。當數(shù)據(jù)量和訪問量多到需要增加硬件和服務器節(jié)點來擴大容量和負載量，關系數(shù)據(jù)庫必須停機維護和數(shù)據(jù)遷移，這對一個需要24小時不停服務的網(wǎng)站是非常不可取的。

大數(shù)據(jù)要求數(shù)據(jù)管理系統(tǒng)既能海量數(shù)據(jù)存儲，又能高效率的并發(fā)讀寫和訪問，同時必須支持擴展性和可伸縮性。NoSQL數(shù)據(jù)庫作為關系數(shù)據(jù)庫的補充，彌補了關系數(shù)據(jù)庫在這些方面的不足，滿足了海量數(shù)據(jù)的存儲、訪問和管理。

2　NoSQL技術

NoSQL（Not Only SQL）伴隨互聯(lián)網(wǎng)web2.0產(chǎn)生，是一種非關系型、分布式、不遵循ACID、不提供SQL的數(shù)據(jù)庫總稱。它并不是單純地反對關系數(shù)據(jù)庫，而是在靈活性、擴展性、性能等方面對關系數(shù)據(jù)庫的補充［3］。NoSQL通過采用簡單數(shù)據(jù)模型、元數(shù)據(jù)和應用數(shù)據(jù)分離、弱一致性等技術能滿足海量數(shù)據(jù)的存儲要求。伴隨大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)等新一代技術的迅速發(fā)展，NoSQL越來越成熟。

2.1理論基礎

CAP理論。CAP理論［3-4］是NoSQL的基石，分別代表一致性、可用性、分區(qū)容錯性3個特性。根據(jù)CAP理論，數(shù)據(jù)共享系統(tǒng)只能滿足這3個特性中的兩個，而不能同時滿足3個條件［3-4］。而由于當前的網(wǎng)絡硬件條件限制肯定會出現(xiàn)延遲丟包等問題，所以分區(qū)容錯性是我們必須需要實現(xiàn)的［6］。因此，系統(tǒng)設計者需要在一致性和可用性之間進行權衡和取舍。

BASE理論。由于對可用性及分區(qū)容錯性的要求高于強一致性，并且很難滿足事務所要求的ACID特性，因此BASE理論［3，5］被提出。Base理論組成包括：基本可用、軟狀態(tài)和最終一致性?；究捎檬侵赶到y(tǒng)能夠保持基本可用的狀態(tài)一直為用戶提供服務；軟狀態(tài)是指系統(tǒng)不要求強一致狀態(tài)，可以異步；最終一致性是指系統(tǒng)在一定時間內(nèi)保持數(shù)據(jù)一致［3，5］。Base理論是CAP理論的演化，完全不同于關系數(shù)據(jù)庫的ACID特性，它通過犧牲強一致性獲得基本一致性和柔性可靠性，達到最終一致性來提高可用性和系統(tǒng)性能。NoSQL遵循Base理論。

2.2系統(tǒng)架構

目前，NoSQL數(shù)據(jù)庫有許多解決方案，但其系統(tǒng)架構主要分為兩類：Master-Slave架構和P2P（Peer to Peer）環(huán)狀架構。Master-Slave架構［6］通常是由一個master節(jié)點（管理節(jié)點）和多個slave節(jié)點（計算節(jié)點）組成，master節(jié)點負責管理整個系統(tǒng)，并監(jiān)控所有slave節(jié)點的狀態(tài)實現(xiàn)負載均衡；而slave節(jié)點是數(shù)據(jù)存儲節(jié)點，每個salve節(jié)點需要維護一個本地數(shù)據(jù)的索引表并定期向master節(jié)點匯報自己的運行和負載情況。Master-Slave架構系統(tǒng)設計的優(yōu)點是比較簡單、可控性好、維護簡便，缺點是master節(jié)點會成為制約性能的瓶頸［6］。Bigtable和HBase采用Master-Slave架構。在P2P環(huán)狀架構［6］中，系統(tǒng)節(jié)點通過“一致性哈希算法”連接一個環(huán)，每個節(jié)點處于平等地位而沒有主次之分，每個節(jié)點存儲和管理數(shù)據(jù)。P2P架構系統(tǒng)設計的優(yōu)點是負載均衡、協(xié)調性好、擴展方便，缺點是系統(tǒng)較為復雜、可控性差。Cassandra和Dynamo采用P2P架構。

2.3數(shù)據(jù)模型

從數(shù)據(jù)模型的角度，根據(jù)數(shù)據(jù)的存儲模型和特點，NoSQL數(shù)據(jù)庫有很多分類，主要有以下四種典型的類型［3］：鍵值存儲數(shù)據(jù)模型、列式存儲數(shù)據(jù)模型、文檔存儲數(shù)據(jù)模型、圖形存儲數(shù)據(jù)模型。

鍵值存儲數(shù)據(jù)模型。鍵值存儲數(shù)據(jù)模型的思想源自于哈希表中的key-value（鍵值對），是NoSQL數(shù)據(jù)庫經(jīng)常采用的存儲形式。key-value是一個映射，key是經(jīng)過計算得到關鍵字，value是存儲的內(nèi)容。在鍵值存儲數(shù)據(jù)模型中，數(shù)據(jù)按照key-value的形式進行組織、存儲和索引。對于海量數(shù)據(jù)存儲系統(tǒng)來說，鍵值存儲模型弱化了數(shù)據(jù)結構，易于實現(xiàn)，具有極高的并發(fā)讀寫性能。但是，不適合批量數(shù)據(jù)的查詢、更新操作，也不支持特別復雜邏輯的數(shù)據(jù)操作［3］。采用此類型存儲的數(shù)據(jù)庫系統(tǒng)有Redis、Dynamo等。

列式存儲數(shù)據(jù)模型。列式存儲數(shù)據(jù)模型也采用類似“表”的傳統(tǒng)數(shù)據(jù)模型，相對于關系數(shù)據(jù)庫用“行”來存儲數(shù)據(jù)，它主要采取了“列”存儲。列式存儲通過將同一列的數(shù)據(jù)盡可能地存儲在硬盤同一個頁中，同時支持“列族”（多個列并為一個組，即列族）特性，能提高存儲空間利用率和查詢效率，節(jié)省大量的I/O操作［3］。由于列式存儲是面向大數(shù)據(jù)環(huán)境下的數(shù)據(jù)分析和數(shù)據(jù)倉庫而生，會有寫入效率低、數(shù)據(jù)完整性稍差等缺點。采用此類型存儲的數(shù)據(jù)庫系統(tǒng)有 Bigtable、Cassandra、Hbase、HyperTable等。

文檔存儲數(shù)據(jù)模型。文檔存儲數(shù)據(jù)模型沒有關系數(shù)據(jù)庫的存儲模式，存儲格式多樣，其數(shù)據(jù)通常以JSON或者類似JSON格式（例如XML、BSON等）的文檔進行存儲。它可以通過復雜的查詢條件來獲取數(shù)據(jù)，在部分應用中，文檔型數(shù)據(jù)庫比鍵值型數(shù)據(jù)庫的查詢效率更高，比較容易使用，支持嵌套結構，擴展性強；缺點是存儲的是非結構化數(shù)據(jù)，不具備關系數(shù)據(jù)的事務處理和JSON處理能力［3］。采用此類型存儲的數(shù)據(jù)庫系統(tǒng)有MongoDB、CouchDB等。

圖形存儲數(shù)據(jù)模型。圖形存儲數(shù)據(jù)模型［2］以網(wǎng)格結構的圖理論為基礎，由節(jié)點、關系和屬性組成，用節(jié)點表示實體對象，用邊表示實體對象之間關系。采用圖結構存儲數(shù)據(jù)應用圖算法進行各種復雜的運算，如最短路徑計算、集中度測量等［3］。采用此類型存儲的數(shù)據(jù)庫系統(tǒng)有Neo4j、GraphDB等。

2.4關鍵技術

為了適應高并發(fā)的讀寫、高效率的存儲和訪問以及高擴展性和可用性等需求的大數(shù)據(jù)環(huán)境，NoSQL數(shù)據(jù)庫迅速發(fā)展，其關鍵技術主要集中在數(shù)據(jù)的分區(qū)、放置、處理、復制、容錯、壓縮、緩存等方面。

數(shù)據(jù)分區(qū)和放置。在不斷地解決數(shù)據(jù)存儲空間和數(shù)據(jù)庫性能問題的過程中，為了有效地存儲、處理大量的數(shù)據(jù)，采用“分而治之”思想的數(shù)據(jù)分區(qū)技術出現(xiàn)。分區(qū)能夠減少管理操作的時間，縮小查詢操作的范圍，提高了數(shù)據(jù)的可用性、系統(tǒng)的性能和維護的效率。根據(jù)數(shù)據(jù)的特點和用戶的需求，分區(qū)技術主要有范圍分區(qū)、列表分區(qū)、哈希分區(qū)等。

對于海量數(shù)據(jù)的放置策略，有許多的研究算法，其中“一致性哈?！彼惴üJ度最高。具體思想是［3，7］：第一步，在一個虛擬的環(huán)形哈?？臻g，組織方式是順時針，哈希函數(shù)H的值空間是0～（232-1），0和232-1在時針零點鐘重合（圖1）；第二步，按照服務器的主機名或者IP地址對每臺服務器進行哈希尋址，例如3臺服務器節(jié)點ServerA、ServerB、ServerC使用IP尋址后在環(huán)上的位置 （圖2），Key值分別是KeyA、KeyB、KeyC；第三步，通過哈希算法得出數(shù)據(jù)對象在環(huán)的空間位置，順時針判斷數(shù)據(jù)存儲的服務器節(jié)點，比如4個數(shù)據(jù)對象Object1、Object2、Object3、Object4的 Key值分別是 Key1、Key2、Key3、Key4，則Object1存儲在ServerA、Object4存儲在ServerC、Object2和Object3存儲在ServerB（圖3）。

圖1　一般哈?？臻g

圖2　有3臺服務器節(jié)點分布的哈?？臻g

圖3　數(shù)據(jù)對象分布的哈?？臻g

在容錯性方面［3，7］，例如ServerC突然停機，根據(jù)一致性哈希算法，原來存儲在ServerC的數(shù)據(jù)對象Object4將順時針存儲在下一個服務器ServerB（圖4）。在擴展性方面［3，7］，如果需要新加一個ServerD，首先根據(jù)IP進行尋址得出ServerD在空間位置 （例如在ServerD地址空間在數(shù)據(jù)對象Obejct2和Object3之間），則Object2將存儲在ServerD，其他不變（圖5）。

圖4　減少服務器節(jié)點后的哈?？臻g（容錯性）

圖5　增加服務器節(jié)點后的哈?？臻g（擴展性）

在負載均衡方面［3，7］，一致性哈希算法引入了“虛擬節(jié)點”的概念，即將每臺服務器都在環(huán)形哈?？臻g上映射多個虛擬節(jié)點。在沒有虛擬節(jié)點之前，系統(tǒng)中ServerB的訪問和存儲量遠遠小于ServerA的訪問和存儲量，造成負載不均衡（圖6）。引入虛擬節(jié)點后，計算出數(shù)據(jù)的哈?？臻g值后按照順時針方向找到服務器節(jié)點，這個節(jié)點是虛擬的，實際上數(shù)據(jù)是存儲在這個虛擬節(jié)點對應的實際服務器上。例如，ServerA和ServerB都映射了兩個虛擬節(jié)點 ServerA#1、ServerA#2和ServerB#1、ServerB#2（圖7），數(shù)據(jù)可以均勻分布這4個節(jié)點上，解決了負載不均衡的問題。

圖6　負載不平衡的哈希空間

圖7　增加虛擬節(jié)點后的哈?？臻g（負載均衡）

數(shù)據(jù)處理。并行計算是解決大規(guī)模數(shù)據(jù)處理的方法之一，其計算模型主要分為三大類：MPI技術、Map/Reduce計算、Dryad并行計算模型。MPI是并行計算的編程接口標準；Dryad是微軟為并行處理海量數(shù)據(jù)而設計的分布式架構。Map/Reduce［8］是Google提出的大規(guī)模數(shù)據(jù)的并行計算模型，數(shù)據(jù)處理過程主要分成兩個階段：Map階段、Reduce階段。具體過程是：首先Map/Reduce框架將輸入的數(shù)據(jù)集分成若干個獨立的數(shù)據(jù)塊，由Map任務以并行的方式執(zhí)行；其次，Map/ Reduce框架先對Map的輸出進行排序，然后把結果輸入給Reduce任務；同時，整個Map/Reduce框架會負責任務的調度和監(jiān)控，以及重新執(zhí)行已經(jīng)失敗的任務。

數(shù)據(jù)復制和容錯。在處理數(shù)據(jù)時候，為了避免因一些差錯和失誤而刪除、改錯某些數(shù)據(jù)等情況，數(shù)據(jù)復制（備份）技術隨之產(chǎn)生，通過對數(shù)據(jù)進行備份，在出錯情況下能夠及時找到或者恢復原來的數(shù)據(jù)。現(xiàn)在，NoSQL數(shù)據(jù)庫種類繁多，出現(xiàn)了很多不同的數(shù)據(jù)復制策略以及相應的數(shù)據(jù)故障檢測與處理技術。主要有Dynamo為代表的基于key-value模式的數(shù)據(jù)庫復制策略、以CouchDB為代表的文檔數(shù)據(jù)庫代表的復制的策略、以PNUTS為代表的其他數(shù)據(jù)庫的復制策略［3］。

數(shù)據(jù)壓縮。由于數(shù)據(jù)中存在著大量的冗余信息，在不丟失信息的前提下，將重復的數(shù)據(jù)按照一定算法進行重新組織，以達到最大程度的壓縮提高數(shù)據(jù)傳輸、存儲和處理的效率，這就是數(shù)據(jù)壓縮。傳統(tǒng)的數(shù)據(jù)壓縮方法如霍夫曼編碼、LZ77算法等不能滿足海量數(shù)據(jù)的對于數(shù)量、速度、多樣的壓縮要求，因此出現(xiàn)了針對大數(shù)據(jù)的數(shù)據(jù)壓縮方法，主要包括Oracle的混合列壓縮、Google的兩趟壓縮、Hadoop的LZO壓縮算法等［3］。

數(shù)據(jù)緩存。在多服務器的大數(shù)據(jù)環(huán)境下，數(shù)據(jù)庫的高訪問量制約數(shù)據(jù)庫和服務器的性能，因此，數(shù)據(jù)緩存是NoSQL技術非常重要的部分。分布式緩存技術迅速發(fā)展，其經(jīng)歷從本地緩存、分布式緩存系統(tǒng)、彈性緩存平臺到彈性應用平臺的發(fā)展。數(shù)據(jù)庫將數(shù)據(jù)直接放入緩存中，應用程序從緩存中獲取所需數(shù)據(jù)，提高了系統(tǒng)可用性和性能。分布式緩存機制具有高性能、動態(tài)可擴展、高可用、易可用等特點。

2.5安全問題

NoSQL數(shù)據(jù)存儲具有海量存儲、高并發(fā)性、高可用性、可擴展性等優(yōu)勢，但由于NoSQL發(fā)展比較新，其數(shù)據(jù)存儲遵從最終一致性，也面臨一些安全威脅［9-10］：1）模式成熟度不夠。NoSQL無法沿用關系數(shù)據(jù)庫的模式，沒有嚴格的訪問控制和隱私工具。2）系統(tǒng)成熟度不夠。相比關系數(shù)據(jù)庫比較成熟的安全機制，NoSQL系統(tǒng)仍然會有各種漏洞。3）客戶端問題。NoSQL需對訪問的客戶端應用程序提供安全措施，例如身份驗證和授權功能、SQL注入問題、代碼漏洞等。4）數(shù)據(jù)冗余和分散性問題。在分布式環(huán)境，數(shù)據(jù)分在不同位置不同服務器上，對數(shù)據(jù)的冗余性和分散性需要考慮。同時，也要注意數(shù)據(jù)查詢、處理、備份、容錯等問題。

3　幾種典型的NoSQL數(shù)據(jù)庫對比分析

表1　幾種典型的NoSQL數(shù)據(jù)庫對比分析

Redis是一個鍵值模型的內(nèi)存數(shù)據(jù)庫，整個數(shù)據(jù)庫在內(nèi)存中加載并進行數(shù)據(jù)操作，并周期性地把更新的數(shù)據(jù)寫回硬盤中進行保存。Cassandra借鑒于Google的Bigtable的列族，是Facebook在2008年提出的，同時引入了“超級列”的概念，實現(xiàn)更高層級的數(shù)據(jù)組織、索引。MongoDB是存儲結構松散、可擴展、高性能、易部署、易使用的文檔存儲數(shù)據(jù)庫，介于關系數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫之間。Neo4j是一個嵌入式、基于磁盤的、支持完整事務的java持久化引擎，它將結構化數(shù)據(jù)采用圖結構的方式存儲，是面向圖形的數(shù)據(jù)庫。

表1展示的是4種NoSQL數(shù)據(jù)庫在數(shù)據(jù)模型、功能特性、使用許可、編寫語言、協(xié)議類型、應用案例和場景、缺陷方面等方面的對比［10］。

4　結束語

面對具有海量化、多樣化、快速化、價值化特點的大數(shù)據(jù)環(huán)境，傳統(tǒng)關系數(shù)據(jù)庫已經(jīng)不能滿足海量數(shù)據(jù)的存儲和管理要求。NoSQL數(shù)據(jù)庫具有簡單和靈活的數(shù)據(jù)模型、高并發(fā)訪問、很好的擴展性和可用性等優(yōu)點，彌補了關系數(shù)據(jù)庫的不足。但是，NoSQL數(shù)據(jù)庫不是對關系數(shù)據(jù)庫的否定，而是對關系數(shù)據(jù)的補充，兩者在各種領域各自發(fā)揮著重要的作用。作為解決大數(shù)據(jù)存儲和管理的先進方法，NoSQL技術有著關系數(shù)據(jù)庫無法比擬的優(yōu)勢，越來越受到大多人的關注和重視，發(fā)展前景廣闊。

［1］呂美英，郭顯娥.NOSQL和可擴展的SQL［J］.山西大同大學學報（自然科學版），2012，28（5）:15-18.

［2］阮夢黎.大數(shù)據(jù)挑戰(zhàn)下的NoSQL系統(tǒng)研究 ［J］.聊城大學學報：自然科學版，2015，28（1）:88-93

［3］陸嘉恒.大數(shù)據(jù)挑戰(zhàn)與NoSQL數(shù)據(jù)庫技術［M］.北京:電子工業(yè)出版社，2014.

［4］Julian Browne.Brewer’s CAP Theorem［EB/OL］.2009-01-11，http://www.julianbrowne.com/article/viewer/brewers-captheorem.

［5］王珊，薩師煊.數(shù)據(jù)庫系統(tǒng)概論［M］.北京:高等教育出版社，2007.

［6］申德榮，于戈，王習特，等.支持大數(shù)據(jù)管理的 NoSQL系統(tǒng)研究綜述［J］.軟件學報，2013，24（8）:1786-1803.

［7］趙飛，蘇忠.一致性哈希算法在數(shù)據(jù)庫集群上的拓展應用［J］.成都信息工程學院學報，2015，30（1）:52-58.

［8］萬川梅，謝正蘭.深入云計算：Hadoop應用開發(fā)實戰(zhàn)詳解［M］.北京：中國鐵道出版社，2014.

［9］張尼，張云勇，胡坤，等.大數(shù)據(jù)安全技術與應用［M］.北京:人民郵電出版社，2014.

［10］張俊，周新，于素華，等.NoSQL數(shù)據(jù)管理技術［J］.科研信息化技術及應用，2013，4（1）:3-11.

Analysis of NoSQL technology based on big data environment

LV Dong-xue
（Beijing University of Technology，Beijing 100124，China）

The traditional relational database can not meet the current environment of big data，that contains the features of efficient storage and management，high concurrent access，high availability，high scalability，high fault tolerance.At the same time，NoSQL technology shows a lot of excellent properties in mass data storage.Therefore，many people pay attention to NoSQL technology.This article summarizes the challenges of big data environment for data storage，and focuses on the theoretical basis，system architecture，data model，key technologies，security issues in NoSQL，then analyzes several typical NoSQL databases.

big data；NoSQL；relational databases；data storage

TP311

A

1674-6236（2016）14-0033-04

2015-07-14稿件編號：201507096

呂冬雪（1990—），女，山東煙臺人，碩士研究生。研究方向：軟件工程。