楊天純

數(shù)據(jù)處理的需求演化及處理技術(shù)

2.1 大數(shù)據(jù)數(shù)據(jù)庫的特點(diǎn)

傳統(tǒng)的關(guān)系數(shù)據(jù)庫，從其創(chuàng)立至現(xiàn)在，長期占據(jù)數(shù)據(jù)庫的絕對統(tǒng)治地位。但是，數(shù)據(jù)挖掘、商業(yè)智能和可視化技術(shù)的發(fā)展，特別是它們處理非結(jié)構(gòu)化數(shù)據(jù)的能力，動搖了傳統(tǒng)數(shù)據(jù)庫的牢固地位。于是善于處理非結(jié)構(gòu)化數(shù)據(jù)的種種數(shù)據(jù)庫工具大量產(chǎn)生，這其中必須優(yōu)先提及的便是NoSQL（意為Not Only SQL）及NewSQL（意為New SQL）兩大數(shù)據(jù)庫陣營。

現(xiàn)在隨著大數(shù)據(jù)時代的到來，由Carlo Strozzi開創(chuàng)的NoSQL以其技術(shù)上的先進(jìn)性、方便性得到了越來越多的認(rèn)可。NoSQL改變了數(shù)據(jù)的定義范圍，其“數(shù)據(jù)類型”可以是文本、圖片、影像、網(wǎng)頁，也可以是整個文件；NoSQL數(shù)據(jù)庫是非關(guān)系式的、數(shù)據(jù)間的關(guān)系更加復(fù)雜、多樣，類型和相互關(guān)系具有多種擴(kuò)展可能、存儲方式也多采用分布式結(jié)構(gòu)。經(jīng)過十多年的發(fā)展，NoSQL取得了成功，采用NoSQL技術(shù)的產(chǎn)品也不斷增長，目前NoSQL網(wǎng)站上（NoSQL-database.org）已經(jīng)收集了150余個相關(guān)產(chǎn)品，人們也把采用類似NoSQL結(jié)構(gòu)和原理的數(shù)據(jù)庫統(tǒng)稱為NoSQL數(shù)據(jù)庫。

最初NoSQL有意排斥關(guān)系數(shù)據(jù)庫的ACID規(guī)則和SQL特性（后發(fā)現(xiàn)其弱點(diǎn)又在一定程度和一定范圍內(nèi)支持?jǐn)?shù)據(jù)的一致性要求和SQL特性）。NoSQL堅(jiān)持分布式領(lǐng)域的CAP理論，CAP的含義為：

Consistency，一致性。數(shù)據(jù)一致更新，所有節(jié)點(diǎn)訪問同一份最新的數(shù)據(jù)副本；

Availability，可用性。對數(shù)據(jù)更新具備高可用性；

Partition tolerance，分區(qū)容錯性。能容忍網(wǎng)絡(luò)分區(qū)。

CAP理論主張任何基于網(wǎng)絡(luò)的數(shù)據(jù)共享系統(tǒng)，都最多只能擁有以下三條中的兩條。而這種“三取二”的法則以及具體理解與執(zhí)行的爭論就一直存在。想同時滿足三者，或者過分強(qiáng)化割舍三者之間聯(lián)系均會破壞數(shù)據(jù)系統(tǒng)的效率和效果。32歲便獲得加州大學(xué)伯克利分校終身教授的Eric Brewer提出了BASE理論（Basically Available， Soft state， Eventually consistent；基本可用、軟狀態(tài)、最終一致性），它用一種更注重可用性、更便于理解的方式解釋分布式系統(tǒng)的特點(diǎn)。

NewSQL注意到關(guān)系數(shù)據(jù)庫的靈活性不足、數(shù)據(jù)庫互鎖機(jī)制效率低下的特點(diǎn)，同時也意識到NoSQL不支持SQL所帶來的不便，它采用了一種近似折中的方案，既支持SQL并保證一定程度的數(shù)據(jù)一致性，同時也提供NoSQL數(shù)據(jù)庫的非關(guān)系數(shù)據(jù)處理的擴(kuò)展功能，因而從產(chǎn)生之初便受到業(yè)界的喜愛，相關(guān)產(chǎn)品不斷涌現(xiàn)。NoSQL和NewSQL常見產(chǎn)品及其分類情況如圖所示。

2.2 NoSQL及其發(fā)展趨勢

在NoSQL潮流中，最重要的莫過于Apache基金會的Hadoop。它是一個領(lǐng)導(dǎo)者，是一個典型的分布式文件系統(tǒng)，是一個開源系統(tǒng)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，借助Hadoop開發(fā)分布式程序，它取得了成功，成為分布式數(shù)據(jù)處理界的巨獸（Hadoop的Logo就是只大象）。 現(xiàn)在甚至出來了“無分布不Hadoop”——每個傳統(tǒng)的數(shù)據(jù)庫提供商都急切地聲明支持Hadoop。關(guān)系數(shù)據(jù)庫的傳統(tǒng)霸主Oracle公司也將Hadoop集成到自己的NoSQL數(shù)據(jù)庫中，Microsoft、Sybase、IBM也加入了收納Hadoop功能的競賽中。

第二位領(lǐng)導(dǎo)者，MongoDB，是一個成功的文檔處理型數(shù)據(jù)庫系統(tǒng)，它被稱為“非關(guān)系式數(shù)據(jù)庫中最像關(guān)系式數(shù)據(jù)庫的產(chǎn)品”。MongoDB查詢功能強(qiáng)大，特別適合高性能的Web數(shù)據(jù)處理。

Cassandra是這個領(lǐng)域中的一個另類產(chǎn)品，它兼有鍵值數(shù)據(jù)庫和列值數(shù)據(jù)庫兩者的長處，它的查詢功能很優(yōu)秀。雖然運(yùn)行Cassandra集群難度較高，但它升級后的分析能力使得很多人感到驚訝。

Redis也是相當(dāng)好的一個產(chǎn)品。對故障恢復(fù)的良好支持以及使用Lua的服務(wù)器端腳本語言是明顯區(qū)別于其他軟件之處。使用Lua確實(shí)帶來了一些震動，因?yàn)楦嗟娜讼矚g和習(xí)慣JavaScript服務(wù)器端語言。但是，Lua是一個整潔的語言，它并為Redis開啟了潘多拉盒子。

CouchBase在可擴(kuò)展性和其他潛在因素，使其看起來是一個很好的選擇，盡管Facebook以及Zynga面臨著關(guān)鍵開發(fā)者離開的風(fēng)波。CouchDB會變得更好抑或相反？只要數(shù)據(jù)庫做得好受眾就會歡迎，現(xiàn)在看來，它確實(shí)做的很好。

還需要提及的是Riak，在功能性和監(jiān)控方面它也有了巨大的提升。在穩(wěn)定性方面，它繼續(xù)得到大家的贊美：“像巨石一般穩(wěn)定、可靠且不顯眼……”。Riak 數(shù)據(jù)模塊化方面做得很有特色。

在圖中，涉及了多個維度：關(guān)系型的與非關(guān)系型的、分析型的或操作型的、NoSQL類型與NewSQL類型的。最后的兩個分類中，對于NoSQL有著名的子分類“鍵值類數(shù)據(jù)庫、文檔數(shù)據(jù)庫、圖存數(shù)據(jù)庫和列存數(shù)據(jù)庫。對于NewSQL本已建立“存儲引擎、簇享數(shù)據(jù)、云服務(wù)”等類別。

最初，NoSQL破壞并引以為榮的特點(diǎn)是它不滿足ACID（原子性、一致性、隔離性和持久性），這是它的優(yōu)點(diǎn)，也是其問題所在。據(jù)美國Forrester的統(tǒng)計(jì)數(shù)據(jù)，在企業(yè)中的業(yè)務(wù)數(shù)據(jù)將有25%是結(jié)構(gòu)化數(shù)據(jù)。無論是傳統(tǒng)企業(yè)，還是引領(lǐng)技術(shù)潮流的大型網(wǎng)絡(luò)公司，其數(shù)據(jù)庫體系中都不可避免的共存著傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)（如用戶的標(biāo)準(zhǔn)信息，數(shù)據(jù)庫元數(shù)據(jù)信息等），也存在著圖片、視頻、文檔或網(wǎng)頁等非結(jié)構(gòu)化數(shù)據(jù)，所以關(guān)系數(shù)據(jù)庫與NoSQL數(shù)據(jù)庫并存將是數(shù)據(jù)庫技術(shù)發(fā)展的基本面。另一方面，關(guān)系數(shù)據(jù)庫、NoSQL和NewSQL都充分認(rèn)識到了對方的長處和客戶需求，每一個新數(shù)據(jù)處理技術(shù)都在“拼命地集成”其他范圍數(shù)據(jù)庫中的特性。NewSQL系統(tǒng)實(shí)現(xiàn)NoSQL的核心特性，而NoSQL越來越多地試圖實(shí)現(xiàn)“傳統(tǒng)”數(shù)據(jù)庫的功能如支持SQL或在一定范圍內(nèi)“有保留地支持ACID，至少是可配置的持久化機(jī)制”。

可以肯定地是，無論是關(guān)系數(shù)據(jù)庫的發(fā)展、NoSQL的強(qiáng)勢展開、NewSQL的躍躍欲試，還是傳統(tǒng)關(guān)系數(shù)據(jù)庫大領(lǐng)軍者進(jìn)入NoSQL領(lǐng)域，大數(shù)據(jù)時代數(shù)據(jù)爆炸式增長的同時，數(shù)據(jù)庫技術(shù)將變得更加強(qiáng)大、高效，也許不久的將來人們就不用再區(qū)分關(guān)系/非關(guān)系數(shù)據(jù)庫了。