陳　雪91550部隊，遼寧大連　110623

?

分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中的應(yīng)用

陳雪
91550部隊，遼寧大連110623

摘要隨著當(dāng)前運營商對數(shù)據(jù)管理和應(yīng)用需求的不斷增加，分布式數(shù)據(jù)庫技術(shù)得到極大的發(fā)展。在本文中首先對當(dāng)前大數(shù)據(jù)環(huán)境下的分布式數(shù)據(jù)庫技術(shù)進(jìn)行介紹，然后分析分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中的具體應(yīng)用。

關(guān)鍵詞分布式數(shù)據(jù)庫；數(shù)據(jù)管理；數(shù)據(jù)處理

隨著當(dāng)前移動互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，數(shù)據(jù)的種類和數(shù)量呈現(xiàn)快速的增長，傳統(tǒng)的處理方式逐漸的不能夠適應(yīng)當(dāng)前的發(fā)展需要，基于此種背景下，分布式數(shù)據(jù)庫技術(shù)需要得到更快的發(fā)展，以達(dá)到對大數(shù)據(jù)的存儲、管理以及分析等處理要求。

1　大數(shù)據(jù)中發(fā)展分布式數(shù)據(jù)庫的意義

在面對當(dāng)前的大數(shù)據(jù)時代，傳統(tǒng)的集中式數(shù)據(jù)庫已經(jīng)逐漸的不能夠滿足人們的使用要求，需要找到新的處理方式來進(jìn)行更新，分布式數(shù)據(jù)庫就是在這樣的背景下逐漸的被發(fā)展和應(yīng)用。分布式數(shù)據(jù)庫在使用中有著許多傳統(tǒng)集中式數(shù)據(jù)庫不具備的優(yōu)點：第一，分布式數(shù)據(jù)庫有著極為強(qiáng)大的擴(kuò)展能力，這是傳統(tǒng)數(shù)據(jù)庫所不具備的，在數(shù)據(jù)的存儲方面表現(xiàn)出巨大的優(yōu)勢；第二，來自于成本上的優(yōu)勢。在大數(shù)據(jù)中，如果仍舊采用原有的數(shù)據(jù)庫，在進(jìn)行擴(kuò)容的時候，會花費大量的資金，使得成本上花費巨大，而且所取得的效果也是有限的。分布式數(shù)據(jù)庫則只需要較少的資金就能夠完成擴(kuò)容處理，占據(jù)著特別大的優(yōu)勢［1］；第三，分布式數(shù)據(jù)庫在用戶上有著很大的優(yōu)勢，分布式數(shù)據(jù)庫讓人們對大數(shù)據(jù)的存儲、分析和處理變得容易和快捷。

2　分布式數(shù)據(jù)庫技術(shù)分析

在大數(shù)據(jù)中，分布式數(shù)據(jù)庫技術(shù)得到極大的發(fā)展，也正是由于分布式數(shù)據(jù)庫技術(shù)表現(xiàn)出來的先進(jìn)性能，才使得分布式數(shù)據(jù)庫得到廣泛的使用。在分布式數(shù)據(jù)庫中，其由很多個并行的處理單元組成，而且每個處理單元都是一個完整的系統(tǒng)，其中包括數(shù)據(jù)的存儲，數(shù)據(jù)的分析等，對于每一個處理單元來說，其所處的位置和作用都是對等的，而且是相對獨立的。混合存儲技術(shù)：突破傳統(tǒng)行存的限制，實現(xiàn)行列混合存儲。該項技術(shù)對于分布式數(shù)據(jù)庫的性能有著很大的提升，使得分布式數(shù)據(jù)庫在運行速度和運行的靈活性上都有很大的提高。再就是智能索引技術(shù)，該種技術(shù)所占用的空間減少，并且能夠很好的解決后面數(shù)據(jù)庫慢的問題，不會對后面的索引數(shù)據(jù)造成影響［2］。除此之外，分布式數(shù)據(jù)庫中還具有許多先進(jìn)的技術(shù)，如并行處理技術(shù)、高效透明壓縮技術(shù)等，都是傳統(tǒng)數(shù)據(jù)庫中所不具備的先進(jìn)技術(shù)，使得分布式數(shù)據(jù)庫的性能表現(xiàn)得更加的優(yōu)秀。

3　分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中的應(yīng)用

在大數(shù)據(jù)中，分布式數(shù)據(jù)庫技術(shù)已經(jīng)成為當(dāng)前最為主要的數(shù)據(jù)存儲、分析處理技術(shù)。分布式數(shù)據(jù)庫技術(shù)得到極為廣泛的使用，下面是當(dāng)前分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中的具體應(yīng)用。

3.1分布式數(shù)據(jù)庫技術(shù)在混合應(yīng)用中的負(fù)載支撐

在當(dāng)前的大數(shù)據(jù)環(huán)境下，各種類型的業(yè)務(wù)需要變得越來越多，如數(shù)據(jù)的裝載、數(shù)據(jù)加工數(shù)據(jù)的計算等，需要使用到分布式數(shù)據(jù)庫的地方越來越多。大數(shù)據(jù)時代下，對于數(shù)據(jù)的使用不再局限于單一數(shù)據(jù)庫，而分布式數(shù)據(jù)庫技術(shù)在此得到良好的體現(xiàn)。分布式數(shù)據(jù)庫技術(shù)可以完美的實現(xiàn)混合應(yīng)用，對此提供支撐的作用。分布式數(shù)據(jù)庫技術(shù)可以很好的對數(shù)據(jù)進(jìn)行篩選，對所需要的數(shù)據(jù)進(jìn)行加工處理［3］，并且按照特定的程序進(jìn)行相關(guān)的計算，滿足當(dāng)前各行業(yè)業(yè)務(wù)上的需要。

3.2分布式數(shù)據(jù)庫技術(shù)在大量業(yè)務(wù)中的應(yīng)用

隨著當(dāng)前互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，各行業(yè)從實體經(jīng)濟(jì)向著虛擬經(jīng)濟(jì)發(fā)展的同時，也使得各行業(yè)的業(yè)務(wù)量大幅度提升，相應(yīng)的為各行業(yè)的業(yè)務(wù)管理帶來極大的不便。分布式數(shù)據(jù)庫技術(shù)正好符合各行業(yè)業(yè)務(wù)辦理的需要，在實際當(dāng)中有著許多的業(yè)務(wù)用戶使用。分布式數(shù)據(jù)庫以其高效的負(fù)載管理能力，在面對大量業(yè)務(wù)和大量數(shù)據(jù)的時候，能夠非常順利的完成相關(guān)的作業(yè)要求，表現(xiàn)出非常高的業(yè)務(wù)辦理能力。在進(jìn)行這些業(yè)務(wù)的辦理時，分布式數(shù)據(jù)庫技術(shù)可以實現(xiàn)優(yōu)先級的管理，如具有優(yōu)先權(quán)或者VIP用戶可以占用較多的資源，對于相關(guān)的數(shù)據(jù)，可以從大數(shù)據(jù)中提取當(dāng)前的熱點數(shù)據(jù)，并設(shè)置其為優(yōu)先級數(shù)據(jù)。通過這樣的一種方式，成功的實現(xiàn)分布式數(shù)據(jù)庫在辦理大量業(yè)務(wù)時保持其仍然具備高效性。

3.3分布式數(shù)據(jù)庫技術(shù)在查詢功能中的應(yīng)用

分布式的數(shù)據(jù)庫技術(shù)在查詢功能中也表現(xiàn)出一定的優(yōu)越性，有著巨大的使用量。當(dāng)實際當(dāng)中會遇到這樣的一種平臺：提供自助服務(wù)的數(shù)據(jù)分析平臺。這種類型的數(shù)據(jù)分析平臺通常面對的客戶基數(shù)較大，這也就使得出現(xiàn)同時訪問的幾率加大，而且會出現(xiàn)同時具有很多人訪問的現(xiàn)象，為此使用到分布式數(shù)據(jù)庫技術(shù)當(dāng)中的并發(fā)度控制。通過相關(guān)實際的情況調(diào)查可以知道，在分布式數(shù)據(jù)庫中，可以實現(xiàn)同時超過200個人進(jìn)行相關(guān)數(shù)據(jù)的查詢［4］。在對小于1億條數(shù)據(jù)進(jìn)行查詢的時候，分布式數(shù)據(jù)庫技術(shù)可以將處理的時間限制在2個小時的時間之內(nèi)，如果是對兩億條左右的數(shù)據(jù)進(jìn)行查詢時，分布式數(shù)據(jù)庫

技術(shù)則可以將查詢的時間限制在40min以內(nèi)。對于這一數(shù)據(jù)，分布式數(shù)據(jù)庫在查詢功能中占據(jù)非常領(lǐng)先的地位。

3.4分布式數(shù)據(jù)庫技術(shù)在大量數(shù)據(jù)中的加載應(yīng)用

分布式數(shù)據(jù)庫技術(shù)在當(dāng)前的實際應(yīng)用之中，表現(xiàn)在具有超強(qiáng)的數(shù)據(jù)加載能力。在當(dāng)前的大數(shù)據(jù)背景下，對于數(shù)據(jù)的加載處理能力顯得尤為的重要，分布式數(shù)據(jù)庫技術(shù)正好在這方面表現(xiàn)出卓越的性能，這也是其能夠得到廣泛運用的重要原因之一。據(jù)相關(guān)的數(shù)據(jù)統(tǒng)計顯示，分布式數(shù)據(jù)庫技術(shù)可以實現(xiàn)日匯總數(shù)據(jù)近30億條，平均每個單節(jié)點加載的效率可以達(dá)到每秒15 000條。按月進(jìn)行統(tǒng)計，每月可以達(dá)到300億條左右，單節(jié)點的加載數(shù)據(jù)效率最高可以達(dá)到每秒55 000條，這是一個非?？植赖臄?shù)字，也正是分布式數(shù)據(jù)庫技術(shù)卓越性能的又一良好的體現(xiàn)。

3.5分布式數(shù)據(jù)庫技術(shù)在擴(kuò)容上的應(yīng)用

在大數(shù)據(jù)時代下，數(shù)據(jù)是一種非常寶貴的財富，因此對于數(shù)據(jù)的存儲顯得特別的重要。而在原有設(shè)備的存儲空間不夠的情況下，需要進(jìn)行擴(kuò)容的處理，如果是傳統(tǒng)的集中式數(shù)據(jù)處理，在進(jìn)行擴(kuò)容的時候會使得成本非常的昂貴，而且擴(kuò)容后會影響到使用的效果。當(dāng)前被廣泛使用的分布式數(shù)據(jù)庫技術(shù)在此點上的應(yīng)用在顯得相對要簡單很多，只需要在分布式數(shù)據(jù)庫技術(shù)增加上新的處理節(jié)點，就可以很輕松的實現(xiàn)擴(kuò)容處理。并且分布式數(shù)據(jù)庫技術(shù)在面對擴(kuò)容時可以達(dá)到擴(kuò)容1 000個節(jié)點以上，在此情況下，完全能夠適應(yīng)當(dāng)前的數(shù)據(jù)存儲。

4　結(jié)論

在本文中對大數(shù)據(jù)環(huán)境下，分布式數(shù)據(jù)庫的意義和相關(guān)技術(shù)進(jìn)行了簡單的分析，并著重對分布式數(shù)據(jù)庫的具體應(yīng)用進(jìn)行具體的分析。通過此次分析，對分布式數(shù)據(jù)庫技術(shù)有了更加深入的了解，在今后將繼續(xù)對分布式數(shù)據(jù)庫技術(shù)的相關(guān)知識進(jìn)行研究和學(xué)習(xí)，希望通過自身的一些研究，能夠為當(dāng)前的大數(shù)據(jù)提供一些幫助。

參考文獻(xiàn)

［1］劉應(yīng)波.太陽望遠(yuǎn)鏡海量數(shù)據(jù)存儲關(guān)鍵技術(shù)研究［D］.中國科學(xué)院研究生院（云南天文臺），2014.

［2］宋杰，郭朝鵬，王智，等.大數(shù)據(jù)分析的分布式MOLAP技術(shù)［J］.軟件學(xué)報，2014（4）：731-752.

［3］宋長青，吳麗平，郭銳，等.分布式數(shù)據(jù)庫數(shù)據(jù)同步技術(shù)及其在氣象行業(yè)中的應(yīng)用［J］.信息安全與技術(shù)，2012 （12）：88-90.

［4］魏荃立.Oracle分布式數(shù)據(jù)庫技術(shù)在油田數(shù)據(jù)中心建設(shè)中的應(yīng)用［J］.電腦知識與技術(shù)（學(xué)術(shù)交流），2007（10）：891-901.

中圖分類號TP3

文獻(xiàn)標(biāo)識碼A

文章編號1674-6708（2016）165-0108-01