秦健 韓斌 崔蕓

摘要：隨著我國社會飛速發(fā)展，新科學(xué)技術(shù)研發(fā)取得了長足進步，信息技術(shù)在人們的生活中起著越來越重要的作用，被人們廣泛使用。分布式數(shù)據(jù)庫技術(shù)的成功研發(fā)是基于運營商對數(shù)據(jù)管理和應(yīng)用需求情況下，因此基于此背景，分布式數(shù)據(jù)庫技術(shù)必須取得更快速地發(fā)展才能滿足相應(yīng)需求的不斷更新。如今，大數(shù)據(jù)時代下，對數(shù)據(jù)的管理、分析及應(yīng)用、儲存等的科學(xué)化要求越來越嚴格，從而使數(shù)據(jù)應(yīng)用效率得到了大幅度的提升，為社會發(fā)展建設(shè)做出了卓越貢獻。文章主要針對分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)時代的廣泛應(yīng)用進行了深入的分析探討，通過實現(xiàn)該技術(shù)在實際應(yīng)用中的需求優(yōu)化，為人們?nèi)粘Ｉ?、工作提供更便捷的服?wù)。

關(guān)鍵詞：分布式；數(shù)據(jù)庫技術(shù)；大數(shù)據(jù)

中圖分類號：TP311? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）30-0054-03

開放科學(xué)（資源服務(wù)）標識碼（OSID）：

目前國內(nèi)的信息技術(shù)飛速發(fā)展，數(shù)據(jù)庫技術(shù)發(fā)展迎來了新的挑戰(zhàn)，為了使人們的生活、工作更加便捷，互聯(lián)網(wǎng)應(yīng)用更加科學(xué)、易用，信息技術(shù)必須實現(xiàn)大步創(chuàng)新發(fā)展。如今人們的生活所涉及的各個領(lǐng)域發(fā)展建設(shè)均能看到互聯(lián)網(wǎng)的影子，特別是在移動技術(shù)發(fā)展下，更使信息數(shù)據(jù)的類型及用戶數(shù)量發(fā)生了大幅度地增長，造成了傳統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)處理、儲存技術(shù)的不足，無法滿足現(xiàn)階段社會發(fā)展應(yīng)用的新需求。因此，在以幫助人們提升數(shù)據(jù)處理效率，優(yōu)化數(shù)據(jù)處理方式為目標，未來必須通過提升數(shù)據(jù)信息存儲、管理和分析方面的功能，為社會經(jīng)濟、科技發(fā)展建設(shè)做出重要貢獻。

1 傳統(tǒng)數(shù)據(jù)庫技術(shù)存在的問題

在信息資源飛速猛增的現(xiàn)階段，信息數(shù)據(jù)處理技術(shù)面臨著創(chuàng)新方向的挑戰(zhàn)。隨著大數(shù)據(jù)時代的到來，信息數(shù)據(jù)類型也發(fā)生了新的分類改革，如視頻資源信息、音頻資源信息、文字、圖像資源信息的交流對數(shù)據(jù)處理及儲存提出了新的要求。然而，在傳統(tǒng)的數(shù)據(jù)處理技術(shù)中，這樣龐大數(shù)量的數(shù)據(jù)不能被快速加載，并且不能正確地處理和分析各種新形式的異型結(jié)構(gòu)信息[1]。傳統(tǒng)數(shù)據(jù)庫處理方法已經(jīng)無法適應(yīng)現(xiàn)階段數(shù)據(jù)處理新需求的發(fā)展。

傳統(tǒng)數(shù)據(jù)庫具有一定的擴展能力，但是交叉數(shù)據(jù)、交互數(shù)據(jù)和可變數(shù)據(jù)的處理能力有一定的限制。為了滿足現(xiàn)階段數(shù)據(jù)處理的需要，應(yīng)根據(jù)以往的數(shù)據(jù)技術(shù)追加更多的新功能。增加其延展性、可持續(xù)性、可計算性，提高數(shù)據(jù)庫處理提取分析數(shù)據(jù)信息的能力[2]。

2 分布式數(shù)據(jù)庫的應(yīng)用價值與應(yīng)用要點

2.1 應(yīng)用價值

受科技進步及數(shù)據(jù)信息數(shù)量暴增影響，數(shù)據(jù)庫技術(shù)急需創(chuàng)新性發(fā)展，隨著數(shù)據(jù)庫技術(shù)的發(fā)展，用戶的需求也為其帶來了更大的研究課題。在現(xiàn)階段新形勢下，為了滿足社會發(fā)展對數(shù)據(jù)處理的新需求，必須通過先進的信息處理和新水平、新需求相關(guān)的有效處理方法來改善數(shù)據(jù)庫的相應(yīng)功能。以數(shù)據(jù)信息處理相關(guān)聯(lián)的數(shù)據(jù)庫技術(shù)發(fā)展為更科學(xué)、更先進的分布式數(shù)據(jù)庫技術(shù)[3]。在滿足用戶需求的同時，提高了用戶使用過程的舒適感。新形成的分布式數(shù)據(jù)庫技術(shù)較以往使用的數(shù)據(jù)庫技術(shù)優(yōu)點更多，適用性也更強。如，拓展性方面，分布式數(shù)據(jù)庫技術(shù)有較明顯提升，能夠在處理信息資源時更有效率，滿足大量數(shù)據(jù)信息儲存與處理的實際需求；存儲能力方面，分布式數(shù)據(jù)庫的存儲量及能力大大優(yōu)于傳統(tǒng)數(shù)據(jù)庫技術(shù)；時間優(yōu)勢方面，分布式數(shù)據(jù)庫在面臨大量數(shù)據(jù)信息資源急需處理時，在收集、分析、處理上都具有明顯的時間優(yōu)勢，能夠在最短時間內(nèi)找到有效的處理方法，滿足用戶對數(shù)據(jù)處理時限方面的要求[4]。

2.2 基于分布式數(shù)據(jù)庫技術(shù)的應(yīng)用要點

第一點，MPP非共享特性：分布式數(shù)據(jù)庫技術(shù)的處理器架構(gòu)上應(yīng)用了最先進的I/O處理架構(gòu)，即MPP非共享架構(gòu)。該技術(shù)的優(yōu)點是完全不共享信息交互節(jié)點，消除信息處理中的I/O沖突，利用信息節(jié)點的并行特性進行處理，提高各種信息的處理效率。有效避免了節(jié)點交換過程錯誤發(fā)生的可能性，有效提高了數(shù)據(jù)處理的準確性。同時，類似的信息處理過程和單元彼此間獨立[5]。通過獨立的方法、資源、軟件、存儲形式對各類信息隔離處理，分步驟地使處理方式更加科學(xué)，大大提升了數(shù)據(jù)信息處理的效率。

第二點，性能方面更優(yōu)越，分布式數(shù)據(jù)庫技術(shù)的性能較傳統(tǒng)數(shù)據(jù)庫技術(shù)體現(xiàn)了數(shù)據(jù)恢復(fù)方面、遷移方面、備份方面的優(yōu)勢。該技術(shù)能夠在數(shù)據(jù)信息遭到破壞時，有效對數(shù)據(jù)的節(jié)點進行再建，從而使傳遞信息更加有效率，保證了數(shù)據(jù)信息的正常處理及使用[6]。

第三點，自動數(shù)據(jù)分片方面，數(shù)據(jù)分片指的是將數(shù)據(jù)信息進行有效分割，通過將數(shù)據(jù)信息分布到不同的數(shù)據(jù)庫中，進行數(shù)據(jù)信息流式分載，提高了數(shù)據(jù)信息處理時的工作效率與準確度，并同時降低了計算機硬件的損耗。分布式數(shù)據(jù)庫技術(shù)使用分片技術(shù)將數(shù)據(jù)信息進行自動科學(xué)化的分片，大幅度降低了數(shù)據(jù)處理的時間[7]。

第四點，存儲技術(shù)方面，分布式數(shù)據(jù)庫技術(shù)在最初設(shè)立時，已完成了不同數(shù)據(jù)類型及節(jié)點服務(wù)器的聯(lián)合使用，這樣的方式不僅增加了信息資源的存儲量，也提升了處理數(shù)據(jù)的效率。分布式數(shù)據(jù)庫技術(shù)使用的是混合形式的存儲方式，即行、列混合處理方式，這是較傳統(tǒng)數(shù)據(jù)庫技術(shù)的最大優(yōu)勢點。行、列混合存儲方式可實現(xiàn)用戶對數(shù)據(jù)的統(tǒng)計、查詢和分析功能的實時運行。混合存儲的優(yōu)勢在于其對數(shù)據(jù)的分類特性，在數(shù)據(jù)信息的讀取、收集、處理等方面都有了顯著提升[8]。

3 分布式數(shù)據(jù)庫的關(guān)鍵技術(shù)介紹

3.1 MPP架構(gòu)技術(shù)

分布式數(shù)據(jù)庫技術(shù)可以利用MPP架構(gòu)技術(shù)同時處理龐大的數(shù)據(jù)信息量。該項技術(shù)是由幾個不同的處理單元構(gòu)成，每個單元都有自己的資源，以方便后續(xù)的計算、處理、存儲、運行。分布式數(shù)據(jù)庫技術(shù)能為信息數(shù)據(jù)處理提供更動態(tài)的擴展方式。由多個單元共同作用處理節(jié)點中互聯(lián)網(wǎng)數(shù)據(jù)，協(xié)同完成相同類別的任務(wù)，并實時進行信息交互。由于不同節(jié)點只能訪問和收集本地信息資源，因此遠程節(jié)點之間不存在互相干擾現(xiàn)象，因此是非綁定結(jié)構(gòu)[9]。不同數(shù)據(jù)分布在系統(tǒng)的不同節(jié)點上進行分類，完成存儲、加載和查詢處理，并在服務(wù)器上自動運行。

3.2 混合存儲技術(shù)

分布式數(shù)據(jù)庫技術(shù)在處理數(shù)據(jù)信息時支持以混合方式組織相應(yīng)數(shù)據(jù)的存儲，同時，混合存儲技術(shù)對數(shù)據(jù)的查詢、統(tǒng)計及分析方面都較傳統(tǒng)的數(shù)據(jù)庫技術(shù)有明顯優(yōu)勢。在大數(shù)據(jù)環(huán)境下，應(yīng)用更加廣泛。混合儲存技術(shù)流程見下圖1。

混合存儲技術(shù)有以下幾個特點：

3.2.1 靈活程度更佳

混合存儲技術(shù)對數(shù)據(jù)處理時，為了提高配置的靈活性，可以根據(jù)用戶的要求或格式要求，使用不同的存儲和壓縮方法。

3.2.2 處理響應(yīng)的速度更快

在進行查詢與存儲指令時，傳統(tǒng)數(shù)據(jù)庫技術(shù)需進行整行提取數(shù)據(jù)，而混合存儲只需對目標數(shù)據(jù)進行指令傳達，不需讀取同行或同列的所有數(shù)據(jù)，大大提高了查詢功能的實踐性及響應(yīng)速度。

3.2.3 擴展性更高

分布式數(shù)據(jù)庫技術(shù)在存儲格式中可以分類為不同類別，但不會降低數(shù)據(jù)的擴展性。實現(xiàn)了新式數(shù)據(jù)庫技術(shù)的拓展性發(fā)展。

3.3 透明壓縮技術(shù)

分布式數(shù)據(jù)庫技術(shù)采用的是高效的透明壓縮技術(shù)，可按數(shù)據(jù)信息的類型及分布的特征規(guī)律選擇更符合要求的壓縮方法，并設(shè)置多種壓縮方式選項，為用戶的使用提供了更便捷的服務(wù)。同時，使用壓縮功能指令時，響應(yīng)指令過程更加靈活、平衡，且運行過程對用戶完全透明。分布式數(shù)據(jù)庫的整個列的數(shù)據(jù)，具有內(nèi)容依賴性高、壓縮操作簡單、數(shù)據(jù)空間比較小的特征。壓縮后，數(shù)據(jù)信息的查詢功能可實現(xiàn)同時多次的響應(yīng)[10]。

3.4 智能索引技術(shù)

分布式數(shù)據(jù)庫技術(shù)在實現(xiàn)智能索引時，表現(xiàn)為對數(shù)據(jù)信息進行粗粒式數(shù)據(jù)包索引。下載數(shù)據(jù)信息時，每個數(shù)據(jù)包均可以自行收集、分類、建立，并同時過濾和統(tǒng)計數(shù)據(jù)信息。粗粒度智能索引還包括了描述數(shù)據(jù)信息的關(guān)聯(lián)性關(guān)系等高級信息，并且可以正確地識別和分類數(shù)據(jù)信息，以解決復(fù)雜數(shù)據(jù)的查詢和處理。在該技術(shù)應(yīng)用中數(shù)據(jù)列表不需要手動設(shè)置和維護可實現(xiàn)自動生成。而且，智能索引技術(shù)占用空間小，但是擴展性相對較高。在后續(xù)數(shù)據(jù)信息包的生成及智能索引速度上均不會受到影響。查詢數(shù)據(jù)時，不需要對數(shù)據(jù)包進行解包處理，在搜索和查詢復(fù)雜的信息資源方面優(yōu)化效果更加顯著。具體流程見下圖2。

3.5 自動數(shù)據(jù)分片

數(shù)據(jù)分片的根本含義在于將數(shù)據(jù)庫中的數(shù)據(jù)信息進行拆分，再對拆分后的數(shù)據(jù)進行分類處理，將不同的信息分散到相應(yīng)的數(shù)據(jù)庫中，進行有目標有分區(qū)的負載分流。分布式數(shù)據(jù)庫系統(tǒng)可將數(shù)據(jù)信息通過片鍵處理方式進行自動分片，并支持隨機片鍵處理和遞增片鍵處理。隨機片鍵處理能對不連續(xù)的數(shù)據(jù)進行定鍵分片和均勻分片，遞增片鍵方式則是以連續(xù)的方式對數(shù)據(jù)進行集中寫入和不均勻分片。

4 分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中的應(yīng)用

將分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中科學(xué)、合理、有效地應(yīng)用，需特別注意其實際應(yīng)用的各個方面，如大數(shù)據(jù)的負載支撐方面、大數(shù)據(jù)擴容性方面、大數(shù)據(jù)的業(yè)務(wù)管理方面及大數(shù)據(jù)的加載方面。通過對其各個方面的分析研究，可達到滿足大數(shù)據(jù)中分布式數(shù)據(jù)庫技術(shù)有效應(yīng)用的目的，也可推進大數(shù)據(jù)信息處理的研究發(fā)展。

4.1 大數(shù)據(jù)負載支撐方面

數(shù)據(jù)加載支持是數(shù)據(jù)處理中最常見的問題，通常限制大數(shù)據(jù)操作的實際效率。在以往的數(shù)據(jù)庫技術(shù)的集中數(shù)據(jù)處理過程中，會同時控制整體數(shù)據(jù)同時運行，數(shù)據(jù)集中發(fā)生冗余現(xiàn)象后，數(shù)據(jù)中心將處于負荷管理狀態(tài)。在這樣的管理應(yīng)用中，分布式數(shù)據(jù)庫處理技術(shù)實時地對數(shù)據(jù)信息進行分類管理，在數(shù)據(jù)處理中使用數(shù)據(jù)分類。信息有效分類可對系統(tǒng)中的信息資源實施更自動的加工處理并同時對重復(fù)數(shù)據(jù)進行強化篩選處理，按照信息資源處理方式，將大數(shù)據(jù)進行合理的分析及處理，以提升數(shù)據(jù)庫技術(shù)處理數(shù)據(jù)信息時的效率，同時也可提升數(shù)據(jù)分析處理的準確性。所以，基于大數(shù)據(jù)負載支撐，分布式數(shù)據(jù)庫處理可實現(xiàn)大量數(shù)據(jù)同時調(diào)整處理的需求。負載支撐方面的應(yīng)用，可滿足業(yè)務(wù)類型不同的數(shù)據(jù)分析管理要求，最終可實現(xiàn)多類型數(shù)據(jù)同時處理的準確度和高效度。

4.2 大數(shù)據(jù)擴容方面

在現(xiàn)階段大數(shù)據(jù)環(huán)境下，對信息數(shù)據(jù)的分析可有效獲取更有價值的數(shù)據(jù)信息資源及對應(yīng)資源的重要取得途徑。為了保證數(shù)據(jù)分析的準確性，分布式數(shù)據(jù)庫技術(shù)一般采用系統(tǒng)新增設(shè)的數(shù)據(jù)存儲節(jié)點功能，對數(shù)據(jù)庫進行重新設(shè)計，滿足存儲量的擴充要求。對于集中式數(shù)據(jù)庫而言，數(shù)據(jù)量的擴容可降低數(shù)據(jù)成本及數(shù)據(jù)管理要求。并且多節(jié)點存儲信息方式可使信息獲取及讀取效率更快。以上優(yōu)勢在當前的互聯(lián)網(wǎng)用戶不斷增加的時代，通過對大數(shù)據(jù)的分析及處理，可實現(xiàn)大數(shù)據(jù)的分析處理效率的全面提升。不管是用戶的數(shù)量和信息資源的數(shù)量從哪個方面增加，都會導(dǎo)致局部數(shù)據(jù)庫不斷新建，確保大數(shù)據(jù)的存儲容量能夠滿足用戶的實際需求，體現(xiàn)了大數(shù)據(jù)存儲的先進性優(yōu)點。所以，分布式數(shù)據(jù)庫的多節(jié)點存儲擴容方式，可使大數(shù)據(jù)應(yīng)用具有更科學(xué)、可持續(xù)的發(fā)展動力。

4.3 業(yè)務(wù)管理方面

在如今信息量高速增長的環(huán)境下，各行各業(yè)都以互聯(lián)網(wǎng)的應(yīng)用來實現(xiàn)產(chǎn)業(yè)轉(zhuǎn)型，互聯(lián)網(wǎng)就成為企業(yè)實現(xiàn)信息存儲管理的重要方式。在這樣的大環(huán)境背景下，各行各業(yè)間的業(yè)務(wù)均可通過網(wǎng)絡(luò)信息方式得以傳遞共享，最終使業(yè)務(wù)發(fā)展達到要求標準。企業(yè)在大數(shù)據(jù)應(yīng)用過程中，往往會面臨更多類型的數(shù)據(jù)，大量的業(yè)務(wù)增加了處理用戶信息的工作難度。但是，分布式數(shù)據(jù)庫技術(shù)是基于網(wǎng)絡(luò)數(shù)據(jù)處理現(xiàn)況應(yīng)勢而生的，滿足了信息分類管理和處理的要求，實現(xiàn)了用戶登記的分類管理，幫助企業(yè)選擇了更多優(yōu)質(zhì)的客戶群。對企業(yè)的可持續(xù)發(fā)展提供了有力支持。

4.4 大數(shù)據(jù)加載方面

在大數(shù)據(jù)加載方面應(yīng)用分布式數(shù)據(jù)庫技術(shù)可實現(xiàn)信息數(shù)據(jù)獲取的效率提升，同時，還可以實現(xiàn)信息的自動備份處理。在數(shù)據(jù)信息的實際處理過程中，可滿足對大數(shù)據(jù)的自動加載的功能需求。這種技術(shù)廣泛應(yīng)用于日常數(shù)據(jù)統(tǒng)計工作中，通常大數(shù)據(jù)獲取節(jié)點時往往都是成百上千個節(jié)點同時被獲取，分布式數(shù)據(jù)庫可以在不同節(jié)點的大數(shù)據(jù)加載和處理功能的基礎(chǔ)上大大提高整體數(shù)據(jù)的加載效率。如每日信息的收集獲取達30億條，其中信息的加載實際效率在每秒15000條，一個月則可實現(xiàn)三百億條數(shù)據(jù)信息的加載，這對于海量的數(shù)據(jù)信息資源的增長來說，不僅速度無法達標，也無法滿足數(shù)據(jù)信息激增的處理現(xiàn)狀，而分布式數(shù)據(jù)庫技術(shù)在處理海量數(shù)據(jù)信息方面有著明顯的優(yōu)勢。

5 結(jié)語

總而言之，分布式數(shù)據(jù)庫技術(shù)可以根據(jù)大數(shù)據(jù)時代的需求，找到合理的應(yīng)對方法，滿足當前網(wǎng)絡(luò)環(huán)境中的信息處理需求。本文通過對數(shù)據(jù)負載、存儲、容量擴展、負載和大量業(yè)務(wù)處理過程的分析，了解分布式數(shù)據(jù)庫技術(shù)在當前數(shù)據(jù)處理的實際需求下的應(yīng)用，并為數(shù)據(jù)庫使用人員提供更完善的服務(wù)。本文希望通過對該技術(shù)進行詳細的研究和分析，為未來的研究和分析盡一點微薄之力。

參考文獻：

[1] 王志輝.分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中的應(yīng)用[J].信息系統(tǒng)工程，2019（12）：21-22.

[2] 張文軍.數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中的應(yīng)用研究[J].信息技術(shù)與信息化，2019（12）：251-253.

[3] 江寧.分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中的應(yīng)用研究[J].電子世界，2020（11）：109.

[4] 鄧斌，陳會平.分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中的應(yīng)用[J].信息記錄材料，2020，21（6）：150-151.

[5] 陳雪.分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中的應(yīng)用[J].科技傳播，2016，8（12）：108，120.

[6] 胡世昆.分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中的應(yīng)用[J].電子技術(shù)與軟件工程，2019（1）：153.

[7] 賈欽.分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中的應(yīng)用[J].電子技術(shù)與軟件工程，2019（8）：162.

[8] 俞洪寶，吳迪，于子洋，等.分布式數(shù)據(jù)庫在大數(shù)據(jù)時代中的作用[J].產(chǎn)業(yè)與科技論壇，2019，18（17）：74-75.

[9] 賈鑫.探析分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中的應(yīng)用[J].計算機產(chǎn)品與流通，2017（12）：3-4.

[10] 王崢.分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中的應(yīng)用探析[J].無線互聯(lián)科技，2021，18（5）：81-82.

【通聯(lián)編輯：李雅琪】