摘要：為滿足海量數(shù)據(jù)的便捷化、智能化存儲和分析需求，充分發(fā)揮和利用Hadoop分布式架構(gòu)的運行成本低、容錯性高等優(yōu)勢，應(yīng)用Hadoop分布式架構(gòu)設(shè)計一款新型、先進(jìn)的云存儲系統(tǒng)，從系統(tǒng)架構(gòu)設(shè)計和系統(tǒng)數(shù)據(jù)庫設(shè)計兩個方面入手，完成系統(tǒng)總體設(shè)計。根據(jù)系統(tǒng)功能列表，依次設(shè)計文件上傳、文件下載、文件瀏覽、其他操作等模塊。在Hadoop分布式架構(gòu)的應(yīng)用背景下，文章中所設(shè)計的云存儲系統(tǒng)具有內(nèi)存開銷率低、集群讀取效率高、安全可靠等優(yōu)點，符合預(yù)期設(shè)計標(biāo)準(zhǔn)和要求。

關(guān)鍵詞：Hadoop；云存儲系統(tǒng)；預(yù)取緩存；數(shù)據(jù)讀取

中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2024）23-0046-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）

在智慧醫(yī)療、電商、網(wǎng)絡(luò)社交媒體等行業(yè)的迅猛發(fā)展下，包括小文件在內(nèi)的網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)出急劇增加的趨勢，HDFS（分布式文件系統(tǒng)）在整個Hadoop集群中主要用于海量數(shù)據(jù)的存儲[1]。然而，目前HDFS存儲機(jī)制缺乏一定的健全性和完善性，存在集群文件規(guī)模不易拓展、內(nèi)存消耗大、訪問數(shù)據(jù)不便捷等問題。云存儲系統(tǒng)的設(shè)計和應(yīng)用可以解決這些問題。該系統(tǒng)主要運用Hadoop分布式架構(gòu)、云存儲等技術(shù)，具有運行性能高、文件讀寫速率高、訪問效率快、存儲能力高等特點，為實現(xiàn)數(shù)據(jù)安全化存儲和管理提供重要的平臺支持[2]。因此，在Hadoop分布式架構(gòu)的應(yīng)用背景下，如何科學(xué)地設(shè)計和實現(xiàn)云存儲系統(tǒng)是技術(shù)人員必須思考和解決的問題。

1 相關(guān)技術(shù)介紹

1.1 Hadoop分布式架構(gòu)概述

Hadoop作為一種重要的分布式系統(tǒng)基礎(chǔ)架構(gòu)，可以為用戶提供存儲平臺和計算平臺。Hadoop主要是由Apache基金會研發(fā)，主要包含以下兩個組成部分：1） 分布式文件系統(tǒng)。分布式文件系統(tǒng)憑借著自身拓展性高、容錯性強(qiáng)、可用性高等特點，被廣泛地應(yīng)用于集群設(shè)備數(shù)據(jù)分布式存儲領(lǐng)域中。2） 分布式運算編程框架。分布式運算編程框架為開發(fā)人員提供多個接口，開發(fā)人員可以在無須了解底層實現(xiàn)細(xì)節(jié)原理的情況下，對分布式程序進(jìn)行有效開發(fā)和設(shè)計。與其他傳統(tǒng)分布式文件系統(tǒng)相比47aG8h4Yrf1PiCLJ+2lykbr10zc36M9DTX/OYHTM5PU=，Hadoop具有運行性能高、安全穩(wěn)定、開源免費等特點，完全滿足大數(shù)據(jù)時代海量數(shù)據(jù)存儲和管理的需求。借助Hadoop技術(shù)，用戶可以方便地完成Hadoop集群的安裝和部署，這為后期構(gòu)建分布式云計算平臺和存儲數(shù)據(jù)提供了重要的技術(shù)支持。

1.2 云存儲技術(shù)概述

云存儲技術(shù)主要是在延伸和拓展云計算相關(guān)技術(shù)的基礎(chǔ)上形成的新型、先進(jìn)產(chǎn)品形態(tài)。云存儲作為一種常用的存儲資源池，主要由數(shù)據(jù)存儲設(shè)備、數(shù)據(jù)管理設(shè)備等組成。借助應(yīng)用程序編程接口，云存儲可以為用戶提供靈活性強(qiáng)、公開透明的云系統(tǒng)，便于用戶根據(jù)存儲需求分配資源存儲空間，實現(xiàn)最大化利用存儲空間。此外，授權(quán)的用戶可以通過互聯(lián)網(wǎng)與云存儲系統(tǒng)有效連接，隨時隨地存儲和分析海量數(shù)據(jù)。云存儲技術(shù)主要包含以下幾種。

1.2.1 分布式存儲技術(shù)

分布式存儲主要是指使用網(wǎng)絡(luò)存儲的方式，將所需數(shù)據(jù)傳輸和存儲到分布式服務(wù)器上。在數(shù)據(jù)存儲過程中，借助分布式文件系統(tǒng)將數(shù)據(jù)存儲到相應(yīng)的服務(wù)器上，為用戶提供強(qiáng)大的數(shù)據(jù)管理服務(wù)。為了確保分布式存儲系統(tǒng)的設(shè)計質(zhì)量，需要充分發(fā)揮和利用分布式存儲技術(shù)的透明性、自治性等優(yōu)勢。

1.2.2 存儲虛擬化技術(shù)

存儲虛擬化是一種層次接口封裝與抽象的過程。通過應(yīng)用虛擬化技術(shù)，封裝層次接口，可以減小系統(tǒng)硬件在容量、接口方面的差異性。然后，將虛擬化產(chǎn)品安裝和部署到系統(tǒng)硬件上，確保硬件細(xì)節(jié)與業(yè)務(wù)相互分離。通過虛擬化技術(shù)，可以實現(xiàn)對系統(tǒng)硬件資源的虛擬化處理，為用戶提供簡潔友好、操作智能的人機(jī)界面。存儲虛擬化作為一種常用的虛擬化技術(shù)，可以實現(xiàn)對各種虛擬化方法和相關(guān)先進(jìn)設(shè)備的統(tǒng)一化存儲。通過應(yīng)用存儲虛擬化技術(shù)，可以實現(xiàn)對存儲資源的有效隔離，確保網(wǎng)絡(luò)資源與存儲數(shù)據(jù)分開，方便后期針對不同資源信息的管理。

2 系統(tǒng)總體設(shè)計

2.1 系統(tǒng)架構(gòu)設(shè)計

本文系統(tǒng)設(shè)計主要運用B/S設(shè)計模式，將系統(tǒng)架構(gòu)劃分為以下幾個層次：1） 用戶訪問層：該層次將系統(tǒng)操作界面簡潔、友好地展示給用戶，方便用戶進(jìn)行相關(guān)功能操作。2） 應(yīng)用接口層：結(jié)合用戶多樣化的使用需求，提供相應(yīng)的應(yīng)用程序編程接口，并將用戶的操作映射到分布式文件系統(tǒng)操作中，屏蔽底層架構(gòu)的細(xì)節(jié)。3） 數(shù)據(jù)管理層：該層次包含分布式文件系統(tǒng)的操作接口，為系統(tǒng)的二次開發(fā)提供重要的技術(shù)支持。4） 存儲層：存儲層主要用于重要數(shù)據(jù)的存儲，利用Hadoop框架，實現(xiàn)多個PC機(jī)的組合和使用，為用戶提供更優(yōu)質(zhì)的分布式存儲服務(wù)體驗。

2.2 系統(tǒng)數(shù)據(jù)庫設(shè)計

本文系統(tǒng)在具體設(shè)計時，主要使用了Oracle MySQL數(shù)據(jù)庫。該數(shù)據(jù)庫具有運行速度快、體積小、免費等優(yōu)點，通過與SSH空間充分結(jié)合，可以有效開發(fā)中小型系統(tǒng)的數(shù)據(jù)庫。此外，MySQL數(shù)據(jù)庫功能穩(wěn)定、強(qiáng)大，完全滿足用戶個性化使用需求。在本文系統(tǒng)中，MySQL數(shù)據(jù)庫主要用于統(tǒng)一存儲和管理用戶信息、管理員信息，方便相關(guān)人員通過系統(tǒng)數(shù)據(jù)庫進(jìn)行數(shù)據(jù)的增加、刪除、修改和查詢[3]。在實際存儲過程中，系統(tǒng)業(yè)務(wù)文件主要使用Hadoop集群。本文創(chuàng)建了用戶信息表和管理員信息表，表1和表2展示了其屬性信息。用戶信息表包括用戶編號、登錄名、用戶名稱、學(xué)號、登錄密碼、密保問題、密保答案、注冊時間等屬性；管理員信息表包括管理員編號、登錄名、管理員名稱、登錄密碼等屬性。

3 系統(tǒng)功能實現(xiàn)

3.1 系統(tǒng)功能列表

為了充分發(fā)揮和利用Hadoop分布式架構(gòu)和云存儲等技術(shù)的優(yōu)勢，確保云存儲系統(tǒng)的穩(wěn)定性和實用性，技術(shù)人員應(yīng)嚴(yán)格按照圖2所示的系統(tǒng)功能模塊設(shè)計示意圖完成用戶管理模塊、目錄管理模塊和文件管理模塊的設(shè)計。在實際設(shè)計中，選擇使用Eclipse作為開發(fā)工具，以Java為主要開發(fā)語言。在整個Web展示中，主要采用了JSP技術(shù)、Spring技術(shù)和Hibernate技術(shù)這三種技術(shù)。具體而言，用戶管理模塊應(yīng)用JSP技術(shù)，目錄管理模塊應(yīng)用Spring技術(shù)，文件管理模塊應(yīng)用Hibernate技術(shù)。

3.2 用戶注冊模塊

在用戶注冊與登錄模塊的具體設(shè)計中，需要嚴(yán)格按照注冊相關(guān)的標(biāo)準(zhǔn)和要求，有效地注冊用戶信息，并調(diào)用MySQL數(shù)據(jù)庫的Create（）方法來創(chuàng)建用戶信息表。在用戶進(jìn)行登錄和注銷操作時，需要借助系統(tǒng)數(shù)據(jù)庫來驗證用戶名和密碼的有效性[4]。通過文件上傳模塊，用戶成功登錄系統(tǒng)并進(jìn)入文件上傳界面后，點擊“上傳”按鈕，可以實現(xiàn)批量上傳多個文件或快速上傳單個文件。通過文件下載模塊，用戶登錄系統(tǒng)并進(jìn)入文件下載界面后，可以自行下載感興趣的文件。這些文件一方面可以來自用戶之前上傳的文件，另一方面可以來自其他用戶分享的文件。通過文件搜索模塊，用戶登錄系統(tǒng)并進(jìn)入文件搜索界面后，可以使用關(guān)鍵字匹配的方式對所需文件進(jìn)行精確搜索。其他操作模塊主要包括文件刪除、文件重命名、目錄新增和目錄刪除等操作。其中，文件刪除操作主要調(diào)用File_delete（）方法，文件重命名操作主要調(diào)用File_rename（）方法，目錄新增主要調(diào)用List_create（）方法，目錄刪除主要調(diào)用List_delete（）方法[5]。

3.3 文件上傳模塊

文件上傳模塊主要是將用戶從本地系統(tǒng)上傳的文件存儲到Hadoop集群中。在用戶與Hadoop集群進(jìn)行交互時，需要通過文件系統(tǒng)類進(jìn)行設(shè)計和實現(xiàn)。首先，調(diào)用create（）方法完成所需文件的上傳。由于本文系統(tǒng)支持用戶批量上傳文件，因此，在實現(xiàn)文件上傳模塊時，開發(fā)人員使用了Jquery的Uploadify上傳插件，該插件可以將文件的當(dāng)前上傳進(jìn)度展示給用戶。在文件上傳過程中，分布式文件系統(tǒng)采用流式上傳的方式，將文件從Web前端上傳到Web服務(wù)器，再由Web服務(wù)器將文件上傳到Hadoop集群中。為了避免服務(wù)器性能限制導(dǎo)致系統(tǒng)響應(yīng)時間延長，本文在設(shè)計文件上傳模塊時為每個用戶設(shè)置并分配了單個線程。然后，按照一定的上傳順序批量上傳多個文件，以確保在某一用戶同時上傳多個文件時，其他用戶可以正常查找和獲取感興趣的文件。此外，在上傳文件時還需要分析和判斷文件的大小。當(dāng)所上傳的文件大小低于5MB時，需要將多個小文件合并為一個大文件，然后將其上傳到Hadoop集群中[6]。

3.4 文件下載模塊

在進(jìn)行文件下載操作時，用戶需要向Web服務(wù)器發(fā)送文件下載請求指令。此時，Web服務(wù)器會結(jié)合用戶請求指令并檢測系統(tǒng)的緩存情況，判斷系統(tǒng)是否存在需要請求的文件。如果存在，系統(tǒng)會自動向用戶返回相應(yīng)的文件數(shù)據(jù)；如果不存在，Web服務(wù)器會借助分布式文件系統(tǒng)，發(fā)送用戶的下載請求。在分布式文件系統(tǒng)中，各個客戶端之間的連接關(guān)系是公開透明的，Web服務(wù)器不需要了解內(nèi)部原理的實現(xiàn)，只須調(diào)用文件系統(tǒng)類的方法即可完成對文件的操作。通過使用FileSystem接口內(nèi)部的Open方法，獲取所需文件的輸入流，然后調(diào)用Read方法，將讀取的文件數(shù)據(jù)流直接傳輸給指定用戶，實現(xiàn)文件的下載目的。

3.5 文件瀏覽模塊

文件瀏覽模塊是本文系統(tǒng)的重要組成部分，主要用于獲取和顯示當(dāng)前登錄用戶所對應(yīng)目錄中的文件列表。在設(shè)計該模塊時，會調(diào)用getFileStatus（）方法來獲取所需目錄對象，并調(diào)用ListStatus（）方法將文件狀態(tài)數(shù)組直接返回到前端頁面。前端頁面會將相應(yīng)的文件列表信息展示給用戶，方便用戶全面了解和掌握文件狀態(tài)的詳細(xì)信息。這為后期實時共享和最大化利用文件狀態(tài)信息打下了堅實的基礎(chǔ)。

3.6 其他操作

在設(shè)計和開發(fā)其他操作模塊時，首先需要調(diào)用分布式文件系統(tǒng)的開發(fā)人員對本文系統(tǒng)的其他操作模塊進(jìn)行相應(yīng)的設(shè)計和實現(xiàn)。這些操作模塊包括文件刪除、文件重命名和文件新建等功能。通過調(diào)用文件系統(tǒng)類中的Delete（）方法、Rename（）方法和Create（）方法，可以實現(xiàn)文件的刪除、重命名和新建，并為用戶提供這些其他操作功能。然而，在設(shè)計文件刪除、文件重命名和文件新建等其他操作模塊時，如果文件名或存儲位置發(fā)生改變，就需要及時更新當(dāng)前用戶目錄下所對應(yīng)的信息，以確保系統(tǒng)的準(zhǔn)確性和一致性。

4 結(jié)束語

綜上所述，本文應(yīng)用基于Hadoop分布式架構(gòu)設(shè)計的云存儲系統(tǒng)具有強(qiáng)大的文件上傳、文件下載和文件瀏覽功能。該系統(tǒng)不僅能夠提高小文件的存取質(zhì)量和效率，還能將名稱節(jié)點內(nèi)存開銷量降至最低。此外，本文系統(tǒng)采用B/S訪問模式，并使用圖形界面將相關(guān)操作直觀地展示給用戶，以滿足用戶多樣化的使用需求。盡管本文系統(tǒng)取得了一定的設(shè)計成果，但仍存在一些需要優(yōu)化和完善的方面：名稱節(jié)點內(nèi)存消耗仍然是Hadoop面臨的最大挑戰(zhàn)，需要通過分布式存儲文件元數(shù)據(jù)、拓展Hadoop集群的存儲容量來進(jìn)一步提高文件的執(zhí)行速度，從而提升用戶的使用體驗。

參考文獻(xiàn)：

[1] 謝帆，彭玉濤.基于Hadoop分布式架構(gòu)的云存儲系統(tǒng)、文件存儲實現(xiàn)研究[J].電腦與電信，2022（10）：102-105.

[2] 劉姝.基于 Hadoop 的云存儲系統(tǒng)的設(shè)計與研究[J].鄭州輕工業(yè)學(xué)院學(xué)報（自然科學(xué)版），2014，29（5）：60-63.

[3] 鄭海清.基于MongoDB的數(shù)據(jù)密集型云存儲系統(tǒng)設(shè)計[J].電子設(shè)計工程，2021，29（1）：106-109，114.

[4] 孫惠芬.基于云計算的海量大數(shù)據(jù)存儲系統(tǒng)設(shè)計和實現(xiàn)[J].信息與電腦，2022（23）：147-149.

[5] 張曉陽，許佳豪，胡燏翀.云存儲系統(tǒng)中的預(yù)測式局部修復(fù)碼[J].計算機(jī)研究與發(fā)展，2019，56（9）：1988-2000.

[6] 徐翔，張光亞.基于Hadoop的云盤存儲系統(tǒng)設(shè)計與實現(xiàn)[J].電腦知識與技術(shù)，2023，19（3）：78-81.

【通聯(lián)編輯：張薇】