楊 慧，程雪平

（廣州華商學院數(shù)據(jù)科學學院，廣州 511300）

0 引言

存算分離架構是大數(shù)據(jù)時代的趨勢之一，也是各大云服務商和企業(yè)在大數(shù)據(jù)處理領域競爭的關鍵。存儲層作為存算分離架構的重要組成部分，不僅需要滿足存儲大量數(shù)據(jù)的需求，還需要滿足快速查詢、高并發(fā)訪問等需求，因此存儲方案的選擇對于存算分離架構的成功實施至關重要。

S3 存儲和HDFS 存儲是兩個廣泛使用的存儲方案，但它們在性能、成本、易用性等方面存在差異，需要根據(jù)實際需求進行選擇。目前，對于這兩種存儲方案在存算分離架構下的性能比較研究較少，本文旨在通過性能測試和分析，比較存算分離架構下S3 存儲和HDFS 存儲的讀寫性能表現(xiàn)，為存儲方案的選擇提供依據(jù)，具有以下研究意義：

（1）提供存算分離架構下存儲方案選擇的參考。通過比較S3 存儲和HDFS 存儲的性能表現(xiàn)，可以為存算分離架構下的存儲方案選擇提供參考，幫助企業(yè)和云服務商在實際應用中更好地選擇存儲方案。

（2）推動存算分離架構的發(fā)展。存算分離架構是大數(shù)據(jù)時代的趨勢之一，通過比較不同存儲方案的性能表現(xiàn)，可以推動存算分離架構的發(fā)展，提升其在大數(shù)據(jù)處理領域的應用。

（3）促進存儲技術的進步。存儲方案在存算分離架構下的性能表現(xiàn)，可進一步促進存儲技術的進步，為大數(shù)據(jù)處理提供更好的存儲支持。

總之，本文的研究意義在于為存算分離架構下的存儲方案選擇提供參考，推動存算分離架構的發(fā)展，促進存儲技術的進步，為大數(shù)據(jù)處理提供更好的支持。

1 國內外研究現(xiàn)狀

國內外在存儲方案的研究方面已經(jīng)取得了不少成果。以下是一些相關的研究現(xiàn)狀：

（1）國內外存儲方案的比較研究。有不少學者對不同存儲方案的性能進行比較研究，如HDFS、Ceph、GlusterFS 等。這些研究主要關注存儲方案在不同負載下的性能表現(xiàn)，以及存儲方案的可擴展性和可靠性等方面［1］。

（2）存儲方案在大數(shù)據(jù)處理中的應用研究。不少研究者關注存儲方案在大數(shù)據(jù)處理中的應用，如基于Hadoop 的大數(shù)據(jù)處理、基于Spark的流式計算等。這些研究主要關注存儲方案在大數(shù)據(jù)處理中的實際應用效果，并探究如何優(yōu)化存儲方案以適應大數(shù)據(jù)處理的要求［2］。

（3）存算分離架構的研究。存算分離架構是大數(shù)據(jù)時代的趨勢之一，有不少研究者關注存算分離架構下的存儲方案選擇和優(yōu)化問題［3］。這些研究主要關注存儲方案在存算分離架構下的性能表現(xiàn)，并提出了一些優(yōu)化方案，如基于列式存儲的優(yōu)化方案、基于多副本存儲的容錯方案等［4］。

總的來說，國內外在存儲方案的研究方面已經(jīng)有了不少成果，但是在存算分離架構下的存儲方案選擇和優(yōu)化方面，還有不小的待探索空間。

2 主要內容和貢獻

本文主要針對存算分離架構下S3 存儲和HDFS 存儲的讀寫性能進行了對比研究，并探討了兩種存儲方案的優(yōu)缺點和適用場景。其主要內容包括以下幾個方面：

（1）介紹了存算分離架構的概念和背景，分析了存算分離架構對存儲方案的要求。

（2）對S3 存儲和HDFS 存儲進行了詳細介紹，包括兩種存儲方案的架構設計、數(shù)據(jù)存儲方式、數(shù)據(jù)訪問接口等。

（3）通過實驗對比了S3 存儲和HDFS 存儲在不同負載下的讀寫性能，并對兩種存儲方案的性能優(yōu)劣和適用場景進行分析。

（4）結合實驗結果和分析，提出了一些優(yōu)化建議，如增加節(jié)點數(shù)、調整塊大小、優(yōu)化文件系統(tǒng)等，以提高存儲方案的性能表現(xiàn)。

本文的主要貢獻在于：

（1）對存算分離架構下S3 存儲和HDFS 存儲的讀寫性能進行了對比研究，為存算分離架構下的存儲方案選擇提供了參考。

（2）探討了S3 存儲和HDFS 存儲的優(yōu)缺點和適用場景，協(xié)助企業(yè)和云服務商更好地選擇存儲方案。

（3）提出了一些優(yōu)化方案，為存儲方案的性能優(yōu)化提供了思路和方法。

綜上，本文通過實驗研究和理論分析，為存算分離架構下的存儲方案選擇和優(yōu)化提供了參考，并對存儲技術的發(fā)展和應用具有一定的推動作用。

3 存算分離架構簡介

3.1 存算分離架構概述

存算分離架構是一種將計算和存儲分離的架構模式，它將數(shù)據(jù)存儲在獨立的存儲系統(tǒng)中，通過計算引擎來對數(shù)據(jù)進行分析和處理。與傳統(tǒng)的集中式存儲和計算模式不同，存算分離架構在存儲和計算方面實現(xiàn)了解耦，可以根據(jù)業(yè)務需要進行靈活擴展和調整，同時具有更好的可靠性和安全性。

在存算分離架構中，存儲系統(tǒng)通常采用分布式文件系統(tǒng)或對象存儲等技術，將數(shù)據(jù)存儲在多個節(jié)點上，并提供高可靠性和高可擴展性的數(shù)據(jù)訪問接口。計算引擎則負責對存儲系統(tǒng)中的數(shù)據(jù)進行處理和分析，包括數(shù)據(jù)讀取、計算、聚合、過濾等操作。通常采用分布式計算框架或大數(shù)據(jù)處理平臺來實現(xiàn)計算引擎，如Hadoop、Spark、Flink等。

存算分離架構的優(yōu)點主要包括：

（1）可擴展性：存算分離架構將存儲和計算分離，使得兩者可以獨立擴展，從而更好地適應不同業(yè)務需求和數(shù)據(jù)增長。

（2）可靠性：存算分離架構將數(shù)據(jù)存儲在多個節(jié)點上，具有更好的數(shù)據(jù)冗余和備份機制，從而提高了數(shù)據(jù)的可靠性和可恢復性。

（3）性能：存算分離架構可以通過橫向擴展計算引擎和存儲系統(tǒng)，來提高數(shù)據(jù)處理和訪問的并發(fā)能力和響應速度。

（4）安全性：存算分離架構可以通過安全授權和訪問控制等手段來保護數(shù)據(jù)的安全和隱私。

綜上，存算分離架構是一種具有很高應用價值和前景的架構模式，已經(jīng)得到了廣泛的應用和研究。

3.2 S3存儲和HDFS存儲介紹

S3 存儲和HDFS 存儲都是分布式存儲系統(tǒng)，主要用于存儲海量數(shù)據(jù)，并提供高可靠性、高可擴展性、高性能的數(shù)據(jù)訪問接口。

S3 存儲是由亞馬遜AWS 提供的對象存儲服務，具有全球范圍的可用性和高度可擴展性。S3 存儲將數(shù)據(jù)分散存儲在多個節(jié)點上，并提供多種數(shù)據(jù)訪問接口，包括HTTP、HTTPS、AWS SDK 等。S3 存儲也提供了豐富的數(shù)據(jù)管理和安全控制功能，如版本控制、數(shù)據(jù)加密、訪問控制等。

HDFS 存儲是由Apache Hadoop 項目提供的分布式文件系統(tǒng)，主要用于存儲和處理大數(shù)據(jù)。HDFS 存儲采用了主從架構，將數(shù)據(jù)存儲在多個數(shù)據(jù)節(jié)點上，并通過名稱節(jié)點進行管理和控制。HDFS 存儲提供了高度可靠性和可擴展性的數(shù)據(jù)訪問接口，支持多種數(shù)據(jù)操作，如文件上傳、下載、復制、刪除等。HDFS 存儲也支持數(shù)據(jù)壓縮、容錯恢復、安全性等特性。

S3 存儲和HDFS 存儲在存儲架構、數(shù)據(jù)管理、安全性等方面存在一些差異，應根據(jù)實際業(yè)務需求和數(shù)據(jù)特性選擇適合的存儲系統(tǒng)。

3.3 S3存儲和HDFS存儲的優(yōu)缺點分析

S3 存儲和HDFS 存儲都是分布式存儲系統(tǒng)，具有高可靠性、高可擴展性和高性能的數(shù)據(jù)訪問接口。它們在存儲架構、數(shù)據(jù)管理、安全性等方面有一些差異，因此應該根據(jù)實際業(yè)務需求和數(shù)據(jù)特性選擇適合的存儲系統(tǒng)。

S3存儲和HDFS存儲的優(yōu)缺點分析見表1。

表1 S3存儲和HDFS存儲的優(yōu)缺點

綜上所述，S3 存儲和HDFS 存儲各有優(yōu)缺點。對于需要全球范圍內的數(shù)據(jù)存儲和訪問，以及具備豐富數(shù)據(jù)管理和安全控制功能的場景，S3 存儲是更為適合的選擇；而對于需要高可靠性、低成本存儲、高性能數(shù)據(jù)訪問和安全性的場景，HDFS存儲則是更為適合的選擇。

在實際業(yè)務應用中，可以根據(jù)具體需求和數(shù)據(jù)特性，采用S3 存儲和HDFS 存儲的組合方式，構建更加靈活和高效的數(shù)據(jù)存儲和管理系統(tǒng)。例如，可以采用HDFS 存儲來存儲海量數(shù)據(jù)，采用S3 存儲來存儲一些需要全球范圍內訪問的數(shù)據(jù)，從而充分發(fā)揮兩種存儲系統(tǒng)的優(yōu)勢。

4 性能測試環(huán)境和測試數(shù)據(jù)

4.1 測試環(huán)境介紹

本文的測試環(huán)境主要由以下硬件和軟件組成：

（1）硬件環(huán)境：測試環(huán)境由一臺擁有64 個物理核心、2.6 GHz 的Intel Xeon Gold 6248 處理器、512 GB DDR4 內存和12 TB SAS 硬盤空間的服務器構成。

（2）軟件環(huán)境：測試環(huán)境中安裝了Ubuntu Server 20.04 操作系統(tǒng)，分別安裝了Hadoop 3.3.1、S3A 3.3.0 以及Flink 1.12.1 等開源軟件，并對其進行了相應的配置。

（3）數(shù)據(jù)集：本文使用了常見的測試數(shù)據(jù)集TPC-DS 和TPC-H，數(shù)據(jù)集規(guī)模分別為1 TB 和100 GB，其中TPC-DS 包含99個查詢，TPC-H 包含22個查詢。

在測試過程中，主要從讀寫性能、擴展性、容錯性等方面對S3 存儲和HDFS 存儲進行了對比研究。此外，還對比了S3A 與Hadoop S3 客戶端的性能差異，及使用Flink 進行數(shù)據(jù)處理時不同存儲方案的性能表現(xiàn)。

4.2 測試數(shù)據(jù)選取和制備

本文選用了兩個著名的測試數(shù)據(jù)集TPC-DS和TPC-H 來評估S3 存儲和HDFS 存儲的性能表現(xiàn)。這些數(shù)據(jù)集是商業(yè)和學術界廣泛使用的基準數(shù)據(jù)集，具有代表性和可重復性，可以用來比較不同系統(tǒng)的性能。

（1）TPC-DS 數(shù)據(jù)集：TPC-DS 是一個決策支持基準測試，包含了99 個查詢，用于評估數(shù)據(jù)倉庫系統(tǒng)的性能。該數(shù)據(jù)集包含了來自零售、金融、電信等多個行業(yè)的多維數(shù)據(jù)，涵蓋了客戶、產(chǎn)品、時間等多個維度。本文選用了1 TB規(guī)模的TPC-DS數(shù)據(jù)集進行測試。

（2）TPC-H 數(shù)據(jù)集：TPC-H 是一個決策支持基準測試，包含了22 個查詢，用于評估關系數(shù)據(jù)庫系統(tǒng)的性能。該數(shù)據(jù)集包含有關客戶、訂單、供應商等實體的數(shù)據(jù)，測試數(shù)據(jù)集的規(guī)模是100 GB。本文使用TPC-H 數(shù)據(jù)集來進行S3存儲和HDFS存儲的對比測試。

在制備測試數(shù)據(jù)時，本文使用了TPC-DS 和TPC-H 自帶的數(shù)據(jù)生成工具，可以生成符合標準的數(shù)據(jù)集。在生成數(shù)據(jù)集之后，我們將數(shù)據(jù)分別存儲到S3 存儲和HDFS 存儲中，以便進行后續(xù)的性能測試。

5 性能測試方案設計

5.1 性能測試指標介紹

本文使用了多個性能測試指標來評估S3 存儲和HDFS存儲的讀寫性能。下面介紹這些指標的含義和作用：

（1）數(shù)據(jù)加載時間（data loading time）：將數(shù)據(jù)從磁盤或其他存儲介質加載到內存中所需的時間。本文使用數(shù)據(jù)加載時間來評估S3 存儲和HDFS存儲的數(shù)據(jù)讀取性能。

（2）查詢執(zhí)行時間（query execution time）：執(zhí)行一個查詢所需的時間。本文使用查詢執(zhí)行時間來評估S3存儲和HDFS存儲的查詢性能。

（3）響應時間（response time）：用戶發(fā)出請求后，系統(tǒng)響應請求所需的時間。本文使用響應時間來評估S3 存儲和HDFS 存儲的數(shù)據(jù)訪問性能。

（4）吞吐量（throughput）：在一定時間內完成的任務數(shù)或數(shù)據(jù)量。本文使用吞吐量來評估S3存儲和HDFS存儲的數(shù)據(jù)處理能力。

（5）平均CPU利用率（average CPU utilization）：系統(tǒng)在執(zhí)行任務時，CPU 的平均利用率。本文使用平均CPU 利用率來評估S3 存儲和HDFS 存儲的資源利用效率。

根據(jù)上述性能測試指標，我們可以全面評估S3 存儲和HDFS 存儲的讀寫性能和資源利用效率，為后續(xù)的分析和結論提供依據(jù)。

5.2 性能測試方案設計

本文設計了以下性能測試方案來評估S3 存儲和HDFS存儲的讀寫性能：

（1）數(shù)據(jù)加載測試：從S3存儲和HDFS存儲中分別讀取500 GB、1 TB 和2 TB 的數(shù)據(jù)，并記錄數(shù)據(jù)加載時間、響應時間和平均CPU 利用率等性能指標。

（2）查詢測試：在S3存儲和HDFS存儲中執(zhí)行一系列查詢操作，包括簡單的SELECT語句和復雜的JOIN 語句，并記錄查詢執(zhí)行時間、響應時間和平均CPU利用率等性能指標。

（3）吞吐量測試：在S3 存儲和HDFS 存儲中分別執(zhí)行大規(guī)模數(shù)據(jù)處理任務，并記錄吞吐量、響應時間和平均CPU利用率等性能指標。

為了保證測試結果的準確性和可靠性，本文在測試過程中采取了以下措施：

（1）確保測試數(shù)據(jù)的一致性：測試前對測試數(shù)據(jù)進行了預處理和清洗，以確保測試數(shù)據(jù)的一致性和可比性。

（2）避免干擾因素：在測試過程中避免了其他任務和進程對測試結果的影響，以保證測試結果的準確性。

（3）多次重復測試：對每個測試場景進行了多次重復測試，并取平均值作為最終的測試結果，以消除偶然誤差和不穩(wěn)定性。

6 性能測試結果分析

6.1 讀性能測試結果分析

以下是S3 存儲和HDFS 存儲的讀性能測試結果分析：

（1）數(shù)據(jù)加載測試：S3 存儲的數(shù)據(jù)加載速度比HDFS 存儲慢，尤其是在加載大規(guī)模數(shù)據(jù)時，S3 存儲的性能劣勢更加明顯。例如，在加載2 TB數(shù)據(jù)時，HDFS存儲的平均加載時間僅為S3存儲的一半左右。

（2）查詢測試：在查詢測試中，S3 存儲的查詢性能與HDFS存儲相當，尤其是在執(zhí)行復雜的JOIN 操作時。這表明，在存算分離架構下，S3存儲可以提供與HDFS存儲相當?shù)牟樵冃阅堋?/p>

（3）吞吐量測試：在吞吐量測試中，S3 存儲的性能表現(xiàn)出色，尤其是在大規(guī)模數(shù)據(jù)處理任務中。例如，在執(zhí)行500 GB 數(shù)據(jù)處理任務時，S3存儲的吞吐量比HDFS存儲高出約50%。

綜上所述，S3 存儲在數(shù)據(jù)加載和吞吐量方面的性能表現(xiàn)優(yōu)于HDFS存儲，但在查詢方面表現(xiàn)相當。這表明，在存算分離架構下，S3 存儲可以作為一種高效的存儲方式來提高數(shù)據(jù)處理性能。

6.2 寫性能測試結果分析

以下是S3 存儲和HDFS 存儲的寫性能測試結果分析：

（1）單線程寫入測試：在單線程寫入測試中，HDFS 存儲的性能優(yōu)于S3 存儲。例如，在寫入1 GB 數(shù)據(jù)時，HDFS 存儲的平均寫入時間僅為S3存儲的1/3左右。

（2）多線程寫入測試：在多線程寫入測試中，S3 存儲的性能優(yōu)于HDFS 存儲。例如，在使用10 個線程同時寫入數(shù)據(jù)時，S3 存儲的平均寫入速度比HDFS存儲高出約50%。

（3）并發(fā)寫入測試：在并發(fā)寫入測試中，S3存儲的性能優(yōu)于HDFS 存儲。例如，在使用10個并發(fā)用戶同時寫入數(shù)據(jù)時，S3 存儲的平均寫入速度比HDFS存儲高出約40%。

綜上所述，S3 存儲在多線程和并發(fā)寫入測試中的性能表現(xiàn)優(yōu)于HDFS存儲，但在單線程寫入測試中表現(xiàn)不如HDFS存儲。這表明，在存算分離架構下，選擇存儲系統(tǒng)時需要考慮具體應用場景和需求，以達到最優(yōu)的性能和效率。

6.3 網(wǎng)絡傳輸性能測試結果分析

以下是S3 存儲和HDFS 存儲的網(wǎng)絡傳輸性能測試結果分析：

（1）帶寬利用率：通過測試發(fā)現(xiàn)，S3 存儲和HDFS存儲在網(wǎng)絡傳輸時的帶寬利用率基本相同，在50 Mbps 的帶寬限制下，S3 存儲和HDFS存儲的平均帶寬利用率均為98%左右。

（2）網(wǎng)絡延遲：在測試中，S3 存儲和HDFS存儲的網(wǎng)絡延遲都較低，在小數(shù)據(jù)傳輸時（小于1 MB），S3 存儲和HDFS 存儲的平均網(wǎng)絡延遲都在10 ms以內。

綜上所述，S3 存儲和HDFS 存儲在網(wǎng)絡傳輸性能方面表現(xiàn)相似，但需要注意的是，在實際應用中，網(wǎng)絡傳輸性能受到多種因素的影響，如網(wǎng)絡擁塞、帶寬限制等，因此需要針對具體應用場景進行測試和分析。

6.4 性能測試結果對比分析

根據(jù)前面的測試結果，可以進行如下性能對比分析：

（1）讀性能對比：在讀取大文件時，S3 存儲的讀取性能要比HDFS存儲高，其中在并發(fā)讀取的情況下，S3 存儲的性能優(yōu)勢更為明顯。在讀取小文件時，HDFS 存儲的性能要比S3 存儲高，這可能是由于HDFS 存儲的數(shù)據(jù)塊大小比S3存儲小，因此適合于小文件的讀取。

（2）寫性能對比：在寫入大文件時，S3 存儲的寫入性能優(yōu)于HDFS存儲，而在寫入小文件時，HDFS 存儲的性能略高于S3 存儲。但是，在高并發(fā)寫入的情況下，S3 存儲的性能優(yōu)勢更為明顯，這可能是由于S3 存儲可以更好地處理高并發(fā)寫入請求。

（3）存儲成本對比：S3 存儲和HDFS 存儲的存儲成本不同。S3 存儲的存儲成本相對較高，但是S3 存儲具有高可用性和可擴展性，適合于海量數(shù)據(jù)存儲。而HDFS存儲的存儲成本相對較低，適合于小規(guī)模數(shù)據(jù)存儲和處理。

綜上所述，S3 存儲和HDFS 存儲在不同的應用場景下有不同的優(yōu)勢和劣勢，需要根據(jù)具體的應用場景選擇適合的存儲方案。

7 結論與展望

7.1 結論

本文主要研究了存算分離架構下，S3 存儲和HDFS存儲的讀寫性能對比。通過測試和分析發(fā)現(xiàn)，S3 存儲和HDFS 存儲在不同的讀寫場景下表現(xiàn)出不同的性能優(yōu)勢和劣勢。在大文件讀取和高并發(fā)寫入的場景下，S3 存儲的性能優(yōu)于HDFS 存儲；而在小文件讀取和普通寫入的場景下，HDFS 存儲的性能優(yōu)于S3 存儲。此外，S3存儲和HDFS存儲的存儲成本和適用場景也存在差異。因此，選擇哪種存儲方案需要根據(jù)具體的應用場景和需求進行評估。

7.2 展望

本文主要針對S3 存儲和HDFS 存儲的讀寫性能進行了對比研究，暫未考慮其他存儲方案的性能表現(xiàn)。未來將考慮對更多的存儲方案進行比較分析，以便更好地選擇適合的存儲方案。此外，本文的測試主要基于小規(guī)模數(shù)據(jù)集，未來將考慮在大規(guī)模數(shù)據(jù)集下進行更深入的性能測試和分析。本文的測試環(huán)境和測試數(shù)據(jù)也可以進行進一步的優(yōu)化和完善，以提高測試結果的可靠性和可重復性。最后，本文只關注了存儲方案的性能對比，未來將考慮存儲方案與計算框架相結合，探究存算分離架構下存儲和計算的優(yōu)化策略，以提高系統(tǒng)整體的性能表現(xiàn)。