汪秀兵

摘要：隨著大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)技術以及短視頻直播技術的迅速發(fā)展，傳統(tǒng)的集中式存儲系統(tǒng)存在數(shù)據(jù)規(guī)模有限、存儲和處理能力瓶頸、單點故障等問題，已經難以滿足現(xiàn)階段的業(yè)務需求?；诖?，本文從非結構化數(shù)據(jù)增長、容器化技術發(fā)展、異地多活災備等業(yè)務需求對存儲技術的新要求進行分析，總結了自研存儲待解決的三個問題，即技術選型、技術路線、架構設計，探究了自研存儲部署架構、多集群管理、小文件合并等關鍵技術問題，并提出相應的解決思路。

關鍵詞：分布式存儲；Ceph；高可用；高性能

一、業(yè)務需求對存儲技術的新要求

（一）非結構化數(shù)據(jù)高速增長及對象存儲的興起

隨著大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)技術的迅速發(fā)展，手機短視頻、基于攝像頭的視頻監(jiān)控業(yè)務也隨之迅猛發(fā)展，帶來流量爆炸式增長，企業(yè)也面臨著加密越來越多的大規(guī)模、非結構化的數(shù)據(jù)存儲、敏感信息和隱私數(shù)據(jù)以及AI識別等處理需求。由于傳統(tǒng)的集中式存儲系統(tǒng)存在數(shù)據(jù)規(guī)模有限、存儲和處理能力瓶頸、單點故障等問題，已經難以滿足現(xiàn)階段的業(yè)務需求。為了更好地滿足大規(guī)模數(shù)據(jù)存儲和處理的需求，從成本考慮，分布式存儲系統(tǒng)的軟硬件投資成本相比公有云具有明顯優(yōu)勢；從國產化考慮，分布式存儲系統(tǒng)自主可控，適配龍芯CPU、麒麟V10和統(tǒng)信UOS操作系統(tǒng)，能夠根據(jù)業(yè)務的個性化需求定制需求支撐。分布式存儲系統(tǒng)將數(shù)據(jù)分散存儲在多個節(jié)點上，通過網(wǎng)絡進行通信和協(xié)作，實現(xiàn)高可用性、高擴展性和高性能的存儲和處理。目前，對自研分布式存儲系統(tǒng)的要求進一步提高，應當具備數(shù)據(jù)迅速增長、多樣化存儲類型支持、自主可控及成本效益考量等方面的能力，并能夠根據(jù)具體需求進行設計和優(yōu)化，以滿足企業(yè)或組織特定的數(shù)據(jù)存儲和處理需求。

（二）存儲虛擬化和容器化的發(fā)展

存儲虛擬化技術和容器化技術的發(fā)展使得分布式存儲系統(tǒng)能夠更高效地在虛擬化環(huán)境或容器化環(huán)境中部署和管理。容器化有兩個重點，一是控制平面，能夠調度服務器資源來運行企業(yè)不同類型的應用；二是數(shù)據(jù)平臺，無狀態(tài)應用的數(shù)據(jù)要想落到統(tǒng)一存儲上，開源Ceph提供的塊存儲是很好的解決方案，為企業(yè)提供了低成本、高可用性和可擴展性，并已經在業(yè)界取得了廣泛應用。

（三）異地多活災備和數(shù)據(jù)復制新要求

隨著企業(yè)全球化業(yè)務的增長，異地多活災備和數(shù)據(jù)復制成為迫切需求。分布式存儲系統(tǒng)能夠跨多個地理位置復制數(shù)據(jù)，以增加數(shù)據(jù)的可用性和容災能力。對于異地多活，集群在不同的地理位置部署多個存儲集群，通過復制數(shù)據(jù)和具有自動故障轉移功能的Monitor來實現(xiàn)數(shù)據(jù)的跨地理位置訪問與同步，即使一個地點的存儲集群發(fā)生故障，其他地點的集群仍然可以提供服務。此外，集群需要提供靈活的數(shù)據(jù)遷移功能，能夠在存儲集群中的不同存儲池或不同對象存儲設備之間進行數(shù)據(jù)復制和搬遷。

二、自研存儲需要解決的問題

（一）自研存儲技術選型

分布式存儲主要有兩種方法一是開源路線，二是自研路線。國內分布式存儲SDS產品以開源路線為主，Ceph占絕對多數(shù)，其他的有Gluster和BeeGFS。隨著大文件、小文件、視頻、文本等不同場景的代碼沉淀逐漸增加，自研程度持續(xù)提升，以滿足自主可控的訴求。巨頭企業(yè)華為、浪潮、新華三、曙光參考Ceph架構以及初創(chuàng)企業(yè)星辰天合、杉巖SDS系列產品均基于開源Ceph的二次開發(fā)。

（二）自研存儲技術路線

開源Ceph是一個高性能、可靠性、可擴展性、統(tǒng)一的、分布式文件系統(tǒng)，能夠提供對象存儲、塊存儲和文件存儲。因此提出基于開源Ceph自研存儲“三步走”路線如下：

（1）掌握開源系統(tǒng)實現(xiàn)系統(tǒng)穩(wěn)定運行

研發(fā)數(shù)據(jù)模塊，實現(xiàn)集群中數(shù)據(jù)復制、恢復、回填、再均衡；研發(fā)元數(shù)據(jù)模塊，實現(xiàn)集群狀態(tài)維護、存儲位置映射、集群數(shù)據(jù)一致性；研發(fā)高速存儲緩存模塊，實現(xiàn)數(shù)據(jù)高速讀寫；研發(fā)面向客戶端的開放API及SDK。

（2）集群高性能/高可用深度改造

研發(fā)軟硬件使用情況、帶寬、網(wǎng)絡質量、存儲使用量等的多維度數(shù)據(jù)采集子系統(tǒng)；根據(jù)業(yè)務場景配置、監(jiān)控數(shù)據(jù)、調度算法，研發(fā)統(tǒng)一智能調度子系統(tǒng)；研發(fā)性能、容量趨勢的多維度監(jiān)控模塊、短信、郵件、企業(yè)微信告警通知模塊、日志統(tǒng)一管理模塊。

（3）多應用場景支撐

研發(fā)豐富的API，支持不同場景下數(shù)據(jù)存儲的管理和分析要求；研發(fā)數(shù)據(jù)分級存儲，基于策略控制實現(xiàn)冷熱數(shù)據(jù)分介質存儲；研發(fā)對象網(wǎng)關負載均衡功能，提供輪詢、權重等多種負載均衡策略。

（三）自研存儲架構設計

為了實現(xiàn)分布式存儲自主可控，應當避免采購的存儲服務源碼少或不全。廠商自研產品存在知識產權風險，針對云盤用戶小文件占比高，攝像頭音視頻數(shù)據(jù)量大，但是CDN大文件熱數(shù)據(jù)分發(fā)等不同類型的需求能按需定制，并支持高性能需求，如百億級海量文件存儲、SSD加速、低成本存儲歸檔、異步復制容災、秒級快照、數(shù)據(jù)安全等。本文研究內容如下：

（1）存儲引擎子系統(tǒng)

該系統(tǒng)由數(shù)據(jù)存儲、元數(shù)據(jù)管理、API&SDK幾部分組成，核心目標是實現(xiàn)分布式、數(shù)據(jù)可靠性保護（副本或者糾刪碼）、分布式一致性和故障檢測與恢復，以此為上層提供統(tǒng)一高可靠的存儲引擎。

（2）數(shù)據(jù)采集子系統(tǒng)研究

收集研發(fā)軟硬件使用情況、帶寬、網(wǎng)絡質量、存儲使用量等指標數(shù)據(jù)，輔助用戶快速直觀地了解集群、節(jié)點池、硬盤池、Pool信息、存儲卷以及主機和硬盤的運行狀態(tài)，以此為智能調度提供決策數(shù)據(jù)來源。

（3）智能調度子系統(tǒng)

根據(jù)業(yè)務場景配置、監(jiān)控數(shù)據(jù)、調度算法，研發(fā)統(tǒng)一智能調度子系統(tǒng)，對分布式核心存儲集群進行實時監(jiān)控，通過靈活配置約束條件以及大規(guī)模計算的算法優(yōu)勢，為不同業(yè)務場景提供高效的智能調度服務。

（4）運維管理子系統(tǒng)

為了使得硬件設備、網(wǎng)絡資產、存儲服務在成本、穩(wěn)定性和運行效率上達成理想狀態(tài)，建立存儲運維管理子系統(tǒng)，包括設備管理，網(wǎng)絡管理、智能巡檢和事件管理，讓整體軟硬件系統(tǒng)實現(xiàn)全生命周期安全可靠、穩(wěn)定高效地運行。

（5）集群協(xié)同子系統(tǒng)

研發(fā)數(shù)據(jù)遷移工具，實現(xiàn)第三方云存儲、集群間等各類數(shù)據(jù)在線遷移。

（6）存儲管理子系統(tǒng)

建設統(tǒng)一的存儲管理門戶，面向運維、運營等人員，提供軟硬件資源的在線管理。資源申請的多節(jié)點審批、在線擴縮容、自動化部署，以實現(xiàn)多集群的獨立部署、門戶統(tǒng)一納管。

三、自研存儲關鍵技術研究

（一）軟硬件網(wǎng)絡部署架構分析

1.存儲節(jié)點架構及介質選型

硬盤介質通常有HDD、SATA SSD和nvme SSD，SATA SSD的讀寫速度比HDD快，而NVMe的讀寫速度又比SATA SSD快，SATA SSD比普通HDD快5倍，其成本是HDD的1.5倍，不同類型的設備性能與成本不同，通常有以下4種模式可供選擇。

（1）分層存儲：緩存節(jié)點+存儲節(jié)點

通過cache tier技術將ssd設備編排在一起，承接用戶的讀寫請求，先寫緩存，達到緩存閾值后，再轉存到hdd設備中去。

（2）主副本分優(yōu)先級：主本在SSD，其余副本在HDD

通過osd primary-affinity特性。通過降低Ceph OSD的主要親和力值，實現(xiàn)控制SSD設備為主OSD、HDD設備為Replica OSD，以此實現(xiàn)讀寫數(shù)據(jù)流程的轉變。

（3）存儲池分優(yōu)先級

當同一個集群需要應對不同的需求時，通常對存儲池進行分級，SSD池和HDD池在RGW中；Index池存儲的元數(shù)據(jù)對讀寫速度要求高，可以使用SSD池；Data池是存客戶端的數(shù)據(jù)，可以使用HDD池。

（4）OSD組件分優(yōu)先級

OSD分為WAL、DB、BLOCK三個部分，其中WAL存讀寫過程的日志，DB存OSD的Omap等數(shù)據(jù)，BLOCK存實際數(shù)據(jù)。WAL、DB的速度對于OSD的性能影響至關重要，所以通常使用SSD設備，以提高讀寫能力。

在集群建設規(guī)劃時，存儲節(jié)點架構應當根據(jù)不同需求分為三種場景，即成本優(yōu)先、吞吐量優(yōu)先、IOPS優(yōu)先，再對照四種模式進行組合，調整相應的OSD硬盤介質、緩存節(jié)點以及存儲節(jié)點的配置比例。

2.存儲集群網(wǎng)絡設備選型

在Ceph存儲的設備選型方面，應該根據(jù)實際業(yè)務需求和數(shù)據(jù)量來選擇合適的網(wǎng)卡和交換機，以確保數(shù)據(jù)的穩(wěn)定性、可靠性和性能。同時，還應該注意網(wǎng)絡安全和管理方面的問題，采取相應的措施以確保網(wǎng)絡安全可靠。以下是關于業(yè)務網(wǎng)絡、存儲網(wǎng)絡和管理網(wǎng)絡的說明。

（1）業(yè)務網(wǎng)絡。對于業(yè)務網(wǎng)絡，生產環(huán)境建議選擇2個萬兆網(wǎng)卡，用于連接前端和后端的集群網(wǎng)絡。使用萬兆網(wǎng)卡可以確保足夠的帶寬和低延遲，以支持高并發(fā)訪問和數(shù)據(jù)傳輸。如果需要支持更大的數(shù)據(jù)流量或者需要更高的性能，則可以考慮使用25G萬兆網(wǎng)卡。

（2）存儲網(wǎng)絡。存儲網(wǎng)絡建議使用獨立的網(wǎng)卡和交換機來連接Ceph集群和服務器之間的數(shù)據(jù)傳輸，以避免與其他網(wǎng)絡流量的競爭，并確保數(shù)據(jù)的穩(wěn)定性和可靠性。如果需要支持更大的數(shù)據(jù)流量或者需要更高的性能，可以考慮使用更高級別的交換機和網(wǎng)卡，或者使用分布式存儲系統(tǒng)來擴展Ceph集群的容量和性能。

（3）管理網(wǎng)絡。對于管理網(wǎng)絡，建議使用獨立的網(wǎng)卡和交換機來連接Ceph集群和服務器之間的管理流量，不僅可以確保Ceph集群和服務器之間的通信安全可靠，還能夠避免與其他網(wǎng)絡流量的競爭。此外，為了方便管理和監(jiān)控Ceph集群，可以使用開源工具，如Ansible、SaltStack等來自動化管理配置和部署Ceph集群。

（二）多集群存儲管理及監(jiān)控告警設計

通過設計一個集中管理和監(jiān)控多個存儲集群的系統(tǒng)，管理員可以更好地管理存儲環(huán)境，從而提高存儲系統(tǒng)的可靠性、性能和效率。多集群存儲管理及監(jiān)控告警系統(tǒng)的設計需要結合多集群管理、存儲監(jiān)控、告警管理、可視化界面和自動化運維等方面，以滿足管理員對存儲集群的管理和監(jiān)控需求。

1.多集群管理

建立一個集中的管理控制平臺，該平臺可以管理和監(jiān)控多個存儲集群，并提供集群的注冊、配置、擴展和刪除等功能，使得集群管理變得更加便捷和靈活。

2.存儲監(jiān)控

為每個集群配置監(jiān)控代理，用于定期收集和報告集群的存儲指標，如可用空間、IOPS、吞吐量等。監(jiān)控代理可以將監(jiān)控數(shù)據(jù)發(fā)送到存儲監(jiān)控系統(tǒng)。存儲監(jiān)控系統(tǒng)則可以實時監(jiān)控存儲集群的狀態(tài)，分析存儲的性能和健康狀況，并提供儀表盤和報告。

3.告警管理

存儲監(jiān)控系統(tǒng)應該提供靈活的告警規(guī)則配置和管理功能，管理人員可以設定閾值，當存儲集群的某個指標超過或低于設定的閾值時，系統(tǒng)會觸發(fā)告警。告警可以通過郵件、短信或即時通知等方式發(fā)送給管理員，以便及時采取措施解決問題。

4.可視化界面

為了方便管理員查看和操作，技術人員可以設計一個直觀的圖形界面，顯示存儲集群的拓撲結構和詳細信息，以便管理員可以通過界面來查看存儲集群的健康狀況、性能指標和告警信息。此外，界面還可以提供存儲資源的使用情況和預測，幫助管理員進行容量規(guī)劃和優(yōu)化。

5.自動化運維

在設計系統(tǒng)時，技術人員可以考慮引入自動化運維功能，如自動擴展、負載均衡和故障轉移等，以此最大程度地減少管理員的手動操作，提高存儲管理的效率和穩(wěn)定性。

（三）基于元數(shù)據(jù)的小文件合并讀寫分析

通過基于元數(shù)據(jù)的小文件合并讀寫，可以將多個小文件合并為一個更大的文件，以此減少磁盤索引的開銷，并且可以對這個大文件進行更高效地讀寫操作。這種技術可以通過以下步驟來實現(xiàn)：

1.文件合并

將多個小文件按照一定的規(guī)則（例如文件名的前綴、后綴或文件夾結構等）進行合并，生成一個較大的文件。合并后的文件可以是一個普通的二進制文件，也可以是一種特定的格式，例如壓縮文件或歸檔文件。

2.元數(shù)據(jù)管理

為了能夠正確地讀取和修改合并后的文件，需要維護一些額外的元數(shù)據(jù)信息。元數(shù)據(jù)包括記錄文件名、起始位置以及每個小文件的偏移量和長度等信息，可以存儲在文件的頭部、文件路徑、獨立KV數(shù)據(jù)庫，并在讀寫操作時被使用。

3.讀寫操作

當需要讀取或修改某個小文件時，可以通過查找元數(shù)據(jù)信息，確定文件在合并后的文件中的位置。讀取操作可以根據(jù)元數(shù)據(jù)信息來定位文件的起始位置，并讀取相應的數(shù)據(jù)。修改操作則可以通過讀取相應的數(shù)據(jù)，并更新后再寫回合并后的文件。使用基于元數(shù)據(jù)的小文件合并讀寫可以有效地減少小文件帶來的存儲和管理開銷，并提高存儲效率和讀寫性能。

四、結束語

本文從業(yè)務需求、技術選型、技術架構、關鍵技術等四個方面進行闡述，提出企業(yè)自研存儲“三步走”路線，首先，基于開源Ceph搭建的分布式存儲集群通過對部署架構設計、參數(shù)調優(yōu)，使得企業(yè)快速構建實現(xiàn)數(shù)據(jù)在不同的機架、主機、磁盤的數(shù)據(jù)均衡分布存儲，同時兼顧多級故障域及海量數(shù)據(jù)的均衡分布的分布式存儲能力；其次，通過使用多集群管理、監(jiān)控告警、自動化運維、多副本以及EC等特性，實現(xiàn)集群的高可用性以及數(shù)據(jù)的高可靠性，兼顧低成本與高性能，并實現(xiàn)數(shù)據(jù)容災能力；最后，針對多種場景需求，例如小文件IOPS要求高進行元數(shù)據(jù)改造、大文件帶寬要求高進行增加op線程、EC模式等方式優(yōu)化，實現(xiàn)開源Ceph存儲的集群穩(wěn)定可控、代碼可改以及功能可擴展。