汪秀兵

摘要：隨著大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)技術(shù)以及短視頻直播技術(shù)的迅速發(fā)展，傳統(tǒng)的集中式存儲(chǔ)系統(tǒng)存在數(shù)據(jù)規(guī)模有限、存儲(chǔ)和處理能力瓶頸、單點(diǎn)故障等問(wèn)題，已經(jīng)難以滿足現(xiàn)階段的業(yè)務(wù)需求?；诖耍疚膹姆墙Y(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)、容器化技術(shù)發(fā)展、異地多活災(zāi)備等業(yè)務(wù)需求對(duì)存儲(chǔ)技術(shù)的新要求進(jìn)行分析，總結(jié)了自研存儲(chǔ)待解決的三個(gè)問(wèn)題，即技術(shù)選型、技術(shù)路線、架構(gòu)設(shè)計(jì)，探究了自研存儲(chǔ)部署架構(gòu)、多集群管理、小文件合并等關(guān)鍵技術(shù)問(wèn)題，并提出相應(yīng)的解決思路。

關(guān)鍵詞：分布式存儲(chǔ)；Ceph；高可用；高性能

一、業(yè)務(wù)需求對(duì)存儲(chǔ)技術(shù)的新要求

（一）非結(jié)構(gòu)化數(shù)據(jù)高速增長(zhǎng)及對(duì)象存儲(chǔ)的興起

隨著大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，手機(jī)短視頻、基于攝像頭的視頻監(jiān)控業(yè)務(wù)也隨之迅猛發(fā)展，帶來(lái)流量爆炸式增長(zhǎng)，企業(yè)也面臨著加密越來(lái)越多的大規(guī)模、非結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)、敏感信息和隱私數(shù)據(jù)以及AI識(shí)別等處理需求。由于傳統(tǒng)的集中式存儲(chǔ)系統(tǒng)存在數(shù)據(jù)規(guī)模有限、存儲(chǔ)和處理能力瓶頸、單點(diǎn)故障等問(wèn)題，已經(jīng)難以滿足現(xiàn)階段的業(yè)務(wù)需求。為了更好地滿足大規(guī)模數(shù)據(jù)存儲(chǔ)和處理的需求，從成本考慮，分布式存儲(chǔ)系統(tǒng)的軟硬件投資成本相比公有云具有明顯優(yōu)勢(shì)；從國(guó)產(chǎn)化考慮，分布式存儲(chǔ)系統(tǒng)自主可控，適配龍芯CPU、麒麟V10和統(tǒng)信UOS操作系統(tǒng)，能夠根據(jù)業(yè)務(wù)的個(gè)性化需求定制需求支撐。分布式存儲(chǔ)系統(tǒng)將數(shù)據(jù)分散存儲(chǔ)在多個(gè)節(jié)點(diǎn)上，通過(guò)網(wǎng)絡(luò)進(jìn)行通信和協(xié)作，實(shí)現(xiàn)高可用性、高擴(kuò)展性和高性能的存儲(chǔ)和處理。目前，對(duì)自研分布式存儲(chǔ)系統(tǒng)的要求進(jìn)一步提高，應(yīng)當(dāng)具備數(shù)據(jù)迅速增長(zhǎng)、多樣化存儲(chǔ)類型支持、自主可控及成本效益考量等方面的能力，并能夠根據(jù)具體需求進(jìn)行設(shè)計(jì)和優(yōu)化，以滿足企業(yè)或組織特定的數(shù)據(jù)存儲(chǔ)和處理需求。

（二）存儲(chǔ)虛擬化和容器化的發(fā)展

存儲(chǔ)虛擬化技術(shù)和容器化技術(shù)的發(fā)展使得分布式存儲(chǔ)系統(tǒng)能夠更高效地在虛擬化環(huán)境或容器化環(huán)境中部署和管理。容器化有兩個(gè)重點(diǎn)，一是控制平面，能夠調(diào)度服務(wù)器資源來(lái)運(yùn)行企業(yè)不同類型的應(yīng)用；二是數(shù)據(jù)平臺(tái)，無(wú)狀態(tài)應(yīng)用的數(shù)據(jù)要想落到統(tǒng)一存儲(chǔ)上，開源Ceph提供的塊存儲(chǔ)是很好的解決方案，為企業(yè)提供了低成本、高可用性和可擴(kuò)展性，并已經(jīng)在業(yè)界取得了廣泛應(yīng)用。

（三）異地多活災(zāi)備和數(shù)據(jù)復(fù)制新要求

隨著企業(yè)全球化業(yè)務(wù)的增長(zhǎng)，異地多活災(zāi)備和數(shù)據(jù)復(fù)制成為迫切需求。分布式存儲(chǔ)系統(tǒng)能夠跨多個(gè)地理位置復(fù)制數(shù)據(jù)，以增加數(shù)據(jù)的可用性和容災(zāi)能力。對(duì)于異地多活，集群在不同的地理位置部署多個(gè)存儲(chǔ)集群，通過(guò)復(fù)制數(shù)據(jù)和具有自動(dòng)故障轉(zhuǎn)移功能的Monitor來(lái)實(shí)現(xiàn)數(shù)據(jù)的跨地理位置訪問(wèn)與同步，即使一個(gè)地點(diǎn)的存儲(chǔ)集群發(fā)生故障，其他地點(diǎn)的集群仍然可以提供服務(wù)。此外，集群需要提供靈活的數(shù)據(jù)遷移功能，能夠在存儲(chǔ)集群中的不同存儲(chǔ)池或不同對(duì)象存儲(chǔ)設(shè)備之間進(jìn)行數(shù)據(jù)復(fù)制和搬遷。

二、自研存儲(chǔ)需要解決的問(wèn)題

（一）自研存儲(chǔ)技術(shù)選型

分布式存儲(chǔ)主要有兩種方法一是開源路線，二是自研路線。國(guó)內(nèi)分布式存儲(chǔ)SDS產(chǎn)品以開源路線為主，Ceph占絕對(duì)多數(shù)，其他的有Gluster和BeeGFS。隨著大文件、小文件、視頻、文本等不同場(chǎng)景的代碼沉淀逐漸增加，自研程度持續(xù)提升，以滿足自主可控的訴求。巨頭企業(yè)華為、浪潮、新華三、曙光參考Ceph架構(gòu)以及初創(chuàng)企業(yè)星辰天合、杉巖SDS系列產(chǎn)品均基于開源Ceph的二次開發(fā)。

（二）自研存儲(chǔ)技術(shù)路線

開源Ceph是一個(gè)高性能、可靠性、可擴(kuò)展性、統(tǒng)一的、分布式文件系統(tǒng)，能夠提供對(duì)象存儲(chǔ)、塊存儲(chǔ)和文件存儲(chǔ)。因此提出基于開源Ceph自研存儲(chǔ)“三步走”路線如下：

（1）掌握開源系統(tǒng)實(shí)現(xiàn)系統(tǒng)穩(wěn)定運(yùn)行

研發(fā)數(shù)據(jù)模塊，實(shí)現(xiàn)集群中數(shù)據(jù)復(fù)制、恢復(fù)、回填、再均衡；研發(fā)元數(shù)據(jù)模塊，實(shí)現(xiàn)集群狀態(tài)維護(hù)、存儲(chǔ)位置映射、集群數(shù)據(jù)一致性；研發(fā)高速存儲(chǔ)緩存模塊，實(shí)現(xiàn)數(shù)據(jù)高速讀寫；研發(fā)面向客戶端的開放API及SDK。

（2）集群高性能/高可用深度改造

研發(fā)軟硬件使用情況、帶寬、網(wǎng)絡(luò)質(zhì)量、存儲(chǔ)使用量等的多維度數(shù)據(jù)采集子系統(tǒng)；根據(jù)業(yè)務(wù)場(chǎng)景配置、監(jiān)控?cái)?shù)據(jù)、調(diào)度算法，研發(fā)統(tǒng)一智能調(diào)度子系統(tǒng)；研發(fā)性能、容量趨勢(shì)的多維度監(jiān)控模塊、短信、郵件、企業(yè)微信告警通知模塊、日志統(tǒng)一管理模塊。

（3）多應(yīng)用場(chǎng)景支撐

研發(fā)豐富的API，支持不同場(chǎng)景下數(shù)據(jù)存儲(chǔ)的管理和分析要求；研發(fā)數(shù)據(jù)分級(jí)存儲(chǔ)，基于策略控制實(shí)現(xiàn)冷熱數(shù)據(jù)分介質(zhì)存儲(chǔ)；研發(fā)對(duì)象網(wǎng)關(guān)負(fù)載均衡功能，提供輪詢、權(quán)重等多種負(fù)載均衡策略。

（三）自研存儲(chǔ)架構(gòu)設(shè)計(jì)

為了實(shí)現(xiàn)分布式存儲(chǔ)自主可控，應(yīng)當(dāng)避免采購(gòu)的存儲(chǔ)服務(wù)源碼少或不全。廠商自研產(chǎn)品存在知識(shí)產(chǎn)權(quán)風(fēng)險(xiǎn)，針對(duì)云盤用戶小文件占比高，攝像頭音視頻數(shù)據(jù)量大，但是CDN大文件熱數(shù)據(jù)分發(fā)等不同類型的需求能按需定制，并支持高性能需求，如百億級(jí)海量文件存儲(chǔ)、SSD加速、低成本存儲(chǔ)歸檔、異步復(fù)制容災(zāi)、秒級(jí)快照、數(shù)據(jù)安全等。本文研究?jī)?nèi)容如下：

（1）存儲(chǔ)引擎子系統(tǒng)

該系統(tǒng)由數(shù)據(jù)存儲(chǔ)、元數(shù)據(jù)管理、API&SDK幾部分組成，核心目標(biāo)是實(shí)現(xiàn)分布式、數(shù)據(jù)可靠性保護(hù)（副本或者糾刪碼）、分布式一致性和故障檢測(cè)與恢復(fù)，以此為上層提供統(tǒng)一高可靠的存儲(chǔ)引擎。

（2）數(shù)據(jù)采集子系統(tǒng)研究

收集研發(fā)軟硬件使用情況、帶寬、網(wǎng)絡(luò)質(zhì)量、存儲(chǔ)使用量等指標(biāo)數(shù)據(jù)，輔助用戶快速直觀地了解集群、節(jié)點(diǎn)池、硬盤池、Pool信息、存儲(chǔ)卷以及主機(jī)和硬盤的運(yùn)行狀態(tài)，以此為智能調(diào)度提供決策數(shù)據(jù)來(lái)源。

（3）智能調(diào)度子系統(tǒng)

根據(jù)業(yè)務(wù)場(chǎng)景配置、監(jiān)控?cái)?shù)據(jù)、調(diào)度算法，研發(fā)統(tǒng)一智能調(diào)度子系統(tǒng)，對(duì)分布式核心存儲(chǔ)集群進(jìn)行實(shí)時(shí)監(jiān)控，通過(guò)靈活配置約束條件以及大規(guī)模計(jì)算的算法優(yōu)勢(shì)，為不同業(yè)務(wù)場(chǎng)景提供高效的智能調(diào)度服務(wù)。

（4）運(yùn)維管理子系統(tǒng)

為了使得硬件設(shè)備、網(wǎng)絡(luò)資產(chǎn)、存儲(chǔ)服務(wù)在成本、穩(wěn)定性和運(yùn)行效率上達(dá)成理想狀態(tài)，建立存儲(chǔ)運(yùn)維管理子系統(tǒng)，包括設(shè)備管理，網(wǎng)絡(luò)管理、智能巡檢和事件管理，讓整體軟硬件系統(tǒng)實(shí)現(xiàn)全生命周期安全可靠、穩(wěn)定高效地運(yùn)行。

（5）集群協(xié)同子系統(tǒng)

研發(fā)數(shù)據(jù)遷移工具，實(shí)現(xiàn)第三方云存儲(chǔ)、集群間等各類數(shù)據(jù)在線遷移。

（6）存儲(chǔ)管理子系統(tǒng)

建設(shè)統(tǒng)一的存儲(chǔ)管理門戶，面向運(yùn)維、運(yùn)營(yíng)等人員，提供軟硬件資源的在線管理。資源申請(qǐng)的多節(jié)點(diǎn)審批、在線擴(kuò)縮容、自動(dòng)化部署，以實(shí)現(xiàn)多集群的獨(dú)立部署、門戶統(tǒng)一納管。

三、自研存儲(chǔ)關(guān)鍵技術(shù)研究

（一）軟硬件網(wǎng)絡(luò)部署架構(gòu)分析

1.存儲(chǔ)節(jié)點(diǎn)架構(gòu)及介質(zhì)選型

硬盤介質(zhì)通常有HDD、SATA SSD和nvme SSD，SATA SSD的讀寫速度比HDD快，而NVMe的讀寫速度又比SATA SSD快，SATA SSD比普通HDD快5倍，其成本是HDD的1.5倍，不同類型的設(shè)備性能與成本不同，通常有以下4種模式可供選擇。

（1）分層存儲(chǔ)：緩存節(jié)點(diǎn)+存儲(chǔ)節(jié)點(diǎn)

通過(guò)cache tier技術(shù)將ssd設(shè)備編排在一起，承接用戶的讀寫請(qǐng)求，先寫緩存，達(dá)到緩存閾值后，再轉(zhuǎn)存到hdd設(shè)備中去。

（2）主副本分優(yōu)先級(jí)：主本在SSD，其余副本在HDD

通過(guò)osd primary-affinity特性。通過(guò)降低Ceph OSD的主要親和力值，實(shí)現(xiàn)控制SSD設(shè)備為主OSD、HDD設(shè)備為Replica OSD，以此實(shí)現(xiàn)讀寫數(shù)據(jù)流程的轉(zhuǎn)變。

（3）存儲(chǔ)池分優(yōu)先級(jí)

當(dāng)同一個(gè)集群需要應(yīng)對(duì)不同的需求時(shí)，通常對(duì)存儲(chǔ)池進(jìn)行分級(jí)，SSD池和HDD池在RGW中；Index池存儲(chǔ)的元數(shù)據(jù)對(duì)讀寫速度要求高，可以使用SSD池；Data池是存客戶端的數(shù)據(jù)，可以使用HDD池。

（4）OSD組件分優(yōu)先級(jí)

OSD分為WAL、DB、BLOCK三個(gè)部分，其中WAL存讀寫過(guò)程的日志，DB存OSD的Omap等數(shù)據(jù)，BLOCK存實(shí)際數(shù)據(jù)。WAL、DB的速度對(duì)于OSD的性能影響至關(guān)重要，所以通常使用SSD設(shè)備，以提高讀寫能力。

在集群建設(shè)規(guī)劃時(shí)，存儲(chǔ)節(jié)點(diǎn)架構(gòu)應(yīng)當(dāng)根據(jù)不同需求分為三種場(chǎng)景，即成本優(yōu)先、吞吐量?jī)?yōu)先、IOPS優(yōu)先，再對(duì)照四種模式進(jìn)行組合，調(diào)整相應(yīng)的OSD硬盤介質(zhì)、緩存節(jié)點(diǎn)以及存儲(chǔ)節(jié)點(diǎn)的配置比例。

2.存儲(chǔ)集群網(wǎng)絡(luò)設(shè)備選型

在Ceph存儲(chǔ)的設(shè)備選型方面，應(yīng)該根據(jù)實(shí)際業(yè)務(wù)需求和數(shù)據(jù)量來(lái)選擇合適的網(wǎng)卡和交換機(jī)，以確保數(shù)據(jù)的穩(wěn)定性、可靠性和性能。同時(shí)，還應(yīng)該注意網(wǎng)絡(luò)安全和管理方面的問(wèn)題，采取相應(yīng)的措施以確保網(wǎng)絡(luò)安全可靠。以下是關(guān)于業(yè)務(wù)網(wǎng)絡(luò)、存儲(chǔ)網(wǎng)絡(luò)和管理網(wǎng)絡(luò)的說(shuō)明。

（1）業(yè)務(wù)網(wǎng)絡(luò)。對(duì)于業(yè)務(wù)網(wǎng)絡(luò)，生產(chǎn)環(huán)境建議選擇2個(gè)萬(wàn)兆網(wǎng)卡，用于連接前端和后端的集群網(wǎng)絡(luò)。使用萬(wàn)兆網(wǎng)卡可以確保足夠的帶寬和低延遲，以支持高并發(fā)訪問(wèn)和數(shù)據(jù)傳輸。如果需要支持更大的數(shù)據(jù)流量或者需要更高的性能，則可以考慮使用25G萬(wàn)兆網(wǎng)卡。

（2）存儲(chǔ)網(wǎng)絡(luò)。存儲(chǔ)網(wǎng)絡(luò)建議使用獨(dú)立的網(wǎng)卡和交換機(jī)來(lái)連接Ceph集群和服務(wù)器之間的數(shù)據(jù)傳輸，以避免與其他網(wǎng)絡(luò)流量的競(jìng)爭(zhēng)，并確保數(shù)據(jù)的穩(wěn)定性和可靠性。如果需要支持更大的數(shù)據(jù)流量或者需要更高的性能，可以考慮使用更高級(jí)別的交換機(jī)和網(wǎng)卡，或者使用分布式存儲(chǔ)系統(tǒng)來(lái)擴(kuò)展Ceph集群的容量和性能。

（3）管理網(wǎng)絡(luò)。對(duì)于管理網(wǎng)絡(luò)，建議使用獨(dú)立的網(wǎng)卡和交換機(jī)來(lái)連接Ceph集群和服務(wù)器之間的管理流量，不僅可以確保Ceph集群和服務(wù)器之間的通信安全可靠，還能夠避免與其他網(wǎng)絡(luò)流量的競(jìng)爭(zhēng)。此外，為了方便管理和監(jiān)控Ceph集群，可以使用開源工具，如Ansible、SaltStack等來(lái)自動(dòng)化管理配置和部署Ceph集群。

（二）多集群存儲(chǔ)管理及監(jiān)控告警設(shè)計(jì)

通過(guò)設(shè)計(jì)一個(gè)集中管理和監(jiān)控多個(gè)存儲(chǔ)集群的系統(tǒng)，管理員可以更好地管理存儲(chǔ)環(huán)境，從而提高存儲(chǔ)系統(tǒng)的可靠性、性能和效率。多集群存儲(chǔ)管理及監(jiān)控告警系統(tǒng)的設(shè)計(jì)需要結(jié)合多集群管理、存儲(chǔ)監(jiān)控、告警管理、可視化界面和自動(dòng)化運(yùn)維等方面，以滿足管理員對(duì)存儲(chǔ)集群的管理和監(jiān)控需求。

1.多集群管理

建立一個(gè)集中的管理控制平臺(tái)，該平臺(tái)可以管理和監(jiān)控多個(gè)存儲(chǔ)集群，并提供集群的注冊(cè)、配置、擴(kuò)展和刪除等功能，使得集群管理變得更加便捷和靈活。

2.存儲(chǔ)監(jiān)控

為每個(gè)集群配置監(jiān)控代理，用于定期收集和報(bào)告集群的存儲(chǔ)指標(biāo)，如可用空間、IOPS、吞吐量等。監(jiān)控代理可以將監(jiān)控?cái)?shù)據(jù)發(fā)送到存儲(chǔ)監(jiān)控系統(tǒng)。存儲(chǔ)監(jiān)控系統(tǒng)則可以實(shí)時(shí)監(jiān)控存儲(chǔ)集群的狀態(tài)，分析存儲(chǔ)的性能和健康狀況，并提供儀表盤和報(bào)告。

3.告警管理

存儲(chǔ)監(jiān)控系統(tǒng)應(yīng)該提供靈活的告警規(guī)則配置和管理功能，管理人員可以設(shè)定閾值，當(dāng)存儲(chǔ)集群的某個(gè)指標(biāo)超過(guò)或低于設(shè)定的閾值時(shí)，系統(tǒng)會(huì)觸發(fā)告警。告警可以通過(guò)郵件、短信或即時(shí)通知等方式發(fā)送給管理員，以便及時(shí)采取措施解決問(wèn)題。

4.可視化界面

為了方便管理員查看和操作，技術(shù)人員可以設(shè)計(jì)一個(gè)直觀的圖形界面，顯示存儲(chǔ)集群的拓?fù)浣Y(jié)構(gòu)和詳細(xì)信息，以便管理員可以通過(guò)界面來(lái)查看存儲(chǔ)集群的健康狀況、性能指標(biāo)和告警信息。此外，界面還可以提供存儲(chǔ)資源的使用情況和預(yù)測(cè)，幫助管理員進(jìn)行容量規(guī)劃和優(yōu)化。

5.自動(dòng)化運(yùn)維

在設(shè)計(jì)系統(tǒng)時(shí)，技術(shù)人員可以考慮引入自動(dòng)化運(yùn)維功能，如自動(dòng)擴(kuò)展、負(fù)載均衡和故障轉(zhuǎn)移等，以此最大程度地減少管理員的手動(dòng)操作，提高存儲(chǔ)管理的效率和穩(wěn)定性。

（三）基于元數(shù)據(jù)的小文件合并讀寫分析

通過(guò)基于元數(shù)據(jù)的小文件合并讀寫，可以將多個(gè)小文件合并為一個(gè)更大的文件，以此減少磁盤索引的開銷，并且可以對(duì)這個(gè)大文件進(jìn)行更高效地讀寫操作。這種技術(shù)可以通過(guò)以下步驟來(lái)實(shí)現(xiàn)：

1.文件合并

將多個(gè)小文件按照一定的規(guī)則（例如文件名的前綴、后綴或文件夾結(jié)構(gòu)等）進(jìn)行合并，生成一個(gè)較大的文件。合并后的文件可以是一個(gè)普通的二進(jìn)制文件，也可以是一種特定的格式，例如壓縮文件或歸檔文件。

2.元數(shù)據(jù)管理

為了能夠正確地讀取和修改合并后的文件，需要維護(hù)一些額外的元數(shù)據(jù)信息。元數(shù)據(jù)包括記錄文件名、起始位置以及每個(gè)小文件的偏移量和長(zhǎng)度等信息，可以存儲(chǔ)在文件的頭部、文件路徑、獨(dú)立KV數(shù)據(jù)庫(kù)，并在讀寫操作時(shí)被使用。

3.讀寫操作

當(dāng)需要讀取或修改某個(gè)小文件時(shí)，可以通過(guò)查找元數(shù)據(jù)信息，確定文件在合并后的文件中的位置。讀取操作可以根據(jù)元數(shù)據(jù)信息來(lái)定位文件的起始位置，并讀取相應(yīng)的數(shù)據(jù)。修改操作則可以通過(guò)讀取相應(yīng)的數(shù)據(jù)，并更新后再寫回合并后的文件。使用基于元數(shù)據(jù)的小文件合并讀寫可以有效地減少小文件帶來(lái)的存儲(chǔ)和管理開銷，并提高存儲(chǔ)效率和讀寫性能。

四、結(jié)束語(yǔ)

本文從業(yè)務(wù)需求、技術(shù)選型、技術(shù)架構(gòu)、關(guān)鍵技術(shù)等四個(gè)方面進(jìn)行闡述，提出企業(yè)自研存儲(chǔ)“三步走”路線，首先，基于開源Ceph搭建的分布式存儲(chǔ)集群通過(guò)對(duì)部署架構(gòu)設(shè)計(jì)、參數(shù)調(diào)優(yōu)，使得企業(yè)快速構(gòu)建實(shí)現(xiàn)數(shù)據(jù)在不同的機(jī)架、主機(jī)、磁盤的數(shù)據(jù)均衡分布存儲(chǔ)，同時(shí)兼顧多級(jí)故障域及海量數(shù)據(jù)的均衡分布的分布式存儲(chǔ)能力；其次，通過(guò)使用多集群管理、監(jiān)控告警、自動(dòng)化運(yùn)維、多副本以及EC等特性，實(shí)現(xiàn)集群的高可用性以及數(shù)據(jù)的高可靠性，兼顧低成本與高性能，并實(shí)現(xiàn)數(shù)據(jù)容災(zāi)能力；最后，針對(duì)多種場(chǎng)景需求，例如小文件IOPS要求高進(jìn)行元數(shù)據(jù)改造、大文件帶寬要求高進(jìn)行增加op線程、EC模式等方式優(yōu)化，實(shí)現(xiàn)開源Ceph存儲(chǔ)的集群穩(wěn)定可控、代碼可改以及功能可擴(kuò)展。