金天驕（中國移動(dòng)通信集團(tuán)浙江有限公司，浙江杭州 310030）

0 引言

近年來，國內(nèi)運(yùn)營商高舉“去IOE”大旗，對傳統(tǒng)的IT架構(gòu)進(jìn)行了大刀闊斧的改革。去“I”方面，通過應(yīng)用改造將系統(tǒng)遷移至x86 資源池，完成應(yīng)用系統(tǒng)“去I”；通過將OLTP 型核心系統(tǒng)數(shù)據(jù)庫遷移至一體機(jī)，非核心遷移至x86資源池，將OLAP型數(shù)據(jù)庫遷移至大數(shù)據(jù)平臺(tái)，完成數(shù)據(jù)庫系統(tǒng)“去I”。去“O”方面，通過區(qū)分在線交易、聯(lián)機(jī)分析和實(shí)時(shí)查詢等不同場景，引入PostgreSQL、MySQL、Hadoop和Gbase等技術(shù)組件，逐步替換Oracle 數(shù)據(jù)庫。去“E”方面，這些年通過大規(guī)模引入分布式存儲(chǔ)，停止采購集中式存儲(chǔ)，部分運(yùn)營商省分公司集中式存儲(chǔ)容量占比已降至20%以下。在分布式存儲(chǔ)替代集中式存儲(chǔ)的過程中，尤其是分布式存儲(chǔ)經(jīng)過多年的業(yè)務(wù)場景歷練，準(zhǔn)備向高性能、核心業(yè)務(wù)場景覆蓋的關(guān)鍵時(shí)刻，本文對分布式存儲(chǔ)技術(shù)進(jìn)行了深入思考，分析現(xiàn)階段分布式存儲(chǔ)是否能夠全面取代集中式存儲(chǔ)，并且對未來存儲(chǔ)的發(fā)展方向提出觀點(diǎn)。

1 分布式存儲(chǔ)的主要問題

軟件定義存儲(chǔ)（SDS——Software-defined storage）是一種數(shù)據(jù)存儲(chǔ)方式，使用通用的x86 設(shè)備組成分布式存儲(chǔ)替換傳統(tǒng)集中式存儲(chǔ)，是一種新的高性價(jià)比的存儲(chǔ)技術(shù)解決方案。某運(yùn)營商省分公司自2015 年開始對國內(nèi)幾個(gè)大廠商的分布式存儲(chǔ)產(chǎn)品進(jìn)行功能及可靠性測試，2016 年初開始在虛擬化資源池進(jìn)行小范圍部署，2017 年擴(kuò)大部署規(guī)模并接入重要業(yè)務(wù)系統(tǒng)，根據(jù)2018年的年中統(tǒng)計(jì)，目前分布式存儲(chǔ)承載的核心系統(tǒng)包含中心化、CBOSS、CRM、統(tǒng)一開通等；非核心系統(tǒng)包含日志分析、數(shù)據(jù)稽核、統(tǒng)一認(rèn)證和渠道管理系統(tǒng)等。

目前現(xiàn)網(wǎng)由H 公司和T 公司2 個(gè)廠家的分布式存儲(chǔ)產(chǎn)品提供服務(wù)。在使用過程中，2 家公司的產(chǎn)品集群產(chǎn)生了相同的故障，其中最主要的3 類故障如表1所示。

表1 分布式存儲(chǔ)產(chǎn)品故障表

通過故障分析總結(jié)，目前現(xiàn)網(wǎng)分布式存儲(chǔ)存在的問題可分為集群本身的性能和軟件成熟度兩大類問題，再結(jié)合現(xiàn)狀深入剖析發(fā)現(xiàn)這兩大類問題又包含以下5個(gè)具體問題，具體如表2所示。

表2 分布式存儲(chǔ)問題分析表

2 集中式存儲(chǔ)和分布式存儲(chǔ)的對比分析

2.1 全方位對比分析

根據(jù)上述分布式存儲(chǔ)存在的問題，結(jié)合目前分布式存儲(chǔ)的使用現(xiàn)狀，從性能、軟件成熟度和成本估算3個(gè)維度對集中式存儲(chǔ)和分布式存儲(chǔ)進(jìn)行了全方位的對比分析，具體如表3所示。

表3 集中式存儲(chǔ)和分布式存儲(chǔ)總體對比分析表

2.2 性能對比

2.2.1 時(shí)延

集中式存儲(chǔ)由控制器與磁盤柜組成，主要部件包括各類控制、數(shù)據(jù)處理芯片以及高速緩存。分布式存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺(tái)存儲(chǔ)服務(wù)器資源構(gòu)成一個(gè)虛擬的存儲(chǔ)設(shè)備。由于架構(gòu)不同，集中式存儲(chǔ)和分布式存儲(chǔ)的IO 路徑和時(shí)延也存在差異，通過對比發(fā)現(xiàn)前者的IO 寫時(shí)延有較大優(yōu)勢，具體如表4所示。

表4 集中式存儲(chǔ)和分布式存儲(chǔ)時(shí)延對比表

綜上所述，集中式存儲(chǔ)由于寫入環(huán)節(jié)較少，在寫時(shí)延方面明顯優(yōu)于分布式存儲(chǔ)。讀時(shí)延方面集中式存儲(chǔ)和分布式存儲(chǔ)均相對較低，但通過對比發(fā)現(xiàn)集中式存儲(chǔ)通過專用設(shè)備優(yōu)化，在讀時(shí)延上依然有一定的優(yōu)勢。

2.2.2 IO吞吐

IO 吞吐包括IOPS 和帶寬2 項(xiàng)指標(biāo)，集中式存儲(chǔ)取決于硬盤的類型數(shù)量、控制器、緩存等硬件配制，而分布式存儲(chǔ)性能取決于單個(gè)節(jié)點(diǎn)性能和節(jié)點(diǎn)數(shù)量。理論上分布式存儲(chǔ)可通過增加節(jié)點(diǎn)來線性增加IO 吞吐，但在實(shí)際使用中鑒于穩(wěn)定性、管理成本、時(shí)延等因素，各分布式存儲(chǔ)廠商對于實(shí)際生產(chǎn)中集群規(guī)模的建議一般是20～40個(gè)節(jié)點(diǎn)。

a）穩(wěn)定性考慮：一個(gè)資源池節(jié)點(diǎn)數(shù)過多，發(fā)生故障的概率也隨之增加，發(fā)生故障后數(shù)據(jù)需要進(jìn)行重平衡，平衡過程對系統(tǒng)感知影響極大。節(jié)點(diǎn)數(shù)增多會(huì)使集群復(fù)雜度增加，進(jìn)而導(dǎo)致集群IO 調(diào)度開銷增加，加上時(shí)延等因素導(dǎo)致性能提升偏離線性曲線。

b）硬件及管理成本考慮：隨著集群中節(jié)點(diǎn)數(shù)量不斷增加，存儲(chǔ)集群的硬件成本和管理成本會(huì)隨之增加，內(nèi)存資源、網(wǎng)絡(luò)資源、故障域管理復(fù)雜度都會(huì)呈幾何倍數(shù)增加。

c）時(shí)延考慮：業(yè)界分布式存儲(chǔ)的最佳實(shí)踐是20～40 個(gè)節(jié)點(diǎn)，通過1 臺(tái)48 端口標(biāo)準(zhǔn)交換機(jī)進(jìn)行組網(wǎng)。集群規(guī)模越大，節(jié)點(diǎn)越多，整個(gè)集群需要橫跨更多交換機(jī)，導(dǎo)致時(shí)延增加。

綜上所述，由于集群節(jié)點(diǎn)數(shù)量并不能真正線性擴(kuò)展，因此資源池的性能也就有了上限。比如常見的40個(gè)節(jié)點(diǎn)分布式存儲(chǔ)集群性能可到50萬IOPS、5 ms左右時(shí)延，高端配制可超過80 萬IOPS，2 ms 左右時(shí)延。目前相同容量的主流高配集中式存儲(chǔ)性能接近200 萬IOPS、1.3 ms 左右時(shí)延。分布式存儲(chǔ)相比集中式存儲(chǔ)還是有一定差距的。此外，由于分布式存儲(chǔ)的三副本特性，一份數(shù)據(jù)需要寫入3 份，額外占用IO 資源，因此對于寫密集型應(yīng)用，分布式存儲(chǔ)在性能上不如集中式存儲(chǔ)。

2.2.3 數(shù)據(jù)重平衡

當(dāng)存儲(chǔ)介質(zhì)磁盤出現(xiàn)故障損壞或進(jìn)行修復(fù)時(shí)，存儲(chǔ)軟件均會(huì)進(jìn)行數(shù)據(jù)重構(gòu)以保證數(shù)據(jù)的多副本可靠性。數(shù)據(jù)重構(gòu)周期與存儲(chǔ)的硬件性能、重構(gòu)數(shù)據(jù)量、前端業(yè)務(wù)壓力有關(guān)。綜合對比分析分布式存儲(chǔ)和集中式存儲(chǔ)在數(shù)據(jù)重構(gòu)上的性能，得出如表5所示結(jié)論。

表5 集中式存儲(chǔ)和分布式存儲(chǔ)數(shù)據(jù)重平衡對比表

2.3 成熟度對比

集中式存儲(chǔ)在IT 架構(gòu)中長期扮演重要角色，久經(jīng)市場和時(shí)間考驗(yàn)；而分布式存儲(chǔ)作為近年來的新技術(shù)產(chǎn)品，本身發(fā)展起步較晚，成熟度還需要不斷提高，加之硬件非定制化，通用軟件結(jié)合通用x86 硬件的穩(wěn)定性還需要進(jìn)一步驗(yàn)證。兩者在成熟度方面的對比分析如表6所示。

表6 集中式存儲(chǔ)和分布式存儲(chǔ)成熟度對比表

2.4 成本對比

集中式存儲(chǔ)成本取決于控制器數(shù)量、配置規(guī)格、硬盤數(shù)量和類型，以及各種附帶軟件功能特性，因此單位容量成本需考慮的因素較多。同樣分布式存儲(chǔ)也取決于x86 服務(wù)器的CPU、內(nèi)存、硬盤數(shù)量及類型、分布式軟件特性。表7 和表8 分別是普通配置和全閃存配置的集中式存儲(chǔ)和分布式存儲(chǔ)價(jià)格對比。

表7 普通配置集中式存儲(chǔ)和分布式存儲(chǔ)價(jià)格對比

表8 全閃存配置集中式存儲(chǔ)和分布式存儲(chǔ)價(jià)格對比

在性能相近的基礎(chǔ)上，分布式存儲(chǔ)采用三副本機(jī)制保障系統(tǒng)可靠性，相比集中式存儲(chǔ)整體利用率較低且需要較高的軟件授權(quán)費(fèi)用，僅在低性能場景中價(jià)格稍占優(yōu)勢，在高性能場景的全閃存配置上，分布式存儲(chǔ)價(jià)格要略高于集中式存儲(chǔ)。

2.5 對比總結(jié)

綜上所述，目前分布式存儲(chǔ)實(shí)測結(jié)論與部分業(yè)界流行觀點(diǎn)偏差較大，分布式存儲(chǔ)相比集中式存儲(chǔ)在某些方面的優(yōu)勢并不明顯。然而，上述結(jié)論的依據(jù)為產(chǎn)品現(xiàn)階段的實(shí)測數(shù)據(jù)，后續(xù)隨著分布式存儲(chǔ)技術(shù)的不斷成熟，分布式存儲(chǔ)軟件license 的不斷降低，結(jié)論也會(huì)隨之發(fā)生變化。

傳統(tǒng)集中式存儲(chǔ)雖然有技術(shù)封閉、商務(wù)綁定等風(fēng)險(xiǎn)，但軟硬一體化及成熟度高的特點(diǎn)使其在運(yùn)維、性能、穩(wěn)定性等方面有不容忽視的優(yōu)勢。分布式存儲(chǔ)雖然在軟硬件解耦、價(jià)格方面有優(yōu)勢，但目前其在性能和穩(wěn)定性方面還存在著諸多不成熟之處?，F(xiàn)階段分布式存儲(chǔ)需要通過升級軟硬件技術(shù)和整合維護(hù)體系來解決目前遇到的問題。

3 結(jié)論

3.1 現(xiàn)階段集中式存儲(chǔ)與分布式存儲(chǔ)適用場景建議

由于現(xiàn)階段集中式存儲(chǔ)在時(shí)延、穩(wěn)定性和軟件成熟度方面有明顯優(yōu)勢，因此較適合應(yīng)用于有數(shù)據(jù)強(qiáng)一致性要求、高IOPS、低時(shí)延的OLTP 類交易業(yè)務(wù)場景；而分布式存儲(chǔ)適用于海量數(shù)據(jù)、大數(shù)據(jù)塊、順序讀寫、時(shí)延不敏感的場景。這2類存儲(chǔ)技術(shù)的使用建議如表9所示。

表9 集中式存儲(chǔ)和分布式存儲(chǔ)使用建議表

3.2 分布式存儲(chǔ)優(yōu)化方向

根據(jù)分布式存儲(chǔ)在生產(chǎn)中遇到的問題，結(jié)合第2章中集中式存儲(chǔ)和分布式存儲(chǔ)的對比分析，分布式存儲(chǔ)需要從性能和成熟度2方面不斷進(jìn)行優(yōu)化改進(jìn)。具體措施如表10所示。

表10 分布式存儲(chǔ)優(yōu)化思路表

4 結(jié)束語

近年來分布式存儲(chǔ)技術(shù)的發(fā)展及廣泛應(yīng)用，是因?yàn)榫W(wǎng)絡(luò)技術(shù)的飛速進(jìn)步以及閃存SSD 盤的大量應(yīng)用，解決了存儲(chǔ)高時(shí)延和單節(jié)點(diǎn)IO 性能瓶頸兩大問題。將來隨著硬件的不斷發(fā)展和分布式軟件功能的不斷成熟完善，相信分布式存儲(chǔ)定會(huì)逐步從中低端存儲(chǔ)市場走向高端存儲(chǔ)市場。

本文建議國內(nèi)運(yùn)營商在現(xiàn)階段擴(kuò)大分布式存儲(chǔ)使用范圍，但短期內(nèi)不宜完全舍棄集中式存儲(chǔ)，尤其對于技術(shù)研發(fā)力量較弱的單位，應(yīng)當(dāng)根據(jù)應(yīng)用場景合理規(guī)劃存儲(chǔ)類型，確保生產(chǎn)系統(tǒng)穩(wěn)定運(yùn)行。同時(shí)在分布式存儲(chǔ)的日常運(yùn)維過程中要加強(qiáng)架構(gòu)管控，確保分布式存儲(chǔ)單節(jié)點(diǎn)以及集群整體的性能，加強(qiáng)兼容性評估測試，定期升級軟件版本，加緊核心技術(shù)課題攻關(guān)，培養(yǎng)出新一代的能創(chuàng)新、善思考的技術(shù)團(tuán)隊(duì)，加強(qiáng)核心能力內(nèi)化，為運(yùn)營商后續(xù)業(yè)務(wù)快速迭代創(chuàng)新奠定扎實(shí)的IT基礎(chǔ)。