湯亞宇

摘要：超融合解決了計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)的融合問(wèn)題，將虛擬化計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)整合到同一個(gè)系統(tǒng)平臺(tái)。超融合架構(gòu)極大地提升了計(jì)算能力、提高了網(wǎng)絡(luò)吞吐能力、減小了網(wǎng)絡(luò)延時(shí)，依靠底層分布式存儲(chǔ)及其多副本和數(shù)據(jù)熱冷分層能力，大幅提升存儲(chǔ)性能和數(shù)據(jù)容災(zāi)能力，解決了計(jì)算、存儲(chǔ)容量、存儲(chǔ)性能、網(wǎng)絡(luò)資源的按需擴(kuò)展的問(wèn)題，為現(xiàn)代制造業(yè)企業(yè)提供了高性能、高可靠和可擴(kuò)展的企業(yè)私有云基礎(chǔ)架構(gòu)，成為大型現(xiàn)代制造業(yè)企業(yè)的ERP、MES、大數(shù)據(jù)、HPC和3D桌面虛擬化等應(yīng)用的理想承載平臺(tái)。

關(guān)鍵詞：超融合；軟件定義存儲(chǔ)；云數(shù)據(jù)中心；企業(yè)私有云

中圖分類號(hào)：TP39 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）20-0230-03

Application Study of Hyper-convergence in Large-scale Modern Manufacturing

TANG Ya-yu

（CRRC Zhuzhou Electric Co.， Ltd.， Zhuzhou 412001， China）

Abstract： Hyper-convergence solves the problem of integration of computing， storage and networking， and integrates virtualized computing， networking and storage into the same system platform. Hyper-converged architecture greatly enhances computing capacity， improves network throughput， and reduces network latency. It also relies on the underlying distributed storage and its multiple copies and data hot and cold tiering capabilities to significantly improve storage performance and data disaster recovery. It solves the problem of calculation， storage capacity， storage performance and on-demand expansion of network resources， and provides modern manufacturing companies with high-performance， highly reliable， and scalable enterprise private cloud infrastructure. It becomes An ideal carrier platform for applications of a large-scale modern manufacturing enterprise， such as ERP， MES， Big Data， HPC and 3D desktop virtualization.

Key words： Hyper-convergence；Software-defined storage； Cloud data center；Enterprise private cloud

1 引言

超融合架構(gòu)是為下一代云數(shù)據(jù)中心設(shè)計(jì)的橫向擴(kuò)展的軟件定義架構(gòu)，以軟件定義一切（包括計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、安全和管理）[1]。計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源高度融合；服務(wù)器端閃存和數(shù)據(jù)熱冷分層為核心。超融合數(shù)據(jù)中心基礎(chǔ)架構(gòu)構(gòu)建在通用硬件上，不需要單獨(dú)的存儲(chǔ)設(shè)備（如NAS、SAN等），在超融合群集中每個(gè)節(jié)點(diǎn)不僅僅具備計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)和服務(wù)器虛擬化等資源和技術(shù)，而且包括管理監(jiān)控、備份恢復(fù)、數(shù)據(jù)快照技術(shù)、數(shù)據(jù)除重、數(shù)據(jù)壓縮等功能，多個(gè)節(jié)點(diǎn)可以通過(guò)網(wǎng)絡(luò)聚合起來(lái)，實(shí)現(xiàn)模塊化的無(wú)縫橫向擴(kuò)展（Scale—out），從而形成統(tǒng)一的資源池[2]。隨著硬件數(shù)增加，計(jì)算能力、網(wǎng)絡(luò)能力、存儲(chǔ)能力（包含容量和IOPS）能夠接近于線性的提升，這些需求在計(jì)算設(shè)備和存儲(chǔ)設(shè)備分離的傳統(tǒng)SAN架構(gòu)無(wú)法滿足，同時(shí)基于傳統(tǒng)架構(gòu)封裝的整合一體機(jī)架也不能滿足。而使用通用x86服務(wù)器硬件，并且所有節(jié)點(diǎn)既是計(jì)算節(jié)點(diǎn)也是存儲(chǔ)節(jié)點(diǎn)才能適應(yīng)云計(jì)算中心按需快速大規(guī)模擴(kuò)展、高密度且廉價(jià)的每計(jì)算和存儲(chǔ)節(jié)點(diǎn)、優(yōu)異的計(jì)算和存儲(chǔ)性能、分布式計(jì)算和存儲(chǔ)的多副本和高可用性的要求[3]。超融合架構(gòu)可以充分滿足大型現(xiàn)代制造業(yè)各種大型、關(guān)鍵業(yè)務(wù)應(yīng)用的苛刻要求，幫助其優(yōu)化IT系統(tǒng)性能、提升效率、節(jié)約建設(shè)和管理成本。

本文主要研究超融合架構(gòu)及應(yīng)用問(wèn)題分析，為現(xiàn)代制造業(yè)IT遷移到超融合架構(gòu)的分析和應(yīng)用提供理論與實(shí)踐依據(jù)。

2 超融合架構(gòu)

傳統(tǒng)的SAN存儲(chǔ)架構(gòu)中，每臺(tái)服務(wù)器上運(yùn)行的大量虛擬機(jī)均在集中的存儲(chǔ)設(shè)備上讀、寫大量的數(shù)據(jù)，虛擬機(jī)運(yùn)行的應(yīng)用的性能瓶頸在于集中的存儲(chǔ)設(shè)備的磁盤IO過(guò)慢，系統(tǒng)的大部分時(shí)間在等待數(shù)據(jù)在存儲(chǔ)上完成讀寫，存儲(chǔ)不能滿足大量數(shù)據(jù)交互的需求，從而導(dǎo)致CPU的大部分計(jì)算能力都無(wú)法有效利用[4]。相比服務(wù)器上虛擬機(jī)的可快速擴(kuò)張的CPU計(jì)算能力，傳統(tǒng)存儲(chǔ)的容量和性能存在嚴(yán)重的不協(xié)調(diào)和不適應(yīng)，成為整個(gè)數(shù)據(jù)中心基礎(chǔ)架構(gòu)的瓶頸，嚴(yán)重影響到大型、關(guān)鍵業(yè)務(wù)應(yīng)用的使用和推廣[5]。

超融合架構(gòu)通過(guò)拋棄傳統(tǒng)存儲(chǔ)架構(gòu)，使用計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)融合的方式，利用分布式存儲(chǔ)池提供幾乎無(wú)上限的性能和容量，配合使用閃存加速、熱冷數(shù)據(jù)分層算法、基于RoCE的10G/40G網(wǎng)絡(luò)、存儲(chǔ)QoS策略、數(shù)據(jù)副本與校驗(yàn)混合卷、數(shù)據(jù)壓縮和去重、存儲(chǔ)同步/異步復(fù)制等核心技術(shù)，實(shí)現(xiàn)性能的橫向可擴(kuò)展和運(yùn)維的可擴(kuò)展。其中性能的可擴(kuò)展是增加節(jié)點(diǎn)數(shù)量和磁盤時(shí)，整個(gè)吞吐、容量和lOPS能得到了橫向線性提升[6]。運(yùn)維的可擴(kuò)展是當(dāng)節(jié)點(diǎn)和磁盤故障成為某段時(shí)間的系統(tǒng)常態(tài)時(shí)，減少故障對(duì)整個(gè)集群的性能影響，實(shí)現(xiàn)組件故障后自愈，從而減少運(yùn)維量，達(dá)到運(yùn)維的可擴(kuò)展，如圖1所示。

3 超融合的應(yīng)用問(wèn)題分析

3.1高可用性與存儲(chǔ)效率問(wèn)題

超融合的數(shù)據(jù)容錯(cuò)方式包括雙向鏡像、三向鏡像、單奇偶校驗(yàn)和雙奇偶校驗(yàn)。

在鏡像方式中，雙向鏡像就是所有數(shù)據(jù)存在兩個(gè)副本，存儲(chǔ)效率為 50%，每次容忍一個(gè)節(jié)點(diǎn)故障。

三向鏡像就是所有數(shù)據(jù)存在三個(gè)副本，存儲(chǔ)效率為 33.3%，每次容忍兩個(gè)節(jié)點(diǎn)故障。由于鏡像模式在數(shù)據(jù)讀寫時(shí)均不需要計(jì)算校驗(yàn)，因此性能好。

在奇偶校驗(yàn)方式中，單奇偶校驗(yàn)僅保留一個(gè)按位奇偶校驗(yàn)符號(hào)，一次僅對(duì)一個(gè)節(jié)點(diǎn)失敗提供容錯(cuò)，存儲(chǔ)效率為50.0% - 85.0%。

雙奇偶校驗(yàn)實(shí)現(xiàn) Reed-Solomon 錯(cuò)誤更正代碼，保留兩個(gè)按位奇偶校驗(yàn)符號(hào)，一次僅對(duì)兩個(gè)節(jié)點(diǎn)失敗提供容錯(cuò)，存儲(chǔ)效率為50.0% - 80.0%；由于奇偶校驗(yàn)方式在寫數(shù)據(jù)時(shí)和故障狀態(tài)下讀數(shù)據(jù)時(shí)均需要計(jì)算，因此性能不及鏡像方式。

顯然在生產(chǎn)環(huán)境中為了規(guī)避1個(gè)節(jié)點(diǎn)計(jì)劃停機(jī)期間，另1個(gè)節(jié)點(diǎn)突發(fā)故障的場(chǎng)景，同時(shí)容忍2個(gè)節(jié)點(diǎn)同時(shí)發(fā)生故障是必然的選擇，如圖2所示，在以下六種情況可以支持容錯(cuò)高可用，不會(huì)導(dǎo)致數(shù)據(jù)離線或丟失：

①丟失了一個(gè)驅(qū)動(dòng)器（包括緩存驅(qū)動(dòng)器）

②丟失了一個(gè)節(jié)點(diǎn)

③丟失了一個(gè)節(jié)點(diǎn)和一個(gè)驅(qū)動(dòng)器

④不同節(jié)點(diǎn)丟失了兩個(gè)驅(qū)動(dòng)器

⑤丟失了超過(guò)兩個(gè)驅(qū)動(dòng)器，前提是最多兩個(gè)節(jié)點(diǎn)受影響

⑥丟失了兩個(gè)節(jié)點(diǎn)

因?yàn)槿萑?個(gè)節(jié)點(diǎn)同時(shí)發(fā)生故障生產(chǎn)環(huán)境下高可用性的必然選擇，但是由于三向鏡像的存儲(chǔ)效率只有33.3%，而雙奇偶校驗(yàn)的讀寫速度較慢，顯然都不是理想的選擇。

超融合的數(shù)據(jù)存儲(chǔ)卷也可以采用混合方式，一部分是三向鏡像，另一部分是雙奇偶校驗(yàn)。寫入首先在鏡像部分中進(jìn)行，稍后逐漸移到奇偶校驗(yàn)部分，因此該方式在使用SSD作為緩存的基礎(chǔ)上，再進(jìn)行了熱冷數(shù)據(jù)分層，熱數(shù)據(jù)存儲(chǔ)于鏡像部分（速度更快），冷數(shù)據(jù)存儲(chǔ)于奇偶校驗(yàn)部分，實(shí)現(xiàn)了較高的存儲(chǔ)性能，由于混合模式的存儲(chǔ)效率為33%- 80%，更好的平衡了性能和存儲(chǔ)效率的矛盾，同時(shí)提供容忍2個(gè)節(jié)點(diǎn)同時(shí)發(fā)生故障。

3.2 網(wǎng)絡(luò)性可靠與延遲問(wèn)題

IP數(shù)據(jù)網(wǎng)絡(luò)目前在數(shù)據(jù)中心主要使用以太網(wǎng)，普通的以太網(wǎng)并不是Lossless Ethernet，它不包含任何重傳（重傳由上層的TCP協(xié)議控制）和流控制技術(shù)、保證傳輸?shù)裙δ埽⒉贿m合作為存儲(chǔ)網(wǎng)絡(luò)。通過(guò)Data Center Bridging（DCB）、Congestion Notification（IEEE802.1Qau）、Priority Flow Control（IEEE 802.1Qbb）和Enhanced Transmission Selection（IEEE 802.1Qaz）等技術(shù)對(duì)以太網(wǎng)絡(luò)增強(qiáng)（Enhanced Ethernet）。

超融合架構(gòu)中應(yīng)該使用支持RoCE（RDMA over Converged Ethernet）的10G/40G網(wǎng)絡(luò)和Enhanced Ethernet的數(shù)據(jù)中心交換機(jī)構(gòu)建超融合網(wǎng)絡(luò)，實(shí)現(xiàn)流控和糾錯(cuò)。同時(shí)RDMA可使各個(gè)節(jié)點(diǎn)直接在應(yīng)用程序內(nèi)存之間移動(dòng)數(shù)據(jù)，而無(wú)須CPU 的參與，是一種可以極低延遲在無(wú)損以太網(wǎng)網(wǎng)絡(luò)上提供高效數(shù)據(jù)傳輸?shù)臋C(jī)制，和普通TCP/IP網(wǎng)絡(luò)比較性能提高30%-60%，有效降低分布式存儲(chǔ)各個(gè)節(jié)點(diǎn)的數(shù)據(jù)交換延遲，如圖3所示。

3.3 超融合的磁盤驅(qū)動(dòng)器的選擇

超融合架構(gòu)通過(guò)內(nèi)置服務(wù)器端的、大型、持久且實(shí)時(shí)的讀取和寫入緩存，最大限度地提高存儲(chǔ)性能。磁盤驅(qū)動(dòng)器的部署方式包括“全閃存”和“混合”兩個(gè)類別。

全閃存部署：全閃存部署旨在最大限度地提高存儲(chǔ)性能；該方式實(shí)現(xiàn)可預(yù)測(cè)和統(tǒng)一子毫秒延遲跨隨機(jī)讀取和寫入的任何數(shù)據(jù)，可實(shí)現(xiàn)非常高 IOPS 或 IO 吞吐量，如圖4所示。

在超融合構(gòu)建中應(yīng)該根據(jù)企業(yè)應(yīng)用的實(shí)際情況在一個(gè)超融合群集中構(gòu)建多個(gè)存儲(chǔ)池，將企業(yè)大型應(yīng)用和高IO需求型應(yīng)用部署在全閃存磁盤存儲(chǔ)池上，將一般應(yīng)用和容量性應(yīng)用部署與混合磁盤存儲(chǔ)池上，有效的平衡成本、性能和容量約束。

4 現(xiàn)代制造業(yè)IT遷移到超融合架構(gòu)的分析和應(yīng)用

現(xiàn)在大型現(xiàn)代制造業(yè)越來(lái)越依賴于信息技術(shù)提高企業(yè)的綜合競(jìng)爭(zhēng)力，工業(yè)4.0和互聯(lián)網(wǎng)+為大型現(xiàn)代制造業(yè)升級(jí)和跨越式發(fā)展的方向。企業(yè)的ERP、MES、HPC、3D虛擬桌面設(shè)計(jì)、大數(shù)據(jù)等各類應(yīng)用平臺(tái)需要依據(jù)工業(yè)4.0和互聯(lián)網(wǎng)+的要求建設(shè)和升級(jí)，亟須建設(shè)使用通用硬件、能夠按需快速大規(guī)模擴(kuò)展、計(jì)算和存儲(chǔ)節(jié)點(diǎn)高密度且廉價(jià)、計(jì)算和存儲(chǔ)性能優(yōu)異、計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源高可用性的私有云平臺(tái)，超融合架構(gòu)充分滿足了大型現(xiàn)代制造業(yè)的數(shù)據(jù)中心的需求。在向超融合架構(gòu)遷移的過(guò)程中需要依據(jù)企業(yè)實(shí)際情況進(jìn)行合理規(guī)劃和分析評(píng)估，確保適合的IT應(yīng)用系統(tǒng)遷移到超融合架構(gòu)。

第一，傳統(tǒng)的IT應(yīng)用系統(tǒng)向超融合架構(gòu)遷移。傳統(tǒng)IT應(yīng)用大多采用物理服務(wù)器連接獨(dú)立存儲(chǔ)陣列，應(yīng)該首先將其虛擬化，使用P2V技術(shù)或重新遷移部署的方式將應(yīng)用系統(tǒng)遷移到超融合架構(gòu)中。將原有的服務(wù)器、磁盤和存儲(chǔ)設(shè)備利舊，使用虛擬化技術(shù)根據(jù)硬件的實(shí)際情況改造超融合虛擬化平臺(tái)或基于SAN的虛擬化平臺(tái)，作為企業(yè)的一般應(yīng)用部署環(huán)境或開(kāi)發(fā)測(cè)試環(huán)境。

第二，對(duì)于現(xiàn)有已虛擬化的IT應(yīng)用系統(tǒng)遷移。該方式已有計(jì)算資源池、存儲(chǔ)資源池及網(wǎng)絡(luò)資源池，但各資源相對(duì)獨(dú)立，當(dāng)系統(tǒng)規(guī)模擴(kuò)大時(shí)，存儲(chǔ)容量和性能的水平擴(kuò)展成為主要性能瓶頸，可以利用與原私有云系統(tǒng)兼容的超融合技術(shù)，將現(xiàn)有架構(gòu)向軟件定義存儲(chǔ)架構(gòu)升級(jí)。

第三，對(duì)于企業(yè)新建的大數(shù)據(jù)、物聯(lián)網(wǎng)、智慧園區(qū)、MES等存在大量數(shù)據(jù)存儲(chǔ)及交換的系統(tǒng)，應(yīng)該優(yōu)先使用超融合架構(gòu).可實(shí)現(xiàn)數(shù)據(jù)的快速存儲(chǔ)、讀取，能有效提升用戶對(duì)IT應(yīng)用的使用體驗(yàn)。

最后，由于超融合架構(gòu)一般搭配虛擬化技術(shù)使用，因此不適合虛擬化技術(shù)的IT應(yīng)用系統(tǒng)，也不應(yīng)該部署于超融合架構(gòu)，例如小型機(jī)的應(yīng)用和使用非通用硬件的應(yīng)用系統(tǒng)。

大型現(xiàn)代制造業(yè)信息系統(tǒng)經(jīng)過(guò)長(zhǎng)期的發(fā)展，信息系統(tǒng)規(guī)模大、關(guān)聯(lián)依賴復(fù)雜，數(shù)據(jù)量增長(zhǎng)迅速，數(shù)據(jù)交互量日益增大，如果采用超融合架構(gòu)來(lái)建設(shè)，可現(xiàn)實(shí)業(yè)務(wù)快速部署、彈性和靈活擴(kuò)展、統(tǒng)一管理計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)，能有效降低企業(yè)TCO，快速提升用戶體驗(yàn)。

參考文獻(xiàn)：

[1] 林偉偉，劉波.分布式計(jì)算、云計(jì)算與大數(shù)據(jù)[M].北京：機(jī)械工業(yè)出版社，2015.

[2] THOMAS N D， GRAY K. SDN：Software Defined Networks[M].北京：人民郵電出版社，2014.

[3] 李晨，段曉東，陳煒，等.SDN和NFV的思考與實(shí)踐[J].電信科學(xué)，2014（8）：23—27.

[4] Microsoft.Storage Spaces Direct in Windows Server 2016.https：//docs.microsoft.com/en-us/windows-server/storage/storage-spaces/storage-spaces-direct-overview

[5] Vmware. 軟件定義的數(shù)據(jù)中心.https：//www.vmware.com/cn/solutions/software-defined-datacenter/in-depth.html#storage

[6]包宇，范文一，操明立. 超融合云數(shù)據(jù)中心架構(gòu)解析[J].郵電設(shè)計(jì)技術(shù)，2017（6）：83-85.