賴培源 吳家隱

【摘要】隨著云計算服務(wù)規(guī)?；瘧?yīng)用，云端的處理能力和靈活性有了革命性的提升，而5G網(wǎng)絡(luò)的應(yīng)用推廣也大幅提升了“最后一公里”的整體性能，如何進(jìn)一步發(fā)揮新ICT基礎(chǔ)設(shè)施帶來的效應(yīng)，以“云邊協(xié)同”為代表的云、管、端融合技術(shù)受到了行業(yè)的熱切關(guān)注。超融合架構(gòu)（HCI，Hyper-converged Infrastructure）將計算、存儲、網(wǎng)絡(luò)及軟件服務(wù)融合為一體，在邊緣計算節(jié)點、私有云、彈性部署的云數(shù)據(jù)中心等領(lǐng)域成為新的研究和應(yīng)用熱點，本文從超融合架構(gòu)的技術(shù)特征出發(fā)，構(gòu)建了超融合產(chǎn)品性能評估方案，通過實際測試數(shù)據(jù)分析，為超融合架構(gòu)在核心應(yīng)用場景的選型實施和技術(shù)研究，提供了具有實際指導(dǎo)意義的評估模型，從而為IT系統(tǒng)設(shè)計及優(yōu)化提供技術(shù)選型參考。

【關(guān)鍵詞】 ?超融合架構(gòu);新基建;邊緣計算;性能評估;

【作者簡介】賴培源：碩士，現(xiàn)任職于廣東省華南技術(shù)轉(zhuǎn)移中心有限公司，研究方向：測控技術(shù)、云計算、SDN/NFV、服務(wù)器、車聯(lián)網(wǎng)、成果轉(zhuǎn)化;吳家隱：工程師，碩士，現(xiàn)任職于廣東郵電職業(yè)技術(shù)學(xué)院，研究方向：云計算、物聯(lián)網(wǎng)及光電技術(shù)。

【基金項目】廣東省科技計劃項目“華南技術(shù)轉(zhuǎn)移中心建設(shè)（第二期）項目”（2018B040401001）;2018廣東省普通高校青年創(chuàng)新人才類項目（項目編號：2018GkQNCX140）;2020年廣東郵電職業(yè)技術(shù)學(xué)院科研項目（項目編號：201938）

中圖分類號：TN92 ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A ? ? ? ? ? ? ? 文章編號：1673-0348（2020）014-040-04

Abstract： With the large-scale application of cloud computing services， the processing capacity and flexibility of the cloud have been revolutionized， and the application and promotion of 5G network has greatly improved the overall performance of the "last mile". How to further exert the effect brought by the new ICT infrastructure， the cloud， management and end convergence technology represented by "cloud edge collaboration" has attracted the industry's keen attention. Hyper-converged Infrastructure （HCI） integrates computing， storage， network and software services， and has become a new research and application hotspot in the fields of edge computing nodes， private clouds， flexibly deployed cloud data centers， etc. Based on the technical characteristics of hyper-converged architecture， this paper constructs a hyper-converged product performance evaluation scheme， IT provides an evaluation model with practical guiding significance for the selection and implementation of hyper-converged architecture in core application scenarios and technical research， thus providing technical selection reference for IT system design and optimization.

Keywords： Hyper-converged architecture; New infrastructure; Edge calculation; Performance evaluation;

1. 引言

以“新基建”為代表的新時代已經(jīng)來臨，列入構(gòu)架戰(zhàn)略的新ICT技術(shù)集群作為數(shù)字化轉(zhuǎn)型的賦能、賦智抓手，具有超強的產(chǎn)業(yè)穿透力，推動著新一代信息通信基礎(chǔ)設(shè)施的廣泛應(yīng)用。超融合架構(gòu)技術(shù)是將計算、存儲、網(wǎng)絡(luò)及基礎(chǔ)軟件進(jìn)行有效集成，以“軟件定義”為主要特征，構(gòu)建一個“五臟俱全”的ICT基礎(chǔ)設(shè)施的基本單元。超融合系統(tǒng)是一種新興的集成系統(tǒng)，其本身將核心存儲、計算和存儲網(wǎng)絡(luò)功能整合到單一的軟件解決方案或設(shè)備中。根據(jù)IDC及其調(diào)查結(jié)果顯示，超融合架構(gòu)會帶來三個主要好處：第一個是降低資本支出;第二個是顯著提高IT生產(chǎn)力;第三個是優(yōu)化長期運營成本。

傳統(tǒng)的數(shù)據(jù)中心架構(gòu)，通常以業(yè)務(wù)為出發(fā)點，分別采購相應(yīng)的計算服務(wù)器、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備、安全設(shè)備和軟件系統(tǒng)，由集成服務(wù)提供商進(jìn)行現(xiàn)場集成實施，具有相對獨立、簡單方便等特點。但傳統(tǒng)數(shù)據(jù)中心的架構(gòu)也面臨建設(shè)周期長、使用不靈活、運營維護(hù)復(fù)雜等問題，且由于IT、網(wǎng)絡(luò)設(shè)備等兼容問題，在具體的集成實施中也經(jīng)常導(dǎo)致項目進(jìn)度嚴(yán)重延期交付，影響業(yè)務(wù)發(fā)展的情況。隨著云數(shù)據(jù)中心的建設(shè)，通過虛擬化軟件實現(xiàn)了計算資源的池化，以軟件定義存儲、服務(wù)器存儲（Server SAN）為代表的存儲技術(shù)逐步探索存儲資源池化共享;軟件定義網(wǎng)絡(luò)（SDN，Software Defined Network）和網(wǎng)絡(luò)虛擬化（NFV，Network Functions Virtualization）也在致力于提升網(wǎng)絡(luò)基礎(chǔ)設(shè)施的靈活性和池化共享。類似的，數(shù)據(jù)中心安全領(lǐng)域也有池化共享、虛擬化的研究探索和實踐，也一定程度上解決了傳統(tǒng)IT架構(gòu)的各種問題。

然而，按照業(yè)務(wù)需要實現(xiàn)資源的動態(tài)、快速擴容需求，在實際運營中日漸突出。按照云數(shù)據(jù)中心的建設(shè)模式，如果一次性部署很大的資源池，則容易導(dǎo)致資源的浪費，從機房空間、制冷成本，到設(shè)備的壽命、維保等，仍占據(jù)了很大的一部分運營成本。而每次業(yè)務(wù)需求的擴容，往往還是需要分別擴容計算、存儲、網(wǎng)絡(luò)、安全等資源，從“需要什么補什么”的運營設(shè)想，到實際應(yīng)用中的“補東墻缺西墻”的現(xiàn)象，引發(fā)了業(yè)界對“基礎(chǔ)資源單元”的建設(shè)和技術(shù)研究。

超融合架構(gòu)自2015年在國內(nèi)外開始啟動各類研究和實踐，目前主要有兩大類，一類是以Vmware的Vsphere、浪潮inMerge1000超融合一體機等為代表的綜合解決方案，包括計算、存儲、網(wǎng)絡(luò)、安全的超融合架構(gòu)。另一類是以Nutanix、聯(lián)想AIO超融合軟件等為代表的存儲融合解決方案，將傳統(tǒng)的Server SAN分布式存儲架構(gòu)在通用的x86服務(wù)器上實現(xiàn)，主要滿足存儲資源的超融合。

超融合架構(gòu)是未來云計算基礎(chǔ)設(shè)施部署的主要趨勢，包括公有云，尤其是有GPU、FPGA、虛擬化軟件環(huán)境等特殊軟硬件需求的業(yè)務(wù)場景，以及私有云、邊緣計算節(jié)點等。作為一個新興的架構(gòu)級技術(shù)，涉及多行業(yè)、多專業(yè)，在實際應(yīng)用選型中，需進(jìn)一步掌握架構(gòu)的具體適用場景和性能，理清存在的問題和性能、架構(gòu)等瓶頸，因此，本文在對超融合技術(shù)的分析基礎(chǔ)上，提出一種測試評估方法，給出相關(guān)的應(yīng)用建議。

2. 技術(shù)架構(gòu)

超融合架構(gòu)是為了實現(xiàn)某種特定的系統(tǒng)目標(biāo)，將相關(guān)的技術(shù)、功能組件進(jìn)行有機繼承組合，能夠建立良好產(chǎn)業(yè)生態(tài)的一種開放式解決方案，其核心理念是指在同一套硬件設(shè)備系統(tǒng)中不僅具備計算、存儲、網(wǎng)絡(luò)、安全、虛擬化軟件等資源和技術(shù)，還包括備份、快照等功能，且通過將多套單元設(shè)備基于網(wǎng)絡(luò)聚合，能實現(xiàn)模塊化的橫向擴展特性。相對于傳統(tǒng)的融合架構(gòu)，超融合架構(gòu)更加突出功能組件之間的解耦性和架構(gòu)的開放性，以及具有良好的產(chǎn)業(yè)生態(tài)，其融合包括但不限于不同架構(gòu)芯片設(shè)備的融合、不同功能組件的融合、不同軟件系統(tǒng)和硬件管理接口的融合。相對于傳統(tǒng)的一體機，超融合架構(gòu)更加強調(diào)開放性和兼容性。

云數(shù)據(jù)中心超融合架構(gòu)通常是融合計算、存儲、網(wǎng)絡(luò)、安全及虛擬化軟件、管理系統(tǒng)，基于軟件定義數(shù)據(jù)中心理念，采用軟件定義一切的方式，實現(xiàn)IT基礎(chǔ)設(shè)施資源的彈性靈活供給;建設(shè)在通用的服務(wù)器和交換機網(wǎng)絡(luò)設(shè)備上，可實現(xiàn)跨資源池之間的資源分配，系統(tǒng)架構(gòu)如圖1所示。

2.1 計算資源池

云數(shù)據(jù)中心超融合架構(gòu)中的計算資源池，主要是指將部分通用服務(wù)器，通過高速網(wǎng)絡(luò)連接和虛擬化軟件，構(gòu)建成為服務(wù)器虛擬化集群，通過將服務(wù)器的資源進(jìn)行虛擬化，對外提供以虛擬機、容器為主要形態(tài)的計算資源。計算資源池是整個超融合架構(gòu)中的核心組件，基于服務(wù)器虛擬化軟件，實現(xiàn)對物理資源的抽象，將服務(wù)器CPU、內(nèi)存、硬盤等資源轉(zhuǎn)化為可統(tǒng)一管理的虛擬邏輯資源，實現(xiàn)更高的資源利用率，降低系統(tǒng)管理的復(fù)雜度。

2.2 存儲資源池

存儲資源池是超融合架構(gòu)的典型應(yīng)用，它具有豐富的數(shù)據(jù)特性，支持為業(yè)務(wù)提供數(shù)據(jù)的優(yōu)化布局，確保數(shù)據(jù)完整性、多副本高可用、高可擴展、高IO，為用戶提供較高性價比的解決方案。此外，超融合存儲基于通用服務(wù)器，利用機械硬盤（HDD，Hard Disk Drive）和閃存（SSD，Solid State Drives）的組合，以較低成本為業(yè)務(wù)的存儲需求提供大容量的存儲資源。此外，基于超融合架構(gòu)，由于計算節(jié)點和存儲節(jié)點的深度融合，計算節(jié)點會優(yōu)先使用同一臺服務(wù)器上的存儲資源，本地讀取提升IO性能的同時也降低了網(wǎng)絡(luò)成本，尤其是云數(shù)據(jù)中心傳統(tǒng)架構(gòu)下的光纖存儲交換機的成本。

2.3 網(wǎng)絡(luò)資源池

網(wǎng)絡(luò)資源池包括了連接服務(wù)器的交換機、路由器等網(wǎng)絡(luò)設(shè)備，服務(wù)器上運行的虛擬交換機、虛擬負(fù)載均衡等虛擬網(wǎng)元設(shè)備，以及網(wǎng)絡(luò)控制器、負(fù)載均衡等物理設(shè)備。軟件定義網(wǎng)絡(luò)（SDN，Software Defined Network）也是當(dāng)前的研究熱點，基于物理網(wǎng)絡(luò)設(shè)備接口開放管理平臺的改革派和全面使用白板機的革命派，為網(wǎng)絡(luò)資源池提供了多種實現(xiàn)方式。網(wǎng)絡(luò)資源池通過實現(xiàn)超融合系統(tǒng)中各個單元的鏈接，解決了傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)管理和運維的諸多難題，可較好滿足業(yè)務(wù)應(yīng)用對網(wǎng)絡(luò)快速、靈活自動化部署的需求。

2.4 安全資源池

安全資源池在超融合架構(gòu)中和網(wǎng)絡(luò)設(shè)備高度融合，既包括物理防火墻、堡壘機，也包括虛擬防火墻、虛擬機安全代理等虛擬化模塊，在SDN網(wǎng)絡(luò)中，目前也有講安全設(shè)備進(jìn)行融合管理的做法，但出于安全的專業(yè)性和維護(hù)難度考慮，本文講安全資源池獨立為一個架構(gòu)板塊，主要考慮維護(hù)管理。

2.5 超融合管理系統(tǒng)

超融合管理系統(tǒng)是該架構(gòu)的核心模塊，管理系統(tǒng)綜合管理著計算、存儲、網(wǎng)絡(luò)和安全等資源，部分超融合管理系統(tǒng)將虛擬化管理平臺中的物理機管理功能全部承接，目的是為了更好地分配計算和存儲資源。類似的，也有部分超融合管理系統(tǒng)包括了存儲管理功能、SDN控制器功能和安全管理功能。通常超融合管理系統(tǒng)運行在系統(tǒng)的兩臺或更多臺虛擬機上，為了實現(xiàn)管理系統(tǒng)的高可用，部署的虛擬機一般分布在不同的物理服務(wù)器上。

3. 超融合評估方法

作為一個新興的架構(gòu)級技術(shù)，涉及IT、CT、軟硬件、多行業(yè)、多專業(yè)，在實際應(yīng)用選型中，需進(jìn)一步掌握架構(gòu)的具體適用場景和性能，理清存在的問題和性能、架構(gòu)等瓶頸，因此，本文以超融合存儲資源池為例，提出了相應(yīng)的超融合評估方法。

3.1 性能測試方法

超融合存儲資源池通常是基于通用低成本的x86服務(wù)器，搭配相應(yīng)的SSD作為數(shù)據(jù)緩存，通過控制SSD和HDD的容量和盤數(shù)比例來滿足不同的業(yè)務(wù)需求。根據(jù)通用的業(yè)務(wù)場景，按照測試虛機使用的工作集總大小，以及超融合集群中SSD層的總?cè)萘浚ǔ？煞譃槿N測試場景：

第一，熱數(shù)據(jù)完全在SSD中;第二，只有小部分熱數(shù)據(jù)超出SSD;第三，大部分熱數(shù)據(jù)位于SSD之外的容量層上。

這里需要注意的是，在根據(jù)緩存大小計算測試工作負(fù)載大小時，需要把由于多副本產(chǎn)生的冗余數(shù)據(jù)計算進(jìn)去?；谝陨先N不同容量負(fù)載的測試場景下，再按照典型IO業(yè)務(wù)特征進(jìn)行具體的測試，結(jié)合公有云環(huán)境下大部分負(fù)載的統(tǒng)計情況，本文設(shè)計了以下IO特征場景：

第一，4KB 100%隨機 100%讀，極限值;第二，4KB 100%隨機 100%寫，極限值;第三，8KB 100%隨機 70%讀30%寫，適用于OLTP交易場景;第四，2KB 100%順序 100%讀，適用于視頻流讀取場景;第五，32KB 100%順序 100%寫，適用于數(shù)據(jù)復(fù)制、記錄日志等場景;第六，8KB 80%隨機/20%順序 80%讀20%寫。

此外，還可以根據(jù)具體的業(yè)務(wù)需求，通過變更虛擬機的數(shù)量、磁盤的組數(shù)、物理服務(wù)器的數(shù)量、虛擬機的承載特征、隊列深度等，從以下維度進(jìn)行多組數(shù)據(jù)的測試評估：

第一，系統(tǒng)IO性能與虛擬機數(shù)量的關(guān)系;第二，系統(tǒng)IO性能與物理服務(wù)器磁盤組數(shù)量間的關(guān)系;第三，系統(tǒng)IO性能與物理服務(wù)器節(jié)點數(shù)的關(guān)系;第四，虛擬機在物理服務(wù)器上的分布傾斜與系統(tǒng)IO性能的關(guān)系;第五，隊列深度與IOPS 延遲的關(guān)系等。

3.2 測試工具

HCIBench是存儲性能測試自動化工具，可以極大降低測試工程師的工作量;HCIBench使部署測試虛擬機的端到端流程實現(xiàn)自動化，協(xié)調(diào)工作負(fù)載運行，聚合測試結(jié)果，并收集故障排除所需的數(shù)據(jù)。通過配置文件的選擇，可以快速地完成各種場景下的性能測試數(shù)據(jù)。

HCIBench是超融合架構(gòu)或分布式存儲的基準(zhǔn)測試工具，適合vSphere和支持它的分布式存儲的測試;由于超融合架構(gòu)的測試模式應(yīng)該是調(diào)用多個測試虛擬機，同時訪問多個VMDK，以此模擬群集的實際業(yè)務(wù)工作。由于主流的存儲性能測試工具不直接支持這種測試模式，可通過創(chuàng)建多個測試虛擬機，并在創(chuàng)建的虛擬機上配置VMDK、安裝配置傳統(tǒng)測試工具的方式，生成工作負(fù)載、監(jiān)控采集相關(guān)數(shù)據(jù)，實現(xiàn)較為精準(zhǔn)的性能測試。

此外，還可以使用HCIBench中集成的VDBench，它是Oracle推出的工具，用于驗證存儲性能和存儲數(shù)據(jù)完整性，只需調(diào)度在自動創(chuàng)建的虛擬機上，按照計劃進(jìn)行自動安裝。

3.3 管理功能測試

超融合產(chǎn)品的開放性，主要體現(xiàn)在管理工具的功能體系和接口方面，因為超融合測試，還需對常見的功能和相應(yīng)的接口進(jìn)行功能性測試，可基于超融合的產(chǎn)品功能列表，對照業(yè)務(wù)場景需求，進(jìn)行比對和相應(yīng)的測試。由于功能點的定義并沒有在行業(yè)內(nèi)達(dá)成一致，通常還需要對每個功能點進(jìn)行具體的操作，對具體的管理接口進(jìn)行細(xì)致的參數(shù)和功能分析。目前主流支持的接口測試工具主要包括：powershell，REST API，Python，命令行等。

4. 結(jié)束語

至此，本文從當(dāng)前云數(shù)據(jù)中心的發(fā)展趨勢出發(fā)，闡述了云服務(wù)規(guī)模部署和5G應(yīng)用的新環(huán)境下，超融合架構(gòu)在私有云、邊緣計算，以及公有云的建設(shè)基本單位等應(yīng)用技術(shù)特征，并根據(jù)超融合架構(gòu)的技術(shù)特征出發(fā)，綜合分析了超融合的關(guān)鍵技術(shù)和架構(gòu)特征，提出了超融合產(chǎn)品性能評估方案，為超融合架構(gòu)在核心應(yīng)用場景的選型實施和技術(shù)研究，提供了具有實際指導(dǎo)意義的評估模型，從而為IT系統(tǒng)設(shè)計及優(yōu)化提供技術(shù)選型參考。

參考文獻(xiàn)：

[1]艾如鵬.基于Openstack的超融合平臺的研究與實現(xiàn)[D].廣州：華南理工大學(xué)，2017.

[2]吳家隱，李先緒，邱紅飛，等.面向NFVi時代存儲技術(shù)該何去何從[J].通信世界，2018（03）：55-56.

[3]唐恒武，王珍.超融合架構(gòu)在數(shù)據(jù)中心應(yīng)用探究[J].金融電子化，2018（02）：89-90.

[4]黃永燊.基于OpenStack的高可用超融合基礎(chǔ)架構(gòu)優(yōu)化的研究[D].廣州：華南理工大學(xué)，2018.