摘要：基于申威威鑫3231芯片的高性能分布式存儲(chǔ)，能夠通過(guò)軟件定義存儲(chǔ)的方式為用戶提供性能穩(wěn)定的存儲(chǔ)服務(wù)，滿足從硬件層到軟件層的全棧國(guó)產(chǎn)化需求，從而實(shí)現(xiàn)“自主可控，安全可靠”的存儲(chǔ)要求。其在滿足用戶需求的同時(shí)，還可以大幅降低存儲(chǔ)系統(tǒng)的單位擁有成本和管理成本，實(shí)現(xiàn)核心生產(chǎn)存儲(chǔ)系統(tǒng)的國(guó)產(chǎn)化，讓用戶更加經(jīng)濟(jì)地進(jìn)行自主可控的IT基礎(chǔ)設(shè)施建設(shè)。

關(guān)鍵詞：軟件定義存儲(chǔ)；威鑫3231；NVMe-oF

doi：10.3969/J.ISSN.1672-7274.2023.02.021

中圖分類號(hào)：TP 311.13" " " " " " " "文獻(xiàn)標(biāo)示碼：A" " " " " " " "文章編碼：1672-7274（2023）02-00-03

High Performance Distributed Storage Based on SW-WX3231 Chip

JING Tao

（i-Soft Co.， Ltd.， Beijing 100102，China）

Abstract： The high-performance distributed storage based on SW-WX3231 chip can provide users with storage services with stable performance through software defined storage， full stack localization requirement from hardware to software layer， implement the storage requirements of \"self-controlled， safe and reliable\"， realize the localization of the core production storage system， and enable users to construct independent and controllable IT infrastructure more economically.

Key words： Software Defined Storage; SW-WX3231; NVMe-oF

基于申威威鑫3231芯片的高性能分布式存儲(chǔ)平臺(tái)，具備大規(guī)模集群部署能力和海量數(shù)據(jù)管理能力，可同時(shí)提供文件、塊級(jí)、對(duì)象存儲(chǔ)，存儲(chǔ)平臺(tái)具有豐富的應(yīng)用接口，可靈活用于金融、互聯(lián)網(wǎng)、衛(wèi)星測(cè)繪、醫(yī)療、教育科研、視頻監(jiān)控等應(yīng)用場(chǎng)景。

1" 研究背景

隨著多媒體大數(shù)據(jù)、互聯(lián)網(wǎng)、云計(jì)算等應(yīng)用場(chǎng)景的出現(xiàn)以及各類移動(dòng)智能終端的普及和應(yīng)用，以圖片、音頻和視頻等文件為代表的非結(jié)構(gòu)化數(shù)據(jù)呈現(xiàn)爆發(fā)式增長(zhǎng)。相較于傳統(tǒng)的集中式存儲(chǔ)，分布式存儲(chǔ)具備高擴(kuò)展性、高可用性等優(yōu)勢(shì)，可以滿足日益增長(zhǎng)的海量數(shù)據(jù)存儲(chǔ)與管理所需的性能與容量要求。傳統(tǒng)的集中式存儲(chǔ)，存儲(chǔ)系統(tǒng)往往容易成為整個(gè)平臺(tái)的性能瓶頸，難以滿足大規(guī)模存儲(chǔ)應(yīng)用的橫向擴(kuò)展需求?；谏晖?231芯片的高性能分布式存儲(chǔ)平臺(tái)，能夠?yàn)槲覈?guó)關(guān)鍵基礎(chǔ)設(shè)施領(lǐng)域提供長(zhǎng)遠(yuǎn)、可控的供應(yīng)鏈和技術(shù)支撐。

2" 研究?jī)?nèi)容

分布式存儲(chǔ)平臺(tái)圍繞軟件定義技術(shù)，全棧研發(fā)基于分布式架構(gòu)的智能存儲(chǔ)系統(tǒng)，采用高可靠的數(shù)據(jù)存儲(chǔ)保護(hù)方案、高性能的數(shù)據(jù)分布算法，有效提升分布式存儲(chǔ)系統(tǒng)的可靠性及存儲(chǔ)效率，滿足用戶對(duì)可用性、易用性及成本的需求，打造完全自主可控的分布式存儲(chǔ)產(chǎn)品線。其通過(guò)增加服務(wù)器節(jié)點(diǎn)的方式橫向擴(kuò)容，實(shí)現(xiàn)去中心化，從根本上解決傳統(tǒng)數(shù)據(jù)中心存儲(chǔ)設(shè)備的數(shù)據(jù)孤島問(wèn)題，增加存儲(chǔ)的靈活擴(kuò)展性，提供統(tǒng)一的資源管理功能和數(shù)據(jù)保護(hù)策略，實(shí)現(xiàn)存儲(chǔ)系統(tǒng)的一體化管理。平臺(tái)廣泛支持各種現(xiàn)有的應(yīng)用系統(tǒng)，方便構(gòu)建新的應(yīng)用系統(tǒng)，可提供文件接口、塊接口、對(duì)象接口、HDFS接口等多種存儲(chǔ)協(xié)議接口，可用一套存儲(chǔ)系統(tǒng)對(duì)多樣化的用戶應(yīng)用系統(tǒng)提供訪問(wèn)支持。

申威威鑫3231（SW-WX3231）是一款用于通用服務(wù)器、存儲(chǔ)服務(wù)器、安全設(shè)備等產(chǎn)品的高性能處理器。其基于申威自主指令集（SW64），集成了32個(gè)64位RISC結(jié)構(gòu)的申威處理器核心、8路DDR4存儲(chǔ)控制器和40 lane PCIe 4.0接口，支持2～4路處理器直連。整套分布式存儲(chǔ)平臺(tái)基于雙路威鑫3231芯片服務(wù)器和普華操作系統(tǒng)，基于內(nèi)核級(jí)資源調(diào)度設(shè)計(jì)了獨(dú)有的加速引擎以提高操作系統(tǒng)的調(diào)度效率，采用高效的分布式全閃存儲(chǔ)軟件棧，通過(guò)軟件加速釋放出硬件的真正性能，同時(shí)在存儲(chǔ)系統(tǒng)穩(wěn)定性、數(shù)據(jù)可靠性方面可以做到完全自主可控，可以應(yīng)用于人工智能、機(jī)器學(xué)習(xí)、大數(shù)據(jù)等對(duì)存儲(chǔ)有高性能需求的場(chǎng)景中，系統(tǒng)架構(gòu)如圖1所示。

2.1 操作系統(tǒng)內(nèi)核優(yōu)化

傳統(tǒng)的操作系統(tǒng)在設(shè)計(jì)之初往往忽視了現(xiàn)代服務(wù)器的多核心、高并發(fā)、大內(nèi)存的運(yùn)行模式。NVMe 技術(shù)以PCIe作為SSD的訪問(wèn)接口，極大地縮短了I/O的訪問(wèn)路徑，同時(shí) NVMe 的軟件棧也以精簡(jiǎn)的調(diào)用關(guān)系進(jìn)一步降低了數(shù)據(jù)訪問(wèn)的時(shí)延，在大數(shù)據(jù)、互聯(lián)網(wǎng)、金融等高IOPS的應(yīng)用場(chǎng)景中，傳統(tǒng)存儲(chǔ)技術(shù)由于訪問(wèn)路徑長(zhǎng)、時(shí)延大、吞吐量低、內(nèi)存資源相互競(jìng)爭(zhēng)以及上下文切換延遲等待的問(wèn)題，不能滿足“大數(shù)據(jù)”高性能存儲(chǔ)的需求。全自主研發(fā)的普華分布式全閃存儲(chǔ)系統(tǒng)通過(guò)私有CPU調(diào)度和虛擬內(nèi)存管理，采用微控制器實(shí)現(xiàn)資源高效并發(fā)流水線作業(yè)，通過(guò)輪詢、分核、無(wú)鎖化等機(jī)制減少了CPU上下文切換、并發(fā)互斥等帶來(lái)的系統(tǒng)開(kāi)銷，提高了I/O的響應(yīng)速度，提升帶來(lái)了系統(tǒng)性能，有效地解決了前端網(wǎng)絡(luò)、后端網(wǎng)絡(luò)和落盤等環(huán)節(jié)存在的性能瓶頸問(wèn)題。此外，采用高性能的NVMe全閃存硬件平臺(tái)針對(duì)NVMe閃存介質(zhì)設(shè)計(jì)了合理高效的分布式存儲(chǔ)軟件棧，可以兼容業(yè)界主流廠商的RDMA、FC卡，實(shí)現(xiàn)前端NVMe-oF、iSCSI 塊服務(wù)類型接口，組成支持橫向擴(kuò)展和高可用的存儲(chǔ)資源池，對(duì)外部應(yīng)用提供高性能的存儲(chǔ)服務(wù)。

2.2 NVMe over Fabric技術(shù)

傳統(tǒng)的SATA接口隨著SSD的性能逐漸增強(qiáng)成為限制SSD的一大瓶頸。整個(gè)系統(tǒng)的性能瓶頸已從硬盤側(cè)逐漸轉(zhuǎn)移到協(xié)議和接口側(cè)。NVMe存儲(chǔ)協(xié)議規(guī)范了SSD訪問(wèn)接口，簡(jiǎn)化了協(xié)議的復(fù)雜性，利用PCIe通道的低時(shí)延、并行性，通過(guò)威鑫3231處理器降低協(xié)議交互時(shí)延，利用平臺(tái)與應(yīng)用的并行性，增加協(xié)議并發(fā)能力，進(jìn)一步提高存儲(chǔ)系統(tǒng)的讀寫性能。

從軟件接口來(lái)講，NVMe技術(shù)減少了對(duì)寄存器的訪問(wèn)次數(shù)，縮短了CPU到SSD的指令路徑，通過(guò)中斷管理、并行操作、多線程優(yōu)化，減少了各個(gè)CPU核之間的鎖同步操作。NVMe相比SAS，效率有很大的提升。在相同的CPU周期下，NVMe提供的IOPS是SAS的2倍。從軟件的角度來(lái)看，SAS協(xié)議交互次數(shù)多，軟件處理協(xié)議開(kāi)銷大，需要在PCIe和SAS之間做協(xié)議轉(zhuǎn)換，SAS/SCSI體系協(xié)議棧復(fù)雜。NVMe呆直與PCIe接口連接，協(xié)議交互簡(jiǎn)單，去掉了SCSI層協(xié)議，減少了軟件交互次數(shù)，從而實(shí)現(xiàn)了更低的時(shí)延，提高了性能。如圖2所示，通過(guò) PCIe接口直接和存儲(chǔ)設(shè)備通信，縮短了 I/O 路徑，降低了軟件開(kāi)銷，因此極大地減少了整個(gè)系統(tǒng)的時(shí)延。此外 SAS協(xié)議是單隊(duì)列，而NVMe最大支持64K個(gè)隊(duì)列，每個(gè)隊(duì)列支持最多64K個(gè)命令并發(fā)，擁有更高的并發(fā)和隊(duì)列深度，充分發(fā)揮了NVME閃存的性能。另外NVME支持熱插拔和雙端口，互相不影響，為系統(tǒng)修復(fù)和異常處理提供了硬件基礎(chǔ)，保證了系統(tǒng)雙控冗余性，提升了系統(tǒng)的可靠性和可用性。

NVMe-oF技術(shù)使用基于消息的模型，通過(guò)網(wǎng)絡(luò)在主機(jī)和目標(biāo)存儲(chǔ)設(shè)備之間發(fā)送請(qǐng)求和響應(yīng)，通過(guò)RDMA 高速網(wǎng)絡(luò)，在主機(jī)端和目標(biāo)端的NVMe設(shè)備之間，實(shí)現(xiàn)數(shù)據(jù)的傳輸。

NVMe-oF將NVMe協(xié)議應(yīng)用于服務(wù)器前端，作為存儲(chǔ)陣列與前端服務(wù)器連接的通道，取代傳統(tǒng)SAN 網(wǎng)絡(luò)中的SCSI協(xié)議。基于NVMe-oF協(xié)議棧的訪問(wèn)流程如圖3所示，NVMe-oF替代PCIe擴(kuò)展NVMe主機(jī)和NVMe存儲(chǔ)子系統(tǒng)進(jìn)行通信[1]，NVMe 主機(jī)端傳輸層完成NVMe命令與 NVMe-oF命令的轉(zhuǎn)換。利用RDMA來(lái)傳送NVMe命令及數(shù)據(jù)，能夠?qū)崿F(xiàn)對(duì)遠(yuǎn)端 NVMe 設(shè)備的高速低延遲訪問(wèn)[2]。

2.3 NVMe-OF 24盤位全閃存儲(chǔ)單元

采用高性能JBOF模塊，模塊內(nèi)有CPU和DDR內(nèi)存，是一個(gè)獨(dú)立的計(jì)算機(jī)系統(tǒng)，具備計(jì)算能力，能夠?qū)刂瓶騼?nèi)控制器的計(jì)算任務(wù)進(jìn)行卸載。

NVMe硬盤框通過(guò)RDMA端口與控制框連接，可實(shí)現(xiàn)支持大規(guī)格的NVMe盤數(shù)的能力。控制框通過(guò)板載的100Gb RDMA端口或者 100Gb RDMA后端接口模塊與智能NVMe硬盤框連接，提供高帶寬低時(shí)延的傳輸通道。集群各個(gè)節(jié)點(diǎn)通過(guò)高速網(wǎng)互聯(lián)，從而實(shí)現(xiàn)節(jié)點(diǎn)間的協(xié)作與數(shù)據(jù)的分布及轉(zhuǎn)移，提供高速存儲(chǔ)服務(wù)。

3" 方案特點(diǎn)

高性能全閃存分布式存儲(chǔ)，摒棄了傳統(tǒng)存儲(chǔ)的SAS連接方案，使速度更快，能耗更低，并且可以在網(wǎng)絡(luò)上被多臺(tái)服務(wù)器共享管理，非常適合大容量高性能的場(chǎng)景。

單節(jié)點(diǎn)JBOF擁有6～12個(gè)100G的NVMe-of網(wǎng)絡(luò)接口，實(shí)現(xiàn)了存儲(chǔ)的前后端均衡，解決了基于傳統(tǒng)服務(wù)器架構(gòu)的分布式存儲(chǔ)內(nèi)部PCIE通道不足的問(wèn)題。NVMe硬盤芯片主控的技術(shù)，通過(guò)控制硬盤存儲(chǔ)顆粒的讀寫來(lái)達(dá)到磨損均衡，延長(zhǎng)NVMe硬盤的使用壽命，同時(shí)可以實(shí)現(xiàn)TLC顆粒和QLC顆粒硬盤的混合使用，極大地降低了成本。

其通過(guò)JBOF實(shí)現(xiàn)了存儲(chǔ)管理節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)的分離，可以在同一套JBOF上實(shí)現(xiàn)塊、文件、對(duì)象存儲(chǔ)，方便用戶使用，存儲(chǔ)節(jié)點(diǎn)間使用RDMA技術(shù)，保證了存儲(chǔ)節(jié)點(diǎn)之間高性能的數(shù)據(jù)傳輸。

在整體的存儲(chǔ)方案中，加入了SCM層持久內(nèi)存的技術(shù)，通過(guò)小文件聚合，進(jìn)一步提高讀寫的速度及硬盤壽命。

全局在線數(shù)據(jù)重刪壓縮，存儲(chǔ)快照、克隆、雙活等企業(yè)級(jí)存儲(chǔ)技術(shù)的加持，為用戶數(shù)據(jù)中心整體提速奠定了基礎(chǔ)。運(yùn)用存儲(chǔ)緩沖加速層技術(shù)，在不改變用戶原有存儲(chǔ)結(jié)構(gòu)及存儲(chǔ)路徑的前提下，從原有存儲(chǔ)中提取數(shù)據(jù)進(jìn)行高速計(jì)算，提高了數(shù)據(jù)中心的處理速度。

4" 結(jié)束語(yǔ)

基于申威威鑫3231芯片的高性能分布式存儲(chǔ)平臺(tái)采用軟件定義存儲(chǔ)的方式，支持元數(shù)據(jù)靈活檢索，小文件性能優(yōu)化，滿足海量非結(jié)構(gòu)化數(shù)據(jù)并發(fā)訪問(wèn)的需求，非常適合在線交易系統(tǒng)、大數(shù)據(jù)分析、4K/8K 視頻編輯、自動(dòng)駕駛、基因、氣象等對(duì)性能、帶寬、容量同時(shí)有要求的場(chǎng)景， 能夠從根本上解決傳統(tǒng)數(shù)據(jù)中心存儲(chǔ)設(shè)備數(shù)據(jù)孤島問(wèn)題，增加存儲(chǔ)的靈活擴(kuò)展性，為IT業(yè)務(wù)應(yīng)用提供持續(xù)的高可用存儲(chǔ)服務(wù)。■

參考文獻(xiàn)

[1] 朱佳平. NVMeoF網(wǎng)絡(luò)存儲(chǔ)協(xié)議卸載技術(shù)研究. 中國(guó)計(jì)算機(jī)學(xué)會(huì)：中國(guó)計(jì)算機(jī)學(xué)會(huì)計(jì)算機(jī)工程與工藝專業(yè)委員會(huì)，2018：11.

[2] YU， Y. J.， SHIN， D.I.， SHIN， W.， SONG， N. Y.， CHOI， J. W.， KIM， H. S.， EOM， H.， AND YEOM， H. Y. Optimizing the block I/O subsystem for fast storage devices[J]. ACM Transactions on Computer Systems （TOCS） ，2014，32（6）：1-48.