John Edwards 陳琳華

在存儲(chǔ)性能最大化方面，NVMe/TCP是SSD網(wǎng)絡(luò)的下一步發(fā)展方向。

在數(shù)據(jù)中心開始從機(jī)械硬盤向固態(tài)硬盤（SSD）轉(zhuǎn)換后不久，NVMe協(xié)議就開始支持高性能直接附加的PCIe SSD。緊隨NVMe之后的是NVMe over Fabrics（NVMe-oF），旨在高效地支持超大型遠(yuǎn)程SSD池，有效地取代直接附加存儲(chǔ)（DAS），進(jìn)而成為云基礎(chǔ)設(shè)施中分離式存儲(chǔ)的默認(rèn)協(xié)議。

最近推出的NVMe over TCP可提供更強(qiáng)大的NVMe-oF技術(shù)，能夠在降低部署成本和設(shè)計(jì)復(fù)雜度的同時(shí)提供更高的性能。本質(zhì)上，NVMe over TCP使用簡(jiǎn)單高效的TCP/IP結(jié)構(gòu)將NVMe擴(kuò)展到了整個(gè)數(shù)據(jù)中心。

商業(yè)和技術(shù)咨詢公司Capgemini North America的IT主管Eric Killinger說：“能夠在高帶寬、低延遲的情況下進(jìn)行通信，在存儲(chǔ)陣列之間實(shí)現(xiàn)物理隔離，以及添加包含TCP協(xié)議的普通交換網(wǎng)絡(luò)進(jìn)行傳輸，無疑將改變游戲規(guī)則。超大型云服務(wù)提供商已經(jīng)采用這項(xiàng)技術(shù)以取代已有二三年歷史的SSD技術(shù)，從而為數(shù)據(jù)分析和物聯(lián)網(wǎng)提供了更大的查詢?cè)L問能力。

背景：NVMe和NVMe-oF的出現(xiàn)

由NVMe SSD構(gòu)建的存儲(chǔ)陣列極大地提升了存儲(chǔ)速度，但是這些設(shè)備仍然通過基于SCSI的主機(jī)連接與服務(wù)器進(jìn)行通信。NVMe-oF的部署可以跨交換結(jié)構(gòu)支持基于NVMe的塊存儲(chǔ)設(shè)備遠(yuǎn)程直接內(nèi)存訪問（RDMA）。

技術(shù)研究公司IDC的基礎(chǔ)設(shè)施系統(tǒng)研究副總裁Eric Burgener說：“這是一種專門為固態(tài)存儲(chǔ)優(yōu)化的高性能存儲(chǔ)網(wǎng)絡(luò)協(xié)議，其提供了更低的延遲、更高的帶寬、并行性和更高的效率?！?/p>

NVMe-oF 適用于光纖通道（FC）、以太網(wǎng)和InfiniBand等不同類型的網(wǎng)絡(luò)傳輸。在以太網(wǎng)中，用戶還可以選擇RoCE（RDMA over Converged Ethernet）、iWARP以及TCP等不同的傳輸選項(xiàng)。

缺點(diǎn)是FC、InfiniBand、RoCE和iWARP選項(xiàng)都需要定制的主機(jī)總線適配器和驅(qū)動(dòng)程序，這使得它們的部署和維護(hù)既困難又昂貴。Burgener說：“NVMe over TCP是一個(gè)真正的行業(yè)標(biāo)準(zhǔn)，可與幾乎所有的企業(yè)服務(wù)器上的標(biāo)準(zhǔn)聚合以太網(wǎng)適配器配合使用?！贝送?，大多數(shù)重要的Linux變體如今在其標(biāo)準(zhǔn)發(fā)行版中都含有NVMe-over-TCP驅(qū)動(dòng)程序。

Burgener說：“作為一個(gè)已發(fā)布且被廣泛接受的標(biāo)準(zhǔn)，從長(zhǎng)遠(yuǎn)來看，它們將主導(dǎo)NVMe-oF的部署。雖然部署成本也較低，不需要標(biāo)準(zhǔn)Linux或以太網(wǎng)適配器之外的升級(jí)計(jì)劃，但是它們的延遲比RoCE要高一些。迄今為止，RoCE是另一種被廣泛部署的以太網(wǎng)選項(xiàng)?！?/p>

RoCE和iWARP都支持RDMA，而FC和TCP則不支持RDMA。雖然支持RDMA可稍微降低延遲，但是所有這些方法都比基于普通SCSI的存儲(chǔ)網(wǎng)絡(luò)技術(shù)（如FC和iSCSI）提供了顯著的性能改進(jìn)。

NVMe/TCP的部署和應(yīng)用

用戶采用NVMe/TCP的一個(gè)主要原因是其提供一個(gè)低延遲的共享存儲(chǔ)解決方案。

Burgener說：“如果用戶有一個(gè)基于NVMe的全閃存陣列，但是該陣列仍然通過基于SCSI的存儲(chǔ)網(wǎng)絡(luò)連接到服務(wù)器上，那么用戶可能會(huì)遇到很多性能問題，并且固態(tài)存儲(chǔ)資源使用效率也不高。如果用戶希望讓所有的應(yīng)用程序都能夠享受到基于NVMe的全閃存陣列的性能，那么用戶這時(shí)需要用到NVMe-oF存儲(chǔ)網(wǎng)絡(luò)?！?/p>

對(duì)于大多數(shù)企業(yè)而言，最終的傳輸選擇將取決于已部署的技術(shù)或是規(guī)模與性能要求。

Burgener說：“FC是滿足后一種要求的最佳傳輸方式，但是隨著高帶寬以太網(wǎng)新版本的不斷推出，這種區(qū)別正在不斷縮小，因?yàn)橐蕴W(wǎng)可通過更高的帶寬處理更多的工作負(fù)載。一些對(duì)性能非常敏感的應(yīng)用程序使用FC作為NVMe-oF的傳輸層會(huì)更好，不過隨著時(shí)間的推移，這類應(yīng)用程序會(huì)越來越少?！?/p>

如果企業(yè)已經(jīng)有了FC網(wǎng)絡(luò)，那么在其上部署NVMe-oF就相對(duì)容易些，因?yàn)樵S多企業(yè)已經(jīng)在這樣做了。Burgener認(rèn)為，大多數(shù)新建企業(yè)還是會(huì)選擇部署以太網(wǎng)，而TCP最終將勝出。

Burgener說：“在應(yīng)用程序方面，我們將會(huì)看到NVMe over TCP被用于由人工智能/機(jī)器學(xué)習(xí)（AI/ML）驅(qū)動(dòng)的大數(shù)據(jù)分析工作負(fù)載當(dāng)中，特別是在要求實(shí)時(shí)的情況下。另一個(gè)重要意義在于，環(huán)境已將大量工作負(fù)載整合到單個(gè)存儲(chǔ)陣列上，并且需要能夠在高工作負(fù)載密度下提供出色的性能?！?/p>

雖然AI/ML驅(qū)動(dòng)的大數(shù)據(jù)分析應(yīng)用正在增長(zhǎng)，但是該領(lǐng)域仍處于新興階段。更為直接的原因在于，NVMe/TCP在基于閃存的超大存儲(chǔ)部署環(huán)境中受到了越來越多的關(guān)注，尤其是在大量低延遲數(shù)據(jù)必須通過現(xiàn)有的高帶寬交換網(wǎng)絡(luò)被快速訪問的情況下。

Killinger說：“超大規(guī)模是這項(xiàng)技術(shù)的天然消費(fèi)者，因?yàn)樗鼈兛梢詫?shí)現(xiàn)閃電般的數(shù)據(jù)訪問，并允許數(shù)據(jù)分布在多個(gè)數(shù)據(jù)中心內(nèi)，同時(shí)它們還在電網(wǎng)、冷卻和本地化的高可用性體系結(jié)構(gòu)方面具有優(yōu)勢(shì)，不會(huì)帶來的額外成本?！?/p>

NVMe/TCP還可以允許用戶利用現(xiàn)有的交換網(wǎng)絡(luò)技術(shù)。這些技術(shù)已經(jīng)商品化并可從許多原始設(shè)備制造商處獲得。Killinger說：“與Infiniband或光纖通道相比，連接多個(gè)10G以太網(wǎng)端口的每個(gè)端口的成本使得利用NVMe的TCP堆棧成為可能?！?/p>

Burgener指出，許多高端存儲(chǔ)用戶已經(jīng)致力于FC存儲(chǔ)網(wǎng)絡(luò)，并且已經(jīng)或正在計(jì)劃升級(jí)到RoCE。不過，這種情況在未來幾年可能會(huì)發(fā)生變化。

Burgener認(rèn)為，隨著存儲(chǔ)基礎(chǔ)設(shè)施越來越多地轉(zhuǎn)向固態(tài)存儲(chǔ)，用戶也將越來越關(guān)心基礎(chǔ)設(shè)施的效率，NVMe over TCP將明顯優(yōu)于SCSI，而且成本低廉，易于部署。

NVMe-over-TCP的可用性

NVMe及其規(guī)范由NVM Express擁有和維護(hù)，NVM Express是一個(gè)由網(wǎng)絡(luò)、存儲(chǔ)和其他IT相關(guān)公司組成的聯(lián)盟。NVMe規(guī)范于2011年發(fā)布，其定義了主機(jī)軟件如何通過PCI-Express（PCIe）總線與非易失性內(nèi)存通信，目前已成為PCIe SSD的行業(yè)標(biāo)準(zhǔn)。NVMe/TCP于2018年獲得NVM Express的批準(zhǔn)。

從目前的情況來看，對(duì)NVMe/TCP的支持主要來自Mellanox Technologies等網(wǎng)絡(luò)供應(yīng)商，以及Lightbits Labs、Excellero、Pavilion Data和Infinidat等存儲(chǔ)初創(chuàng)公司。SSD芯片制造商Kioxia也支持NVMe over TCP。

NVMe/TCP可用性預(yù)計(jì)將在未來幾年快速增長(zhǎng)。Burgener預(yù)測(cè)稱：“盡管大多數(shù)主要的企業(yè)級(jí)存儲(chǔ)供應(yīng)商還沒有動(dòng)作，但是他們可能會(huì)在未來12～18個(gè)月內(nèi)推出相關(guān)的產(chǎn)品?！?/p>

雖然大規(guī)模的NVMe-over-TCP部署在短期內(nèi)是一個(gè)障礙，但是它們很可能轉(zhuǎn)化為一個(gè)長(zhǎng)期的成功。

Killinger說：“大多數(shù)IT公司都在嘗試公有云服務(wù)，估計(jì)有超過90%的業(yè)務(wù)部門在使用一個(gè)或多個(gè)公有云。同時(shí)，IT更新率一直呈下降趨勢(shì)。對(duì)于用高端的NVMe技術(shù)更新老化的存儲(chǔ)基礎(chǔ)設(shè)施，許多公司沒有編列足夠的預(yù)算資金。盡管如此，一些公司開始嘗試用公有云服務(wù)提供商來替代自己的企業(yè)IT服務(wù)。這正是NVMe over TCP大顯身手的地方，其增長(zhǎng)速度將是企業(yè)IT購(gòu)買力的數(shù)倍?！?/p>

Burgener認(rèn)為，NVMe/TCP的未來前景光明，但是部署率可能要到2022年或2023年底才會(huì)真正開始上升。Killinger也樂觀地認(rèn)為，NVMe/TCP最終將成為主流技術(shù)。他說：“我沒有找到NVMe over TCP不會(huì)蓬勃發(fā)展的理由，甚至在未來幾年它們還會(huì)加速SSD的部署?！彼A(yù)計(jì)，SSD存儲(chǔ)OEM廠商很快就會(huì)進(jìn)行大規(guī)模的市場(chǎng)推廣，并積極拓展其產(chǎn)品在NVMe over TCP上的性能。

本文作者John Edwards為資深商業(yè)技術(shù)記者，曾在《紐約時(shí)報(bào)》《華盛頓郵報(bào)》以及CIO、Computerworld、Network World、CFO Magazine、IBM Data Management Magazine、RFID Journal和Electronic Design等眾多商業(yè)和技術(shù)刊物上發(fā)表過文章。

原文網(wǎng)址

https：//www.networkworld.com/article/3609921/nvme-over-tcp-how-it-supercharges-ssd-storage-using-standard-ip-networks.html