陸游游 楊 者 舒繼武

(清華大學(xué)計算機科學(xué)與技術(shù)系 北京 100084)

固態(tài)盤(solid state drive, SSD)是一種完全電子式訪問的存儲設(shè)備.在計算機發(fā)展的歷史中，磁盤自1956年起主導(dǎo)外存儲領(lǐng)域約70年，然而并非完全電子式設(shè)備.在磁盤中，數(shù)據(jù)訪問操作仍然需要磁頭驅(qū)動、盤片旋轉(zhuǎn)等機械式部件的操作.這些機械式部件操作限制了外存儲性能的提升，也限制了計算機成為完整意義上的電子式計算機.固態(tài)盤提供了完全電子式的數(shù)據(jù)訪問，使得電子計算機在計算、存儲與通信三大方面均實現(xiàn)了電子式數(shù)據(jù)處理，因而固態(tài)盤的發(fā)展與應(yīng)用在計算機發(fā)展歷史中具有里程碑的意義.

當前，固態(tài)盤多采用閃存(flash memory)存儲介質(zhì)，其中以NAND閃存為主.NAND閃存與傳統(tǒng)磁盤介質(zhì)的特性差異較大，例如寫前擦除、讀寫粒度與擦除粒度不匹配、讀寫不對稱、磨損壽命有限等特性.為了兼容傳統(tǒng)磁盤的讀寫接口，固態(tài)盤引入了閃存轉(zhuǎn)換層(flash translation layer, FTL)將傳統(tǒng)的讀寫接口轉(zhuǎn)換為閃存的讀寫擦操作.閃存轉(zhuǎn)換層的引入兼容了傳統(tǒng)磁盤接口，但是對上層系統(tǒng)軟件屏蔽了閃存的特性，阻礙了上層系統(tǒng)軟件對于閃存優(yōu)勢的發(fā)揮，甚至惡化了閃存的壽命等缺陷問題[1].針對該問題，清華大學(xué)從2010年開始了“重構(gòu)閃存存儲系統(tǒng)”的研究，以探索閃存存儲管理在軟硬件上的合理劃分以及跨層協(xié)作，以軟硬件協(xié)同設(shè)計的方式發(fā)揮閃存存儲的優(yōu)勢和潛力[2-3].近些年來，在閃存存儲的重構(gòu)與系統(tǒng)構(gòu)建方面，學(xué)術(shù)界和工業(yè)界都取得了不少進展.本文將從傳統(tǒng)閃存存儲架構(gòu)的問題、閃存存儲架構(gòu)的演進、開放通道SSD存儲系統(tǒng)和閃存設(shè)備內(nèi)計算等方面介紹相關(guān)進展，最后總結(jié)并展望閃存存儲的重構(gòu)與系統(tǒng)構(gòu)建方面的機遇與挑戰(zhàn).

1 傳統(tǒng)閃存存儲架構(gòu)的問題

1.1 閃存與固態(tài)盤

在大容量固態(tài)盤中，NAND閃存是主要的存儲介質(zhì).NAND閃存(下文若無特殊說明，閃存是指NAND閃存)的單元以電子的方式記錄數(shù)據(jù)的0/1狀態(tài).依據(jù)狀態(tài)表示比特數(shù)不同，閃存分為SLC,MLC,TLC及QLC，分別表示每個閃存單元記錄1,2,3和4個位數(shù).閃存相比于傳統(tǒng)磁盤介質(zhì)具有諸多獨特的特性，包括3個主要特性:

1) 寫前擦除.NAND閃存單元的編程呈現(xiàn)單向特點，即可以從狀態(tài)1編程為0，反之不行.對于閃存頁的寫入操作，閃存需要將數(shù)據(jù)寫入已擦除的頁面中.這被成為寫前擦除，也被稱為不可覆蓋寫.

2) 讀寫擦粒度不同.閃存以閃存頁為讀寫粒度，例如4 KB,8 KB或16 KB等；以閃存塊為擦除粒度，包含若干個頁面，例如64個頁面.不同的粒度也造成延遲的差異，讀寫操作延遲在百微妙級別，而擦除操作在毫秒級別.

3) 磨損壽命有限(耐久性).閃存單元能承受的擦寫操作次數(shù)有限.經(jīng)過一定數(shù)量的擦寫操作后，閃存單元不能可靠地存儲數(shù)據(jù)狀態(tài).這一過程被稱為磨損，所經(jīng)歷的擦寫次數(shù)用于衡量閃存的擦寫壽命，也被稱為耐久性(endurance).

在固態(tài)盤中，閃存顆粒通過不同的通道連接于閃存控制器.閃存控制器對閃存硬件單元進行讀寫擦操作.固態(tài)盤向主機端提供傳統(tǒng)的讀寫接口.在主機端接口與閃存控制器之間，固態(tài)盤引入閃存轉(zhuǎn)換層(FTL)將傳統(tǒng)讀寫操作轉(zhuǎn)換為閃存內(nèi)部的讀寫擦操作.閃存轉(zhuǎn)換層的主要功能包括3個方面：

1) 地址映射.閃存具有毫秒級的擦除延遲，為避免寫前操作限制中擦除對寫操作的延遲影響，F(xiàn)TL采用了異地更新的寫入機制.異地更新將數(shù)據(jù)寫入空閑物理閃存頁，標記舊數(shù)據(jù)頁面為過期頁面，這引入了地址映射表用于記錄數(shù)據(jù)的物理閃存頁的地址.FTL中采用不同的映射機制，包括頁級映射、塊級映射或混合映射.

2) 垃圾回收.異地更新機制將舊數(shù)據(jù)標記為無效，F(xiàn)TL需要垃圾回收功能以回收這些無效閃存頁，并擦除后將空間用于新數(shù)據(jù)的分配.由于閃存以閃存塊為單位擦除，垃圾回收選擇待回收的閃存塊，將其中有效頁面拷貝到新地址，然后進行擦除.垃圾回收采用不同的算法，以減少垃圾回收的開銷，并考慮閃存的磨損.

3) 磨損均衡.磨損均衡盡可能將閃存的擦寫操作均勻分布于不同的閃存單元，以避免局部擦寫磨損嚴重引發(fā)壽命問題.

閃存轉(zhuǎn)換層屏蔽了很多閃存介質(zhì)的特性，但從固態(tài)盤層次上仍具有一些與磁盤不同的表現(xiàn).由于固態(tài)盤內(nèi)部存在通道級、芯片級、Plane級等多個級別的并發(fā)，固態(tài)盤內(nèi)部可以提供極高的，高于當前SATA和PCIe接口的帶寬.因而，固態(tài)盤在讀操作的帶寬可接近于硬件接口帶寬，寫帶寬由于閃存寫延遲稍高略低于讀帶寬.在隨機讀寫方面，固態(tài)盤提供了較好的隨機讀性能，但隨機寫性能較差.整體而言，由于介質(zhì)的差異，固態(tài)盤與磁盤存在較大的差異.

1.2 傳統(tǒng)固態(tài)盤存儲系統(tǒng)的問題

在存儲系統(tǒng)中，磁盤自1956年發(fā)明以來，長期居于外存的主導(dǎo)地位.當前存儲系統(tǒng)多基于磁盤特性的假設(shè)進行設(shè)計，極少考慮其他存儲介質(zhì)的特性.隨著閃存技術(shù)的廣泛應(yīng)用，如何高效利用閃存并構(gòu)建適合于閃存的存儲系統(tǒng)值得關(guān)注與深入思考.

固態(tài)盤兼容了傳統(tǒng)磁盤的讀寫接口，傳統(tǒng)系統(tǒng)軟件可直接運行于固態(tài)盤之上.盡管固態(tài)盤提供了比磁盤更高的性能，然而閃存的優(yōu)勢并沒有得到充分的發(fā)揮.這其中的問題主要體現(xiàn)在4個方面[1-5]：

1) 功能冗余.存儲系統(tǒng)軟件與閃存轉(zhuǎn)換層存在類似的功能，如地址映射等.這些冗余的功能既帶來了不必要的開銷，也增加了不同層次間操作沖突的概率.

2) 維度缺失.存儲軟件的設(shè)計僅關(guān)注性能、可靠性等傳統(tǒng)設(shè)計維度，而未考慮耐久性等閃存的新維度.維度的缺失造成固態(tài)盤效率低，甚至出現(xiàn)磨損嚴重等問題.

3) 分工欠妥.閃存具有的新特性改變了不同功能在軟硬件不同層次中的效率.例如，閃存的異地更新為存儲一致性提供了高效實現(xiàn)的可能，因而可降低傳統(tǒng)軟件做法的開銷.

4) 優(yōu)化錯配.系統(tǒng)軟件針對磁盤的一些優(yōu)化不僅不能優(yōu)化固態(tài)盤效率，反而增加固態(tài)盤的負擔.例如，固態(tài)盤的讀寫不對稱問題，即讀性能優(yōu)于寫性能，存儲系統(tǒng)中針對隨機讀的優(yōu)化對于固態(tài)盤則效果甚微.

針對這些問題，固態(tài)盤試圖擴展讀寫接口，例如引入Trim 命令.Trim命令將軟件中無效數(shù)據(jù)及時通知固態(tài)盤，以避免固態(tài)盤中無效操作.然而，接口的擴展對于提高固態(tài)盤效率杯水車薪.

固態(tài)盤內(nèi)部的閃存轉(zhuǎn)換層在不同廠商之間以及不同型號之間的算法實現(xiàn)差異較大，系統(tǒng)軟件難以感知內(nèi)部特性，因而難以發(fā)揮閃存的效果.在耐久性與性能方面，傳統(tǒng)的固態(tài)盤存儲結(jié)構(gòu)均存在極大的挑戰(zhàn).

首先，在耐久性方面，閃存的壽命與密度存在矛盾.閃存要求更高的密度，單元密度要求越來越高，從SLC,MLC,TLC至QLC，制程工藝也要求越來越精細.然而這2方面的提升均導(dǎo)致磨損壽命越來越低，如圖1所示.如果系統(tǒng)軟件不能有效控制數(shù)據(jù)的寫入量與磨損均衡，那么閃存的磨損加劇，影響壽命，進而影響數(shù)據(jù)的可靠性.

Fig. 1 Conflict between flash lifetime and density[6]圖1 閃存壽命與密度的矛盾[6]

其次，在性能方面，存儲系統(tǒng)要求閃存不但要提供更高的性能，同時要提供更穩(wěn)定的性能.然而，在當前黑盒的固態(tài)盤結(jié)構(gòu)上，固態(tài)盤中的垃圾回收通常會影響前端I/O.同時，內(nèi)部的讀寫混合也造成數(shù)據(jù)延遲的抖動.因而，在軟件系統(tǒng)上，性能抖動也是比較嚴重的問題，如圖2所示.

Fig. 2 Interface of read and write[7]圖2 讀寫干擾[7]

最后，當前的固態(tài)盤存儲系統(tǒng)僅僅將固態(tài)盤當做快速的磁盤，而喪失了閃存固態(tài)盤的很多機會，例如如何實現(xiàn)基于內(nèi)部并發(fā)實現(xiàn)靈活的數(shù)據(jù)布局、如何基于讀寫擦特性實現(xiàn)更高的空間利用、如何結(jié)合盤內(nèi)與系統(tǒng)級容錯機制實現(xiàn)更可靠的數(shù)據(jù)保護等.

2 閃存存儲架構(gòu)的演進

閃存技術(shù)于20世紀80年代由日本東芝提出，其后20余年由于技術(shù)不成熟、閃存容量有限，多用于嵌入式系統(tǒng).直至本世紀初，閃存技術(shù)得以發(fā)展，閃存才開始走進桌面機、服務(wù)器及數(shù)據(jù)中心等領(lǐng)域.在桌面機、服務(wù)器及數(shù)據(jù)中心這些通用的計算機系統(tǒng)中，閃存存儲架構(gòu)出現(xiàn)了4種主要的形態(tài)：

2.1 設(shè)備內(nèi)FTL閃存架構(gòu)

設(shè)備內(nèi)FTL閃存架構(gòu)(device-based SSD)在設(shè)備內(nèi)部通過閃存轉(zhuǎn)換層向主機端提供傳統(tǒng)讀寫接口，如圖3(a)所示.這種架構(gòu)是傳統(tǒng)的閃存存儲架構(gòu)，在20世紀90年代便已出現(xiàn)，至今仍然是主流的閃存存儲架構(gòu).

Fig. 3 Evolution of flash storage architectures (modified based on [2])圖3 閃存存儲架構(gòu)的演進 (基于文獻[2]修改)

2.2 主機端FTL閃存架構(gòu)

主機端FTL閃存架構(gòu)(host-based SSD)將閃存轉(zhuǎn)換層從設(shè)備內(nèi)部上移到主機端進行實現(xiàn)，如圖3(b)所示.這種架構(gòu)約在2008年由美國FusionIO公司(FusionIO公司后被SanDisk收購，再隨SanDisk被西數(shù)公司收購)提出.由于固態(tài)盤內(nèi)部連接的閃存芯片數(shù)量越來越多，且通過不同級別提供并發(fā)，閃存轉(zhuǎn)換層的地址映射表越來越大，且處理速度需求越來越高.以頁級映射為例，1 TB閃存約需要2 GB映射表.由于設(shè)備內(nèi)嵌入式處理器與內(nèi)存容量受限，閃存轉(zhuǎn)換層的處理性能難以提升，進而影響固態(tài)盤性能.主機端FTL閃存架構(gòu)在主機端實現(xiàn)閃存轉(zhuǎn)換層，可以共享主機端的CPU與內(nèi)存能力，大幅提升了閃存轉(zhuǎn)換層的處理能力，進而提升了固態(tài)盤的性能.然而，主機端FTL閃存架構(gòu)的缺點在于，其占用了主機端CPU與內(nèi)存資源，導(dǎo)致與前臺應(yīng)用的資源競爭.

2.3 軟件直管閃存架構(gòu)

軟件直管閃存架構(gòu)(software-managed flash)無需閃存轉(zhuǎn)換層，由系統(tǒng)軟件直接管理閃存，對閃存物理地址進行讀、寫、擦操作，如圖3(c)所示.這種架構(gòu)于2010年由清華大學(xué)提出，在2013年FAST會議上公開[2].軟件直管閃存架構(gòu)的提出源于系統(tǒng)軟件與閃存轉(zhuǎn)換層之間的冗余與沖突(詳見1.2節(jié))，核心在于彌合系統(tǒng)軟件與閃存硬件之間的語義鴻溝，優(yōu)化功能在軟硬件層次的劃分與協(xié)作，實現(xiàn)軟硬件協(xié)同的閃存存儲設(shè)計.

軟件直管閃存架構(gòu)移除了冗余的層次，促進了面向閃存的軟件系統(tǒng)新設(shè)計，引入了軟件管理的靈活性.為探索驗證該架構(gòu)在存儲系統(tǒng)上的優(yōu)勢，清華大學(xué)于2012年和2013年分別定制了SATA接口與PCIe接口的裸閃存設(shè)備，如圖4所示.裸閃存設(shè)備向軟件系統(tǒng)直接導(dǎo)出物理地址及讀寫擦接口，軟件系統(tǒng)可直接對指定閃存地址進行讀寫擦操作.閃存地址包含了內(nèi)部布局信息，可指定不同并發(fā)單元上的閃存頁地址.同時，裸閃存設(shè)備還導(dǎo)出了閃存頁元數(shù)據(jù)(也稱OOB區(qū)域)的操作.這種裸閃存設(shè)備后來也被稱作開放通道SSD(open-channel SSD)[8]，軟件直管閃存架構(gòu)也被成為軟件定義閃存(software-defined flash)[9]或應(yīng)用管理的閃存(application-managed flash)[10]等.

Fig. 4 Raw flash devices with the SATA and the PCIe interface customized early by Tsinghua University圖4 清華大學(xué)早期定制的SATA接口及PCIe接口裸閃存設(shè)備

主機端FTL閃存架構(gòu)和軟件直管閃存架構(gòu)2種架構(gòu)中的閃存設(shè)備類似，因而廣義的開放通道SSD架構(gòu)包含這2種架構(gòu).基于同樣的硬件，清華大學(xué)既在主機端實現(xiàn)了Jasmine PFTL[11]，也設(shè)計了軟件直管架構(gòu)的文件系統(tǒng)[2,12]、鍵值存儲[13]和分布式對象存儲[14].2017年FAST會議上，丹麥根本哈根IT大學(xué)和CNEX Labs在Linux內(nèi)核4.4版本中提供了開放通道SSD架構(gòu)的LightNVM驅(qū)動[15].LightNVM的pblk也提供了主機端FTL的實現(xiàn).

2.4 開放可編程閃存架構(gòu)

開放可編程閃存架構(gòu)(open programmable SSD)是清華大學(xué)在閃存架構(gòu)上正在開展的研究內(nèi)容，如圖3(d)所示.開放可編程閃存架構(gòu)的目標是尋求功能軟硬件在兩者之間的合理分工與協(xié)作.這既包括將閃存特性導(dǎo)出給軟件，由軟件實現(xiàn)靈活管理，又包括利用SSD內(nèi)部資源實現(xiàn)近數(shù)據(jù)的處理，即由軟件定義與硬件卸載兩者有機組成.

開放可編程閃存架構(gòu)相比于軟件直管閃存架構(gòu)需要更多的具有處理功能的硬件卸載設(shè)計.在功能的抽象與選取以及功能重新排布后的協(xié)調(diào)均需要進一步的研究.現(xiàn)有的閃存存儲系統(tǒng)主要還是在軟件定義和硬件卸載2個方面分別研究，尚未出現(xiàn)兩者的有機結(jié)合.第3，4節(jié)將分別從基于開放通道SSD的存儲系統(tǒng)和基于近數(shù)據(jù)處理的閃存存儲系統(tǒng)2個方面分別介紹.

3 基于開放通道SSD的存儲系統(tǒng)

開放通道SSD向主機導(dǎo)出了物理地址及讀寫擦接口.開放通道SSD為主機端的存儲系統(tǒng)提供了更多的設(shè)計空間.當前開放通道SSD的存儲系統(tǒng)主要包括：文件系統(tǒng)、鍵值存儲系統(tǒng)和分布式存儲系統(tǒng).

3.1 文件系統(tǒng)

文件系統(tǒng)是存儲系統(tǒng)中的基礎(chǔ)軟件，如何適配閃存是當前文件系統(tǒng)研究中的重要的研究問題.當前的閃存文件系統(tǒng)既有基于現(xiàn)有閃存架構(gòu)的數(shù)據(jù)組織優(yōu)化的文件系統(tǒng)F2FS[16]，也有擴展接口對文件系統(tǒng)組織方式與元數(shù)據(jù)管理重新設(shè)計的DFS[17]和ReconFS[18]，還有基于開放通道SSD設(shè)計的新型文件系統(tǒng).

清華大學(xué)于2013年提出了軟件直管閃存的架構(gòu)，設(shè)計并實現(xiàn)了對象式閃存存儲系統(tǒng)(object flash storage system, OFSS)[2].OFSS移除了設(shè)備內(nèi)的FTL的實現(xiàn)，將原有FTL的功能集成于文件系統(tǒng)的存儲管理部分，形成Object-FTL.Object-FTL直接管理閃存介質(zhì)，并根據(jù)對象語義與閃存特性重新設(shè)計了存儲機制，包括利用閃存頁的OOB記錄反向索引等額外信息以延緩索引與日志的刷寫，利用閃存塊/頁狀態(tài)轉(zhuǎn)換的特性設(shè)計了空閑空間管理機制，并對不對齊的寫操作采用了拼接緊湊寫的機制.OFSS的設(shè)計大幅降低了存儲系統(tǒng)自身機制所引入的額外元數(shù)據(jù)的寫入，相比于傳統(tǒng)文件系統(tǒng)，顯著降低了文件系統(tǒng)寫放大，提升了系統(tǒng)性能，延長了閃存壽命.

麻省理工學(xué)院(Massachusetts Institute of Tech-nology, MIT)于2016年在基于開放通道SSD的架構(gòu)AMF[10]上提出了ALFS文件系統(tǒng).ALFS采用日志式文件系統(tǒng)(log-structured file system， LFS)的基本架構(gòu)，所有數(shù)據(jù)采用異地更新.基于此，ALFS能夠直接管理閃存設(shè)備的空間分配和垃圾回收，顯著地減少了閃存設(shè)備的內(nèi)存占用，提高文件系統(tǒng)的性能.

清華大學(xué)的ParaFS[12]是以發(fā)揮SSD內(nèi)部并發(fā)為出發(fā)點而設(shè)計的基于開放通道SSD的文件系統(tǒng).ParaFS采用日志式結(jié)構(gòu)，將文件系統(tǒng)中的數(shù)據(jù)分段與閃存物理塊對應(yīng)，直接管理閃存設(shè)備.ParaFS在空間分配上提出二維分配機制，綜合考慮設(shè)備的并發(fā)特性和數(shù)據(jù)冷熱程度，發(fā)揮閃存設(shè)備并發(fā)特性，同時保證冷熱程度不同的數(shù)據(jù)相互隔離.ParaFS利用文件系統(tǒng)的語義信息直接對閃存塊進行垃圾回收.回收粒度與ALFS的“超級塊”相比更小，提高了垃圾回收的效率.在I/O調(diào)度方面，ParaFS在文件系統(tǒng)層為每個閃存通道的I/O請求進行優(yōu)化調(diào)度.ParaFS在重負載下能顯著提升系統(tǒng)的整體性能，并且較好地控制了系統(tǒng)的性能抖動問題.

3.2 鍵值存儲

鍵值存儲系統(tǒng)在當前互聯(lián)網(wǎng)系統(tǒng)中廣泛使用.基于LSM-Tree的鍵值存儲的數(shù)據(jù)組織方式與SSD內(nèi)FTL的數(shù)據(jù)組織方式有較多相似之處.兩者之間的功能冗余問題，為基于開放通道SSD架構(gòu)直接構(gòu)建鍵值存儲系統(tǒng)提供機會.

北京大學(xué)和百度公司于2014年在開放通道SSD架構(gòu)SDF[9]上設(shè)計并實現(xiàn)了基于LSM-Tree的鍵值存儲系統(tǒng)LOCS[8].在LSM-Tree日志式更新過程中，鍵值存儲以表的大小為粒度寫入SSD.表的大小能夠設(shè)置為與閃存塊大小相同或整數(shù)倍，因而無需SSD內(nèi)部再進行垃圾回收操作.同時，由于開放通道SSD導(dǎo)出了物理地址，鍵值存儲系統(tǒng)可以感知每個通道上請求的狀態(tài)，從而依據(jù)讀寫擦的延遲進行請求的調(diào)度，達到通道間的負載均衡.在重負載下，每個閃存塊上均有大量的鍵值表的寫入，無需頁級別的并發(fā)即可發(fā)揮SSD的性能.但是采用這種方式，對同一個鍵值文件的請求只能發(fā)送到閃存塊所在的通道處理，對于輕負載下的單個請求延遲會有所影響.

香港理工大學(xué)于2017年提出的DIDACache[19]，是基于開放通道SSD架構(gòu)的鍵值緩存系統(tǒng).DIDA-Cache在軟件層直接管理閃存設(shè)備，并根據(jù)當前的緩存狀態(tài)選擇最合適的替換策略與垃圾回收算法，提高鍵值緩存系統(tǒng)的性能.

清華大學(xué)2017年也提出基于開放通道SSD架構(gòu)的鍵值存儲系統(tǒng)FlashKV[13].FlashKV在應(yīng)用層直接管理閃存介質(zhì)，消除LSM-Tree、文件系統(tǒng)和FTL的功能冗余；通過基于“超級塊”的空間管理機制，降低文件索引開銷，提高設(shè)備空間利用率.為了保證系統(tǒng)的災(zāi)后一致性，F(xiàn)lashKV設(shè)計了可重建的靜態(tài)數(shù)據(jù)布局機制.同時，F(xiàn)lashKV根據(jù)負載特征，動態(tài)調(diào)整LSM-Tree的壓緊(compaction)機制發(fā)起的寫請求，以降低對前臺請求的干擾.實驗表明:與基于SSD的LevelDB相比，F(xiàn)lashKV的重負載性能提升了3.5倍，數(shù)據(jù)寫入量減少50%.

3.3 分布式存儲

對象存儲在分布式存儲系統(tǒng)中使用廣泛.清華大學(xué)提出的OFSS系統(tǒng)在接入分布式存儲系統(tǒng)面臨著分布式存儲特有的性質(zhì)，例如存在分布式存儲中以事務(wù)方式提交對象的讀寫、不同進程所提交的事務(wù)之間無依賴關(guān)系等特點.清華大學(xué)提出基于開放通道SSD構(gòu)建分布式存儲系統(tǒng)的對象存儲機制OCStore[14].OCStore繞過文件系統(tǒng)和FTL，直接管理閃存設(shè)備，利用閃存設(shè)備的內(nèi)部并發(fā)特性.同時，采用面向?qū)ο蟮拈W存事務(wù)更新機制，為對象的數(shù)據(jù)與元數(shù)據(jù)都提供了原子性更新，顯著地降低了更新開銷.由于分布式系統(tǒng)中，存在一些相互獨立的事務(wù)流，OCStore針對此設(shè)計了分組事務(wù)提交機制.OCStore根據(jù)分布式系統(tǒng)提交的事務(wù)語義和閃存設(shè)備的通道狀態(tài)，建立事務(wù)感知的請求調(diào)度策略，將屬于同一個事務(wù)的I/O請求在同一時間段進行處理，以降低事務(wù)的平均響應(yīng)延遲.

此外，分布式系統(tǒng)采用多副本或糾刪碼的容錯機制，閃存設(shè)備存在ECC和RAID等提高數(shù)據(jù)的可靠性，這2層存在冗余和隔離.針對此問題，OCStore提出在軟件層綜合管理利用分布式存儲系統(tǒng)和閃存設(shè)備的可靠性機制，例如閃存設(shè)備讀取出錯恢復(fù)的同時，OCStore從其他副本讀數(shù)據(jù)，從更快的一方獲取正確數(shù)據(jù).實驗顯示，OCStore性能提升1.5～3.0倍，延遲更低，重負載數(shù)據(jù)寫入量降低的比例達到70%.

3.4 小 結(jié)

表1比較了上述的基于開放通道SSD的文件系統(tǒng)、鍵值存儲和分布式存儲系統(tǒng).上述系統(tǒng)結(jié)合閃存設(shè)備的物理特性，軟件與硬件協(xié)同設(shè)計，從軟件層直接管理閃存設(shè)備.這種方式消除了基于傳統(tǒng)SSD的存儲系統(tǒng)各層之間的功能冗余，打破語義隔離，從而降低I/O延遲，減小數(shù)據(jù)寫放大.

Table 1 Comparison of Storage Systems Based on Open-Channel SSD表1 基于開放通道SSD的存儲系統(tǒng)比較

4 基于近數(shù)據(jù)處理的閃存存儲系統(tǒng)

存儲設(shè)備的控制器具有計算能力，內(nèi)部的傳輸帶寬通常大于主機與設(shè)備之間的傳輸帶寬.近數(shù)據(jù)處理機制將主機的一部分計算卸載到數(shù)據(jù)所在的設(shè)備上，能夠減少主機與設(shè)備之間的數(shù)據(jù)傳輸量，充分利用設(shè)備內(nèi)的帶寬資源.Active disks[20],Active Storage[21]等將近數(shù)據(jù)處理引入磁盤存儲系統(tǒng)，加速數(shù)據(jù)庫查詢、外排序和圖像卷積等應(yīng)用.與磁盤相比，固態(tài)盤的閃存介質(zhì)具有并發(fā)特性，內(nèi)部傳輸帶寬更高.控制器由于要完成閃存控制、主機交互和FTL，計算能力更強.閃存介質(zhì)的物理特性與磁盤也有差異.近年來，一些研究工作提出利用閃存設(shè)備中的計算資源，構(gòu)建基于近數(shù)據(jù)處理的閃存存儲系統(tǒng)，提供讀寫以外的更豐富的接口.

4.1 事務(wù)閃存

在SSD提供事務(wù)處理功能并向上導(dǎo)出事務(wù)接口，是SSD在近數(shù)據(jù)處理中早期應(yīng)用的例子.閃存的異地更新特性，使得閃存設(shè)備天然地支持數(shù)據(jù)的多版本.利用這一特性提供事務(wù)恢復(fù)機制，可以免除軟件顯式維護數(shù)據(jù)版本的代價，也可以提供一致性支持[22-26].

微軟研究院于2008年提出事務(wù)閃存TxFlash[22]，在SSD控制器中實現(xiàn)事務(wù)機制，數(shù)據(jù)和元數(shù)據(jù)存儲在閃存介質(zhì)上.TxFlash設(shè)計了SCC和BPCC兩個事務(wù)提交協(xié)議，均采用鏈表環(huán)方式，將同一事務(wù)的所有頁面鏈接成環(huán).故障恢復(fù)時，如果能夠完整地讀取該結(jié)構(gòu)，事務(wù)為提交狀態(tài)，否則為未提交狀態(tài).但是，由于閃存的垃圾回收破壞了環(huán)狀結(jié)構(gòu)，TxFlash維持事務(wù)狀態(tài)的開銷極高.

針對事務(wù)狀態(tài)開銷的問題，清華大學(xué)的LightTx[23]引入了“更新窗口”事務(wù)狀態(tài)跟蹤機制，僅跟蹤最近未確定狀態(tài)的事務(wù)，同時采用計數(shù)式提交協(xié)議，避免了環(huán)狀結(jié)構(gòu)的維護開銷.LightTx以較低的開銷在SSD內(nèi)部提供了事務(wù)恢復(fù)機制.

進一步地，清華大學(xué)提出了DiffTx[25]，結(jié)合應(yīng)用的整頁寫與部分頁寫的特征，將閃存異地更新特性與傳統(tǒng)寫前日志的方式相結(jié)合.DiffTx對于整頁寫采用了閃存的異地更新方式，對部分頁寫采用了寫前日志，避免了部分頁寫在異地更新中的其余數(shù)據(jù)的拷貝與寫入開銷.

事務(wù)閃存基于閃存異地更新特性，利用SSD內(nèi)部的計算資源提供事務(wù)接口，是閃存存儲中基于近數(shù)據(jù)處理的一個有效的例子.

4.2 對象閃存

對象閃存是基于閃存介質(zhì)的對象式存儲，無需經(jīng)過閃存轉(zhuǎn)換層、文件系統(tǒng)等層次.清華大學(xué)提出的軟件直管閃存OFSS存儲系統(tǒng)中的對象式閃存轉(zhuǎn)換層OFTL即提供了對象閃存的功能.OFTL當前在主機端以軟件方式實現(xiàn)，但也可以在SSD內(nèi)部通過硬件內(nèi)固件方式實現(xiàn).在SSD內(nèi)部實現(xiàn)的對象閃存也是近數(shù)據(jù)處理的一種方式.

清華大學(xué)2014年提出的p-OFTL[27]是基于OFTL上進行的并行數(shù)據(jù)組織優(yōu)化的對象閃存.p-OFTL以對象的方式在閃存介質(zhì)上進行數(shù)據(jù)的分配與索引，提供了對象的管理.p-OFTL向上層軟件系統(tǒng)提供了對象讀、寫、創(chuàng)建、刪除、獲取屬性、設(shè)置屬性、刷寫等接口.

鍵值SSD與p-OFTL不同，向上層軟件系統(tǒng)僅提供鍵值的GET和PUT操作接口.三星公司提出了鍵值SSD(key-value SSD)[28]，在SSD內(nèi)部進行鍵值存儲.這種方式減輕了主機端鍵值存儲的壓力，利用了SSD內(nèi)部的資源.

不管是通用對象SSD，還是鍵值SSD，都是利用SSD內(nèi)部資源的一種嘗試.SSD內(nèi)部的內(nèi)存大小等限制對于對象或鍵值管理都是一個挑戰(zhàn).如何在資源受限條件下實現(xiàn)高效的對象閃存仍需要進一步研究.

4.3 設(shè)備內(nèi)文件系統(tǒng)

事務(wù)閃存和對象閃存分別向上提供了事務(wù)接口和對象接口，也有研究工作將更復(fù)雜的文件系統(tǒng)在設(shè)備上實現(xiàn).威斯康星大學(xué)麥迪遜分校(University of Wisconsin-Madison)于2018年提出DevFS[29]，在存儲設(shè)備內(nèi)實現(xiàn)完整的文件系統(tǒng)，同時保留完整性、一致性、安全等特性.在主機端，DevFS的用戶態(tài)庫支持應(yīng)用通過POSIX接口操作文件，繞過操作系統(tǒng)內(nèi)核.針對設(shè)備上內(nèi)存的限制，DevFS引入反向緩存(reverse-caching)機制，利用主機內(nèi)存緩存文件系統(tǒng)的部分元數(shù)據(jù).

設(shè)備內(nèi)文件系統(tǒng)利用了設(shè)備內(nèi)的計算和內(nèi)存資源，能夠避免陷入操作系統(tǒng)內(nèi)核，減少系統(tǒng)調(diào)用的開銷.但是，設(shè)備的硬件能力較弱，計算和內(nèi)存資源有限.在多線程、元數(shù)據(jù)操作密集型等應(yīng)用場景下，設(shè)備內(nèi)文件系統(tǒng)對性能有較大的影響，快照、增量備份和去重等功能的實現(xiàn)也有所限制.

4.4 專用加速閃存

在應(yīng)用層面上，閃存設(shè)備內(nèi)部的計算資源為數(shù)據(jù)密集型的應(yīng)用加速提供了機會，例如高性能計算模擬程序的數(shù)據(jù)分析、關(guān)系數(shù)據(jù)庫查詢.

4.4.1 Active Flash

北卡羅來納州立大學(xué)(North Carolina State Uni-versity)的Active Flash[30]，提出在超算中利用SSD就地分析模擬數(shù)據(jù).

高性能計算模擬程序產(chǎn)生大量數(shù)據(jù)，需要對其進行分析.離線分析的方法引入大量冗余數(shù)據(jù)傳輸；節(jié)點分析的方法在數(shù)據(jù)產(chǎn)生后，加入暫存階段，由額外的分析節(jié)點處理數(shù)據(jù)，帶來額外的成本和延遲.針對此問題，Active Flash提出在暫存階段，在部分模擬節(jié)點配備SSD，與模擬程序并行執(zhí)行，利用控制器空閑的計算資源就地分析數(shù)據(jù).

Active Flash基于Jasmine OpenSSD開發(fā)平臺，在FTL固件加入了平均值、最大值、線性回歸等簡單的分析方法，構(gòu)建原型系統(tǒng).主機通過目標為保留LBA的寫命令，向SSD發(fā)送數(shù)據(jù)分析請求.SSD控制器讀取并分析數(shù)據(jù)，將結(jié)果輸出到LBA列表指定的地址.在控制器處理器為單核時，Active Flash采取數(shù)據(jù)分析操作可被I/O操作搶占的調(diào)度策略，以降低對SSD性能的影響.

Active Flash為3種數(shù)據(jù)分析方法，即離線分析、節(jié)點分析和固態(tài)盤就地分析，建立詳細的能耗和性能模型，使用從實際應(yīng)用測量的數(shù)據(jù)評估模型，研究將數(shù)據(jù)分析工作卸載到SSD上的可行性.Active Flash提出的架構(gòu)適用于大多數(shù)數(shù)據(jù)分析算法，而不影響到模擬程序的性能.模擬實驗和計算表明，利用固態(tài)盤就地分析數(shù)據(jù)的方法成本較低，能源利用效率更高.

4.4.2 Smart SSD

關(guān)系型數(shù)據(jù)庫的查詢是一種典型的數(shù)據(jù)密集型應(yīng)用場景.威斯康星大學(xué)麥迪遜分校(University of Wisconsin-Madison)提出的Smart SSD[31]，在三星商用SSD固件內(nèi)搭建NDP環(huán)境，利用SSD的計算資源加速Microsoft SQL Server的查詢操作.

Smart SSD在SATA/SAS接口上定義了基于會話(session)的NDP通信協(xié)議，包括3個命令：OPEN,GET和CLOSE.主機通過OPEN命令，在Smart SSD上建立一個會話，獲得會話id.利用GET命令向SSD輪詢會話狀態(tài)以及程序運行的結(jié)果；最終通過CLOSE命令結(jié)束會話.此外，Smart SSD還提供了基礎(chǔ)的線程、內(nèi)存和數(shù)據(jù)3種類型API，為程序提供CPU和內(nèi)存資源以及閃存數(shù)據(jù)的訪問接口.

Smart SSD利用API在SSD中實現(xiàn)簡單的查詢和聚合操作算子，并根據(jù)定義的通信協(xié)議修改SQL Server的部分組件.與普通SSD搭建的系統(tǒng)相比，Smart SSD將查詢操作執(zhí)行速度提升2.7倍，而能耗減少了3.0倍.

4.5 通用加速閃存

在專用加速以外，一些工作研究利用設(shè)備的計算資源，構(gòu)建通用的應(yīng)用加速閃存系統(tǒng).

4.5.1 iSSD

卡內(nèi)基梅隆大學(xué)(Carnegie Mello University，CMU)于2013年提出iSSD[32]，將Map Reduce模型與SSD內(nèi)部架構(gòu)結(jié)合.

SSD內(nèi)每個通道都有閃存控制器(flash memory controller, FMC)，存儲在閃存中的數(shù)據(jù)傳輸?shù)紽MC.iSSD提出由FMC執(zhí)行Map階段，中間結(jié)果臨時存儲在SSD的DRAM或閃存中.Reduce操作則由嵌入式CPU完成，最后將數(shù)據(jù)寫回閃存或者傳輸?shù)街鳈C.

iSSD在數(shù)據(jù)處理策略上，基于FMC、嵌入式CPU和主機CPU的層次結(jié)構(gòu)，提出了流水線式數(shù)據(jù)處理，以及主機與SSD之間的負載均衡.并建立數(shù)學(xué)模型，分析驗證iSSD架構(gòu)的性能與功耗.分析結(jié)果表明，對于線性回歸、字符串匹配等數(shù)據(jù)密集型應(yīng)用，iSSD能夠提升性能2～4倍，降低功耗5～27倍.

4.5.2 Willow

Willow[33]是加州大學(xué)圣地亞哥分校在2014年提出的考慮安全性、基于RPC的近數(shù)據(jù)處理的閃存存儲系統(tǒng).

Willow SSD內(nèi)部包括多個存儲處理器單元(storage processor unit, SPU)，每個SPU運行小的操作系統(tǒng)SPU-OS.在主機端，Willow內(nèi)核驅(qū)動管理一組主機RPC終端(host RPC endpoints, HRE)，操作系統(tǒng)和應(yīng)用利用HRE與SPU發(fā)送和接收RPC請求，完成主機與SSD的交互.在此基礎(chǔ)上，用戶以SSD App的形式實現(xiàn)近數(shù)據(jù)處理的功能模塊.

Willow在支持NDP功能的同時，特別研究了SSD App的安全問題.為此，Willow追蹤每個RPC所屬的主機端進程，對SSD存儲的數(shù)據(jù)、特殊RPC資源和SPU運行的代碼與數(shù)據(jù)都做了權(quán)限檢查等保護機制.

4.5.3 BlueDBM

麻省理工學(xué)院(MIT)的BlueDBM[34]構(gòu)建了近數(shù)據(jù)處理的分布式閃存存儲系統(tǒng).不同于之前的工作，BlueDBM在存儲卡上加入網(wǎng)絡(luò)接口，通過網(wǎng)絡(luò)將多個存儲卡連接.系統(tǒng)中的存儲設(shè)備使用統(tǒng)一的地址空間，提供遠端與本地基本一致的訪問時延.

BlueDBM存儲卡通過PCIe與主機連接，包括閃存芯片、近數(shù)據(jù)處理引擎、網(wǎng)絡(luò)接口和DRAM.存儲卡僅保留了FTL的錯誤校驗功能，而將地址映射、垃圾回收等移動到主機端完成，支持物理地址訪問閃存介質(zhì).此外，BlueDBM在主機端實現(xiàn)了完整FTL功能的塊設(shè)備驅(qū)動、發(fā)揮裸閃存特性的文件系統(tǒng).

在調(diào)用數(shù)據(jù)處理功能時，應(yīng)用程序從文件系統(tǒng)獲取文件存儲的物理地址，將物理地址和數(shù)據(jù)繞過操作系統(tǒng)內(nèi)核一同發(fā)送給硬件，減少內(nèi)核軟件棧帶來的I/O開銷.

最近鄰搜索算法的實驗表明:與基于普通SSD的系統(tǒng)相比，BlueDBM的執(zhí)行性能提升10倍.與內(nèi)存計算系統(tǒng)相比，BlueDBM與RAMCloud產(chǎn)生10%的內(nèi)存缺失，落到SSD的性能相當，但成本與功耗更低.

一些工作基于BlueDBM平臺，進行應(yīng)用層面的研究.例如BlueCache[35]構(gòu)建可擴展的鍵值緩存系統(tǒng)；GraFBoost[36]提出Sort-Reduce機制，設(shè)計并實現(xiàn)了圖分析系統(tǒng).

4.6 小 結(jié)

上述工作研究基于近數(shù)據(jù)處理的閃存存儲系統(tǒng)，各有側(cè)重，如表2所示.TxFlash,LightTx和DiffTx設(shè)計并實現(xiàn)了閃存事務(wù)接口，p-OFTL和Key-Value SSD構(gòu)建基于閃存的對象式存儲，DevFS在存儲設(shè)備內(nèi)實現(xiàn)了完整的文件系統(tǒng).在專用加速方面，Active Flash建立模型，分析了基于NDP的閃存存儲系統(tǒng)在分析大規(guī)模模擬程序輸出數(shù)據(jù)的可行性； Smart SSD加速了SQL數(shù)據(jù)庫簡單查詢操作的效率，但支持的操作有限，在SSD固件上編程難度較大.在通用加速方面，iSSD將Map-Reduce模型與SSD架構(gòu)結(jié)合，通過模型分析了iSSD在數(shù)據(jù)密集應(yīng)用中的性能與功耗； Willow基于RPC機制支持主機與固態(tài)盤的通信，針對NDP程序的安全性問題建立了保護機制；BlueDBM在存儲卡加入網(wǎng)絡(luò)端口，構(gòu)建基于近數(shù)據(jù)處理的分布式閃存存儲系統(tǒng).

Table 2 Comparison of NDP-Based Flash Storage System表2 基于近數(shù)據(jù)處理的閃存存儲系統(tǒng)比較

5 總結(jié)與展望

開放通道SSD的存儲架構(gòu)與系統(tǒng)避免了軟硬件不同層次間的冗余，彌合層次間的語義鴻溝，為軟硬件協(xié)同設(shè)計提供了較大的空間，在性能、閃存壽命、可靠性等方面均有明顯收益.SSD的近數(shù)據(jù)處理在設(shè)備內(nèi)增加硬件計算邏輯，提供設(shè)備內(nèi)的數(shù)據(jù)預(yù)處理，降低了數(shù)據(jù)在設(shè)備與主機端的數(shù)據(jù)傳輸量，在利用閃存硬件特性、充分使用內(nèi)部帶寬等方面效果明顯.閃存的效率的充分發(fā)揮要求閃存存儲系統(tǒng)在結(jié)構(gòu)上和系統(tǒng)構(gòu)建上進行變革.

除了開放通道和近數(shù)據(jù)處理2個研究方面之外，閃存的研究也在探索其他的軟硬件結(jié)合的方式.其中，包括了較為保守的做法，即擴展現(xiàn)有閃存SSD的接口，由軟件提供優(yōu)化建議(hints)，使得硬件獲得更多信息以進行優(yōu)化，如三星公司提出的多流設(shè)備以及多流文件系統(tǒng)[37].另外，端到端性能與公平性保證也是閃存存儲棧上的研究熱點，例如端到端的順序性保證[38]、延遲保證[39]以及公平性保證[40].

但同時，閃存存儲的重構(gòu)與系統(tǒng)構(gòu)建仍然面臨著新的挑戰(zhàn)：

1) 開放可編程閃存架構(gòu)

開放通道SSD的設(shè)計以軟件方式實現(xiàn)部分硬件功能，而近數(shù)據(jù)處理以硬件方式實現(xiàn)部分軟件功能.盡管當前這兩者是較為獨立的研究方向，然而這兩者本質(zhì)并不沖突.閃存存儲重構(gòu)的新架構(gòu)的設(shè)計初衷是尋求軟硬件功能的合理劃分和協(xié)作，目標是開放可編程閃存架構(gòu)，即包括開放通道SSD與近數(shù)據(jù)處理的結(jié)合.開放可編程閃存架構(gòu)要求軟硬件協(xié)同的設(shè)計，在軟硬件功能劃分中，首先需要抽取合理大小的存儲功能，并對相應(yīng)功能進行抽象，以實現(xiàn)功能在軟硬件實現(xiàn)中的優(yōu)化配置；其次需要探尋合理的主機與SSD設(shè)備的API接口，在讀寫接口之外研究更靈活的數(shù)據(jù)交互機制；最后還需要研究軟件讀寫擦操作與近數(shù)據(jù)操作之間的沖突處理，尤其近數(shù)據(jù)操作對外部讀寫擦操作的延遲影響.

2) 數(shù)據(jù)中心與嵌入式等領(lǐng)域的問題

閃存存儲的新結(jié)構(gòu)在“大規(guī)?！焙汀靶⌒突?個方面面臨新的挑戰(zhàn).在“大規(guī)?！睌?shù)據(jù)中心領(lǐng)域，由于多租戶應(yīng)用的存在，需要研究應(yīng)用之間的隔離及公平，以提供更好的QoS保證[41-43]；如何在混合負載下實現(xiàn)高效的調(diào)度或負載感知的管理算法以提供穩(wěn)定可控的性能，也是提高云數(shù)據(jù)中心中虛擬機密度的研究方向之一.同樣，在“小型化”的嵌入式系統(tǒng)領(lǐng)域，數(shù)據(jù)的實時性要求比較高，因而需要研究如何利用閃存新結(jié)構(gòu)以減少內(nèi)部垃圾回收等操作對前端性能的影響；嵌入式領(lǐng)域?qū)τ谀芎囊髧栏瘢蚨残枰芯寇浖淖x寫擦操作以及并發(fā)操作與能耗之間的關(guān)系.

3) 應(yīng)用軟件的協(xié)同設(shè)計

閃存的新架構(gòu)為軟件系統(tǒng)與SSD設(shè)備的協(xié)同設(shè)計提供了新的機遇.新的應(yīng)用軟件也呈現(xiàn)了新的特點，例如圖計算、機器學(xué)習系統(tǒng)等新型應(yīng)用.如何實現(xiàn)應(yīng)用軟件、系統(tǒng)軟件以及SSD設(shè)備的垂直方向的協(xié)同設(shè)計，如何依據(jù)應(yīng)用特征提取并抽象相應(yīng)的功能以實現(xiàn)軟硬件的優(yōu)化配置，如何依據(jù)應(yīng)用需求設(shè)計閃存的分配與調(diào)度策略以實現(xiàn)端到端的性能需求保證等問題都有待進一步的研究.

從磁盤到閃存固態(tài)盤是存儲硬件領(lǐng)域的一次重大的變革，也是計算機存儲子系統(tǒng)中的里程碑節(jié)點.自磁盤20世紀50年代出現(xiàn)以來，計算機存儲系統(tǒng)多圍繞磁盤而設(shè)計，在不同的層次中設(shè)計不可避免地受到磁盤特性的影響.閃存近年來從嵌入式至數(shù)據(jù)中心等不同領(lǐng)域中均得到了快速而廣泛的應(yīng)用，如何構(gòu)建面向閃存的存儲系統(tǒng)以發(fā)揮閃存效率是亟需研究的.這不僅是對現(xiàn)有系統(tǒng)的優(yōu)化，更是對閃存存儲新結(jié)構(gòu)以及軟件系統(tǒng)新設(shè)計的探索.清華大學(xué)在“重構(gòu)閃存存儲”上開展了深入的研究，取得了明顯的效果.近年來學(xué)術(shù)界和業(yè)界也開始關(guān)注閃存新結(jié)構(gòu)與新系統(tǒng)的研究與應(yīng)用.然而，這個方向仍面臨諸多挑戰(zhàn)，許多問題值得大家進一步探索.

致謝感謝清華大學(xué)計算機科學(xué)與技術(shù)系存儲實驗室曾經(jīng)參與“重構(gòu)閃存存儲”研究工作的郭曉林、王維、秦雄軍等碩士研究生和張佳程、廖曉堅等博士研究生，還有來自哥本哈根信息技術(shù)大學(xué)(IT University of Copenhagen)的訪問博士生Ivan Picoli，以及來自三星公司(Samsung)的訪問學(xué)者Wonchori Zoo和Hongsuk Choi對本項目作出的貢獻!