陳 臻

(中國電子科技集團(tuán)公司第五十一研究所，上海 201802)

基于RAID-5的機(jī)載陣列存儲技術(shù)

陳 臻

(中國電子科技集團(tuán)公司第五十一研究所，上海 201802)

在現(xiàn)有的機(jī)載環(huán)境下，對空中復(fù)雜環(huán)境的電磁信號的采集記錄信息量巨大，往往無法在一次的飛行試驗中實時分析所獲取的信息。大容量實時信息采集存儲的必要性越來越得到重視，在復(fù)雜環(huán)境中，各個波段的信號混疊預(yù)處理之后的數(shù)據(jù)需要在地面恢復(fù)重演。介紹了一種基于COM-E模塊+Xilinx K7系列FPGA+RAID控制器+XMC存儲模塊架構(gòu)的存儲系統(tǒng)，模塊化的設(shè)計更容易維護(hù)和日后升級使用。通過RAID-5的陣列管理方式靈活控制工作模式，提高存儲速率。系統(tǒng)的實時寫入帶寬大于3 GB/s，可以作為機(jī)載環(huán)境下采集設(shè)備后端的高速存儲設(shè)備廣泛應(yīng)用。

RAID-5；NAND-Flash；機(jī)載；高速；陣列存儲

0 引 言

當(dāng)前航空航天技術(shù)迅速發(fā)展，各種新興的電子設(shè)備被安裝于各類機(jī)載設(shè)備上。這些電子設(shè)備用于測量機(jī)載設(shè)備的參數(shù)，會產(chǎn)生大量的需要記錄的數(shù)據(jù)用于記錄飛行過程中飛行的工作狀態(tài)。這些數(shù)據(jù)的來源多樣，產(chǎn)生速率快，數(shù)據(jù)量大。受制于機(jī)載設(shè)備本身實時處理能力的局限性，這些數(shù)據(jù)需要被實時高效地記錄下來，返回地面后需要被回收和分析研究。

同時，隨著半導(dǎo)體工藝的迅速發(fā)展，大規(guī)模集成電路的密度越來越高，前端數(shù)據(jù)采集系統(tǒng)的采集速率、精度、測量范圍等性能也大幅提升，高帶寬、高速率、多通道已經(jīng)成為當(dāng)前機(jī)載設(shè)備采集系統(tǒng)的主流發(fā)展趨勢。一款采樣速率為1 GHz、采樣位數(shù)為12 bit的模數(shù)轉(zhuǎn)換(AD)芯片，1 s便會產(chǎn)生12 Gbit的數(shù)據(jù)，要完整記錄這1 s內(nèi)的信號脈內(nèi)信息，存儲速率必須要大于1.5 GB/s。同時機(jī)載設(shè)備單次飛行的時間長，所記錄的空中復(fù)雜環(huán)境中的信號具有多樣性，多頻段混疊，能在短時間內(nèi)產(chǎn)生大量的數(shù)據(jù)信息。這些特征對機(jī)載存儲設(shè)備的速率和容量都提出了非常嚴(yán)苛的要求。同時，機(jī)載設(shè)備的飛行成本高，需要在有限的飛行次數(shù)中獲取盡可能多的數(shù)據(jù)信息，高性能的存儲系統(tǒng)在未來的機(jī)載設(shè)備中將有著必然的需求。

本文設(shè)計了一款基于COM-E模塊+Xilinx K7系列現(xiàn)場可編程門陣列(FPGA)+獨立磁盤冗余陣列(RAID)控制器+XMC存儲模塊架構(gòu)的標(biāo)準(zhǔn)陣列存儲系統(tǒng)，采用了RAID-5方式對磁盤陣列進(jìn)行統(tǒng)籌管理，用于記錄機(jī)載設(shè)備飛行過程中的海量數(shù)據(jù)。由于采用了CPU架構(gòu)，通過RAID-5實現(xiàn)文件系統(tǒng)的重構(gòu)，數(shù)據(jù)重演過程可以免于導(dǎo)出，可直接通過操作系統(tǒng)對數(shù)據(jù)進(jìn)行分析和過濾。

1 設(shè)計方案

1.1 數(shù)據(jù)來源

系統(tǒng)通過標(biāo)準(zhǔn)RapidIO協(xié)議作為數(shù)據(jù)來源總線接口。RapidIO是一種高效的、低引腳數(shù)量的高速互連體系架構(gòu)，傳輸可靠，硬件成本低，無需專門配置外圍電路對其進(jìn)行支持。

2007年發(fā)布的RapidIO2.0協(xié)議，速率支持范圍從原有的3.125 Gbps基礎(chǔ)上，增加了5 Gbps 和 6.25 Gbps 2種速率，最大的信號傳輸帶寬提高到100 Gbps，在4×模式下足以滿足機(jī)載設(shè)備多種來源的數(shù)據(jù)速率要求。

RapidIO同時對各類微程序控制器(MCU)均有較好的兼容性，F(xiàn)PGA、數(shù)字信號處理器(DSP)、 PowerPC均對RapidIO有開放式的IP核或庫函數(shù)，便于在后期維護(hù)和升級。

本設(shè)計通過Xilinx(賽靈思)公司Kintex-7 系列FPGA作為RapidIO協(xié)議接收和預(yù)處理的芯片，將RapidIO轉(zhuǎn)換為PCIe2.0協(xié)議并將數(shù)據(jù)轉(zhuǎn)發(fā)至RAID芯片進(jìn)行進(jìn)一步處理。

1.2 RAID技術(shù)

RAID用于將多個磁盤存儲陣列統(tǒng)一管理，可分為RAID0～RAID6等多個等級。選取適當(dāng)?shù)腞AID等級,可以滿足用戶對存儲系統(tǒng)擴(kuò)展性、讀寫性能和存儲容量的要求。在均衡管理和冗余糾錯方面，RAID-5是目前最主流的RAID方式。RAID-5使用其中一個陣列保存校驗數(shù)據(jù)，當(dāng)整個陣列存儲系統(tǒng)某個陣列的數(shù)據(jù)發(fā)生損壞時，可利用余下的陣列和保存校驗數(shù)據(jù)的陣列重新恢復(fù)損壞陣列的數(shù)據(jù)而保證整個存儲數(shù)據(jù)的完整性。機(jī)載設(shè)備的數(shù)據(jù)完整性尤為重要，需要完整重演整個飛行過程，RAID-5可很好地保證存儲陣列和數(shù)據(jù)的意外損壞不會發(fā)生[1]。

RAID芯片采用了Marvell公司的88RC9580，該芯片將6U VPX載板上自帶的4路SATA協(xié)議的數(shù)據(jù)流以及來自XMC存儲模塊的4路SATA協(xié)議的數(shù)據(jù)流，共8路SATA數(shù)據(jù)流，組成磁盤列陣，并以PCIe 2.0 ×8的形式和PCIe橋接芯片互相通訊。Marvell 88RC9580原理框圖如圖1所示。

88RC9580內(nèi)嵌900 MHz ARM CPU，同時支持最多8 GB DDR2/DDR3內(nèi)存，全面兼容PCIe 2.0 ×1,×4,×8，支持8個 6 Gbps SATA/SAS接口，支持SSP/SMP/STP/Wide port形式的SAS接口，能夠很好地支持RAID-5方式的管理模式。

利用CPU通過PCIe接口直接對88RC9580進(jìn)行RAID方式的配置和陣列管理，可以方便地在操作系統(tǒng)上對文件進(jìn)行數(shù)據(jù)維護(hù)和管理。

1.3 NAND Flash閃存控制

以往的閃存控制多采用MCU直接控制的方式，通過直接對NAND Flash進(jìn)行讀寫操作的方式進(jìn)行管理，這種方法的管理算法復(fù)雜，效率低下。且由于每片NAND Flash芯片的自編程操作時，內(nèi)部CACHE在緩沖數(shù)據(jù)時，無法對其進(jìn)行任何操作。如要提高工作效率，需對整個磁盤陣列進(jìn)行流水線的讀寫操作，即在第1組陣列的緩沖過程中，在第2組陣列進(jìn)行數(shù)據(jù)操作，進(jìn)行多陣列的聯(lián)協(xié)操作。在需要進(jìn)行容量擴(kuò)展或速率的升級時需要顛覆原先的流水線陣列的結(jié)構(gòu)，不便于維護(hù)[2]。

本設(shè)計選用了Silicon Motion閃存主控芯片SM2246EN。該芯片專用于對NAND Flash的直接操作控制。SM2246EN原理框圖如圖2所示。

SM2246EN超高連續(xù)讀取速率可達(dá)540 MB/s，持續(xù)寫入速率可達(dá)490 MB/s,同時先進(jìn)的錯誤矯正(ECC)管理可以有效地增加數(shù)據(jù)的可靠性，支持先進(jìn)的Toggle、ONFI及Asynchronous NAND算法。每片SM2246EN建立一個NAND Flash陣列，通過SATA接口與RAID芯片進(jìn)行通訊，多個SM2246EN建立的多陣列維護(hù)的工作交給RAID芯片來完成，可以最大程度地減輕CPU的工作負(fù)荷。本設(shè)計使用了8片SM2246EN、每組外掛12片NAND Flash的方式，采用多組陣列的方式既保證了數(shù)據(jù)位寬，又為NAND Flash的流水操作保證了空間上的陣列數(shù)量。

圖1 Marvell 88RC9580原理框圖

圖2 SM2246EN原理框圖

1.4 系統(tǒng)架構(gòu)

目前主流的存儲系統(tǒng)的架構(gòu)主要分為FPGA+NAND Flash陣列、FPGA+DSP+NAND Flash陣列、FPGA+CPU+NAND Flash陣列，其中第1種FPGA直接控制陣列的方式，管理算法復(fù)雜，且沒有文件系統(tǒng)，無法直接對存儲系統(tǒng)進(jìn)行有效的管理，需要配置地面大容量的記錄儀等卸載設(shè)備；第2種架構(gòu)加上DSP后對信號處理的能力增強(qiáng)，但對陣列的管理依然要通過FPGA進(jìn)行；第3種通過CPU模塊加上操作系統(tǒng)可以增強(qiáng)對文件系統(tǒng)的管理，且FPGA豐富的對外接口可以分擔(dān)CPU在數(shù)據(jù)傳輸方面的負(fù)荷，也可以進(jìn)行一部分的預(yù)處理[3]。

陣列存儲的設(shè)計原理框圖如圖3所示，該設(shè)計選用第3種架構(gòu)，利用Xilinx(賽靈思)公司Kintex-7 FPGA作為協(xié)議轉(zhuǎn)換通道，將RapidIO協(xié)議轉(zhuǎn)換為PCIe協(xié)議。PLX公司的PEX8748芯片作為PCIe橋芯片，可以在PCIe2.0/3.0協(xié)議中切換，對整個系統(tǒng)內(nèi)部的數(shù)據(jù)流進(jìn)行有效綜合，使CPU、存儲陣列和采集數(shù)據(jù)源之間的數(shù)據(jù)得以互相訪問。選用的COM-E模塊自帶INTEL I7 CPU及其外圍電路，自帶操作系統(tǒng)可進(jìn)行后期平臺開發(fā)，應(yīng)用軟件用于分析數(shù)據(jù)。

圖3 6 U 陣列存儲系統(tǒng)設(shè)計原理框圖

2 軟件實現(xiàn)

2.1 FPGA軟件

利用Xilinx RapidIO解決方案實現(xiàn)RapidIO網(wǎng)絡(luò)中FPGA上的RapidIO節(jié)點。FPGA原理功能框圖如圖4所示，利用Xilinx RapidIO的GTX接口進(jìn)行數(shù)據(jù)的交互，對外具有4個4×RapidIO的5 Gbps的通道。通過RapidIO IP將高速串行信號轉(zhuǎn)換為并行數(shù)字信號，將數(shù)據(jù)轉(zhuǎn)發(fā)入RapidIO LOGIC模塊進(jìn)行預(yù)處理。

圖4 FPGA 原理功能框圖

RapidIO 邏輯分為2個子模塊，分別為CLK MODULE 和RapidIO TOP。CLK MODULE為時鐘模塊，將外部時鐘的輸入轉(zhuǎn)換為合適的時鐘；RapidIO TOP模塊完成RapidIO 協(xié)議的實現(xiàn)，分為3個子模塊：RAPIDIO CORE、REQUEST MODULE 和RESPONSE MODULE。各模塊對應(yīng)功能如下：RAPIDIO CORE，實現(xiàn)對RapidIO 的IP 例化；REQUEST MODULE，實現(xiàn)RapidIO 的命令請求發(fā)送；RESPONSE MODULE，完成RapidIO 的命令接收解析。RapidIO邏輯架構(gòu)如圖5所示。

圖5 RapidIO LOGIC邏輯架構(gòu)圖

PCIe 邏輯設(shè)計主要分為5 個子模塊[4]，分別為PCIe Endpoint、PCIe DMA、USER CMD、SEND FIFO和RCV FIFO，各模塊對應(yīng)功能如下：PCIe Endpoint，為封裝的PCIe 協(xié)議內(nèi)核，完成PCIe 協(xié)議的鏈路層和傳輸層；PCIe DMA，完成PCIe 協(xié)議的事務(wù)層，并可以直接進(jìn)行向上位機(jī)內(nèi)存空間進(jìn)行數(shù)據(jù)讀寫；USER CMD，用于產(chǎn)生控制指令；SEND FIFO，接收來自DDR 的數(shù)據(jù)暫時緩存，并準(zhǔn)備送入PCIeEndPoint；RCV FIFO，接收來自PCIeEndPoint 的數(shù)據(jù)暫時緩存，并準(zhǔn)備送至DDR。PCIe邏輯架構(gòu)框圖如圖6所示。

圖6 PCIe邏輯框圖

2.2 RAID-5控制

COM-E板載CPU通過PCIe接口對88RC9580進(jìn)行控制，可以采用RAID-5方式對磁盤陣列進(jìn)行管理。Marvell官網(wǎng)提供的動態(tài)鏈接庫(DLL)可對88RC9580進(jìn)行RAID方式的配置和錯誤檢查及糾正(ECC)校驗算法的設(shè)置，通過ONFI機(jī)制高效控制管理NAND Flash陣列。

COM-E模塊基于X86架構(gòu)，在Windows操作系統(tǒng)可以更直觀地對磁盤陣列進(jìn)行可視化的管理。圖7顯示了RAID-5方式對Flash陣列進(jìn)行控制的軟件框架結(jié)構(gòu)，其中CPU實現(xiàn)了上層應(yīng)用層的控制，也就實現(xiàn)了對整個Flash陣列的控制[5]。

圖7 RAID-5控制框架

對RAID-5控制器的訪問操作一共可分為5個步驟：

(1) 打開PCIe總線端口，建立起所有端口的拓?fù)浣Y(jié)構(gòu)。由于本設(shè)計中的RAID-5控制器和FPGA端口均有PCIe端口，選擇0號端口對RAID-5控制器進(jìn)行配置。

(2) 通過Marvell官方提供的API函數(shù)raid_request_channel申請RAID通道。

(3) 通道開啟后，需要對CPU的內(nèi)存數(shù)據(jù)及傳輸數(shù)據(jù)的CACHE進(jìn)行申請。當(dāng)存儲模塊高速工作后，對CPU和內(nèi)存的占用會達(dá)到一個較高比率，通過raid_alloc_coherent函數(shù)對資源進(jìn)行預(yù)先申請，可使CPU處于待接收數(shù)據(jù)的狀態(tài)。

(4) 對傳輸數(shù)據(jù)的分包大小進(jìn)行設(shè)置，每存滿一個4 GB的文件建立一個新的文件。選擇4 GB大小可方便對數(shù)據(jù)進(jìn)行導(dǎo)出操作時，滿足接收方FAT32文件系統(tǒng)最大接收的單個文件大小。

(5) 完成分包的設(shè)置后，將文件分包的描述符掛載至RAID控制器的PCIe端口，利用raid_async_send函數(shù)完成數(shù)據(jù)的傳輸。當(dāng)一幀數(shù)據(jù)完成傳輸后會產(chǎn)生一個中斷，進(jìn)入中斷處理。在中斷處理的過程中，內(nèi)存會開啟一個緩存來接收下一幀數(shù)據(jù)，步驟(2)中的CACHE開啟的大小決定著內(nèi)存對于突發(fā)數(shù)據(jù)流的緩沖幀數(shù)的大小。完成一幀數(shù)據(jù)的傳輸后會自動從內(nèi)存中取得下一幀數(shù)據(jù)，繼續(xù)傳輸直至清空內(nèi)存中用于RAID通道開啟的CACHE。單幀操作的流程圖如圖8所示。

圖8 RAID-5操作流程圖

3 速率分析

數(shù)據(jù)傳輸?shù)乃俾蕿闄C(jī)載存儲設(shè)備最重要的指標(biāo)，直接影響到數(shù)據(jù)采集的帶寬和完整性。故在設(shè)計初期對存儲速率的分析顯得尤為重要。

流水線技術(shù)是提升存儲速率的關(guān)鍵技術(shù)，可以避免存儲芯片內(nèi)部CACHE進(jìn)行緩存工作時浪費大量時間。具體而言，流水線技術(shù)是一種在空間上并行執(zhí)行、時間上重疊執(zhí)行的操作，其基本理論為將一個任務(wù)t拆分成為若干個子任務(wù)t1，t2,…,tm,一旦t1完成，后繼的子任務(wù)就可以立即開始，并以同樣的速率進(jìn)行運算。

記錄一條存儲信息定義為一個任務(wù)，第k個任務(wù)用Tk表示，每個任務(wù)需要M個過程，則:

(1)

圖8為NAND Flash的操作流程，tCBSY為芯片內(nèi)部的頁編程操作，充分利用該時間對編程時間進(jìn)行流水操作，可以大幅度地提高寫入的速率。即對一組陣列進(jìn)行操作時，在tCBSY這段時間內(nèi)不能對其進(jìn)行其他任何操作，但可對另一組陣列進(jìn)行操作。每個Flash本身包含4個target，自流水級別即可達(dá)8級。加上硬件設(shè)計時采用的多陣列設(shè)計，本設(shè)計的流水操作最大可達(dá)32級。N級流水操作原理如圖9所示。

圖9 N級流水操作原理

每條指令執(zhí)行時間均為τ=max{ti}，即一級流水操作中最慢的時間，對Flash芯片而言即為芯片自編程時間。如果在這個時間間隔內(nèi)，對需要處理的其他Flash陣列進(jìn)行流水操作，則：

(2)

式中：n為流水級數(shù)；L為第1組任務(wù)工作忙的時間間隔內(nèi)通過流水的任務(wù)數(shù)。

假設(shè)進(jìn)行4級流水操作，L取值不同的條件下：n=4,L=10時，η=0.77；n=4,L=20時，η=0.87；n=4,L=30時，η=0.91。

可以看出，流水段數(shù)一定的情況下，增加任務(wù)數(shù)L可以提升流水線的效率，使效率η→1。

衡量存儲速率的另一個重要指標(biāo)是吞吐率，它表示單位時間內(nèi)處理的任務(wù)數(shù)量，通過提高吞吐率，可提高流水線任務(wù)的處理能力。定義為：

實施一個任務(wù)所需要的時間=1/吞吐率

流水線任務(wù)的吞吐率P為：

(3)

隨著流水線的效率提高，其吞吐率也會隨之提高。

本設(shè)計中一個存儲陣列由4片F(xiàn)lash組成，根據(jù)圖8，進(jìn)行四plane(疊層)操作時，若進(jìn)行4級流水，本系統(tǒng)寫入速度為(并聯(lián)芯片數(shù)×流水線級數(shù)×頁大小×頁個數(shù)) /(加載時間+寫入編程時間)=(4×4×8 640×4) Byte /(90+1 300) μs=396 MB/s，若進(jìn)行極限32級流水，則讀取速率可達(dá)3 168 MB/s，即存儲速率可超過3 GB/s。

根據(jù)前端信號來源的分類特征，本設(shè)計需要對前端1 GHz采樣率的12位AD芯片采樣的原始數(shù)據(jù)進(jìn)行錄取，單路AD的存儲速率為1.5 GB/s，加上飛行過程中產(chǎn)生的狀態(tài)信息，在RapidIO通道上產(chǎn)生的有效數(shù)據(jù)的速率約為1.8 GB/s。RapidIO2.0的數(shù)據(jù)開銷后的打包效率約為92%，即對該設(shè)計的最低的存儲速率要求為2 GB/s。通過32級流水操作足以滿足系統(tǒng)對存儲功能的要求。

4 系統(tǒng)驗證及性能測試

在COM-E模塊的WIN7系統(tǒng)上安裝存儲速率測試軟件AS SSD Benchmark對整個6 TB的存儲陣列進(jìn)行速率測試，得到的性能測試結(jié)果如圖10所示。

圖10 AS SSDBenchmark

可以看到，持續(xù)的讀寫速率均超過了3 GB/s，通過對固定數(shù)據(jù)的讀寫對比測試，對1 TB的文件進(jìn)行的24 h持續(xù)操作對比試驗，數(shù)據(jù)誤碼率低于10-13。

5 結(jié)束語

本文介紹了一種針對航空機(jī)載設(shè)備的陣列存儲技術(shù)，改變了以往機(jī)載存儲設(shè)備對文件管理系統(tǒng)方面的缺失性。通過FPGA的對外接口資源進(jìn)行協(xié)議轉(zhuǎn)換，利用高性能的CPU通過RAID-5方式對陣列進(jìn)行統(tǒng)籌管理。該技術(shù)具有以下特點：

(1) 對邏輯資源的分配進(jìn)行優(yōu)化，將有限的CPU的邏輯資源充分用于文件系統(tǒng)的建立和海量數(shù)據(jù)的維護(hù)。

(2) 合理分配存儲陣列構(gòu)成的空間結(jié)構(gòu)，對流水操作的數(shù)量和數(shù)據(jù)位寬進(jìn)行綜合考慮，充分提高流水線效率。

(3) 通過硬RAID的方式，利用RAID-5方式減少資源開銷，保證數(shù)據(jù)的糾錯機(jī)制，實現(xiàn)對陣列數(shù)據(jù)完整性保障及數(shù)據(jù)損耗的恢復(fù)功能。

(4) 存儲陣列的32級流水模式大幅增加了單個存儲陣列的吞吐率，有效提升了存儲速率，也節(jié)省了芯片使用的數(shù)量。

單塊存儲陣列的存儲容量達(dá)到了6 TB,存儲和回訪的速率均超過3 GB/s，在更大帶寬和速率的需求下可以方便擴(kuò)容并聯(lián)使用，能夠充分保證機(jī)載環(huán)境下數(shù)據(jù)的高吞吐率和數(shù)據(jù)重演的要求，也可以作為一種通用的存儲系統(tǒng)應(yīng)用于各種航空航天設(shè)備。

[1] 董永帥.Flash文件系統(tǒng)及存儲管理技術(shù)研究與實現(xiàn)[D].武漢:華中科技大學(xué)，2008.

[2] 潘旭明.基于NAND Flash的存儲設(shè)備設(shè)計與實現(xiàn)[J].無線電通信技術(shù),2017，43(4):91-95.

[3] 彭振翼.固態(tài)存儲系統(tǒng)PCIe接口的設(shè)計方法與實現(xiàn)[D].武漢:華中科技大學(xué)，2013．

[4] 步凱.基于RAID技術(shù)的固態(tài)存儲陣列系統(tǒng)的研究與設(shè)計[D].長沙：國防科技大學(xué),2008.

[5] 張元凱.基于PCIe和RAID5的高速存儲系統(tǒng)設(shè)計[D].北京：中國科學(xué)院，2010.

AirborneArrayMemoryTechnologyBasedonRAID-5

CHEN Zhen

(51st Research Institute of CETC,Shnaghai 201802，China)

In the existing airborne environment,the information collection and record quantity of electromagnetic signals in complex air environment is huge,and it is often impossible to analyze the acquired information in real time in one flight test.The necessary for large-capacity real-time information acquisition and storage is getting more and more attention.In complex environment,the data after preprocessing of each band's signal are needed to be resumed on the ground.This article describes a storage system based on COM-E module + Xilinx K7 series FPGA+RAID controller+XMC storage module architecture,and modular design is easier to be maintained and upgraded for the future.The array management of RAID-5 is used to flexibly control the working mode and improve the storage rate.The real-time write bandwidth of the system is greater than 3 GB/s,and it can be widely used as a high-speed storage device at the back of acquisition equipment in airborne environment.

RAID-5;NAND-Flash;airborne;high speed;array memory

TP333

A

CN32-1413(2017)05-0074-07

10.16426/j.cnki.jcdzdk.2017.05.016

2017-08-23