王曉偉,彭佳煜,余江南

(中國(guó)航空工業(yè)集團(tuán)公司西安航空計(jì)算技術(shù)研究所,陜西 西安 710065)

0 引言

高性能存儲(chǔ)技術(shù)在現(xiàn)代航空航天系統(tǒng)中占有非常重要的地位,存儲(chǔ)系統(tǒng)是航天航空系統(tǒng)中重要的基礎(chǔ)裝備,其可靠性、安全性、維修性對(duì)信息系統(tǒng)具有重要影響。隨著航空航天的蓬勃發(fā)展,大量新技術(shù)的應(yīng)用以及復(fù)雜的用戶(hù)需求,必將要求存儲(chǔ)系統(tǒng)大幅度提高操作靈活性、存儲(chǔ)容量以及存儲(chǔ)速率,并且在保證可靠性的前提下盡量縮減成本。與傳統(tǒng)的航空航天產(chǎn)業(yè)相比,對(duì)存儲(chǔ)系統(tǒng)的需求變更主要體現(xiàn)在以下幾個(gè)方面:(1)成本優(yōu)先,使用低等級(jí)、工業(yè)級(jí)元器件。(2)冗余容錯(cuò)設(shè)計(jì),提高系統(tǒng)可靠性。(3)標(biāo)準(zhǔn)化、模塊化設(shè)計(jì),提高系統(tǒng)擴(kuò)展能力以適應(yīng)不同客戶(hù)需求,減少研制周期。

基于上述的發(fā)展趨勢(shì)和需求分析,本文提出了一種以創(chuàng)新性的可重構(gòu)系統(tǒng)架構(gòu)、先進(jìn)的存儲(chǔ)管理體系、關(guān)鍵級(jí)的冗余容錯(cuò)設(shè)計(jì)為核心的低成本、高性能大容量閃存系統(tǒng)。

1 系統(tǒng)設(shè)計(jì)

整個(gè)存儲(chǔ)系統(tǒng)由1塊數(shù)據(jù)輸入接口板、1塊主控板、3塊存儲(chǔ)板、1塊壓縮板共6塊功能板組成,所有功能模塊共同插在設(shè)備頂部的母板上。

其中,數(shù)據(jù)輸入接口板負(fù)責(zé)接收前端相機(jī)系統(tǒng)傳輸過(guò)來(lái)的圖像數(shù)據(jù),對(duì)輸入數(shù)據(jù)進(jìn)行緩存、識(shí)別、分揀,轉(zhuǎn)化成存儲(chǔ)需要的數(shù)據(jù)包格式,通過(guò)16路GTH接口將數(shù)據(jù)包傳送給主控板。主控板為整機(jī)核心控制單元,對(duì)外接收上位機(jī)遙控指令,并按要求返回存儲(chǔ)系統(tǒng)的狀態(tài)參數(shù),對(duì)內(nèi)運(yùn)行文件管理系統(tǒng),向存儲(chǔ)板的存儲(chǔ)單元傳輸控制命令,同時(shí)管理數(shù)據(jù)的復(fù)接及分發(fā),通過(guò)20路GTH將數(shù)據(jù)包傳輸給10個(gè)存儲(chǔ)單元,每個(gè)存儲(chǔ)單元對(duì)應(yīng)2路GTH。存儲(chǔ)板為存儲(chǔ)基本單元,以NAND FLASH作為存儲(chǔ)介質(zhì),管理NAND FLASH地址映射關(guān)系及壞塊替換,管理NAND FLASH的接口控制器,將數(shù)據(jù)存儲(chǔ)到NAND FLASH中。壓縮板為存儲(chǔ)后級(jí)處理單元,管理對(duì)圖像數(shù)據(jù)的壓縮功能。

存儲(chǔ)系統(tǒng)工作在記錄模式時(shí),數(shù)據(jù)輸入接口板接收高速串行圖像數(shù)據(jù),將數(shù)據(jù)幀送至相應(yīng)的數(shù)據(jù)緩存區(qū)。緩存區(qū)的數(shù)據(jù)達(dá)到傳輸閾值后將數(shù)據(jù)送往主控板。主控板作為前端處理模塊,一方面通過(guò)16路GTH接收寫(xiě)入數(shù)據(jù),另一方面通過(guò)主控板后端的20路GTH鏈路管理存儲(chǔ)板上的10個(gè)存儲(chǔ)單元。當(dāng)存儲(chǔ)板收到開(kāi)始記錄指令和所需的數(shù)據(jù)量后,將數(shù)據(jù)發(fā)送給NAND FLASH閃存陣列。存儲(chǔ)系統(tǒng)工作在回放模式時(shí),主控板找到回放文件對(duì)應(yīng)的邏輯地址,然后將其發(fā)送給存儲(chǔ)板。存儲(chǔ)板根據(jù)接收到的邏輯地址,查找映射表得到對(duì)應(yīng)的物理地址,將數(shù)據(jù)從NAND FLASH中讀出來(lái),通過(guò)GTH發(fā)送給主控板。主控板將收到的10個(gè)存儲(chǔ)單元的數(shù)據(jù)進(jìn)行組包,在收到壓縮板的數(shù)據(jù)請(qǐng)求信號(hào)后,通過(guò)與壓縮板相連的8路GTH接口將數(shù)據(jù)傳輸?shù)綁嚎s板,完成數(shù)據(jù)的回放[1]。

1.1 數(shù)據(jù)輸入接口板電路設(shè)計(jì)

數(shù)據(jù)輸入接口板作為存儲(chǔ)系統(tǒng)與用戶(hù)之間的數(shù)據(jù)接口,采用Xilinx Virtex-5高性能FPGA并掛載大容量DDR緩存,數(shù)據(jù)輸入接口板與主控板之間為16路GTH互連,根據(jù)不同客戶(hù)需求,對(duì)外可靈活配備不同的接口,如光纖接口、Cameralink接口等,通過(guò)數(shù)據(jù)接口接收來(lái)自相機(jī)的圖像數(shù)據(jù)流,并根據(jù)高速串行總線(xiàn)數(shù)據(jù)傳輸協(xié)議將輸入數(shù)據(jù)組成系統(tǒng)內(nèi)部幀格式,將圖像數(shù)據(jù)幀通過(guò)FIFO和DDR緩存處理后送給主控板。

1.2 主控板電路設(shè)計(jì)

主控板作為閃存系統(tǒng)的核心控制單元,采用Xilinx Virtex-7高性能FPGA及大容量DDR緩存,與各個(gè)存儲(chǔ)板的存儲(chǔ)單元之間通過(guò)2路GTH全雙工互聯(lián)。限于FPGA芯片GTH通道數(shù)量,每個(gè)Master板可管理 10個(gè)存儲(chǔ)單元,通過(guò)對(duì)存儲(chǔ)單元的靈活配置,既可以根據(jù)用戶(hù)存儲(chǔ)速率及容量要求減少存儲(chǔ)板卡裝機(jī)數(shù)量,降低系統(tǒng)功耗及重量尺寸,又可以根據(jù)可靠性要求提供冗余設(shè)計(jì),提高產(chǎn)品使用壽命。

主控板的數(shù)據(jù)搬運(yùn)的主要工作模式有2種,一種是從數(shù)據(jù)輸入接口板取數(shù)送給存儲(chǔ)板的存儲(chǔ)單元,將數(shù)據(jù)記錄到NAND FLASH中;另一種是從存儲(chǔ)板的存儲(chǔ)單元中取數(shù),將NAND FLASH中的數(shù)據(jù)回放出來(lái)通過(guò)GTH接口送給壓縮板。硬件設(shè)計(jì)的架構(gòu)上也相應(yīng)地分了前后兩部分。每部分都由輸入輸出模塊、DDR控制器、VFIFO和總線(xiàn)構(gòu)成。除此之外,2部分都被以MicroBlaze為核心的控制模塊所管控。各個(gè)模塊中大部分采用了AXI總線(xiàn)的方式相互連接。

1.3 存儲(chǔ)板電路設(shè)計(jì)

存儲(chǔ)板設(shè)計(jì)為標(biāo)準(zhǔn)板卡,每個(gè)板卡容納 3個(gè)完全獨(dú)立的存儲(chǔ)單元。存儲(chǔ)單元為存儲(chǔ)板的基本單元,采用Xilinx Virtex-7高性能FPGA和MLC型NAND FLASH存儲(chǔ)芯片,輔以大容量DDR緩存,每個(gè)存儲(chǔ)單元設(shè)計(jì)存儲(chǔ)容量4 Tbit并且存儲(chǔ)單元具有獨(dú)立的FLASH地址管理、壞塊管理及接口管理系統(tǒng),面向主控板的是一個(gè)只有邏輯地址的存儲(chǔ)區(qū),為主控板靈活組合、配置多個(gè)存儲(chǔ)單元提供支持。

存儲(chǔ)板裝配了10個(gè)存儲(chǔ)單元,其中在正常工作時(shí)使用了8個(gè)存儲(chǔ)單元,總?cè)萘繛?2 Tbit,為了延長(zhǎng)產(chǎn)品的壽命,在其內(nèi)部采用了磨損均衡算法,32 Tbit容量交替使用,為了進(jìn)一步確保產(chǎn)品的壽命,額外添加了2個(gè)存儲(chǔ)單元作為冗余備份,當(dāng)在使用過(guò)程中發(fā)現(xiàn)某一個(gè)存儲(chǔ)單元的壞塊數(shù)明顯增多,無(wú)法滿(mǎn)足設(shè)計(jì)要求時(shí),使用冗余備份的兩個(gè)存儲(chǔ)單元將其替換掉,然后執(zhí)行全部擦除指令即可,不影響產(chǎn)品的正常使用。在數(shù)據(jù)傳送過(guò)程中,用于數(shù)據(jù)保護(hù)的 ECC 模塊包含在存儲(chǔ)模塊內(nèi)部,用于對(duì)寫(xiě)入數(shù)據(jù)時(shí)產(chǎn)生錯(cuò)誤校驗(yàn)碼及讀取數(shù)據(jù)時(shí)對(duì)產(chǎn)生的錯(cuò)誤進(jìn)行糾錯(cuò)的功能。

1.4 壓縮板電路設(shè)計(jì)

壓縮板為后級(jí)處理單元,負(fù)責(zé)圖像數(shù)據(jù)的壓縮、加密以及單機(jī)數(shù)傳部位的接口管理。在單機(jī)工作模式中,支持圖像數(shù)據(jù)的直接數(shù)傳、圖像數(shù)據(jù)壓縮后數(shù)傳或進(jìn)行離線(xiàn)壓縮,將壓縮數(shù)據(jù)回寫(xiě)至存儲(chǔ)單元,并在過(guò)境時(shí)數(shù)傳壓縮數(shù)據(jù)。壓縮板與主控板之間為8路雙工 GTH互聯(lián),對(duì)外輸出的4路差分?jǐn)?shù)據(jù)信號(hào)及相關(guān)握手信號(hào)。

壓縮板主要由3片Xilinx Virtex-5高性能FPGA、大容量DDR緩存及壓縮芯片組成。其中一片主控FPGA主要完成CAN總線(xiàn)、RS422總體通信、數(shù)據(jù)收發(fā)、與另外兩片F(xiàn)PGA之間各4路GTX數(shù)據(jù)傳輸?shù)裙δ?另外兩片F(xiàn)PGA主要和壓縮芯片完成壓縮功能,兩片為對(duì)稱(chēng)性設(shè)計(jì),其中,除每1片均與主控FPGA通過(guò)4路GTX收發(fā)器通信外,各有4片DDR芯片進(jìn)行數(shù)據(jù)緩存,12片壓縮芯片進(jìn)行數(shù)據(jù)壓縮。

2 關(guān)鍵技術(shù)

2.1 NAND FLASH芯片磨損均衡技術(shù)

本設(shè)計(jì)采用低成本大容量的MLC型NAND FLASH芯片作為存儲(chǔ)介質(zhì),相對(duì)于傳統(tǒng)存儲(chǔ)系統(tǒng)常用的SLC型NAND FLASH芯片,MLC型FLASH擦除次數(shù)大大縮減,SLC 可重復(fù)擦寫(xiě)次數(shù)都在6萬(wàn)次左右,而 MLC型FLASH只能達(dá)到3 000 次,成為產(chǎn)品使用壽命的最大難題。NAND FLASH芯片的磨損均衡技術(shù)就是為了解決 MLC型FLASH 壽命問(wèn)題,設(shè)計(jì)存儲(chǔ)單元獨(dú)立管理FLASH壞塊及映射關(guān)系,對(duì)所有FLASH塊的擦除次數(shù)進(jìn)行統(tǒng)計(jì)、監(jiān)測(cè),動(dòng)態(tài)調(diào)整邏輯地址與物理地址的映射關(guān)系,有效利用每一個(gè)FLASH塊以降低擦除次數(shù),并使所有FLASH塊擦除次數(shù)“均衡”增長(zhǎng),超過(guò)設(shè)定的擦除次數(shù)波動(dòng)范圍,則優(yōu)先使用擦除次數(shù)最少的塊,以達(dá)到磨損均衡的目的。.

2.2 標(biāo)準(zhǔn)化、模塊化、開(kāi)放性設(shè)計(jì)

相對(duì)于傳統(tǒng)存儲(chǔ)系統(tǒng)構(gòu)架,本設(shè)計(jì)將每一個(gè)存儲(chǔ)單元設(shè)計(jì)成一個(gè)標(biāo)準(zhǔn)化的“小型存儲(chǔ)系統(tǒng)”,一個(gè)主控板上的主控單元與多個(gè)存儲(chǔ)板上的存儲(chǔ)單元構(gòu)成一個(gè)星形存儲(chǔ)結(jié)構(gòu),存儲(chǔ)單元負(fù)責(zé)NAND FLASH 存儲(chǔ)介質(zhì)的具體管理操作,對(duì)外僅是一個(gè)透明的存儲(chǔ)空間,而主控板的主控單元負(fù)責(zé)對(duì)存儲(chǔ)單元的上層調(diào)度及對(duì)外接口,保證了系統(tǒng)的可擴(kuò)展性和開(kāi)放性。根據(jù)不同的可靠性需求,可以選擇裝機(jī)備用存儲(chǔ)單元進(jìn)行冗余設(shè)計(jì)。在應(yīng)用中,主控板可按地面指令隨時(shí)調(diào)整存儲(chǔ)單元的組合數(shù)量及組合方式,即使在壽命末期也可以通過(guò)減少存儲(chǔ)單元的組合達(dá)到容量、速度降級(jí)使用的目的,提高系統(tǒng)運(yùn)行可靠性。

2.3 多級(jí)容錯(cuò)設(shè)計(jì)

為了降低成本,本系統(tǒng)大量使用工業(yè)級(jí)器件,對(duì)空間環(huán)境的適應(yīng)性降低,因此必須在系統(tǒng)中加入多級(jí)容錯(cuò)設(shè)計(jì)。首先內(nèi)部數(shù)據(jù)鏈路全部采用 AURORA協(xié)議,減少信道誤碼率;主控板和存儲(chǔ)板上的DDR緩存全部采用40比特ECC糾錯(cuò)設(shè)計(jì),降低空間單粒子對(duì)DDR芯片的影響;在接收數(shù)據(jù)流中嵌入RS糾錯(cuò)碼,并在系統(tǒng)出口進(jìn)行 RS糾錯(cuò),減少系統(tǒng)級(jí)誤碼概率;在NAND FLASH芯片存儲(chǔ)最底層,加入 RS存儲(chǔ)編碼機(jī)制,使得存儲(chǔ)數(shù)據(jù) 0、1負(fù)載均衡,降低NAND FLASH芯片讀寫(xiě)誤碼率,通過(guò)多級(jí)容錯(cuò)全面提高存儲(chǔ)系統(tǒng)的可靠性安全性級(jí)別。

2.4 掉電保護(hù)設(shè)計(jì)

掉電保護(hù)設(shè)計(jì)的目的是發(fā)生異常掉電時(shí),有效地保護(hù)DDR緩存中沒(méi)來(lái)得及存儲(chǔ)到NAND FLASH中的數(shù)據(jù)以及各種表項(xiàng)。增加掉電保護(hù)功能電路,系統(tǒng)5 V電壓異常掉電時(shí),電路監(jiān)測(cè)到外部輸入電壓低于閾值電壓,啟動(dòng)掉電保護(hù)機(jī)制,啟用儲(chǔ)能電容進(jìn)行供電,通知主控端做數(shù)據(jù)備份流程,將緩存中的數(shù)據(jù)寫(xiě)入NAND FLASH,通過(guò)計(jì)算最大需要60 ms的時(shí)間可以完成寫(xiě)入,在設(shè)計(jì)中儲(chǔ)能電容可持續(xù)保持120 ms為存儲(chǔ)單元供電,留有一定的裕量,在此時(shí)間內(nèi)將緩存中的數(shù)據(jù)寫(xiě)入NAND FLASH[2]。

2.5 多通道并行存儲(chǔ)技術(shù)

閃存系統(tǒng)的存儲(chǔ)容量為40 Tbits,共10個(gè)存儲(chǔ)單元,8個(gè)存儲(chǔ)單元用于存儲(chǔ)有效數(shù)據(jù),2個(gè)存儲(chǔ)單元用于備份,其中每個(gè)存儲(chǔ)單元存儲(chǔ)容量為4 Tbits,固件中頻率越高,通道數(shù)越多,讀寫(xiě)性能越強(qiáng),該芯片可以設(shè)置8個(gè)通道,每個(gè)通道都獨(dú)立于其他通道執(zhí)行操作,互不干擾,如命令執(zhí)行、數(shù)據(jù)傳輸?shù)?因此可以并行地執(zhí)行多個(gè)存儲(chǔ)任務(wù),性能相比于單通道,最高可以達(dá)到單通道性能的8倍[3]。

3 結(jié)語(yǔ)

本文瞄準(zhǔn)航空航天迅猛發(fā)展的市場(chǎng)前景,介紹了一種以高性能低成本的工業(yè)級(jí)器件為核心的閃存系統(tǒng),經(jīng)過(guò)了在軌飛行驗(yàn)證,運(yùn)行狀態(tài)正常?；谠摷夹g(shù)研制的閃存系統(tǒng)具有高傳輸帶寬、大容量、低成本的優(yōu)點(diǎn),使用磨損均衡、多級(jí)容錯(cuò)、掉電保護(hù)等先進(jìn)技術(shù)提高了系統(tǒng)在軌可靠性,通過(guò)核心模塊的標(biāo)準(zhǔn)化、模塊化設(shè)計(jì)支撐靈活的系統(tǒng)冗余能力,同時(shí)帶來(lái)強(qiáng)大的擴(kuò)展能力以面向不同用戶(hù)需求。