盛 丁，邢錢艦，馬振國，趙 備，2

（1.浙江大學生物醫(yī)學工程與儀器科學學院，杭州310027；2.杭州電子科技大學計算機學院，杭州310027）

基于FC-SCSI的多通道高速信號采集與實時存儲系統(tǒng)

盛 丁1，邢錢艦1，馬振國1，趙 備1，2

（1.浙江大學生物醫(yī)學工程與儀器科學學院，杭州310027；2.杭州電子科技大學計算機學院，杭州310027）

傳統(tǒng)的多通道信號采集與存儲系統(tǒng)面對龐大的數(shù)據(jù)采集任務，缺乏足夠的傳輸帶寬以及實時存儲能力。為此，提出一種以光纖通道-小型計算機系統(tǒng)接口（FC-SCSI）為核心的實時采集存儲方案。運用鏈式查找表結(jié)構(gòu)以及動態(tài)流控技術(shù)，提高FC-SCSI軟件協(xié)議存儲速率，解決多通道同步采集的大容量流數(shù)據(jù)實時落盤問題，實現(xiàn)具備大數(shù)據(jù)量采集、實時可靠存儲、便攜性能好的綜合數(shù)據(jù)處理存儲系統(tǒng)。實驗結(jié)果表明，在2.125 Gb光纖通道條件下，該系統(tǒng)可靠穩(wěn)定存儲速率為186.6 MB/s，達到2.125 Gb光纖通道理論速率的94.7%，與傳統(tǒng)FC-SCSI存儲方案的167.1 MB/s速率相比提升了11.7%。

光纖通道；現(xiàn)場可編程門陣列；多通道信號采集；高速信號；實時存儲；動態(tài)流控

1 概述

隨著現(xiàn)代測量技術(shù)的迅猛發(fā)展，系統(tǒng)測量精度不斷提高，傳統(tǒng)單一傳感器模塊很難滿足高精度、大范圍的測量需求。各類傳感器陣列、傳感器網(wǎng)絡應運而生，導致大容量多通道測量數(shù)據(jù)實時采集與存儲技術(shù)面臨挑戰(zhàn)，各種新機理、高性能信號處理存儲平臺的研制受到廣泛的重視［1］。單一的PCIExpress總線接口已經(jīng)難以滿足高速數(shù)據(jù)傳輸、運算及存儲的綜合需求。例如，文獻［2］提出一種基于PCI Express總線和Aurora協(xié)議的高速數(shù)據(jù)傳輸系統(tǒng)設計方案，支持雙單工同時收發(fā)以及PCIExpress通信模塊8管道工作模式，采用光纖通道傳輸存儲，數(shù)據(jù)傳輸速率達1.25 Gb/s。但是，隨著對系統(tǒng)帶寬與實時性的要求不斷提高，PCI Express總線技術(shù)帶寬較低，在存儲領(lǐng)域的應用存在瓶頸。文獻［3］設計一種基于閃存的高速海量存儲模塊，符合嵌入式實時存儲領(lǐng)域?qū)Υ鎯捙c容量的要求，運用高密度的NADN FLASH存儲陣列以及大規(guī)模的現(xiàn)場可編程門陣列（Field Programmable Gate A rray，F(xiàn)PGA）與數(shù)字信號處理器（Digital Signal Processor，DSP），實現(xiàn)了海量數(shù)據(jù)的超高速存儲。盡管閃存在存儲帶寬方面表現(xiàn)優(yōu)異，但是其外部接口的單一性，降低了系統(tǒng)的通用性與可擴展性，另外，較高的成本也成為了限制閃存大規(guī)模運用的制約因素。而光纖通道-小型計算機系統(tǒng)接口（Fibre Channel-small Computer System Interface，F(xiàn)C-SCSI）技術(shù)最初誕生于高速存儲需求，隨著硬盤矩陣和光纖通道（Fibre Channel，F(xiàn)C）技術(shù)的逐步成熟，F(xiàn)C-SCSI以其高可靠性、高帶寬、低延遲等優(yōu)點，更適合成為高性能存儲領(lǐng)域主流協(xié)議。同時FC-SCSI存儲方案能與PC機上高性價比的SCSI總線硬盤很好兼容，具有良好的通用性與易擴展性，應用前景廣闊。文獻［4］提出一種光纖通道高性能協(xié)議引擎設計方案，在FPGA平臺上實現(xiàn)了2.125 Gb/s的光纖通道硬件核心模塊，為其在高性能信號處理系統(tǒng)中的應用提供硬件基礎，系統(tǒng)光纖通道存儲速率達160 MB/s。但FC-SCSI協(xié)議效率同樣是系統(tǒng)性能的重要影響因素，系統(tǒng)在軟硬件交互與FC-SCSI協(xié)議效率方面仍然存在優(yōu)化空間。

以上述研究為基礎，本文提出一種基于FPGA和FC的多通道高速信號采集與實時存儲系統(tǒng)，包括多通道采集技術(shù)與光纖通道高速存儲技術(shù)，并針對系統(tǒng)的存儲速率開展系統(tǒng)測試。

2 系統(tǒng)框架設計

本節(jié)提出一種高速大容量數(shù)據(jù)采集與實時存儲的解決方案，總體框架結(jié)構(gòu)如圖1所示，主要由數(shù)據(jù)采集模塊、信號處理模塊以及上位機PC組成。數(shù)據(jù)采集模塊負責數(shù)據(jù)的采集與發(fā)送，總共有16路同步高速采集通道與兩路信號發(fā)送通道。其中，16路高速ADC同步采集產(chǎn)生的實時數(shù)據(jù)流量高達每秒幾百兆字節(jié)甚至幾千兆字節(jié)，對于鏈路帶寬和可靠性要求較高。VPX總線引入了目前最新串行總線技術(shù)，在背板互聯(lián)性能上具備更高帶寬以及更為強大的交換能力，滿足信號處理模塊與數(shù)據(jù)采集模塊之間通過機箱背板相連的需求，實現(xiàn)了大容量數(shù)據(jù)的高速傳輸、處理及控制［5］。

圖1 系統(tǒng)總體框架結(jié)構(gòu)

信號處理模塊選取FPGA作為系統(tǒng)處理模塊的核心組成部分。FPGA具備其他硬件資源無法比擬的靈活性，擁有時鐘頻率高、內(nèi)部延時小、運行速度快等優(yōu)點［6］，為系統(tǒng)功能自定義、現(xiàn)場快速反應提供了平臺基礎。此外，由于過大數(shù)據(jù)帶寬，F(xiàn)PGA內(nèi)部的Block RAM資源雖然具備較好的靈活性，但是兆級別的緩存空間難以滿足系統(tǒng)幾百兆字節(jié)帶寬的緩存需求，因此系統(tǒng)配備了大容量DDR2作為流數(shù)據(jù)的高速緩存，合理運用乒乓緩存技術(shù)，努力克服系統(tǒng)性能波動帶來存儲速率的影響，進一步保證了系統(tǒng)的實時性與可靠性。

為了提高系統(tǒng)數(shù)據(jù)存儲速率與可靠性，充分發(fā)揮信號處理平臺的高效性，克服系統(tǒng)在存儲性能上的瓶頸，設計采用光纖通道作為系統(tǒng)存儲的傳輸媒介，以實現(xiàn)信號處理模塊與上位機PC的互連。相比于傳統(tǒng)的iSCSI存儲互聯(lián)技術(shù)，光纖通道具有可靠性高、傳輸速率快、延遲低等優(yōu)點，可以更好地應對大容量帶寬、高實時性的任務需求，滿足大部分高速傳輸存儲系統(tǒng)設計。另外，TCP/IP在結(jié)構(gòu)上存在缺陷導致其存在潛在的安全攻擊，而FC則不存在這樣的問題，利用FC網(wǎng)絡進行數(shù)據(jù)傳輸，可靠性更好。尤其是FC-SCSI協(xié)議的成熟，使得FC成為了存儲領(lǐng)域的主要互聯(lián)技術(shù)之一，為系統(tǒng)大容量數(shù)據(jù)實時存儲提供鏈路保障。

3 多通道采集技術(shù)

數(shù)據(jù)采集模塊主要實現(xiàn)對16通道中頻模擬信號的高精度數(shù)字化處理以及2通道數(shù)據(jù)的模擬化回放，板卡由4片模擬數(shù)字轉(zhuǎn)換器（Analog-to-Digital Converter，ADC）、1片數(shù)字模擬轉(zhuǎn)換器（Digital to Analog Converter，DAC）及其外圍電路構(gòu)成。其中，ADC是一款4通道、14位高速串行輸出的模數(shù)轉(zhuǎn)換器，最高轉(zhuǎn)換速率可達125 M s/s。DAC則是一款16位高動態(tài)范圍的數(shù)模轉(zhuǎn)換器DAC。

復雜的電磁環(huán)境對信號采集系統(tǒng)的可靠性要求很高［7］，16個通道采集的數(shù)據(jù)必須保證嚴格同步，否則后期的數(shù)據(jù)協(xié)同處理將失去意義。盡管采用了高度同步的時鐘以及高精度的ADC，而制作工藝、走線長度、外界干擾、高時鐘頻率等因素的影響，都對通道間的同步提出了更高的要求。以板上走線為例，研究發(fā)現(xiàn)，對于典型的FR4材料PCB板，其信號傳播速度存在以下公式［8］：

其中，Vp代表信號在FR4材料板子上的傳輸速率；C代表光在真空中的傳播速率；在非磁性介質(zhì)中μ= 1；εr代表介電常數(shù)，F(xiàn)R4材料的典型值約為4.2。

根據(jù)公式估算得到，信號的傳播速度約為0.5倍光速，即1.5×108m/s。由于通道數(shù)量多，通道之間信號線長差異不可避免，假定2個通道之間走線長度相差15 cm，根據(jù)公式，計算得出線路延遲為1 ns。若FPGA的處理時鐘頻率為200 MHz，則周期為5 ns，延遲占比高達20%，增加FPGA時鐘對信號的正常采集的難度。

為了在數(shù)據(jù)分析之前，統(tǒng)一消除各因素帶來的通道間延遲，采取延遲補償?shù)姆绞叫拚?。FPGA提供的輸入輸出延遲補償模塊是FPGA上自帶的可編程絕對延遲單元，允許各輸入信號有獨立延遲，具備3種可選工作模式，使用靈活方便。若是FPGA工作時鐘頻率較低，對多路信號間相位差異的容忍度較好，可以通過調(diào)整FPGA內(nèi)部時鐘資源的相位來盡可能達到所有通道采樣要求。但是在高頻率工作時鐘下（超過200 MHz），難以通過統(tǒng)一調(diào)整FPGA內(nèi)部時鐘來滿足所有信號的正常采集。這時就需要借助FPGA提供的輸入輸出延遲補償模塊進行鏈路訓練。FPGA輸入輸出延遲補償模塊提供信號進入處理模塊前的最后修正，為到達時間較早的信號通道提供相應的延時補償，可以統(tǒng)一消除之前包括制作工藝、走線長度、外界干擾等所有因素帶來的共同影響，最終保證FPGA內(nèi)部時鐘采集到各通道數(shù)據(jù)基本同步，確保FPGA內(nèi)部數(shù)據(jù)處理的準確性。經(jīng)分析得出，輸入輸出延遲補償模塊接收200 MHz信號時鐘，內(nèi)部分為64拍，調(diào)節(jié)步長為78.125 ps。修正后的通道延時小于80 ps，占時鐘周期的比例僅為1.6%，對于數(shù)字信號處理而言，其影響基本可以忽略［9］。

4 光纖通道高速存儲技術(shù)

4.1 FC-SCSI軟件協(xié)議研究

系統(tǒng)中的高速信號采集部分運用相對高性能的器件以及合理的組織架構(gòu)，足以滿足帶寬性能需求。存儲速率的限制成為了系統(tǒng)的瓶頸，存儲方案的選擇至關(guān)重要。FC協(xié)議具有可靠性高、傳輸速率快、延遲低等優(yōu)點，最早用于提高磁盤存儲的傳輸帶寬，隨著FC SAN的大規(guī)模應用，F(xiàn)C在成為了存儲領(lǐng)域主要互聯(lián)協(xié)議之一。SCSI是一種計算機與智能設備之間的通用接口，如今已經(jīng)發(fā)展成為一種獨立的接口標準。其中，最為典型的就是SCSI硬盤，具有接口速度快、緩存容量大、CPU占有率低等優(yōu)點，同時硬盤本身還支持熱插拔，大大提高了系統(tǒng)的靈活性與可擴展性。方案選擇FC與SCSI的結(jié)合FC-SCSI作為系統(tǒng)存儲的核心解決方案，一方面利用FC的高帶寬提高系統(tǒng)存儲速率，另外充分發(fā)揮SCSI接口的靈活性，合理裁剪系統(tǒng)資源、分配磁盤大小，系統(tǒng)落盤的數(shù)據(jù)直接存儲于PC機硬盤當中，提高系統(tǒng)的便攜性，同時，通過硬盤數(shù)量的熱插拔擴展，也可以進一步提升存儲系統(tǒng)的容量與續(xù)航能力。本節(jié)首先對傳統(tǒng)的FC-SCSI協(xié)議進行探索與分析，隨后分別從協(xié)議開銷和動態(tài)流控的角度提出了相應的優(yōu)化方案。

FC-SCSI負責SCSI界面協(xié)議與FC-4層協(xié)議相互映射，其交互方式如圖2所示。發(fā)送方發(fā)起FCCmd命令，告知接收方將要發(fā)送的數(shù)據(jù)大小，并等待接收方的回應FC-XRdy。雙方握手完成之后，正式開始發(fā)送數(shù)據(jù)。每次發(fā)送數(shù)據(jù)包最大為2 MB，之后等待接收方的FC-XRdy，確認數(shù)據(jù)已經(jīng)正確接收。當最后一個數(shù)據(jù)包發(fā)送完畢之后，接收方根據(jù)接收到的所有數(shù)據(jù)進行簡單校驗，確認無誤之后發(fā)送FCStatus幀，表明整個數(shù)據(jù)分組發(fā)送結(jié)束。

圖2 FC-SCSI協(xié)議交互流程及開銷

在實時操作系統(tǒng)VxW orks中實現(xiàn)FC-SCSI協(xié)議，測試結(jié)果表明，光纖通道接收并處理一個2 MB數(shù)據(jù)包的時間大約為10 368μs，而一次握手（即一次FC-Cm d操作）的時間長達5 126μs，若整個數(shù)據(jù)分組僅發(fā)送一個2 MB數(shù)據(jù)包，協(xié)議開銷占比高達33%。

FC-SCSI協(xié)議規(guī)定了較為復雜的交互流程，雖然在一定程度上提升了傳輸數(shù)據(jù)的可靠性，但是在數(shù)據(jù)流量比較松散的隨機存儲環(huán)境中，存儲效率低下，直接移植FC-SCSI協(xié)議，并不能發(fā)揮系統(tǒng)的最佳性能，需要在協(xié)議實現(xiàn)上做一定的優(yōu)化。禁用FCCmd是業(yè)界常用的一種直接有效提升FC-SCSI協(xié)議效率的方法［10］，但是FC-Cm d作為FC-SCSI協(xié)議的核心組成部分，對數(shù)據(jù)的可靠性、穩(wěn)定性起到了至關(guān)重要的作用。放棄FC-Cmd，在鏈路狀況不佳情況下，F(xiàn)C-SCSI協(xié)議的端到端數(shù)據(jù)無差錯傳輸很難得到保證。

4.2 鏈式查找映射結(jié)構(gòu)

協(xié)議開銷的大小依賴于有效數(shù)據(jù)與協(xié)議內(nèi)容的比例，一次分組操作中，有效數(shù)據(jù)的傳輸量越大，其傳輸效率越高。然而，由于系統(tǒng)緩存區(qū)大小的限制，一次傳輸?shù)挠行?shù)據(jù)量也將受限，一次性申請一塊較大內(nèi)存失敗的可能性也會更高，另外過大的緩存空間還會提高系統(tǒng)的延遲。為了盡可能獲得靈活合適的緩存區(qū)大小，提高寫存操作的隔離性與并行性，本文采取了鏈式緩存結(jié)構(gòu)。緩存結(jié)構(gòu)設計方案如圖3所示。由多個分散的小緩存區(qū)，映射到一張鏈表組成一塊較大的緩沖區(qū)。一方面，鏈式結(jié)構(gòu)相對連續(xù)存儲結(jié)構(gòu)更加靈活，可擴展性更好；另一方面，分塊緩存，提供了更好的并行操作，提高系統(tǒng)資源利用效率。

圖3 鏈式查找映射結(jié)構(gòu)設計方案

查找映射結(jié)構(gòu)軟硬件交互流程如下：

Step1 構(gòu)建一張鏈表用于查找分散映射的內(nèi)存地址，并初始化硬件處理隊列（Hardware Queue，HWQ）與軟件處理隊列（Software Queue，SWQ）。

Step2 底層HW任務接收到存儲請求FCCm d，并呈遞給上層，SW隊列回復FC-XRdy，告之發(fā)送方數(shù)據(jù)接收準備完成。

Step3 HW隊列通過PCIe以DMA的方式將光纖通道接收到的數(shù)據(jù)迅速調(diào)入內(nèi)存，并填充可用鏈表節(jié)點，隨后發(fā)起中斷。

Step4 SW隊列捕獲到相應中斷以后，查找填充的鏈表信息，并定位到內(nèi)存。最后發(fā)起SCSI存儲命令，將內(nèi)存中的數(shù)據(jù)有序搬到硬盤。與此同時，系統(tǒng)繼續(xù)并行執(zhí)行Step3。

采用查找映射結(jié)構(gòu)，不僅解決了緩存空間限制，硬件操作的分離，也提供了更好的并行性。根據(jù)協(xié)議開銷占比公式：

已知處理2 MB數(shù)據(jù)包的時間Tdata約為10 368μs，F(xiàn)C-Cmd操作的時間Tprotocol約為5 126μs。綜合考慮系統(tǒng)緩存空間大小及延時相關(guān)因素，盡可能減少FCSCSI軟件協(xié)議帶來的上層開銷，如果選取查找隊列映射空間為32 MB，即Lqueue=16，則計算得到理論效率η約為97.0%。理論有效傳輸速率與理論效率存在以下關(guān)系：

其中，v′代表FC無損速率，計算結(jié)果為192.9 MB/s。在32 MB查找空間下，最終理論有效傳輸速率為187.1 MB/s。

4.3 用戶層動態(tài)流控技術(shù)

鏈式查找映射結(jié)構(gòu)在一定程度上緩解了FCCmd握手帶來的協(xié)議開銷，提高了FC-SCSI協(xié)議的實現(xiàn)效率。但是，仍然無法解決每一個2 MB數(shù)據(jù)包帶來的FC-XRdy開銷。尤其當數(shù)據(jù)包出錯時，引起長時間的數(shù)據(jù)校驗，延遲了FC-XRdy的回復時間。采取的解決辦法是模仿FC流量控制機制，采用基于信用度（Credit）的緩存區(qū)策略［11］，如圖4所示，即雙方收發(fā)數(shù)據(jù)前，協(xié)定允許的最大信用度（類似TCP/ IP協(xié)議中的窗口大?。Ｔ谛庞枚葍?nèi)持續(xù)不斷發(fā)包而不用等待接收方的確認，來避免因為某個數(shù)據(jù)包的出錯帶來的整條鏈路延遲。此外，實驗測試發(fā)現(xiàn)，SCSI總線的磁盤陣列，存儲性能上存在巨大的波動。最高存儲速率可以超過200 MB/s，而最差情況下只有140 MB/s～150 MB/s。過大的Credit在磁盤陣列效率低下的情況下，會給緩存區(qū)帶來巨大的壓力，甚至溢出導致丟包現(xiàn)象。而采取較為保守的Credit策略，則無法發(fā)揮磁盤陣列的最大效益。所以，本節(jié)提出一種動態(tài)流控技術(shù)，合理平衡緩存區(qū)的壓力，同時兼顧磁盤陣列的性能。

圖4 基于信用度的流控機制

有關(guān)研究表明，瞬時的信用度與FC數(shù)據(jù)發(fā)送以及處理速度存在以下關(guān)系［12］：其中，Creditn代表該時刻的信用度大??；Creditn-1代表前一時刻的信用度大小；u代表Host端FC數(shù)據(jù)發(fā)送速率；v代表Slave端FC數(shù)據(jù)接收處理速率；Δt取值為發(fā)送端與接收端之間鏈路的單程傳播時延；LFC為FC數(shù)據(jù)的長度；M為一個開關(guān)量，用于判斷鏈路信用度是否為0，取值如下［12］：

對式（5）稍作化簡得到：

假定鏈路單程傳輸時延Δt相對固定，每次發(fā)送的FC數(shù)據(jù)長度LFC也一致。信用度的變化量取決于，上一時刻Slave數(shù)據(jù)處理速率與本時刻Host數(shù)據(jù)發(fā)送速率的速率差。磁盤矩陣存儲性能不穩(wěn)定，即v存在巨大波動，若是v迅速減小，信用度有可能迅速變?yōu)?，導致發(fā)送方停止發(fā)數(shù)，而接收方緩存仍然留有余量。

為了最大化避免此類現(xiàn)象的發(fā)生，根據(jù)4.2節(jié)中的查找隊列長度對式（5）進行修正，即在協(xié)議上層對流控策略進行動態(tài)修正，使其盡可能發(fā)揮最大性能。修正后的結(jié)果如式（8）所示。其中，Lmax代表查找隊列最大長度；Lqueue為隊列當前長度。與式（5）相比，采用分段動態(tài)流控技術(shù)，即設定流控閾值為一半查找隊列長度。當查找隊列滿負荷，立即將信用度置0，停止發(fā)數(shù)。在查找隊列空間相對較為充足但超過閾值時，根據(jù)雙方速度對比確定信用度。處理速率慢于發(fā)送速率，保持信用度不變，使查找隊列緩存穩(wěn)步增長，以保證其充分利用；否則，強制擴大信用度至閾值大小，爭取在磁盤陣列性能爆發(fā)點獲得高效率，提高系統(tǒng)整體性能。

5 系統(tǒng)測試

5.1 測試環(huán)境

高性能信號采集處理存儲系統(tǒng)測試平臺如圖5所示。圖中2臺模擬信號發(fā)生器（字母A），為射頻發(fā)射器提供基頻信號源，字母B是一塊射頻傳感器陣列，板上總共包含16個射頻傳感器，產(chǎn)生16個通道數(shù)據(jù)，字母C代表數(shù)據(jù)采集模塊，通過VPX背板與前面的信號處理板（字母D）相連，D板完成數(shù)據(jù)處理之后，通過光纖通道，將數(shù)據(jù)實時傳輸至光纖通道適配卡（字母E），E卡置于機箱的PCIe槽位中，作為主機的PCIe設備，發(fā)起SCSI操作將數(shù)據(jù)存人磁盤陣列（字母F）。

圖5 系統(tǒng)測試平臺

5.2 緩存區(qū)實驗

根據(jù)FC-SCSI協(xié)議效率分析得知，對于協(xié)議開銷而言，緩存區(qū)空間越大，一次完整的數(shù)據(jù)分組操作所傳輸?shù)挠行?shù)據(jù)量就可能越大，相應的協(xié)議開銷就能更小。然而，對于實時數(shù)據(jù)處理系統(tǒng)而言，系統(tǒng)延遲大小也是系統(tǒng)的重要性能指標，隨著緩沖區(qū)空間的不斷增大，必然帶來系統(tǒng)延遲的提高與不確定性。

為了充分了解緩存區(qū)與協(xié)議效率以及系統(tǒng)延遲這三者之間的關(guān)系，尋找合理的緩存空間大小，本文進行了緩存區(qū)大小實驗，結(jié)果如圖6所示。

圖6 緩存區(qū)實驗結(jié)果

實驗結(jié)果中緩存區(qū)大小以2的冪次方增長，為了方便觀察，已經(jīng)將緩存區(qū)大小坐標軸做了對數(shù)處理。在緩存區(qū)空間較小區(qū)域，隨著緩存區(qū)不斷增大，系統(tǒng)存儲延時提升并不明顯，F(xiàn)C-SCSI協(xié)議開銷相當大，即有效數(shù)據(jù)存儲效率很低。緩存區(qū)空間2 MB～32 MB范圍內(nèi)，F(xiàn)C-SCSI協(xié)議開銷從80%左右迅速下降到10%以下，與此同時，系統(tǒng)存儲延時提升依舊不明顯，系統(tǒng)整體性能逐步變好。

但是，在緩存區(qū)空間大于32 MB數(shù)據(jù)段，情況則剛好相反，系統(tǒng)存儲延時迅速攀升，而FC-SCSI協(xié)議開銷降低十分有限，系統(tǒng)整體性能不升反降。

綜上所述，系統(tǒng)緩存區(qū)在32 MB大小左右能夠獲得系統(tǒng)的最佳性能。

5.3 光纖通道存儲速率測試

光纖通道存儲速率測試平臺在圖5的基礎上，加入光纖通道分析儀實時監(jiān)控速率，并記錄流數(shù)據(jù)的最低平均速率作為參考指標。分別對8 KB～2 MB大小的數(shù)據(jù)包做了存儲性能測試，結(jié)果如圖7所示。圖7記錄了3種不同情況下的存儲速率，分別對應未做優(yōu)化的FC-SCSI協(xié)議存儲實現(xiàn)，采用32 MB查找結(jié)構(gòu)實現(xiàn)的FC-SCSI存儲，以及在此基礎上加入動態(tài)流控技術(shù)的實現(xiàn)。

圖7 光纖通道存儲速率對比

觀察結(jié)果發(fā)現(xiàn)，純FC-SCSI實現(xiàn)方案整體速率偏低，直接使用難以滿足項目需求。在采用查找結(jié)構(gòu)優(yōu)化之后，整體性能較純FC-SCSI有了較大提升，尤其是中小數(shù)據(jù)包大小性能提升更為明顯。然而，1 MB以上的較大數(shù)據(jù)包存儲速率卻并不理想，與純FC-SCSI差別不大。而動態(tài)流控技術(shù)帶來的性能提升則更多地體現(xiàn)在大數(shù)據(jù)包方面。

純FC-SCSI實現(xiàn)方案速率的測試結(jié)果與4.1節(jié)給出的分析基本吻合，性能主要受制于協(xié)議開銷。查找結(jié)構(gòu)為FC數(shù)據(jù)傳輸提供了更加靈活的緩存以及更高的并行性。但是由于磁盤陣列存儲速率的不穩(wěn)定性，導致存儲速率難以突破170 MB/s。

動態(tài)流控技術(shù)嘗試以緩存隊列作為反饋，動態(tài)調(diào)節(jié)信用度，以克服磁盤陣列性能波動帶來的影響，提高磁盤陣列使用效率。在2 MB數(shù)據(jù)分組大小點，存儲速率由167.1 MB/s上升到186.6 MB/s，與理論速度187.1 MB/s基本相符，速率提升11.7%。文獻［4］提出的FC處理方案，其速率最終典型值為1.280 Gb/s，即160 MB/s，同樣是在2.125 Gb光纖通道條件下，本文系統(tǒng)方案速率提升16.6%。另外，根據(jù)FC協(xié)議，考慮FC協(xié)議存在的8 bit～10 bit編碼與首部開銷，2.125 Gb FC的理論有效帶寬約為197 MB/s。系統(tǒng)實際測試有效帶寬為186.6 MB/s，帶寬利用率達到94.7%，符合設計需求。

6 結(jié)束語

本文介紹一種基于FC-SCSI的多通道高速信號采集與實時存儲系統(tǒng)設計與實現(xiàn)方案。系統(tǒng)具備多通道同步采集、高速實時存儲，便攜性好等特點，具備廣泛的適用性。其中，2.125 Gb FC的平均存儲速率達到186.6 MB/s，系統(tǒng)測試結(jié)果符合理論估計，滿足項目使用需求。今后將結(jié)合高速固態(tài)硬盤技術(shù)進一步提高系統(tǒng)性能。

［1］ 吳長瑞，孔 超，冀映輝，等.寬帶相控陣雷達高性能信號處理系統(tǒng)［J］.計算機工程，2012，38（9）：240-243.

［2］ 丁元明，李花芳，劉春玲，等.衛(wèi)星通信高速數(shù)據(jù)傳輸系統(tǒng)設計［J］.計算機工程，2012，38（9）：252-254.

［3］ 王立峰，胡善清，劉 峰，等.基于閃存的高速海量存儲模塊設計［J］.計算機工程，2011，37（7）：255-257.

［4］ 趙 備，余 鋒，胡 璇，等.基于FPGA的光纖通道協(xié)議引擎的設計與實現(xiàn)［J］.浙江大學學報：工學版，2009，43（9）：1604-1608.

［5］ 廖興文.基于VPX的數(shù)據(jù)處理平臺實現(xiàn)［D］.成都：電子科技大學，2012.

［6］ 邵 磊，倪 明.基于FPGA的高速數(shù)據(jù)采集系統(tǒng)設計與實現(xiàn)［J］.計算機工程，2011，37（19）：221-223.

［7］ 饒家寧，安軍社.星載高速數(shù)據(jù)處理單元的設計與實現(xiàn)［J］.計算機工程，2012，38（7）：203-206.

［8］ Eric B.信號完整性分析［M］.李玉山，李麗平，楊 剛，譯.北京：電子工業(yè)出版社，2012.

［9］ Xilinx.Xilinx Virtex-5 FPGA User Guide（UG190）［EB/OL］.（2009-03-19）.http：//class.ece.iastate.edu/cpre583/ref/EDK/ Virtex5-ug190.pdf.

［10］ 童 薇，袁小燕，馮 丹，等.光纖通道的高速低延遲RDMA協(xié)議研究［J］.華中科技大學學報：自然科學版，2011，39（6）：71-74.

［11］ 查 翔，南建國.光纖通道中緩沖區(qū)分配策略的優(yōu)化［J］.計算機工程與設計，2012，33（2）：450-454.

［12］ 秦磊華，周敬利，余勝生.一種改進的光纖通道存儲擴展流量控制方法［J］.電子學報，2009，37（10）：2343-2347.

編輯 劉 冰

Multi-channel High-speed Signal Acquisition and Real-time Storage System Based on FC-SCSI

SHENG Ding1，XING Qianjian1，MA Zhenguo1，ZHAO Bei1，2
（1.School of Biomedical Engineering&Instrument Science，Zhejiang University，Hangzhou 310027，China；2.School of Computing Science and Technology，Hangzhou Dianzi University，Hangzhou 310027，China）

Traditional multi-channel signal acquisition and storage system is facing a huge task of data collection，the lack of adequate transmission bandwidth and storage capacity in real-time.This paper proposes a Fibre Channel-small Computer System Interface（FC-SCSI）as the core of the real-time acquisition and storage solutions.It uses chain lookup table structure and dynamic flow control technology to improve the FC-SCSI software protocol storage efficiency，focusing on solving a large-capacity multi-channel synchronous stream data off the disk in real-time acquisition problem s，and it realizes a large amount of data acquisition，real-time and reliable storage，portability and good performance integrated data processing storage system s.Experimental results show that under 2.125 Gb Fibre Channel（FC），reliable and stable storage speed is 186.6 MB/s，which is 94.7%of 2.125 Gb theoretical rate of FC，and the speed is enhanced by 11.7%com pared with 167.1 MB/s of traditional FC-SCSI storage solutions.

Fibre Channel（FC）；Field Programmable Gate Array（FPGA）；multi-channel signal acquisition；high-speed signal；real-time storage；dynamic flow control

盛 丁，邢錢艦，馬振國，等.基于FC-SCSI的多通道高速信號采集與實時存儲系統(tǒng)［J］.計算機工程，2015，41（11）：120-125，130.

英文引用格式：Sheng Ding，Xing Qianjian，Ma Zhenguo，et al.Multi-channel High-speed Signal Acquisition and Realtime Storage System Based on FC-SCSI［J］.Computing Engineering，2015，41（11）：120-125，130.

1000-3428（2015）11-0120-06

A

TP391

10.3969/j.issn.1000-3428.2015.11.021

浙江省自然科學基金資助項目（Y1101336）。

盛 ?。?991-），男，碩士研究生，主研方向：高性能嵌入式平臺；邢錢艦、馬振國、趙 備，博士。

2014-11-24

2014-12-18 E-m ail：369430825@qq.com