許烈華

（中國西南電子技術(shù)研究所,成都 610036）

一種高效高速采集存儲(chǔ)系統(tǒng)設(shè)計(jì)

許烈華

（中國西南電子技術(shù)研究所,成都 610036）

針對(duì)寬帶接收和小型化的應(yīng)用,設(shè)計(jì)并實(shí)現(xiàn)了一種新的高效、高速采集存儲(chǔ)系統(tǒng)。采用了大帶寬大動(dòng)態(tài)采樣技術(shù),提出了有損、無損、智能采樣數(shù)據(jù)壓縮技術(shù)和多維數(shù)據(jù)管理技術(shù)。工程試驗(yàn)結(jié)果表明,該系統(tǒng)能有效解決采集存儲(chǔ)系統(tǒng)中的高速率采樣、高效率存儲(chǔ)和高效數(shù)據(jù)管理等問題,具有一定的參考價(jià)值。

寬帶接收機(jī);高速采樣;高效壓縮;存儲(chǔ)系統(tǒng);數(shù)據(jù)檢索

1 引 言

隨著電子裝備技術(shù)的飛速發(fā)展（比如寬帶通信、現(xiàn)代雷達(dá)等）,信號(hào)的數(shù)字化不斷的靠近天線端,瞬時(shí)處理帶寬越來越寬[1],相應(yīng)地對(duì)后續(xù)的信號(hào)處理要求大大提高。然而,受器件水平和實(shí)現(xiàn)代價(jià)的限制,后端的實(shí)時(shí)處理能力往往不能達(dá)到要求,因此,“準(zhǔn)實(shí)時(shí)處理”（先采集、存儲(chǔ),然后處理）成為減輕實(shí)時(shí)處理壓力的一種有效方式。但是,傳統(tǒng)的采集存儲(chǔ)系統(tǒng)對(duì)采樣數(shù)據(jù)的處理比較少,信號(hào)采樣后直接送入存儲(chǔ)器,大量無用的數(shù)據(jù)占用了存儲(chǔ)空間,存儲(chǔ)體的使用效率不高,當(dāng)需要長時(shí)間的信號(hào)采集存儲(chǔ)時(shí),導(dǎo)致了設(shè)備的體積和功耗非常龐大,以至于在某些對(duì)小型化要求較高的場合無法使用,因此,在傳統(tǒng)采集存儲(chǔ)系統(tǒng)的基礎(chǔ)上,需要解決信號(hào)的高速采集、數(shù)據(jù)的高效存儲(chǔ)和高效率使用等問題。針對(duì)這種應(yīng)用需求,本文設(shè)計(jì)實(shí)現(xiàn)了一種新的采集存儲(chǔ)系統(tǒng),重點(diǎn)對(duì)其中的關(guān)鍵技術(shù)進(jìn)行了分析和設(shè)計(jì)。

2 系統(tǒng)的組成及工作原理

高效高速采集存儲(chǔ)系統(tǒng)由采集壓縮模塊、存儲(chǔ)管理模塊、存儲(chǔ)模塊和電源模塊構(gòu)成,如圖1所示,圖中虛線框?yàn)榕c該系統(tǒng)密切關(guān)聯(lián)的設(shè)備。

圖1 系統(tǒng)組成框圖Fig.1 Block diagram of the system

采集壓縮模塊主要完成高速率的信號(hào)采樣、采樣數(shù)據(jù)的高效率壓縮、數(shù)據(jù)回放、高速數(shù)據(jù)接口和CAN總線通信功能;存儲(chǔ)模塊主要完成輸入/輸出數(shù)據(jù)接收/發(fā)送、數(shù)據(jù)流緩存管理、FLASH的讀/寫/擦/自檢等操作控制以及與存儲(chǔ)管理模塊交互實(shí)現(xiàn)FLASH文件系統(tǒng)的操作等功能;存儲(chǔ)管理模塊主要完成存儲(chǔ)控制,實(shí)現(xiàn)基于NandFlash的文件系統(tǒng),文件系統(tǒng)可實(shí)現(xiàn)隨機(jī)存儲(chǔ)管理和特征數(shù)據(jù)檢索;電源模塊為其他各模塊供電和提供加斷電控制。系統(tǒng)工作原理如圖2所示。

圖2 系統(tǒng)工作原理Fig.2 The working principle of the system

在采集壓縮模塊中,對(duì)中頻信號(hào)高速率采樣后,執(zhí)行采樣數(shù)據(jù)壓縮。有損壓縮為基于信號(hào)特征的壓縮,它首先進(jìn)行信號(hào)的檢測(cè),信號(hào)檢測(cè)在時(shí)域、頻域或能量域完成,信號(hào)檢測(cè)完畢后,只對(duì)滿足條件的采樣數(shù)據(jù)輸出到下一級(jí);無損壓縮采用改進(jìn)的LZW算法對(duì)數(shù)據(jù)無失真壓縮。不管采用哪種壓縮方式,目的是減少無用或冗余的數(shù)據(jù),減少后端存儲(chǔ)的數(shù)據(jù)量,提高存儲(chǔ)效率。壓縮后的數(shù)據(jù)打上參數(shù)信息標(biāo)識(shí)后,按照一定的幀格式送往存儲(chǔ)模塊,同時(shí)往存儲(chǔ)管理模塊發(fā)送存儲(chǔ)命令,開辟存儲(chǔ)空間,存儲(chǔ)上述數(shù)據(jù)。

存儲(chǔ)后的數(shù)據(jù)可隨機(jī)回放或順序回放,回放的數(shù)據(jù)可進(jìn)行兩種處理:一是送給通用處理設(shè)備進(jìn)行處理,處理后的結(jié)果可存入存儲(chǔ)模塊,為減少存儲(chǔ)空間,可把原始數(shù)據(jù)刪除;二是直接送給數(shù)據(jù)接收設(shè)備,在數(shù)據(jù)接收設(shè)備中進(jìn)行事后分析處理。

3 關(guān)鍵技術(shù)

3.1 大帶寬、大動(dòng)態(tài)采樣技術(shù)

整機(jī)的性能好壞與系統(tǒng)中ADC的性能有直接的關(guān)系。ADC有兩個(gè)重要指標(biāo):采樣率和有效位數(shù),采樣率決定了系統(tǒng)的瞬時(shí)帶寬,有效位數(shù)決定了系統(tǒng)的動(dòng)態(tài)范圍。

本課題中,指標(biāo)要求600Msample/s采樣速率、60 dB以上的動(dòng)態(tài)范圍,對(duì)大帶寬、大動(dòng)態(tài)采樣提出了更高的要求,設(shè)計(jì)中除了選取高性能的AD器件以外,工程實(shí)現(xiàn)上重點(diǎn)考慮采樣時(shí)鐘抖動(dòng)和印制電路板布局布線。

（1）采樣時(shí)鐘抖動(dòng)

信號(hào)采樣時(shí),采樣時(shí)鐘具有不可避免的不確定周期,成為采樣抖動(dòng)[2]。采樣抖動(dòng)造成了信號(hào)的非均勻采樣,引起誤差,產(chǎn)生抖動(dòng)噪聲,抖動(dòng)噪聲為高速采樣時(shí)最重要的噪聲來源之一。抖動(dòng)噪聲功率可用下式計(jì)算:

式中,A為輸入模擬信號(hào)的幅度,f1為輸入模擬信號(hào)的頻率,f2為采樣時(shí)鐘頻率,NP為采樣時(shí)鐘的相位噪聲,σ為采樣時(shí)鐘抖動(dòng)均方根值（單位ps）。采用ADI公司的仿真工具,在輸入中頻375 MHz、采樣率600MHz、信號(hào)輸入幅度為-1 dBFs時(shí),在時(shí)鐘抖動(dòng)為1 ps和5 ps不同條件下,信噪比相差10 dB以上。因此,在設(shè)計(jì)上必須高度重視采樣時(shí)鐘孔徑抖動(dòng)（或時(shí)鐘相位噪聲）。在本方案中,采樣時(shí)鐘選用差分信號(hào),選取了抖動(dòng)小的時(shí)鐘源,采用了專門的時(shí)鐘分配器,鎖相環(huán)電路實(shí)現(xiàn)時(shí)鐘的降噪。采取以上措施后,時(shí)鐘抖動(dòng)的實(shí)測(cè)值小于2 ps。

（2）印制電路板布局布線

印制電路板布局布線主要從板級(jí)的信號(hào)完整性方面考慮,電路中都存在共模電流和差模電流。根據(jù)右手法則,差模電流在環(huán)路內(nèi)磁場增強(qiáng),環(huán)路外沒有磁場。共模電流在環(huán)路外磁場增強(qiáng),環(huán)路內(nèi)沒有磁場。差模干擾與環(huán)路面積成正比,共模干擾與電流路徑長度成正比。在PCB布局和布線設(shè)計(jì)時(shí),強(qiáng)干擾源遠(yuǎn)離接插件和敏感電路,盡可能減少關(guān)鍵信號(hào)的環(huán)路面積從而減小差模干擾,盡量減少共模信號(hào)的電流路徑長度,從而減小共模干擾。

3.2 采樣數(shù)據(jù)高效壓縮技術(shù)

（1）時(shí)域壓縮技術(shù)

該技術(shù)對(duì)信號(hào)進(jìn)行時(shí)域檢測(cè),針對(duì)過門限的采樣數(shù)據(jù)進(jìn)行存儲(chǔ),從而達(dá)到數(shù)據(jù)壓縮效果。該方法對(duì)雷達(dá)或短時(shí)信號(hào)有較好的壓縮效果。本文通過高速脈沖檢測(cè)方法,根據(jù)參數(shù)測(cè)量結(jié)果將采樣數(shù)據(jù)中的脈內(nèi)有效數(shù)據(jù)打包緩存,再送至存儲(chǔ)模塊中存儲(chǔ)。其流程如圖3所示。

圖3 時(shí)域壓縮流程Fig.3 Time domain compression process

（2）能量域壓縮技術(shù)

該技術(shù)針對(duì)AD采樣的位數(shù)進(jìn)行分析,分析信號(hào)能量后,舍棄沒有使用的AD位數(shù),從而達(dá)到數(shù)據(jù)壓縮效果。它主要針對(duì)于信號(hào)持續(xù)時(shí)間較長、信號(hào)幅度較弱的信號(hào),比如常見的通信信號(hào)。其流程如圖4所示。

圖4 能量域壓縮流程Fig.4 Energy domain compression process

（3）頻域壓縮技術(shù)

該技術(shù)是在頻域?qū)π盘?hào)進(jìn)行檢測(cè),頻域檢測(cè)后,只針對(duì)頻譜過門限的信號(hào)才存儲(chǔ),達(dá)到減少數(shù)據(jù)量效果。頻域檢測(cè)方法有兩種:一是基于DDC的方式,該方法主要針對(duì)通信信號(hào),采樣質(zhì)量較高,地面無需信號(hào)重建;二是基于數(shù)字信道化[3]的方式,該方法對(duì)通信信號(hào)（比如頻分復(fù)用信號(hào)）、雷達(dá)信號(hào)、短時(shí)信號(hào)都具有較好的效果,缺點(diǎn)是若信號(hào)跨子信道,信號(hào)重建有一定損失。其流程如圖5所示。

圖5 頻域壓縮流程Fig.5 Frequency domain compression process

DDC首先進(jìn)行頻譜占用分析,針對(duì)檢測(cè)到的信號(hào)選擇合適的濾波器帶寬和采樣率進(jìn)行濾波,存儲(chǔ)濾波后的數(shù)據(jù)。如果有信號(hào)的先驗(yàn)信息,也可以指定頻率與帶寬進(jìn)行采樣。數(shù)字信道化方式對(duì)整個(gè)帶寬內(nèi)進(jìn)行數(shù)字信道化,并對(duì)各個(gè)子信道進(jìn)行信號(hào)檢測(cè),僅存儲(chǔ)有信號(hào)的子信道數(shù)據(jù)。

（4）無損壓縮技術(shù)

以上3種壓縮技術(shù)依賴信號(hào)的特征,壓縮后不可無失真地恢復(fù)原始信號(hào),但是在某些高保真度應(yīng)用場合,需要無損壓縮,本系統(tǒng)采用了改進(jìn)型的LZW算法[4-5],具體為采樣數(shù)據(jù)的高字節(jié)采用霍夫曼編碼算法,低字節(jié)數(shù)據(jù)采用LZW壓縮算法。該方法對(duì)信號(hào)的特征不敏感,適用的信號(hào)范圍較廣。其流程如圖6所示。LZW算法是根據(jù)數(shù)據(jù)本身包含短語式重復(fù)的特性,用前面已經(jīng)出現(xiàn)過的字符串的代碼來代替后面相同字符串的內(nèi)容,從而實(shí)現(xiàn)數(shù)據(jù)壓縮。采用一種字典編碼的方式,即用字典的序號(hào)來表達(dá)這種重復(fù)性,序號(hào)所對(duì)應(yīng)的字典空間存儲(chǔ)了相應(yīng)的重復(fù)字節(jié)。

圖6 無損壓縮流程Fig.6 Lossless compression process

（5）智能壓縮技術(shù)

在智能壓縮時(shí),用戶不需要指定使用哪種壓縮方式,而只需指定哪種壓縮效果,一是高壓縮比效果,二是高保真度效果,給定壓縮效果條件后,自動(dòng)匹配壓縮方式,流程圖如圖7所示。

圖7 智能壓縮工作流程Fig.7 Intelligent data compression process

信號(hào)采樣后,若為高保真度條件,則選擇無損壓縮,之后的流程與無損壓縮流程一樣;若為高壓縮比條件,首先對(duì)信號(hào)進(jìn)行能量域檢測(cè),若信號(hào)幅度較弱,滿足能量域壓縮條件,則進(jìn)行能量域壓縮,否則跳過此過程,接下來對(duì)能量域壓縮后的信號(hào)進(jìn)行時(shí)域檢測(cè),若信號(hào)為脈沖信號(hào),則進(jìn)行時(shí)域壓縮,壓縮后的數(shù)據(jù)組幀并存儲(chǔ)。若不是脈沖信號(hào),則進(jìn)行頻域檢測(cè),若帶寬內(nèi)只存在一個(gè)信號(hào),則使用頻域的DDC方式壓縮,否則使用頻域的數(shù)字信道化方式壓縮,壓縮后的數(shù)據(jù)組幀并存儲(chǔ)。

3.3 高速率、大容量存儲(chǔ)管理技術(shù)

（1）存儲(chǔ)技術(shù)[6]

本課題的存儲(chǔ)容量為512GB,記錄速率為9.6 Gb/s。為達(dá)到512 GB容量,存儲(chǔ)模塊選用72片F(xiàn)LASH芯片,總存儲(chǔ)容量為72×8GB=576 GB,去除壞塊后容量大于512 GB。同時(shí)為了達(dá)到9.6 Gb/s的存取速率,72片F(xiàn)LASH芯片分為36組并行工作,每組兩片,最大存取速率為400Mb/s×36=14.4 Gb/s,其中單片F(xiàn)LASH的存取速率為400 Mb/s?？紤]FLASH工作頻率的設(shè)計(jì)余量、讀寫控制等待時(shí)間,實(shí)際能達(dá)到的存取速率大于10 Gb/s。

存儲(chǔ)模塊的數(shù)據(jù)來源于采集壓縮模塊,兩模塊間數(shù)據(jù)傳輸速率大于9.6 Gb/s,經(jīng)過對(duì)并行LVDS、TLK2711和FPGA內(nèi)部的GTX分析對(duì)比,最終選擇GTX作為模塊間的物理傳輸通道,模塊間共8個(gè)lane,每個(gè)lane工作在2.5Gb/s速率。在物理傳輸通道上采用aurora協(xié)議,該協(xié)議是一種可配置的、簡便的數(shù)據(jù)鏈路層協(xié)議,可使用一條或多條高速串行通道實(shí)現(xiàn)點(diǎn)對(duì)點(diǎn)的數(shù)據(jù)傳輸。

（2）數(shù)據(jù)管理技術(shù)

數(shù)據(jù)管理是數(shù)據(jù)存儲(chǔ)設(shè)備靈活使用的關(guān)鍵,該方案采用基于Vxworks的文件系統(tǒng)進(jìn)行數(shù)據(jù)管理[7]。基于VxWorks的文件系統(tǒng)設(shè)計(jì)在文件系統(tǒng)功能擴(kuò)展、實(shí)時(shí)任務(wù)調(diào)度、多文件并行管理方面都有較大的優(yōu)勢(shì)。利用操作系統(tǒng)本身的文件功能來完成數(shù)據(jù)管理,同時(shí)針對(duì)NandFlash存儲(chǔ)介質(zhì)的固有特點(diǎn)改寫相關(guān)底層部分。數(shù)據(jù)系統(tǒng)按層次劃分為物理層、映射層和應(yīng)用層,物理層實(shí)現(xiàn)存儲(chǔ)單元的基本操作,映射層實(shí)現(xiàn)邏輯地址與物理地址轉(zhuǎn)換,應(yīng)用層實(shí)現(xiàn)數(shù)據(jù)的管理應(yīng)用。

當(dāng)存儲(chǔ)的數(shù)據(jù)量較大時(shí),快速定位所需要的數(shù)據(jù)變得非常復(fù)雜。為高效使用大容量存儲(chǔ)體中的數(shù)據(jù),必須具備有效的檢索回放機(jī)制,該方案中采用了一種基于多維的數(shù)據(jù)檢索技術(shù),數(shù)據(jù)檢索過程如圖8所示。

圖8 數(shù)據(jù)檢索流程Fig.8 Data retrieval p rocess

檢索回放分為兩種,一是順序檢索回放,二是隨機(jī)檢索回放。順序檢索回放時(shí),指定起始位置后,從該位置回放數(shù)據(jù),回放完畢后記錄當(dāng)前位置,作為下一次回放的起始點(diǎn)。順序檢索回放的缺點(diǎn)是耗時(shí)過長,不能有效利用存儲(chǔ)體中的數(shù)據(jù)。隨機(jī)回放檢索時(shí),可按時(shí)間、任務(wù)號(hào)、文件號(hào)或結(jié)果類型對(duì)數(shù)據(jù)快速定位,提高數(shù)據(jù)的使用效率。為方便數(shù)據(jù)檢索,在數(shù)據(jù)存儲(chǔ)的時(shí)候,建立了一張數(shù)據(jù)索引表,索引表中的內(nèi)容包括以上基本信息。

4 結(jié)束語

本文提出的技術(shù)方案對(duì)信號(hào)采集、存儲(chǔ)和處理進(jìn)行統(tǒng)籌設(shè)計(jì),有效解決了寬帶、小型化條件下信號(hào)的高速采集、數(shù)據(jù)的高效存儲(chǔ)和存儲(chǔ)后數(shù)據(jù)的高效管理等問題,可為采集存儲(chǔ)系統(tǒng)設(shè)計(jì)者提供一定的幫助。然而,在工程實(shí)現(xiàn)過程中,發(fā)現(xiàn)該方案涉及的智能采樣數(shù)據(jù)壓縮,對(duì)復(fù)雜電磁環(huán)境（時(shí)域、頻域、能量、空域上密集重疊）的適應(yīng)能力一般,在未來工作中需針對(duì)該問題進(jìn)行進(jìn)一步研究和改進(jìn)。

[1] 楊小牛,樓才義,徐建良.軟件無線電技術(shù)與應(yīng)用[M].北京:北京理工大學(xué)出版社,2010:9-13.

YANG Xiao-niu,LOU Cai-yi,XU Jian-liang.Software Defined Radio Technology and Application[M].Beijing:Beijing Institute of Technology Press,2010:9-13.（in Chinese）

[2] 張瑞永,趙海云,陳國海.寬帶數(shù)據(jù)采集系統(tǒng)的相位噪聲分析[J].雷達(dá)科學(xué)與技術(shù),2009,7（2）:147-150.

ZHANG Rui-yong,ZHAO Hai-yun,CHEN Guo-hai.Analysis of Phase Noise in Wideband Data Acquisition System[J].Radar Science and T echnology,2009,7（2）:147-150.（in Chinese）

[3] 李學(xué)軍,陳建安.基于復(fù)多相濾波器組的信道化接收機(jī)[J].電訊技術(shù),2005,45（4）:158-161.

LI Xue-jun,CHEN Jian-an.A Channel Receiver Based on Complex Multiphase Filter Group[J].Telecommunication Engineering,2005,45（4）:158-161.（in Chinese）

[4] Welch T A.A Technique for High-performance Data Compression[J].IEEE Computer,1984,17（6）:8-18.

[5] 王平.LZW無損壓縮算法的實(shí)現(xiàn)與研究[J].計(jì)算機(jī)工程,2002,28（7）:98-99.

WANG Ping.Realization and Research of LZW Lossless Compression Algorithm[J].Computer Engineering,2002,28（7）:98-99.（in Chinese）

[6] 朱知博.基于NANDFlash的高速大容量存儲(chǔ)系統(tǒng)設(shè)計(jì)[J].現(xiàn)代電子技術(shù),2011,34（8）:170-173.

ZHU Zhi-bo.Design of H igh speed and Mass Storage System Based on NANDFlash[J].Modern Electronics Technique,2011,34（8）:170-173.（in Chinese）

[7] 薛原.基于VxWorks的文件系統(tǒng)的研究與實(shí)現(xiàn)[J].電子設(shè)計(jì)工程,2009,17（8）:107-109.

XUE Yuan.Research and imp lementation of TrueFFS based on VxWorks[J].Electronic Design Engineering,2009,17（8）:107-109.（in Chinese）

XU Lie-hua was born in Hengdong,Hunan Province,in 1979.He received the B.S.degree in 2002.He is now an engineer.His research concerns high speed embedded system,communication signal processing.

Email:lhxu-02@163.com

Design of a High Efficiency and High Speed Data Acquisition and Storage System

XU Lie-hua

（Southwest China Institute of Electronic Technology,Chengdu 610036,China）

Aiming at the application of broadband receiver and miniaturization,a high efficiency and high speed data acquisition and storage system is designed and realized.By using large bandwidth and large dynamic sampling technique,lossy,lossless,intelligent samp ling data compression technology and multidimensional data management technology are proposeel.Engineering test results show that the system can effectively solve the problems of high speed sampling,efficient storage and efficient data management in data acquisition and storage system,and it has a certain reference value.

broad band receiver;high speed samp ling;high efficient compression;storage system;data retrieval

TN911

A

1001-893X（2013）06-0763-05

10.3969/j.issn.1001-893x.2013.06.018

2012-11-02;

2013-03-18

date:2012-11-02;Revised date:2013-03-18

lhxu-02@163.com Cor responding author:lhxu-02@163.com

許烈華（1979—）,男,湖南衡東人,2002年獲學(xué)士學(xué)位,現(xiàn)為工程師,主要從事高速嵌入式系統(tǒng)、通信信號(hào)處理等方面的研究。