張 保，劉世穎，張華沖，顧 旭，于浩洋

(中國(guó)電子科技集團(tuán)公司第五十四研究所，河北 石家莊 050081)

0 引言

近年來(lái)，現(xiàn)代無(wú)線(xiàn)通信和頻譜偵察監(jiān)視領(lǐng)域中電磁環(huán)境日益復(fù)雜，新體制信號(hào)不斷涌現(xiàn)，對(duì)電子信息裝備平臺(tái)的高效集成、靈活擴(kuò)展等方面提出了更高的要求；另一方面，為提升電子信息裝備的全空域、全時(shí)域和全頻域的多維快速感知能力，要求在線(xiàn)實(shí)時(shí)或離線(xiàn)處理的數(shù)據(jù)量越來(lái)越大。因此，把硬件作為無(wú)線(xiàn)通信的基本平臺(tái)，而把數(shù)據(jù)處理盡可能多地用軟件實(shí)現(xiàn)的基于軟件無(wú)線(xiàn)電技術(shù)的分布式并發(fā)處理的新型數(shù)字信號(hào)處理平臺(tái)[1-2]成為了研究熱點(diǎn)。

傳統(tǒng)的數(shù)字信號(hào)處理平臺(tái)中，通過(guò)配置大容量存儲(chǔ)，將數(shù)據(jù)采集存儲(chǔ)于磁盤(pán)之中，在處理時(shí)，采用將數(shù)據(jù)批量導(dǎo)出的方式進(jìn)行離線(xiàn)處理。此種數(shù)字信號(hào)處理平臺(tái)的缺陷在于：① 隨著設(shè)備采集能力的提升，數(shù)據(jù)產(chǎn)生的速度遠(yuǎn)高于數(shù)據(jù)處理的速度，對(duì)磁盤(pán)存儲(chǔ)能力的要求越來(lái)越高，系統(tǒng)設(shè)計(jì)的硬成本也隨之提升；② 數(shù)據(jù)離線(xiàn)處理的方式擁有較大的信息情報(bào)獲取延遲，而數(shù)據(jù)本身的價(jià)值也隨信息獲取時(shí)間的增長(zhǎng)而逐步降低。為解決該問(wèn)題，需建立一套流水線(xiàn)式的數(shù)字信號(hào)處理平臺(tái)[3-5]，能夠以較低的時(shí)延處理流式數(shù)據(jù)，在快速獲取信息情報(bào)的同時(shí)，減少非必要數(shù)據(jù)的存儲(chǔ)需求。

Storm[6-7]中間件是一個(gè)并行分布式數(shù)據(jù)流處理框架，適用于處理無(wú)邊界的數(shù)據(jù)流，被廣泛應(yīng)用于各類(lèi)數(shù)據(jù)流處理場(chǎng)景中，具備可擴(kuò)展、高容錯(cuò)、與編程語(yǔ)言無(wú)關(guān)等特性，可以與Kafka[8]、Zookeeper[9]等技術(shù)協(xié)同工作，構(gòu)建一套完善的并行分布式數(shù)據(jù)流處理系統(tǒng)。本文在簡(jiǎn)要介紹Storm原理的基礎(chǔ)上，提出了一種基于Storm的數(shù)字信號(hào)流式處理平臺(tái)：基于數(shù)字信號(hào)處理模塊的功能特性設(shè)計(jì)獨(dú)立的虛擬設(shè)備，基于不同體制信號(hào)的業(yè)務(wù)特性設(shè)計(jì)數(shù)字信號(hào)處理有向無(wú)環(huán)圖(DSP-DAG)，將DSP-DAG映射至Storm集群，實(shí)現(xiàn)采集數(shù)據(jù)的流式并行處理。實(shí)驗(yàn)表明，該平臺(tái)具有集成效率高、運(yùn)算速度快、可靠性高和擴(kuò)展能力強(qiáng)等優(yōu)點(diǎn)，優(yōu)于傳統(tǒng)的數(shù)字信號(hào)處理平臺(tái)。

1 Storm分布式流處理框架

大數(shù)據(jù)具有4個(gè)公認(rèn)的特性：體量(Volume)、速度(Velocity)、多樣性(Variety)和真實(shí)性(Veracity)。針對(duì)該特性，多種大數(shù)據(jù)處理工具應(yīng)運(yùn)而生，主要包括數(shù)據(jù)處理、數(shù)據(jù)傳輸和數(shù)據(jù)存儲(chǔ)3類(lèi)。其中，數(shù)據(jù)處理存在批(Batch)處理和流(Stream)處理2種形式[10]，其模型對(duì)比如圖1所示。

圖1 批處理和流處理模型對(duì)比Fig.1 Comparison of batch processing and stream processing model

其中，批處理模式下，采集的數(shù)據(jù)需緩存入固定的數(shù)據(jù)池中，然后對(duì)數(shù)據(jù)進(jìn)行分批，數(shù)據(jù)按既定批次進(jìn)行處理；批處理的特性在于，所有數(shù)據(jù)處理流程全部完成之前，無(wú)法獲得最終結(jié)果。而流處理模式下[2]，數(shù)據(jù)在流入系統(tǒng)的同時(shí)執(zhí)行處理，分別處理每個(gè)事件，該特性適合于持續(xù)地處理數(shù)據(jù)，同時(shí)要求這些數(shù)據(jù)能夠快速產(chǎn)生有效結(jié)論的應(yīng)用場(chǎng)景。

現(xiàn)代無(wú)線(xiàn)電磁波通信偵察領(lǐng)域要求對(duì)采集數(shù)據(jù)的處理和感知提出了越來(lái)越高的要求，從數(shù)據(jù)采集、信號(hào)處理、變化感知到最終的結(jié)果存儲(chǔ)與展示，整個(gè)過(guò)程要求以盡可能低地延遲完成，為電子信息裝備的情報(bào)整編及時(shí)提供分析素材。這就要求以實(shí)時(shí)的流處理技術(shù)構(gòu)建新型的數(shù)字信號(hào)處理平臺(tái)。

Storm集群架構(gòu)如圖2所示，一個(gè)Storm集群包含2種類(lèi)型的節(jié)點(diǎn)：主控結(jié)點(diǎn)(Master Node)和工作(Worker Node)結(jié)點(diǎn)。其中，主控結(jié)點(diǎn)只有一個(gè)，而工作結(jié)點(diǎn)可以有多個(gè)；一個(gè)主控結(jié)點(diǎn)運(yùn)行一個(gè)守護(hù)進(jìn)程N(yùn)imbus，而每個(gè)工作結(jié)點(diǎn)都分別運(yùn)行一個(gè)守護(hù)進(jìn)程Supervisor；每個(gè)工作結(jié)點(diǎn)可以運(yùn)行一到多個(gè)工作進(jìn)程，每個(gè)工作進(jìn)程(Worker)可以擁有一個(gè)或多個(gè)執(zhí)行器(Executor)。Nimbus圍繞集群發(fā)布代碼，將任務(wù)指派給工作節(jié)點(diǎn)，并同時(shí)監(jiān)控異常狀態(tài)；每個(gè)Supervisor通過(guò)監(jiān)聽(tīng)Nimbus分配到工作結(jié)點(diǎn)上的任務(wù)去啟動(dòng)或結(jié)束工作進(jìn)程；每個(gè)執(zhí)行器上運(yùn)行一個(gè)或者多個(gè)所分配的計(jì)算任務(wù)(Task)。

圖2 Storm集群架構(gòu)Fig.2 Storm cluster architecture

Storm拓?fù)浣Y(jié)構(gòu)如圖3所示，在Storm集群中運(yùn)行的每個(gè)作業(yè)被表示為一個(gè)有向無(wú)環(huán)的拓?fù)鋱D(Topology)。其中，每個(gè)結(jié)點(diǎn)是一個(gè)組件，組件有2種類(lèi)型：Spout組件是數(shù)據(jù)源，負(fù)責(zé)生產(chǎn)數(shù)據(jù)；Bolt組件封裝了數(shù)據(jù)處理邏輯，可以完成過(guò)濾、業(yè)務(wù)處理、連接運(yùn)算、連接與訪(fǎng)問(wèn)數(shù)據(jù)庫(kù)等任何操作。每個(gè)組件都含有一個(gè)或多個(gè)任務(wù)(Task)，任務(wù)是最小的處理單元。任務(wù)之間傳遞的消息由元組(Tuple)構(gòu)成，是消息傳遞的基本單元；一個(gè)無(wú)界的元組序列構(gòu)成流(Stream)。流分組(Stream Grouping)定義消息分發(fā)策略，決定了流/元組如何在Spout到Bolt或Bolt之間的任務(wù)間進(jìn)行分發(fā)。

圖3 Storm拓?fù)浣Y(jié)構(gòu)Fig.3 Storm topology structure

Storm具備高度的容錯(cuò)機(jī)制，提交拓?fù)涞郊汉?，Storm會(huì)一直運(yùn)行拓?fù)渲敝疗浔蝗藶闅⑺?。如果運(yùn)行過(guò)程中某個(gè)工作進(jìn)程發(fā)生故障，Supervisor檢測(cè)到故障后會(huì)嘗試在本機(jī)對(duì)其進(jìn)行重啟；如果Nimbus或Supervisor守護(hù)進(jìn)程故障，因其狀態(tài)可以保存，在將其重啟后不會(huì)對(duì)系統(tǒng)任務(wù)的運(yùn)行產(chǎn)生任何影響；如果整個(gè)工作結(jié)點(diǎn)發(fā)生故障，Nimbus監(jiān)測(cè)到錯(cuò)誤后會(huì)以進(jìn)程調(diào)度的方式將該結(jié)點(diǎn)上所有的任務(wù)轉(zhuǎn)移至其他可用的工作結(jié)點(diǎn)上重新運(yùn)行。同時(shí)，Storm具備高可靠性機(jī)制，通過(guò)設(shè)計(jì)一組特殊的Acker任務(wù)，對(duì)于每個(gè)Spout消息元組，跟蹤其在拓?fù)鋬?nèi)的有向無(wú)環(huán)圖，確保每個(gè)來(lái)自Spout的消息元組將被完全處理。

2 數(shù)字信號(hào)流式處理平臺(tái)設(shè)計(jì)

為實(shí)現(xiàn)電子信息裝備所采集的流式數(shù)據(jù)的快速處理，提出了一種基于Storm的數(shù)字信號(hào)流式處理平臺(tái)，與天線(xiàn)、射頻前端和數(shù)據(jù)采集設(shè)備共同構(gòu)成高速數(shù)字信號(hào)處理系統(tǒng)，其整體架構(gòu)如圖4所示。

圖4 高速數(shù)字信號(hào)處理系統(tǒng)架構(gòu)Fig.4 Architecture of high speed digital signal processing system

其中，天線(xiàn)、射頻前端和數(shù)據(jù)采集設(shè)備作為采集數(shù)據(jù)流的生產(chǎn)者，產(chǎn)生的數(shù)據(jù)以流的形式流入數(shù)字信號(hào)流式處理平臺(tái)；而數(shù)字信號(hào)流式處理平臺(tái)作為采集數(shù)據(jù)流的消費(fèi)者，基于虛擬設(shè)備技術(shù)和數(shù)字信號(hào)處理有向無(wú)環(huán)圖(DSP-DAG)構(gòu)建Storm拓?fù)渥鳂I(yè)，由Nimbus和Supervisor守護(hù)進(jìn)程進(jìn)行調(diào)度，在Storm集群上運(yùn)行；同時(shí)，Storm集群可為負(fù)載均衡、拓?fù)渥鳂I(yè)監(jiān)控(UI)和數(shù)據(jù)持久化(DB)等技術(shù)提供支撐。

2.1 虛擬設(shè)備責(zé)任矩陣

廣義的虛擬設(shè)備(Virtual Device)是指利用數(shù)字計(jì)算機(jī)技術(shù)模擬實(shí)現(xiàn)示波器、溫控儀表、數(shù)據(jù)采集系統(tǒng)和數(shù)據(jù)信號(hào)處理系統(tǒng)等各種傳統(tǒng)設(shè)備的計(jì)算機(jī)系統(tǒng)都可稱(chēng)為虛擬設(shè)備[11]，而本文所討論的虛擬設(shè)備是指利用通用計(jì)算機(jī)/服務(wù)器實(shí)現(xiàn)數(shù)據(jù)信號(hào)處理[12-15]。

本文提出的基于Storm的數(shù)字信號(hào)流式處理平臺(tái)中所處理的基本單元是由采集數(shù)據(jù)流構(gòu)成的計(jì)算任務(wù)(Task)，而處理計(jì)算任務(wù)最小的執(zhí)行單元是最基本的Spout/Bolt組件，即為進(jìn)行封裝后的可完成獨(dú)立功能的軟式虛擬設(shè)備實(shí)例。

一個(gè)完整的數(shù)字信號(hào)處理流程囊括多種體制信號(hào)的處理方式以及各種體制信號(hào)的多個(gè)處理階段，本文提出的虛擬設(shè)備技術(shù)旨在依據(jù)數(shù)字信號(hào)處理流程中各功能模塊的獨(dú)立特性進(jìn)行切分，劃分為具有不同功能的虛擬設(shè)備，再對(duì)各虛擬設(shè)備的輸入、輸出接口進(jìn)行標(biāo)準(zhǔn)化設(shè)計(jì)與封裝，以構(gòu)建Spout/Bolt組件。

依據(jù)不同體制(常規(guī)、突發(fā)和擴(kuò)頻等)信號(hào)處理的業(yè)務(wù)特性可將數(shù)字信號(hào)處理流程在橫向上切分為常規(guī)信號(hào)處理、突發(fā)信號(hào)處理和擴(kuò)頻信號(hào)處理等；依據(jù)信號(hào)處理階段的功能特性可將數(shù)字信號(hào)處理流程在縱向上切分為預(yù)處理、檢測(cè)、信道化、分析、解調(diào)、解碼和協(xié)議分析等[16]。

Storm平臺(tái)中任務(wù)之間以元組(Tuple)的形式傳遞消息，元組是一個(gè)命名的值列表，其字段所支持的類(lèi)型包括基本類(lèi)型、字符串或字符數(shù)組，均為較為簡(jiǎn)單的對(duì)象類(lèi)數(shù)據(jù)形式。而數(shù)字信號(hào)處理虛擬設(shè)備間所交互的內(nèi)容除對(duì)象類(lèi)數(shù)據(jù)外，還包括文件類(lèi)數(shù)據(jù)和庫(kù)表類(lèi)數(shù)據(jù)。為適應(yīng)Storm平臺(tái)中消息的傳輸要求，需對(duì)虛擬設(shè)備的輸入、輸出接口進(jìn)行標(biāo)準(zhǔn)化與封裝設(shè)計(jì)，如圖5所示，針對(duì)不同的數(shù)據(jù)采用如下3種不同的傳輸方法：

(1) 對(duì)象類(lèi)數(shù)據(jù)：直接基于通信網(wǎng)絡(luò)的方式進(jìn)行傳輸；

(2) 文件類(lèi)數(shù)據(jù)：將文件在磁盤(pán)上的存儲(chǔ)路徑組織為對(duì)象類(lèi)數(shù)據(jù)再基于通信網(wǎng)絡(luò)的方式進(jìn)行傳輸；

(3) 庫(kù)表類(lèi)數(shù)據(jù)：將庫(kù)表名稱(chēng)及相應(yīng)字段組織為對(duì)象類(lèi)數(shù)據(jù)再基于通信網(wǎng)絡(luò)的方式進(jìn)行傳輸。

2.2 DSP-DAG模型

一個(gè)流式計(jì)算作業(yè)及其所處理的一系列任務(wù)可以用有向無(wú)環(huán)圖(DAG)[17]表示，在Storm集群中稱(chēng)之為拓?fù)?Topology)。為適應(yīng)該處理模式，在構(gòu)建數(shù)字信號(hào)處理責(zé)任矩陣的基礎(chǔ)上，提出了DSP-DAG模型，即可用于數(shù)字信號(hào)處理的有向無(wú)環(huán)圖。該模型采用如下構(gòu)建方法：

(1) 基于不同體制信號(hào)處理的業(yè)務(wù)特性將其信號(hào)處理流程中所需的虛擬設(shè)備進(jìn)行串接，構(gòu)成虛擬設(shè)備作業(yè)鏈；

(2) 基于負(fù)責(zé)不同功能模塊的虛擬設(shè)備的性能特性為作業(yè)鏈中每個(gè)作業(yè)節(jié)點(diǎn)配置虛擬設(shè)備實(shí)例數(shù)量。

基于上述方法完成DSP-DAG模型的構(gòu)建，某種體制信號(hào)DSP-DAG模型的示意如圖6所示。

圖6 某體制信號(hào)DSP-DAG模型示意Fig.6 Schematic diagram of DSP-DAG system signal model

流式數(shù)據(jù)在時(shí)間維度上可分解為連續(xù)的多個(gè)處理子任務(wù)，而DSP-DAG模型將各虛擬設(shè)備實(shí)例組織為流水線(xiàn)，各類(lèi)虛擬設(shè)備并行地執(zhí)行其對(duì)應(yīng)階段的子任務(wù)，同類(lèi)虛擬設(shè)備的不同實(shí)例并行地執(zhí)行其相應(yīng)階段的子任務(wù)，從而達(dá)到超標(biāo)量流水線(xiàn)并行。流水線(xiàn)并行是指將不同的階段任務(wù)分配到不同的處理單元(如集群節(jié)點(diǎn)以及節(jié)點(diǎn)內(nèi)多核等)上，各處理單元并行的執(zhí)行階段任務(wù)，實(shí)現(xiàn)時(shí)間上的并行；而超標(biāo)量流水線(xiàn)并行以空間換時(shí)間的方法實(shí)現(xiàn)多條流水線(xiàn)的并行[18-21]。

DSP-DAG模型可有效地對(duì)流式數(shù)據(jù)的處理進(jìn)行并行加速，以圖6中某體制信號(hào)的處理為例，定義各階段處理時(shí)間如下：

tp：?jiǎn)蝹€(gè)信號(hào)的預(yù)處理時(shí)間；td：?jiǎn)蝹€(gè)信號(hào)的檢測(cè)時(shí)間；tc：?jiǎn)蝹€(gè)信號(hào)的信道化時(shí)間；ta：?jiǎn)蝹€(gè)信號(hào)的分析時(shí)間；tm：?jiǎn)蝹€(gè)信號(hào)的解調(diào)時(shí)間；te：?jiǎn)蝹€(gè)信號(hào)的解碼時(shí)間；to：?jiǎn)蝹€(gè)信號(hào)的協(xié)議分析時(shí)間。

為方便進(jìn)行性能對(duì)比，假設(shè)圖6為理想化配比模型，在信號(hào)處理各階段所產(chǎn)生的數(shù)據(jù)沒(méi)有堆積，即某處理階段在產(chǎn)生一批次數(shù)據(jù)時(shí)，其上一批次的數(shù)據(jù)已被下個(gè)處理階段消耗完畢。設(shè)Δt為耗時(shí)最長(zhǎng)的虛擬設(shè)備處理每個(gè)子任務(wù)所需執(zhí)行時(shí)間，則：

此時(shí)，DSP-DAG模型可等同視為度為4的超標(biāo)量流水線(xiàn)，與度為1的常規(guī)單標(biāo)量流水線(xiàn)對(duì)比如圖7所示。

采用串行模型執(zhí)行時(shí)，n(設(shè)n=i×4，其中，i為正整數(shù))個(gè)計(jì)算子任務(wù)的總執(zhí)行時(shí)間為：

tSLE=tp+td+tc+ta+tm+te×n+to=11.5Δt,n=8。

采用DSP-DAG模型執(zhí)行時(shí)間，n個(gè)計(jì)算子任務(wù)的總執(zhí)行時(shí)間為：

而2種模型加速比為：

因此，DSP-DAG模型(度為4的超標(biāo)量流水線(xiàn))相對(duì)于傳統(tǒng)流水線(xiàn)的模式極限加速比為4倍。

基于以上分析，采用DSP-DAG模型可有效對(duì)流式數(shù)據(jù)的處理進(jìn)行并行加速，且該模型與Storm拓?fù)淠軌驅(qū)崿F(xiàn)完美契合，發(fā)揮Storm平臺(tái)的優(yōu)勢(shì)。

(a) 常規(guī)單標(biāo)量流水線(xiàn)(度為1)

2.3 Storm平臺(tái)映射

依據(jù)Storm拓?fù)浣Y(jié)構(gòu)，在Storm集群中運(yùn)行的每個(gè)作業(yè)被表示為一個(gè)有向無(wú)環(huán)的拓?fù)鋱D(Topology)。而拓?fù)溆上⒃碨pout組件、處理邏輯Bolt組件，以及組件之間傳遞的消息由Stream/Tuple組成。

為實(shí)現(xiàn)DSP-DAG模型到Storm平臺(tái)的映射，本文將預(yù)處理虛擬設(shè)備定義為PreprocessSpout組件，將檢測(cè)、信道化、分析、解調(diào)、解碼和協(xié)議分析等虛擬設(shè)備分別定義為DetectBolt、ChannelBolt、AnalyzeBolt、DemodBolt、DecodeBolt、ProtocalBolt組件，將各虛擬設(shè)備的輸入、輸出封裝為標(biāo)準(zhǔn)的Stream/Tuple消息，并在構(gòu)建拓?fù)鋾r(shí)定義各組件并發(fā)的數(shù)量。DSP-DAG模型到Storm平臺(tái)的映射示意如圖8所示。

圖8 DSP-DAG與Storm平臺(tái)映射示意Fig.8 Diagram of DSP-DAG and Storm platform mapping

3 驗(yàn)證與測(cè)試

3.1 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)環(huán)境基于1臺(tái)曙光I620-G20服務(wù)器和2臺(tái)曙光W620-G20服務(wù)器，分別配置了2顆Intel Xeon 12核CPU(E5-2680 V3，2.5 GHz)，128 GB DDR3內(nèi)存；其中，2臺(tái)曙光W620-G20服務(wù)器各配置了1顆NVIDIA Tesla K20 m GPU(2 496個(gè)CUDA Core，4 800 MB顯存)，用于實(shí)現(xiàn)部分應(yīng)用性能的加速；服務(wù)器之間采用萬(wàn)兆交換，數(shù)據(jù)存儲(chǔ)于1臺(tái)DS600磁盤(pán)陣列。

服務(wù)器安裝了中標(biāo)麒麟v6.5操作系統(tǒng)，內(nèi)置Storm應(yīng)用環(huán)境及本實(shí)驗(yàn)所需的其他依賴(lài)軟件庫(kù)，具體如下：

JDK版本：jdk.1.8.0_91

Maven版本：apache-maven-3.6.0

Storm版本：storm-1.2.3

Kafka版本：kafka-2.3.1-incubating-src

Zookeeper版本：zookeeper-3.5.6

Python版本：Python-2.7.3

CUDA版本：CUDA Toolkit V7.5

3.2 測(cè)試應(yīng)用

本實(shí)驗(yàn)選用常規(guī)體制衛(wèi)星信號(hào)的自動(dòng)普查應(yīng)用進(jìn)行測(cè)試，實(shí)驗(yàn)進(jìn)行3輪，數(shù)字信號(hào)處理的對(duì)象分別為1 000，2 000和3 000組采樣數(shù)據(jù)文件，數(shù)據(jù)中含頻分多址和時(shí)分多址信號(hào)，數(shù)字信號(hào)處理的目的是獲得信號(hào)的詳細(xì)特征參數(shù)和調(diào)制方式。其中，為方便實(shí)驗(yàn)對(duì)比，每組數(shù)據(jù)文件采樣率fs為500 Ms/s，采樣深度為16 bit，采樣時(shí)長(zhǎng)為8 ms，采集帶寬200 MHz；數(shù)據(jù)為仿真生成，每組數(shù)據(jù)中包含5個(gè)調(diào)制方式為BPSK的頻分多址信號(hào)(符號(hào)速率Rs均為10 Ms/s)和5個(gè)調(diào)制方式為QPSK的時(shí)分多址信號(hào)(符號(hào)速率Rs均為2 Ms/s)。

基于頻分和時(shí)分多址信號(hào)的處理的業(yè)務(wù)特性，將其處理過(guò)程設(shè)計(jì)為數(shù)據(jù)預(yù)處理、寬帶信號(hào)檢測(cè)、多信號(hào)分割、非均勻信道化、通信體制識(shí)別、FDMA信號(hào)特征參數(shù)估計(jì)和TDMA信號(hào)特征參數(shù)估計(jì)等7個(gè)虛擬設(shè)備，基于本文描述的DSP-DAG模型的構(gòu)建方法，搭建本測(cè)試應(yīng)用的數(shù)據(jù)信號(hào)處理拓?fù)鋱D，依據(jù)以下步驟，推算過(guò)程如表1所示，搭建本測(cè)試應(yīng)用的數(shù)據(jù)信號(hào)處理拓?fù)鋱D如圖9所示，等同于度為68的超標(biāo)量流水線(xiàn)。

圖9 常規(guī)體制衛(wèi)星信號(hào)的自動(dòng)普查拓?fù)鋱DFig.9 Automatic general investigation topological graph of conventional system satellite signals

表1 常規(guī)體制衛(wèi)星信號(hào)的自動(dòng)普查拓?fù)鋱D構(gòu)建過(guò)程表Tab.1 Automatic general investigation topological graph construction process table of conventional system satellite signals

注：3臺(tái)曙光服務(wù)器共計(jì)72核，可同時(shí)運(yùn)行144線(xiàn)程，為保證服務(wù)器系統(tǒng)運(yùn)行，分配每服務(wù)器2個(gè)線(xiàn)程用于系統(tǒng)的監(jiān)控運(yùn)行，即虛擬設(shè)備可用138線(xiàn)程，因此調(diào)整因子factor為：factor=∑vi/138；則每虛擬設(shè)備實(shí)例可用配置va為：va=vi/factor。

(1) 統(tǒng)計(jì)各虛擬設(shè)備單任務(wù)處理所需時(shí)長(zhǎng)；均采用曙光W620-G20服務(wù)器進(jìn)行多次測(cè)量取平均值；

(2) 統(tǒng)計(jì)各虛擬設(shè)備所有任務(wù)處理所需總時(shí)長(zhǎng)；

(3) 計(jì)算理想配比條件下，各虛擬設(shè)備所需配置實(shí)例個(gè)數(shù)；

(4) 依據(jù)當(dāng)前實(shí)際測(cè)試環(huán)境，基于可同時(shí)運(yùn)行總線(xiàn)程數(shù)計(jì)算調(diào)整因子，計(jì)算虛擬設(shè)備可配置實(shí)例個(gè)數(shù)；

(5) 各虛擬設(shè)備可配置實(shí)例進(jìn)行歸整計(jì)算。

3.3 測(cè)試結(jié)果與分析

測(cè)試結(jié)果如圖10所示。

圖10 常規(guī)體制衛(wèi)星信號(hào)的自動(dòng)普查任務(wù)處理性能對(duì)比圖Fig.10 Comparison chart of automatic general investigation task processing performance of conventional system satellite signals

實(shí)驗(yàn)結(jié)果表明，采用DSP-DAG超標(biāo)量流水線(xiàn)進(jìn)行加速后，處理速度有了明顯提升，數(shù)據(jù)文件在1 000組以上時(shí)，相對(duì)常規(guī)單標(biāo)量流水線(xiàn)處理方式性能提高了31倍以上。且隨著處理總?cè)蝿?wù)量的提升加速比逐步提高，但加速比趨勢(shì)逐步降低，具體如圖11所示。

圖11 常規(guī)體制衛(wèi)星信號(hào)的自動(dòng)普查任務(wù)加速比趨勢(shì)圖Fig.11 Trend chart of acceleration ratio of automatic general investigation task for conventional system satellite signals

實(shí)驗(yàn)結(jié)果表明，針對(duì)本應(yīng)用設(shè)計(jì)的數(shù)據(jù)信號(hào)處理拓?fù)鋱D，可有效提升處理性能。但該拓?fù)鋱D采用度為68的超標(biāo)量流水技術(shù)，理論加速比可達(dá)到68倍，鑒于測(cè)試結(jié)果加速比小于理論加速比的情況，分析原因包括兩方面內(nèi)容：① 總?cè)蝿?wù)量有限，隨著任務(wù)量的提升加速比會(huì)逐步提高，但會(huì)趨于一個(gè)平衡；② 處理線(xiàn)程的增加，增加了一定的通信開(kāi)銷(xiāo)，在一定程度上阻礙了處理性能的提升，且大量線(xiàn)程對(duì)磁盤(pán)的并發(fā)讀寫(xiě)也是影響性能的主要瓶頸。

4 結(jié)束語(yǔ)

在介紹流處理技術(shù)和Storm原理的基礎(chǔ)上，提出了一種基于Storm的數(shù)字信號(hào)流式處理平臺(tái)。結(jié)合不同體制信號(hào)處理的業(yè)務(wù)特性，及信號(hào)處理過(guò)程中各階段的功能特性，構(gòu)建虛擬設(shè)備責(zé)任矩陣；基于超標(biāo)量流水線(xiàn)并行原理，將各類(lèi)虛擬設(shè)備串接處理某種體制信號(hào)的作業(yè)鏈，構(gòu)建DSP-DAG模型；將虛擬設(shè)備映射為Storm平臺(tái)的Spout/Bolt組件，將DSP-DAG映射為Storm平臺(tái)的Topology，最終實(shí)現(xiàn)基于Storm的數(shù)字信號(hào)流式處理平臺(tái)。實(shí)驗(yàn)結(jié)果表明，提出的DSP-DAG數(shù)字信號(hào)處理模型可有效提高應(yīng)用的整體性能。

同時(shí)，在基于集群進(jìn)行分布式計(jì)算時(shí)，集群中各節(jié)點(diǎn)間的互聯(lián)網(wǎng)絡(luò)以及磁盤(pán)等環(huán)境，均會(huì)對(duì)應(yīng)用性能產(chǎn)生影響，因此，后續(xù)研究集群環(huán)境布設(shè)、處理線(xiàn)程間的通信效率和對(duì)磁盤(pán)的讀寫(xiě)速率等對(duì)應(yīng)用的并發(fā)改善仍具有重要的意義。