施巖龍，王 雪，陸小科

(1. 南京電子技術(shù)研究所， 南京 210039； 2. 南京航空航天大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 南京 210016)

?

·信號(hào)/數(shù)據(jù)處理·

面向多雷達(dá)數(shù)據(jù)融合的并行數(shù)據(jù)編排框架研究

施巖龍1，王 雪2，陸小科1

(1. 南京電子技術(shù)研究所， 南京 210039； 2. 南京航空航天大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 南京 210016)

在多雷達(dá)數(shù)據(jù)融合中，數(shù)據(jù)編排方式是多雷達(dá)組網(wǎng)系統(tǒng)成敗的關(guān)鍵因素之一。隨著數(shù)據(jù)融合系統(tǒng)中處理容量的迅速增長(zhǎng)，串行數(shù)據(jù)編排融合框架已經(jīng)不能滿足多雷達(dá)組網(wǎng)需求。文中針對(duì)大容量數(shù)據(jù)融合系統(tǒng)提出了一種并行數(shù)據(jù)編排框架，使用OpenMP并行技術(shù)進(jìn)行了實(shí)現(xiàn)。仿真結(jié)果表明，并行數(shù)據(jù)編排框架相比較于串行處理方式具有較高的加速比，實(shí)時(shí)性高，滿足了大規(guī)模多雷達(dá)組網(wǎng)的需求，并且具有良好的擴(kuò)展性。

數(shù)據(jù)編排；并行處理；數(shù)據(jù)融合；雷達(dá)組網(wǎng)

0 引 言

信息融合技術(shù)在軍事、民用信息領(lǐng)域有著廣泛的應(yīng)用，多雷達(dá)數(shù)據(jù)融合是信息融合技術(shù)的一種典型應(yīng)用，具有覆蓋面廣、可靠性高以及魯棒性強(qiáng)等特點(diǎn)，在我國(guó)區(qū)域防空、邊防、海防以及民用氣象預(yù)報(bào)等領(lǐng)域發(fā)揮著巨大的作用，如雷達(dá)組網(wǎng)系統(tǒng)、氣象雷達(dá)網(wǎng)等。隨著多雷達(dá)數(shù)據(jù)融合系統(tǒng)的廣泛使用，其處理要求也在不斷的提高，處理規(guī)模和處理容量越來(lái)越大，處理精度也越來(lái)越高，所有這些都對(duì)多傳感器數(shù)據(jù)融合技術(shù)提出了新的要求。

數(shù)據(jù)融合數(shù)據(jù)編排[1-2]是多雷達(dá)數(shù)據(jù)融合處理框架，作為聯(lián)系數(shù)據(jù)融合各大功能模塊的紐帶起著至關(guān)重要的作用，它是各個(gè)模塊發(fā)揮作用的有機(jī)組織者。目前的數(shù)據(jù)編排方式主要有四種：全區(qū)模式、扇區(qū)模式、時(shí)間模式以及柵格模式。文獻(xiàn)[1]對(duì)其優(yōu)缺點(diǎn)以及適用范圍進(jìn)行了深入的研究分析。隨著數(shù)據(jù)融合系統(tǒng)中處理規(guī)模的擴(kuò)大、處理容量的劇增，前兩種數(shù)據(jù)編排方式由于其存儲(chǔ)結(jié)構(gòu)的限制以及雷達(dá)體制的限制，已經(jīng)不能滿足現(xiàn)行環(huán)境下大規(guī)模多雷達(dá)數(shù)據(jù)融合組網(wǎng)的需求。近年來(lái)高性能計(jì)算機(jī)迅速發(fā)展，多核并行編程技術(shù)不斷成熟，為我們使用并行技術(shù)進(jìn)行多雷達(dá)數(shù)據(jù)融合處理[3-5]提供了高效的軟硬件支持。

本文提出了一種面向多雷達(dá)數(shù)據(jù)融合的并行數(shù)據(jù)編排模型，詳細(xì)分析了柵格模式下的數(shù)據(jù)編排方式，根據(jù)其特點(diǎn)設(shè)計(jì)了兩種并行方案，使用OpenMP并行編程技術(shù)[6]實(shí)現(xiàn)了該技術(shù)框架，并在一臺(tái)多核計(jì)算機(jī)上進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，并行數(shù)據(jù)編排框架相比較于串行處理方式具有較高的加速比，實(shí)時(shí)性高，滿足了大規(guī)模多雷達(dá)組網(wǎng)的需求，并且具有良好的擴(kuò)展性。

1 柵格模式并行數(shù)據(jù)編排模型的設(shè)計(jì)與實(shí)現(xiàn)

柵格模式是一種按照空域劃分來(lái)進(jìn)行數(shù)據(jù)融合處理的數(shù)據(jù)編排方式。在雷達(dá)部署確定后，按威力覆蓋范圍將其組網(wǎng)空域進(jìn)行空間劃分，一般按照地理坐標(biāo)把監(jiān)控區(qū)域劃分成M×N的網(wǎng)格，收到的數(shù)據(jù)按照對(duì)應(yīng)位置的網(wǎng)格存儲(chǔ)。整個(gè)數(shù)據(jù)編排方式以空間的覆蓋為節(jié)拍來(lái)進(jìn)行處理，將劃分好的網(wǎng)格進(jìn)行行列編號(hào)，對(duì)每個(gè)網(wǎng)格根據(jù)其雷達(dá)情報(bào)數(shù)據(jù)所在的位置進(jìn)行點(diǎn)跡、航

跡、系統(tǒng)融合航跡的填充。即每個(gè)網(wǎng)格中都存儲(chǔ)有不同體制雷達(dá)的點(diǎn)跡、航跡及系統(tǒng)融合航跡。如圖1所示，當(dāng)融合系統(tǒng)開始工作時(shí)，按照順序從網(wǎng)格的第(0,0)編號(hào)開始遍歷處理，分別進(jìn)行航跡關(guān)聯(lián)、更新和起始，一直到(M,N)網(wǎng)格，然后再?gòu)?0,0)開始如此周而復(fù)始。

柵格模式是一種空間融合數(shù)據(jù)處理編排方式，按照空域的劃分進(jìn)行分塊、分區(qū)域的融合，由于區(qū)域、塊空間之間具有低耦合性，這就為數(shù)據(jù)編排并行處理提供了基礎(chǔ)。

圖1 柵格模式數(shù)據(jù)融合處理流程

1.1 并行方案A

在多雷達(dá)數(shù)據(jù)融合處理過(guò)程中，雷達(dá)數(shù)據(jù)預(yù)處理、系統(tǒng)誤差配準(zhǔn)、航跡起始、航跡相關(guān)、航跡更新這五個(gè)模塊是嚴(yán)格順序執(zhí)行的。但是在柵格模式下，通過(guò)去相關(guān)，即當(dāng)前格子只與上下左右N(這里N取9)個(gè)格子相關(guān)，與其他格子無(wú)關(guān)(特別需要注意的是，在單個(gè)網(wǎng)格進(jìn)行處理時(shí)，考慮到多目標(biāo)問(wèn)題，對(duì)網(wǎng)格的大小劃分需要仔細(xì)研究，用來(lái)解決格子之間的去相關(guān)性)。這樣與之無(wú)關(guān)的格子之間就可以實(shí)現(xiàn)并行處理，即不相關(guān)的格子進(jìn)行并行處理，而在每一個(gè)格子內(nèi)部還是順序執(zhí)行的，整個(gè)處理流程如圖2所示。

圖2 數(shù)據(jù)融合處理流程

圖3描述了劃分格子后的數(shù)據(jù)融合并發(fā)處理框架，在第一次遍歷中，每個(gè)格子并行做步驟①，然后做一次同步，等所有的格子都做完①；然后，再?gòu)念^開始并行做步驟②，同步，等待所有格子做步驟②；再次遍歷，大家并行做步驟③，同步；等所有格子做完，即完成一輪融合處理。然后整體格子向前進(jìn)一格，循環(huán)執(zhí)行此流程。

在整個(gè)處理過(guò)程中，對(duì)于每一個(gè)處理步驟，對(duì)于不相關(guān)的格子(i,j),(i,j+3), (i,j+6),(i+3,j),(i+3,j+3),(i+3,j+6),……都可以進(jìn)行并發(fā)處理，但在航跡起始、航跡相關(guān)以及航跡更新這些不同的處理步驟之間仍然是順序處理，其并發(fā)塊及處理順序如圖4所示。

圖3 柵格并行掃描示意圖

圖4 并行處理示意圖

1.2 并行方案B

將掃描區(qū)域進(jìn)行大網(wǎng)格(1個(gè)大網(wǎng)格由4×4個(gè)小網(wǎng)格構(gòu)成)劃分，如圖5所示，在每個(gè)大網(wǎng)格同時(shí)做步驟①，②，③。需要注意的是在進(jìn)行大網(wǎng)格劃分時(shí)要注意網(wǎng)格之間的關(guān)聯(lián)性，如圖中深色部分之間沒(méi)有關(guān)聯(lián)性，淺色部分之間沒(méi)有關(guān)聯(lián)性，深色與淺色部分同時(shí)進(jìn)行處理，直到遍歷完整個(gè)網(wǎng)格，做一次同步。但是需要注意的是，這種方式存在邊界問(wèn)題，即圖中陰影部分。在計(jì)算陰影部分的每一個(gè)小格子時(shí)，需要用到相鄰大格子里面的數(shù)據(jù)。對(duì)于這些存在關(guān)聯(lián)性的區(qū)域邊界，在每一次遍歷完成后，需要把邊界數(shù)據(jù)重新計(jì)算。這樣會(huì)影響一些計(jì)算效率，但系統(tǒng)并發(fā)性有了顯著提高，同時(shí)節(jié)省了方案A中每個(gè)步驟完成后的同步時(shí)間。

圖5 并行方案B

1.3 柵格模式并行處理方式的實(shí)現(xiàn)

當(dāng)前最流行的高性能并行體系結(jié)構(gòu)中比較常用的并行編程環(huán)境分為2類：消息傳遞和共享存儲(chǔ)。OpenMP是用于共享內(nèi)存并行系統(tǒng)的多線程程序設(shè)計(jì)的一套指導(dǎo)性的編譯處理方案，它提供的這種對(duì)于并行描述的高層抽象降低了并行編程的難度和復(fù)雜度。線程粒度和負(fù)載平衡等是傳統(tǒng)多線程程序設(shè)計(jì)中的難題，但在OpenMP中，OpenMP庫(kù)從程序員手中接管了部分這兩方面的工作。在多雷達(dá)數(shù)據(jù)融合并行數(shù)據(jù)編排框架的實(shí)施過(guò)程中我們選用OpenMP。

對(duì)于并行方案A，核心偽代碼如下：

While(i

{

航跡起始：

#pragm a omp parallel for

For(i=starti;i

For(j=startj;j

TrackInit(i,j);

#pragma omp barrier;

航跡相關(guān)：

#pragma omp parallel for

For(i=starti;i

For(j=startj;j

TrackRelation(i,j);

#pragma omp barrier;

航跡更新：

#pragm a omp parallel for

For(i=starti;i

For(j=startj;j

TrackUpdate(i,j);

#pragma omp barrier;

}

對(duì)于并行方案B，核心偽代碼如下：

While(i

{

#pragm a omp parallel for

For(i=starti;i

For(j=startj;j

航跡起始：TrackInit(i,j);

航跡相關(guān)：TrackRelation(i,j);

航跡更新：TrackUpdate(i,j);

#pragma omp barrier;

取出邊界數(shù)據(jù)，再次計(jì)算上述三個(gè)步驟。

}

針對(duì)柵格模式下的這兩種并行方案，表1將其和串行處理方式進(jìn)行了優(yōu)缺點(diǎn)分析。傳統(tǒng)的串行處理方式實(shí)現(xiàn)比較簡(jiǎn)單，但是其計(jì)算容量比較小，當(dāng)目標(biāo)數(shù)量很大時(shí)已經(jīng)不能滿足實(shí)時(shí)性的要求，因此它只適合于小型雷達(dá)組網(wǎng)系統(tǒng)。并行方案A采用較細(xì)粒度的并行方式，按照數(shù)據(jù)融合步驟進(jìn)行全網(wǎng)掃描。這種方式并發(fā)度較低，存在每個(gè)網(wǎng)格完成時(shí)間不一的現(xiàn)象，在同步時(shí)有可能出現(xiàn)較長(zhǎng)時(shí)間的等待。并行方案B采用的是區(qū)域劃分的粗粒度并行，并發(fā)度較高，但是存在邊界問(wèn)題，需對(duì)具有相關(guān)性的邊界進(jìn)行重新計(jì)算，會(huì)影響一部分計(jì)算效率。但總的來(lái)說(shuō)，這兩種并行方案的計(jì)算效率都遠(yuǎn)遠(yuǎn)高于串行處理方式，能夠很好地滿足大規(guī)模組網(wǎng)的需求，提高實(shí)時(shí)性。通過(guò)使用OpenMP并行技術(shù)，能夠?qū)⑷蝿?wù)盡可能多地分配到計(jì)算機(jī)的各個(gè)核心上，充分利用計(jì)算機(jī)資源。

表1 數(shù)據(jù)編排串并行方案分析

2 仿真實(shí)驗(yàn)和結(jié)果分析

仿真場(chǎng)景：在4800km×3600km區(qū)域內(nèi)模擬5 000批目標(biāo)，5部雷達(dá)同時(shí)對(duì)該區(qū)域內(nèi)的目標(biāo)進(jìn)行融合處理，具體實(shí)驗(yàn)仿真場(chǎng)景如圖6所示。

圖6 多雷達(dá)數(shù)據(jù)融合仿真場(chǎng)景

實(shí)驗(yàn)平臺(tái)：一臺(tái)曙光A840-G10(CPU A6212 *2 2.8 GB，8核心，64 GB內(nèi)存)服務(wù)器，操作系統(tǒng)為RedHat 6.2，使用OpenMP并行技術(shù)[6]進(jìn)行實(shí)現(xiàn)。

在相同計(jì)算容量下，分別用傳統(tǒng)的串行處理程序和本文提出的兩種并行處理方案進(jìn)行了對(duì)比。圖7為串行數(shù)據(jù)編排框架與兩種并行框架下目標(biāo)處理容量與處理時(shí)延的關(guān)系，可以看出：

(1) 串行框架下，隨著處理目標(biāo)數(shù)量的增加，系統(tǒng)處理時(shí)延明顯增加，甚至導(dǎo)致系統(tǒng)阻塞，瞬間延時(shí)明顯增加；

(2) 采用并行框架的處理模式，除了開始系統(tǒng)用于啟動(dòng)線程開銷導(dǎo)致延時(shí)比較多以外，整個(gè)處理過(guò)程中系統(tǒng)處理時(shí)延顯著小于串行框架，而且相對(duì)比較平穩(wěn)，隨著目標(biāo)的增加時(shí)延增長(zhǎng)也不大；

(3) 對(duì)于并行框架A和B，其處理時(shí)延相當(dāng)，方案B隨著目標(biāo)的增加其具有更短的處理時(shí)延，這是由于其處理方式上節(jié)省了大量的數(shù)據(jù)同步時(shí)間得到的收益。

圖7 不同數(shù)據(jù)編排框架下的處理延時(shí)對(duì)比

采用不同數(shù)據(jù)編排框架，其CPU核心的負(fù)載是有顯著區(qū)別的。串行框架下所有處理流程按順序處理，單個(gè)CPU處理核心滿負(fù)荷工作，無(wú)法將融合處理分配到其它核心上去，導(dǎo)致某個(gè)CPU核心滿負(fù)荷工作，而其它核心卻處于空閑狀態(tài)，極大的浪費(fèi)計(jì)算機(jī)資源。而并行框架下，通過(guò)對(duì)融合架構(gòu)的并行設(shè)計(jì)，將計(jì)算機(jī)資源充分利用起來(lái)。

在實(shí)驗(yàn)過(guò)程中，對(duì)兩種并行架構(gòu)程序進(jìn)行了7×24 h的連續(xù)運(yùn)行，系統(tǒng)均能可靠運(yùn)行，同時(shí)得到相對(duì)穩(wěn)定的加速比，具有良好的魯棒性。圖8、圖9為實(shí)驗(yàn)中不同數(shù)據(jù)編排框架下CPU的負(fù)載情況，可以看出串行框架下，CPU資源分配嚴(yán)重不均勻；而并行數(shù)據(jù)編排框架下，CPU資源得到了最佳效用，發(fā)揮出了高性能計(jì)算的優(yōu)勢(shì)。

圖8 串行數(shù)據(jù)編排框架下的負(fù)載

圖9 并行數(shù)據(jù)編排框架下的負(fù)載

3 結(jié)束語(yǔ)

本文提出一種大規(guī)模多雷達(dá)數(shù)據(jù)融合并行數(shù)據(jù)編排框架，重點(diǎn)采用并行技術(shù)解決多雷達(dá)數(shù)據(jù)融合處理問(wèn)題[4]。該設(shè)計(jì)框架充分考慮高性能計(jì)算機(jī)多CPU核心資源，利用并行設(shè)計(jì)思想將多雷達(dá)數(shù)據(jù)融合在空域上分塊進(jìn)行并發(fā)處理，從根本上解決了大規(guī)模、大容量數(shù)據(jù)融合處理的處理效率低、實(shí)時(shí)處理能力不足以及計(jì)算資源分配不均等問(wèn)題。仿真實(shí)驗(yàn)結(jié)果表明，并行數(shù)據(jù)編排框架相比較于串行處理方式具有較高的加速比，實(shí)時(shí)性高，可靠性強(qiáng)，滿足了大規(guī)模多雷達(dá)組網(wǎng)的需求，并且具有良好的擴(kuò)展性和魯棒性。

[1] 周 琳，施巖龍. 數(shù)據(jù)編排技術(shù)在多雷達(dá)數(shù)據(jù)融合中的應(yīng)用研究[C].中國(guó)航空學(xué)會(huì)首屆全國(guó)信息融合學(xué)會(huì)論文集. 南京：南京電子技術(shù)研究所, 2009: 270-273. Zhou Lin, Shi Yanlong. Application of data layout techniques in multi radar data fusion[C]// The First National Information Fusion Society of China Aviation Society. Nanjing: Nanjing Research Institute of Electronics Technology, 2009: 270-273.

[2] 胡昌林，鞠 鳴，孫 偉. 多雷達(dá)數(shù)據(jù)編排方法研究[J]. 現(xiàn)代雷達(dá)，2009,31(6): 56-59. Hu Changlin, Ju Ming, Sun Wei. A study on multi-radar data arrangement methods[J]. Modern Radar, 2009, 31(6): 56-59.

[3] 夏學(xué)知，涂 葵，陳建勛,等. 多傳感器數(shù)據(jù)融合并行處理技術(shù)[J]. 計(jì)算機(jī)應(yīng)用，2005, 25(8): 1815-1817. Xia Xuezhi, Tu Kui, Chen Jianjun, et al. Parallel processing techniques of multi-sensor data fusion[J]. Computer Applications, 2005, 25(8): 1815-1817.

[4] 丁 龍，王寶樹，喬向東, 等. 基于群機(jī)并行的數(shù)據(jù)融合算法設(shè)計(jì)與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程與應(yīng)用，2001,37(19): 92-94. Ding Long, Wang Baoshu, Qiao Xiangdong, et al. Design and implementation of data fusion algorithm based on clustrer of workstations(COW) or network of workstations(NOW)[J]. Computer Engineering and Applications, 2001, 37(19): 92-94.

[5] Storms P P A, van Veelen J.B. A process distribution approach for multi sensor data fusion systems based on geographical dataspace partitioning[C]// IEE Target Tracking: Algorithms and Applications. Breda, Netherlands: IEEE Press, 2001: 1-9.

[6] Chapman B, Jost G, Van Der Pas R. Using openMP: portable shared memory parallel programming[M]. [S.l.]: MIT Press, 2008.

施巖龍 男，1979年生，碩士，高級(jí)工程師。研究方向?yàn)槎鄠鞲衅鲾?shù)據(jù)融合，雷達(dá)數(shù)據(jù)處理，彈道目標(biāo)跟蹤與定軌。

王 雪 女，1990年生，碩士研究生。研究方向?yàn)榫W(wǎng)格與分布計(jì)算，高性能計(jì)算。

陸小科 男，1981年生，碩士，工程師。研究方向?yàn)槎鄠鞲衅鲾?shù)據(jù)融合。

A Study on Parallel Data Management Framework of Multi-radar Data Fusion

SHI Yanlong1，WANG Xue2，LU Xiaoke1

(1. Nanjing Research Institute of Electronics Technology, Nanjing 210039, China) (2. College of Computer Science and Technology,Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China)

Data management is one of the key factors in multi-radar data fusion. As the process capacity increased rapidly, the framework of serial data management cannot satisfy the requirements of data fusion any more. In this paper, a framework of parallel data management model is presented, and an OpenMP method of parallel technology is used to implement it. Simulation show that the parallel data management framework use to data fusion obtain a good speedup, it can satisfy the large scale multi-radar data fusion and has a good scalability.

data management; parallel process; data fusion; radar net

10.16592/ j.cnki.1004-7859.2015.10.010

施巖龍 Email：sylics@126.com

2015-06-10

2015-09-15

TN957; TP39

A

1004-7859(2015)10-0039-04