施巖龍，王 雪，陸小科

(1. 南京電子技術(shù)研究所， 南京 210039； 2. 南京航空航天大學(xué) 計算機科學(xué)與技術(shù)學(xué)院， 南京 210016)

?

·信號/數(shù)據(jù)處理·

面向多雷達數(shù)據(jù)融合的并行數(shù)據(jù)編排框架研究

施巖龍1，王 雪2，陸小科1

(1. 南京電子技術(shù)研究所， 南京 210039； 2. 南京航空航天大學(xué) 計算機科學(xué)與技術(shù)學(xué)院， 南京 210016)

在多雷達數(shù)據(jù)融合中，數(shù)據(jù)編排方式是多雷達組網(wǎng)系統(tǒng)成敗的關(guān)鍵因素之一。隨著數(shù)據(jù)融合系統(tǒng)中處理容量的迅速增長，串行數(shù)據(jù)編排融合框架已經(jīng)不能滿足多雷達組網(wǎng)需求。文中針對大容量數(shù)據(jù)融合系統(tǒng)提出了一種并行數(shù)據(jù)編排框架，使用OpenMP并行技術(shù)進行了實現(xiàn)。仿真結(jié)果表明，并行數(shù)據(jù)編排框架相比較于串行處理方式具有較高的加速比，實時性高，滿足了大規(guī)模多雷達組網(wǎng)的需求，并且具有良好的擴展性。

數(shù)據(jù)編排；并行處理；數(shù)據(jù)融合；雷達組網(wǎng)

0 引 言

信息融合技術(shù)在軍事、民用信息領(lǐng)域有著廣泛的應(yīng)用，多雷達數(shù)據(jù)融合是信息融合技術(shù)的一種典型應(yīng)用，具有覆蓋面廣、可靠性高以及魯棒性強等特點，在我國區(qū)域防空、邊防、海防以及民用氣象預(yù)報等領(lǐng)域發(fā)揮著巨大的作用，如雷達組網(wǎng)系統(tǒng)、氣象雷達網(wǎng)等。隨著多雷達數(shù)據(jù)融合系統(tǒng)的廣泛使用，其處理要求也在不斷的提高，處理規(guī)模和處理容量越來越大，處理精度也越來越高，所有這些都對多傳感器數(shù)據(jù)融合技術(shù)提出了新的要求。

數(shù)據(jù)融合數(shù)據(jù)編排[1-2]是多雷達數(shù)據(jù)融合處理框架，作為聯(lián)系數(shù)據(jù)融合各大功能模塊的紐帶起著至關(guān)重要的作用，它是各個模塊發(fā)揮作用的有機組織者。目前的數(shù)據(jù)編排方式主要有四種：全區(qū)模式、扇區(qū)模式、時間模式以及柵格模式。文獻[1]對其優(yōu)缺點以及適用范圍進行了深入的研究分析。隨著數(shù)據(jù)融合系統(tǒng)中處理規(guī)模的擴大、處理容量的劇增，前兩種數(shù)據(jù)編排方式由于其存儲結(jié)構(gòu)的限制以及雷達體制的限制，已經(jīng)不能滿足現(xiàn)行環(huán)境下大規(guī)模多雷達數(shù)據(jù)融合組網(wǎng)的需求。近年來高性能計算機迅速發(fā)展，多核并行編程技術(shù)不斷成熟，為我們使用并行技術(shù)進行多雷達數(shù)據(jù)融合處理[3-5]提供了高效的軟硬件支持。

本文提出了一種面向多雷達數(shù)據(jù)融合的并行數(shù)據(jù)編排模型，詳細分析了柵格模式下的數(shù)據(jù)編排方式，根據(jù)其特點設(shè)計了兩種并行方案，使用OpenMP并行編程技術(shù)[6]實現(xiàn)了該技術(shù)框架，并在一臺多核計算機上進行了實驗。實驗結(jié)果表明，并行數(shù)據(jù)編排框架相比較于串行處理方式具有較高的加速比，實時性高，滿足了大規(guī)模多雷達組網(wǎng)的需求，并且具有良好的擴展性。

1 柵格模式并行數(shù)據(jù)編排模型的設(shè)計與實現(xiàn)

柵格模式是一種按照空域劃分來進行數(shù)據(jù)融合處理的數(shù)據(jù)編排方式。在雷達部署確定后，按威力覆蓋范圍將其組網(wǎng)空域進行空間劃分，一般按照地理坐標(biāo)把監(jiān)控區(qū)域劃分成M×N的網(wǎng)格，收到的數(shù)據(jù)按照對應(yīng)位置的網(wǎng)格存儲。整個數(shù)據(jù)編排方式以空間的覆蓋為節(jié)拍來進行處理，將劃分好的網(wǎng)格進行行列編號，對每個網(wǎng)格根據(jù)其雷達情報數(shù)據(jù)所在的位置進行點跡、航

跡、系統(tǒng)融合航跡的填充。即每個網(wǎng)格中都存儲有不同體制雷達的點跡、航跡及系統(tǒng)融合航跡。如圖1所示，當(dāng)融合系統(tǒng)開始工作時，按照順序從網(wǎng)格的第(0,0)編號開始遍歷處理，分別進行航跡關(guān)聯(lián)、更新和起始，一直到(M,N)網(wǎng)格，然后再從(0,0)開始如此周而復(fù)始。

柵格模式是一種空間融合數(shù)據(jù)處理編排方式，按照空域的劃分進行分塊、分區(qū)域的融合，由于區(qū)域、塊空間之間具有低耦合性，這就為數(shù)據(jù)編排并行處理提供了基礎(chǔ)。

圖1 柵格模式數(shù)據(jù)融合處理流程

1.1 并行方案A

在多雷達數(shù)據(jù)融合處理過程中，雷達數(shù)據(jù)預(yù)處理、系統(tǒng)誤差配準(zhǔn)、航跡起始、航跡相關(guān)、航跡更新這五個模塊是嚴(yán)格順序執(zhí)行的。但是在柵格模式下，通過去相關(guān)，即當(dāng)前格子只與上下左右N(這里N取9)個格子相關(guān)，與其他格子無關(guān)(特別需要注意的是，在單個網(wǎng)格進行處理時，考慮到多目標(biāo)問題，對網(wǎng)格的大小劃分需要仔細研究，用來解決格子之間的去相關(guān)性)。這樣與之無關(guān)的格子之間就可以實現(xiàn)并行處理，即不相關(guān)的格子進行并行處理，而在每一個格子內(nèi)部還是順序執(zhí)行的，整個處理流程如圖2所示。

圖2 數(shù)據(jù)融合處理流程

圖3描述了劃分格子后的數(shù)據(jù)融合并發(fā)處理框架，在第一次遍歷中，每個格子并行做步驟①，然后做一次同步，等所有的格子都做完①；然后，再從頭開始并行做步驟②，同步，等待所有格子做步驟②；再次遍歷，大家并行做步驟③，同步；等所有格子做完，即完成一輪融合處理。然后整體格子向前進一格，循環(huán)執(zhí)行此流程。

在整個處理過程中，對于每一個處理步驟，對于不相關(guān)的格子(i,j),(i,j+3), (i,j+6),(i+3,j),(i+3,j+3),(i+3,j+6),……都可以進行并發(fā)處理，但在航跡起始、航跡相關(guān)以及航跡更新這些不同的處理步驟之間仍然是順序處理，其并發(fā)塊及處理順序如圖4所示。

圖3 柵格并行掃描示意圖

圖4 并行處理示意圖

1.2 并行方案B

將掃描區(qū)域進行大網(wǎng)格(1個大網(wǎng)格由4×4個小網(wǎng)格構(gòu)成)劃分，如圖5所示，在每個大網(wǎng)格同時做步驟①，②，③。需要注意的是在進行大網(wǎng)格劃分時要注意網(wǎng)格之間的關(guān)聯(lián)性，如圖中深色部分之間沒有關(guān)聯(lián)性，淺色部分之間沒有關(guān)聯(lián)性，深色與淺色部分同時進行處理，直到遍歷完整個網(wǎng)格，做一次同步。但是需要注意的是，這種方式存在邊界問題，即圖中陰影部分。在計算陰影部分的每一個小格子時，需要用到相鄰大格子里面的數(shù)據(jù)。對于這些存在關(guān)聯(lián)性的區(qū)域邊界，在每一次遍歷完成后，需要把邊界數(shù)據(jù)重新計算。這樣會影響一些計算效率，但系統(tǒng)并發(fā)性有了顯著提高，同時節(jié)省了方案A中每個步驟完成后的同步時間。

圖5 并行方案B

1.3 柵格模式并行處理方式的實現(xiàn)

當(dāng)前最流行的高性能并行體系結(jié)構(gòu)中比較常用的并行編程環(huán)境分為2類：消息傳遞和共享存儲。OpenMP是用于共享內(nèi)存并行系統(tǒng)的多線程程序設(shè)計的一套指導(dǎo)性的編譯處理方案，它提供的這種對于并行描述的高層抽象降低了并行編程的難度和復(fù)雜度。線程粒度和負載平衡等是傳統(tǒng)多線程程序設(shè)計中的難題，但在OpenMP中，OpenMP庫從程序員手中接管了部分這兩方面的工作。在多雷達數(shù)據(jù)融合并行數(shù)據(jù)編排框架的實施過程中我們選用OpenMP。

對于并行方案A，核心偽代碼如下：

While(i

{

航跡起始：

#pragm a omp parallel for

For(i=starti;i

For(j=startj;j

TrackInit(i,j);

#pragma omp barrier;

航跡相關(guān)：

#pragma omp parallel for

For(i=starti;i

For(j=startj;j

TrackRelation(i,j);

#pragma omp barrier;

航跡更新：

#pragm a omp parallel for

For(i=starti;i

For(j=startj;j

TrackUpdate(i,j);

#pragma omp barrier;

}

對于并行方案B，核心偽代碼如下：

While(i

{

#pragm a omp parallel for

For(i=starti;i

For(j=startj;j

航跡起始：TrackInit(i,j);

航跡相關(guān)：TrackRelation(i,j);

航跡更新：TrackUpdate(i,j);

#pragma omp barrier;

取出邊界數(shù)據(jù)，再次計算上述三個步驟。

}

針對柵格模式下的這兩種并行方案，表1將其和串行處理方式進行了優(yōu)缺點分析。傳統(tǒng)的串行處理方式實現(xiàn)比較簡單，但是其計算容量比較小，當(dāng)目標(biāo)數(shù)量很大時已經(jīng)不能滿足實時性的要求，因此它只適合于小型雷達組網(wǎng)系統(tǒng)。并行方案A采用較細粒度的并行方式，按照數(shù)據(jù)融合步驟進行全網(wǎng)掃描。這種方式并發(fā)度較低，存在每個網(wǎng)格完成時間不一的現(xiàn)象，在同步時有可能出現(xiàn)較長時間的等待。并行方案B采用的是區(qū)域劃分的粗粒度并行，并發(fā)度較高，但是存在邊界問題，需對具有相關(guān)性的邊界進行重新計算，會影響一部分計算效率。但總的來說，這兩種并行方案的計算效率都遠遠高于串行處理方式，能夠很好地滿足大規(guī)模組網(wǎng)的需求，提高實時性。通過使用OpenMP并行技術(shù)，能夠?qū)⑷蝿?wù)盡可能多地分配到計算機的各個核心上，充分利用計算機資源。

表1 數(shù)據(jù)編排串并行方案分析

2 仿真實驗和結(jié)果分析

仿真場景：在4800km×3600km區(qū)域內(nèi)模擬5 000批目標(biāo)，5部雷達同時對該區(qū)域內(nèi)的目標(biāo)進行融合處理，具體實驗仿真場景如圖6所示。

圖6 多雷達數(shù)據(jù)融合仿真場景

實驗平臺：一臺曙光A840-G10(CPU A6212 *2 2.8 GB，8核心，64 GB內(nèi)存)服務(wù)器，操作系統(tǒng)為RedHat 6.2，使用OpenMP并行技術(shù)[6]進行實現(xiàn)。

在相同計算容量下，分別用傳統(tǒng)的串行處理程序和本文提出的兩種并行處理方案進行了對比。圖7為串行數(shù)據(jù)編排框架與兩種并行框架下目標(biāo)處理容量與處理時延的關(guān)系，可以看出：

(1) 串行框架下，隨著處理目標(biāo)數(shù)量的增加，系統(tǒng)處理時延明顯增加，甚至導(dǎo)致系統(tǒng)阻塞，瞬間延時明顯增加；

(2) 采用并行框架的處理模式，除了開始系統(tǒng)用于啟動線程開銷導(dǎo)致延時比較多以外，整個處理過程中系統(tǒng)處理時延顯著小于串行框架，而且相對比較平穩(wěn)，隨著目標(biāo)的增加時延增長也不大；

(3) 對于并行框架A和B，其處理時延相當(dāng)，方案B隨著目標(biāo)的增加其具有更短的處理時延，這是由于其處理方式上節(jié)省了大量的數(shù)據(jù)同步時間得到的收益。

圖7 不同數(shù)據(jù)編排框架下的處理延時對比

采用不同數(shù)據(jù)編排框架，其CPU核心的負載是有顯著區(qū)別的。串行框架下所有處理流程按順序處理，單個CPU處理核心滿負荷工作，無法將融合處理分配到其它核心上去，導(dǎo)致某個CPU核心滿負荷工作，而其它核心卻處于空閑狀態(tài)，極大的浪費計算機資源。而并行框架下，通過對融合架構(gòu)的并行設(shè)計，將計算機資源充分利用起來。

在實驗過程中，對兩種并行架構(gòu)程序進行了7×24 h的連續(xù)運行，系統(tǒng)均能可靠運行，同時得到相對穩(wěn)定的加速比，具有良好的魯棒性。圖8、圖9為實驗中不同數(shù)據(jù)編排框架下CPU的負載情況，可以看出串行框架下，CPU資源分配嚴(yán)重不均勻；而并行數(shù)據(jù)編排框架下，CPU資源得到了最佳效用，發(fā)揮出了高性能計算的優(yōu)勢。

圖8 串行數(shù)據(jù)編排框架下的負載

圖9 并行數(shù)據(jù)編排框架下的負載

3 結(jié)束語

本文提出一種大規(guī)模多雷達數(shù)據(jù)融合并行數(shù)據(jù)編排框架，重點采用并行技術(shù)解決多雷達數(shù)據(jù)融合處理問題[4]。該設(shè)計框架充分考慮高性能計算機多CPU核心資源，利用并行設(shè)計思想將多雷達數(shù)據(jù)融合在空域上分塊進行并發(fā)處理，從根本上解決了大規(guī)模、大容量數(shù)據(jù)融合處理的處理效率低、實時處理能力不足以及計算資源分配不均等問題。仿真實驗結(jié)果表明，并行數(shù)據(jù)編排框架相比較于串行處理方式具有較高的加速比，實時性高，可靠性強，滿足了大規(guī)模多雷達組網(wǎng)的需求，并且具有良好的擴展性和魯棒性。

[1] 周 琳，施巖龍. 數(shù)據(jù)編排技術(shù)在多雷達數(shù)據(jù)融合中的應(yīng)用研究[C].中國航空學(xué)會首屆全國信息融合學(xué)會論文集. 南京：南京電子技術(shù)研究所, 2009: 270-273. Zhou Lin, Shi Yanlong. Application of data layout techniques in multi radar data fusion[C]// The First National Information Fusion Society of China Aviation Society. Nanjing: Nanjing Research Institute of Electronics Technology, 2009: 270-273.

[2] 胡昌林，鞠 鳴，孫 偉. 多雷達數(shù)據(jù)編排方法研究[J]. 現(xiàn)代雷達，2009,31(6): 56-59. Hu Changlin, Ju Ming, Sun Wei. A study on multi-radar data arrangement methods[J]. Modern Radar, 2009, 31(6): 56-59.

[3] 夏學(xué)知，涂 葵，陳建勛,等. 多傳感器數(shù)據(jù)融合并行處理技術(shù)[J]. 計算機應(yīng)用，2005, 25(8): 1815-1817. Xia Xuezhi, Tu Kui, Chen Jianjun, et al. Parallel processing techniques of multi-sensor data fusion[J]. Computer Applications, 2005, 25(8): 1815-1817.

[4] 丁 龍，王寶樹，喬向東, 等. 基于群機并行的數(shù)據(jù)融合算法設(shè)計與實現(xiàn)[J]. 計算機工程與應(yīng)用，2001,37(19): 92-94. Ding Long, Wang Baoshu, Qiao Xiangdong, et al. Design and implementation of data fusion algorithm based on clustrer of workstations(COW) or network of workstations(NOW)[J]. Computer Engineering and Applications, 2001, 37(19): 92-94.

[5] Storms P P A, van Veelen J.B. A process distribution approach for multi sensor data fusion systems based on geographical dataspace partitioning[C]// IEE Target Tracking: Algorithms and Applications. Breda, Netherlands: IEEE Press, 2001: 1-9.

[6] Chapman B, Jost G, Van Der Pas R. Using openMP: portable shared memory parallel programming[M]. [S.l.]: MIT Press, 2008.

施巖龍 男，1979年生，碩士，高級工程師。研究方向為多傳感器數(shù)據(jù)融合，雷達數(shù)據(jù)處理，彈道目標(biāo)跟蹤與定軌。

王 雪 女，1990年生，碩士研究生。研究方向為網(wǎng)格與分布計算，高性能計算。

陸小科 男，1981年生，碩士，工程師。研究方向為多傳感器數(shù)據(jù)融合。

A Study on Parallel Data Management Framework of Multi-radar Data Fusion

SHI Yanlong1，WANG Xue2，LU Xiaoke1

(1. Nanjing Research Institute of Electronics Technology, Nanjing 210039, China) (2. College of Computer Science and Technology,Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China)

Data management is one of the key factors in multi-radar data fusion. As the process capacity increased rapidly, the framework of serial data management cannot satisfy the requirements of data fusion any more. In this paper, a framework of parallel data management model is presented, and an OpenMP method of parallel technology is used to implement it. Simulation show that the parallel data management framework use to data fusion obtain a good speedup, it can satisfy the large scale multi-radar data fusion and has a good scalability.

data management; parallel process; data fusion; radar net

10.16592/ j.cnki.1004-7859.2015.10.010

施巖龍 Email：sylics@126.com

2015-06-10

2015-09-15

TN957; TP39

A

1004-7859(2015)10-0039-04