陳陽春，孫清洋，舒　汀，唐　斌，郁文賢

(上海交通大學 上海市智能探測與識別重點實驗室,　上海 200240)

?

·總體工程·

基于HLA的彈載SAR快速數(shù)字仿真與評估系統(tǒng)

陳陽春，孫清洋，舒汀，唐斌，郁文賢

(上海交通大學 上海市智能探測與識別重點實驗室,上海 200240)

為克服通常情況下在單臺計算機上分時、分步完成整個彈載合成孔徑雷達(SAR)系統(tǒng)仿真的耗時與繁瑣，文中基于高級體系結(jié)構(gòu)(HLA)的獨有架構(gòu)，采用圖形處理器(GPU)作為處理器，搭建了包括主控、航跡與姿態(tài)、目標與場景建模、回波、干擾、SAR成像處理、仿真評估多個聯(lián)邦成員在內(nèi)的彈載SAR快速數(shù)字仿真與評估系統(tǒng)。對系統(tǒng)性能進行多組數(shù)據(jù)實測仿真與評估分析，相對傳統(tǒng)方法將性能提升數(shù)個量級，驗證了該系統(tǒng)的正確性與高效性。

合成孔徑雷達；數(shù)字仿真；高級體系結(jié)構(gòu)；聯(lián)邦；運行支撐環(huán)境；圖形處理器

0　引　言

合成孔徑雷達(SAR)自身所具有的獨特的全天時、全天候工作和高分辨率成像的特性,使得SAR系統(tǒng)在民用和軍用方面都發(fā)揮了極其重要的作用。與常規(guī)機載和星載SAR不同，彈載SAR有更快的平臺飛行速度和更強的機動性。彈載SAR在外場掛飛前，一般需要經(jīng)過嚴格的數(shù)字和半實物仿真測試來達到降低風險的目的，彈載SAR系統(tǒng)的數(shù)字仿真是其中十分重要的一個環(huán)節(jié)。SAR原始數(shù)據(jù)主要有兩種獲取方法：一種是利用實際飛行生成，數(shù)據(jù)真實，但是費用較高；另一種是利用數(shù)字仿真產(chǎn)生模擬數(shù)據(jù)，這種方法方便且節(jié)約成本，然而在分布式大場景的應用條件下，計算量是非常大的。高級體系結(jié)構(gòu)(HLA)是美國國防部建模仿真辦公室(DMSO)提出的下一代仿真技術(shù)規(guī)范，通過計算機網(wǎng)絡使分散分布的各仿真部件能夠在統(tǒng)一的仿真時間和仿真環(huán)境下協(xié)調(diào)運行，且可以重復使用。本文設計的彈載SAR快速數(shù)字仿真與評估系統(tǒng)基于分布式數(shù)字仿真HLA[1-3]和高性能GPU[4]并行計算技術(shù)，通過相關(guān)的數(shù)學模型來快速仿真典型大場景地形和目標的彈載SAR回波數(shù)據(jù)和成像的全過程[5]。此外，該系統(tǒng)還可以通過靈活的添加聯(lián)邦成員來增加軟件的功能。這對于彈載SAR系統(tǒng)的設計和彈載SAR信號處理算法的研究與分析具有非常重要的應用價值。

本文首先對數(shù)字仿真與評估系統(tǒng)中的HLA架構(gòu)及各聯(lián)邦成員的實現(xiàn)進行介紹；然后，分析仿真系統(tǒng)的實現(xiàn)并展示系統(tǒng)軟件界面；最后，對仿真數(shù)據(jù)進行處理，驗證數(shù)字仿真與評估系統(tǒng)的有效性。

1　數(shù)字仿真與評估系統(tǒng)架構(gòu)

1.1高級體系結(jié)構(gòu)

HLA是DMSO于1995年10月在制定的建模與仿真計劃(MSMP)中，提出的未來建模仿真的標準技術(shù)框架，是在面向?qū)ο蠓治雠c設計的基礎上劃分成員，構(gòu)建仿真聯(lián)邦的技術(shù)。聯(lián)邦指擁有某一特定仿真目的的分布仿真系統(tǒng)，由相互作用的聯(lián)邦成員組成。聯(lián)邦成員往往是參與聯(lián)邦的應用程序，由若干個相互作用的對象(類)組成。HLA標準不考慮聯(lián)邦成員的具體實現(xiàn)，即如何由對象構(gòu)建成員，而是假設已有成員的情況下，考慮如何創(chuàng)建聯(lián)邦、如何進行聯(lián)邦集成以及如何設計聯(lián)邦成員之間的交互以達到仿真的目的。

HLA仿真邏輯結(jié)構(gòu)如圖1所示，主要包括各聯(lián)邦成員、運行支撐環(huán)境(RTI)接口模塊、RTI、底層通信支持系統(tǒng)，HLA仿真的關(guān)鍵在于聯(lián)邦的各個聯(lián)邦成員的運行、管理和互操作性，以及RTI的構(gòu)建。

圖1　HLA仿真邏輯結(jié)構(gòu)

本文所述數(shù)字仿真與評估系統(tǒng)由主控、航跡與姿態(tài)、回波、干擾、目標與場景建模、SAR成像處理、仿真評估等聯(lián)邦成員組成，并根據(jù)聯(lián)邦成員各自的特點將其分配到多臺仿真機上，如圖2所示。

圖2　數(shù)字仿真與評估系統(tǒng)分布式設計

1.1.1對象類/交互類的設計

HLA的開發(fā)主要包括聯(lián)邦開發(fā)以及聯(lián)邦成員的具體實現(xiàn)，而聯(lián)邦開發(fā)主要指對象模型/交互模型(FOM/SOM)、聯(lián)邦執(zhí)行數(shù)據(jù)文件(FED)的開發(fā)。HLA FOM的主要功能是為聯(lián)邦成員之間進行數(shù)據(jù)交換提供公共的、標準化的格式，描述了將在仿真過程中參與的各聯(lián)邦成員信息交換的對象類、對象類屬性、交互類、交互參數(shù)的性質(zhì)。HLA SOM是針對單一聯(lián)邦成員而言的，它描述了聯(lián)邦成員對外公布的或訂購的對象類、對象類屬性、交互類、交互參數(shù)的特性，這些特性反應了聯(lián)邦成員參與聯(lián)邦運行時的能力。而HLA FED是FOM開發(fā)的結(jié)果，是所有聯(lián)邦成員間為交互目的而達成的“協(xié)議”。針對彈載SAR快速數(shù)字仿真與評估系統(tǒng)聯(lián)邦成員特點，設計FOM/SOM如表1、表2所示。

表1　FOM/SOM對象類設計

表2　FOM/SOM交互類1)設計

注：1) MC為主控，TA為航跡與姿態(tài)，E為目標與場景，J為干擾，I為SAR成像處理，SE為仿真評估，A為所有聯(lián)邦成員。

1.1.2聯(lián)邦成員仿真邏輯結(jié)構(gòu)

根據(jù)表1和表2中FOM/SOM設計，制作聯(lián)邦成員仿真邏輯結(jié)構(gòu)圖，如圖3所示。主控創(chuàng)建并加入聯(lián)邦執(zhí)行后，通過交互類類對象初始化各聯(lián)邦成員后，第一次到達同步點。同步完成后，航跡與姿態(tài)、目標與場景建模、回波聯(lián)邦成員和干擾聯(lián)邦成員協(xié)同運行(期間需多次同步)，模擬彈載SAR飛行過程中航跡、姿態(tài)、照射目標場景區(qū)域的變化，并生成相應的回波和干擾回波。在回波、干擾回波計算完畢后，由回波、干擾聯(lián)邦成員向SAR成像聯(lián)邦成員發(fā)送交互參數(shù)實例，通知其接收回波、干擾回波數(shù)據(jù)，并將回波、干擾回波數(shù)據(jù)發(fā)送給SAR成像聯(lián)邦成員成像。成像結(jié)束后，SAR成像聯(lián)邦成員通過交互參數(shù)通知仿真評估聯(lián)邦成員接收成像結(jié)果，待評估結(jié)束后，仿真評估聯(lián)邦成員通知各個聯(lián)邦成員退出聯(lián)邦執(zhí)行并予以銷毀。

圖3　聯(lián)邦成員仿真邏輯結(jié)構(gòu)圖

1.2聯(lián)邦成員設計

1.2.1主控聯(lián)邦成員

主控聯(lián)邦成員控制HLA仿真的整個進程。主控仿真機控制軟件包含其他各聯(lián)邦成員的參數(shù)配置界面、主控服務器的IP地址和端口號配置界面、以及與各聯(lián)邦建立網(wǎng)絡通信的控制對象選擇與系統(tǒng)控制配置界面。

在HLA仿真開始前，在主控仿真機控制軟件上配置好各聯(lián)邦成員初始化參數(shù)，并建立與各聯(lián)邦的網(wǎng)絡通信鏈路，創(chuàng)建并加入聯(lián)邦執(zhí)行，然后初始化和發(fā)布航跡與姿態(tài)、目標、虛假目標、場景、虛假場景、回波、干擾回波交互類參數(shù)，設置時間管理策略為受限。

1.2.2航跡與姿態(tài)聯(lián)邦成員

在主控聯(lián)邦成員創(chuàng)建聯(lián)邦執(zhí)行后，航跡與姿態(tài)聯(lián)邦成員加入，并訂購航跡與姿態(tài)交互類，公布航跡與姿態(tài)對象類，注冊對象類實例，設置時間管理策略為受限且控制。

航跡與姿態(tài)聯(lián)邦成員跟主控聯(lián)邦成員一樣被部署在主控仿真機上，在HLA仿真過程中產(chǎn)生或直接加載實際記錄的彈道、姿態(tài)信息。生成的彈道數(shù)據(jù)包括無誤差數(shù)據(jù)和有誤差數(shù)據(jù)，其中，有誤差數(shù)據(jù)是人為的添加了氣流擾動模型和慣導擾動模型。氣流擾動模型包括隨機常數(shù)擾動、高斯白噪聲擾動、正弦擾動等擾動量，慣導擾動模型包括線性積累擾動、高斯白噪聲擾動等擾動量，分別用來模擬實際彈載SAR飛行過程中，由于氣流的影響導致的顛簸和慣性導航誤差積累導致的航線偏離。

1.2.3目標與場景建模聯(lián)邦成員

在主控聯(lián)邦成員創(chuàng)建聯(lián)邦執(zhí)行后，目標與場景聯(lián)邦成員加入，并訂購航跡與姿態(tài)對象類和交互類、目標與場景交互類，公布目標對象類，注冊對象類實例，設置時間管理策略為受限且控制。

目標與場景聯(lián)邦成員在HLA仿真過程中，根據(jù)訂閱主控的目標、虛假目標與場景、虛假場景交互類參數(shù)信息計算當前仿真時戳下雷達波束照射范圍，并根據(jù)配置的SAR場景基準圖，三維數(shù)字高程模型(DEM)以及添加的仿真目標(點目標、點陣目標、人造目標、SAR場景)，生成當前仿真時戳下的三維坐標數(shù)據(jù)和電磁散射數(shù)據(jù)，并將數(shù)據(jù)發(fā)送給訂購方。

1.2.4回波生成聯(lián)邦成員

在主控聯(lián)邦成員創(chuàng)建聯(lián)邦執(zhí)行后，回波聯(lián)邦成員加入聯(lián)邦執(zhí)行，訂購航跡與姿態(tài)對象類和交互類、目標與場景對象類和交互類、回波交互類，公布回波對象類，注冊對象類實例，設置時間管理策略為受限且控制。

如圖4a) SAR回波仿真主流程，在HLA仿真過程中，回波聯(lián)邦成員在HOST端獲取訂閱的SAR系統(tǒng)參數(shù)、航跡與姿態(tài)數(shù)據(jù)、目標與場景數(shù)據(jù)，在當前仿真時戳下將SAR航跡與姿態(tài)參數(shù)、回波參數(shù)拷貝到DEVICE端；然后，根據(jù)分配的線程塊調(diào)用核函數(shù)，執(zhí)行完核函數(shù)后將生成的回波數(shù)據(jù)拷貝回HOST端。根據(jù)SAR回波仿真中方位向采樣點數(shù)和仿真場景點數(shù)的實際物理意義，我們采用如下并行計算模式：

1) 每個方位向采樣點(對應HLA一個仿真時戳)下調(diào)用一次核函數(shù)。

2) 執(zhí)行核函數(shù)時，總的線程數(shù)目應該小于等于場景中點目標的個數(shù)，一般設置每個線程塊包含的線程數(shù)目為512，每個線程格包含線程塊數(shù)目為：(場景點目標個數(shù)+線程塊中線程數(shù)目-1)/線程塊中線程數(shù)目。

3) 每個線程計算一個或多個點目標的回波信號。

圖4b) 對應圖4a)中GPU并行計算流程圖，在設備端執(zhí)行代碼(核函數(shù))中，分別在距離向各采樣點處將每個線程塊所計算的點目標回波數(shù)據(jù)進行疊加，為避免線程間競爭，需采用原子操作實現(xiàn)多線程間對回波數(shù)據(jù)上各個距離向采樣點的疊加。將GPU計算得到的回波數(shù)據(jù)拷貝到CPU中，同步各聯(lián)邦成員進入下一個仿真時戳(方位向時刻)計算相應的回波數(shù)據(jù)，直到全部回波數(shù)據(jù)仿真完成后發(fā)送給訂購方。

圖4　并行回波仿真流程

1.2.5干擾聯(lián)邦成員

在主控聯(lián)邦成員創(chuàng)建聯(lián)邦執(zhí)行后，干擾聯(lián)邦成員加入聯(lián)邦執(zhí)行，訂購航跡與姿態(tài)對象類和交互類、虛假目標與虛假場景對象類和交互類、干擾回波交互類，公布干擾回波對象類，注冊對象類實例，設置時間管理策略為受限且控制。

類似回波生成聯(lián)邦成員，利用GPU計算干擾(噪聲、欺騙、相干干擾)回波，待計算完畢后，干擾聯(lián)邦成員將生成的干擾回波數(shù)據(jù)發(fā)送給訂購方。

1.2.6SAR成像聯(lián)邦成員

在主控聯(lián)邦成員成功創(chuàng)建聯(lián)邦執(zhí)行后，SAR成像處理聯(lián)邦成員加入，訂購回波、干擾回波交互類，設置時間管理策略為受限。

待回波、干擾回波計算完畢后，SAR成像聯(lián)邦成員接收回波、干擾聯(lián)邦成員發(fā)送的回波、干擾回波數(shù)據(jù)，利用Chirp Scaling[6-7]成像算法進行成像驗證。

1.2.7仿真評估聯(lián)邦成員

在主控聯(lián)邦成員成功創(chuàng)建聯(lián)邦執(zhí)行后，仿真評估聯(lián)邦成員加入，訂購SAR成像交互類，設置時間管理策略為受限。

待SAR成像完畢后，仿真評估聯(lián)邦成員接收SAR成像處理聯(lián)邦成員發(fā)送的成像結(jié)果，對成像結(jié)果進行分析與評估(主瓣寬度、峰值旁瓣比、積分旁瓣比)。

2　仿真系統(tǒng)的實現(xiàn)

2.1硬件系統(tǒng)的實現(xiàn)

硬件系統(tǒng)由千兆以太網(wǎng)絡連接的DELL T7600、Supermicro K20c服務器(包含兩塊Tesla架構(gòu)K20c GPU)、DELL T7600和DELL XPS8500等仿真機組成的局域網(wǎng)構(gòu)成，這些仿真機分別對應圖2中的主控仿真機、高性能GPU仿真機、數(shù)據(jù)庫仿真機和應用終端仿真機，仿真機之間采用TCP/IP協(xié)議通信。硬件系統(tǒng)整體帶寬在百兆左右，延時在微秒級別。

2.2軟件系統(tǒng)的實現(xiàn)

軟件系統(tǒng)是使用Microsoft Visual Studio 2010開發(fā)環(huán)境，基于.Net Framework 4開發(fā)，軟件的安裝運行平臺是Windows XP/Windows 7系統(tǒng)。在開發(fā)過程中，考慮界面設計的便捷性以及控件的多樣性，我們選擇了C#作為開發(fā)語言，采用MVC框架來實現(xiàn)整個系統(tǒng)。圖5所展示的軟件界面依次為航跡與姿態(tài)仿真界面、目標與場景建模仿真界面、回波仿真界面和航跡與姿態(tài)展示界面。

整個軟件系統(tǒng)分為七個模塊，在HLA仿真過程中對應七個聯(lián)邦成員。這七個模塊采用模塊化的設計思想進行開發(fā)，應用C++和CUDA C單獨開發(fā)與測試，待測試通過后，以動態(tài)鏈接庫(.dll)的形式集成到整個軟件系統(tǒng)中，這樣便于軟件后期的維護與升級。

圖5　仿真系統(tǒng)界面展示

3　結(jié)果分析與驗證

3.1仿真參數(shù)

參照表3和表4的仿真參數(shù)，仿真生成的“航跡與姿態(tài)”“目標與場景”結(jié)果展示，如圖6所示，其中，圖6a)“航跡與姿態(tài)”為彈載SAR平飛軌跡，圖6b)“目標與場景”為包括橋梁、河流等地物信息的電磁散射系數(shù)灰度圖。

表3　彈載SAR仿真參數(shù)

表4目標與場景參數(shù)m

采樣間隔點目標20×20點陣目標263×209SAR場景方位向20202距離向20202

圖6　航跡與場景仿真數(shù)據(jù)

3.2結(jié)果分析

采用GPU并行計算回波仿真時往往可以優(yōu)化，常見方法為：明確任務的串行和并行部分，按照算法確定數(shù)據(jù)和任務的劃分方式，將每個需要并行實現(xiàn)的步驟映射為一個滿足CUDA并行執(zhí)行的內(nèi)核函數(shù)，并合理的分配Grid和Block的大小，最大化GPU利用率[4]。本仿真系統(tǒng)主要采取以下三種優(yōu)化方式：

1) 緩存配置

在L1高速緩存和共享內(nèi)存共享同一塊內(nèi)存區(qū)域的GPU設備中，可根據(jù)共享內(nèi)存和高速緩存在內(nèi)核函數(shù)中預估使用情況調(diào)用函數(shù)cudaFuncSetCacheConfig( const void* func, cudaFuncCache cacheConfig )設置兩者大小，如果使用到了共享內(nèi)存，可設置cacheConfig= cudaFuncCachePreferShared使共享內(nèi)存稍大，反之設置cacheConfig= cudaFuncCachePreferL1使L1高速緩存大；根據(jù)實際情況配置緩存后能優(yōu)化資源利用率。

2) 使用異步執(zhí)行和流(Stream)

CUDA流表示一個GPU操作隊列，該隊列中的操作將按指定的順序執(zhí)行。通過使用多個流，能在GPU執(zhí)行核函數(shù)的同時，還能在主機端和設備端通過cudaMemcpyAsync()函數(shù)異步復制數(shù)據(jù)，最后需要使用cudaStreamSynchronize()同步多個流，通過異步執(zhí)行和流的使用，可進一步提升程序的并行性。

3) 多GPU

在多個GPU的計算機上，還可以通過將數(shù)據(jù)分配到多個GPU上并行計算，并利用GPU之間的P2P零拷貝技術(shù)，較之前能進一步提升并行性和計算帶寬。

針對三組不同的仿真目標，按照圖4回波生成流程，分別測試CPU和GPU的回波生成時間，記錄如表5所示。GPU計算主要優(yōu)化手段如1)～3)，是在每次方位向時刻下，將場景中的點目標按一定比例劃分到三個流和兩塊GPU(K20c)來增加并行性和提升效率。

表5　回波生成時間2)

注： 2)tCPU為回波生成時間，tGPU為回波生成時間，tGPU_Opt為優(yōu)化后GPU回波生成時間

在表5中，(tCPU-tGPU)/tCPU表示加速比，對于點目標，該值為負，說明GPU回波效率差于CPU，而當仿真目標有效點目標個數(shù)增大時(對于點陣和場景)，GPU的并行計算優(yōu)勢才比較明顯的體現(xiàn)出來。根據(jù)表5，將回波生成時間和回波生成加速比以曲線形式表現(xiàn)如圖7所示，其中圖7a)經(jīng)過優(yōu)化后的GPU回波生成時間有較大改善，圖7b)的SAR回波生成加速比可進一步佐證。

圖7　CPU/GPU回波生成時間對比

3.3成像驗證

對于3.1節(jié)中仿真生成的SAR回波，采用CS成像算法驗證，成像結(jié)果如圖8所示。

圖8　成像結(jié)果

4　結(jié)束語

通過本文的論述可知，彈載SAR快速數(shù)字仿真與評估系統(tǒng)采用HLA和GPU相關(guān)技術(shù)，快速仿真典型大場景地形和目標的彈載SAR回波數(shù)據(jù)、干擾數(shù)據(jù)和成像的全過程，并對其進行分析與評估，證實了該系統(tǒng)的高效性。該系統(tǒng)還可以通過靈活的添加聯(lián)邦成員來擴展軟件的功能，具有較強的可操作性和可重用性。這對于設計彈載SAR系統(tǒng)，研究與分析彈載SAR信號處理算法具有非常重要的應用價值。

[1]0-7381-2619-5. IEEE standard for modeling and simulation (M&S) high level architecture (HLA): framework and rules[S].

[2]0-7381-2621-7. IEEE standard for modeling and simulation (M&S) high level architecture (HLA): federate interface specification[S].

[3]0-7381-2623-3. IEEE standard for modeling and simulation (M&S) high level architecture (HLA): object model template (OMT) specification[S].

[4]SANDERS J，KANDROT E. PU高性能編程CUDA實戰(zhàn)[M]. 聶雪軍,譯. 北京：機械工業(yè)出版社，2011.

SANDERS J, KANDROT E. CUDA by example: an introduction to general-purpose GPU programming[M]. NIE Xuejun, translated. Beijing: China Machine Press, 2011.

[5]李昱，王蔭槐，梁紅. 基于HLA的機載雷達模擬器[J]. 現(xiàn)代雷達，2007，29(5): 97-100.

LI Yu, WANG Yinhuai, LIANG Hong. Simulator of airborne radar based on HLA[J]. Modern Radar, 2007, 29(5): 97-100.

[6]保錚，邢孟道，王彤. 雷達成像技術(shù)[M].北京：電子工業(yè)出版社，2005.

BAO Zheng, XING Mengdao, WANG Tong. Radar imaging technology[M]. Beijing: Publishing House of Electronics Industry, 2005.

[7]GUMMING L G，WONG F H. 合成孔徑雷達——算法與實現(xiàn)[M]. 洪文, 胡東輝, 譯. 北京：電子工業(yè)出版社，2012.

GUMMING L G, WONG F H. Digital processing of synthetic aperture radar data: algorithms and implementation[M]. HONG Wen, HU Donghui, translated. Beijing: Publishing House of Electronics Industry, 2012.

陳陽春男，1989年生，碩士研究生。研究方向為雷達與電子戰(zhàn)系統(tǒng)仿真。

孫清洋男，1990年生，博士研究生。研究方向為雷達與電子戰(zhàn)系統(tǒng)仿真。

舒汀男，1981年生，博士，講師。研究方向為雷達與電子戰(zhàn)系統(tǒng)仿真，實時信號處理系統(tǒng)開發(fā)等。

唐斌男，1968年生，博士，副研究員。研究方向為雷達與電子戰(zhàn)系統(tǒng)仿真、寬帶電子戰(zhàn)系統(tǒng)研制。

郁文賢男，1964年生，博士，教授。研究方向為雷達目標識別技術(shù)、多維信號處理技術(shù)等。

Fast Digital Simulation and Evaluation System Based on HLA for Misslie-borne SAR

CHEN Yangchun，SUN Qingyang，SHU Ting，TANG Bin，YU Wenxian

(Shanghai Key Laboratory of Intelligent Sensing and Recognition,Shanghai Jiaotong University, Shanghai 200240, China)

In order to overcome the time-consuming and cumbersome shortcomings of missile-borne SAR system simulation, based on the unique feature of HLA and using GPU as processor, this paper sets up a fast digital simulation and evaluation system for missile-borne SAR. The system includes federate members as main control, trajectory, target and scene, echo, jamming, imaging, and simulation evaluation. In addition, multiple sets test and verification results are figured out in order to ensure the correctness and effectiveness of the system, consequently the performance has been improved to several orders of magnitude compared to traditional method.

SAR; digital simulation; HLA; federation; RTI; GPU

陳陽春Email：chenyangchun@sjtu.edu.cn

2016-03-08

2016-05-16

TN911.7

A

1004-7859(2016)07-0001-06

DOI：10.16592/ j.cnki.1004-7859.2016.07.001