賀維維，吳 京，曾瑤源

(國(guó)防科學(xué)技術(shù)大學(xué)電子科學(xué)與工程學(xué)院，湖南 長(zhǎng)沙 410072)

0 引言

紅外弱小目標(biāo)檢測(cè)技術(shù)是精確制導(dǎo)系統(tǒng)、目標(biāo)監(jiān)視系統(tǒng)的一項(xiàng)關(guān)鍵技術(shù)，一直以來(lái)是研究的熱點(diǎn)。由于成像距離遠(yuǎn)，紅外弱小目標(biāo)在圖像中只有一個(gè)到幾個(gè)像素的大小，加上強(qiáng)雜波干擾和紅外傳感器像元噪聲干擾，圖像的信噪比很低[1-2]，通過(guò)對(duì)弱小目標(biāo)運(yùn)動(dòng)全過(guò)程中紅外輻射特性的分析，發(fā)現(xiàn)采用單一波段已無(wú)法有效地實(shí)現(xiàn)目標(biāo)檢測(cè)，只有綜合利用多個(gè)波段[3-6]的信息才能滿足對(duì)目標(biāo)運(yùn)動(dòng)全過(guò)程的探測(cè)需求。紅外弱小目標(biāo)檢測(cè)計(jì)算復(fù)雜，且對(duì)實(shí)時(shí)性要求較高。多波段融合的紅外弱小目標(biāo)串行檢測(cè)時(shí)間是3個(gè)波段檢測(cè)與融合時(shí)間的疊加，無(wú)法滿足實(shí)際應(yīng)用中實(shí)時(shí)性的要求。本文提出一種基于MPI+OpenMP的并行處理方法。并發(fā)執(zhí)行4個(gè)進(jìn)程，3個(gè)從進(jìn)程分別執(zhí)行3個(gè)波段的目標(biāo)檢測(cè)計(jì)算部分并將處理結(jié)果發(fā)送給主進(jìn)程，主進(jìn)程從3個(gè)從進(jìn)程接收數(shù)據(jù)并進(jìn)行波段間融合。各計(jì)算進(jìn)程內(nèi)部，采用OpenMP線程并行。經(jīng)仿真驗(yàn)證，這種MPI位于頂層OpenMP位于底層的層次化并行模型適用于紅外弱小目標(biāo)多波段融合檢測(cè)算法，能取得較好的檢測(cè)效果。

1 MPI+OpenMP混合并行編程模型

并行編程模型一直是并行計(jì)算研究領(lǐng)域中的重點(diǎn)內(nèi)容，目前2種最重要的并行編程模型是共享存儲(chǔ)編程模型和消息傳遞編程模型。共享存儲(chǔ)編程模型具有單地址空間、編程容易、可移植性差等特點(diǎn)，其實(shí)現(xiàn)有OpenMP和Pthreads等。消息傳遞編程模型的特點(diǎn)是多地址空間、編程困難、可移植性好，其實(shí)現(xiàn)有MPI和PVM等。

1.1 MPI簡(jiǎn)介

MPI[7]用于開發(fā)基于消息傳遞的并行程序，為用戶提供一個(gè)實(shí)際可用的、可移植的、高效和靈活的消息傳遞接口庫(kù)，它提供了與Fortran和C/C++語(yǔ)言的綁定，是目前最重要的基于消息傳遞的并行編程工具。各個(gè)并行執(zhí)行的部分通過(guò)消息傳遞來(lái)協(xié)調(diào)步伐[8]，控制執(zhí)行。應(yīng)用的分解、開發(fā)和調(diào)試相對(duì)困難，通信可能造成大的開銷，為了最小化延遲，通常需要大的代碼粒度[9]。

1.2 OpenMP 簡(jiǎn)介

OpenMP是基于fork-join的并行編程模型[10]，它將程序劃分為并行區(qū)和串行區(qū)，串行區(qū)由主線程執(zhí)行，到并行區(qū)主線程派生出多個(gè)線程，并行執(zhí)行該區(qū)域的代碼。直到并行區(qū)域中所有子線程負(fù)責(zé)的任務(wù)都執(zhí)行完畢后，主線程才繼續(xù)執(zhí)行。使用者無(wú)需關(guān)心復(fù)雜的線程創(chuàng)建、同步、銷毀等工作。OpenMP完全依賴用戶保證制導(dǎo)的正確性[11]。用戶通過(guò)構(gòu)造并行區(qū)域來(lái)編寫可擴(kuò)展的并行程序，可以使計(jì)算密集的程序部分得以有效并行。OpenMP基于共享內(nèi)存的機(jī)器，因此它的可擴(kuò)展性比較差，受系統(tǒng)可用的計(jì)算單元的限制，當(dāng)問(wèn)題規(guī)模增加，很難添加新的資源來(lái)加速計(jì)算。

1.3 MPI+OpenMP混合編程模型

MPI是集群計(jì)算中應(yīng)用較廣泛的編程平臺(tái)，但是單一的MPI消息傳遞并行編程模型在多處理器節(jié)點(diǎn)集群上并不能實(shí)現(xiàn)理想的并行效果。MPI+OpenMP這種層次化的并行模型[12]，能夠結(jié)合分布式內(nèi)存結(jié)構(gòu)和共享內(nèi)存結(jié)構(gòu)的優(yōu)勢(shì)，提供節(jié)點(diǎn)間和節(jié)點(diǎn)內(nèi)的2級(jí)并行，模型結(jié)構(gòu)如圖1所示。

圖1 MPI+OpenMP混合編程模型

MPI+OpenMP并行編程模型容易實(shí)現(xiàn)。如圖1所示，MPI的初始化和結(jié)束仍然調(diào)用MPI_Init()和MPI_Finalize()。每個(gè)MPI進(jìn)程可以在#pragma omp parallel編譯制導(dǎo)語(yǔ)句所標(biāo)識(shí)的區(qū)域內(nèi)產(chǎn)生線程級(jí)并行而在區(qū)域外仍為單進(jìn)程?；旌夏Ｐ椭?，MPI提供多處理器節(jié)點(diǎn)之間的粗粒度并行，OpenMP提供單個(gè)處理器內(nèi)多核之間的數(shù)據(jù)交互。這種MPI位于頂層OpenMP位于底層的混合編程模型很好地映射了多處理節(jié)點(diǎn)集群體系結(jié)構(gòu)。

混合編程模型提供了節(jié)點(diǎn)間和節(jié)點(diǎn)內(nèi)的2級(jí)并行機(jī)制，它的優(yōu)勢(shì)在于結(jié)合了進(jìn)程級(jí)的粗粒度并行(例如區(qū)域分解)和線程級(jí)的細(xì)粒度并行(如循環(huán)并行)，在很多情況下，其執(zhí)行效率高于純 MPI或OpenMP程序[13-14]。混合編程模型中 OpenMP能夠很好地彌補(bǔ)在MPI并行程序中可能出現(xiàn)負(fù)載不平衡的問(wèn)題;混合編程模型首先執(zhí)行MPI分解策略，啟動(dòng)理想數(shù)目的進(jìn)程，再用OpenMP進(jìn)一步分解子任務(wù)，則可以使所有處理機(jī)得到高效利用;混合模型的程序?qū)p少通信的次數(shù)，并且OpenMP的線程級(jí)并行具有較小的延遲，可緩解純MPI程序進(jìn)程間的通信帶寬和延遲的問(wèn)題。

2 基于混合并行的多波段目標(biāo)檢測(cè)算法設(shè)計(jì)與優(yōu)化

2.1 紅外弱小目標(biāo)檢測(cè)算法

2.1.1 目標(biāo)紅外輻射特性分析

根據(jù)維恩位移定律，黑體電磁輻射能流密度的峰值波長(zhǎng)λm與自身溫度T成反比，即:

其中，λm的單位是 μm，T 的單位是 K，a=2897.95μm·K，為一常數(shù)。紅外弱小目標(biāo)在運(yùn)動(dòng)的全過(guò)程中，由于自身推進(jìn)器工作、與大氣摩擦等原因具有不同的溫度，由上述公式可知，其在不同運(yùn)動(dòng)階段具有不同的紅外輻射特性[15]，采用單一的波段無(wú)法對(duì)運(yùn)動(dòng)全程實(shí)現(xiàn)有效探測(cè)，需采用不同的波段進(jìn)行探測(cè)。不同的傳感器工作在不同的電磁波段，探測(cè)到的目標(biāo)在對(duì)比度、信噪比、強(qiáng)度等方面有很大的差別。在遠(yuǎn)距離、強(qiáng)雜波干擾的情況下，利用多個(gè)波段的探測(cè)信息的互補(bǔ)性能夠?qū)崿F(xiàn)對(duì)運(yùn)動(dòng)全過(guò)程的有效監(jiān)控。

2.1.2 多波段紅外弱小目標(biāo)檢測(cè)

包含目標(biāo)的紅外圖像可表示為:

其中，s(x，y)表示目標(biāo)信號(hào)，在包含目標(biāo)的紅外圖像中，目標(biāo)除了受到背景雜波信號(hào)b(x，y)的干擾外，還受到成像和傳輸過(guò)程中的噪聲的影響，統(tǒng)稱為n(x，y)。背景抑制和閾值分割[16]主要作用是盡可能排除背景雜波和噪聲對(duì)目標(biāo)的干擾，并盡可能降低虛警點(diǎn)的個(gè)數(shù)。紅外弱小目標(biāo)在圖像中表現(xiàn)為信噪比很低，僅依靠單幀圖像實(shí)現(xiàn)檢測(cè)比較困難，還必須利用目標(biāo)的運(yùn)動(dòng)特性進(jìn)行多幀關(guān)聯(lián)，以進(jìn)一步剔除虛警點(diǎn)。紅外檢測(cè)的流程如圖2所示。

圖2 目標(biāo)檢測(cè)算法流程

2.2 串行檢測(cè)性能分析

圖2(b)給出了單個(gè)波段檢測(cè)算法的流程，圖2(a)給出了多個(gè)波段串行檢測(cè)的流程。由圖2可知，串行檢測(cè)時(shí)間是各個(gè)波段的檢測(cè)時(shí)間與融合時(shí)間之和。針對(duì)1200×1200規(guī)格的圖像，在高性能計(jì)算服務(wù)器上進(jìn)行測(cè)試(運(yùn)行環(huán)境見3.1節(jié))，測(cè)試時(shí)間如表1所示。

表1 單幀多波段串行檢測(cè)時(shí)間(ms)

上述多波段串行算法單幀檢測(cè)的時(shí)間為3835.7 ms，無(wú)法滿足實(shí)際應(yīng)用中單幀檢測(cè)時(shí)間小于500 ms的要求。因此，必須對(duì)多波段檢測(cè)算法進(jìn)行并行計(jì)算研究，將計(jì)算任務(wù)進(jìn)行分解才能充分利用硬件的計(jì)算資源，從而獲得性能的提升。

2.3 并行設(shè)計(jì)及優(yōu)化

2.3.1 算法并行可行性分析

多波段檢測(cè)算法中，單個(gè)波段的檢測(cè)比較耗時(shí)，而融合處理時(shí)間較短，3個(gè)波段之間只有在融合處理過(guò)程中才有數(shù)據(jù)的交互。因此，可以開啟多個(gè)進(jìn)程并發(fā)執(zhí)行各個(gè)波段的檢測(cè)任務(wù)，進(jìn)程之間采用MPI指令進(jìn)行消息傳遞。單個(gè)波段檢測(cè)算法中，背景抑制和閾值分割都是針對(duì)全局圖像像素點(diǎn)進(jìn)行處理，這種循環(huán)遍歷像素點(diǎn)的算法比較適合采用OpenMP的for制導(dǎo)指令進(jìn)行并行任務(wù)分擔(dān)。

通過(guò)以上分析可以看出，這種多波段的串行檢測(cè)算法比較適合采用基于MPI+OpenMP的混合并行模型進(jìn)行加速處理，并發(fā)執(zhí)行4個(gè)進(jìn)程，3個(gè)從進(jìn)程分別處理3個(gè)波段的檢測(cè)任務(wù)，然后將處理結(jié)果發(fā)送給主進(jìn)程進(jìn)行融合處理;各個(gè)進(jìn)程內(nèi)部采用OpenMP的多線程技術(shù)對(duì)背景抑制和閾值分割等相關(guān)算法進(jìn)行加速處理。后續(xù)的仿真結(jié)果也驗(yàn)證了該模型對(duì)多波段串行檢測(cè)算法的適用性。

2.3.2 算法并行設(shè)計(jì)及優(yōu)化

多波段紅外弱小目標(biāo)融合檢測(cè)中，3個(gè)波段的檢測(cè)計(jì)算部分采用相同的算法，耗時(shí)基本相同，用3個(gè)進(jìn)程來(lái)并行計(jì)算不會(huì)造成負(fù)載不均衡的問(wèn)題。

檢測(cè)過(guò)程要處理多幀圖像，3個(gè)從進(jìn)程和主進(jìn)程之間的通信在循環(huán)體內(nèi)部調(diào)用。針對(duì)多波段融合檢測(cè)算法特點(diǎn)，在并行設(shè)計(jì)時(shí)采取以下幾種優(yōu)化策略:

1)進(jìn)程之間采用重復(fù)非阻塞的通信方式，將通信參數(shù)與MPI內(nèi)部對(duì)象建立固定的聯(lián)系，并通過(guò)該對(duì)象完成重復(fù)通信，降低不必要的通信開銷。

2)各從進(jìn)程發(fā)送給主進(jìn)程用于融合檢測(cè)的數(shù)據(jù)是不同類型的數(shù)據(jù)塊，在算法實(shí)現(xiàn)過(guò)程中，自定義新的數(shù)據(jù)類型，將所需傳輸?shù)臄?shù)據(jù)以新的數(shù)據(jù)類型打包[17]，以減少通信個(gè)數(shù)。

3)節(jié)點(diǎn)內(nèi)采用OpenMP并行設(shè)計(jì)時(shí)，綜合考慮并行粒度和系統(tǒng)開銷，選擇檢測(cè)流程中合適的的算法并行化。例如:背景抑制和閾值分割是對(duì)全局圖像的像素點(diǎn)進(jìn)行處理，計(jì)算比較耗時(shí)，而多幀軌跡關(guān)聯(lián)是對(duì)閾值分割產(chǎn)生的備選點(diǎn)處理，計(jì)算時(shí)間較短，所以只針對(duì)背景抑制和閾值分割算法采取OpenMP多線程并行。

檢測(cè)算法在混合編程模型上的實(shí)現(xiàn)架構(gòu)如圖3所示。

圖3 多波段目標(biāo)檢測(cè)在混合編程模型上的架構(gòu)實(shí)現(xiàn)

3個(gè)從進(jìn)程的處理流程相同，圖3中只給出了單個(gè)從進(jìn)程和主進(jìn)程之間的通信模式。

3 測(cè)試環(huán)境及結(jié)果分析

3.1 測(cè)試環(huán)境

硬件環(huán)境為IBM Flex System x240中的4個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)包含2顆E5-266 CPU(2.9 GHz/6-core)共12 core，采用Infiniband網(wǎng)絡(luò)。其軟件環(huán)境包括Red Hat Enterprise Linux 6.0的操作系統(tǒng)，支持OpenMP和MPI的Intel Composer XE 2013并行環(huán)境。程序采用C語(yǔ)言編寫，MPI+OpenMP混合程序需使用帶有-openmp選項(xiàng)的編譯命令編譯，該選項(xiàng)激活、解釋程序中的OpenMP編譯制導(dǎo)。

3.2 測(cè)試結(jié)果及分析

選擇1200×1200規(guī)格的3個(gè)波段的序列圖像各100幀進(jìn)行測(cè)試，統(tǒng)計(jì)單幀平均處理時(shí)間如表2所示。

表2 不同方法程序測(cè)試時(shí)間表

本文通過(guò)計(jì)算各種并行方法的加速比來(lái)衡量加速效果，加速比定義如下:

其中，Tparallel為并行方法的計(jì)算時(shí)間，Tserial為串行檢測(cè)的時(shí)間。方法1為3個(gè)波段串行檢測(cè)，其計(jì)算時(shí)間為3835.7 ms，本文以該時(shí)間為基準(zhǔn)計(jì)算加速比，從而分析加速性能。通過(guò)上述公式，計(jì)算得到4種不同并行方法的加速比如圖4所示。

圖4 不同并行實(shí)現(xiàn)方法的加速比

圖4中，方法2，3，4都是針對(duì)集群系統(tǒng)的單個(gè)節(jié)點(diǎn)測(cè)試。方法2，在多波段串行檢測(cè)算法中，只針對(duì)單個(gè)波段檢測(cè)中的背景抑制和閾值分割進(jìn)行OpenMP多線程加速處理，加速比能達(dá)到2.56。方法3，在單個(gè)節(jié)點(diǎn)開啟4個(gè)進(jìn)程，分別執(zhí)行3個(gè)波段的檢測(cè)和融合任務(wù)，加速比能達(dá)到2.79。方法4，在單個(gè)節(jié)點(diǎn)開啟4個(gè)MPI進(jìn)程，3個(gè)從進(jìn)程內(nèi)部分別采用OpenMP并行，加速比為5.29，其加速效果優(yōu)于純OpenMP并行和純MPI并行。方法5，在4個(gè)節(jié)點(diǎn)各啟動(dòng)一個(gè)MPI進(jìn)程，各節(jié)點(diǎn)內(nèi)部采用OpenMP并行，加速比為 8.61。

測(cè)試所用的集群系統(tǒng)，單個(gè)節(jié)點(diǎn)有12個(gè)core，方法5每個(gè)進(jìn)程內(nèi)部分配12個(gè)OpenMP線程，而方法4每個(gè)進(jìn)程分配4個(gè)線程。方法5利用了多處理器節(jié)點(diǎn)內(nèi)部的多核計(jì)算資源，加速效果優(yōu)于方法4。如果單從開啟的OpenMP線程數(shù)來(lái)看，方法5理論上的加速比應(yīng)該是方法4的3倍，但實(shí)際為1.63(724.2/445.3)倍。分析其原因在于，單個(gè)進(jìn)程內(nèi)部雖然采用OpenMP多線程技術(shù)，但是只是針對(duì)背景抑制和閾值分割等算法，其中還有輸入圖像數(shù)據(jù)、軌跡關(guān)聯(lián)、輸出處理結(jié)果等算法不適合采用OpenMP并行，從而影響了整體的加速效果。下一步可以考慮對(duì)這些算法做進(jìn)一步的優(yōu)化。

對(duì)于多波段紅外弱小目標(biāo)檢測(cè)算法，單純的MPI并行和OpenMP并行實(shí)現(xiàn)都不能達(dá)到很好的加速效果，基于MPI+OpenMP的層次化并行充分利用分布式存儲(chǔ)和共享存儲(chǔ)的優(yōu)勢(shì)，加速比能達(dá)到8.61，單幀處理時(shí)間為455.3 ms，滿足實(shí)際應(yīng)用中實(shí)時(shí)性的要求(單幀處理時(shí)間小于500 ms)。實(shí)驗(yàn)結(jié)果表明，這種層次化的并行模型適用于多波段檢測(cè)算法，能夠達(dá)到很好的加速效果，實(shí)驗(yàn)結(jié)果驗(yàn)證了第2節(jié)中的理論分析。

4 結(jié)束語(yǔ)

紅外弱小目標(biāo)檢測(cè)對(duì)于導(dǎo)彈攻防、實(shí)時(shí)監(jiān)控具有重要的意義，對(duì)實(shí)時(shí)性要求比較高，高性能計(jì)算在這個(gè)領(lǐng)域一直是研究的熱點(diǎn)?；贛PI+OpenMP的混合編程模型結(jié)合分布式內(nèi)存結(jié)構(gòu)和共享內(nèi)存結(jié)構(gòu)的優(yōu)勢(shì)，在多波段紅外弱小目標(biāo)檢測(cè)的實(shí)現(xiàn)上能夠達(dá)到較好的加速效果。這種層次化的并行結(jié)構(gòu)也存在一些問(wèn)題，例如:MPI進(jìn)程數(shù)目受限、MPI進(jìn)程間的通信帶寬和延遲、OpenMP線程產(chǎn)生的系統(tǒng)開銷[18]等問(wèn)題。在實(shí)際應(yīng)用上，一定要考慮二者的結(jié)合能否提供一個(gè)更加優(yōu)化的平臺(tái)以及如何結(jié)合能夠達(dá)到更高的計(jì)算效率。最新發(fā)布的Intel? Xeon PhiTM基于MIC(Many Integrated Core)架構(gòu)的芯片集成了60個(gè)精簡(jiǎn)的x86核心，能夠并發(fā)執(zhí)行200多個(gè)線程[19]。下一步，可以將檢測(cè)任務(wù)進(jìn)行分解，將密集計(jì)算的部分移植到MIC上，邏輯判斷的部分放在CPU端，充分利用CPU和MIC的計(jì)算資源，以達(dá)到更好的加速效果。

[1] 于海南，趙保軍.低信噪比紅外圖像小目標(biāo)的檢測(cè)[J].激光與紅外，2004，34(1):40-42.

[2] 羅曉清，吳小俊.利用小波變換與Gabor濾波檢測(cè)紅外小目標(biāo)[J].紅外與激光工程，2011，40(9):1818-1822.

[3] 楊杰，楊磊.基于紅外背景復(fù)雜程度描述的小目標(biāo)檢測(cè)算法[J].紅外與激光工程，2007，36(3):382-386.

[4] 李麗亞，盧濤.一種雙/多波段紅外目標(biāo)融合檢測(cè)方法[J].激光與紅外，2011，41(6):687-690.

[5] 張光明，盛衛(wèi)東，樊士偉，等.基于多傳感器融合的紅外圖像序列檢測(cè)性能分析[J].紅外與毫米波學(xué)報(bào)，2009，28(1):16-19.

[6] 王建濤.一種雙波段紅外圖像弱小目標(biāo)融合檢測(cè)新算法[J].西安電子科技大學(xué)學(xué)報(bào)(自然科學(xué)版)，2008，35(3):530-535.

[7] 都志輝.高性能計(jì)算之并行編程技術(shù)[M].北京:清華大學(xué)出版社，2001:30-58.

[8] 袁景艷，劉方愛，趙芳芳.基于MPI的集群系統(tǒng)的研究[J].信息技術(shù)與信息化，2010(2):33-35.

[9] 熊仕勇.并行計(jì)算平臺(tái)的模擬與并行算法的實(shí)現(xiàn)[J].科技創(chuàng)新導(dǎo)報(bào)，2010(27):25.

[10] 蔡佳佳，李名世，鄭鋒.多核微機(jī)基于OpenMP的并行計(jì)算[J].計(jì)算機(jī)技術(shù)與發(fā)展，2007，17(10):87-91.

[11] 任小西，唐玲，李仁發(fā).OpenMP多線程負(fù)載均衡調(diào)度策略研究與實(shí)現(xiàn)[J].計(jì)算機(jī)科學(xué)，2010，37(11):148-151.

[12] 馮云，周淑秋.MPI+OpenMP混合并行編程模型應(yīng)用研究[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2006，15(2):86-89.

[13] Quinn M J.MPI與OpenMP并行程序設(shè)計(jì)(C語(yǔ)言版)[M].陳文光，等譯.北京:清華大學(xué)出版社，2004:82-104.

[14] 潘衛(wèi)，陳燎原，張錦華，等.基于 SMP集群的 MPI+OpenMP混合編程模型研究[J].計(jì)算機(jī)應(yīng)用研究，2009，26(12):4592-4594.

[15] 田國(guó)良.熱紅外遙感[M].北京:電子工業(yè)出版社，2006:20-25.

[16] 楊衛(wèi)平，沈振康.紅外圖像序列小目標(biāo)檢測(cè)預(yù)處理技術(shù)[J].紅外與激光工程，1998，27(1):23-28.

[17] 陳輝，孫雷鳴，李錄明，等.基于MPI+OpenMP的多層次并行偏移算法研究[J].成都理工大學(xué)學(xué)報(bào)(自然科學(xué)版)，2010，37(5):528-534.

[18] 張延紅，史永昌，朱曉珺.非規(guī)則循環(huán)的OpenMP調(diào)度算法[J].計(jì)算機(jī)工程，2011，37(6):68-70.

[19] 王恩東，張清，沈鉑，等.MIC高性能計(jì)算編程指南[M].北京:中國(guó)水利水電出版社，2012:30-48.