蔣怡亮,孫寧,翟尚禮

(中國電子科技集團(tuán)公司 第二十八研究所，南京 210007)

?

基于LBP的紅外弱小目標(biāo)檢測(cè)系統(tǒng)設(shè)計(jì)

蔣怡亮,孫寧,翟尚禮

(中國電子科技集團(tuán)公司 第二十八研究所，南京 210007)

分析了一種基于局部二元模式(LBP)算子的紅外弱小目標(biāo)檢測(cè)方法，并根據(jù)實(shí)際應(yīng)用背景設(shè)計(jì)實(shí)現(xiàn)了一種紅外弱小目標(biāo)檢測(cè)系統(tǒng)。介紹了該系統(tǒng)的總體結(jié)構(gòu)以及程序模塊的設(shè)計(jì)方法。試驗(yàn)對(duì)比表明，該方法在保證LBP算法實(shí)時(shí)性的前提下可節(jié)約大量硬件資源。

紅外弱小目標(biāo)；局部二元模式；目標(biāo)檢測(cè)； FPGA

引　言

隨著紅外傳感器性能和圖像處理能力的提高，紅外探測(cè)系統(tǒng)已經(jīng)成為現(xiàn)代軍用防御網(wǎng)絡(luò)的重要組成部分。在現(xiàn)代戰(zhàn)爭(zhēng)中，及時(shí)發(fā)現(xiàn)威脅目標(biāo)可以有效提高作戰(zhàn)單位的生存和反擊能力。然而，遠(yuǎn)距離目標(biāo)在紅外焦平面上只占幾個(gè)像素，其亮度常低于背景中云團(tuán)等干擾物。因此，有效抑制復(fù)雜背景是研制紅外探測(cè)系統(tǒng)的關(guān)鍵。

目前紅外弱小目標(biāo)檢測(cè)的典型方法有很多，比如基于數(shù)學(xué)形態(tài)學(xué)圖像檢測(cè)、多向梯度檢測(cè)、小波分解以及匹配濾波等。但其中大多數(shù)算法存在對(duì)椒鹽噪聲和高亮背景邊緣敏感，以及運(yùn)算量過大等不足，很難應(yīng)用于實(shí)際紅外探測(cè)系統(tǒng)[1-3]。

本文采用了一種基于局部二元模式算子(LBP)的紅外弱小目標(biāo)檢測(cè)算法[4]，設(shè)計(jì)了一種紅外弱小目標(biāo)實(shí)時(shí)檢測(cè)系統(tǒng)，并對(duì)其程序模塊結(jié)構(gòu)進(jìn)行設(shè)計(jì)優(yōu)化，使其能在單片現(xiàn)場(chǎng)可編程門陣列(FPGA EP2S60F672)上運(yùn)行。最后將未經(jīng)優(yōu)化的LBP算子目標(biāo)檢測(cè)系統(tǒng)與采用本文方法優(yōu)化的系統(tǒng)進(jìn)行對(duì)比，證明了本文方法在硬件資源占用方面的優(yōu)越性。

1　算法基礎(chǔ)

LBP算子是一種對(duì)灰度圖像中局部領(lǐng)域的紋理信息進(jìn)行度量和提取的算子，基本LBP算子是一個(gè)固定的3×3區(qū)域，對(duì)應(yīng)圖像上相鄰3×3共9個(gè)像素點(diǎn)。根據(jù)順時(shí)針方向依次將8個(gè)灰度值與中心灰度值相比較，大于等于中心值的表示為1，反之表示為0，所得的8位二進(jìn)制數(shù)作為該矩形塊的LBP編碼值，如圖1所示。因此，LBP算子實(shí)質(zhì)上是局部灰度對(duì)比及其二值化的過程，通過這個(gè)過程LBP算子完成了對(duì)凸點(diǎn)、凹點(diǎn)或邊緣等局部紋理的描述。

圖1　LBP算子編碼示意圖

假設(shè)紅外弱小目標(biāo)為1個(gè)小于3×3像素的亮斑，如果將其定義為上述LBP算子的中心區(qū)域，則LBP算子擴(kuò)展為9×9像素區(qū)域。改進(jìn)的LBP算子采用局部信噪比(SNR)作為每個(gè)3×3區(qū)域的局部標(biāo)準(zhǔn)值，局部信噪比可表示為：

(1)

其中ut為目標(biāo)3×3區(qū)域灰度均值，ub為領(lǐng)域3×3區(qū)域灰度均值，δ為目標(biāo)和某一方向背景兩個(gè)3×3區(qū)域的灰度標(biāo)準(zhǔn)差。編碼時(shí)，將8個(gè)目標(biāo)領(lǐng)域的局部信噪比與預(yù)設(shè)閾值比較，則得到8個(gè)方向背景的二進(jìn)制特征值，其中閾值根據(jù)檢測(cè)性能指標(biāo)進(jìn)行預(yù)設(shè)。當(dāng)8個(gè)特征值都為0,即編碼值為0000 0000時(shí),中間的3×3區(qū)域即為目標(biāo)。

2　系統(tǒng)設(shè)計(jì)

2.1工程改進(jìn)

實(shí)際工程實(shí)現(xiàn)時(shí)，考慮到LBP算子的場(chǎng)景適應(yīng)性和檢測(cè)穩(wěn)定性，系統(tǒng)增加了如下2項(xiàng)功能。

(1) 多尺度LBP算子

如前所述，LBP算子假設(shè)紅外弱小目標(biāo)為一個(gè)小于3×3 像素的非均勻亮斑，在有利于紅外觀測(cè)的天氣條件下，采用該假設(shè)合適。但當(dāng)空氣濕度大、能見度低以及背景溫差小時(shí)，弱小目標(biāo)在紅外焦平面上初現(xiàn)時(shí)迅速擴(kuò)散為尺寸稍大、中心灰度等級(jí)低且邊緣模糊的不均勻亮斑。不同窗口大小提取的特征描述局部紋理的能力不同，為了改善LBP算子無法適應(yīng)圖像多尺度下紋理特征的問題，應(yīng)使用多尺度的LBP算子[5]。因此，系統(tǒng)設(shè)計(jì)時(shí)采用了連續(xù)可調(diào)的LBP算子尺度以適應(yīng)實(shí)際情況。

(2) 自適應(yīng)區(qū)域閾值劃分

圖2　硬件結(jié)構(gòu)

實(shí)際紅外場(chǎng)景中，常遇到部分背景區(qū)域比較復(fù)雜的情況。如背景物體細(xì)微紋理對(duì)陽光的反射，經(jīng)紅外傳感器成像后與弱小目標(biāo)特征相似，目標(biāo)淹沒在其中，肉眼無法辨識(shí)。LBP對(duì)細(xì)節(jié)紋理描述能力較強(qiáng)，上述復(fù)雜背景常造成大量虛警，影響后續(xù)數(shù)據(jù)處理速度和能力。采用自適應(yīng)區(qū)域閾值劃分，即建立前3幀畫面區(qū)域目標(biāo)數(shù)量的數(shù)理統(tǒng)計(jì)列表，自動(dòng)調(diào)節(jié)目標(biāo)領(lǐng)域的局部SNR閾值。對(duì)于檢測(cè)點(diǎn)過多的區(qū)域，還可以在LBP編碼前將目標(biāo)區(qū)域均值乘以相應(yīng)比例系數(shù)，改善復(fù)雜區(qū)域?qū)z測(cè)系統(tǒng)處理能力的影響。

2.2硬件組成

通過分析算法流程可知，設(shè)LBP算子尺度為n時(shí)，需要在每個(gè)像素周期完成9次n×n范圍的取均值、標(biāo)準(zhǔn)差、閾值劃分運(yùn)算。算法的運(yùn)算量大但結(jié)構(gòu)簡(jiǎn)單，適合并行處理，因此本文設(shè)計(jì)了以FPGA為核心處理器的紅外弱小目標(biāo)檢測(cè)系統(tǒng)，其硬件結(jié)構(gòu)如圖2所示。

圖 2中，紅外弱小目標(biāo)系統(tǒng)采用標(biāo)準(zhǔn)32位PCI板卡形式，使用橋接芯片PCI9054作為上位機(jī)PCI模塊。紅外PAL制模擬圖像通過A/D芯片SAA7111采樣，轉(zhuǎn)換為標(biāo)準(zhǔn)BT.656碼流輸入FPGA。該數(shù)字視頻碼流經(jīng)過LBP算法模塊，形成64位點(diǎn)跡信息(幀號(hào)+本幀點(diǎn)跡個(gè)數(shù)+點(diǎn)跡行數(shù)+點(diǎn)跡列數(shù))壓入FIFO中,FIFO存儲(chǔ)深度為2 KB，當(dāng)存儲(chǔ)深度超過1 KB時(shí)即向PCI橋發(fā)送中斷信號(hào)，上位機(jī)接收到中斷信號(hào)后從固定偏移地址(80H)讀取1 KB點(diǎn)跡信息；另外，2個(gè)存儲(chǔ)深度為8 KB雙口RAM經(jīng)過乒乓操作，以配合PCI9054中DMA控制器的時(shí)序，將疊加過點(diǎn)跡的原始視頻通過DMA方式傳送給上位機(jī)，DMA傳輸?shù)钠频刂窞?000H～9FFFH。上位機(jī)通過PCI橋?qū)BP算子尺寸以及區(qū)域閾值等初始化信息和控制信號(hào)發(fā)送給FPGA，實(shí)現(xiàn)雙向通信。

為了獨(dú)立使用，紅外弱小目標(biāo)系統(tǒng)還預(yù)留了顯示接口、串口和網(wǎng)口等。顯示方面，數(shù)字視頻碼流與前一幀的點(diǎn)跡通過視頻疊加方式形成輸出視頻，通過SA7121轉(zhuǎn)換為標(biāo)準(zhǔn)PAL制紅外圖像輸出給監(jiān)視器；系統(tǒng)也支持VGA顯示，但由于VGA視頻分辨率遠(yuǎn)高于PAL制模擬視頻，需用一片DDR2 SDRAM進(jìn)行緩存放大。網(wǎng)口和串口通信方面，使用Altera公司開源的Nios-II軟核將點(diǎn)跡信息傳送給上位機(jī)，并接收上位機(jī)初始化和控制信號(hào)。

接口芯片SAA7111、SAA7121、ADV7123和VSC8641的初始化配置均由I2C控制模塊負(fù)責(zé)。

2.3FPGA模塊設(shè)計(jì)

FPGA強(qiáng)大實(shí)時(shí)的運(yùn)算能力歸功于其可并行處理的運(yùn)算方式，然而采用這種方式往往會(huì)占用大量硬件資源，實(shí)際運(yùn)行情況與設(shè)計(jì)的計(jì)算結(jié)構(gòu)關(guān)系密切。為了在確保LBP算子的實(shí)時(shí)性前提下節(jié)約硬件資源，本文設(shè)計(jì)了以下方法。

(1) 灰度自適應(yīng)快速掃描

對(duì)于目標(biāo)檢測(cè),傳統(tǒng)的方法是采用目標(biāo)提取算子逐像素掃描輸入圖像，存在計(jì)算開銷大以及容易對(duì)同一目標(biāo)重復(fù)告警的問題。針對(duì)以上情況,本文采用了一種灰度自適應(yīng)快速掃描機(jī)制，具體為：計(jì)算3n×3n矩陣塊Bi,j的最大值(i,j為Bi,j中心像素的坐標(biāo))，然后以最大值為中心, 重新構(gòu)造3n×3n 矩陣塊，最后采用LBP算子提取Bi～,j～的編碼值進(jìn)行目標(biāo)檢測(cè)。將Bi,j的中心位置i,j向右平移3n個(gè)像素得到下1個(gè)矩陣塊。若掃描完一個(gè)3n行的數(shù)據(jù)區(qū)，則從i=i +3n, j=1開始掃描下一個(gè)3n行數(shù)據(jù)區(qū),直到完成整幅圖像的掃描。

(2) 塊運(yùn)算

LBP算子包括n×n區(qū)域取均值、標(biāo)準(zhǔn)差、閾值劃分等基本運(yùn)算單元，基于LBP算子的多尺度要求，各計(jì)算單元的計(jì)算量隨尺度變化而不同。傳統(tǒng)的串行處理器只需要對(duì)圖像數(shù)據(jù)逐像素判斷，再?zèng)Q定其是否參與運(yùn)算即可。采取這種方式必然引起大量運(yùn)算延時(shí)，以每個(gè)運(yùn)算單元最大延時(shí)7個(gè)時(shí)鐘周期計(jì)算，延時(shí)量為n×n×7個(gè)時(shí)鐘周期，無法體現(xiàn)FPGA并行處理的優(yōu)勢(shì)。但如果將這種串行處理方式改為并行同時(shí)判斷，則引入了n×n次選擇運(yùn)算和最大7個(gè)系統(tǒng)周期延時(shí)，作為算法大量重復(fù)使用的基本運(yùn)算單元，將造成整個(gè)系統(tǒng)硬件資源的浪費(fèi)。

圖4　LBP算子串行復(fù)用結(jié)構(gòu)

根據(jù)LBP算子的特點(diǎn)，本文采用了塊運(yùn)算的方式，對(duì)于處于同一運(yùn)算塊的像素?cái)?shù)據(jù)，統(tǒng)一計(jì)算和判斷。這樣，只需要增加(n-2)個(gè)選擇運(yùn)算和最大7個(gè)時(shí)鐘周期延時(shí)，即可完成LBP算子基本運(yùn)算單元的計(jì)算，兼顧了資源和運(yùn)算延時(shí)，圖3給出了n=7時(shí)的LBP算子塊運(yùn)算結(jié)構(gòu)圖。

圖3　n為7時(shí)LBP算子塊運(yùn)算結(jié)構(gòu)

(3) 串行復(fù)用

FPGA作為并行運(yùn)算能力強(qiáng)大的處理器，其流水線式的并行運(yùn)算延時(shí)只會(huì)使運(yùn)算結(jié)果相對(duì)于輸入視頻產(chǎn)生ns級(jí)的滯后。但基于LBP算子的塊運(yùn)算結(jié)構(gòu)，其基本運(yùn)算單元均需完成最大尺寸的運(yùn)算。在1次掃描過程中，需要進(jìn)行9次n×n區(qū)域取均值、標(biāo)準(zhǔn)差、閾值劃分等運(yùn)算，本文將最大尺寸設(shè)為7，雖比直接進(jìn)行并行運(yùn)算結(jié)構(gòu)更優(yōu)化，但運(yùn)算量仍然巨大，對(duì)FPGA硬件資源要求較高。因此，在保證數(shù)據(jù)流實(shí)時(shí)傳輸、無阻塞以及不丟失的情況下，結(jié)合LBP算子特點(diǎn)，合理設(shè)計(jì)基本運(yùn)算單元串行復(fù)用的結(jié)構(gòu),可極大節(jié)約硬件資源。

由LBP檢測(cè)系統(tǒng)的灰度自適應(yīng)快速掃描機(jī)制，對(duì)于幀頻為25 Hz、分辨率為640×480的8位紅外圖像，尺度n=3時(shí)整圖的掃描次數(shù)最多，運(yùn)算量最大，每行圖像最多完成72次基本運(yùn)算單元計(jì)算。標(biāo)準(zhǔn)PAL制紅外圖像行周期為64 μs,理論上在576 μs內(nèi)處理9行圖像即可保證運(yùn)算的實(shí)時(shí)性，但由于標(biāo)準(zhǔn)PAL制紅外圖像行周期中存在大量消影期，因此會(huì)延長處理等待時(shí)間。為了減少運(yùn)算等待時(shí)間，在運(yùn)算之前使用2塊5 760字節(jié)雙端口RAM進(jìn)行乒乓緩存，緩存后的圖像行同步信號(hào)由系統(tǒng)時(shí)鐘計(jì)數(shù)生成，將消影期縮短到不超過10 μs。最后使用時(shí)間片輪轉(zhuǎn)法，在486 μs內(nèi)串行復(fù)用72次LBP基本運(yùn)算單元，即運(yùn)行1次LBP基本運(yùn)算單元時(shí)間周期不高于6.5 μs，就可以保證算法符合實(shí)際要求，其結(jié)構(gòu)如圖 4所示。

分析LBP算子運(yùn)算單元結(jié)構(gòu)可知，每個(gè)LBP算子運(yùn)算周期最多消耗63個(gè)時(shí)鐘周期進(jìn)行運(yùn)算，因此，只要時(shí)鐘周期不高于100 ns，即時(shí)鐘頻率高于10 MHz，即可在保證實(shí)時(shí)性的同時(shí)節(jié)約71個(gè)基本運(yùn)算單元的硬件資源消耗。

3　綜合結(jié)果

系統(tǒng)使用Altera公司的Quartus11.0軟件，采用可綜合的VHDL語言對(duì)圖像融合算法中各模塊進(jìn)行描述。整個(gè)系統(tǒng)在1片F(xiàn)PGA(EP2S60F672)上完成了分辨率為640×480的8位紅外弱小目標(biāo)檢測(cè)，表1給出了

Infrared Dim Target Detection System Based on LBP

Jiang Yiliang,Sun Ning,Zhai Shangli

(China Electronic Technology Group Corporation 28th Institute,Nanjing 210007,China)

An infrared dim target detection method based on local binary pattern(LBP) operator is analyzed,and an infrared dim target detection system is designed according to the practical application background.The overall structure of the system and the design method of the program module are introduced.The experiment results show that the proposed method can save large number of hardware resources in the premise of ensuring the real-time performance of LBP algorithm.

infrared dim target;local binary pattern;target detection;FPGA

TN216

A