王昊鵬，劉澤乾，方 興，張會(huì)勇，王晶橫

?

多尺度邊緣的轟炸光電瞄準(zhǔn)圖像融合

王昊鵬1,2a，劉澤乾2a，方 興2b，張會(huì)勇2b，王晶橫2b

( 1. 海軍航空工程學(xué)院武器系統(tǒng)與運(yùn)用工程系，山東煙臺(tái) 264000；2. 空軍航空大學(xué)a. 作戰(zhàn)指揮系；b. 基礎(chǔ)訓(xùn)練基地，長(zhǎng)春 130022 )

現(xiàn)役主戰(zhàn)轟炸機(jī)在夜間及復(fù)雜氣象條件下無法觀測(cè)目標(biāo)，需要配備光電瞄準(zhǔn)系統(tǒng)。為解決轟炸光電瞄準(zhǔn)實(shí)現(xiàn)過程中多尺度圖像融合這一關(guān)鍵技術(shù)問題，本文嘗試通過融合多尺度邊緣來達(dá)到融合圖像信息的目的，在壓縮被融合數(shù)據(jù)的同時(shí)，試圖減小噪聲對(duì)融合結(jié)果的影響?；诙喑叨冗吘壉硎纠碚?，提出了一種針對(duì)轟炸光電瞄準(zhǔn)的圖像融合方法，并通過實(shí)驗(yàn)驗(yàn)證了該方法的有效性。結(jié)果表明，本文提出的基于多尺度邊緣的圖像融合方法對(duì)失配和噪聲具有魯棒性，為實(shí)現(xiàn)轟炸光電瞄準(zhǔn)提供了理論基礎(chǔ)。

轟炸瞄準(zhǔn)；光電瞄準(zhǔn)；多尺度邊緣；圖像融合；邊緣相關(guān)性

0 引 言

主戰(zhàn)轟炸機(jī)配備的純光學(xué)目視瞄準(zhǔn)具已經(jīng)無法滿足當(dāng)今信息化作戰(zhàn)要求，在夜間及復(fù)雜氣象條件下無法觀測(cè)目標(biāo)，急需配備光電瞄準(zhǔn)系統(tǒng)[1-2]。由于轟炸光電瞄準(zhǔn)系統(tǒng)包含紅外、可見光、激光等多波段傳感系統(tǒng)，因而圖像融合是實(shí)現(xiàn)轟炸光電瞄準(zhǔn)的關(guān)鍵技術(shù)之一[3]。目前，大多數(shù)基于多尺度分解的圖像融合方法都是對(duì)整幅圖像的信息進(jìn)行分析、融合，以便盡可能利用源圖像中的重要信息，它們對(duì)圖像配準(zhǔn)的精度要求高，且極容易受到噪聲干擾的影響。

已有的關(guān)于圖像配準(zhǔn)與圖像融合的研究都是分開進(jìn)行的，兩個(gè)過程獨(dú)立地處理大量的圖像數(shù)據(jù)，再將結(jié)果送至下一級(jí)輸出。由于圖像數(shù)據(jù)本身的復(fù)雜性，人為地將這兩個(gè)過程獨(dú)立操作使得從失配的多幅圖像中獲得融合結(jié)果的過程非常復(fù)雜，并且計(jì)算量較大。

在研究中會(huì)發(fā)現(xiàn)配準(zhǔn)與融合之間存在一些共通之處。首先，配準(zhǔn)與融合處理的主要對(duì)象都是從圖像中提取特征，通常這些特征對(duì)于配準(zhǔn)和融合都是通用的[4]；其次，圖像特征之間的相似性對(duì)于配準(zhǔn)和融合都起到很重要的作用[5]。配準(zhǔn)與融合的上述特性使得我們能夠?qū)蓚€(gè)過程結(jié)合起來，以降低整個(gè)過程的復(fù)雜程度，減少計(jì)算量并節(jié)省存儲(chǔ)空間。

由于邊緣信息既能夠建立待配準(zhǔn)圖像之間的匹配關(guān)系，又常被作為待融合圖像的重要保留特征，因此可以被選為圖像配準(zhǔn)與圖像融合的契合點(diǎn)。在此基礎(chǔ)上，本文提出了一種對(duì)失配和噪聲具有魯棒性的基于邊緣的融合方法(Multiscale Edges Registration – Information Robust Image Fusion，MER – IRIF)。在實(shí)驗(yàn)中受到Mallat等人[6-7]提出的離散二進(jìn)小波變換及基于該變換的圖像多尺度邊緣檢測(cè)、重構(gòu)方法的啟發(fā)，依據(jù)離散二進(jìn)小波變換具有的平移不變性，通過求解分解后高頻子帶之間的配準(zhǔn)變換參數(shù)得到源圖像間的配準(zhǔn)變換參數(shù)，同時(shí)考慮到檢測(cè)出的多尺度邊緣能夠表征圖像的主要信息，在配準(zhǔn)和融合處理過程中用多尺度邊緣代替整幅源圖像，并在處理結(jié)束后重構(gòu)出融合圖像的近似圖像，既能減少數(shù)據(jù)的存儲(chǔ)量，又能減輕算法的計(jì)算負(fù)擔(dān)。

MER–IRIF方法在描述邊緣信息的相似性時(shí)，引入了原本用于客觀評(píng)價(jià)圖像融合效果的邊緣相關(guān)性(Edge Correlation，ECOR)[8-9]概念并對(duì)其進(jìn)行擴(kuò)展。不僅在配準(zhǔn)過程中用全局邊緣相關(guān)性衡量未配準(zhǔn)源圖像之間的匹配程度，同時(shí)在融合過程中將邊緣相關(guān)性作為邊緣點(diǎn)處的匹配度，以確定對(duì)應(yīng)邊緣點(diǎn)處的融合準(zhǔn)則。

1 算法框架構(gòu)成

為了簡(jiǎn)便起見，我們假設(shè)圖像之間僅存在剛體變換的失配情況，即圖像間只存在平移和(或)旋轉(zhuǎn)的失配情況。設(shè)參考圖像為，浮動(dòng)圖像為。MER – IRIF方法先通過多尺度邊緣檢測(cè)提取兩幅失配圖像和的邊緣信息，再根據(jù)邊緣相關(guān)性(ECOR)進(jìn)行基于多尺度邊緣的配準(zhǔn)和融合，最后由融合后的多尺度邊緣表示重構(gòu)得到一幅融合圖像。如圖1所示為算法流程圖。

圖1 MER – IRIF 算法流程圖

對(duì)圖像、進(jìn)行離散二進(jìn)小波分解后，再經(jīng)過邊緣檢測(cè)、邊緣鏈接和邊緣選擇，提取出顯著的長(zhǎng)邊緣曲線，從而獲得圖像、的多尺度邊緣表示，這里分別記為()、()。此后的配準(zhǔn)和融合過程都是在上述多尺度邊緣表示上進(jìn)行的。其中，配準(zhǔn)過程只使用了兩幅圖像在尺度22上的邊緣信息，并將全局邊緣相關(guān)性作為配準(zhǔn)算法的相似性度量，通過優(yōu)化該參數(shù)使相似性度量達(dá)到最大，從而得到正確的變換參數(shù)并保存對(duì)應(yīng)此參數(shù)的邊緣相關(guān)性。利用上述正確的變換參數(shù)將()變換為與()匹配的多尺度邊緣表示，記為(’)。對(duì)()與(’)進(jìn)行融合，并利用配準(zhǔn)中保存的相應(yīng)邊緣相關(guān)性作為匹配度來決定融合準(zhǔn)則，得到融合后的多尺度邊緣表示，可記為()。最后，融合圖像可以由()經(jīng)過多尺度邊緣重構(gòu)得到。

2 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證MER – IRIF方法的有效性，將其用于分析幾組遙感圖像和多聚焦圖像，如圖2所示。圖2(a)是攝于Abu Dhabi地區(qū)的紅光、綠光波段圖像，圖2(b)~(d)都是由高光譜掃描儀Daedalus scanner拍攝的某個(gè)城區(qū)或工業(yè)區(qū)[10]，而圖2(e)和(f)則是兩組多聚焦圖像。這幾組圖像是已經(jīng)精確配準(zhǔn)的源圖像，實(shí)驗(yàn)中需要對(duì)每組中的一幅圖像進(jìn)行平移和(或)旋轉(zhuǎn)以模擬現(xiàn)實(shí)中的失配圖像對(duì)。

依據(jù)轉(zhuǎn)移瘤的位置、大小、數(shù)目及患者身體狀況選取手術(shù)方式，開胸手術(shù)23例，胸腔鏡手術(shù)38例。肺葉切除48次，肺楔形切除7次，肺段切除2次，肺葉連同部分胸壁切除2次，肺葉袖式切除1次，全肺切除1次。肺葉切除組中6例為同側(cè)多肺葉切除，4例為肺葉切除加楔形切除。除7例行肺楔形切除的沒有進(jìn)行淋巴切除清掃以外，其余病例均常規(guī)實(shí)施淋巴結(jié)清掃切除(清掃或采樣)。術(shù)后接受化療42例。

實(shí)驗(yàn)中，將圖2中每組的第一行圖像進(jìn)行平移和旋轉(zhuǎn)，再選取其400×400的中心區(qū)域作為參考圖像，并令圖2中每組第二行圖像中的400×400中心區(qū)域?yàn)楦?dòng)圖像，用這種方式就可以模擬出真實(shí)情況下的自然失配圖像對(duì)。

圖2 幾組遙感圖像和多聚焦圖像

2.1 融合效果的評(píng)估

（2）面向未來的培訓(xùn)合同。這一措施于2012年10月實(shí)施，其目的是幫助處于危險(xiǎn)境地的年輕人重新進(jìn)入社會(huì)，并幫助他們?nèi)〉觅Y格證書。因此，該方案主要針對(duì)16至25歲（有特殊需要的人最高可達(dá)30歲）的未完成基本教育、沒有工作或缺乏職業(yè)培訓(xùn)、生活在貧窮的城市或農(nóng)村地區(qū)的年輕人。他們的薪酬由國家補(bǔ)貼，補(bǔ)貼與其培訓(xùn)的情況掛鉤。

在配準(zhǔn)過程中，利用優(yōu)化算法實(shí)現(xiàn)相似性度量的最大化，從而得到失配圖像之間的正確變換參數(shù)。這里，平移、旋轉(zhuǎn)的變換參數(shù)表示為[ΔΔΔ]，其中Δ，Δ分別表示沿，方向的位移，Δ則表示繞圖像中心的旋轉(zhuǎn)角度。為了簡(jiǎn)化搜索過程，實(shí)驗(yàn)中僅設(shè)置失配圖像之間存在較小的平移和旋轉(zhuǎn)差異。為了不失一般性，我們將優(yōu)化算法中的初始變換參數(shù)設(shè)置在[0 0 0]處。

在得到正確配準(zhǔn)參數(shù)和對(duì)應(yīng)的最大邊緣相關(guān)性后，對(duì)配準(zhǔn)后的多尺度邊緣表示進(jìn)行融合，然后重構(gòu)出融合結(jié)果。圖3所示為正確變換參數(shù)為[-7 4 -3]時(shí)，MER–IRIF方法得到的融合結(jié)果。圖3中前兩行分別顯示了參考圖像和相應(yīng)的浮動(dòng)圖像，第三行則是由融合后的多尺度邊緣表示重構(gòu)得到的最終融合結(jié)果。以圖2(e)為例，如圖4所示，分別展示了正確變換參數(shù)為[-7 4 -3]時(shí)參考圖像在尺度22上的邊緣圖(圖4(a))、浮動(dòng)圖像在尺度22上的邊緣圖(圖4(b))，以及配準(zhǔn)后的邊緣圖(圖4(c))、融合后的邊緣圖(圖4(d))。從圖3可以看出，由融合后的多尺度邊緣表示重構(gòu)出的圖像具有令人滿意的視覺效果。

圖3 正確變換參數(shù)為[-7 4 -3]時(shí)的融合結(jié)果

圖4 當(dāng)正確變換參數(shù)為[-7 4 -3]時(shí)圖2(e)的邊緣圖

為了顯示MER – IRIF方法的優(yōu)勢(shì)，將其與已有的使用多尺度融合準(zhǔn)則的方法進(jìn)行比較，包括文獻(xiàn)[11]中提出的基于支持度變換和top-hat分解相結(jié)合的融合方法，以及文獻(xiàn)[12]中提出的基于高/多光譜圖像的空天一體融合方法。為了能夠客觀評(píng)價(jià)各個(gè)融合方法，這里采用了熵(E)、互信息(MI)、平均梯度(AG)及基于理想圖像的均方差誤差(RMSE)四種客觀評(píng)價(jià)指標(biāo)來衡量融合圖像的效果，同時(shí)記錄了各個(gè)融合方法融合過程的運(yùn)行時(shí)間(Time)。表1所示給出了圖2中幾組圖像經(jīng)過上述三種算法融合之后得到平均客觀評(píng)價(jià)指標(biāo)。

表1 融合結(jié)果客觀評(píng)價(jià)指標(biāo)比較

Table 1 Fusion results objective evaluation index

由表1可以看出，本文提出的MER–IRIF融合算法有最大的熵值、平均梯度、互信息和最小的均方根誤差，因而可以得到更好的融合效果。

2.2 計(jì)算量的評(píng)估

我們提出的MER – IRIF方法對(duì)尺度22上長(zhǎng)邊緣曲線進(jìn)行了提取，大大減少了配準(zhǔn)和融合過程中的處理數(shù)據(jù)。為了衡量數(shù)據(jù)量的減少程度，此處定義小波系數(shù)保留率為

其中：num表示MER – IRIF方法中使用的邊緣點(diǎn)總個(gè)數(shù)；×表示源圖像的尺寸大小。表2列出了在四組變換參數(shù)下處理圖2中各對(duì)圖像時(shí)的小波系數(shù)保留率?？梢姡褂枚喑叨冗吘夁M(jìn)行配準(zhǔn)和融合后大大減少了處理的數(shù)據(jù)量。

室內(nèi)空間設(shè)計(jì)在滿足安全性、舒適性原則的基礎(chǔ)上，還必須要滿足會(huì)計(jì)估計(jì)性的原則。因此在實(shí)際的室內(nèi)空間設(shè)計(jì)中還要充分重視經(jīng)濟(jì)型原則，設(shè)計(jì)人員還要通過采取不同的手段與方式，對(duì)室內(nèi)空間的色彩、家具以及材料等機(jī)型處理，這樣才能更好的滿足人性化的設(shè)計(jì)理念。尤其需要設(shè)計(jì)人員對(duì)裝飾材料進(jìn)行慎重的選擇，要求材料必須具備安全、環(huán)保以及節(jié)能的要求。但是需要注意的是在保證以上要求的同時(shí)還必須要考慮用戶的實(shí)際經(jīng)濟(jì)狀況，這也是室內(nèi)空間設(shè)計(jì)中“人性化”設(shè)計(jì)理念的重要體現(xiàn)。

表2 圖2 中各對(duì)圖像的小波系數(shù)保留率

式中:t表示當(dāng)前迭代的次數(shù),XP是獵物的位置,X(t)是灰狼的位置。D表示包圍步長(zhǎng)。A和C為系數(shù)向量,分別由式(19)和式(20)計(jì)算得出:

Table 2 The wavelet coefficients retention rate of image in figure 2

此外，在融合多尺度邊緣的過程中，重復(fù)使用了配準(zhǔn)過程中得到的邊緣相關(guān)性數(shù)值，無需再次尋找保留的邊緣點(diǎn)并計(jì)算相應(yīng)的相關(guān)性數(shù)值。這樣計(jì)算量應(yīng)可減少(×。同2.1節(jié)相同，將MER – IRIF方法與文獻(xiàn)[13]、[14]、[15]中提出的融合方法相比較，如表3所示，本文提出的MER – IRIF算法在最短的時(shí)間內(nèi)得到的融合結(jié)果有最大的熵值、平均梯度和較小的均方根誤差，表明本方法可以在較短的時(shí)間內(nèi)得到較好的融合效果。

表3 融合結(jié)果客觀評(píng)價(jià)指標(biāo)比較

Table 3 Fusion results objective evaluation index

3 結(jié) 論

本文利用轟炸光電瞄準(zhǔn)圖像的顯著長(zhǎng)邊緣信息，提出了一種基于多尺度邊緣的對(duì)失配/噪聲魯棒的圖像融合方法，并通過大量實(shí)驗(yàn)驗(yàn)證了該算法的有效性。結(jié)果表明，本文提出的圖像融合方法包含有比源圖像更豐富的信息和細(xì)節(jié)，且大大減少了處理的數(shù)據(jù)量和計(jì)算量。由于轟炸瞄準(zhǔn)過程中，對(duì)夜間及復(fù)雜氣象條件下對(duì)目標(biāo)的探測(cè)精度和速度要求較高，因此本文提出的方法顯然能夠?yàn)檗Z炸光電瞄準(zhǔn)的實(shí)現(xiàn)提供有力的理論基礎(chǔ)。

[1] 王昊鵬，劉澤乾，張會(huì)勇，等. 轟炸光電瞄準(zhǔn)模型建立 [J]. 激光與紅外，2015，45(4)：406-411.

WANG Haopeng，LIU Zeqian，ZHANG Huiyong，. Study of electro-optical bombing targeting model [J]. Laser & Infrared，2015，45(4)：406-411.

[2] 王昊鵬，劉澤乾. 轟炸光電瞄準(zhǔn)載機(jī)系統(tǒng)交聯(lián)改造 [J]. 兵工自動(dòng)化，2015，34(2)：23-30.

WANG Haopeng，LIU Zeqian. Cross-Linking Improvement Containing Place on Bombing Electro-Optic Targeting System [J]. Ordnace Industry Automation，2015，34(2)：23-30.

[3] 王昊鵬，劉澤乾，張會(huì)勇，等. 轟炸光電瞄準(zhǔn)主控計(jì)算機(jī)系統(tǒng)硬件設(shè)計(jì) [J]. 計(jì)算機(jī)測(cè)量與控制，2015，23(3)：824-827.

WANG Haopeng，LIU Zeqian，ZHANG Huiyong，. Hardware Design of Master Control Computer on Bombing Targeting System [J]. Computer Measurement & Control，2015，23(3)：824-827.

[4] LIU Yan，YU Feihong. An automatic image fusion algorithm for unregistered multiply multi-focus images [J]. Optics Communications(S0030-4018)，2015，341(4)：101-113.

[5] LI Yinghao，HE Zhongshi，ZHU Hao，. Jointly registering and fusing images from multiple sensors [J]. Information Fusion(S1566-2535)，2015，27(5)：85-94.

[6] Mallat S，Zhong S F. Characterization of Signals from Multiscale Edges [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence(S0162-8828)，1992，14(7)：710-732.

[7] Xydeas C S，Petrovic V. Objective image fusion performance measure [J]. Electronics Letters(S0013-5194)，2000，36(4)：308-309.

[8] Petrovic V，Xydeas C S. Objective evaluation of signal – level image fusion performance [J]. Optical Engineering(S0091-3286)，2005，44(8)：087003.

[9] ZHANG Wenxing，HAN Deren，JIANG Suoliang. A modified alternating projection based prediction–correction method for structured variational inequalities [J]. Applied Numerical Mathematics(S0168-9274)，2014，83(2)：12-21.

[10] 2-D IMAGE COLLECTIONS [EB/OL]. http：//www. imagefusion. org，2006.

[11] 藺素珍，楊風(fēng)暴，陳磊. 基于支持度變換和top-hat分解的雙色中波紅外圖像融合 [J]. 光譜學(xué)與光譜分析，2014，34(4)：1144-1150.

LIN Suzhen，YANG Fengbao，CHEN Lei. Fusion of Dual Color MWIR Images Based on Support Value Transform and top-hat Decomposition [J]. Spectroscopy and Spectral Analysis，2014，34(4)：1144-1150.

[12] 陳善靜，胡以華，孫杜鵑，等. 基于高/多光譜圖像空天一體融合仿真方法 [J]. 物理學(xué)報(bào)，2013，62(20)：204201.

CHEN Shanjing，HU Yihua，SUN Dujuan，. A simulation method by air and space integrated fusion based on hyper-/multispectral imagery [J]. Acta Physica Sinica，2013，62(20)：204201.

[13] WANG Xiangyang，SUN Weiwei，WU Zhifang，. Color image segmentation using PDTDFB domain hidden Markov tree model [J]. Applied Soft Computing(S1568-4946)，2015，29：138-152.

[14] LIU Tao，ZHAO Depeng，PAN Mingyang，. Fusing Multiscale Charts into 3D ENC Systems Based on Underwater Topography and Remote Sensing Image [J]. Mathematical Problems in Engineering(S1024-123X)，2015，2015(1)：1-7.

[15] REN Kan，XU Fuyuan. Super-resolution images fusion via compressed sensing and low-rank matrix decomposition [J]. Infrared Physics and Technology(S1350-4495)，2015，68：61-68.

Image Fusion of Bombing Electro-Optic Targeting Based on Multiscale Edge

WANG Haopeng1,2a，LIU Zeqian2a，F(xiàn)ANG Xing2b，ZHANG Huiyong2b，WANG Jingheng2b

( 1. Weapon Systems and Utilization Engineering, Naval Aviation Engineering Institute, Yantai 264000, Shandong Province, China;2. a. Campaign and Command Department; b. Basic Training Base,Aviation University of Air Force, Changchun 130022, China )

Bombers in our army have not been equipped with the Electro-Optic Targeting Systems (EOTS), which cannot observe targets at night and as a result cannot conduct precise bombing with the all-optic targeting systems as their bombing targeting systems, so the EOTS is needed. To solve the problem of multiscale image fusion in the process of implement the EOTS, the purpose of image information fusion has been tried to achieve through the multiscale edge fusion. With the fusion data compression, the influence of noise on the fusion result has been tried to reduce at the same time. Based on the multiscale edge theory, an image fusion method for bombing EOTS is proposed, and the effectiveness of the proposed method is verified by experiment. Results show that the proposed image fusion method based on multiscale edge has robustness against mismatch and noise, and provides a theoretical basis for the realization of the bombing EOTS.

bombing targeting; EOTS; multiscale edge; image fusion; edge correlation

TP751

A

10.3969/j.issn.1003-501X.2016.04.009

2015-05-28；

2015-08-30

軍隊(duì)重點(diǎn)科研項(xiàng)目(KJ2011215)

王昊鵬(1987-)，男(漢族)，遼寧沈陽人。博士研究生，主要研究工作是武器系統(tǒng)建模與仿真。E-mail: roc_whp@sina.com。