張洲宇, 曹云峰

(南京航空航天大學(xué)航天學(xué)院，南京210016)

0 引言

著艦由于高更新率和高實(shí)時(shí)性等特點(diǎn),在無(wú)人艦載機(jī)的任務(wù)鏈內(nèi)顯得尤為關(guān)鍵，統(tǒng)計(jì)數(shù)據(jù)表明，著艦期間的事故發(fā)生率遠(yuǎn)高于起飛與巡航階段[1]。因此，針對(duì)無(wú)人艦載機(jī)著艦導(dǎo)引技術(shù)的研究具有重要意義。視覺(jué)導(dǎo)引因具備高可靠性、高安全性、低能耗等優(yōu)點(diǎn),為無(wú)人機(jī)著艦提供了一條行之有效的途徑。視覺(jué)著艦導(dǎo)引流程圖如圖1所示[2]。

圖1 無(wú)人機(jī)視覺(jué)著艦導(dǎo)引流程圖Fig.1 UAV visual landing guidance flow chart

由于視覺(jué)傳感器的成像質(zhì)量易受光照變化的影響，在低能見(jiàn)度條件下難以滿(mǎn)足著艦導(dǎo)引的任務(wù)需求，因此對(duì)視覺(jué)信息進(jìn)行預(yù)處理以達(dá)到著艦導(dǎo)引的條件顯得至關(guān)重要。如圖2所示，可見(jiàn)光艦船圖像可以較好地保留海岸線和艦船輪廓等細(xì)節(jié)信息，但是在低能見(jiàn)度條件下難以清晰地捕獲艦船目標(biāo)；而紅外圖像在低能見(jiàn)度條件下可以完整地獲取艦船目標(biāo)，但是圖像中的紋理信息不夠豐富。如圖1所示，由于完整的艦船目標(biāo)是視覺(jué)著艦流程中艦船檢測(cè)步驟的必要條件，而圖像中的細(xì)節(jié)信息對(duì)于機(jī)艦相對(duì)位姿估計(jì)步驟具有至關(guān)重要的影響[3]，可見(jiàn)光艦船圖像與紅外艦船圖像對(duì)于視覺(jué)著艦具有較強(qiáng)的互補(bǔ)性。為此，本文針對(duì)面向無(wú)人機(jī)視覺(jué)著艦導(dǎo)引的紅外與可見(jiàn)光像素級(jí)艦船圖像融合方法展開(kāi)研究，以提升視覺(jué)導(dǎo)引在低能見(jiàn)度條件下的適用性。

(a) 可見(jiàn)光圖像

(b) 紅外圖像

(c) 融合圖像圖2 紅外與可見(jiàn)光像素級(jí)艦船目標(biāo)圖像融合Fig.2 Pixel level infrared and visible ship target image fusion

當(dāng)前廣泛采用的像素級(jí)圖像融合方法可分為三類(lèi)[4-9]：基于壓縮感知 (Compressive Sensing, CS)理論的圖像融合方法、基于卷積稀疏表示(Con-volutional Sparse Representation, CSR)的圖像融合方法和基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)的圖像融合方法。

基于CS理論的圖像融合方法首先將源圖像分解為大量互相重疊的圖像塊，在此基礎(chǔ)上采用預(yù)先學(xué)習(xí)的過(guò)完備字典獲取每一個(gè)圖像塊的投影系數(shù)，最終通過(guò)預(yù)先設(shè)計(jì)的融合規(guī)則結(jié)合過(guò)完備字典實(shí)現(xiàn)融合圖像的重建。由于CS理論所采用的過(guò)完備字典具有較強(qiáng)的特征學(xué)習(xí)能力，該類(lèi)方法的融合性能相比于采用小波基的圖像融合方法有明顯的提升[9]。然而針對(duì)無(wú)人機(jī)視覺(jué)著艦導(dǎo)引的應(yīng)用背景，該類(lèi)方法的不足之處在于：在投影系數(shù)計(jì)算階段，正交匹配追蹤 (Orthogonal Matching Pursuit, OMP)與多面體追蹤 (Polytope Faces Pursuit, PFP)等算法需要大量的重復(fù)迭代，計(jì)算復(fù)雜度高達(dá)O(m2)[10-11]，其中m為過(guò)完備字典的原子個(gè)數(shù)。

基于CSR的圖像融合方法采用一組預(yù)先訓(xùn)練的字典濾波器將源圖像分解為大小相同的一組卷積圖，在此基礎(chǔ)上通過(guò)活性層衡量算法計(jì)算每一個(gè)像素點(diǎn)位置的活性強(qiáng)度，最終根據(jù)活性強(qiáng)度結(jié)合預(yù)先訓(xùn)練的字典濾波器實(shí)現(xiàn)融合圖像的重建。由于采用CSR的圖像融合方法無(wú)需將源圖像分解為大量重疊的圖像塊，在一定程度上避免了CS理論所產(chǎn)生的塊狀分布等不良效應(yīng)。然而針對(duì)無(wú)人機(jī)視覺(jué)著艦導(dǎo)引的應(yīng)用背景，該類(lèi)方法的不足之處在于：在字典濾波器數(shù)量較少時(shí)，融合效果往往不夠理想；而當(dāng)字典濾波器數(shù)量增加時(shí)，融合算法的計(jì)算復(fù)雜度也隨之急劇上升。

基于CNN的圖像融合方法根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的不同屬性，又可以進(jìn)一步分為基于分類(lèi)卷積神經(jīng)網(wǎng)絡(luò)的圖像融合以及基于回歸卷積神經(jīng)網(wǎng)絡(luò)的圖像融合[5]。由于CNN具有監(jiān)督學(xué)習(xí)特性，上述兩種類(lèi)型的卷積神經(jīng)網(wǎng)絡(luò)都通過(guò)大量帶有標(biāo)簽的訓(xùn)練樣本完成網(wǎng)絡(luò)訓(xùn)練，并在此基礎(chǔ)上通過(guò)預(yù)訓(xùn)練網(wǎng)絡(luò)實(shí)現(xiàn)端到端的圖像融合[12]。由于CNN近年來(lái)在特征學(xué)習(xí)方面展現(xiàn)出的巨大優(yōu)勢(shì)，該類(lèi)方法在像素級(jí)圖像融合領(lǐng)域具有較好的應(yīng)用前景。然而針對(duì)無(wú)人機(jī)視覺(jué)著艦導(dǎo)引的應(yīng)用背景，該類(lèi)方法最大的缺陷在于難以獲取用于訓(xùn)練的融合圖像真值圖(Ground Truth, GT)。

為了克服現(xiàn)有算法的不足，考慮視覺(jué)著艦導(dǎo)引對(duì)于實(shí)時(shí)性的要求，本文提出了一種采用局部約束線性編碼(Locality-constrained Linear Coding, LLC)的紅外與可見(jiàn)光像素級(jí)艦船圖像融合方法，該方法分為基于K均值奇異值分解的過(guò)完備字典建立、基于LLC的融合系數(shù)求解，以及融合圖像的重建三個(gè)部分。由于LLC無(wú)需迭代即可求得融合系數(shù)的解析解，與傳統(tǒng)CS理論架構(gòu)下的圖像融合方法相比，本文所提融合算法的計(jì)算復(fù)雜度顯著下降。針對(duì)三組不同距離拍攝的紅外與可見(jiàn)光艦船圖像的融合實(shí)驗(yàn)結(jié)果表明：在融合圖像質(zhì)量方面，本文所提算法在保留高頻細(xì)節(jié)的同時(shí)將圖像中的艦船目標(biāo)有效增強(qiáng)了，MI、Qw、QAB/F等部分客觀評(píng)價(jià)指標(biāo)優(yōu)于基于CSR的圖像融合算法與基于CNN的圖像融合算法；在實(shí)時(shí)性方面，本文所提算法的計(jì)算速度相比于采用OMP計(jì)算融合系數(shù)的圖像融合算法有明顯提升。

1 像素級(jí)艦船圖像融合方案

本文設(shè)計(jì)的像素級(jí)艦船圖像融合總體方案如圖3所示，可分為三個(gè)部分：過(guò)完備字典的學(xué)習(xí)、融合系數(shù)的求解和融合圖像的重建。其中，過(guò)完備字典的學(xué)習(xí)是離線的，而融合系數(shù)的求解與融合圖像的重建是在線完成的。

考慮到著艦導(dǎo)引對(duì)于實(shí)時(shí)性的要求，融合系數(shù)求解算法的計(jì)算復(fù)雜度對(duì)于著艦導(dǎo)引具有至關(guān)重要的影響。為了提升融合算法的實(shí)時(shí)性，本文采用LLC來(lái)實(shí)現(xiàn)融合系數(shù)的求解。相較于OMP和PFP等基于數(shù)值優(yōu)化的投影系數(shù)求解方法，該方法具有解析解，且無(wú)需重復(fù)迭代，因此計(jì)算復(fù)雜度僅為O(m+k),k?m[11]，其中k為用于計(jì)算投影系數(shù)的K近鄰原子個(gè)數(shù)，m為過(guò)完備字典的原子個(gè)數(shù)。

2 像素級(jí)艦船圖像融合算法

2.1 過(guò)完備字典的學(xué)習(xí)

如圖3所示，獲取過(guò)完備字典是融合系數(shù)求解的先決條件。K均值奇異值分解(K-means Singular Value Decomposition, K-SVD)是一種經(jīng)典的從訓(xùn)練樣本中學(xué)習(xí)字典的方法[13]，其目標(biāo)函數(shù)可以表示為

(1)

圖3 像素級(jí)艦船圖像融合方案Fig.3 Pixel level ship image fusion scheme

2.2 融合系數(shù)的求解

通過(guò)求解融合系數(shù)實(shí)現(xiàn)圖像在不同空間上的轉(zhuǎn)換是變換域像素級(jí)圖像融合算法的核心[4]。在求解融合系數(shù)之前，首先需要對(duì)源圖像進(jìn)行向量化，以獲得一組向量集合，在此基礎(chǔ)上求解向量集合所對(duì)應(yīng)的融合系數(shù)。

(2)

顯然，求解式(2)中的系數(shù)a為NP-hard難題，無(wú)法獲取解析解，因此只能通過(guò)數(shù)學(xué)分析方法獲取稀疏系數(shù)a的近似解。稀疏系數(shù)的近似估計(jì)方法包括l0范數(shù)貪婪迭代算法和l1范數(shù)最小化算法。OMP算法[14]是應(yīng)用最為廣泛的l0范數(shù)貪婪迭代算法，目標(biāo)函數(shù)如式(3)所示。該算法繼承了匹配追蹤算法的原子選擇標(biāo)準(zhǔn)，但是通過(guò)對(duì)原子集合進(jìn)行遞歸正交化，從而降低了迭代次數(shù)。

(3)

l1范數(shù)最小化算法是指通過(guò)計(jì)算l1范數(shù)的最小值替代l0范數(shù)最小值的方法，當(dāng)字典D滿(mǎn)足約束等距條件時(shí)，l1范數(shù)最小化問(wèn)題和l0范數(shù)最小化問(wèn)題是等價(jià)的，因此針對(duì)式(3)的優(yōu)化求解可以轉(zhuǎn)化為式(4)。針對(duì)l1范數(shù)最小化問(wèn)題的求解方法可以利用CS理論中的標(biāo)準(zhǔn)線性規(guī)劃方法實(shí)現(xiàn)，其中具有代表性的包括基追蹤(Basis Pursuit, BP)算法和PFP算法等。

(4)

上述兩類(lèi)求解系數(shù)向量方法的共同不足在于，需要通過(guò)不斷迭代求取近似解，因此計(jì)算復(fù)雜度較大。即便通過(guò)近似計(jì)算的方式簡(jiǎn)化分析，該類(lèi)求解方式的計(jì)算復(fù)雜度依然高達(dá)O(m2)[10]，其中m為過(guò)完備字典的原子個(gè)數(shù)。

(5)

(6)

2.3 融合圖像的重建

通過(guò)LLC分別計(jì)算得到紅外與可見(jiàn)光圖像的系數(shù)向量后，如何選取恰當(dāng)?shù)娜诤弦?guī)則實(shí)現(xiàn)系數(shù)向量的融合是重建融合圖像的前提[14]?？紤]到利用均值融合重建得到融合圖像后，圖像中反映重要細(xì)節(jié)的高頻信息容易丟失，這與圖像融合的初衷是相違背的。因此，本文設(shè)計(jì)了最大絕對(duì)值融合規(guī)則，該融合規(guī)則的數(shù)學(xué)表達(dá)式為

(7)

至此，融合艦船圖像的重建步驟可歸納如下。

第一步：基于系數(shù)向量的融合規(guī)則，將紅外艦船圖像的系數(shù)矩陣Ain與可見(jiàn)光艦船圖像的系數(shù)矩陣Avi融合為系數(shù)矩陣AF;

第二步：通過(guò)YF=DAF獲取融合圖像所對(duì)應(yīng)的矩陣YF；

第三步：將YF的每一個(gè)列向量yF轉(zhuǎn)化成大小為n×n的矩陣，并將這個(gè)矩陣加到與原圖像尺寸相同的空矩陣S上，該過(guò)程可視為圖4獲取輸入信號(hào)的逆過(guò)程；

第四步：由于每個(gè)矩陣在空矩陣S上相加的位置存在重疊，因此，S的每個(gè)元素所在的位置都需要除以該位置上矩陣相加的次數(shù)，從而獲取與融合圖像IF對(duì)應(yīng)的像素值。

3 艦船圖像融合算法仿真驗(yàn)證

3.1 仿真實(shí)驗(yàn)設(shè)置

本文用于實(shí)驗(yàn)的源圖像共有三組，如圖5所示。其中，圖5(a)、(b)、(c)為紅外圖像，圖5(d)、(e)、(f)為可見(jiàn)光圖像，兩組圖像按照由遠(yuǎn)及近的順序拍攝，由此模擬無(wú)人機(jī)的著艦過(guò)程。

用于K-SVD字典訓(xùn)練的樣本包含20000個(gè)尺寸為8×8、從紅外與可見(jiàn)光圖像中隨機(jī)選擇的圖像塊。根據(jù)訓(xùn)練樣本的不同選擇，本文使用的字典分為完全由紅外圖像訓(xùn)練得到的字典和完全由可見(jiàn)光圖像訓(xùn)練得到的字典兩類(lèi)。

在融合效果評(píng)估方面，本文選取了三種廣泛采用的融合圖像質(zhì)量客觀評(píng)價(jià)指標(biāo)，包括：

(a) 紅外圖像1

(b) 紅外圖像2

(c) 紅外圖像3

(d) 可見(jiàn)光圖像1

(e) 可見(jiàn)光圖像2

(f) 可見(jiàn)光圖像3

1)MI：MI與融合效果呈正相關(guān)；

2)QW：QW與融合效果呈正相關(guān)；

3)QAB/F：QAB/F與1更接近，表明融合效果更好。

3.2 融合效果分析

考慮到無(wú)人機(jī)視覺(jué)著艦導(dǎo)引的實(shí)時(shí)性要求，本文從圖像融合質(zhì)量與融合算法計(jì)算時(shí)間兩個(gè)角度對(duì)融合效果進(jìn)行綜合分析。

由于過(guò)完備字典的學(xué)習(xí)、融合系數(shù)的求解和融合圖像的重建是本文設(shè)計(jì)算法的三個(gè)核心步驟，因此本文重點(diǎn)針對(duì)以上三個(gè)步驟對(duì)融合效果的影響展開(kāi)分析。在過(guò)完備字典的學(xué)習(xí)部分，針對(duì)字典訓(xùn)練樣本的選取對(duì)融合效果的影響進(jìn)行分析；在融合系數(shù)的求解部分，針對(duì)融合系數(shù)求解算法的選取對(duì)融合效果的影響進(jìn)行分析；在融合圖像的重建部分，針對(duì)絕對(duì)值最大融合規(guī)則和l1范數(shù)最大融合規(guī)則對(duì)融合效果的影響進(jìn)行分析。由此組合得到八種不同的算法，列舉如表1所示。在所有的實(shí)驗(yàn)中，字典大小設(shè)置為64×256，滑窗尺寸設(shè)置為8×8，式(4)中OMP算法的δ設(shè)置為0.1，式(5)中局部約束線性算法的λ設(shè)置為10-6。

第一組和第二組艦船圖像在八種算法下的融合結(jié)果分別如圖6和圖7所示。第一組和第二組艦船圖像在8種算法下的客觀評(píng)價(jià)指標(biāo)如表2所示。

表1 實(shí)驗(yàn)算法設(shè)置

表2 融合結(jié)果客觀評(píng)價(jià)指標(biāo)對(duì)比

(a) IR-LLC-Abs

(c)IR-OMP-Abs

(d)IR-OMP-l1

(e)VI-LLC-Abs

(f)VI-LLC-l1

(g)VI-OMP-Abs

(h)VI-OMP-l1

(a) IR-LLC-Abs

(b)IR-LLC-l1

(c)IR-OMP-Abs

(d)IR-OMP-l1

(e)VI-LLC-Abs

(f)VI-LLC-l1

(g)VI-OMP-Abs

(h)VI-OMP-l1

通過(guò)人眼的直觀評(píng)價(jià)對(duì)融合結(jié)果進(jìn)行初步分析可知：1)字典學(xué)習(xí)過(guò)程中采用的訓(xùn)練樣本類(lèi)型對(duì)最終的融合結(jié)果沒(méi)有顯著影響；2)采用LLC求解融合系數(shù)得到的融合圖像效果優(yōu)于采用最優(yōu)匹配追蹤算法；3)采用最大絕對(duì)值融合規(guī)則得到的融合圖像效果優(yōu)于采用最大l1范數(shù)融合規(guī)則。

進(jìn)一步對(duì)第一組和第二組艦船圖像的各個(gè)融合結(jié)果進(jìn)行客觀評(píng)價(jià)，計(jì)算得到的MI、QW、QAB/F的對(duì)比結(jié)果如表2所示。分析融合結(jié)果的客觀評(píng)價(jià)指標(biāo)，其規(guī)律與主觀評(píng)價(jià)得到的結(jié)果基本一致，即：1)字典學(xué)習(xí)過(guò)程中的訓(xùn)練樣本類(lèi)型對(duì)融合結(jié)果沒(méi)有明顯影響；2)利用LLC求解融合系數(shù)的融合圖像效果優(yōu)于OMP；3)采用最大絕對(duì)值融合規(guī)則的融合圖像效果基本優(yōu)于最大l1范數(shù)融合規(guī)則。

對(duì)于兩組艦船圖像的八種算法進(jìn)一步進(jìn)行實(shí)時(shí)性驗(yàn)證分析。本文算法的實(shí)現(xiàn)平臺(tái)為matlab 2016b，

計(jì)算機(jī)主頻為3.4GHz，內(nèi)存為8GB，采用matlab的tic toc命令，對(duì)于八種算法的運(yùn)行時(shí)間進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果如表3所示。由表3可知，由于本文采用的LLC的計(jì)算復(fù)雜度較低，因此算法運(yùn)行時(shí)間得到了有效縮減。

表3 融合結(jié)果計(jì)算時(shí)間對(duì)比

3.3 對(duì)比實(shí)驗(yàn)分析

為了進(jìn)一步驗(yàn)證本文所提算法的有效性，將本文算法與基于CSR的圖像融合算法[15]和基于CNN的圖像融合算法[12]進(jìn)行對(duì)比實(shí)驗(yàn)分析。由于本文算法采用的過(guò)完備字典大小為64×256，因此，將CSR的濾波器組設(shè)置為256個(gè)8×8大小的字典濾波器。

第一、二、三組源圖像在三種不同方法下所對(duì)應(yīng)的融合結(jié)果如圖8～圖10所示，計(jì)算得到的MI、QW、QAB/F的對(duì)比結(jié)果如表4所示。

(a) 本文算法

(b) CSR

(c) CNN圖8 第一組源圖像融合結(jié)果對(duì)比Fig.8 Comparison of the fusion results of the first group of source images

(a) 本文算法

(b) CSR

(c) CNN圖9 第二組源圖像融合結(jié)果對(duì)比Fig.9 Comparison of fusion results of the second group of source images

(a) 本文算法

(b) CSR

(c) CNN圖10 第三組源圖像融合結(jié)果對(duì)比Fig.10 Comparison of fusion results of the third group of source images

由表4可知，本文所提算法與基于CSR的圖像融合算法和基于CNN的圖像融合算法相比,在部分融合指標(biāo)上具有一定的優(yōu)勢(shì)。

表4 融合結(jié)果客觀評(píng)價(jià)指標(biāo)對(duì)比

4 結(jié)論

本文針對(duì)視覺(jué)成像在低能見(jiàn)度條件下適用性不足的缺陷，提出了一種面向無(wú)人機(jī)視覺(jué)著艦導(dǎo)引的艦船圖像融合方法。采用K均值奇異值分解算法從海量?jī)H包含紅外圖像的訓(xùn)練樣本中完成過(guò)完備字典的學(xué)習(xí)。在此基礎(chǔ)上,根據(jù)著艦的實(shí)時(shí)性需求，基于LLC完成融合系數(shù)的非迭代求解。最后，設(shè)計(jì)了一種基于融合系數(shù)最大絕對(duì)值的融合規(guī)則，根據(jù)過(guò)完備字典和融合后的局部約束線性系數(shù)重建合成圖。

實(shí)驗(yàn)分析結(jié)果表明：

1)本文提出的算法相較于基于OMP的圖像融合算法在融合效果和實(shí)時(shí)性方面均具有明顯的優(yōu)勢(shì)；

2)本文提出的算法相較于基于CSR的圖像融合算法和基于CNN的圖像融合算法,在部分融合指標(biāo)上具有一定的優(yōu)勢(shì)；

3)在其他條件一致的情況下，最大絕對(duì)值融合規(guī)則得到的多數(shù)結(jié)果優(yōu)于最大l1范數(shù)融合規(guī)則的結(jié)果。