王海紅， 魏祥泉， 田雪穎， 張 強(qiáng)， 陳 超

(1.北京跟蹤與通信技術(shù)研究所， 北京 100094； 2.上海宇航系統(tǒng)工程研究所， 上海 201109；3.大連交通大學(xué)， 大連 116028； 4.上海衛(wèi)星工程研究所， 上海 201109)

1 引言

航空航天技術(shù)的持續(xù)發(fā)展催生了遙感數(shù)據(jù)應(yīng)用的不斷擴(kuò)展。 遙感數(shù)據(jù)主要包括航空數(shù)據(jù)和衛(wèi)星數(shù)據(jù)，蘊(yùn)含著大量的地物信息，為各領(lǐng)域研究提供了數(shù)據(jù)前提。 極大豐富的異構(gòu)遙感數(shù)據(jù)需要同時(shí)配合北斗衛(wèi)星導(dǎo)航系統(tǒng)才能得到更好地應(yīng)用，以提高后續(xù)特定控制操作指令的準(zhǔn)確性[1－3]，而遙感數(shù)據(jù)的圖像處理主要面臨集成化低、智能化不足、異構(gòu)數(shù)據(jù)利用率低、同步化慢的問(wèn)題。 集成化低體現(xiàn)在設(shè)備分散、處理思路復(fù)雜，將海量異構(gòu)遙感數(shù)據(jù)與地理位置信息的集成化是遙感數(shù)據(jù)快速篩選識(shí)別技術(shù)進(jìn)一步發(fā)展的必要條件；智能化提高會(huì)使識(shí)別分類精度更加準(zhǔn)確，可以通過(guò)增加人機(jī)交互的多種操作方式來(lái)實(shí)現(xiàn)；利用數(shù)據(jù)特征融合手段可以改善異構(gòu)數(shù)據(jù)利用率的問(wèn)題，在現(xiàn)有靜態(tài)數(shù)據(jù)成功實(shí)驗(yàn)的基礎(chǔ)上增加動(dòng)態(tài)化數(shù)據(jù)是實(shí)現(xiàn)同步化的基礎(chǔ)，實(shí)時(shí)性與同步性的優(yōu)化會(huì)極大地拓寬實(shí)用面。

近年來(lái)國(guó)內(nèi)外研究人員對(duì)海量異構(gòu)遙感數(shù)據(jù)的研究力度不斷加大，主要方向有利用地形地貌遙感數(shù)據(jù)進(jìn)行工程地質(zhì)研究、水位檢測(cè)/海洋湖泊生產(chǎn)力的研究和探測(cè)環(huán)境變化對(duì)氣溫的影響等[4]。

王艷等[5]提出了通過(guò)超分辨復(fù)原生成對(duì)抗網(wǎng)絡(luò)(Super-resolution Reconstruction Generative Adversarial Networks，SRGAN)實(shí)現(xiàn)圖像超分辨率重建(Single-Image-Super-Resolution，SISR)，在包括測(cè)試船舶本體的多個(gè)訓(xùn)練集中進(jìn)行訓(xùn)練，采用AlexNet 網(wǎng)絡(luò)進(jìn)行分類檢測(cè)，采用RetinaNet 網(wǎng)絡(luò)進(jìn)行目標(biāo)識(shí)別，完成相應(yīng)的船舶本體識(shí)別，但其識(shí)別種類受限；栗旭升等[6]提出了通過(guò)建立三維卷積神經(jīng)網(wǎng)絡(luò)(3D Convolutional Neural Networks，3D-CNN)和殘差網(wǎng)絡(luò)(Residual Network，ResNets)融合的三位殘差卷積神經(jīng)網(wǎng)絡(luò)，在一定程度上減少了網(wǎng)絡(luò)深度誤差，但訓(xùn)練效率也受到了一定影響；Shakya 等[7]成功研發(fā)出一種基于結(jié)構(gòu)化圖像分析的算法模型，并提出了一種能夠自動(dòng)識(shí)別有改變圖像的處理技術(shù)，但對(duì)遙感數(shù)據(jù)的結(jié)構(gòu)化較為困難；Menefee 等[8]提出一種可以把通過(guò)小波變換獲取的信息集成到神經(jīng)網(wǎng)絡(luò)分類器的方法，但對(duì)實(shí)際大尺寸高分辨率數(shù)據(jù)而言，計(jì)算量過(guò)大，對(duì)硬件設(shè)備要求過(guò)高。

本文研究?jī)?nèi)容為異構(gòu)數(shù)據(jù)融合與廣域視野下的小型感興趣區(qū)域態(tài)勢(shì)識(shí)別，搭建基于Faster-RCNN 的改進(jìn)多層卷積神經(jīng)網(wǎng)絡(luò)，對(duì)海量異構(gòu)遙感數(shù)據(jù)進(jìn)行快速篩選及目標(biāo)檢測(cè)，為戰(zhàn)場(chǎng)環(huán)境感知提供更加智能的數(shù)據(jù)服務(wù)。 將不同載荷獲取的遙感圖像數(shù)據(jù)分別輸入通道特征提取層進(jìn)行提取，在相同時(shí)域下使用Brovey 融合算法與G-S 融合算法相結(jié)合的圖像融合方法進(jìn)行同區(qū)域異構(gòu)數(shù)據(jù)的融合，將融合數(shù)據(jù)輸入反饋層與重構(gòu)層，最終輸出3 種波段數(shù)據(jù)及融合數(shù)據(jù)的特征；在廣域視野中，搭建基于Softmax 分類器的區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network， RPN)，對(duì)篩選結(jié)果進(jìn)行判別，并將錯(cuò)誤數(shù)據(jù)集重新標(biāo)注后，運(yùn)用原神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行遷移學(xué)習(xí)特征訓(xùn)練，完成特征庫(kù)的更新，為海量異構(gòu)遙感數(shù)據(jù)快速篩選和智能技術(shù)提供堅(jiān)實(shí)的基礎(chǔ)。

2 海量異構(gòu)遙感信息預(yù)處理

2.1 多源異構(gòu)數(shù)據(jù)組織模型

針對(duì)廣域下海陸空環(huán)境中的目標(biāo)物識(shí)別的研究需求，對(duì)多源異構(gòu)數(shù)據(jù)的側(cè)重也不同。 遙感信息數(shù)據(jù)具有高分辨率、多譜段、多源等特點(diǎn)。 根據(jù)實(shí)驗(yàn)數(shù)據(jù)來(lái)源，源數(shù)據(jù)波段主要包括海岸波段(Coastal)、藍(lán)光波段(Blue)、紅光波段(Red)、短波紅外1 波段(SWIR1)、 短波紅外2 波段(SWIR2)和全色波段(Pan)，表1 所示為不同波段數(shù)據(jù)的波長(zhǎng)范圍、空間分辨率及主要用途。

表1 不同波段數(shù)據(jù)的波長(zhǎng)范圍、空間分辨率及主要用途Table 1 Wavelength range， spatial resolution and main use of different band data

圖1 圖像金字塔示意圖Fig.1 Schematics of image pyramid

圖像金字塔通過(guò)迭代的方式進(jìn)行計(jì)算，在第一次迭代之前，把金字塔形式描繪的圖像放在原始層級(jí)J層，迭代方式流程如圖2 所示。

圖2 圖像金字塔迭代方式流程Fig.2 Iterative process of image pyramid

采用希爾伯特曲線對(duì)每層數(shù)據(jù)分塊編碼和管理，可提高數(shù)據(jù)分塊的檢索效率。 圖3 所示為希爾伯特曲線4 種鄰接屬性，分別以0 到3 標(biāo)號(hào)，它們適用于每個(gè)象限及各個(gè)子象限、子子象限等。圖4 所示為三階希爾伯特曲線示意圖，以圖中坐標(biāo)為(2，5)的29 號(hào)舉例，第一層級(jí)采用0 號(hào)鄰接屬性，該點(diǎn)所在象限為1，對(duì)應(yīng)(2>1，5>1)，則對(duì)應(yīng)二進(jìn)制01；第二層級(jí)采用1 號(hào)鄰接屬性，該點(diǎn)所在象限為3，對(duì)應(yīng)(2<3，5>3)，則對(duì)應(yīng)二進(jìn)制11；第三層級(jí)采用2 號(hào)鄰接屬性，該點(diǎn)所在象限為3，對(duì)應(yīng)(2<3，5>3)，則對(duì)應(yīng)二進(jìn)制01。 把以上位置連接起來(lái)，得到二進(jìn)制011101，即十進(jìn)制的29。

圖3 希爾伯特曲線4 種臨連屬性Fig.3 Four immediate attributes of Hilbert Curve

圖4 三階希爾伯特曲線示意圖Fig.4 Schematic diagram of Third-Order Hilbert Curve

2.2 遙感仿真數(shù)據(jù)構(gòu)建

遙感仿真數(shù)據(jù)的構(gòu)建是對(duì)于現(xiàn)有真實(shí)數(shù)據(jù)集的補(bǔ)充，由于提供訓(xùn)練數(shù)據(jù)集較小，而構(gòu)建深度學(xué)習(xí)所需訓(xùn)練集、測(cè)試集需求量大，針對(duì)這一問(wèn)題進(jìn)行數(shù)據(jù)仿真，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)進(jìn)行快速篩選的需求，解決并校核面對(duì)該需求所產(chǎn)生的一系列程序問(wèn)題。

高分三號(hào)衛(wèi)星是中國(guó)第一顆分辨率達(dá)到1 m的C 頻段多極化合成孔徑雷達(dá)(Synthetic Aperture Radar，SAR)衛(wèi)星，具備大面積、全天候、全天時(shí)的對(duì)全球陸地及海洋進(jìn)行監(jiān)測(cè)與遙感監(jiān)視的性能，可實(shí)現(xiàn)12 種成像模式下1～500 m 分辨率的遙感數(shù)據(jù)獲取。 本文仿真構(gòu)建圖片均選自高分三號(hào)衛(wèi)星監(jiān)測(cè)數(shù)據(jù)集，該仿真數(shù)據(jù)集是模擬遙感廣域視野下微小目標(biāo)物的捕獲圖像，圖5 所示為陸地和海洋的遙感圖片。 對(duì)遙感數(shù)據(jù)集進(jìn)行初步篩選，利用Matlab、Photoshop 等軟件對(duì)背景以及目標(biāo)物圖片分別進(jìn)行灰度化、尺寸化、格式化等預(yù)處理，目標(biāo)物圖片的處理需根據(jù)對(duì)應(yīng)背景的分辨率以及灰度值等做出相應(yīng)調(diào)節(jié)。 圖6 所示為仿真目標(biāo)物，當(dāng)飛機(jī)作為目標(biāo)物時(shí)，以身長(zhǎng)約為25 m，機(jī)翼約為25 m 的小型客機(jī)為仿真對(duì)象；當(dāng)軍艦作為目標(biāo)物時(shí)，以艦長(zhǎng)約為300 m 的航母作為仿真對(duì)象。

圖5 仿真數(shù)據(jù)背景圖Fig.5 Background map of simulation data

圖6 仿真數(shù)據(jù)目標(biāo)物圖Fig.6 Object chart of simulation data

將背景與目標(biāo)物結(jié)合進(jìn)行運(yùn)動(dòng)仿真并逐幀保存結(jié)果。 仿真構(gòu)建基于Matlab 軟件，利用差分法實(shí)現(xiàn)圖片融合，主要運(yùn)用絕對(duì)差值函數(shù)對(duì)圖像部分提取后的灰度值數(shù)字矩陣進(jìn)行相減，取絕對(duì)值，并將處理后的灰度數(shù)字矩陣與背景圖片所對(duì)應(yīng)部分的數(shù)字矩陣進(jìn)行替換，得到其與目標(biāo)物圖片融合后的仿真圖片，如圖7 所示。 以上述方法循環(huán)操作，通過(guò)對(duì)背景圖片灰度值矩陣提取及替換位置的變化而達(dá)到目標(biāo)物運(yùn)動(dòng)的仿真實(shí)驗(yàn)?zāi)康?，再將每一位置變化后產(chǎn)生的融合仿真圖片一一保存。

圖7 遙感仿真數(shù)據(jù)結(jié)果Fig.7 Simulation results of remote sensing data

2.3 多源異構(gòu)數(shù)據(jù)去噪

由于數(shù)據(jù)在獲取和傳輸過(guò)程中的不確定性，后續(xù)特征提取及融合結(jié)果會(huì)受到各種干擾和影響，進(jìn)而導(dǎo)致目標(biāo)物識(shí)別精度降低。 數(shù)據(jù)去噪為抑制數(shù)據(jù)噪聲、改善數(shù)據(jù)質(zhì)量以及后續(xù)更高層次的處理提供了強(qiáng)有力的保障。

常見(jiàn)噪聲類型有高斯噪聲、泊松噪聲以及脈沖噪聲等。 高斯噪聲通常由于傳感器工作時(shí)環(huán)境光線不夠或傳感器工作溫度過(guò)高而導(dǎo)致的亮度不均勻；脈沖噪聲又稱椒鹽噪聲，通常在傳感器成像、向工作站傳輸或數(shù)據(jù)解碼階段會(huì)產(chǎn)生點(diǎn)狀黑白噪點(diǎn)；泊松噪聲是符合泊松分布的噪聲模型，由于光子的不確定性，使得到達(dá)光電檢測(cè)器表面的量子數(shù)目存在統(tǒng)計(jì)漲落而導(dǎo)致灰度波動(dòng)。

綜上，數(shù)據(jù)在各個(gè)階段都有引入噪聲的可能。數(shù)據(jù)去噪的方法主要有2 種:①空間域去噪，主要包括均值濾波、中值濾波和低通濾波；②變換域零去噪，主要包括小波變換、傅里葉變換等。 根據(jù)任務(wù)需要，對(duì)比仿真數(shù)據(jù)，由于在實(shí)際應(yīng)用中的真實(shí)數(shù)據(jù)為非平穩(wěn)信號(hào)，因此選擇短時(shí)傅立葉變換(Short-Time Fourier Transform，STFT)進(jìn)行數(shù)據(jù)去噪。 STFT 可以把非平穩(wěn)信號(hào)分解為一系列的短時(shí)隨機(jī)平穩(wěn)信號(hào)的疊加，通過(guò)使用窗口函數(shù)g(u)與原來(lái)的信號(hào)f(t)做積，實(shí)現(xiàn)了在窗口寬度值為u處的附近加窗和平移功能，然后對(duì)u值處進(jìn)行傅里葉變換，如式(1)所示:

式中，g(t－u)為窗口函數(shù)，f(t) 為數(shù)據(jù)的原始信號(hào)，u為窗口寬度，ε為進(jìn)行變換的頻率。 然后對(duì)得到的函數(shù)進(jìn)行傅里葉逆變換，如式(2)所示:

對(duì)原始數(shù)據(jù)進(jìn)行去噪處理，對(duì)比不同去噪方式，圖8～10 所示分別為不同算子下高斯去噪效果、常見(jiàn)低通濾波去噪效果和不同窗口大小下STFT 去噪效果對(duì)比。 選取數(shù)據(jù)去噪最優(yōu)化結(jié)果，對(duì)圖示數(shù)據(jù)而言，STFT 去噪方式較為理想。 針對(duì)不同需求可選取不同窗口大小的STFT 去噪方式，利用類似2.1 節(jié)的圖像金字塔技術(shù)，可大大提高圖片檢索效率。

圖8 不同算子下高斯去噪效果Fig.8 Gauss de-noising effect under different operators

圖9 常見(jiàn)低通濾波去噪效果Fig.9 Noise removal by common low-pass filtering

圖10 不同窗口大小下STFT 去噪效果對(duì)比Fig.10 Comparison of STFT denoising effects under different window sizes

2.4 多源異構(gòu)數(shù)據(jù)特征增強(qiáng)

為加強(qiáng)數(shù)據(jù)的特征，提升識(shí)別效率，進(jìn)行數(shù)據(jù)特征增強(qiáng)，特征增強(qiáng)主要有空間域的增強(qiáng)和頻率域的增強(qiáng)，空間域內(nèi)的特征增強(qiáng)主要是直接對(duì)數(shù)據(jù)中各像素點(diǎn)進(jìn)行處理，頻率域內(nèi)的特征增強(qiáng)主要是對(duì)數(shù)據(jù)進(jìn)行變換后的頻譜成分進(jìn)行處理，在通過(guò)逆變換得到增強(qiáng)后的結(jié)果，具體分類如圖11所示。

圖11 數(shù)據(jù)特征增強(qiáng)分類Fig.11 Enhancement classification of data features

根據(jù)實(shí)驗(yàn)數(shù)據(jù)特征，選取直方圖均衡化變換對(duì)數(shù)據(jù)特征進(jìn)行增強(qiáng)。 數(shù)據(jù)灰度統(tǒng)計(jì)直方圖是一個(gè)表達(dá)函數(shù)，表示了每幅圖像的灰度等級(jí)與這個(gè)灰度等級(jí)的出現(xiàn)頻率。 數(shù)據(jù)的直方圖反映數(shù)據(jù)的外觀。 其中偏暗像素點(diǎn)直方圖組成的部分集中于灰度較低一側(cè)；偏亮像素點(diǎn)直方圖組成的部分集中于灰度較高一側(cè)；低對(duì)比度數(shù)據(jù)直方圖跨度窄且大多都聚集在灰度級(jí)的中間區(qū)域；高對(duì)比度數(shù)據(jù)直方圖范圍大且分布均勻。這樣可以把灰度級(jí)的分布拉開(kāi)，使灰度級(jí)層次明顯、分布合理，增加了數(shù)據(jù)的對(duì)比度，使數(shù)據(jù)更清晰。 直方圖均衡化是在尋求一種灰度等級(jí)變換的關(guān)系，能夠?qū)崿F(xiàn)變換后，數(shù)據(jù)的各級(jí)灰度出現(xiàn)概率一致或接近。 經(jīng)過(guò)嚴(yán)密的數(shù)學(xué)理論推導(dǎo)，得出當(dāng)累積分布函數(shù)作為變換函數(shù)時(shí)，可以得到灰度級(jí)分布均勻的數(shù)據(jù)。

多源異構(gòu)數(shù)據(jù)特征增強(qiáng)采用直方圖均衡化方法，本文分別采用adapthisteq及histeq函數(shù)進(jìn)行變換，選取效果更好的數(shù)據(jù)進(jìn)行后續(xù)更高層次的操作，圖12、13 所示為2 種函數(shù)的增強(qiáng)結(jié)果，針對(duì)不同目標(biāo)區(qū)域進(jìn)行更優(yōu)化選擇。

圖12 Adapthisteq 函數(shù)變換特征增強(qiáng)對(duì)比Fig.12 Enhanced contrast of adapthisteq function transformation features

圖13 Histeq 函數(shù)特征增強(qiáng)對(duì)比Fig.13 Enhancement contrast of histeq function featurest

歸一化處理包括灰度值歸一及固定同時(shí)域及區(qū)域數(shù)據(jù)的寬高比固定，圖14 為歸一化灰度值后的數(shù)據(jù)對(duì)比。

圖14 灰度值歸一化Fig.14 Normalization of gray value

3 深度學(xué)習(xí)框架搭建

本文搭建TensorFlow 深度學(xué)習(xí)框架訓(xùn)練，如圖15、16 所示，分別為遙感仿真數(shù)據(jù)及對(duì)應(yīng)的深度學(xué)習(xí)框架模型示意圖。 給定像素點(diǎn)，第一隱藏層通過(guò)比較相鄰像素的亮度來(lái)識(shí)別邊緣，第二隱藏層搜索可識(shí)別為角和擴(kuò)展輪廓的邊集合，第三隱藏層可以找到輪廓和角的特定集合來(lái)檢測(cè)特定目標(biāo)物的整個(gè)部分，最后根據(jù)圖像描述中包含的目標(biāo)物部分，可以準(zhǔn)確篩選出數(shù)據(jù)中存在的對(duì)象。

圖15 遙感仿真數(shù)據(jù)Fig.15 Simulation data of remote sensing

圖16 數(shù)據(jù)深度學(xué)習(xí)模型示意圖Fig.16 Schematic diagram of in-depth data learning model

搭建基于Faster-RCNN 的改進(jìn)多層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)置多層卷積層和池化層，均衡正負(fù)候選窗口比例。 理想狀態(tài)下，區(qū)域生成網(wǎng)絡(luò)(Region Proposal Network，RPN)正負(fù)候選窗口的比例是1 ∶1，但在遙感數(shù)據(jù)訓(xùn)練的實(shí)際情況中，由于通常在訓(xùn)練中選取的樣本數(shù)較大，這個(gè)比例極易失常，正候選窗口數(shù)量少會(huì)導(dǎo)致漏檢率較高。 本文在對(duì)正負(fù)候選窗口的比例進(jìn)行限制限制，設(shè)置負(fù)樣本數(shù)量不得超過(guò)正樣本的1.3 倍，發(fā)現(xiàn)建議區(qū)域的召回率可以提高3.8%。 除此之外，本文在多層卷積神經(jīng)網(wǎng)絡(luò)中引入了級(jí)聯(lián)RPN，設(shè)置2 個(gè)標(biāo)準(zhǔn)的RPN，第一個(gè)RPN 用滑窗得到的建議區(qū)域作為候選窗口，第二個(gè)RPN 用第一個(gè)RPN 輸出的Proposal 作為新的候選窗口位置，圖17 所示為改進(jìn)部分的具體網(wǎng)絡(luò)結(jié)構(gòu)。

圖17 改進(jìn)部分多層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.17 Improved structure of partial multilayer CNN

圖18 為后續(xù)數(shù)據(jù)識(shí)別流程，在完成上述處理后，繼續(xù)進(jìn)行訓(xùn)練學(xué)習(xí)，識(shí)別出基于Softmax 分類器的區(qū)域建議網(wǎng)絡(luò)結(jié)果。 由于對(duì)目標(biāo)物準(zhǔn)確度要求極高，操作者需要目視選定ROI，并對(duì)輸出結(jié)果進(jìn)行準(zhǔn)確性判定和完成后續(xù)控制指令操作。

圖18 后續(xù)數(shù)據(jù)識(shí)別流程Fig.18 Flow chart of the follow-up data identification

如圖19 所示為6×6 原始數(shù)據(jù)單通道數(shù)據(jù)卷積過(guò)程，濾波器在數(shù)據(jù)上滑動(dòng)，對(duì)應(yīng)位置相乘求和，卷積先將濾波器翻轉(zhuǎn)，使用變換后的濾波器進(jìn)行運(yùn)算，圖中位于(2，2)的原始像素點(diǎn)3 處在經(jīng)過(guò)3×3 的卷積核卷積后，得到輸出像素點(diǎn)為2。

圖19 單通道數(shù)據(jù)卷積過(guò)程Fig.19 Convolution process of single channel data

假定圖像為6×6×3 的三通道特征數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)，多通道卷積過(guò)程如圖20 所示，通道數(shù)為3，卷積核為兩個(gè)3×3×3 的滑動(dòng)窗口，自左向右、自上向下三通道對(duì)應(yīng)位置相乘求和，輸出結(jié)果為4×4×2 的特征數(shù)據(jù)。 一般地，當(dāng)輸入數(shù)據(jù)為a×b×n時(shí)，每個(gè)卷積核為m×m×n，輸出全連接層的數(shù)據(jù)與卷積核數(shù)n相等。

圖20 多通道數(shù)據(jù)卷積過(guò)程Fig.20 Convolution process of multi-channel data

圖21 所示為三通道特征提取流程圖。 首先，用3 層特征提取層分別提取3 種多源異構(gòu)數(shù)據(jù)的特征；其次，提取特征后的數(shù)據(jù)輸入至反饋層，反饋層由縱橫交叉注意模塊(Criss-Cross Net，CCN)和深度反饋模塊(Deep Feature Net，DFN)組成，縱橫交叉注意模塊可以極大節(jié)省特征提取的時(shí)間，快速得到目標(biāo)物臨近像素點(diǎn)的特征；深度反饋模塊包含反饋交互模塊(Deep Feedback Interaction Module)和特征交互模塊(Feature Interaction Module)。 重構(gòu)層通過(guò)依次反卷積操作和卷積操作，對(duì)經(jīng)過(guò)反饋層后輸入的特征信息進(jìn)行重構(gòu)，使其得到更好的特征表征能力；完成重構(gòu)層操作后，將特征信息輸入全連接層。

圖21 三通道特征提取流程圖Fig.21 Flow chart of three channel feature extraction

4 多源異構(gòu)數(shù)據(jù)融合

同一時(shí)域和區(qū)域下的多源異構(gòu)數(shù)據(jù)存在信息冗余。 通過(guò)數(shù)據(jù)融合生成的特征相互補(bǔ)充，集成到一個(gè)融合數(shù)據(jù)中，可以實(shí)現(xiàn)對(duì)同場(chǎng)景下更精確、全面、可靠的特征描述。 本文針對(duì)不同遙感平臺(tái)獲取的異構(gòu)遙感圖像，主要包括紅外光、可見(jiàn)光和灰度圖，提出了Brovey 融合算法與G-S 融合算法相結(jié)合的圖像融合方法，該方法從源圖像中將目標(biāo)或感興趣區(qū)域的特征信息提取出來(lái)，進(jìn)行分析、處理與整合，從而得到融合后的圖像數(shù)據(jù)特征。對(duì)融合后的特征進(jìn)行目標(biāo)識(shí)別，其精確度明顯高于原始圖像的精確度。 特征級(jí)融合對(duì)圖像信息進(jìn)行了壓縮，再用計(jì)算機(jī)分析與處理，所消耗的內(nèi)存與時(shí)間與數(shù)據(jù)級(jí)相比都會(huì)減少，所需圖像的實(shí)時(shí)性就會(huì)有所提高。

本文采用的融合方法步驟如下:首先，抽選出一個(gè)低分辨率中的全色波段；其次，對(duì)抽選出的全色波段與多波段進(jìn)行G-S 變換，其中全色波段被作為0 波段；然后，將源數(shù)據(jù)中的每個(gè)波段都乘以高分辨率數(shù)據(jù)與RGB 圖像波段總和的比值，得到1 波段；接著，用1 波段替換G-S 變換后的0 波段；最后應(yīng)用G-S 反變換得到融合圖像。 圖22、23 分別為融合前的源數(shù)據(jù)和完成融合后的數(shù)據(jù)。

圖22 融合前數(shù)據(jù)Fig.22 Pre-Fusion data

圖23 融合后數(shù)據(jù)Fig.23 Fused data

5 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)以大量仿真實(shí)驗(yàn)數(shù)據(jù)訓(xùn)練為基礎(chǔ)，首先將仿真數(shù)據(jù)集放入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，根據(jù)數(shù)據(jù)分布相似性特征，用訓(xùn)練后網(wǎng)絡(luò)對(duì)真實(shí)數(shù)據(jù)集進(jìn)行遷移訓(xùn)練，以達(dá)到目標(biāo)快速篩選檢測(cè)目的，相似數(shù)據(jù)集也可達(dá)到同樣訓(xùn)練效果，因此可用于對(duì)后續(xù)數(shù)據(jù)特征庫(kù)的更新。

本文訓(xùn)練使用的數(shù)據(jù)集為連續(xù)多幀的點(diǎn)目標(biāo)遙感數(shù)據(jù)，將完成第2 節(jié)預(yù)處理操作的數(shù)據(jù)集輸入搭建好的多層卷積神經(jīng)網(wǎng)絡(luò)中。 將數(shù)據(jù)的40%作為訓(xùn)練集、30%作為測(cè)試集、30%作為驗(yàn)證集，對(duì)數(shù)據(jù)庫(kù)內(nèi)的數(shù)據(jù)使用LabelImg 工具進(jìn)行手動(dòng)標(biāo)注，將目標(biāo)物標(biāo)簽化處理。 圖24、25 為2 類目標(biāo)物標(biāo)簽標(biāo)注，標(biāo)簽分別為fighter1 和missile1。

圖24 陸地目標(biāo)物框選標(biāo)注Fig.24 Selection and marking of terrestrial target frames

圖25 海面目標(biāo)物框選標(biāo)注Fig.25 Selection and marking of sea target frames

將數(shù)據(jù)集進(jìn)行小規(guī)模的迭代訓(xùn)練，結(jié)果如圖26 所示，訓(xùn)練數(shù)據(jù)為600 張，迭代次數(shù)為200 次時(shí)，訓(xùn)練時(shí)間約為6 min，精度及損失在估計(jì)范圍內(nèi)。

圖26 迭代訓(xùn)練結(jié)果Fig.26 Results of iterative training

6 結(jié)論

1)在異構(gòu)數(shù)據(jù)融合方面，對(duì)數(shù)據(jù)分別輸入對(duì)應(yīng)的單通道特征提取層進(jìn)行提取，在相同時(shí)域下使用Brovey 融合算法與G-S 融合算法相結(jié)合的圖像融合方法進(jìn)行同區(qū)域異構(gòu)數(shù)據(jù)的融合，將融合數(shù)據(jù)輸入反饋層與重構(gòu)層，最終輸出3 種波段數(shù)據(jù)及融合數(shù)據(jù)的特征；

2)廣域視野下的小型感興趣區(qū)域態(tài)勢(shì)識(shí)別方面，引入了2 個(gè)基于Softmax 分類器的區(qū)域構(gòu)建網(wǎng)絡(luò)，操作者在一系列候選區(qū)域中，判別含有小型目標(biāo)物的感興趣區(qū)域；

3)為保證操作準(zhǔn)確度，使用深度學(xué)習(xí)框架對(duì)海量異構(gòu)數(shù)據(jù)進(jìn)行快速篩選，操作者對(duì)分類識(shí)別得到的目標(biāo)物進(jìn)行準(zhǔn)確性分析，并將干擾目標(biāo)物的特征進(jìn)行重新標(biāo)注后，在原神經(jīng)網(wǎng)絡(luò)上進(jìn)行遷移訓(xùn)練，達(dá)到更新異構(gòu)數(shù)據(jù)特征庫(kù)的目的。