郝紅勛 何紅艷 張炳先

基于非負(fù)最小二乘法的全色與高光譜圖像融合

郝紅勛1何紅艷2,3張炳先2,3

（1 中國(guó)民航大學(xué)飛行技術(shù)學(xué)院，天津 300300）（2 北京空間機(jī)電研究所，北京 100094）（3 先進(jìn)光學(xué)遙感技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100094）

現(xiàn)有光學(xué)遙感圖像融合方法主要針對(duì)全色與多光譜圖像，直接將其用于全色與高光譜圖像融合存在以下問(wèn)題：高光譜圖像波段數(shù)量遠(yuǎn)多于多光譜圖像，通過(guò)高光譜波段加權(quán)合成低分辨率全色圖像，容易出現(xiàn)灰度失真；高光譜圖像與全色圖像的空間分辨率相差很大，采用現(xiàn)有的加性變換融合方法，會(huì)導(dǎo)致融合圖像中部分地物出現(xiàn)光譜或細(xì)節(jié)失真。為此，文章提出了基于非負(fù)最小二乘法的全色與高光譜圖像融合方法。首先對(duì)高光譜圖像進(jìn)行波段壓縮，得到波段壓縮的高光譜圖像；然后對(duì)波段壓縮的高光譜圖像及全色圖像進(jìn)行非負(fù)最小二乘擬合，得到低分辨率全色圖像；最后，采用比值變換模型生成融合圖像。試驗(yàn)表明該方法的光譜與細(xì)節(jié)保真效果好，優(yōu)于對(duì)比方法。

圖像融合 高光譜圖像 非負(fù)最小二乘 遙感圖像 航天遙感

0 引言

目前，越來(lái)越多的航天平臺(tái)采用全色與高光譜傳感器同時(shí)相對(duì)地成像，如美國(guó)的Earth Observing-1（EO-1）衛(wèi)星，以及我國(guó)的“天宮一號(hào)”（TG-1）目標(biāo)飛行器等。對(duì)于同時(shí)相成像方式，其全色圖像的空間分辨率遠(yuǎn)優(yōu)于高光譜圖像，原因在于：全色傳感器探元接收入射光的光譜范圍遠(yuǎn)比高光譜傳感器探元寬，若要接收相同能量的入射光，高光譜傳感器探元的物理尺寸遠(yuǎn)大于全色傳感器探元[1]；此外，高空間分辨率的高光譜傳感器數(shù)據(jù)形成率極大，會(huì)給星地?cái)?shù)據(jù)傳輸帶來(lái)極大的壓力。但是，實(shí)際應(yīng)用往往需要高空間分辨率的高光譜圖像，因此，遙感圖像融合技術(shù)一直以來(lái)是遙感圖像預(yù)處理的關(guān)鍵技術(shù)，至今依然是數(shù)據(jù)融合領(lǐng)域的研究熱點(diǎn)[2]。

光學(xué)遙感圖像融合主要針對(duì)全色與多光譜圖像，可分為加性變換和比值變換兩大類型[3]。比值變換（Ratio Transformation，RT）融合方法[4-6]，首先計(jì)算全色圖像及其對(duì)應(yīng)低分辨率全色圖像的比值圖像，該比值圖像主要表征融合圖像的空間細(xì)節(jié)；然后按像素點(diǎn)計(jì)算比值圖像與多光譜上采樣圖像的乘積生成融合圖像。加性變換進(jìn)一步分為分量替換（Component Substitution，CS）、頻率域變換（Frequency Transformation，F(xiàn)T）兩類。分量替換法[7-11]首先對(duì)多光譜圖像進(jìn)行矩陣變換，得到保留分量和替換分量；然后對(duì)全色圖像與保留分量進(jìn)行矩陣逆變換生成融合圖像。頻率域變換融合方法[12-13]首先分別對(duì)全色與多光譜圖像進(jìn)行頻率分解；然后通過(guò)全色圖像的高頻分量及多光譜圖像的低頻分量的逆變換生成融合圖像?？傮w而言，加性變換融合方法難以克服多光譜圖像過(guò)飽和引起的光譜和細(xì)節(jié)失真[3, 5]，且計(jì)算復(fù)雜度高于比值變換融合方法，因此這類方法研究較多但實(shí)用性較差。

迄今為止，針對(duì)高光譜圖像的融合方法研究相對(duì)較少，其中，文獻(xiàn)[14-15]主要采用加性變換實(shí)現(xiàn)多光譜與高光譜圖像融合，該類方法不適用于全色與高光譜圖像融合。文獻(xiàn)[16]采用比值變換實(shí)現(xiàn)全色與高光譜圖像融合，其高光譜波段合并與低分辨率全色圖像合成實(shí)際應(yīng)用需要人工調(diào)節(jié)參數(shù)，否則融合圖像容易出現(xiàn)光譜失真。文獻(xiàn)[17-18]采用加性變換實(shí)現(xiàn)全色與高光譜圖像融合，計(jì)算復(fù)雜度高，且存在光譜與細(xì)節(jié)失真問(wèn)題。全色與高光譜圖像融合與全色與多光譜圖像融合存在較大差異，主要表現(xiàn)在：1）高光譜圖像波段數(shù)量多，而多光譜圖像波段數(shù)量相對(duì)較少，二者甚至相差幾十倍，導(dǎo)致利用高光譜波段合成低分辨率全色圖像更容易出現(xiàn)灰度失真；2）一般而言，全色與高光譜圖像的空間分辨率差異遠(yuǎn)大于全色與多光譜圖像的空間分辨率差異，導(dǎo)致融合圖像容易出現(xiàn)細(xì)節(jié)失真。因此，將全色與多光譜圖像的融合方法直接應(yīng)用于全色與高光譜圖像，容易產(chǎn)生光譜與細(xì)節(jié)失真問(wèn)題。針對(duì)上述問(wèn)題，本文提出了波段合并策略和基于非負(fù)最小二乘法的低分辨率全色圖像合成策略，從而實(shí)現(xiàn)全色與高光譜圖像的高保真融合。

1 全色與高光譜圖像的高保真融合

高光譜圖像波段數(shù)量多，直接利用高光譜波段合成低分辨率全色圖像容易產(chǎn)生灰度失真，因此利用自適應(yīng)均值加權(quán)技術(shù)將相鄰的多個(gè)高光譜波段加權(quán)合成為一個(gè)波段，得到合并波段圖像，可有效減少低分辨率全色圖像合成所使用的高光譜波段數(shù)量；另外，不同地物反射光譜差異較大，且無(wú)約束最小二乘擬合未考慮高光譜波段對(duì)合成低分辨率全色圖像權(quán)值的非負(fù)性，也導(dǎo)致合成的低分辨率全色圖像出現(xiàn)灰度失真，需要對(duì)全色與合并波段圖像的像元進(jìn)行自適應(yīng)聚類，并對(duì)不同類別像元采用非負(fù)最小二乘擬合低分辨率全色圖像；最后，采用比值變換法，生成光譜與細(xì)節(jié)高保真的全色與高光譜融合圖像。總體技術(shù)路線見(jiàn)圖1。

圖1 總體技術(shù)路線

1.1 高光譜圖像波段合并

高光譜圖像波段合并的主要原因在于：1）利用最小二乘擬合低分辨率全色圖像時(shí)，使用的高光譜圖像波段越多，生成的低分辨率全色圖像越容易產(chǎn)生光譜失真；2）高光譜圖像波段數(shù)量多，直接利用高光譜圖像的所有波段擬合生成低分辨率全色圖像計(jì)算耗時(shí)多。因此，本文設(shè)計(jì)了自適應(yīng)均值加權(quán)策略，將全色波段所涵蓋的高光譜波段歸并為少量的合并波段，可有效避免文獻(xiàn)[16]中的人為指定波段合并步長(zhǎng)對(duì)不同類型高光譜圖像適應(yīng)性差的問(wèn)題。

令全色波段所涵蓋的高光譜波段為b，表示波段；，分別表示像元的行與列，則高光譜波段合并算法步驟如下：

1）波段合并初始步長(zhǎng)=3；

2）將b中每相鄰的個(gè)波段采用均值加權(quán)合并為一個(gè)波段，即

3）計(jì)算合并波段與高光譜圖像波段的偏差

式中，分別為高光譜圖像的每個(gè)波段總行數(shù)與列數(shù)；為高光譜圖像總的波段數(shù)。

在步驟1）中，由于高光譜相鄰波段中各像元的取值差異較小，為減小計(jì)算耗時(shí)，因此將初始步長(zhǎng)設(shè)置為3。

1.2 低分辨率全色圖像合成

低分辨率全色圖像合成是全色與高光譜圖像融合的關(guān)鍵環(huán)節(jié)，其生成的低分辨率全色圖像直接影響融合圖像的光譜和細(xì)節(jié)保真度。由于不同地物反射光譜差異較大，直接將所有地物視為一個(gè)整體擬合低分辨率全色圖像時(shí)，部分地物容易出現(xiàn)灰度失真，進(jìn)而導(dǎo)致其在融合圖像中出現(xiàn)光譜失真，因此本文根據(jù)全色圖像與合并波段的像元值相關(guān)性差異，將所有像元自適應(yīng)聚類為不同類別；同時(shí)，無(wú)約束最小二乘擬合未考慮高光譜波段對(duì)合成低分辨率全色圖像權(quán)值的非負(fù)性，可導(dǎo)致合成的低分辨率全色圖像出現(xiàn)灰度失真，需要對(duì)不同類別像元進(jìn)行非負(fù)最小二乘擬合，生成灰度高保真的低分辨率全色圖像。

1.3 比值變換融合模型

加性變換法通過(guò)將全色圖像的空間細(xì)節(jié)信息疊加至高光譜圖像來(lái)生成融合圖像，因此，當(dāng)高光譜地物過(guò)飽和時(shí)，疊加空間細(xì)節(jié)信息產(chǎn)生飽和溢出，導(dǎo)致過(guò)飽和地物產(chǎn)生細(xì)節(jié)失真。為了避免該問(wèn)題，采用比值變換融合模型生成全色與高光譜融合圖像。

2 融合試驗(yàn)與分析

2.1 試驗(yàn)數(shù)據(jù)與評(píng)價(jià)指標(biāo)

2.2 試驗(yàn)結(jié)果分析

文獻(xiàn)[16-18]分別采用比值變換、頻率變換、分量替換三種方法實(shí)現(xiàn)全色與高光譜圖像融合，是當(dāng)前最新發(fā)表的圖像融合方法。將這三種方法與本文方法進(jìn)行對(duì)比分析，試驗(yàn)結(jié)果如圖2和圖3所示。

（a）高光譜圖像（a）Hyperspectral image（b）全色圖像（b）Panchromatic image（c）分量替換法（c）CS method （d）頻率變換法（d）FT method（e）比值變換法（e）RT method（f）本文方法（f）Our Method

（a）高光譜圖像（a）Hyperspectral image（b）全色圖像（b）Panchromatic image（c）分量替換法（c）CS method （d）頻率變換法（d）FT method（e）比值變換法（e）RT method（f）本文方法（f）Our Method

通過(guò)對(duì)比高光譜圖像與融合圖像的色彩可發(fā)現(xiàn)，分量替換法、頻率變換法、比值變換法生成的融合圖像存在一定程度的光譜失真，而本文方法融合圖像的光譜與細(xì)節(jié)保真效果均較好。表1給出了融合圖像的客觀評(píng)價(jià)值，可知本文方法在光譜保真、細(xì)節(jié)保真，以及綜合保真三個(gè)方法均優(yōu)于對(duì)比方法。

>

表1 圖像融合質(zhì)量定量評(píng)價(jià)

Tab.1 Quantitative evaluation of image fusion quality

3 結(jié)束語(yǔ)

本文提出了基于非負(fù)最小二乘法的全色與高光譜圖像融合方法，其采用波段自適應(yīng)合并、像元自適應(yīng)分類以及非負(fù)最小二乘法準(zhǔn)確合成低分辨率全色圖像，提高了融合方法對(duì)不同類型地物、不同類型高光譜圖像的適應(yīng)性。美國(guó)EO-1衛(wèi)星和我國(guó)TG-1目標(biāo)飛行器的全色與高光譜圖像融合試驗(yàn)表明，本方法的光譜與細(xì)節(jié)保真效果好，優(yōu)于其他對(duì)比方法。需要指出的是，本文在合成低分辨率全色圖像時(shí)，僅加入了非負(fù)約束，后續(xù)將進(jìn)一步引入權(quán)值之和等于1的更強(qiáng)約束，以進(jìn)一步提高融合圖像的光譜與細(xì)節(jié)保真度。

)

[1] POHL C, GENDEREN V J L. Multisensor Image Fusion in Remote Sensing: Concepts, Methods, and Applications[J]. Remote Sensing, 1998, 19(5): 823-854.

[2] ZHANG J. Multi-source Remote Sensing Data Fusion: Status and Trends[J]. Image and Data Fusion, 2010, 1(1): 5-24.

[3] XU Q, ZHANG Y, LI B. Recent Advances in Pansharpening and Key Problems in Applications[J]. Image Data Fusion, 2014, 5(3): 175-195.

[4] ZHANG Y. System and Method for Image Fusion[P]: US7340099B2. 2008.

[5] XU Q, ZHANG Y, LI B, et al. Pansharpening Using Regression of Classified MS and Pan Images to Reduce Color Distortion[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(1): 28-32.

[6] 徐其志, 高峰. 基于比值變換的全色與多光譜圖像高保真融合方法[J]. 計(jì)算機(jī)科學(xué), 2014, 41(10): 19-22. XU Qizhi, GAO Feng. Panchromatic and Hyperspectral Image High-fidelity Fusion Method Based on Ratio Transformation[J]. Computer Science, 2014, 41(10): 19-22. (in Chinese)

[7] XU Q, LI B, ZHANG Y, et al. High-fidelity Component Substitution Pansharpening by the Fitting of Substitution Data[J]. IEEE Transaction on Geoscience and Remote Sensing, 2014, 52(11): 7380-7392.

[8] 潘瑜, 徐麗燕, 王靜, 等. 基于多重集典型相關(guān)分析的圖像融合方法[J]. 航天返回與遙感, 2011, 32(3): 69-76. PAN Yu, XU Liyan, WANG Jing, et al. A Image Fusion Method Based on Multi-set Canonical Correlation Analysis[J]. Spacecraft Recovery & Remote Sensing, 2011, 32(3): 69-76. (in Chinese)

[9] SHAHDOOSTI HR, GHASSEMIAN H. Combining the Spectral PCA and Spatial PCA Fusion Methods by an Optimal Filter[J]. Information Fusion, 2016, 27(1): 150-160.

[10] YANG Y, WU L, HUANG S, et al. Compensation Details-based Injection Model for Remote Sensing Image Fusion[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(5): 734-738.

[11] KHADEMI G, GHASSEMIAN H. Incorporating an Adaptive Image Prior Model into Bayesian Fusion of Multispectral and Panchromatic Images[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(6): 917-921.

[12] YANG Y, WAN W, HUANG S, et al. Remote Sensing Image Fusion Based on Adaptive IHS and Multiscale Guided Filter[J]. IEEE Access, 2016, 4: 4573-4582.

[13] JIN B, KIM G, CHO N. Wavelet-domain Satellite Image Fusion Based on A Generalized Fusion Equation[J]. Applied Remote Sensing. 2014, 8(1): 080599.

[14] NEZHAD Z D, KARAMI A, HEYLEN R, et al. Fusion of Hyperspectral and Multispectral Images Using Spectral Unmixing and Sparse Coding[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016, 9(6): 2377-2389.

[15] ZHOU Y, FENG L, HOU C, et al. Hyperspectral and Multispectral Image Fusion Based on Local Low Rank and Coupled Spectral Unmixing[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(10): 5997-6009.

[16] XU Q, QIU W, LI B, et al. Hyperspectral and Panchromatic Image Fusion Through an Improved Ratio Enhancement[J]. Journal of Applied Remote Sensing, 2017, 11(1): 1-14.

[17] AN Z, SHI Z. Hyperspectral Image Fusion by Multiplication of Spectral Constraint and NMF[J]. Optik-international Journal for Light and Electron Optics, 2014, 125(13): 3150-3158.

[18] LICCIARDI G A. Fusion of Hyperspectral and Panchromatic Images Using Multiresolution Analysis and Nonlinear PCA band reduction[J]. EURASIP Journal of Advance Signal Process, 2012(1): 1-17.

[19] ALEX R, ALESSANDRO L. Clustering by Fast Search and Find of Density Peaks[J]. Science, 2014, 344(6191): 1492-1496.

[20] 常璐, 廖安平. 基于罰函數(shù)的非負(fù)最小二乘問(wèn)題的數(shù)值方法[EB/OL]. 北京: 中國(guó)科技論文在線[2018-05-21]. http://www.paper.edu.cn/releasepaper/content/201805-178. CHANG Lu, LIAO Anping. An Algorithm for Non-negative Least Squares Problem Based on Penalty Function [EB/OL]. Beijing: China Science Paper Online [2018-05-21]. http://www.paper.edu.cn/releasepaper/content/201805-178. (in Chinese)

[21] ALPARONE L. Multispectral and Panchromatic Data Fusion Assessment without Reference[J]. Photogrammetric Engineering & Remote Sensing, 2008, 74(2): 193-200.

Panchromatic and Hyperspectral Images Fusion Based on Non-negative Least Squares Algorithm

HAO Hongxun1HE Hongyan2,3ZHANG Bingxian2,3

（1 The Flight Technology College, Civil Aviation University of China, Tianjin 300300, China）（2 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）（3 Key Laboratory for Advanced Optical Remote Sensing Technology of Beijing, Beijing 100094, China）

The existing optical remote sensing image fusion methods focus on panchromatic and multispectral images. There will be the following problems while directly using these methods to deal with panchromatic and hyperspectral images. Due to the fact that hyperspectral bands are far more than multispectral bands, the existing methods are prone to grayscale distortion while synthesizing low-resolution panchromatic images by the weighted summation of hyperspectral bands. On the other hand, the existing optical remote sensing image fusion methods mainly use additive transformation, which can cause spectral or detail distortion in some ground objects because there are great spatial resolution difference between hyperspectral and panchromatic images. To solve the problems, this paper proposes the non-negative least squares algorithm based panchromatic and hyperspectral images fusion method. Firstly, this method reduces the bands of hyperspectral images by band compression. Then the low-resolution panchromatic images are generated by orthogonal least squares algorithm from the reduced bands and the panchromatic images. Finally, the fusion images are obtained by a ratio transformation model. The experiments demonstrated that the proposed method had a good performance on fusion quality, and was superior to the existed methods.

image fusion; hyperspectral image; non-negative least squares; remote sensing image; space remote sensing

TP79

A

1009-8518(2019)04-0105-07

10.3969/j.issn.1009-8518.2019.04.012

郝紅勛，男，1977年生，2017年獲中國(guó)礦業(yè)大學(xué)（北京）安全技術(shù)及工程專業(yè)工學(xué)博士學(xué)位，講師。研究領(lǐng)域?yàn)楹娇蘸教煨录夹g(shù)、飛行技術(shù)與航空安全、人機(jī)與環(huán)境工程。E-mail：hxhao8946 @aliyun.com。

2019-05-16

（編輯：王麗霞）