杜淋

摘 ? 要：提出了一種將單層小波變換與壓縮感知相結(jié)合的圖像融合新方法，僅通過測量圖像的高頻小波系數(shù)且保留了低頻小波系數(shù)，利用不同的方案對低頻小波系數(shù)和高頻小波系數(shù)的測量進(jìn)行融合。結(jié)合總變分（TV）最小化算法和融合測量來恢復(fù)高頻小波系數(shù)，運(yùn)用逆小波變換對融合圖像進(jìn)行重建。實(shí)驗(yàn)表明，該方法具有良好的融合性能和較低的計(jì)算復(fù)雜度。

關(guān)鍵詞：圖像融合;壓縮感知;單層小波變換

中圖分類號：TP751.1 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A

Research on Image Fusion Compressed Sensing Based

on Single Layer Wavelet Transform

DU Lin？覮

（College of Science，Hohai University，Nanjing，Jiangsu 210098，China）

Abstract： This paper presents a new image fusion method combining single-layer wavelet transform with compressed sensing. It only measures the image's high-pass wavelet coefficients and preserves the low-pass wavelet coefficients. It uses different schemes for low-pass wavelet coefficients and high pass. Wavelet coefficient measurements are fused. Combined with minimization of total variational algorithm （TV） and fusion measurement to recover high-pass wavelet coefficients，the fusion image was reconstructed using inverse wavelet transform. Experiments show that this method has good fusion performance and low computational complexity.

Keywords： image fusion;compressed sensing;single-layer wavelet transform

圖像融合是將多幅圖像的互補(bǔ)和冗余信息相結(jié)合以獲得復(fù)合圖像的技術(shù)，它比任何單個圖像都包含更全面的描述。作為處理的結(jié)果，融合圖像對于人類和機(jī)器感知或物體檢測和識別等其他圖像處理任務(wù)更有實(shí)踐意義。目前，已經(jīng)提出了許多著名的融合算法[1-3]，最主流的技術(shù)是多分辨率分解方法，如基于金字塔的方法[2]，基于離散小波變換（Discrete Wavelet Transform，DWT）的方法等[3]。但其中大多數(shù)技術(shù)需要對源圖像進(jìn)行全面采集，這意味著在傳感器數(shù)據(jù)量增加的背景下，必須處理大量的存儲負(fù)擔(dān)。

壓縮感知（Compressed Sensing，CS）作為一種信號處理技術(shù)[4]，可以同時進(jìn)行數(shù)據(jù)采樣和壓縮，文獻(xiàn)表明[5]，在一定條件下，僅從一小部分測量就能精確地恢復(fù)信號。CS原理使得數(shù)字?jǐn)?shù)據(jù)采集大幅降低采樣率、功耗和計(jì)算復(fù)雜度[6]。但是，現(xiàn)有的大多數(shù)CS研究都僅停留在理論研究基礎(chǔ)上[7]。對于CS中的圖像融合，通常方式是在從測量結(jié)果中單獨(dú)恢復(fù)每幅圖像之后，在重建的多幅圖像之間執(zhí)行傳統(tǒng)融合[8]。然而為了節(jié)省存儲空間并降低計(jì)算復(fù)雜度，更好的方法是直接對測量結(jié)果進(jìn)行融合，然后從融合測量結(jié)果重建融合圖像[9]?，F(xiàn)有研究已經(jīng)提出了基于CS的幾種不同的融合策略，例如簡單的最大選擇規(guī)則或基于測量標(biāo)準(zhǔn)差的自適應(yīng)加權(quán)平均融合方案[10-11]。

提出了一種在一般CS框架下的圖像融合方案。僅需要對圖像進(jìn)行單層小波分解，并且利用快速Walsh Hadamard變換[12]測量圖像的高頻小波系數(shù)，利用不同的方案對低頻小波系數(shù)和高頻小波系數(shù)的測量進(jìn)行融合，融合圖像的合成系數(shù)通過總變分（Total Variation，TV）最小化算法[13]和逆小波變換進(jìn)行恢復(fù)。

1 ? 壓縮感知

考慮一個實(shí)數(shù)值有限長度的一維離散時間信號x∈RN，元素為x[n]，n=1，2，…，N。如果信號x是K稀疏的，則信號可以表示為公式（1）：

x = Dα ? ? ? ? ? ? ? ? ? （1）

其中，D是N × N的基矩陣，并且α是僅包含K個非零系數(shù)的N × 1向量。顯然，x和α是信號的等價(jià)表示，x在時間或空間域，α在D域。如果K≠N，則信號x是可壓縮的。

在CS中不能直接測量或編碼α，而是采用壓縮測量：

其中，y∈RM且A代表測量過程的M × N測量矩陣。由于M≠N，所以不能利用y重建x。然而，CS理論基于x在已知變換域D（例如，DCT和小波）中具有稀疏表示。即如果 滿足受限等距特性（RIP）[8]，則優(yōu)化過程中可以恢復(fù)變換域信號α。在一些固定的稀疏基礎(chǔ)D下，Gaussian矩陣或Bernoulli矩陣可以提供通用性能和最優(yōu)性能作為測量矩陣[14][15]，

但計(jì)算復(fù)雜度很高。而快速Walsh Hadamard變換矩陣[12]的采樣算子實(shí)用性普遍，且計(jì)算復(fù)雜度較低。

為了解決公式（2）的逆變換，已經(jīng)開發(fā)了一些用于此類不適定問題的非線性恢復(fù)算法[16]。但它們中的大多數(shù)在實(shí)踐中需要相當(dāng)繁重的計(jì)算。在本文中，提出了一種基于增廣拉格朗日和交替方向算法的新型總變分（TV）最小化算法，簡稱為“TVAL3方案”來解決這個問題[13]。它用于解決總變分正則化的壓縮感知問題：

其中，x是N × 1向量，Di x∈R2是像素i處x的離散梯度，A是M × N （M < N）測量矩陣，并且測量y是x的線性投影，‖Di x‖是1-范數(shù)（對應(yīng)于各向異性TV）。

2 ? 單層小波變換

為了獲得原始圖像的測量結(jié)果，將使用快速Walsh Hadamard變換矩陣的結(jié)構(gòu)化來測量矩陣類型[12]。測量矩陣能夠處理矩陣向量乘法的快速計(jì)算，它是由Hadamard矩陣構(gòu)造的。對于k階Hadamard矩陣維數(shù)2k的遞推公式如下：

對于任意兩個矩陣A=[aij]p×q和B=[bij]r×l的Kronecker乘積定義如下：

A？茚B = a11B ? ?a12B ? ?… ? a1qBa21B ? ?a22B ? ?… ? a2qB… ? ? ? ?… ? ? … ? ?…ap1B ? ?ap1B ? ?… ? apqB ?（5）

為了更好地理解Kronecker乘積的含義，通過定義兩個新的算子vec和mtx。vec算子將矩陣的所有列變成向量，而mtx是vec的逆算子，它將該向量分離成若干個同等長度向量并形成一個矩陣。

根據(jù)“Kronecker乘積”定理[17]，矩陣A∈Rm×n可以用Kronecker乘積公式構(gòu)造：

A = （A1？茚A2 ） ? （6）

其中，A1∈R（m/p）×（n/p） 和A2∈Rp × q，所選擇的m和n必須滿足m和n分別被p和q整除。矩陣向量乘法可以通過下式計(jì)算：

Ax = vex（A1mtx（x）AT2）ATy = vex（AT2mtx（y）A1） ? （7）

詳細(xì)推導(dǎo)過程見文獻(xiàn)[17]。利用Kronecker乘積改寫公式（4）為：

Hk = H1？茚Hk-1 ? （8）

對于長度為2k的任意兩個向量xT1和xT2，有x = [xT1 ? xT2]。Hadamard有序的Walsh Hadamard變換（WHTh）可以表示為：

Hk x = （H1？茚Hk-1）x ?（9）

根據(jù)基本KP理論[18]，可以得到：

令xi表示第i個小波子帶的矢量化信號。相應(yīng)的測量輸出向量可寫為：

yi = Axi，i = 1，2，3 ? ?（11）

在每個小波子帶中，設(shè)置相同的采樣率，因此每個子帶的測量次數(shù)相同。

3 ? 圖像融合

由于多分辨率小波分解在信號表示中具有明顯的優(yōu)勢，因此，在本文的融合方案中，采用單級CDF-97小波變換將原始圖像分解為近似系數(shù)和細(xì)節(jié)系數(shù)。高頻子帶包括原始圖像的主要信息并且可以認(rèn)為是稀疏的，但是尺度系數(shù)低頻子帶不具備稀疏性。所以低頻和高頻系數(shù)與測量矩陣 相乘會破壞低頻近似權(quán)重系數(shù)與細(xì)節(jié)系數(shù)之間的相關(guān)性，導(dǎo)致重建結(jié)果較差。因此，通過保留低頻小波系數(shù)，只測量圖像的高頻小波系數(shù)，然后用不同的融合規(guī)則對它們進(jìn)行融合。

3.1 ? 低頻融合規(guī)則

設(shè)Ak和Bk分別為圖像A和圖像B的第k（k=1，2，3）個低頻子圖像。第k個低頻子圖像Fk的融合近似系數(shù)可以表示為：

3.2 ? 高頻融合規(guī)則

圖像結(jié)構(gòu)相似性（Image structural similarity，SSIM）[19]是基于假設(shè)人類視覺感知高度適應(yīng)于場景中提取結(jié)構(gòu)信息的一種有效的圖像質(zhì)量評估指標(biāo)。受此啟發(fā)，本文使用SSIM提取兩個高頻子圖像測量之間的結(jié)構(gòu)關(guān)系。

結(jié)構(gòu)相似性（SSIM）是通過將任何圖像失真建模為結(jié)構(gòu)比較函數(shù)s（x，y），亮度比較函數(shù)l（x，y），對比度比較函數(shù)c（x，y）的組合來設(shè)計(jì)的。則SSIM定義為：

其中，μx 和 μy是均值，σx ，σy和σxy分別是標(biāo)準(zhǔn)差和協(xié)方差。所有這些都是在圖像x和y之間的高頻子圖像測量值上計(jì)算得到。常數(shù)C1，C2和C3以避免分母非常接近零時的不穩(wěn)定性。且C1 = （K1L）2，C2 = （K2L）2，其中L是高頻子圖像測量的動態(tài)范圍（對于兩個對應(yīng)的高頻子帶圖像測量的最大值），并且 K1 = 1，K2 = 1是一個小常數(shù)，在本文的實(shí)驗(yàn)中，將參數(shù)設(shè)置為0.05，SSIM的其他參數(shù)都參照文獻(xiàn)[19]。

對于圖像融合，將SSIM局部應(yīng)用而不是全局應(yīng)用。在實(shí)驗(yàn)中，在2×2平方窗內(nèi)計(jì)算μx ，σx和σxy，該窗口在整個圖像上逐個像素地移動。在每個步驟中，局部統(tǒng)計(jì)和SSIM在局部窗口內(nèi)計(jì)算。最后測量兩幅圖像相似度的平均SSIM（MSSIM）指標(biāo)定義如下：

其中，xj和yj是第j個局部窗口處的圖像信息，并且M是圖像的局部窗口的數(shù)量。

對于細(xì)節(jié)系數(shù)融合，令GA k和GB k分別是圖像x和y圖像 的第k（k = 1，2，3）個高頻子圖像的測量值。融合的高頻子圖像測量GF k可以寫為：

其中，MSSIM（x，y）是兩個對應(yīng)的高頻子帶圖像測量之間的平均結(jié)構(gòu)相似性指數(shù)。

因此，融合高頻系數(shù)可以通過基于增廣拉格朗日和交替方向算法（TVAL3）的總變分（TV）最小化方案獲得，詳見文獻(xiàn)[13]。所提出的壓縮感知中的圖像融合具體步驟為：

（1）對輸入圖像執(zhí)行單層小波變換;

（2）用融合低頻規(guī)則融合低頻小波系數(shù)，并用測量矩陣WHTh測量各高頻小波子帶系數(shù);

（3）通過融合高頻規(guī)則來融合每個高頻測量;

（4）通過TVAL3算法重建融合的高頻小波系數(shù);

（5）通過逆小波變換恢復(fù)融合圖像。

本文利用TVAL3算法[13]從融合高頻測量中恢復(fù)融合高頻系數(shù)。

4 ? 實(shí)驗(yàn)分析

4.1 ? 實(shí)驗(yàn)準(zhǔn)備

為了驗(yàn)證所提出的基于單層小波變換的圖像融合壓縮感知的有效性，設(shè)計(jì)三組測試圖像用于性能評估，三組源圖像包括計(jì)算機(jī)斷層掃描（CT）和磁共振成像（MRI）圖像，如圖1（a）和圖1（b）;紅外和視覺圖像，如圖2（a）和圖2（b）;光學(xué)多焦點(diǎn)圖像，如圖3（a）和圖3（b）所示。有關(guān)圖像的更多信息詳見文獻(xiàn)[16]。高頻采樣率設(shè)置為0.2，恢復(fù)數(shù)據(jù)總數(shù)為所有數(shù)據(jù)的40%。其他兩種方法的采樣率也設(shè)置為0.4。所有實(shí)驗(yàn)均在雙核Intel Core2 2.33 GHz計(jì)算機(jī)上實(shí)現(xiàn)，仿真軟件為MATLAB 7.0.1。

4.2 ? 實(shí)驗(yàn)對比

在實(shí)驗(yàn)中，將所提出的方法與文獻(xiàn)[20]，文獻(xiàn)[21]中的方法進(jìn)行比較，其中，文獻(xiàn)[20]使用“雙星”采樣模式和最大絕對值選擇融合規(guī)則（CS_MS），文獻(xiàn)[21]使用“星形”采樣模式和基于標(biāo)準(zhǔn)差的加權(quán)平均融合規(guī)則（CS-SD）。在醫(yī)學(xué)圖像融合中，很容易看出所提出的方法的融合結(jié)果比CS_MS和CS-SD具有更高的對比度，并且包含了單個輸入圖像的大部分細(xì)節(jié)。CS-SD具有較低的對比度，并且比原始圖像包含更多的噪聲。對于紅外和視覺圖像融合，可以看到所提出的方法結(jié)果也表現(xiàn)出最佳的視覺效果。與本文的方法相比，CS_MS方案由于亮度和對比度的失真以及包含很多帶狀噪聲而不適合紅外和視覺圖像融合。而CS-SD會損失目標(biāo)中的對比度。在光學(xué)多焦點(diǎn)圖像融合實(shí)驗(yàn)中，本文所提出的方法與CS-SD相比具有相同的視覺效果，并且優(yōu)于CS_MS融合。

5.3 ? 性能評估

為了進(jìn)一步比較，使用幾個客觀標(biāo)準(zhǔn)來評估融合結(jié)果。第一個標(biāo)準(zhǔn)是平均梯度（AG），它通常用于評估圖像的清晰度，AG越大，圖像越清晰。接下來的兩個標(biāo)準(zhǔn)是互信息（MI）和邊保持度（Q），MI反映融合圖像包含的原始圖像的信息總量，并且Q考慮從輸入圖像轉(zhuǎn)移到融合圖像的邊緣信息量。對于這兩個標(biāo)準(zhǔn)，值越大融合結(jié)果越好。最后，分別給出用于融合和CS重建的CPU運(yùn)行時間。三種方法的融合結(jié)果性能評價(jià)如表1所示。

由表1可見，所提出的方法在MI和Q方面優(yōu)于其他兩種方法，這說明本文融合圖像的方法與其他方法相比，包含更多的細(xì)節(jié)和邊緣信息，這與視覺效果一致。盡管醫(yī)學(xué)圖像融合中的平均梯度（AG）略大于本方法，但其視覺效果遠(yuǎn)不及本方法。本文的融合和CS重建方法的CPU運(yùn)行時間遠(yuǎn)小于其他兩種方法。從主觀視覺比較和客觀指標(biāo)比較中，可以得出結(jié)論，所提出的方法比其他兩種方法可以獲得更好的性能。

5 ? 結(jié) ? 論

提出了一種壓縮感知的圖像融合方案，與傳統(tǒng)方法相比，在對原始圖像進(jìn)行單層小波變換的基礎(chǔ)上，根據(jù)高頻系數(shù)稀疏的特點(diǎn)，只需測量低采樣率的高頻小波系數(shù)，并設(shè)計(jì)了不同的融合規(guī)則融合低頻小波系數(shù)和高頻測量，結(jié)合一種新的高效總變分（TV）最小化算法進(jìn)行恢復(fù)。仿真結(jié)果表明，提出的方案具有較高的效率和良好的融合效果。此外，由于所提出的方案只需要不完整的測量而不是獲取整個圖像的所有樣本，因此計(jì)算復(fù)雜度顯著降低。并且由于采用了快速Walsh Hadamard變換，使得圖像融合和CS重建方法的CPU運(yùn)行時間遠(yuǎn)低于其他兩種方法。

CS圖像融合仍處于探索階段，仍有許多問題需要解決（例如，原始圖像與測量之間的關(guān)系以及如何設(shè)計(jì)最佳融合規(guī)則）。因此，與CS原理相匹配的更先進(jìn)的融合規(guī)則研究是今后工作的又一研究課題。

參考文獻(xiàn)

[1] ? ?許良鳳，林輝，胡敏.基于差分進(jìn)化算法的多模態(tài)醫(yī)學(xué)圖像融合[J].電子測量與儀器學(xué)報(bào)，2013，27（02）： 110—114.

[2] ? ?谷雨，周陽，任剛，等.結(jié)合最佳縫合線和多分辨率融合的圖像拼接[J].中國圖象圖形學(xué)報(bào)，2017，22（06）： 842—851.

[3] ? ?李尊，苗同軍.基于DWT-IRLS的壓縮感知圖像融合[J].液晶與顯示，2017，32（01）：35—39.

[4] ? ?沈燕飛，朱珍民，張勇東，等.基于秩極小化的壓縮感知圖像恢復(fù)算法[J].電子學(xué)報(bào)，2016，44（03）：572—579.

[5] ? ?METZLER C A，MALEKI A，BARANIUK R G. From denoising to compressed sensing[J]. IEEE Transactions on Information Theory，2016，62（9）： 5117—5144.

[6] ? ?李鵬，王建新，丁長松.WSN中基于壓縮感知的高能效數(shù)據(jù)收集方案[J].自動化學(xué)報(bào)，2016，42（11）： 1648—1656.

[7] ? ?王強(qiáng)，張培林，王懷光，等.壓縮感知中測量矩陣構(gòu)造綜述[J].計(jì)算機(jī)應(yīng)用，2017，37（01）：188—196.

[8] ? ?殷明，龐紀(jì)勇，魏遠(yuǎn)遠(yuǎn)，等.結(jié)合NSDTCT和壓縮感知PCNN的圖像融合算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2016，28（03）：411—419.

[9] ? ?杜鑫.壓縮感知在多源圖像融合中的應(yīng)用[J].太赫茲科學(xué)與電子信息學(xué)報(bào)，2013，11（04）：614—618.

[10] BLANCHARD J D，TANNER J，WEI K. Conjugate gradient iterative hard thresholding： Observed noise stability for compressed sensing[J]. IEEE Transactions on Signal Processing，2015，63（2）： 528—537.

[11] ?ZHANG Q，MALDAGUE X. An adaptive fusion approach for infrared and visible images based on NSCT and compressed sensing[J]. Infrared Physics & Technology，2016，74：11—20.

[12] ?LIU J，XING Q，YIN X，et al. Pipelined architecture for a radix-2 fast Walsh-Hadamard-Fourier transform algorithm[J]. IEEE Transactions on Circuits and Systems II： Express Briefs，2015，62（11）： 1083—1087.

[13] ?MA J，CHEN C，LI C，et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J].Information Fusion，2016，31： 100—109.

[14] OYMAK S，JALALI A，F(xiàn)AZEL M，et al. Simultaneously structured models with application to sparse and low-rank matrices[J]. IEEE Transactions on Information Theory，2015，61（5）： 2886—2908.

[15] ?RAVELOMANANTSOA A，RABAH H，ROUANE A. Compressed sensing： a simple deterministic measurement matrix and a fast recovery algorithm[J]. IEEE Transactions on Instrumentation and Measurement，2015，64（12）： 3405—3413.

[16] ?練秋生，宋爽，陳書貞，等.基于高階馬爾可夫隨機(jī)場及非線性壓縮感知的相位恢復(fù)算法[J].電子學(xué)報(bào)，2017，45（09）：2210—2217.

[17] ?曾誠，何淦瞳.關(guān)于矩陣Kronecker乘積和Hadamard乘積的若干矩陣不等式[J].寧夏大學(xué)學(xué)報(bào)：自然科學(xué)版，2016，37（03）：268—271.

[18] ?ZHANG Z，WANG Y，CHONG E K P，et al. Subspace selection for projection maximization with matroid constraints[J]. IEEE Transactions on Signal Processing，2017，65（5）： 1339—1351.

[19] ?FANG Y，ZENG K，WANG Z，et al. Objective quality assessment for image retargeting based on structural similarity[J]. IEEE Journal on Emerging and Selected Topics in Circuits and Systems，2014，4（1）： 95—105.

[20] ?XING L，CAI L，ZENG H，et al. A multi-scale contrast-based image quality assessment model for multi-exposure image fusion[J]. Signal Processing，2018，145： 233—240.

[21] ?ZHANG K，WANG M，YANG S，et al. Fusion of panchromatic and multispectral images via coupled sparse non-negative matrix factorization[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2016，9（12）： 5740—5747.