王海文，李 杰，陳廣學(xué)

（1.浙江科技學(xué)院生化/輕工學(xué)院，浙江杭州310023;2.衢州職業(yè)技術(shù)學(xué)院信息工程學(xué)院，浙江衢州324000; 3.華南理工大學(xué)制漿造紙國家重點實驗室，廣東廣州510640）

應(yīng)用與發(fā)展

面向高保真再現(xiàn)的多光譜圖像融合技術(shù)

王海文1*，李 杰2，陳廣學(xué)3

（1.浙江科技學(xué)院生化/輕工學(xué)院，浙江杭州310023;2.衢州職業(yè)技術(shù)學(xué)院信息工程學(xué)院，浙江衢州324000; 3.華南理工大學(xué)制漿造紙國家重點實驗室，廣東廣州510640）

面向高保真再現(xiàn)（高保真顯示和高保真印刷）的多光譜圖像融合是多光譜顏色再現(xiàn)的關(guān)鍵技術(shù)和核心環(huán)節(jié)。論文結(jié)合人類視覺系統(tǒng)的構(gòu)成與特性，采用基于多分辨率分析理論的圖像融合方法，并嵌入基于圖像色貌模型的色彩轉(zhuǎn)換方法，提出了面向高保真再現(xiàn)的多光譜圖像融合方法，其核心為基于人類視覺系統(tǒng)的小波圖像融合方法，并設(shè)計了融合框架、融合算法和融合效果評價指標。最后通過高分辨率圖像與多光譜圖像的融合試驗，并通過融合指標的分析計算驗證了此技術(shù)方法的有效性，它為顏色視覺的階段理論學(xué)說提供了新的理論解釋。

高保真再現(xiàn)；多光譜圖像融合；多光譜顏色再現(xiàn)；人類視覺系統(tǒng)；小波融合方法

面向高保真再現(xiàn)（高保真顯示和高保真印刷）的多光譜圖像融合是多光譜顏色再現(xiàn)的核心技術(shù)和關(guān)鍵環(huán)節(jié)之一，它為后續(xù)技術(shù)環(huán)節(jié)（光譜反射率重建與多基色印刷等）提供完整準確的圖像顏色信息和細節(jié)信息支持，從而從源頭上保證高保真再現(xiàn)的實現(xiàn)。其基本原理是，采用恰當(dāng)?shù)膱D像融合技術(shù)對高分辨率彩色圖像與低分辨率多光譜圖像進行融合，即基于多源圖像信息的互補性與冗余性，從而充分利用高分辨率圖像豐富的細節(jié)特征與多光譜圖像豐富的顏色信息特征，同時也能減少一定的無關(guān)數(shù)據(jù)量[1，2]，進而實現(xiàn)對原稿或原場景信息更精確完整的表達和再現(xiàn)。當(dāng)前，在多光譜顏色復(fù)制技術(shù)中，多光譜圖像的獲取通常采用31個通道，其波段數(shù)較多，數(shù)據(jù)本身包含了大量的冗余信息[3]，且在印刷輸出時也無法采用31個基色油墨。因此，必須采用恰當(dāng)?shù)膱D像融合技術(shù)對多光譜圖像進行預(yù)處理，從而滿足高保真輸出再現(xiàn)的需要。

當(dāng)前，對多光譜圖像融合技術(shù)的研究主要集中于遙感圖像、遠程醫(yī)學(xué)、計算機可視化、藝術(shù)品存檔、軍事目標成像等高端應(yīng)用領(lǐng)域，而對高保真再現(xiàn)領(lǐng)域基本沒有涉獵[4，5]。從理論上講，面向高保真再現(xiàn)的多光譜圖像融合與其他應(yīng)用領(lǐng)域的圖像融合技術(shù)的原理和方法沒有本質(zhì)區(qū)別，僅僅是應(yīng)用領(lǐng)域和側(cè)重點的不同。其中，上述高端應(yīng)用領(lǐng)域的圖像融合技術(shù)主要側(cè)重圖像的細節(jié)和邊緣，譬如遙感圖像，著重再現(xiàn)圖像的細節(jié)邊緣，以便于后期的識別和分析，而對顏色信息的準確再現(xiàn)不太強調(diào)。而在高保真再現(xiàn)領(lǐng)域，顏色信息的準確和完整再現(xiàn)是其主要側(cè)重點，所以圖像融合方法也略有不同。另外，由于小波變換方法具有接近人類視覺系統(tǒng)的多分辨率特性、良好的方向性以及算法的靈活性[6，7]，從理論上比較適合應(yīng)用于多光譜圖像的高保真再現(xiàn)。為此，論文在深入分析人類視覺系統(tǒng)的構(gòu)成與特性的基礎(chǔ)上，采用上述高端應(yīng)用領(lǐng)域的多光譜圖像融合技術(shù)框架與基于多分辨率分析理論的圖像融合技術(shù)方法，針對高保真再現(xiàn)領(lǐng)域，提出了基于人類視覺系統(tǒng)的小波圖像融合方法來實現(xiàn)多光譜圖像的融合。

1 面向高保真再現(xiàn)的多光譜圖像融合技術(shù)

1.1 人類視覺系統(tǒng)的構(gòu)成與特性

人類視覺系統(tǒng)是一個典型的光學(xué)變換器和信息處理系統(tǒng)[7]，它將外界獲取的光學(xué)信息及時有效地轉(zhuǎn)換為生理電波，生理電波信號經(jīng)視覺傳輸通道的預(yù)處理，再經(jīng)過視覺神經(jīng)系統(tǒng)的編碼傳遞給大腦，從而完成圖像信息的分析與識別。因此，人類視覺系統(tǒng)可分為五個組成部分，即眼睛（獲取外界光學(xué)信息并輔助成像）、視網(wǎng)膜（將光學(xué)成像信號轉(zhuǎn)變?yōu)樯黼娦盘枺⒁曈X傳輸通道（對生理電信號進行預(yù)處理）、視覺神經(jīng)系統(tǒng)（對生理電信號進行編碼）和大腦（分析識別圖像信息）。

而人類視覺系統(tǒng)的典型特性主要有：人類視覺具有全局性和選擇性，尤其對感興趣目標或區(qū)域更加敏感[8];對圖像的顏色和亮度獨立獲取，分層分通道處理，且對亮度更加敏感;對不同時空分布特征信息的響應(yīng)不同，且具有一定的方向性，尤其對圖像高頻成分和傾斜方向不敏感[9];對圖像信息感知與環(huán)境、媒體等多種因素有關(guān)，顏色識別表現(xiàn)出高度的非線性，且對顏色識別具有一定的視覺補償功能[10]。

1.2 面向高保真再現(xiàn)的多光譜圖像融合方法

論文基于人類視覺系統(tǒng)的特性與小波圖像融合方法的優(yōu)越性，提出了面向高保真再現(xiàn)的多光譜圖像融合方法，主要包括融合框架、融合算法與融合效果評價指標三個方面，下面進行具體闡述。

1.2.1 面向高保真再現(xiàn)的多光譜圖像融合技術(shù)框架

面向高保真再現(xiàn)的多光譜圖像融合技術(shù)框架包括：圖像預(yù)處理、顏色空間轉(zhuǎn)換、圖像分解處理、圖像融合、圖像反演五個步驟。

1）圖像預(yù)處理：主要指多光譜圖像的校正與配準，為后續(xù)圖像融合提供良好的規(guī)范與條件。

2）顏色空間轉(zhuǎn)換：將多光譜圖像由RGB色空間轉(zhuǎn)換至IHS顏色復(fù)制空間，從而適應(yīng)后續(xù)顏色處理與再現(xiàn)的需要，并為圖像分解與顏色復(fù)制提供平臺。

3）圖像分解處理：將多光譜圖像和彩色圖像進行分解處理，濾除圖像噪聲，保證圖像顏色信息不丟失，并提升圖像細節(jié)，從而利于圖像顏色信息和細節(jié)信息的高保真再現(xiàn)，相應(yīng)地得到低頻和高頻成分等信息。

4）圖像融合：將多光譜圖像和彩色圖像的分解成分按照一定的融合算法進行融合。

5）圖像反演：對圖像融合的結(jié)果成分進行反變換，從而得到最終的融合結(jié)果。

1.2.2 基于人類視覺系統(tǒng)的小波圖像融合算法

根據(jù)上述提出的面向高保真再現(xiàn)的多光譜圖像融合技術(shù)框架，論文設(shè)計了基于人類視覺系統(tǒng)的小波圖像融合算法，其基本步驟為：

1）首先對多光譜圖像和彩色圖像進行幾何校正，然后采用基于區(qū)域的幾何配準方法進行嚴格配準。

2）對多光譜圖像進行色適應(yīng)變換，適當(dāng)消除光譜色域的偏差，從而利于后續(xù)顏色信息的處理與再現(xiàn)。即使用適應(yīng)程度因子D調(diào)制RGB視錐響應(yīng)信號，得到R′、G′、B′適應(yīng)信號，然后將R′、G′、B′色空間轉(zhuǎn)換至IHS顏色復(fù)制空間，得到I、H、S三個分量。其色適應(yīng)變換公式[11]為：

其中，R、G、B為iCAM色空間中的視錐響應(yīng)三刺激值，R′、G′、B′為經(jīng)色適應(yīng)變換后得到的視錐響應(yīng)三刺激值，YW為白點的亮度，D為適應(yīng)程度因子，RW、GW、BW為白點的長、中、短波視錐響應(yīng)。

而R′、G′、B′色空間轉(zhuǎn)換至IHS顏色復(fù)制空間的公式[11]為：

如果B′＞G′，則H=2πˉH。

3）對多光譜圖像和彩色圖像進行二維小波分解，得到各自的低頻分量和高頻細節(jié)分量。其目的是將圖像的低頻分量和高頻細節(jié)分量分開進行處理，從而提升圖像細節(jié)，保證圖像顏色信息。其二維圖像C（m，n）的小波分解公式[12]為：

而其重構(gòu)過程[12]為：

其中，Ck，dHk，dVk，dDk分別為圖像在該分辨率下的低頻、水平高頻、垂直高頻和對角高頻分量，h、g分別為理想低通和高通濾波器系數(shù)。

4）對分解分量采取分區(qū)融合方法，其中低頻部分采用中值平均法，主要保證多光譜圖像的光譜信息;高頻部分采用基于區(qū)域的小波系數(shù)，即根據(jù)區(qū)域特征確定融合的相應(yīng)位置的小波系數(shù)，它主要保證彩色圖像的細節(jié)信息[13]。其目的是，對圖像的分解分量分開進行精細處理，可消除圖像噪聲，提高清晰度，保證顏色信息的正確再現(xiàn)。

5）用得到的高頻和低頻子圖像進行小波反演變換，從而得到融合的高分辨率多光譜圖像，即為高分辨率圖像與多光譜圖像的最終融合圖像。其小波反演公式[14]如下：

若H≥0，且H＜2/3π，則

若2/3π≤H＜4/3π，則

若4/3π≤H＜2π，則

1.2.3 面向高保真再現(xiàn)的多光譜圖像融合效果評價指標

對于面向高保真再現(xiàn)的多光譜圖像融合效果的評價，論文提出了三個指標，即光譜保真度（主要保證同色異譜程度的大?。?、圖像清晰度（保證融合多光譜圖像的細節(jié)信息）和感覺信噪比（視覺上主觀評價的定量化）。采用上述三個指標能較好地表征融合多光譜圖像適宜于高保真印刷的程度。

1）光譜保真度

光譜保真度可用光譜扭曲程度進行評價，光譜扭曲程度反映了多光譜圖像的光譜失真程度[15]。光譜扭曲程度越小，則光譜保真度越好，表明圖像的融合效果越好，對應(yīng)顏色復(fù)制時的同色異譜程度往往越小。光譜扭曲程度的定義式[15]為：

其中，D為光譜扭曲程度，M、N為圖像大小，I（i，j）、IF（i，j）分別為融合后和原圖像中（i，j）點的灰度值。計算31個波段的光譜扭曲程度，進行綜合評價即可得到光譜保真程度的大小。

2）圖像清晰度

圖像清晰度用平均梯度表示，它反映了圖像中的細微層次反差與紋理的變化特征，其值大小能反映出融合圖像中的細微層次反差的變化程度[16]。在圖像內(nèi)容一定的情況下，平均梯度越大，則圖像清晰度一般越高，其定義式[16]為：

其中，

3）感覺信噪比

為評價融合圖像適于高保真再現(xiàn)的主觀評價，引入感覺信噪比。它是在對圖像進行小波變換的基礎(chǔ)上，利用小波變換域的可視性門限模型，給出了能反映人類主觀視覺感覺的圖像質(zhì)量評價方法[17]。感覺信噪比越大，則圖像的感覺質(zhì)量越高，表明融合效果越好。其定義式[17]如下：

其中，PE為感覺誤差，定義式[17]為

其中，El0（m，n）=Cl0（m，n）ˉC′l0（m，n）;Cl0（m，n）、C′l0（m，n）分別為原圖像和融合圖像的小波變換域的局部對比度;SkLL（m，n），S′kLL（m，n）分別是原圖像和融合圖像k層的光滑子帶圖像; ΔC′l0（m，n）為原圖像所確定的小波變換域中的可視性門限，即人眼可觀測到的最小視覺限定值。

2 多光譜圖像融合實驗

2.1 實驗設(shè)計與結(jié)果

圖1 高分辨率彩色圖像與多光譜圖像的融合結(jié)果Fusion results of high-solution color image and multispectral images

實驗采用索尼T900數(shù)碼相機拍攝武漢大學(xué)測繪遙感國家重點實驗室的門口，得到高分辨率彩色圖像（A），然后在數(shù)碼相機前分別加上紅、綠、藍濾色片，對同一場景進行拍攝，得到多光譜圖像（B）、（C）、（D）。其中濾色片由東莞市科譜達光電科技有限公司生產(chǎn)，型號為K-1001，波段選取范圍分別為610～740 nm（紅濾色片）、500～610 nm（綠濾色片）、390～500 nm（藍濾色片）。采用論文提出的面向高保真再現(xiàn)的多光譜圖像融合方法，對上述四幅圖像進行融合，其融合結(jié)果如圖（E）所示。

然后采用論文提出的面向高保真再現(xiàn)的多光譜圖像融合效果的評價指標，本次融合試驗的評價結(jié)果如表1所示。

2.2 實驗結(jié)果分析

由圖1和表1可以看出，融合圖像的清晰度得到增強，圖像E相比圖像B、C和D的清晰度都高，基本與圖像A相同（圖像E的平均梯度與A非常接近，而圖像B、C、D的平均梯度比A小較多）。圖像的顏色信息更加豐富（圖像E相比圖像A，其顏色信息更加豐富，可表現(xiàn)的顏色數(shù)量和階調(diào)層次更多）。

另外，由表1可以看出，融合圖像E分別對應(yīng)A、B、C、D的光譜扭曲程度很?。ň∮?.5），因此光譜保真度較高，表明融合圖像基本保留了原多光譜圖像豐富的顏色信息特征。融合圖像E的平均梯度相對B、C、D增加較多，由8左右增至14.259，表明融合圖像的清晰度得到明顯增強。融合圖像E的感覺信噪比較大，與圖像A很接近（圖像E為86.573，圖像A為87.276），表明融合圖像E比較符合人眼的視覺感受和評價，主觀評價良好，適于高保真輸出再現(xiàn)。因此，該方法較好地解決了面向高保真再現(xiàn)的多光譜圖像融合問題，是該領(lǐng)域中的創(chuàng)新，也是對多光譜顏色再現(xiàn)技術(shù)的創(chuàng)新。

表1 多光譜圖像融合試驗的評價結(jié)果Evaluation results of multispectral image fusion experiment

最后，基于人類視覺系統(tǒng)的小波圖像融合方法為顏色視覺的階段理論學(xué)說提供了一個新的理論解釋，即人眼對顏色信息的識別首先經(jīng)過圖像的預(yù)處理（相當(dāng)于顏色視覺的三色機制，獲取RGB信息后進行簡單視覺處理），然后經(jīng)過顏色空間轉(zhuǎn)換與顏色信息的分解和融合處理（相當(dāng)于顏色視覺的四色機制，獲取的顏色信息進行分解、融合、然后重新編碼），最后經(jīng)過圖像反演和評價獲得顏色視覺（大腦分析識別融合圖像的顏色信息，識別最終的顏色信息，相當(dāng)于識別階段）。

3 結(jié)論

面向高保真再現(xiàn)的多光譜圖像融合是多光譜顏色再現(xiàn)技術(shù)的核心研究課題，它解決的是對原稿或者原場景更豐富顏色信息和細節(jié)信息的獲取和表達，從而為光譜反射率的重建、進而為多光譜顏色輸出再現(xiàn)提供完整準確的信息支持。本文提出了面向高保真再現(xiàn)的多光譜圖像融合技術(shù)，主要包括合理借用和修正遙感圖像融合的技術(shù)框架，引入色適應(yīng)變換對圖像顏色空間進行預(yù)處理，提出融合效果的三個評價指標。它較好地解決了面向高保真再現(xiàn)的多光譜圖像融合問題，能保證融合圖像的細節(jié)和顏色信息，為多光譜復(fù)制提供更優(yōu)良的原稿，從而利于實現(xiàn)高保真顯示與高保真印刷，這是多光譜圖像高保真再現(xiàn)應(yīng)用領(lǐng)域中的創(chuàng)新，同時也是多光譜圖像處理技術(shù)應(yīng)用的拓展。

另外，基于人類視覺系統(tǒng)的小波圖像融合方法較好地模擬和表達了人類視覺系統(tǒng)識別圖像顏色信息的機制和過程，它對于顏色視覺的階段理論學(xué)說提供了一個新的理論解釋，具有一定的理論意義。

參考文獻：

[1] Francisco H，Imai，Roy S.Berns.High-resolution multispectral image archives：a hybrid approach[C].The Sixth Color Imaging Conference：Color Science，Systems，and APPlications.Copyright 1998，IS&T：224-227.

[2] Rosen M，Imai F，Jiang X Y，Ohta N.Spectral reproduction from scene to hardcopyⅡ[C].Image Processing Proceedings of SPIE，2001，4300：33-41.

[3] 唐 紅，鄭文斌，李憲霞.主成分分析在光全散射特征波長選擇中的應(yīng)用[J].光學(xué)精密工程，2010，18（8）：1691-1698. Tang H，Zheng W B，Li X X.Application of principal component analysis to selection of characteristic wavelengths with total light scattering[J].OPtics and Precision Engineering，2010，18（8）：1691-1698.

[4] Wang H W，Li J，Chen G X.Study on key issues of multispectral color reproduction technique[J].Adυanced Materials Research，2011，174（1）：93-96.

[5] 王 瑩，王忠民，王義峰，羅雪梅.面向色彩再現(xiàn)的多光譜圖像非線性降維方法[J].光學(xué)精密工程，2011，19（5）：1171-1178 Wang Y，Wang Z M，Wang Y F，Luo X M.Nonlinear dimensionality reduction of multi-spectral images for color reproduction[J].OPtics and Precision Engineering，2011，19（5）：1171-1178.

[6] 何龍兵，那 彥.多光譜可見光圖像與高分辨率圖像的分維融合[J].電子科技，2011，24（1）：4-8 He L B，Na Y.Fractal fusion for more spectral visible light images and high-resolution panchromatic images[J].Electronic Science&Technology，2011，24（1）：4-8.

[7] 毛曉波，陳鐵軍.基于人類視覺特性的機器視覺系統(tǒng)[J].儀器儀表學(xué)報，2010，31（4）：832-837 Mao X B，Chen T J.Machine vision system based on human vision features[J].Chinese Journal of Scientific Instrument，2010，31（4）：832-837.

[8] 盛承光.基于人類視覺系統(tǒng)的圖像信息隱藏技術(shù)研究[J].東莞理工學(xué)院學(xué)報，2008，15（1）：66-70 Sheng C G.Research on image information hiding technology based on human vision[J].System Journal of Dongguan Uniυersity of Technology，2008，15（1）：66-70.

[9] Garrett M，Johnson，Mark D.Full-spectral color calculations in realistic image synthesis[J].IEEE ComPuter GraPhics and APPlications，1999，19（4）：47-51.

[10] Mitchell.Navigating the roadblocks to spectral color reproduction：data-efficient multi-channel imaging and spectral color management[D].Rochester：Rochester Institute Technology，2003.

[11] 盧滄龍.基于CIECAM02的跨媒休顏色復(fù)現(xiàn)評價研究[D].杭州：浙江大學(xué)，2013. LU C L.Study of cross-media color reproduction assessment[D].Hangzhou：Zhejiang University，2013.

[12] 徐麗華，岳文澤，李先華，梅安新，章皖秋.基于二維小波變換的遙感分類研究[J].遙感技術(shù)與應(yīng)用，2003，18（5）：317-321. Xu L H，Qiu W Z，Li X H，Mei A X，Zhang W Q.A study on the TM classification of vegetation feature based on twodimensional wavelet transformation[J].Remote Sensing Techonology and APPlication，2003，18（5）：317-321.

[13] 葉傳奇，王寶樹，苗啟廣.一種基于區(qū)域的ASCT域多光譜與高分辨率圖像融合算法[J].光學(xué)學(xué)報，2009，29（5）：1240-1247 Ye C Q，Wang B S，Miao Q G.Fusion algorithm of multispectral and hi-resolution images based on region feature in NSCT domain[J].Acta OPtica Sinica，2009，29（5）：1240-1247.

[14] 王仁禮，戚銘堯，王 慧.用于圖像融合的IHS變換方法的比較[J].測繪學(xué)院學(xué)報，2000，17（4）：269-273. Wang R L，QI X Y Wang H，Miao Q G.Comparative study on the method of IHS transformation for image fusion [J].Journal of Institute of Surυeying and MaPPing，2000，17（4）：269-273.

[15] 陳大可.多光譜與全色圖像融合方法的研究[D].長春：吉林大學(xué)，2010. Chen D K.Fusion algorithms of multispectral and panchromatic images[D].Changchun：Jilin University，2010.

[16] 馬金福.多源圖像融合技術(shù)及應(yīng)用研究[D].西安：西安科技大學(xué)，2009 Ma J F.Multi-source image fusion technology and application research[D].Xi，an：Xi，an University of Science and Technology，2009.

[17] 敬忠良，肖 剛，李振華.圖像融合---理論與應(yīng)用[M].北京：高等教育出版社，2007.119-120. Jing Z L，Xiao G，Li Z H.Image Fusion：Theory and APPlications[M].Beijing：Higher Education Press，2007. 119-120.

Multispectral Image Fusion Technology for High-fidelity Reproduction

WANG Haiwen1*，LI Jie2，CHEN Guangxue3
（1.School of Biological and Chemical Engineering/School of Light Industry，Zhejiang Uniυersity of Science and Technology，Hangzhou 310023，Zhejiang，P.R.China; 2.School of Information Engineering，Quzhou College of Technology，Quzhou 324000，Zhejiang，P.R.China; 3.State Key Laboratory of PulP and PaPer Engineering，South China Uniυersity of Technology，Guangzhou 510640，Guangdong，P.R.China）

The multispectral image fusion for high-fidelity reproduction（high-fidelity display and high-fidelity printing）was the key technology and core link of the multispectral color reproduciton.It combined the structure and characteristics of the human visual system，besides it used the image fusion method based on the multiresolution analysis theory and embedded in the color conversion method based on the image color appearance model，thus the multispectral image fusion technology method for high-fidelity reproduction was put forward.And the core of the multispectral image fusion method was the wavelet image fusion method based on the human visual system，besides it designed the fusion framework，the fusion algorithm and the valuation index of fusion effect.Finally the availability of the fusion technology method was improved through the fusion experiments of the high-solution images and multispectral images and the calculation and analysis of fusion indexes.What＇s more，it proposed a new theoretical explanation for the stage theory of color vision.

*Corresponding author，E-mail：wanghaiwen1@126.com

high-fidelity reproduction;multispectral image fusion;multispectral color reproduction;human visual system;wavelet fusion method

10.7517/j.issn.1674-0475.2014.06.550

1674-0475（2014）06-0550-08

2013-11-06收稿，2014-05-21錄用

國家自然科學(xué)基金項目（60972134）、浙江省教育廳科研計劃項目（Y201223999，Y201326661）、浙江省教育科學(xué)規(guī)劃研究課題（SCG062）和浙江科技學(xué)院博士科研啟動基金（F015113C01）資助

*通訊作者，E-mail：wanghaiwen1@126.com