黃應(yīng)清，齊 鷗，蔣曉瑜，劉中晅

(裝甲兵工程學(xué)院 a.兵器工程系；b.技術(shù)保障工程系；c.控制工程系，北京 100072)

1 概述

圖像融合技術(shù)在信息融合領(lǐng)域發(fā)揮著重要作用，被廣泛應(yīng)用于隱匿武器檢查、夜間飛行、重要目標(biāo)監(jiān)視、醫(yī)學(xué)診斷、衛(wèi)星遙感等領(lǐng)域[1]。融合圖像的質(zhì)量是度量圖像融合效果的重要方面，研究融合圖像質(zhì)量評價對融合方法的開發(fā)具有指導(dǎo)意義[2]。

過去，融合圖像的質(zhì)量主要靠人眼主觀感覺[3]進(jìn)行度量，但這種評價方式費時費力，且不能被集成到圖像融合系統(tǒng)中，不利于系統(tǒng)的開發(fā)[4]。盡管這種評價方式準(zhǔn)確度很高，可是由于其實用性差，在實際生產(chǎn)中應(yīng)用很少[5]。隨著機器視覺的發(fā)展，客觀融合圖像質(zhì)量評估成為現(xiàn)實[6]。文獻(xiàn)[7]在評價中引入結(jié)構(gòu)相似性度量(Structural Similarity Index Metric, SSIM)理論，提出基于 SSIM 的圖像融合質(zhì)量評價方法。文獻(xiàn)[8]模擬人類視覺系統(tǒng)，提出一種自主式圖像融合質(zhì)量評價方法。文獻(xiàn)[9]通過優(yōu)化加權(quán)策略，提出基于質(zhì)量因子的圖像融合客觀評價方法，但沒有一種評價方法包含對共有信息和互補信息的度量。文獻(xiàn)[10]指出共有信息和互補信息對融合圖像的質(zhì)量起著重要作用，必須對其準(zhǔn)確描述才能實現(xiàn)高精確度的圖像融合質(zhì)量評價。

本文采用分水嶺算法對共有信息和互補信息進(jìn)行分割，并構(gòu)建共有信息/互補信息響應(yīng)函數(shù)，以實現(xiàn)對圖像融合質(zhì)量的高精確度評價。

2 SSIM理論簡介

SSIM理論由Zhou Wang于2003年提出，該理論假定人眼觀察圖像功能的實現(xiàn)源于人眼對圖像結(jié)構(gòu)信息的處理。鑒于此，通過提取并處理圖像的結(jié)構(gòu)，就能夠達(dá)到人眼對圖像的評價效果。SSIM包括3個分量：亮度比較，對比度比較和相關(guān)性比較。

為2幅結(jié)構(gòu)待評估圖像的信號，則SSIM定義為：

其中，C1、C2和 C3為很小的常數(shù)，用于保持算法的穩(wěn)定；SSIM(x, y)的值位于 0～1之間，值越小代表圖像x和y之間的相似性越大，反之越大。

3 共有信息和互補信息的分割

圖像融合綜合多種傳感器圖像或同一傳感器不同時刻圖像的信息，合成一幅包含所有傳感器重要信息的復(fù)合圖像，完成對目標(biāo)場景的更好的描述。共有信息存在于多幅圖像中，只需保留一份即可；互補信息存在于單獨的圖像內(nèi)，必須完全地保存該信息，才能實現(xiàn)對場景的全面描述。鑒于共有信息和互補信息性質(zhì)不同，其對融合圖像質(zhì)量的貢獻(xiàn)也不同，因此，在質(zhì)量評價過程中必須加以區(qū)分。

3.1 共有信息和互補信息的確定

鑒于對人眼有意義的是圖像的結(jié)構(gòu)信息，因此，對圖像結(jié)構(gòu)信息互補性和共有性的區(qū)分也就是對圖像互補共有信息的區(qū)分?？紤]到圖像信號的復(fù)雜性，采用大小為w的窗口依次從上至下、從左至右依次滑過圖像的每個像素，則圖像每一點的局部相似性為SSIM(x, y|w)。綜合考慮運算精度和速度因素，本文中w大小取 5×5。2幅圖像對應(yīng)點的局部結(jié)構(gòu)相似性構(gòu)成一幅圖，記為結(jié)構(gòu)相似性信息圖SSIMMAP，反映了2幅圖像之間對應(yīng)區(qū)域的結(jié)構(gòu)相似程度。

3.2 基于標(biāo)記分水嶺的圖像分割

分水嶺算法是圖像分割中的一種重要算法，被廣泛應(yīng)用于形態(tài)學(xué)圖像處理領(lǐng)域。分水嶺算法將圖像視為一幅3維地形圖，像素的灰度值為其高度。高的灰度值對應(yīng)地理中的山峰，低的灰度值對應(yīng)地理學(xué)中的盆地。在每一個盆地的底部打一個小孔，水從盆地底部流入盆地并逐漸上升，當(dāng)盆地中的水將要溢出盆地邊緣時，構(gòu)建堤壩防止盆地中水的溢出，所構(gòu)建的堤壩即為分水嶺。分水嶺算法直接用于圖像分割容易引起過分割現(xiàn)象，導(dǎo)致分割結(jié)果可用性差。為了避免該現(xiàn)象，本文采用基于標(biāo)記分水嶺的圖像分割方法，具體過程如下：

(1)采用橫向Sobel算子和縱向Sobel算子分別對圖像進(jìn)行濾波，得到橫向梯度圖fx和縱向梯度圖fy，橫向梯度圖和縱向梯度圖求均方誤差得到SSIMMAP的梯度圖像f：

橫向和縱向Sobel算子分別如圖1和圖2所示。

圖1 橫向 Sobel算子

圖2 縱向 Sobel算子

(2)為降低噪聲對評價結(jié)果造成的影響，采用3×3線性平滑濾波器對梯度圖像f進(jìn)行濾波；求取圖像內(nèi)所有局部最小值點，為提高局部最小值點的質(zhì)量，設(shè)定灰度值小于 75的局部最小值為有效局部最小值，并將其記為內(nèi)部標(biāo)記；對有效局部最小值點的圖像做分水嶺分割，得到在有效局部最小值作用下的分水嶺線，將其記為外部標(biāo)記；對圖像f中外部標(biāo)記和內(nèi)部標(biāo)記位置的像素值強制為-inf。

(3)對圖像進(jìn)行分水嶺分割，得到包含內(nèi)部標(biāo)記的不同目標(biāo)區(qū)域 R1,R2,…,RN和不包含內(nèi)部標(biāo)記的背景區(qū)域RN+1。包含內(nèi)部標(biāo)記的目標(biāo)區(qū)域處于分水嶺盆地的底部，其整體結(jié)構(gòu)相似性偏低，圖像對應(yīng)部分之間結(jié)構(gòu)差異較大，相同信息含量少，融合過程中主要體現(xiàn)為不同圖像之間不同信息的互補作用，因此，將這類區(qū)域記為互補信息區(qū)；相反，不包含內(nèi)部標(biāo)記的背景區(qū)域結(jié)構(gòu)差異小，多數(shù)信息為不同融合源圖像所共有，融合過程中主要處理環(huán)節(jié)為冗余信息的去重，將這類區(qū)域記為共有信息區(qū)。

4 信息處理函數(shù)的構(gòu)建

圖像融合的目的是綜合來自不同渠道的信息，合成一幅包含所有傳感器重要信息的復(fù)合圖像，完成對目標(biāo)場景更好的描述。因此，在圖像融合中應(yīng)盡可能的保全互補信息。而各個渠道的共有信息相同，只需保留一份即可。出于降低渠道因噪聲或扭曲的考慮，保留共有信息為各個渠道共有信息的平均值。構(gòu)建信息處理函數(shù)如下：

其中，x, y為源圖像；f為融合圖像；R1,R2,…,RN,RN+1為目標(biāo)區(qū)域和融合區(qū)域所對應(yīng)的面積；Q(x, y, f)為融合圖像的質(zhì)量；Q(x, y, f|Ri)為各個區(qū)域的融合圖像質(zhì)量。

5 實驗結(jié)果與分析

本文采用標(biāo)準(zhǔn)融合圖像庫[11]中 Dune、Trees、UNcamp、faces、kayak、OCTEC、quad 這 7 種不同的場景的 IR和 CCD圖像作為源圖像，分別采用Average、PCA、SIDWT融合算法對7種場景的圖像進(jìn)行融合，得到21幅融合圖像作為本實驗的數(shù)據(jù)。選取 40名年齡介于 20～40之間，具有正常視覺的人員作為質(zhì)量評價專家，對獲取的 21幅融合圖像進(jìn)行主觀質(zhì)量評價。評價在一間密閉的暗室中進(jìn)行，亮度約為0.6 lx，顯示器選擇ViewSonic VG510，經(jīng)檢查無色差、壞點和畸變，顯示器分辨率設(shè)置為1 024×768；評價專家距屏幕的距離約為0.5 m，為保證效果，評價不限制時間，中途疲倦可以休息但不可走出暗室。

為驗證本方法的性能，選擇圖像質(zhì)量評價經(jīng)典的Piella方法和新型Zheng方法作為比較對象。本文采用視頻質(zhì)量評價專家組給出的圖像質(zhì)量評價方法優(yōu)劣評判標(biāo)準(zhǔn)[12]進(jìn)行有效性檢驗，該專家組提出的評判準(zhǔn)則包括3個方面：

(1)準(zhǔn)確性，主客觀評價數(shù)據(jù)差異是否大，本文采用MSE進(jìn)行主客觀數(shù)據(jù)差異計算，MSE值越小意味著主客觀評價結(jié)果相差越小，準(zhǔn)確性越高。

(2)單調(diào)性，客觀評價數(shù)據(jù)隨著主觀評價數(shù)據(jù)單調(diào)變化的程度，本文采用 Spearman秩相關(guān)系數(shù)衡量，Spearman值越大，意味著主客觀評價結(jié)果單調(diào)性越好。

(3)一致性，客觀評價數(shù)據(jù)和主觀評價數(shù)據(jù)的一致程度，本文采用Person線性相關(guān)來度量，Person值越大意味著主客觀評價結(jié)果一致性越高。

無干擾條件下主客觀評價實驗數(shù)據(jù)如表1所示，不同方法的性能比較如表2所示。

表1 無干擾條件下的評價實驗數(shù)據(jù)

表2 無干擾條件下的方法性能比較

可以看出，從準(zhǔn)確度方面來說，Zheng的方法最高好，ISQP次之，Piella最差；從單調(diào)性方面來說，Spearman的最好，ISQP次之，Piella的最差；從一致性上來說，Zheng的最好，ISQP次之，Piella的最差。綜合來說，本文提出的ISQP和Zheng的方法均相對于Piella的經(jīng)典方法有著較大的改進(jìn)，但兩者性能相差不大。

圖像的獲取并非都理想，有時會存在大量的噪聲，為適應(yīng)復(fù)雜多變的環(huán)境，向2幅融合圖像添加10%的白噪聲來驗證本文方法的穩(wěn)定性，得到的評價實驗數(shù)據(jù)如表3所示，方法性能比較如表4所示。評價過程中，基于分水嶺的圖像分割比簡單的基于閾值分割的抗干擾性更強。可以預(yù)見，隨著圖像分割方法的進(jìn)一步改進(jìn)，圖像融合質(zhì)量評價將會取得更好的效果。下一步研究將在圖像分割基礎(chǔ)上，結(jié)合視覺注意機制對圖像融合質(zhì)量進(jìn)行評價。

表3 有干擾條件下的評價實驗數(shù)據(jù)

表4 有干擾條件下的方法性能比較

可以看出，添加噪聲后，3種評價方法性能都有一定下降，其中 Zheng的方法下降得最多，ISQP方法次之，Piella方法最少。說明在觀察條件惡劣的情況下，Zheng的方法可靠性低。Zheng對融合圖像評價時采用的是閾值分割，造成有意義的圖像內(nèi)容割裂，抗干擾能力差，而本文采用的標(biāo)記分水嶺方法，具有一定的容錯能力，可以較好地適用于干擾條件下的質(zhì)量評價。雖然3種方法中Piella的抗干擾能力最強，但是由于該方法本身性能基數(shù)小，難以形成高質(zhì)量的評價標(biāo)準(zhǔn)。

6 結(jié)束語

本文通過對圖像融合方法的研究，提出一種基于標(biāo)記分水嶺算法的圖像融合質(zhì)量評價方法，實驗結(jié)果顯示，本文方法是一種有效的評價方法。在圖像質(zhì)量

[1]劉松濤, 周曉東, 楊紹清.圖像融合系統(tǒng)研究現(xiàn)狀[J].電光與控制, 2007, 17(5): 14-18.

[2]狄紅衛(wèi), 劉顯峰.基于結(jié)構(gòu)相似度的圖像融合質(zhì)量評價[J].光子學(xué)報, 2006, 35(6): 766-771.

[3]胡良梅, 高 雋, 何柯峰.圖像融合質(zhì)量評價方法的研究[J].電子學(xué)報, 2004, 32(12): 218-221.

[4]邢素霞, 高 雋, 何柯峰.圖像融合質(zhì)量評價方法研究[J].微電子學(xué)與計算機, 2010, 27(6): 157-159.

[5]高紹姝, 金偉其, 王嶺雪, 等.圖像融合質(zhì)量客觀評價方法[J].應(yīng)用光學(xué), 2011, 32(4): 671-677.

[6]石俊生, 金偉其, 王嶺雪.視覺評價彩色夜視融合圖像質(zhì)量研究[J].紅外與毫米波學(xué)報, 2005, 24(3): 236-240.

[7]Piella G, Heijmans H.A New Quality Metric for Image Fusion[C]//Proc.of International Conference on Image Processing.Barcelona, Spain: [s.n.], 2003.

[8]Chen Yin, Blum R S.A New Automated Quality Assessment Algorithm for Image Fusion[J].Image and Vision Computing, 2009, 27(3): 121-132.

[9]鄭永安, 宋建社, 周文明, 等.基于圖像質(zhì)量因子的圖像融合客觀評價方法[J].系統(tǒng)工程與電子技術(shù), 2006,28(3): 464-466.

[10]Zheng Youzhi, Qin Zheng.Objective Image Fusion Quality Evaluation Using Structural Similarity[J].Tsinghua Science and Technology, 2009, 14(6): 703-709.

[11]Wang Zhou, Bovik A, Sheikh H R, et al.From Error Visibility to Structural Similarity[J].IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[12]周景超, 戴汝為, 肖柏華.圖像質(zhì)量評價研究綜述[J].計算機科學(xué), 2008, 35(7): 1-8.