0 引 言

EVS［1］是一種非常重要的飛機(jī)進(jìn)近著陸輔助系統(tǒng)。在低能見度條件下，它實時融合可見光圖像與紅外圖像等多種信息，將機(jī)艙外的視野以一種可視化的方式呈現(xiàn)給飛行員，增強(qiáng)飛行的安全性。根據(jù)圖像融合的不同階段，圖像融合算法大體可以分為空間域融合算法和變換域融合算法［2－3］。與簡單的圖像融合算法相比，基于變換域的圖像融合算法可以獲得明顯改善的融合效果。由于小波變換的多尺度和多分辨率特性，小波變換圖像融合算法可以使融合圖像能保留不同頻率域的顯著特征，是常用的變換域圖像融合算法［4－5］。

在EVS中采用小波變換圖像融合算法能獲得較好的融合效果。但是小波變換圖像融合算法的融合效果依賴于小波分解層數(shù)和融合規(guī)則，為了獲得較好的融合效果，往往需要分解較多的層數(shù)和復(fù)雜的融合規(guī)則［6－7］，這就影響了算法的實時性，要在實時性要求很強(qiáng)的EVS中應(yīng)用，必須提高算法的效率。本文結(jié)合像素矩陣的QR分解和小波變換圖像融合算法，能增強(qiáng)算法實時性，同時保證較好的融合效果。

1 矩陣QR分解

矩陣論中，對于一個矩陣A＝ （aij）n×n，如果rank（A）＝n，則存在正交矩陣Q與上三角矩陣R，使得Q＝（qij）n×n與R＝ （rij）n×n滿足

例如對矩陣aij＝ij×100，其QR分解如下

對于非方陣的一般矩陣B＝ （bij）m×n，同樣可以應(yīng)用QR分解。如果滿足

則存在正交矩陣Qb＝ （qij）m×m和上三角矩陣Rb＝（qij）m×n使得B＝Qb×Rb［9］；如果m﹥n，利用B的轉(zhuǎn)秩矩陣可得到同樣的分解。

1.1 圖像的QR分解

圖像像素矩陣的秩為行數(shù)與列數(shù)中較小值的條件很容易滿足?，F(xiàn)實世界中，即使存在機(jī)場跑道那樣平行的兩條線段，但是由于攝像機(jī)的成像方式和攝像機(jī)存在旋轉(zhuǎn)等原因，原始圖像的像素矩陣不會存在兩個完全相同的行向量或者列向量，根據(jù)式 （3），可以對紅外圖像與可見光圖像的像素矩陣Mf和Mv應(yīng)用QR分解

圖像在計算機(jī)中以像素矩陣表示［10］，因此正交矩陣Qf與Qv、上三角矩陣Rf與Rv都可以看作圖像的像素矩陣。

如果把式 （2）中的矩陣A看作原圖像的像素矩陣，則對圖像應(yīng)用QR分解后可以得到對應(yīng)的Q圖像與R圖像，并且由于矩陣Q的元素絕對值很小，而矩陣R的元素絕對值較大，在圖像上表現(xiàn)為Q圖像的灰度變化很小，R圖像的灰度變化比較明顯。這是因為Q為實正交矩陣，滿足Q×QT＝E，Q的列向量的2范數(shù)為1且元素絕對值小于1，因此可以認(rèn)為矩陣Q的元素變化很小，矩陣A元素的變化主要體現(xiàn)在QR分解后得到的上三角矩陣R中［11］。

1.2 改進(jìn)的小波變換圖像融合算法

根據(jù)圖像的QR分解分析可知，圖像QR分解后，其灰度變化主要體現(xiàn)上三角矩R中，因此可以對原始圖像QR分解后得到的R圖像應(yīng)用小波變換圖像融合算法進(jìn)行融合。

記原始紅外圖像為I、可見光圖像為V，改進(jìn)的小波變換圖像融合算法步驟如下：

（1）原始圖像QR分解。對I與V的像素矩陣分別應(yīng)用QR分解，得到對應(yīng)的分解矩陣

（2）R圖像的融合。對RI與Rv選取小波基進(jìn)行分解，選取融合規(guī)則對分解得到的各頻率域進(jìn)行融合，記融合后得到的圖像RIV。分解層數(shù)選取1，融合規(guī)則可以選取簡單的小波系數(shù)取大或者加權(quán)平均。

（3）QR分解逆變換。融合結(jié)果記為IV，計算公式如下

式中：norm （I）——矩陣I的二范數(shù)。

2 實驗結(jié)果與分析

實驗中，原始圖像采用圖1（a）和圖1（b）兩幅濃霧下拍攝的紅外與對應(yīng)的可見光圖像，大小為720576像素。圖1（c）～圖1（f）依次是加權(quán)融合、改進(jìn)算法1層分解融合、改進(jìn)算法2層分解融合與小波變換圖像融合算法5層分解融合的結(jié)果。其中小波基均選取db4，改進(jìn)算法融合規(guī)則選取小波系數(shù)取大，小波變換圖像融合算法的融合規(guī)則為按鄰域能量選取［12］。實驗采用c＋＋并借助OpenCV［13］實現(xiàn)。

圖1 紅外與可見光圖像融合結(jié)果

由融合結(jié)果圖可以看出，改進(jìn)算法很好的保留了紅外圖像中遠(yuǎn)處的車輛和可見光圖像中的天空背景，保留了較多的原始圖像信息，融合結(jié)果非常接近小波變換圖像融合算法，但是對分解層數(shù)和融合規(guī)則的要求已經(jīng)降低；同時改進(jìn)算法選取分解層數(shù)1已經(jīng)可以獲得明顯好于直接融合的結(jié)果，并且再增加分解層數(shù)融合效果不會明顯改善，也就是說對于改進(jìn)算法，選取1層分解和簡單的融合規(guī)則可以獲得較好的融合效果［14］。

2.1 與其他算法融合效果比較

實驗主要對比了改進(jìn)算法與直接加權(quán)融合算法和小波變換圖像融合算法的融合效果，采用C＋＋并借助OpenCV實現(xiàn)。圖2中，圖 （a）、圖 （b）為一組機(jī)場濃霧下拍攝的紅外與對應(yīng)的可見光圖像，大小為720576像素；圖 （c）是改進(jìn)算法選取小波基db4、分解層數(shù)1、融合規(guī)則小波系數(shù)取大的融合結(jié)果；圖 （d）為選取加權(quán)系數(shù)0.5直接融合的結(jié)果；圖 （e）、圖 （f）依次是小波變換圖像融合算法選取小波基db4、分解層數(shù)3和5、融合規(guī)則小波系數(shù)取大的融合結(jié)果。

圖2 3種算法融合效果

由融合結(jié)果圖可以看到，改進(jìn)算法融合結(jié)果比小波變換圖像融合算法3層分解更清晰，更多的保留了紅外圖像濃霧中和可見光圖像近處飛機(jī)的信息，接近小波變換圖像融合算法5層分解的融合結(jié)果，降低了算法對分解層數(shù)和融合規(guī)則的依賴。

圖像融合質(zhì)量評價參數(shù)的比較如下：圖像融合的質(zhì)量可以從圖像的統(tǒng)計特征進(jìn)行評價，評價的參數(shù)主要有熵、交叉熵、相對標(biāo)準(zhǔn)差、相關(guān)系數(shù)等［15］。熵值的大小表示圖像所包含的平均信息量的多少，值越大說明圖像的融合效果越好；交叉熵、相對標(biāo)準(zhǔn)差和相關(guān)系數(shù)直接計算融合結(jié)果和理想圖像對應(yīng)像素的信息差異，評價規(guī)則是交叉熵越小，相對標(biāo)準(zhǔn)差越小，相關(guān)系數(shù)越大，融合結(jié)果和理想圖像的差異越小。4種參數(shù)的定義如下：

（1）熵，pt為各灰度級像素出現(xiàn)的概率

（2）交叉熵，pt與qt為兩幅圖像各灰度級像素出現(xiàn)的概率

（3）相對標(biāo)準(zhǔn)差，Pij與Qij為兩幅圖像對應(yīng)像素的像素值，m、n為圖像像素大小

（4）相關(guān)系數(shù)，d1與d2為兩幅圖像的標(biāo)準(zhǔn)差，Pij與Qij為兩幅圖像對應(yīng)像素的像素值，p與q為兩幅圖像的灰度平均值

由圖2知道，小波變換圖像融合算法分解5層時，融合效果最好，所以它的融合結(jié)果當(dāng)作理想圖圖像。參數(shù)通過Matlab編程計算，3種算法融合結(jié)果圖像的統(tǒng)計參數(shù)見表1。

表1 3種算法融合結(jié)果統(tǒng)計參數(shù)對比

通過對上述實驗數(shù)據(jù)所反映統(tǒng)計意義的分析，可以得出結(jié)論：相對直接加權(quán)圖像融合，改進(jìn)算法融合效果更好；相對小波變換圖像融合算法，除了熵值略小于小波3層分解外，其他數(shù)據(jù)也都表明改進(jìn)算法的融合效果比小波3層分解融合好，更接近小波5層分解融合；熵值略小主要是由于小波變換的多分辨率特性，分解層數(shù)越多，對于細(xì)節(jié)信息保留也更完整，但是對于原始圖像中我們更感興趣的區(qū)域，比如紅外圖像中遠(yuǎn)處的飛機(jī)，改進(jìn)算法的融合結(jié)果更清晰。

2.2 與其他算法實時性比較

圖像融合的效率受圖像尺寸的影響，表2給出了實驗中采集的像素尺寸720×576視頻的融合幀率。直接加權(quán)融合不用對原始圖像做任何處理，因而融合速度最快，但是它的融合效果決定了它不能應(yīng)用在EVS系統(tǒng)中；小波變換圖像融合算法速度最慢，為保證融合效果，選取5層小波分解只能達(dá)到每秒5幀的融合速度，不能滿足EVS實時處理的要求。改進(jìn)算法融合速度能達(dá)到每秒12幀，較小波變換圖像融合算法有較大提高。

表2 融合幀率對比

3 結(jié)束語

低能見度條件下，EVS系統(tǒng)需要實時融合可見光圖像與紅外圖像，以提供飛行員機(jī)艙外的可視化環(huán)境。小波變換圖像融合算法能較好的融合的紅外圖像與可見光圖像，但是其融合效果非常依賴小波分解的層數(shù)和融合規(guī)則，不能直接應(yīng)用于EVS系統(tǒng)。結(jié)合矩陣QR分解與小波變換圖像融合算法，保留了小波變換圖像融合算法能獲得較好融合效果的優(yōu)點，同時利用QR分解將原始圖像的像素變化集中變換到上三角像素矩陣，降低了算法對分解層數(shù)和融合規(guī)則的要求，能以較少的分解層數(shù)和簡單的融合規(guī)則獲得實時性和融合效果都比較好的結(jié)果。

［1］Jacques Verly，Jeff Guell.Enhanced and synthetic vision ［C］.Orlando，F(xiàn)L，USA：The International Society for Optical Engineering，2007.

［2］Gonzalez R C.Digital image processing ［M］.RUAN Qiuqi，transl.Beijing：Publishing House of Electronics Industry，2007 （in Chinese）. ［Gonzalez R C.Digital image processing［M］.阮秋琦，譯.北京：電子工業(yè)出版社，2007.］

［3］JING Zhongliang，XIAO Gang，LI Zhenhua.Image fusion：Theory and application ［M］.Beijing：Higher Education Press，2007（in Chinese）.［敬忠良，肖剛，李振華.圖像融合：理論與應(yīng)用 ［M］.北京：高等教育出版社，2007.］

［4］ZHENG Jiming，GENG Jinling.Research on application of wavelet transform in image fusion ［J］.Journal of Chongqing University of Posts and Telecommunications（Natural Science Edition），2008，20 （5）：561－566 （in Chinese）. ［鄭繼明，耿金玲.小波變換在圖像融合中的應(yīng)用研究 ［J］.重慶郵電大學(xué)學(xué)報 （自然科學(xué)版），2008，20 （5）：561－566.］

［5］ TAO Bingjie， WANG Jingru.Overview of wavelet－analysis－based image fusion ［J］.Computer Engineering and Applications，2005，25（5）：16－19 （in Chinese）.［陶冰潔，王敬儒.采用小波分析的圖像融合方法評述 ［J］.計算機(jī)工程與應(yīng)用，2005，25 （5）：16－19.］

［6］CHAI Qi，XU Haopeng，TONG Wuqin，et al.Performance evaluation of fusion algorithm for visual and infrared images ［J］.Fir Control ＆ Command Control，2009，34 （12）：57－60 （in Chinese）.［柴奇，徐浩彭，同武勤，等.紅外與可見光圖像融合算法性能評估 ［J］.火力與指揮控制，2009，34 （12）：57－60.］

［7］TAO Bingjie，WANG Jingru，XU Junping.Study on image fusion based on different fusion rules of wavelet transform ［J］.Infrared Technology，2006，28 （7）：431－434 （in Chinese）.［陶冰潔，王敬儒，許俊平.基于小波分析的不同融合規(guī)則的圖像融合研究 ［J］.紅外技術(shù)，2006，28 （7）：431－434.］

［8］ZHAN Shaofei，ZHAO Di. Matrix theory tutorial ［M］.Beijing：China Machine Press，2010 （in Chinese）. ［張紹飛，趙迪.矩陣論教程 ［M］.北京：機(jī)械工業(yè)出版社，2010.］

［9］Roger A Horn，Charles R Johnson.Matrix analysis ［M］.YANG Qi，transl.Beijing：Machinery Industry Press，2005（in Chinese）. ［Roger A Horn，Charles R Johnson.Matrix analysis［M］.楊奇，譯.北京：機(jī)械工業(yè)出版社，2005.］

［10］ZHANG Yujin.Image engineering ［M］.Beijing：Tsinghua University Press，2006（in Chinese）. ［章毓晉.圖像工程［M］.北京：清華大學(xué)出版社，2006.］

［11］ZHANG Guangjun，CHEN Xinglin.Amplification of small difference to digital image based on matrix LU decomposition［J］.Journal of Harbin University of Science and Technology，2009，14 （1）：16－18 （in Chinese）. ［張廣軍，陳興林.矩陣LU分解對數(shù)字圖像細(xì)微差別的放大作用 ［J］.哈爾濱理工大學(xué)學(xué)報，2009，14 （1）：16－18.］

［12］GONG Changlai.A new wavelet image fusion method based on local energy ［J］.Laser ＆ Infrared，2008，38 （12）：1266－1269（in Chinese）. ［龔昌來.基于局部能量的小波圖像 融 合 新 方 法 ［J］. 激 光 與 紅 外，2008，38 （12）：1266－1269.］

［13］Gary Bradski，Adrian kaehler.Leaning OpenCV ［M］.YU Shiqi，transl.Beijing：Tsinghua University Press，2009 （in Chinese）.［Gary Bradski，Adrian kaehler.Leaning OpenCV ［M］.于仕琪，譯.北京：清華大學(xué)出版社，2009.］

［14］LI Yachun，WU Jingang，WANG Jing，et al.Analysis on image fusion rules based on wavelet transform ［J］.Computer Engineering and Applications，2010，46 （8）：180－182 （in Chinese）.［李亞春，武金崗，王凈，等.小波變換圖像融合規(guī)則性能的分析研究 ［J］.計算機(jī)工程與應(yīng)用，2010，46（8）：180－182.］

［15］ZHOU Jingchao，DAI Ruwei，XIAO Baihua.Overview of image quality assessment research ［J］.Computer Science，2008，35 （7）：1－4 （in Chinese）. ［周景超，戴汝為，肖柏華.圖像質(zhì)量評價研究綜述 ［J］.計算機(jī)科學(xué)，2008，35（7）：1－4.］