姚洪濤，侯懷俠，白會東

（長春理工大學(xué)計算機科學(xué)與技術(shù)學(xué)院，長春 130000）

灰度CMOS 圖像傳感器由于去掉彩色濾光片，進光量是彩色CMOS 圖像傳感器的三倍，故將灰度CMOS 圖像傳感器和彩色CMOS 圖像傳感器進行融合可以增加融合系統(tǒng)的夜視能力和動態(tài)范圍。因此提出一種灰度與彩色圖像融合算法，該算法是基于小波變換與HSI 顏色空間轉(zhuǎn)換的融合方式，同時提出一種基于梯度因子、灰度標(biāo)準(zhǔn)差、均亮度值的動態(tài)融合權(quán)值確定方式，并運用MATLAB 等圖像處理工具進行仿真驗證。

圖像融合；小波變換；HSI 顏色空間

0 引言

CMOS 圖像傳感器發(fā)展迅猛，在數(shù)碼相機、手機拍攝、安防監(jiān)控等數(shù)字成像系統(tǒng)方面應(yīng)用廣泛，由于CMOS 圖像傳感器作為一種典型的固定成像傳感器，具有成像性能良好，制作成本低等多個優(yōu)良特點，未來發(fā)展前景和市場巨大。針對安防監(jiān)控與倒車影像系統(tǒng)中單個鏡頭成像信息的缺失，單彩色CMOS 圖像傳感器成像亮度不足，在光線較差的環(huán)境中成像效果較差。單灰度CMOS 圖像傳感器成像缺乏色彩信息，但由于灰度圖像傳感器去掉了彩色濾光片，進入光量是彩色圖像傳感器的三倍[1]。

結(jié)合兩者的優(yōu)劣特點為此本實驗室設(shè)計灰度與彩色雙CMOS 融合成像算法，獲得更加明亮清晰的圖像信息，提高圖像動態(tài)范圍。同時根據(jù)人眼成像特點，人眼中分為兩種細胞，桿狀細胞只能感受亮度信息，錐狀細胞可以感受亮度和色彩[2]。進行灰度和彩色的圖像融合可以實現(xiàn)更加接近人眼的視覺效果。

所以本文提出了一種基于小波變換和顏色空間轉(zhuǎn)換的灰度與彩色圖像融合算法，并且根據(jù)灰度標(biāo)準(zhǔn)差、梯度因子、灰度均值確定動態(tài)融合權(quán)值。同時提出了飽和度均勻化的方法進行HSI 顏色空間中S 通道的融合。

1 理論基礎(chǔ)

1.1 小波分解與融合

基于小波變換的圖像融合就是把源圖像進行小波變換，如圖1 把它分解到不同的頻段內(nèi)，然后在不同的頻段內(nèi)選用不同的融合規(guī)則分別進行融合。

圖1 小波分解與融合

根據(jù)查閱資料可知，不同的小波系所具有的性質(zhì)不同，表1 為各個小波系性質(zhì)對比[3]。

表1 不同小波系性質(zhì)

同時不同分解層次也有不同的效果，分解層次過少，無法很好地分解出低頻輪廓部分，分解層次過多則會造成低頻輪廓部分丟失過多。

本文采用sym4 小波、五層分解、多層二維離散小波分解函數(shù)wavedec2（）進行分解和waverec2（）重構(gòu)。sym4 小波屬于Symlet 小波系是近似對稱的一類緊支正交小波函數(shù)，它具有dbN 小波系的一切良好特性，而在對稱性方面的改進，又使得該小波系在信號處理方面避免了不必要的失真。

在MATLAB 中wavedec2 是多層二維離散小波分解函數(shù)。[C,S]= wavedec2（X,N,'sym4'）為分解函數(shù)形式，X=waverec2（C,S,Lo_D,Hi_D）為重構(gòu)函數(shù)形式。[C,S]=wavedec2（X,N,'sym4'）該函數(shù)值利用母小波函數(shù)sym4 對于圖像矩陣X 的第N 層進行二維離散小波分解，N 為正整數(shù)；返回結(jié)果為分解系數(shù)矩陣C 和分解系數(shù)長度適量矩陣S。X=waverec2（C,S,sym4）是利用指定的sym4 實現(xiàn)多層圖像矩陣的二維離散小波重構(gòu)[4]。

1.2 顏色空間轉(zhuǎn)換

此處的RGB 轉(zhuǎn)HSI 的公式采用算法幾何推導(dǎo)法，HSI 轉(zhuǎn)RGB 是逆運算。首先是RGB 轉(zhuǎn)HIS。

然后是HSI 轉(zhuǎn)RGB：

則可以求得R、G、B 完成從HSI 顏色空間到RGB顏色空間的轉(zhuǎn)換[3]。

2 算法描述

圖1 是灰度與彩色圖像融合算法的結(jié)構(gòu)框圖，其具體算法步驟為：先對兩源圖像進行顏色空間轉(zhuǎn)換，由RGB 顏色空間結(jié)構(gòu)轉(zhuǎn)到HSI 顏色空間結(jié)構(gòu)，然后針對所得兩個I 通道圖像分別進行小波分解和融合，期間進行樣本訓(xùn)練確定兩I 通道融合權(quán)值，進行四樣本參考快速融合。同時S 通道進行飽和度均勻化處理，對H 通道則進行簡單疊加，最后對融合后的HSI 三通道分量進行顏色空間反變換得到RGB 顏色空間結(jié)構(gòu)輸出圖像。

圖2 灰度與彩色圖像融合算法

2.1 融合權(quán)值確定

不同融合方式中融合權(quán)值的選擇多種多樣，如文獻[1]中高頻分量采用均值法，低頻分量采用最大值法。文獻[5]中高頻分量融合系數(shù)采用的是兩圖像在單個像素為中心的局部區(qū)域最大均方差值的小波系數(shù)，低頻分量采用絕對值最大法。在單幀靜態(tài)圖像融合中這些方法都是有一定可取性，但是在復(fù)雜多變的動態(tài)環(huán)境下，固定的融合系數(shù)顯然是不適應(yīng)的，動態(tài)融合系數(shù)的確立是支持動態(tài)融合的關(guān)鍵。而且當(dāng)每一次單幀融合都重新確立融合權(quán)值，速度顯然是達不到動態(tài)視覺的要求。

因此主要針對動態(tài)融合中的環(huán)境多變性和動態(tài)視覺對融合速度的要求，提出一種基于灰度標(biāo)準(zhǔn)差和梯度因子以及均亮度的融合權(quán)值確定方法。

2.2 關(guān)于確定動態(tài)融合權(quán)值的研究

首先在[C,S]=wavedec2（X,N,'sym4'）分解函數(shù)中，C為各層分解系數(shù)，S 為各層分解系數(shù)長度即大小。C 的存儲結(jié)構(gòu)為：

其中A（N）代表第N 層的低頻分量系數(shù)，H（N）代表第N 層的水平高頻分量系數(shù)，V（N）代表第N 層的垂直高頻分量系數(shù)，V（N）代表第N 層的對角高頻分量系數(shù)。S 的結(jié)構(gòu)是儲存各層分解系數(shù)長度的，即第一行是A（N）的長度（其實是A（N）的原矩陣的行數(shù)和列數(shù)，第二行是H（N）|V（N）|D（N）|的大小，第三行是H（N-1）|V（N-1）|D（N-1）的大小，倒數(shù)第二行是H（1）|V（1）|D（1）的大小，最后一行是圖像X 的大小。所以融合中的兩個圖像S 的大小相同而C 的取值不同[4]。

固定的高頻和低頻融合規(guī)則顯然是無法適應(yīng)多變的環(huán)境。故而，各個尺度上的每個頻率子帶都有其獨立了融合規(guī)則則可以實現(xiàn)最佳的融合效果。故而本文從梯度因子，灰度標(biāo)準(zhǔn)差兩個標(biāo)準(zhǔn)去確立各個頻率子帶的融合規(guī)則。由于C 的結(jié)構(gòu)是一個1*N 的矩陣結(jié)構(gòu)。故而設(shè)立一個1*N 的結(jié)構(gòu)矩陣作為權(quán)值矩陣P 和Q 然后把權(quán)值矩陣P 和Q 轉(zhuǎn)化為對角矩陣diag（P）和diag（Q），所以融合后的C=C1*diag(P)+C2*diag(Q) 。如何確定權(quán)值矩陣，需要進行以融合后的圖像梯度因子和灰度標(biāo)準(zhǔn)差為參考基準(zhǔn)進行衡量。本文樣本訓(xùn)練實驗中采用的為364*500 大小的圖片，在5 層sym4 小波函數(shù)分解下C 為1*193062，每個系數(shù)權(quán)值p 和q 可取0。1 到2 之間20 個取值。采用一種簡化的權(quán)值確定方式。利用MATLAB 構(gòu)建關(guān)于全局灰度標(biāo)準(zhǔn)差k與p、q 的函數(shù)關(guān)系k=f(p,q)。不同的融合權(quán)值可以得到不同的融合結(jié)果，融合權(quán)值越大灰度標(biāo)準(zhǔn)差越大，但是增加到一定程度開始下降。下圖分別為全局灰度標(biāo)準(zhǔn)差與權(quán)值p、q 函數(shù)關(guān)系圖，全局梯度因子與權(quán)值p、q函數(shù)關(guān)系圖。如圖越接近黃色數(shù)值越大，越接近藍色數(shù)值越小。

圖3 灰度標(biāo)準(zhǔn)差與權(quán)值p、q函數(shù)關(guān)系圖

圖4 全局梯度因子與權(quán)值p、q函數(shù)關(guān)系圖

結(jié)合灰度梯度因子，以及融合后的灰度均值可以得出良好的融合權(quán)值。圖5 為圖像均亮度值與權(quán)值p、q 之間的函數(shù)關(guān)系圖。

圖5 圖像均亮度值與權(quán)值p、q之間的函數(shù)關(guān)系圖

根據(jù)實驗數(shù)據(jù)分析以及圖像觀察多組圖像融合可得當(dāng)梯度因子和灰度標(biāo)準(zhǔn)差達到全部遍歷值最大值的70-80%時以及灰度均值在0.5 附近時圖像成像效果最佳。

2.3 S通道融合

I 顏色通道通過以上的權(quán)值遍歷策略和四樣本參考快速融合可以得到清晰度很好的圖像，但是S 空間中需要進行調(diào)整，如圖6 所示標(biāo)準(zhǔn)彩色圖像S 通道圖像明顯優(yōu)與待融合的彩色圖像S 通道信息。

圖6 S通道圖像對比

標(biāo)準(zhǔn)彩色圖像HSI 三通道分解后S 圖像與待融合彩色圖像HSI 三通道分解后S 圖像可以看出右側(cè)部分存在一定差異。由于灰度圖像沒有H 和S 通道分量。而彩色圖像的S 分量由于焦點變化與標(biāo)準(zhǔn)彩色圖像的S 通道分量存在一定差異，若想實現(xiàn)不同焦點的灰度與彩色圖像融合得到更好的融合后彩色圖像，需要對彩色圖像S 通道圖像進行處理，由于S 保存的是彩色圖像顏色的飽和度同時灰度圖像不存在顏色S 通道分量。

飽和度是彩色圖像中顏色的鮮艷程度，飽和度越高圖像顏色越加鮮艷，飽和度越低圖像鮮艷程度越低，顯著更加的昏暗。

圖7 飽和度

根據(jù)實際拍攝中圖像亮度對飽和度的影響，實際拍攝中環(huán)境光線越好，則可以獲取到的顏色種類信息越加豐富。故而本文提出一種基于灰度圖像亮度均值的顏色飽和度調(diào)整方法，灰度圖像I 的取值為0 到256，又由于可見光為7 種顏色赤橙黃綠青藍紫頻率譜分布，故將亮度大于128 的點進行飽和度降低處理，亮度小于128 的部分進行飽和度增加處理。

經(jīng)過飽和度增強處理后圖像細節(jié)明顯增強，但是出現(xiàn)白色成分的失真，如圖8 所示。

圖8 圖像經(jīng)飽和度均勻化處理前后對比

表2 飽和度均勻化前后對比

通過上表數(shù)據(jù)可以看出，經(jīng)過飽和度均勻化之后的圖像在對比度方面得到明顯提高。圖像清晰度和細節(jié)豐富度上也得到了明顯提升。

3 結(jié)語

通過后的實驗結(jié)果反應(yīng)出算法的可行性，在動態(tài)融合權(quán)值確定，不同組的融合圖像所得到的灰度標(biāo)準(zhǔn)差與權(quán)值p 和q 的函數(shù)關(guān)系1、梯度因子與權(quán)值p 和q的函數(shù)關(guān)系2、圖像均亮度值與權(quán)值p 和q 之間的函數(shù)關(guān)系各不相同。通過取均亮度值為0.5 匹配另兩個函數(shù)關(guān)系中的全部遍歷最大值的70-80%，從而確定最終的融合權(quán)值p 和q。針對圖像色彩飽和度S 通道融合，采用飽和度均值化的方法大大提高了圖像細節(jié)信息和清晰度。但是對白色成分略有丟失。

總之，針對單一CMOS 圖像傳感器在實際暗光條件下性能和動態(tài)范圍的缺失，本文著力研究了灰度與彩色圖像的融合算法，使得成像動態(tài)范圍大大增加，實際應(yīng)用更加靈活，對環(huán)境光線變化的適應(yīng)能力明顯增強，通過利用灰度與彩色圖像的融合使得雙CMOS 圖像傳感器成像系統(tǒng)，在復(fù)雜多變的環(huán)境中始終保持較為良好的成像結(jié)果。

目前為止，圖像融合技術(shù)應(yīng)用領(lǐng)域極為廣泛，融合算法的適應(yīng)性和智能化程度越來越高，但至今仍舊缺乏智能化廣泛適應(yīng)性圖像融合算法。本文雖實現(xiàn)灰度與彩色圖像較好的多動態(tài)范圍融合，但在智能化融合模式學(xué)習(xí)以及動態(tài)融合調(diào)整和硬件實現(xiàn)難度降低方面仍然需要做出改進和進一步深入研究。