蔣澎濤,歐陽(yáng)建權(quán)

(1. 湖南交通工程學(xué)院電氣與信息工程學(xué)院,湖南 衡陽(yáng) 421001;2. 湘潭大學(xué)信息工程學(xué)院,湖南 湘潭 411105)

1 引言

由于實(shí)際成像條件與理想之間存在差距,單張圖像往往無(wú)法包含全部場(chǎng)景信息,為了解決這種情況,人們將多成像參數(shù)甚至多設(shè)備用于同一場(chǎng)景信息記錄之中,圖像融合技術(shù)隨之誕生[1,2]。圖像融合是通過計(jì)算機(jī)技術(shù)處理多源信道采集的相同場(chǎng)景圖像信息,在各信道中盡可能多地提取有價(jià)值信息,融合為單張圖像,從而實(shí)現(xiàn)提升圖像質(zhì)量、增強(qiáng)圖像可讀性和可靠性的目的。

李嫄源[3]等人采用最大熵值估計(jì)最優(yōu)曝光度,通過相機(jī)響應(yīng)函數(shù)生成最優(yōu)曝光度圖像,引入自適應(yīng)權(quán)重實(shí)現(xiàn)圖像融合。李萌[4]等人事先設(shè)定參考幀圖像,并以此為依據(jù)判定輸入幀對(duì)比度區(qū)間,采用該區(qū)間識(shí)別曝光區(qū)域,改進(jìn)能量函數(shù)檢測(cè)低對(duì)比度區(qū)域曝光,通過多尺度塊匹配方法實(shí)現(xiàn)圖像融合。李衛(wèi)中[5]等人劃分多曝光圖像為規(guī)則圖像塊,在靜態(tài)區(qū)域中依據(jù)圖像局部方差、可視性和顯著性特征獲取圖像塊的權(quán)重值,在動(dòng)態(tài)區(qū)域中額外增加局部相似性特征獲取圖像塊的權(quán)重值,引入加權(quán)求和獲取全局最優(yōu)圖像塊,融合圖像塊并求取重疊區(qū)域像素均值,實(shí)現(xiàn)多曝光圖像融合。由于以上方法沒有對(duì)圖像配準(zhǔn)處理,導(dǎo)致融合后的圖像存在視覺效果較差、飽和度、均方差對(duì)比度和熵較低的問題。

為了解決上述方法中存在的問題,提出基于稀疏去噪的多曝光圖像自適應(yīng)融合算法。

2 多曝光圖像預(yù)處理

2.1 改進(jìn)的圖像稀疏去噪

稀疏去噪算法具有降低圖像失真度,增強(qiáng)去噪能力的效果,但是經(jīng)過該方法去噪后,容易丟失圖像邊緣信息,因此,引入相異性閾值對(duì)其加以改進(jìn),在去噪的同時(shí)保護(hù)圖像邊緣,防止圖像邊緣細(xì)節(jié)丟失[6]。

(1)

用V表示加性高斯白噪聲,則含噪圖像可以表示為Y=X+V,K表示最大迭代次數(shù),σ表示噪聲標(biāo)準(zhǔn)差,λ表示拉格朗日乘子,C表示噪聲增益,構(gòu)建去噪目標(biāo)函數(shù)J如下所示

(2)

式中,uij表示相關(guān)系數(shù),αij表示圖像塊xij的稀疏表示向量,Rij表示xij的m×m維矩陣,D表示離散余弦變換過完備字典[8]。改進(jìn)后去噪算法具體流程如下所示:

1)參數(shù)初始化

2)重復(fù)以下迭代過程,直到達(dá)到最大迭代次數(shù)K:

①求解稀疏編碼

依據(jù)式(1)計(jì)算RijX和Ri′j′X中全部圖像塊的相異性度量θd,若θd

(3)

通過正交匹配追蹤算法求解上式[9],即可得到圖像塊對(duì)應(yīng)稀疏表示向量αij。

②更新字典

(4)

引入奇異值分解算法分解Er[10],用U∈Rn×n和V∈Rn×n表示兩個(gè)正交矩陣,S∈Rn×n表示對(duì)角矩陣,則Er=USVT,采用U的首列作為更新后字典原子d′r,將V的列與S(1,1)相乘后用于稀疏表示向量集{αij(r)}(i,j)∈φr的更新。

3)生成去噪圖像

依據(jù)以上計(jì)算,生成去噪后圖像X′如下所示

(5)

式中,I表示單位矩陣。

2.2 多曝光圖像配準(zhǔn)

由于拍攝設(shè)備自身以及外界環(huán)境的影響,多曝光圖像并非全部在同一視角下拍攝,因此在多曝光融合前需要實(shí)行圖像配準(zhǔn)。所提方法融合曲率尺度空間(CSS)和SIFT算法構(gòu)建優(yōu)化的CSS-SIFT算法[11],CSS-SIFT主要分為圖像特征檢測(cè)、SIFT描述子優(yōu)化和圖像特征匹配三個(gè)部分,每部分具體流程如下所示:

1)圖像特征檢測(cè)

采用CSS算法檢測(cè)圖像特征,主要檢測(cè)步驟如下所示:

①將去噪后待配準(zhǔn)圖像轉(zhuǎn)化為灰度化圖像;

②通過Canny算法處理步驟①得到的灰度化圖像[12],生成二值圖像;

③提取二值圖像邊緣并填充其中的間隙,生成T型特征;

④對(duì)在低尺度下的全部邊緣曲率加以計(jì)算;

⑤將步驟④得到的全部曲率中局部極大曲率值對(duì)應(yīng)的圖像特征定義為備選特征;

⑥由低向高沿尺度方向追蹤備選特征;

⑦將備選特征和T型特征加以比較,在相似特征中剔除一個(gè);

2)SIFT描述子優(yōu)化

采用稀疏投影改進(jìn)傳統(tǒng)SIFT描述子,設(shè)S表示高維特征描述子,維度為128,ψ表示小波變換基矩陣,維度為128×128,通過ψ轉(zhuǎn)換S為稀疏向量W,W的維度為128,構(gòu)建隨機(jī)投影矩陣H∈R24×128,維度為24×128,將其用于W的降維之中,轉(zhuǎn)換W為測(cè)量向量S′,S′維度為24,S′=HW=WψS,S′即為改進(jìn)的特征描述子。

3)圖像特征匹配

(6)

以Ui(u1,u2,…,u23,u24)為基準(zhǔn),通過歐幾里得距離遍歷V中圖像特征,得到最小值d(Ui,Vj)min及其對(duì)應(yīng)最近鄰和次近鄰圖像特征V1j和V2j。設(shè)定閾值T1,對(duì)比歐幾里得距離的最小值d(Ui,V1j)和次小值d(Ui,V2j),若d(Ui,V1j)/d(Ui,V2j)

以Vj(v1,v2,…,v23,v24)為基準(zhǔn),通過曼哈頓距離遍歷U中的圖像特征,采用與上述相同方式可得到特征匹配集L。

比較G和L,提取其中完全一致的匹配特征,生成最終圖像特征匹配集C。

3 多曝光圖像自適應(yīng)融合

3.1 自適應(yīng)圖像塊分割

將配準(zhǔn)后圖像序列Pk中具有最少過曝光和曝光不足像素點(diǎn)的圖像定義為參考圖像Pref,k∈[1,K],K表示圖像總數(shù),采用簡(jiǎn)單線性迭代聚類分割Pref為M個(gè)圖像塊Qi,分割方式如下所示:

[Q1,Q2,…,Qi,…,QM,nlables]=Slic(Pref)

(7)

式中,nlables表示超像素分割標(biāo)簽,Slic(·)表示超像素分割操作[14]。

3.2 圖像結(jié)構(gòu)分解

分解全部圖像塊,得到信號(hào)強(qiáng)度分量ck、圖像結(jié)構(gòu)分量sk和圖像亮度分量lk,ck、sk和lk之間相互獨(dú)立。用{pk}表示圖像k中相同位置圖像塊,分解lk公式如下

(8)

式中,χpk表示圖像塊均值。

3.3 權(quán)重圖構(gòu)建

對(duì)于ck,其值越大,則圖像對(duì)比度越高,細(xì)節(jié)越豐富,因此所提方法依據(jù)取大原則建立ck的權(quán)重圖,對(duì)應(yīng)權(quán)重ωc,k計(jì)算公式如下所示

(9)

(10)

式中,β表示增益參數(shù)。

當(dāng)lk處于動(dòng)態(tài)范圍中心時(shí),認(rèn)為圖像塊曝光效果更佳,即應(yīng)為lk賦予較高的權(quán)重,亮度分量權(quán)重ωl,k計(jì)算公式如下所示

(11)

式中,lk表示全局亮度均值離散程度,σg表示全局標(biāo)準(zhǔn)差,lk表示當(dāng)前塊亮度均值離散程度,σl表示當(dāng)前塊標(biāo)準(zhǔn)差。

采用ωc,k、ωs,k和ωl,k分別構(gòu)建圖像k對(duì)應(yīng)的分量權(quán)重圖Wc,k、Ws,k、Wl,k和對(duì)應(yīng)的分量圖像Ck、Sk、Lk。

3.4 精細(xì)化處理

(12)

對(duì)Ck和Lk引導(dǎo)濾波,得到兩者精細(xì)化結(jié)果C′k和L′k。

3.5 多曝光圖像融合

(13)

(14)

4 實(shí)驗(yàn)與結(jié)果

為了驗(yàn)證基于稀疏去噪的多曝光圖像自適應(yīng)融合算法的整體有效性,需要進(jìn)行實(shí)驗(yàn)測(cè)試。實(shí)驗(yàn)所用圖像均來(lái)自CIFAR 10數(shù)據(jù)集(https:∥www.cs.toronto.edu/～kriz/cifar.html),該數(shù)據(jù)集由10個(gè)類的60000個(gè)32×32彩色圖像組成,每個(gè)類有6000個(gè)圖像。從中抽取a、b、c三個(gè)多曝光圖像序列,對(duì)它們進(jìn)行融合處理。

實(shí)驗(yàn)以文獻(xiàn)[3]方法和文獻(xiàn)[4]方法作為對(duì)比,分為主觀測(cè)試和客觀測(cè)試兩個(gè)角度分析不同方法的圖像融合效果,具體實(shí)驗(yàn)結(jié)果如下:

1)主觀測(cè)試

采用所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法分別融合圖1中3個(gè)多曝光圖像序列,融合結(jié)果如圖2所示。

圖1 多曝光圖像序列

圖2 圖像融合結(jié)果

由圖1可以看出,未處理前的三個(gè)圖像序列均存在過曝光或曝光不足的問題,嚴(yán)重影響視覺效果,在經(jīng)過所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法融合處理后圖像質(zhì)量均有一定程度的增強(qiáng),但文獻(xiàn)[3]方法和文獻(xiàn)[4]方法融合后圖像存在模糊的情況,且亮度、對(duì)比度及飽和度等不夠自然,失去原本景物特點(diǎn),丟失部分圖像細(xì)節(jié),而所提方法保留圖像細(xì)節(jié)的能力更強(qiáng),融合后圖像視覺效果更好,景物顏色特性等更符合人眼要求。

2)客觀測(cè)試

采用飽和度、均方差對(duì)比度和熵量化圖像融合結(jié)果質(zhì)量,三個(gè)指標(biāo)的評(píng)價(jià)值越高,則對(duì)應(yīng)方法圖像融合表現(xiàn)越好,檢測(cè)結(jié)果如表1-表3所示:

表1 不同方法的飽和度

表2 不同方法的均方差對(duì)比度

表3 不同方法的熵

由表1-表3可以看出,所提方法的飽和度、均方差對(duì)比度和熵均高于文獻(xiàn)[3]方法和文獻(xiàn)[4]方法,較高飽和度說(shuō)明所提方法融合后圖像在顏色方面具有更好的效果;較高均方差對(duì)比度說(shuō)明所提方法在對(duì)比度上表現(xiàn)更佳;較高熵值說(shuō)明所提方法融合后圖像中包含更多信息量,總體上看,所提方法的圖像融合能力優(yōu)于文獻(xiàn)[3]方法和文獻(xiàn)[4]方法,因?yàn)樗岱椒ㄔ趫D像融合前對(duì)圖像配準(zhǔn)處理,消除拍攝設(shè)備自身以及外界環(huán)境對(duì)圖像的影響,從而提高圖像融合能力。

5 結(jié)束語(yǔ)

本文提出基于稀疏去噪的多曝光圖像自適應(yīng)融合算法,采用相異性閾值改進(jìn)稀疏去噪算法去噪原始圖像,構(gòu)造優(yōu)化的CSS-SIFT算法配準(zhǔn)圖像,通過自適應(yīng)圖像塊分割算法改進(jìn)傳統(tǒng)融合算法,實(shí)現(xiàn)多曝光圖像自適應(yīng)融合。該方法能夠有效地增強(qiáng)融合后圖像視覺效果、提高飽和度、均方差對(duì)比度和熵,為圖像的應(yīng)用奠定基礎(chǔ)。