臧景峰 徐寧雪

摘要：圖像的配準(zhǔn)與融合是計(jì)算機(jī)視覺(jué)和模式識(shí)別的研究熱點(diǎn)，在航拍視頻序列處理、醫(yī)學(xué)圖像分析、運(yùn)動(dòng)分析等領(lǐng)域有著廣泛的應(yīng)用。視頻增強(qiáng)技術(shù)只在去霧、圖像配準(zhǔn)、圖像融合等某一個(gè)特定任務(wù)中表現(xiàn)很好，具有一定的局限性。而卷積神經(jīng)網(wǎng)絡(luò)的堆疊和利用可以同時(shí)實(shí)現(xiàn)視頻圖像增強(qiáng)所需的多種功能。本文采用孿生結(jié)構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像配準(zhǔn)和圖像融合，具有重大應(yīng)用價(jià)值。

關(guān)鍵詞：孿生結(jié)構(gòu);圖像配準(zhǔn);圖像融合

引言

為獲得場(chǎng)景信息更豐富的圖像，通常用到圖像配準(zhǔn)與圖像融合方法，圖像融合是將多幅不同圖像集成為一幅圖像，集成后的圖像蘊(yùn)涵著所有圖像的優(yōu)勢(shì)信息，融合算法的基礎(chǔ)是圖像的配準(zhǔn)技術(shù)，深度學(xué)習(xí)具有提升圖像融合和配準(zhǔn)質(zhì)量的潛力。

1 孿生卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)

本文所設(shè)計(jì)的孿生卷積網(wǎng)絡(luò)（Siamese Network）由兩個(gè)權(quán)重相同的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）組成。每個(gè)CNN由兩個(gè)卷積層，兩個(gè)池化層，一個(gè)殘差塊以及一個(gè)全連接層組成的，將原本Siamese網(wǎng)絡(luò)中的一個(gè)卷積層換成了殘差塊。輸入的patch為16×16，即卷積層和池化層的通道數(shù)都是16（即卷積模板為16種），其卷積核的大小為3×3，池化窗口尺寸為2×2，卷積方式為零填充（zero padding），卷積層的激活函數(shù)為Relu，且子CNN輸出的是256維特征向量，每個(gè)池化層包括跨信道歸一單元。

2 基于Siamese網(wǎng)絡(luò)的圖像配準(zhǔn)算法

本文提出一種孿生結(jié)構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取圖像卷積特征，算法先逐像素地提取固定圖像和浮動(dòng)圖像的圖像塊對(duì)，并利用Siamese網(wǎng)絡(luò)提取圖像塊的特征。然后將提取到的特征構(gòu)建能量損失函數(shù)，通過(guò)最小化能量損失函數(shù)，在得到參考圖像與待配準(zhǔn)圖像特征點(diǎn)的對(duì)應(yīng)關(guān)系后，以仿射變換模型來(lái)求解參數(shù)，仿射變換計(jì)算公式為：

在得到配準(zhǔn)變換參數(shù)后，即可將待配準(zhǔn)圖像轉(zhuǎn)換到參考圖像的坐標(biāo)系下。本文采用三次樣條插值對(duì)待配準(zhǔn)圖像進(jìn)行插值，得到與固定圖像極為接近的配準(zhǔn)后圖像。

3 基于Siamese網(wǎng)絡(luò)的圖像融合算法

3.1 基于Siamese網(wǎng)絡(luò)的圖像融合框架

整個(gè)圖像融合過(guò)程可以分為兩個(gè)部分，第一個(gè)部分用Siamese網(wǎng)絡(luò)進(jìn)行圖像信息的提取得到一個(gè)權(quán)重圖，第二部分是利用小波變換分解后再融合對(duì)小波分解后的不同的子帶分別采用不同融合方法進(jìn)行處理?；赟iamese網(wǎng)絡(luò)的圖像融合框架如圖1所示 。

先將第一部分得到的權(quán)重圖W經(jīng)過(guò)小波變換得到G{W}，再將兩張待融合圖片A和B進(jìn)行小波變換分別得到W（A）和W（B），再將得到的G{W}和W（A）、W（A）分別進(jìn)行基于邊緣檢測(cè)的小波變換圖像融合，最終進(jìn)行小波逆變換得到最終的融合圖像。

3.2 融合規(guī)則

在小波分解這一過(guò)程中，選用Db4小波作為小波基對(duì)圖像與權(quán)值圖進(jìn)行小波變換。

1）使用Canny邊緣檢測(cè)算法提取低頻分量中包含的邊緣輪廓細(xì)節(jié)后，對(duì)低頻分量以平均數(shù)法進(jìn)行處理，再將提取出的邊緣輪廓細(xì)節(jié)與高頻分量?jī)?nèi)相應(yīng)分辨率的點(diǎn)通過(guò)絕大值系數(shù)法進(jìn)行處理，最后通過(guò)小波逆變換得到融合圖像。低頻分量平均數(shù)法表示為：

其中f1、f2表示原圖像分解后在對(duì)應(yīng)的（m，n）上的小波系數(shù)，f3表示結(jié)果圖像在（m，n）上的小波系數(shù)。

2）高頻系數(shù)絕大值法表示為：

式中表示小波分解系數(shù)。對(duì)子系數(shù)以小波逆變換處理，得到融合圖像。

4 實(shí)驗(yàn)結(jié)果

本文方法與現(xiàn)存兩種融合方法基于導(dǎo)向?yàn)V波 （Guided Filtering，GF）的融合方法、基于小波變換（Wavelet Transform，WT）的融合方法進(jìn)行比較，且比較了原始Siamese網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)果和改進(jìn)后Siamese網(wǎng)絡(luò)的結(jié)果。為了更加客觀的表示融合效果，選取了幾個(gè)客觀的圖像融合評(píng)價(jià)標(biāo)準(zhǔn)?；バ畔?（MI），平均梯度 （AG），邊緣強(qiáng)度 （ES），最后給出了所有的方法在 CPU 上的運(yùn)行時(shí)間作參考。對(duì)比結(jié)果如表1所示。

從表 1中可見(jiàn)，本文所用方法融合后圖像的MI和AG的數(shù)值都要大于用GF和WT的數(shù)值，說(shuō)明本文所提方法融合后圖像包含原圖像的信息度上和清晰度上都要優(yōu)于GF和WT的融合圖像。與原始Siamese網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比，運(yùn)行時(shí)間明顯減少。綜上所述，本文所提出的方法是具有一定的實(shí)用性的。

5 結(jié)論

本文提出了一種基于改進(jìn)的Siamese網(wǎng)絡(luò)的圖像配準(zhǔn)與融合方法，將原本Siamese網(wǎng)絡(luò)中的一個(gè)卷積層換成了殘差塊，比原本的算法更為簡(jiǎn)略，并且實(shí)驗(yàn)所用的時(shí)間更短，實(shí)現(xiàn)了像素級(jí)的圖像融合。

參考文獻(xiàn)

[1]王金寶.基于圖像融合的實(shí)時(shí)全景融合模型的設(shè)計(jì)與實(shí)現(xiàn)[D].中國(guó)科學(xué)院大學(xué)（中國(guó)科學(xué)院沈陽(yáng)計(jì)算技術(shù)研究所），2019.

[2]李增祥，漆志亮，賈楠，等.基于小波圖像金字塔的工件目標(biāo)檢測(cè)與定位研究.現(xiàn)代電子技術(shù)，2019，42（15）：33–37.

[3]孔韋韋，雷陽(yáng)，任聰，趙文陽(yáng).基于改進(jìn)型CNN的多聚焦圖像融合方法[J].鄭州大學(xué)學(xué)報(bào)（理學(xué)版），2019，51（02）：29-33.

[4]Zhang Y，Liu Y，Sun P，etal.IFCNN：A general image fusion framework based on convolutional neural network.Information Fusion，2020，54：99-118.

[5]Eppenhof K A J，Lafarge M W，Moeskops P，etal.Deformable image registration using convolutional neural networks[C].Medical Imaging 2018：Image Processing.

基金項(xiàng)目：吉林省教育廳科學(xué)研究項(xiàng)目（JJKH20210839KJ），雨霧場(chǎng)景中基于卷積神經(jīng)網(wǎng)絡(luò)的視頻圖像增強(qiáng)方法研究