李建飛，陳春曉，王亮

(南京航空航天大學(xué)生物醫(yī)學(xué)工程系，南京 211106)

1 引 言

多光譜成像技術(shù)是一種結(jié)合了光譜學(xué)和成像學(xué)的新興技術(shù)，是基于目標(biāo)物體對不同波長電磁波譜的輻射或者吸收特性不同，利用多光譜相機捕獲物體在多個譜帶下的成像信息，以實現(xiàn)對目標(biāo)物體進行鑒別分析的技術(shù)[1]。在臨床研究方面，多光譜熒光手術(shù)引導(dǎo)技術(shù)能夠輔助醫(yī)生對腫瘤位置進行精準(zhǔn)定位[2]，彩色圖像能夠反映目標(biāo)組織的解剖學(xué)信息，腫瘤熒光圖像可顯示腫瘤大小等形態(tài)信息，但空間分辨率較低，無法準(zhǔn)確表征腫瘤與周圍組織的絕對位置，因此基于圖像融合技術(shù)處理上述兩種圖像可同時顯示腫瘤輪廓和位置，為腫瘤的臨床診斷和研究提供準(zhǔn)確參考。多光譜圖像融合已廣泛應(yīng)用于醫(yī)學(xué)影像處理[3-4]、目標(biāo)識別[5]、遙感探測[6]等領(lǐng)域。

目前多光譜圖像融合技術(shù)中使用較廣泛的是基于多尺度分析的融合方法。Vanmali等[7]提出了基于拉普拉斯-高斯金字塔的可見光圖像與近紅外圖像融合算法進行圖像去霧化；Mao等[8]提出的多方向聯(lián)合平均的拉普拉斯金字塔方法能夠有效反映融合圖像的邊緣信息和對比度差；Gomathi等[9]利用非下采樣輪廓波變換(non-down sampling contourlet transform，NSCT)和靜態(tài)小波變換(stationary wavelet transform，SWT)分解圖像，提取有效信息進行融合。

隨著近年來深度學(xué)習(xí)的飛速發(fā)展，神經(jīng)網(wǎng)絡(luò)也被應(yīng)用于圖像融合領(lǐng)域并取得了一定進展，Hermessi等[10]利用卷積神經(jīng)網(wǎng)絡(luò)融合小波域中的CT和MRI圖像，證實了神經(jīng)網(wǎng)絡(luò)在多模態(tài)圖像融合中的潛力；藺素珍等[11]提出了基于深度堆疊卷積神經(jīng)網(wǎng)絡(luò)的圖像融合方法，克服了傳統(tǒng)多尺度變換融合圖像需要根據(jù)先驗知識選取濾波器的缺點，提升了融合效果以及運行速度。

在彩色圖像和基于熒光示蹤劑標(biāo)記的近紅外熒光圖像融合過程中，由于熒光圖像存在背景及環(huán)境光等多種干擾源，導(dǎo)致融合圖像的目標(biāo)區(qū)域?qū)Ρ榷炔桓?。為進一步提高融合圖像的質(zhì)量和準(zhǔn)確度，本研究提出了基于雙樹復(fù)小波變換[12](DTCWT)和頻域U-Net的圖像融合方法，通過腫瘤裸鼠實驗及多種客觀評價指標(biāo)驗證了其有效性。

2 方法

2.1 雙樹復(fù)小波變換

離散小波變換(discrete wavelet transform，DWT)首先將輸入分解為高頻和低頻分量，再通過二抽取得到分解后的小波系數(shù)。但DWT缺乏平移不變性，輸入信號的微小改變會導(dǎo)致小波系數(shù)完全不同，且子圖像突出水平和垂直方向信息的同時，弱化了其他方向的信息。針對上述問題，人們提出了具有平移不變性、方向選擇性和有限冗余性的雙樹復(fù)小波變換(DTCWT)。

DTCWT采用具有二叉樹結(jié)構(gòu)的雙路DWT實現(xiàn)，一路用于生成變換的實部，另一路生成虛部，兩路DWT之間存在一個采樣周期的延遲，從而將采樣間隔擴大一倍以消除信號的混疊效應(yīng)。設(shè)輸入信號序列為f(t)，實部樹的尺度函數(shù)為sr(t)，小波函數(shù)為hr(n)，則實部變換的小波系數(shù)Wjr(k)和尺度系數(shù)Cjr(k)可由下式求得：

(1)

(2)

其中j取0,1,2…L，L表示分解層數(shù)。同理可求得虛部樹的小波系數(shù)Wji(k)和尺度系數(shù)Cji(k)。根據(jù)信號解析式組合后完整的小波系數(shù)Wj(k)和尺度函數(shù)Cj(k)為：

Wj(k)=Wjr(k)+iWji(k)

(3)

Cj(k)=Cjr(k)+iCji(k)

(4)

上述系數(shù)即為DTCWT的分解結(jié)果，得到分解系數(shù)后，可根據(jù)式(5)、式(6)實現(xiàn)分解系數(shù)的重構(gòu)。

(5)

(6)

其中λi為尺度選擇系數(shù)，取值范圍為0或1，最終得到的重構(gòu)信號f*(t)為：

(7)

2.2 頻域U-Net網(wǎng)絡(luò)

隨著近年來深度學(xué)習(xí)的快速發(fā)展，神經(jīng)網(wǎng)絡(luò)在圖像處理領(lǐng)域，如圖像融合[10]、圖像分割[13]、圖像壓縮[14]等方面取得了一定進展。Long等[15]提出了可用于圖像分割的全卷積網(wǎng)絡(luò)，該網(wǎng)絡(luò)可處理任意大小的圖像，但上采樣和反卷積導(dǎo)致輸出結(jié)果過于平滑。針對上述問題，Ronneberger等[16]提出了U-Net網(wǎng)絡(luò)。U-Net網(wǎng)絡(luò)采用了對稱結(jié)構(gòu)，卷積池化降低圖像尺寸提取特征的過程可看作編碼器，反卷積提高圖像大小重構(gòu)信息的過程作為解碼器。該網(wǎng)絡(luò)在提升圖像尺寸的同時，加入編碼過程中對應(yīng)的特征信息，利用多層跳躍連接的方式聯(lián)合高層語義特征和低層特征信息，可極大提升圖像分割精度和運算效率。

目前U-Net主要應(yīng)用于對空間域圖像進行分割，并取得了較好的分割效果。在彩色圖像和基于熒光示蹤劑標(biāo)記的近紅外熒光圖像的融合過程中，采用DTCWT可從頻域?qū)υ磮D像信息進行增強和融合。結(jié)合上述兩種方法的優(yōu)點，本研究提出了利用U-Net對DTCWT分解后的低頻系數(shù)進行分割的方法，見圖1。該U-Net主體部分與文獻(xiàn)[17]中結(jié)構(gòu)類似，但訓(xùn)練網(wǎng)絡(luò)所使用的數(shù)據(jù)是近紅外熒光圖像進行DTCWT分解得到的低頻系數(shù)子帶。

圖1 基于DTCWT低頻系數(shù)的U-NetFig.1 The framework of U-Net based on DTCWT coefficients

2.3 基于DTCWT和頻域U-Net的圖像融合算法

2.3.1整體框架 本研究提出的圖像融合算法框架見圖2,該算法具體實現(xiàn)步驟如下：

(1)首先對源圖像中彩色圖像進行通道分離得到RGB三個通道，由于紅色通道R在臨床研究中易受血液或組織等影響，而人類視覺系統(tǒng)對藍(lán)色變化不敏感，因此，選擇綠色通道G作為彩色圖像的融合通道。將G通道圖像進行DTCWT分解得到高頻子帶GH、低頻子帶GL。再對熒光圖像進行DTCWT分解得到其對應(yīng)的子帶H和L。

(2)將熒光圖像的低頻子帶L輸入訓(xùn)練好的頻域分割網(wǎng)絡(luò)U-Net中，網(wǎng)絡(luò)根據(jù)訓(xùn)練結(jié)果進行自適應(yīng)分割得到顯示腫瘤位置分布的二值化ROI圖像。

(3)將步驟(2)中獲取的ROI圖像與熒光圖像的子帶L、H分別進行點乘操作，去除熒光圖像中非腫瘤區(qū)域的干擾，得到只包含腫瘤等目標(biāo)區(qū)域信息的圖像NL、NH。

(4)根據(jù)不同子帶融合規(guī)則，分別融合低頻子帶NL、GL和高頻子帶NH、GH，得到融合后的低頻部分FL和高頻部分FG。

(5)對FL和FG進行雙樹復(fù)小波逆變換IDTCWT，重構(gòu)得到融合綠色通道圖像G。

(6)將R、B通道與融合G通道合并得到最終融合圖像。

2.3.2融合規(guī)則 在融合過程中，針對DTCWT分解得到的不同頻率子帶設(shè)計的融合規(guī)則如下：

(1)低頻部分采用加權(quán)相加的融合規(guī)則，公式如下：

FL=GL+k×NL

(8)

其中k為比例系數(shù)，具體數(shù)值通過實驗確定。

(2)高頻部分采用絕對值取大的融合規(guī)則，選取高頻子帶絕對值較大值作為融合圖像高頻分量，公式如下：

FH=max(|GH|,|NH|)

(9)

圖2 基于DTCWT和U-Net的融合算法Fig.2 The fusion algorithm based on DTCWT and U-Net

3 實驗結(jié)果與討論

3.1 實驗設(shè)計

為了驗證算法中各環(huán)節(jié)的必要性和有效性，本研究選取圖像域直接融合、離散小波變換DWT、非抽樣小波變換(undecimated wavelet transform，UWT)和NSCT作為對照組算法驗證DTCWT的分解和重構(gòu)效果，選取大津閾值[18]算法(OSTU)作為對照組比較頻域U-Net的分割效果。為了更好地比較算法結(jié)構(gòu)的差異對融合效果的影響，各種算法均采用相同的融合規(guī)則。

本實驗硬件環(huán)境如下：操作系統(tǒng)為Win10專業(yè)版，內(nèi)存64 G，CPU Intel i9-9900 k，顯卡型號Nvdia Geforce GTX 2080Ti，U-Net網(wǎng)絡(luò)基于Python平臺的TensorFlow工具搭建及訓(xùn)練，其他算法內(nèi)容均基于Matlab R2012b實現(xiàn)。

3.2 實驗數(shù)據(jù)

實驗數(shù)據(jù)包括訓(xùn)練網(wǎng)絡(luò)使用的訓(xùn)練數(shù)據(jù)以及驗證算法使用的測試數(shù)據(jù)。訓(xùn)練數(shù)據(jù)集的獲取過程如下：選擇十只正常體型的健康小鼠處死并去毛，在小鼠體內(nèi)不同部位埋入浸泡過ICG溶液的不同大小豬肉粒模擬體內(nèi)腫瘤，利用小動物光學(xué)成像系統(tǒng)(AOIS，南京航空航天大學(xué))采集彩色光圖像和熒光圖像。采集熒光圖像時，激發(fā)光波長為747 nm，發(fā)射光波長為832 nm。實驗共獲得40組大小為1 024×1 024的彩色圖像和熒光圖像。由經(jīng)驗豐富的研究人員根據(jù)熒光圖像勾畫其中表示腫瘤等目標(biāo)區(qū)域的二值化ROI，得到熒光圖像及其對應(yīng)ROI的圖像對。由于獲取的圖像較少，難以滿足神經(jīng)網(wǎng)絡(luò)對大量數(shù)據(jù)集的需求，因此采用數(shù)據(jù)增強工具Augmentor[19]進行數(shù)據(jù)擴充，得到3 200組大小為512×512的數(shù)據(jù)，構(gòu)建訓(xùn)練數(shù)據(jù)集。

測試數(shù)據(jù)是三組腫瘤裸鼠的多光譜圖像，通過尾靜脈向腫瘤裸鼠體內(nèi)注射ICG溶液，并利用小動物光學(xué)成像系統(tǒng)獲取彩色圖像和近紅外熒光圖像，用于驗證本研究算法的有效性。

3.3 評價指標(biāo)

本研究選取空間頻率(SF)[20]、結(jié)構(gòu)相似性(SSIM)[21]、互信息(MI)[22]和邊緣保持度[23](QABF)對圖像的融合結(jié)果進行評價。其中QABF評價融合效果時相較于其他指標(biāo)更準(zhǔn)確，上述評價指標(biāo)均為正相關(guān)指標(biāo)，即指標(biāo)值越大則融合結(jié)果越好。

3.4 實驗結(jié)果

3.4.1頻域U-Net參數(shù) 通過多次訓(xùn)練對網(wǎng)絡(luò)參數(shù)進行測試和調(diào)整，最終確定參數(shù)如下：批處理量為20，學(xué)習(xí)率為0.001，總迭代次數(shù)為40。

3.4.2融合參數(shù) 利用測試數(shù)據(jù)確定本研究算法中低頻子帶融合規(guī)則比例系數(shù)k的取值范圍，k取不同數(shù)值時得到的融合圖像的QABF曲線見圖3。由圖可知，QABF指標(biāo)隨k增大呈現(xiàn)先增大到達(dá)飽和點后反而減小的趨勢，在0.8處評價指標(biāo)達(dá)到峰值，因此設(shè)置k值為0.8。

圖3 不同比例因子k下融合指標(biāo)變化曲線Fig.3 The results of QABF with different k

3.4.3融合結(jié)果 選取一組腫瘤裸鼠的彩色圖像、熒光圖像和各算法融合結(jié)果，見圖4。

從圖4中腫瘤裸鼠融合結(jié)果可以看出，直接融合與簡單采用DWT、SWT、NSCT和DTCWT方法將腫瘤熒光圖像與彩色圖像綠色通道進行融合得到的結(jié)果顯示效果相似且整體偏綠，熒光圖像中亮度區(qū)域在融合圖像中均會表現(xiàn)出綠色，包括裸鼠腹部、四肢、背景等非腫瘤區(qū)域；利用OSTU算法對空域圖像和對熒光低頻子帶進行分割后再得到的融合結(jié)果相較于直接融合有改善，但綠色區(qū)域相比于熒光圖像中表現(xiàn)的腫瘤區(qū)域更大，擴大了融合圖像中腫瘤的范圍，準(zhǔn)確度不高；利用圖像域U-Net分割后直接融合的綠色亮度偏低，基于頻域U-Net進行子帶分割后各多尺度方法融合得到的結(jié)果顯示效果基本相同，相較于OSTU綠色區(qū)域與熒光圖像中腫瘤區(qū)域更吻合，且邊界輪廓更加清晰，顯示效果優(yōu)于直接融合以及OSTU。

3.4.4評價指標(biāo)結(jié)果 利用客觀評價指標(biāo)SF、SSIM、MI和QABF對融合結(jié)果進行評價的結(jié)果見表1。表1中數(shù)據(jù)表明，在使用相同融合規(guī)則的前提下，本研究算法融合結(jié)果的空間頻率略低于DWT+U-Net的融合算法，其他指標(biāo)如結(jié)構(gòu)相似性、互信息以及邊緣保持度均高于其他對照組算法。

3.5 討論

實驗結(jié)果表明，直接融合與利用多尺度分解方法如DWT、UWT、NSCT等將熒光圖像與彩色圖像融合后結(jié)果整體呈綠色，包括背景等非腫瘤區(qū)域且腫瘤ROI區(qū)域顏色不突出，對比度不高；多尺度分解和大津閾值結(jié)合的算法融合結(jié)果整體顏色比較正常，但顯示的高亮區(qū)域明顯大于腫瘤熒光圖像中反映的ROI，因此閾值法對腫瘤區(qū)域的分割效果不佳，引入了周圍非腫瘤區(qū)域干擾，導(dǎo)致融合圖像中腫瘤區(qū)域比實際腫瘤區(qū)域輪廓大，影響研究人員對腫瘤位置的判斷。本研究提出的方法能夠保留和增強原始圖像信息并準(zhǔn)確分割腫瘤等目標(biāo)區(qū)域，提高其在融合圖像中的顯示效果和對比度。

圖4 腫瘤鼠彩色圖像與熒光圖像融合結(jié)果Fig.4 The fusion results of color image and fluorescent image of mouse

表1 各算法融合結(jié)果評價指標(biāo)比較Table 1 The results of SF, SSIM, MI and QABF of different methods

4 結(jié)論

本研究提出的算法首先對源圖像中彩色圖像和熒光圖像采用DTCWT分解。針對分解得到的低頻參數(shù)利用頻域U-Net進行分割，從而獲取腫瘤分布。然后，采用不同規(guī)則對分割后的頻域系數(shù)進行融合，最終通過DTCWT逆變換重構(gòu)融合圖像。實驗結(jié)果表明，本研究方法分割得到的腫瘤ROI區(qū)域更準(zhǔn)確，可有效降低熒光圖像中噪聲及環(huán)境等干擾源影響，具有更高的視覺效果，同時多種客觀評價指標(biāo)的結(jié)果均高于傳統(tǒng)融合算法。因此本算法更適用于需要進行熒光標(biāo)記的研究，在腫瘤檢測與定位、血流灌注、藥代動力學(xué)監(jiān)測等方面具有較大的臨床應(yīng)用價值。