劉帥奇，李會(huì)雅，張 濤，胡紹海，孫 偉

(1.河北大學(xué) 電子信息工程學(xué)院，河北 保定071002;2.河北省數(shù)字醫(yī)療工程重點(diǎn)實(shí)驗(yàn)室，河北 保定071002;3.石家莊市中醫(yī)院，河北 石家莊050600;4.北京交通大學(xué) 信息所，北京100044)

圖像融合技術(shù)可以克服單一傳感器圖像的局限性和差異性，獲取更為全面和準(zhǔn)確的場(chǎng)景描述，提高圖像的清晰度和可理解性［1］。醫(yī)學(xué)臨床上需要將不同成像設(shè)備所獲得的圖像信息綜合地呈現(xiàn)在一幅圖像上，即利用圖像融合技術(shù)將不同成像設(shè)備所獲得的圖像進(jìn)行融合，為醫(yī)生的診斷提供更加可靠準(zhǔn)確的病情信息，以便醫(yī)生制定更為科學(xué)和完善的治療方案［2］。

像素級(jí)的醫(yī)學(xué)圖像融合算法是目前的研究熱點(diǎn)，學(xué)者們提出了很多醫(yī)學(xué)圖像融合算法。像素級(jí)圖像融合算法可以分為兩大類(lèi):一類(lèi)是基于空域的融合算法，例如，文獻(xiàn)［3］和文獻(xiàn)［4］提出的基于主成分分析的融合算法和基于向?qū)V波的融合算法;另一類(lèi)是基于變換域的融合算法，例如，文獻(xiàn)［5］提出的基于小波變換的醫(yī)學(xué)圖像融合算法，文獻(xiàn)［6］提出的基于輪廓波變換的圖像融合算法，文獻(xiàn)［7］提出的基于非下采樣輪廓波變換的融合算法，文獻(xiàn)［8］提出的基于Ripplet 的圖像融合算法和文獻(xiàn)［9］提出的基于Shearlet 與PCNN 的圖像融合算法等。

雖然變換域融合算法取得了很好的效果，但是在醫(yī)學(xué)圖像融合的過(guò)程中這些算法容易引起圖像扭曲和人造紋理。并且，上述的算法很少應(yīng)用到MRI 與PET 或者SPECT 圖像的融合等彩色醫(yī)學(xué)圖像融合中。因此本文針對(duì)醫(yī)學(xué)彩色圖像像素級(jí)融合進(jìn)行研究，提出一種基于NSST 和高斯混合模型的醫(yī)學(xué)彩色圖像融合算法。

1 基礎(chǔ)理論

1.1 非下采樣剪切波變換

NSST 的離散化包括尺度分解和方向分解兩部分［10－11］。一般通過(guò)非下采樣拉普拉斯濾波器進(jìn)行尺度分解，通過(guò)剪切濾波器進(jìn)行方向分解。NSST 在進(jìn)行圖像分解和重構(gòu)的過(guò)程中不需要下采樣和上采樣環(huán)節(jié)，因此分解得到子帶圖像與源圖像大小相同，這也保證了變換不會(huì)產(chǎn)生頻率混疊現(xiàn)象且具有平移不變性。因此，利用NSST 進(jìn)行圖像分解易于分析各子帶之間的對(duì)應(yīng)關(guān)系，有效減少配準(zhǔn)誤差的不利影響，提升融合效果。

1.2 HSI 模型

HSI 模型反映了人的視覺(jué)系統(tǒng)感知彩色的方式，以色調(diào)H(Hue)、飽和度S(Saturation)和強(qiáng)度I(Intensity)3 種基本特征量來(lái)表征顏色。HSI 顏色模型與RGB 顏色模型是彩色圖像的兩種描述方法，它們之間可以通過(guò)如式(1)相互轉(zhuǎn)換。

HSI 模型具備強(qiáng)度分量與圖像彩色信息無(wú)關(guān)，色調(diào)、飽和度分量與人感受顏色的方式緊密相聯(lián)的兩大特點(diǎn)。與RGB顏色模型相比，HSI 顏色模型更為恰當(dāng)?shù)胤从沉巳祟?lèi)視覺(jué)系統(tǒng)對(duì)于亮度的敏感度強(qiáng)的特性。因而本文采用HSI 模型進(jìn)行醫(yī)學(xué)彩色圖像融合算法的研究。

1.3 高斯混合模型

醫(yī)學(xué)圖像融合技術(shù)同樣面臨的核心問(wèn)題之一為如何選取有效的圖像信息作為融合圖像的信息。為了定量地評(píng)價(jià)圖像的有效性，關(guān)鍵在于如何描述圖像NSST 域系數(shù)的統(tǒng)計(jì)特征。高斯混合模型具有更好的統(tǒng)計(jì)性質(zhì)，因此本文采用雙成分高斯混合模型進(jìn)行系數(shù)估計(jì)，其模型可表示為

其中:w 為分布變量(這里指NSST 系數(shù));α 為混合系數(shù)，每個(gè)成分產(chǎn)生一個(gè)均值為0，標(biāo)準(zhǔn)差分別為σ1(i，j)和σ2(i，j)的高斯分布，一般假定σ1(i，j)小于σ2(i，j)，模型的這些參數(shù)可通過(guò)最大似然估計(jì)法獲得。

2 基于NSST 和高斯混合模型的醫(yī)學(xué)圖像融合

2.1 融合步驟

設(shè)經(jīng)過(guò)配準(zhǔn)的待融合PET(或SPECT)彩色圖像和MRI圖像分別為P 和M，則本文圖像融合框架如圖2 所示。

圖2 本文算法融合框架

融合步驟為:

1)將PET(或SPECT)彩色圖像P 轉(zhuǎn)換到HSI 顏色空間，分別提取色調(diào)分量圖像PH、飽和度分量圖像PS和強(qiáng)度分量圖像PI。

2)分別對(duì)強(qiáng)度I 分量圖像PI和MRI 圖像M 進(jìn)行NSST分解，得到多尺度分解系數(shù)和，其中分別表示強(qiáng)度分量圖像l 尺度k 方向上(i，j)像素處的低頻子帶系數(shù)和高頻子帶系數(shù)和(i，j)分別表示MRI 圖像l 尺度k 方向上(i，j)像素處的低頻子帶系數(shù)和高頻子帶系數(shù)。

3)利用不同的融合規(guī)則融合低頻或高頻子帶系數(shù)，從而獲得融合后的系數(shù)，其中和分別表示融合后的強(qiáng)度分量圖像PIF在l 尺度k方向上的低頻和高頻子帶系數(shù)。

4)利用NSST 逆變換重構(gòu)得到融合后的強(qiáng)度分量圖像PIF。

5)將色調(diào)H 分量圖像PH、飽和度S 分量圖像PS和融合后的強(qiáng)度分量圖像PIF混合得到融合后的HSI 圖像，再將其轉(zhuǎn)換到RGB 顏色空間，即可得到融合后的MRI－PET(或MRISPECT)彩色圖像。

2.2 融合規(guī)則

圖像的融合規(guī)則非常重要，尤其在變換域中高低頻的融合規(guī)則就更為重要。本文對(duì)NSST 的高低頻系數(shù)分別采用不同的融合規(guī)則進(jìn)行融合。

1)對(duì)于低頻系數(shù)，為避免降低融合圖像的對(duì)比度，采用基于區(qū)域系數(shù)SML 加權(quán)的融合規(guī)則。

(1)計(jì)算NSST 域低頻系數(shù)在3×3 鄰域的SML 清晰度。

(2)計(jì)算系數(shù)權(quán)重。

其中，矩陣I 在點(diǎn)(i，j)處的SML 表示為

其中，ML 表示為

(3)計(jì)算融合圖像的低頻系數(shù)。

2)對(duì)于高頻系數(shù)的融合主要存在兩個(gè)問(wèn)題:高斯混合模型中的參數(shù)估計(jì)和高頻系數(shù)的選擇。首先通過(guò)EM 算法［12－13］來(lái)估計(jì)高斯混合模型中的參數(shù)，然后再利用估計(jì)出的參數(shù)選擇高頻子帶系數(shù)。EM 算法是個(gè)迭代算法，主要通過(guò)期望步和極大化步兩步完成，然后一直迭代直到收斂為止。參數(shù)估計(jì)如式(7)～(9)所示。

其中，上標(biāo)n 和n+1 表示迭代指標(biāo)，Ω(i，j)表示以w(i，j)為中心的5×5 的正方形窗口，|Ω(i，j)|表示該窗口中元素的數(shù)量，且

上述迭代過(guò)程應(yīng)滿(mǎn)足的收斂條件如式(12)所示。

其中，τ 為用戶(hù)自定義的收斂閾值，在本文中τ=10－4。

由于清晰圖像的邊緣信息豐富，故清晰圖像高頻系數(shù)的邊緣分布較寬，因此選擇邊緣分布較寬的NSST 域高頻系數(shù)作為融合圖像的高頻系數(shù)。通過(guò)高斯混合模型估計(jì)出各個(gè)像素點(diǎn)的標(biāo)準(zhǔn)差，對(duì)高頻系數(shù)進(jìn)行融合如式(13)所示。

3 實(shí)驗(yàn)結(jié)果對(duì)比與分析

為了驗(yàn)證該算法在醫(yī)學(xué)彩色圖像融合中的有效性與可靠性，本文選取2 組醫(yī)學(xué)彩色圖像進(jìn)行融合仿真實(shí)驗(yàn)，并與基于平移不變的小波和PCNN(SIDWT－PCNN)［14］、基于CT 和PCNN(CT－PCNN)［15］、基于尖銳頻率局部化Contourlet 變換和改進(jìn)拉普拉斯能量和(SFLCT－SML)［16］、基于NSCT 和SF 激勵(lì)的PCNN(NSCT－SFPCNN)［17］以及基于Shearlet 和改進(jìn)PCNN(ST－PCNN)［18］的方法進(jìn)行對(duì)比試驗(yàn)。其中，2 組圖像均來(lái)自哈佛大學(xué)的腦圖像集(http://www.med.harvard.edu/AANLIB/home.html);第一組圖像為彩色PET 圖像與其對(duì)應(yīng)的MRI 圖像，第二組圖像為彩色SPECT 圖像與其對(duì)應(yīng)的MRI圖像;本文的NSST 分解參數(shù)均為2，3，3，4，算法參數(shù)與參考文獻(xiàn)中的相同。

由于對(duì)比實(shí)驗(yàn)都是基于灰度圖像融合的方法，故對(duì)比實(shí)驗(yàn)均與HSI 模型結(jié)合以進(jìn)行彩色圖像融合。2 組待融合的醫(yī)學(xué)彩色圖像以及彩色圖像所對(duì)應(yīng)的強(qiáng)度分量圖像如圖3 所示(彩圖，見(jiàn)121 頁(yè))。

PET 醫(yī)學(xué)圖像與MRI 圖像采用不同的融合方法得到的融合后的彩色圖像如圖4 所示(彩圖，見(jiàn)121 頁(yè))。

仔細(xì)觀(guān)察圖4 可以發(fā)現(xiàn):融合結(jié)果(圖4a、4b)清晰度低;圖4c、4d 過(guò)多地引入了MRI 圖像的細(xì)節(jié)紋理，缺乏PET 圖像的顏色信息;圖4e、4f 的視覺(jué)效果比較接近，它們都將MRI 圖像的細(xì)節(jié)紋理信息和PET 圖像的顏色信息很好地融合到一起，但圖4f 中比圖4e 更好地保存了顏色信息顯著部分，清晰度高，紋理比較光滑，因此圖4f 優(yōu)于其他5 種方法的融合圖像。

圖5 為SPECT 醫(yī)學(xué)圖像與MRI 圖像采用不同的融合方法得到的融合后的彩色圖像(彩圖，見(jiàn)121 頁(yè))。仔細(xì)觀(guān)察圖5 可以發(fā)現(xiàn):融合結(jié)果圖5a、5b、5c 和d 視覺(jué)效果相似，都過(guò)多地引入了MRI 圖像的細(xì)節(jié)紋理，缺乏SPECT 圖像的顏色信息;而圖5e、5f 的視覺(jué)效果比較接近，它們都很好地保存了顏色信息顯著部分，并將其與MRI 圖像的細(xì)節(jié)紋理信息融合在一起，但圖5f 中比圖5e 清晰度高，因此圖5f 優(yōu)于其他5 種方法的融合圖像。

從主觀(guān)視覺(jué)效果來(lái)看，本文算法所得的彩色融合圖像更清晰、顏色信息顯著部分保留更豐富，細(xì)節(jié)紋理信息與顏色信息融合得更好。對(duì)融合效果的評(píng)價(jià)，除了定性分析外，還需要進(jìn)行定量分析。目前常用的客觀(guān)評(píng)價(jià)指標(biāo)有:熵(Entropy，EN)［19］、標(biāo)準(zhǔn)差(Standard deviation，STD)［19］、平均梯度(Average Gradient，AVG)［20］、互 信 息 (Mutual Information，MI)［20］、QAB/F度量［20］、空間頻率(Spatial Frequency，SF)［20］。表1 與表2 給出了上述6 種融合方法客觀(guān)評(píng)價(jià)指標(biāo)的對(duì)比結(jié)果。由表1 可見(jiàn)，對(duì)于MRI 圖像與PET 圖像而言，本文算法的融合結(jié)果在6 種客觀(guān)評(píng)價(jià)指標(biāo)上都是最優(yōu)的。由表2 可見(jiàn)，對(duì)于MRI 圖像與SPECT 圖像而言，本文算法的融合結(jié)果在6 種客觀(guān)評(píng)價(jià)指標(biāo)上都是最優(yōu)的。

表1 PET 與MRI 圖像不同融合方法客觀(guān)評(píng)價(jià)指標(biāo)對(duì)比

表2 SPECT 與MRI 圖像不同融合方法客觀(guān)評(píng)價(jià)指標(biāo)對(duì)比

上述主客觀(guān)評(píng)價(jià)結(jié)果都表明，本文提出的醫(yī)學(xué)彩色圖像融合方法能夠很好地將MRI 的細(xì)節(jié)紋理信息與PET(或SPECT)圖像中的顏色信息融合到一起，用顏色差別來(lái)描述紋理，更加清晰直觀(guān)，便于醫(yī)生對(duì)病情做出正確診斷。因此綜合來(lái)看，本文所提的醫(yī)學(xué)彩色融合算法是一種效果良好的彩色圖像融合算法。

4 結(jié)論

本文根據(jù)醫(yī)學(xué)圖像的成像特點(diǎn)結(jié)合HSI 顏色模型和高斯混合模型，提出了基于NSST 和高斯混合模型的醫(yī)學(xué)彩色圖像融合算法，該算法采用基于區(qū)域系數(shù)SML 加權(quán)的低頻融合規(guī)則和高斯混合模型估計(jì)參數(shù)值取大的高頻融合規(guī)則。通過(guò)與基于SIDWT、基于CT、基于SFLCT、基于NSCT 和基于ST的圖像融合算法的對(duì)比實(shí)驗(yàn)，驗(yàn)證了算法的有效性與可靠性。本文算法的圖像融合效果較好，但其運(yùn)算時(shí)間不是最優(yōu)的。因此加快程序運(yùn)行速度，使融合算法滿(mǎn)足實(shí)時(shí)性的要求，是接下來(lái)的研究方向之一。

［1］TAMILSELVAN K S，MURUGESAN G.Survey and analysis of various image fusion techniques for clinical CT and MRI images［J］.International Journal of Imaging Systems and Technology，2014，24(2):193－202.

［2］WANG L，LI B，TIAN L F. Multi－modal medical image fusion using the inter－scale and intra－scale dependencies between image shift－invariant shearlet coefficients［J］. Information Fusion，2014，19:20－28.

［3］PATIL U，MUDENGUDI U. Image fusion using hierarchical PCA［C］//Proc. 2011 International Conference on image Information Processing(ICIIP). Shimla，India:IEEE Press，2011:1－6.

［4］LI S T，KANG X D，HU J W. Image fusion with guided filtering［J］.IEEE Trans. Image Processing，2013，22(7):2864－2875.

［5］ZHANG X，ZHENG Y，PENG Y，et al. Research on multi－mode medical image fusion algorithm based on wavelet transform and the edge characteristics of images［C］//Proc. 2nd International Congress on Image and Signal Processing.Tianjin，China:IEEE Press，2009:1－4.

［6］LIU S Q，ZHAO J，GENG P，et al.Medical image fusion based on nonsubsampled direction complex wavelet transform［J］. International Journal of Applied Mathematics and Machine Learning，2014，1(1):21－34.

［7］DAS S，KUNDU M K. NSCT－based multimodal medical image fusion using pulse－coupled neural network and modified spatial frequency［J］. Medical and Biological Engineering and Computing，2012，50(10):1105－1114.

［8］DAS S，KUNDU M K. Ripplet based multimodality medical image fusion using pulse－coupled neural network and modified spatial frequency［C］// Proc. 2011 International Conference on Recent Trends in Information Systems (ReTIS). Kolkata:IEEE Press，2011:229－234.

［9］GENG P，WANG Z，ZHANG Z，et al. Image fusion by pulse couple neural network with shearlet［J］.Optical Engineering，2012，51(6):1－7.

［10］LIU S Q，HU S H，XIAO Y，et al.Bayesian shearlet shrinkage for SAR image de－noising via sparse representation［J］. Multidimensional Systems and Signal Processing，2014，25(4):683－701.

［11］LIM W Q. The discrete shearlets transform:A new directional transform and compactly supported shearlets frames［J］. IEEE Trans.Image Proc.，2010，19(5):1166－1180.

［12］岳佳，王士同.高斯混合模型聚類(lèi)中EM 算法及初始化的研究［J］.微計(jì)算機(jī)信息，2006，22(11):244－247.

［13］史鵬飛.基于改進(jìn)EM 算法的混合模型參數(shù)估計(jì)及聚類(lèi)分析［D］.西安:西北大學(xué)，2009:23－38.

［14］LI W，ZHU X F.A new algorithm of multi－modality medical image fusion based on pulse－coupled neural networks［C］//Proc. International Conference on Advances in Natural Computation. Changsha，China:Springer，2005:995－1001.

［15］劉盛鵬，方勇.基于Contourlet 變換和IPCNN 的融合算法及其在可見(jiàn)光與紅外線(xiàn)圖像融合中的應(yīng)用［J］. 紅外與毫米波學(xué)報(bào)，2007，26(3):217－221.

［16］屈小波，閆敬文，楊貴德.改進(jìn)拉普拉斯能量和的尖銳頻率局部化Contourlet 域多聚焦圖像融合方法［J］. 光學(xué)精密工程，2009，17(5):1203－1212.

［17］DAS S，KUNDU M K.NSCT－based multimodal medical image fusion using pulse－coupled neural network and modified spatial frequency［J］.Medical and Biological Engineering and Computing，2012，50(10):1105－111.

［18］王朝暉，王佳琪，趙德功，等.基于Shearlet 與改進(jìn)PCNN 的圖像融合［J］.激光與紅外，2012，42(2):213－216.

［19］MIAO Q G，SHI C，XU P F，et al.Multi－focus image fusion algorithm based on Shearlets［J］.Chinese Optics Letters，2011，9(4):1－5.

［20］劉帥奇.基于多尺度幾何變換的遙感圖像處理算法研究［D］.北京:北京交通大學(xué)，2014.