席志紅,曾繼琴,李 爽

(哈爾濱工程大學(xué) 信息與通信工程系，哈爾濱 150001)

基于雙字典和稀疏表示的醫(yī)學(xué)圖像超分辨率重建

席志紅,曾繼琴,李 爽

(哈爾濱工程大學(xué) 信息與通信工程系，哈爾濱 150001)

在醫(yī)學(xué)影像圖像處理過程中，由于成像技術(shù)和成像時(shí)間的限制，還無法獲取滿足診斷需求的清晰圖像，這使得在現(xiàn)有技術(shù)和極短時(shí)間內(nèi)所獲取的醫(yī)學(xué)病理圖像需要進(jìn)行超分辨率的重建處理；基于學(xué)習(xí)的圖像超分辨率思想是從已建立的先驗(yàn)?zāi)Ｐ椭兄亟ǔ龈哳l細(xì)節(jié)；在文章中，將要估計(jì)的高頻信息認(rèn)為是由主要高頻和冗余高頻兩部分組成，提出了一種基于雙字典學(xué)習(xí)和稀疏表示的醫(yī)學(xué)圖像超分辨率重建算法，由主要字典學(xué)習(xí)和冗余字典學(xué)習(xí)組成,分別漸近地恢復(fù)出主要高頻細(xì)節(jié)和冗余高頻細(xì)節(jié)；實(shí)驗(yàn)結(jié)果的數(shù)據(jù)分析和視覺效果顯示,所提出雙層遞進(jìn)方法能夠恢復(fù)更多的圖像細(xì)節(jié)且在性能指標(biāo)上比現(xiàn)有的其他幾種方法均有所提高。

醫(yī)學(xué)圖像; 超分辨率; 稀疏表示; 字典學(xué)習(xí)

0 引言

高分辨圖像對(duì)當(dāng)今的科學(xué)研究和生活都有很大意義，例如: 遙感影像、醫(yī)療成像、視頻監(jiān)控等。醫(yī)學(xué)影像圖像的處理已被廣泛應(yīng)用于計(jì)算機(jī)輔助診斷中。數(shù)字醫(yī)療影像技術(shù)如計(jì)算機(jī)斷層掃描(CT)、核磁共振成像(MRI)等已經(jīng)改變了現(xiàn)代醫(yī)學(xué)[1-2]。盡管在過去的幾十年中，已經(jīng)在采集技術(shù)重建算法性能優(yōu)化上取得進(jìn)步，但由于成像環(huán)境、物理成像系統(tǒng)、成像輻射性等因素的局限性，還不能獲取滿足實(shí)際需求的清晰圖像。因此，為了能夠獲得更高精度的病理圖像，需要超分辨率預(yù)處理這些圖像，以便能夠精確的識(shí)別出病灶位置，從而為輔助診斷提供更精確的參考依據(jù)。

近年來，隨著稀疏表示和壓縮感知技術(shù)的發(fā)展[3]，受到基于稀疏編碼的啟發(fā)，基于學(xué)習(xí)的超分辨率算法應(yīng)用而生，其基本思想是：通過字典學(xué)習(xí)獲得高分、低分辨率圖像塊之間稀疏表示系數(shù)的近似相等的關(guān)系來引導(dǎo)重建出高分辨率圖像塊。部分研究方法已表明建模高分辨率和低分辨率圖像塊之間的映射關(guān)系是在稀疏編碼領(lǐng)域[4-5]。文獻(xiàn)[6]所提出的基于樣本學(xué)習(xí)的稀疏表示超分辨重建方法，由于受到壓縮感知的基本思想啟發(fā)，該方法通過對(duì)大量高、低分辨率圖像塊的稀疏表示和降維處理，避免了局部?jī)?yōu)化，實(shí)現(xiàn)了超分辨在訓(xùn)練樣本空間的全局優(yōu)化求解。一方面提取了必要的先驗(yàn)信息，減少了重構(gòu)時(shí)對(duì)大量樣本數(shù)據(jù)的需求，提高了重建效率；另一方面也有效地緩解了鄰域嵌入方法[7]的過擬合或欠擬合現(xiàn)象。隨后Yang在文獻(xiàn)[8]中介紹了基于稀疏表示訓(xùn)練低分辨率和高分辨率字典對(duì)的方法，并將樣本訓(xùn)練字典的過程分解為雙層優(yōu)化問題的求解，進(jìn)一步有效地改善了低分辨率圖像重建效果。文獻(xiàn)[9]提出了直接處理整幅圖像的卷積稀疏編碼圖像超分辨算法，能夠緩解圖像分塊處理的塊效應(yīng)，但醫(yī)學(xué)圖像的數(shù)據(jù)量遠(yuǎn)大于普通圖像的，由此對(duì)其卷積運(yùn)算對(duì)內(nèi)存的需求很高，以及上述方法的過完備字典大小和算法復(fù)雜也限制了對(duì)高頻細(xì)節(jié)的恢復(fù)。

因此，本文將要估量的高頻(high frequency, HF)細(xì)節(jié)分為兩部分:主要高頻(main high frequency, MHF)成分和冗余高頻(residual high frequency, RHF)成分，采用主要字典和冗余字典的學(xué)習(xí)，與之對(duì)應(yīng)地恢復(fù)出圖像的主要高頻和冗余高頻，首先恢復(fù)圖像中的主要高頻成分，然后再恢復(fù)出其冗余高頻成分,是一種由粗到精的雙層遞進(jìn)恢復(fù)過程，既能恢復(fù)出更多的高頻細(xì)節(jié)也能減少計(jì)算量，從而獲得更好的重建效果。

1 圖像超分辨率重建方案

圖像超分辨率主要是處理從單幅或多幅降質(zhì)的低分辨率圖像中恢復(fù)出與之相對(duì)應(yīng)的高分辨率圖像的問題。本文中主要針對(duì)單幀降質(zhì)圖像的超分辨重建，其基本的數(shù)學(xué)模型如下所示：

Y=DSHX+η

(1)

X是標(biāo)準(zhǔn)的原始高分辨率圖像，Y是通過所建立的數(shù)學(xué)模型觀測(cè)到的降質(zhì)低分辨圖像，H是模糊算子，DS是采樣算子，S是采樣的縮放因子，η是加性高斯噪聲。超分辨率重建目的就是估計(jì)出圖像的高頻細(xì)節(jié)，在基于樣本學(xué)習(xí)的超分辨重建算法中，一幅圖像通常首先需要預(yù)處理為一組圖像塊集，然后在每一個(gè)圖像塊上都分別執(zhí)行超分辨率算法。在本文中，低分辨圖像在進(jìn)行超分辨率重建之前進(jìn)行一種預(yù)處理，先將低分辨率圖像分解為圖像主要成分和圖像冗余成分[10]，如圖1所示，其中圖像的主要成分代表圖像的基本特征結(jié)構(gòu)，冗余成分表示圖像的邊緣和紋理特征結(jié)構(gòu)，然后再將分解后圖像分別預(yù)處理為兩組圖像塊對(duì)。本文所提出方案由雙字典學(xué)習(xí)階段和圖像合成階段組成。雙字典的訓(xùn)練階段也就是主要字典(maindictionary,MD)和冗余字典(residualdictionary,RD)的學(xué)習(xí)，具體訓(xùn)練過程如圖2所示。在圖像合成階段，使用雙字典訓(xùn)練階段所訓(xùn)練的模型從已知的低分辨率圖像中重建出高分辨圖像，具體重建過程如圖3所示。

圖1 圖像分解效果圖

1.1 雙字典學(xué)習(xí)階段

為了能夠有效地表示圖像中復(fù)雜的高頻信息，本文采用基于樣本的雙字典學(xué)習(xí)。此類字典能夠靈活地表示出復(fù)雜的高頻信息。其主要思想是圖像庫中數(shù)據(jù)被訓(xùn)練成豐富的超完備字典原子，由于被訓(xùn)練的超完備字典原子直接來自于同類信號(hào)本身，因此應(yīng)用它們構(gòu)成的超完備字典對(duì)圖像中高頻信息的表示具有的很好稀疏性和更小的冗余量，同時(shí)對(duì)圖像中的高頻信息有更強(qiáng)的自適應(yīng)能力。

在此階段，基于稀疏表示學(xué)習(xí)兩種類型的字典，即主要字典和冗余字典的學(xué)習(xí)，其分別對(duì)應(yīng)地恢復(fù)圖像主要高頻成分和冗余高頻成分，并采用文獻(xiàn)[11]中超完備字典的學(xué)習(xí)方法。雙字典訓(xùn)練過程如圖2所示。

圖2 字典訓(xùn)練階段流程圖

(2)

(3)

HMD=PhQ+=Ph(QQT)-1

(4)

上述方法中未考慮到高分辨率圖像塊的重疊，因?yàn)椋罱K在重建階段的高分辨圖像是通過定位不同位置的高分辨率圖像塊到相對(duì)應(yīng)整幅圖像的位置中，然后再平均鄰近的高分辨率圖像塊而重建的，HMD理應(yīng)被優(yōu)化的，所得到最終的高分辨率圖像盡可能地逼近等于原始圖像。最后，冗余字典RD將在以下步驟中訓(xùn)練，借助主要字典MD和HLF，利用下一小節(jié)中即將要介紹的圖像重建準(zhǔn)則來生成高分辨率的主要高頻圖像，記為HMHF。具有更多高頻細(xì)節(jié)的第一層高分辨率圖像(firsthigh-resolutionimage,H1th)就由高分辨率主要高頻圖像HMHF與高分辨率低頻圖像HLF相融合獲得。

然后，從高分辨率高頻成分圖像HHF中去除高分辨率主要高頻圖像HMHF而得到高分辨率冗余高頻成分圖像HRHF。將高分辨率冗余高頻成分圖像HRHF和第一層高分辨率圖像H1th作為訓(xùn)練冗余字典RD的輸入，按照基于主要字典的同樣訓(xùn)練過程和方法就能夠得到冗余字典RD。同樣地，冗余字典RD也是由兩個(gè)耦合的子字典線性組成：低頻冗余字典(low-frequencyresidualdictionary,LRD)和高頻冗余字典(high-frequencyresidualdictionary,HRD)。因此，主要字典MD學(xué)習(xí)和冗余字典RD學(xué)習(xí)一起構(gòu)成了雙字典。

1.2 圖像合成階段

高分辨圖像合成階段，首先，用原始的高分辨率圖像通過下采樣運(yùn)算和模糊運(yùn)算獲得低分辨率輸入測(cè)試圖像(low-resolutioninputimage,LINPUT)，利用雙立方插值算法將圖像插值放大為高分辨率低頻圖像HLF。在圖像合成階段，為了簡(jiǎn)化操作同時(shí)保證高、低分辨率圖像塊之間一一對(duì)應(yīng)，所采用的模糊算子和降采樣算子同雙字典訓(xùn)練階段所使用的算子是一樣的。然后對(duì)整幅圖像進(jìn)行分塊提取運(yùn)算，使相鄰圖像塊相互重疊，圖像塊重疊的目的是為了減緩重建整幅圖像時(shí)產(chǎn)生的塊效應(yīng)。最終所估計(jì)的高分辨率圖像是通過先后使用所訓(xùn)練的主要字典和冗余字典而重建的，并且更多的高頻細(xì)節(jié)也被漸近的恢復(fù)，圖像合成的具體流程，如圖3所示。

圖3 圖像合成階段流程圖

(5)

定義Rk為圖像塊特征提取算子，表示在高分辨率圖像的位置k處提取第k個(gè)圖像塊，高分辨主要高頻圖像HMHF的生成是解決以下最小化問題：

(6)

其有一個(gè)近似形式的最小二乘解，即：

(7)

然后，通過將高分辨率低頻圖像HLF和高分辨率主要高頻圖像HMHF相融合生成比HLF具有更多信息的第一層高分辨率圖像H1th。接下來，上述同樣的重建方法再次在第一層高分辨率圖像H1th和冗余字典RD執(zhí)行生成第二層高分辨率冗余高頻圖像HRHF，最后，通過將已重建出的雙層高分辨圖像H1th和HRHF相結(jié)合生成最終要估計(jì)的高分辨率圖像(HRestimatedimage,HEST)。

圖4 字典訓(xùn)練和測(cè)試圖像

2 實(shí)驗(yàn)結(jié)果與分析

本小節(jié)將通過實(shí)驗(yàn)數(shù)據(jù)和重建圖像的視覺效果來說明本文所提出方法的性能改善。在實(shí)驗(yàn)仿真中采用一部分醫(yī)學(xué)圖像圖像作為測(cè)試圖像，進(jìn)行放大3倍的超分辨率重建實(shí)驗(yàn)，并且使用Bicubic、Chang[7]、Yang[6]和Zhang[9]方法作為實(shí)驗(yàn)對(duì)比。

2.1 實(shí)驗(yàn)參數(shù)設(shè)置和量化指標(biāo)

在實(shí)驗(yàn)仿真中，主要字典MD和冗余字典RD的字典原子數(shù)都設(shè)置為500，這在數(shù)量上的和與文獻(xiàn)[11]的字典原子數(shù)1 000是一樣的。用來重構(gòu)每個(gè)圖像塊的基數(shù)(字典原子數(shù))L被設(shè)置為3,所提取的小圖像塊的像素大小被設(shè)置9×9，并保留與周圍圖像塊間1個(gè)像素重疊以避免塊效應(yīng)。實(shí)驗(yàn)中所用的圖像如圖4所示，其中第一幅圖像被用來字典學(xué)習(xí)，其他圖像為性能測(cè)試圖。對(duì)于醫(yī)學(xué)影像圖像的應(yīng)用來說，圖像的質(zhì)量應(yīng)與診斷決策的正確性具有正相關(guān)性，并且依靠與特定的診斷任務(wù)。實(shí)驗(yàn)仿真中常使用峰值信噪比(PSNR)和結(jié)構(gòu)相似度[14](SSIM)作為圖像重建效果的客觀評(píng)估指標(biāo)。PSNR是衡量?jī)煞鶊D像之間的強(qiáng)度差，SSIM也是最常用的圖像質(zhì)量的評(píng)價(jià)方法，基于人類視覺主要從圖像的結(jié)構(gòu)中獲取信息的假設(shè)，相比PSNR，SSIM的度量能夠提供對(duì)圖像視覺感知破壞的良好逼近，能更好的表達(dá)恢復(fù)圖像與參考圖像之間的結(jié)構(gòu)相似性，其取值范圍為[0,1]。PSNR和SSIM的不同方法的比較如表1所示。

2.2 實(shí)驗(yàn)結(jié)果

圖5和圖6為現(xiàn)有幾種不同算法重建的效果圖像、本文所提算法的效果圖和原始標(biāo)準(zhǔn)圖像。以圖5(a)～(f)為例，其分別為雙三次插值Bicubic、Chang[7]、Yang[6]、Zhang[9]等方法和文中所提方法恢復(fù)的圖像，以及與之對(duì)應(yīng)的原始的標(biāo)準(zhǔn)圖像。從視覺效果上看Bicubic、Chang[9]和Yang[6]等方法存在一定的塊效應(yīng)，本文算法比Zhang[9]等方法在高頻細(xì)節(jié)有更好的恢復(fù)效果，圖6的實(shí)驗(yàn)結(jié)果的視覺效果圖與圖5的視覺效果結(jié)果相類似。從表1中各種不同重建算法的PSNR和SSIM實(shí)驗(yàn)數(shù)據(jù)可以顯示，本文所提的算法在性能指標(biāo)上比其他幾種算法更高。

表1 幾種不同算法的比較

圖5 CT2恢復(fù)

圖6 CT3恢復(fù)

3 結(jié)語

本文提出了一種基于雙字典學(xué)習(xí)和稀疏表示的醫(yī)學(xué)圖像的超分辨率算法，針對(duì)醫(yī)學(xué)圖像的數(shù)據(jù)量大和冗余性強(qiáng)，將圖像分解為主要成分和冗余成分，分別在不同圖像成分中學(xué)習(xí)雙字典，利用不同字典的雙層漸近方式重建丟失的高頻細(xì)節(jié)并減少了大量數(shù)據(jù)的運(yùn)算。通過對(duì)比實(shí)驗(yàn)結(jié)果表明，本文算法在性能指標(biāo)和視覺效果上比其它幾種方法更高。所提出的方法對(duì)于數(shù)據(jù)量大的低分辨醫(yī)學(xué)圖像是很有意義，重建的高分辨率圖像可以方便醫(yī)生準(zhǔn)確地發(fā)現(xiàn)病變,從而提高診斷質(zhì)量。

[1] Bailey D, Roach P, Bailey E, Hewlett J, et al. Development of a cost-effective modular SPECT/CT scanner[J]. European Journal of Nuclear Medicine & Molecular Imaging, 2007,34(9):1415-1426.

[3] Kashin B, Temlyakov V. A remark on Compressed Sensing[J]. Mathematical Notes. 2007;82(5/6):748-755.

[4] He Li, Qi Hairong, Russell Zaretzki. Beta Process Joint Dictionary Learning for Coupled Feature Spaces with Application to Single Image Super-Resolution[A].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C]. Washington, USA, 2013: 345-352.

[5] Wang S, Zhang L, Liang Y, et al. Semi-coupled dictionary learning with applications to image super-resolution and photo-sketch synthesis[A]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C]. Providence, RI, 2012: 2216-2223.

[6] Yang Jianchao, Wright J, Huang T, et al. Image super-resolution via sparse representation[J]. IEEE Trans on Image Processing, 2010,19(11): 2861-2873.

[7] Hong Chang, Dit-Yan Yeung. Super-resolution through neighbor embedding[A]. Computer Proceedings of the 2004 IEEE Computer Society Conference[C]. Washington, DC, USA, 2004: 275-282.

[8] Yang J C, Wang Z W, Lin Z. Coupled Dictionary Training for Image Super Resolution[J]. IEEE Transaction on Image Processing, 2012, 21: 3467-3478.

[9] Zhang Lei, Gu Shuhang, Xie Qin, et al. Convolutional Sparse Coding for Image Super-Resolution[A]. Proceedings of the IEEE International Conference on Computer Vision[C].Santiago, 2015:1823-1831.

[10] 李海斌. 基于稀疏表示的圖像超分辨率重建研究[D].重慶：重慶大學(xué),2014.

[11] Roman Zeyde, Michael Elad, Matan Protter.On single image scale-up using sparse representations[A]. Proceedings of the international conference on Curves and Surfaces[C]. Avignon, France,2012: 711-730.

[12] Aharon M, Elad M, Bruckstein A. K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation[J]. IEEE Transactions on Signal Processing, 2006, 54 (11): 4311-4322.

[13] Wang J J, Zhu S H, Gong Y H. Resolution enhancement based on learning the sparse association of image patches[J]. Pattern Recognition Letters, 2010, 31(1): 0167-8655.

[14] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Trans Image Process, 2004, 13(4): 600-612.

Super-Resolution Reconstruction of Medical Image Based on Dual-Dictionary and Sparse Representation

Xi Zhihong, Zeng Jiqin, Li Shuang

(College of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China)

Medical diagnosis needs a lot of medical image processing, due to the limitations of imaging technology and imaging time, the medical diagnosis is not able to get the clear image, which is necessary to reconstruct the medical image that have been acquired in the existing technology and considerably short time with super-resolution methods. Example-Based image super-resolution is to reconstruct the high-frequency (HF) details of the image from the prior model. HF will be estimated is considered as a combination of two components: main high-frequency(MHF) and residual high-frequency (RHF) ,this paper proposed a medical image super-resolution using dual-dictionary learning and sparse representation, which makes of the main dictionary and the residual dictionary learning recovering the MHF and RHF, respectively. Experimental results on test image show that by performing the proposed two-layer progressive method, more image details can be recovered and much better results can be achieved than that of existing methods.

medical image; super-resolution; sparse representation; dictionary learning

2016-10-14；

2016-11-11。

國(guó)家自然科學(xué)基金項(xiàng)目(60875025)。

席志紅(1965-)，女，黑龍江哈爾濱人，教授，碩士研究生導(dǎo)師，主要從事數(shù)字圖像處理方向的研究。

1671-4598(2017)03-0197-04

10.16526/j.cnki.11-4762/tp.2017.03.054

TP3

A