吳 磊,呂國強,趙 晨,盛杰超,馮奇斌
(1.合肥工業(yè)大學(xué) 特種顯示技術(shù)國家工程實驗室 現(xiàn)代顯示技術(shù)省部共建國家重點實驗室 光電技術(shù)研究院,安徽 合肥 230009;2.合肥工業(yè)大學(xué) 電子科學(xué)與應(yīng)用物理學(xué)院,安徽 合肥 230009;3.合肥工業(yè)大學(xué) 儀器科學(xué)與光電工程學(xué)院, 安徽 合肥 230009)
醫(yī)療影像技術(shù)如CT、MRI和X射線等是醫(yī)生獲取病人信息的常用途徑,高分辨率(High Resolution, HR)的醫(yī)療影像可以使醫(yī)生更精確地識別病變部位,因此它的清晰度直接影響醫(yī)生對病人診斷的準確度,但是由于現(xiàn)有醫(yī)療成像技術(shù)的局限性以及圖像采集設(shè)備的固有限制,往往無法給醫(yī)生提供理想的高分辨率醫(yī)學(xué)圖像[1]。超分辨率(Super Resolution, SR)重建技術(shù)[2-3]就是僅從計算機算法層面入手,將圖像采集設(shè)備獲取到的低分辨率(Low Resolution, LR)圖像提升為高分辨率圖像的方法,因此采用超分辨率重建技術(shù)提高醫(yī)學(xué)圖像的分辨率對醫(yī)學(xué)診斷具有重要意義。
近年來學(xué)者們在自然圖像上的超分辨率研究取得了諸多成果,開發(fā)了一系列的重建算法,按照算法的基本思想,目前超分辨率重建技術(shù)可以分為基于插值[4-5]、基于重建[6]和基于學(xué)習(xí)[7-8]的方法?;诓逯档姆椒ㄒ话闶峭ㄟ^基函數(shù)估計相鄰像素點之間的連接像素,來填充高分辨率圖像中的未知點。該方法雖然高效直觀,但無法保證估計像素的精度,因此其重建圖像往往存在偽影、模糊等問題;基于重建的方法一般是根據(jù)信號處理理論,以LR圖像為約束條件,利用圖像的先驗信息估計HR圖像,但是由于先驗信息的不足,該類方法重建的HR圖像往往也存在細節(jié)缺失等問題。 為了突破前兩種方法的局限性,相關(guān)學(xué)者將學(xué)習(xí)的思想引入了SR領(lǐng)域,基于實例學(xué)習(xí)[9]、基于稀疏編碼[10]以及固定鄰域回歸[7]等SR算法相繼被提出,將圖像的SR質(zhì)量又提升了一個層次。2016年,Dong等人[11]率先開始了卷積神經(jīng)網(wǎng)絡(luò)在圖像SR領(lǐng)域的應(yīng)用研究,提出了基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率方法(SRCNN),SRCNN采用3個卷積層分別對圖像進行特征提取、非線性映射以及圖像重建等操作,得到了明顯優(yōu)于傳統(tǒng)算法的重建效果。為了加快重建速度,Dong等人[12]又將反卷積與原算法進行結(jié)合,提出了基于反卷積的快速圖像超分辨率重建(FSRCNN)。隨著研究的深入,學(xué)者們發(fā)現(xiàn)深層網(wǎng)絡(luò)可以取得較好的超分辨率效果,但是層數(shù)的加深往往會導(dǎo)致網(wǎng)絡(luò)梯度彌散或梯度爆炸等問題,使其無法收斂。由此,文獻[13]借鑒殘差網(wǎng)絡(luò)(ResNet)的思想,利用深層殘差網(wǎng)絡(luò)加速網(wǎng)絡(luò)學(xué)習(xí),提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建算法(VDSR)。
雖然上述基于學(xué)習(xí)的算法在自然圖像上取得了較好的超分辨率效果,但是應(yīng)用于CT圖像仍然存在一些問題:VDSR的單一尺度網(wǎng)絡(luò)結(jié)構(gòu)無法充分提取CT圖像的主要特征;僅有3層網(wǎng)絡(luò)的SRCNN恢復(fù)出的CT圖像清晰度不足,且其算法復(fù)雜度較高,無法滿足醫(yī)學(xué)圖像對處理速度的需求;FSRCNN雖然進行了改進,但其網(wǎng)絡(luò)深度仍然不夠提取醫(yī)學(xué)圖像的細節(jié)信息,同時一個網(wǎng)絡(luò)只能應(yīng)用于一種放大倍數(shù)更限制了上述兩種算法在醫(yī)療影像領(lǐng)域的應(yīng)用。
針對以上問題,本文從CT圖像特征出發(fā),結(jié)合殘差學(xué)習(xí)思想,提出了基于多尺度殘差網(wǎng)絡(luò)的SR重建算法,通過搭建多尺度網(wǎng)絡(luò)模型,更充分地提取了低分辨率CT圖像的各種特征,引入殘差學(xué)習(xí)的同時相應(yīng)采取Adam優(yōu)化算法[14]加快了模型的收斂,同時訓(xùn)練前期在多種放大倍數(shù)下處理訓(xùn)練集,使得本文模型能夠同時支持多種倍數(shù)的分辨率提升。
針對CT圖像獨有特征,結(jié)合殘差學(xué)習(xí)思想,提出了基于多尺度全局殘差網(wǎng)絡(luò)的SR重建模型,網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。該模型由11層多尺度殘差塊級聯(lián)而成,每層殘差塊包含一組3種尺度的卷積核。網(wǎng)絡(luò)運算前期,采用雙三次插值算法先將原始低分辨率CT圖像插值放大到目標(biāo)分辨率,再將放大后的圖像輸入到網(wǎng)絡(luò)中,逐一經(jīng)過每個殘差塊進行特征提取、融合、映射以及全局殘差學(xué)習(xí),最終將學(xué)習(xí)到的殘差圖像與輸入的低分辨率圖像融合,輸出高分辨率的CT圖像。
圖1 本文網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure diagram of our algorithm
在現(xiàn)有的超分辨率重建算法中,研究人員通常只在一個維度上提取低分辨率圖像的細節(jié)特征,但CT圖像特征復(fù)雜、結(jié)構(gòu)多樣,單一的提取尺度往往會忽略掉其部分紋理信息,導(dǎo)致網(wǎng)絡(luò)無法恢復(fù)足夠清晰的高分辨率圖像,因此本文在VDSR算法的基礎(chǔ)上對其單一的深層網(wǎng)絡(luò)進行改進,構(gòu)造了多尺度卷積的殘差塊,結(jié)構(gòu)如圖2所示,最終通過級聯(lián)多層殘差塊的方式搭建了全局殘差學(xué)習(xí)的網(wǎng)絡(luò)模型。
圖2 多尺度殘差塊結(jié)構(gòu)圖Fig.2 Structure diagram of multi-scale residual block
該殘差塊主要采用1×1,3×3,5×5的3種尺度卷積核對低分辨率CT圖像進行特征提取,每種尺度的卷積核對應(yīng)生成16,64,16幅卷積特征圖,然后采用Concatenation操作將上述特征圖合并,在一個維度上進行重組。為了降低算法復(fù)雜度,同時提高網(wǎng)絡(luò)的訓(xùn)練速度,采用1×1×16的卷積核對合并后的多尺度特征信息進行特征映射及數(shù)據(jù)降維,最終將該殘差塊提取到的多尺度特征信息輸出到下一殘差塊。為了保證多尺度特征提取的有效性,我們在特征提取層后設(shè)置了激活層,激活函數(shù)選用PReLU。殘差塊的計算公式表示如下:
(1)
(2)
φ(x)=max(ax,x),
(3)
由于池化操作降低了圖像的分辨率,與恢復(fù)高分辨率醫(yī)學(xué)影像的目的相悖,因此本文網(wǎng)絡(luò)不設(shè)置池化層。同時為了充分保留CT圖像的邊緣信息,我們在卷積計算前統(tǒng)一對圖像進行邊界零填充,從而固定輸出圖像的尺寸。
3.1.1 實驗環(huán)境
算法測試所用計算機CPU為Intel Core i7-3770U@3.40 GHz,同時搭載了NVIDIA GeForce GTX 1060 GPU,配置16GB內(nèi)存,軟件環(huán)境有64位的Windows 7操作系統(tǒng)、Matlab R2016a、CUDA Tookit 8.0、Cudnn 5.0和caffe框架模型。
3.1.2 數(shù)據(jù)集
所用數(shù)據(jù)集全部來自于癌癥影像檔案(The Cancer Imaging Archive, TCIA)網(wǎng)站公開的醫(yī)學(xué)影像資料,該網(wǎng)站包含CT、MRI和X射線等各類醫(yī)學(xué)圖像,選用CT圖像作為本次實驗測試的主要圖像。根據(jù)不同病患情況,我們下載了TCGA-ESCA食道癌、TCGA-STAD胃腺癌和TCGA-COAD結(jié)腸腺癌等系列的CT圖像數(shù)據(jù)集,分別如圖3所示。
圖3 數(shù)據(jù)集示例Fig.3 Dataset example
從3個系列數(shù)據(jù)集中分別選取200幅作為網(wǎng)絡(luò)模型的訓(xùn)練集;再從每個系列剩下的圖像中隨機選取20幅,共計60幅,組成驗證集;測試集則隨機從每個系列中選取5幅圖像,打亂后均分成3組,組成3個測試集。由于人眼對圖像亮度分量最為敏感,因此以下操作只在圖像亮度分量上進行。對訓(xùn)練集中的600幅高分辨率CT圖像先進行多倍數(shù)的下采樣處理,為了便于實驗測試,分別做了2,3,4倍的下采樣處理,接著采用雙三次插值算法將下采樣后的圖像插值到目標(biāo)分辨率,然后再將放大后的低分辨率圖像不重疊地裁剪成41×41像素大小的圖像塊,以此增大網(wǎng)絡(luò)的感受野,同時按照相同的方式對高分辨率CT圖像進行裁剪,最后將圖像塊對應(yīng)組成高低分辨率數(shù)據(jù)對,送入網(wǎng)絡(luò)進行訓(xùn)練。
3.1.3 參數(shù)設(shè)置
網(wǎng)絡(luò)訓(xùn)練階段使用Adam算法優(yōu)化模型參數(shù),該算法可以依據(jù)損失函數(shù)針對參數(shù)的梯度一階矩估計和二階矩估計動態(tài)改變對應(yīng)的學(xué)習(xí)速率,從而加速網(wǎng)絡(luò)模型的收斂。用公式可表示為:
st=ρ1st-1+(1-ρ1)gt,
(4)
rt=ρ2rt-1+(1-ρ2)gtgt,
(5)
(6)
網(wǎng)絡(luò)訓(xùn)練過程中動態(tài)調(diào)整學(xué)習(xí)率,也可以加速模型的收斂。首先采用高斯法初始化網(wǎng)絡(luò)權(quán)重,動量和權(quán)值衰減分別固定為0.9和0.000 1,然后采用較大基礎(chǔ)學(xué)習(xí)率0.01,使模型盡快找到收斂方向,一段時間訓(xùn)練后觀察損失函數(shù),當(dāng)損失函數(shù)趨于平穩(wěn)時,降低學(xué)習(xí)率繼續(xù)訓(xùn)練,如此循環(huán),直到學(xué)習(xí)率降至0.000 1時,模型基本收斂。
3.2.1 客觀評價標(biāo)準
為了更客觀地描述不同算法的效果差異,采用通用的圖像質(zhì)量評價標(biāo)準:峰值信噪比(Peak Signal to Noise Ratio, PSNR)和結(jié)構(gòu)相似性(Structural Similarity Index, SSIM)對每個算法恢復(fù)的高分辨率醫(yī)學(xué)圖像進行質(zhì)量評價[15]。
PSNR是根據(jù)兩幅圖像對應(yīng)像素點間的誤差對圖像質(zhì)量進行評價的方法,其值越高表明輸出圖像的失真越少,圖像重建質(zhì)量越好。SSIM是對比兩幅圖像相似度的評價標(biāo)準,其值越接近于1表示重建圖像越接近于原始的高分辨率圖像。它們的計算公式分別如下所示:
(7)
式中:KMSE表示均方誤差,n為圖像色彩位數(shù),這里為8。
(8)
c1=(k1L)2,c2=(k2L)2,
(9)
3.2.2 結(jié)果對比與分析
在上述兩種客觀評價標(biāo)準下,利用構(gòu)造好的3個測試集分別對所搭建的網(wǎng)絡(luò)模型進行實驗測試,并將測試結(jié)果與Bicubic、SRCNN[11]、FSRCNN[12]以及VDSR[13]等主流算法在2,3,4等放大倍數(shù)下進行對比,PSNR和SSIM數(shù)據(jù)對比如表1和表2所示,表中的數(shù)據(jù)是每個測試集的所有圖像分別經(jīng)過對應(yīng)算法處理后的平均值,加粗的數(shù)據(jù)為最優(yōu)結(jié)果。綜合分析表1、表2可以看出,與傳統(tǒng)的雙三次插值算法相比,所提模型重建的CT圖像質(zhì)量大幅提升,每個測試集的PSNR結(jié)果平均提升都在5 dB以上。與基于深度學(xué)習(xí)的SR先進算法相比,本文算法同樣取得了較好的成績,測試集2的PSNR數(shù)據(jù)相較VDSR和FSRCNN算法平均提升了1.01 dB和2.21 dB,測試集3的SSIM數(shù)據(jù)相較SRCNN算法平均提升了0.006。
表1 PSNR數(shù)據(jù)對比Tab.1 Comparison of PSNR data
表2 SSIM數(shù)據(jù)對比
為了更直觀地對比不同算法的重建效果,圖4至圖6分別給出了不同算法在2,3,4放大倍數(shù)下的重建圖像,測試圖像分別選自3個測試集。由效果圖可以看出傳統(tǒng)的雙三次插值算法重建結(jié)果最不清晰;SRCNN和FSRCNN的處理效果雖然有了一定提升,但在CT圖像的紋理區(qū)域仍有不足,且有偽影現(xiàn)象出現(xiàn);VDSR算法雖然在肉眼上與我們的算法看不出多大差距,但從客觀數(shù)據(jù)及網(wǎng)絡(luò)的尺度結(jié)構(gòu)對比,本文算法仍略勝一籌。因此綜合對比上述5種算法,所提模型能夠更準確全面地提取低分辨率CT圖像的原始特征,更清晰銳利地重建其細節(jié)紋理,同時重建的圖像邊緣信息有很好的連續(xù)性,并且沒有出現(xiàn)偽影現(xiàn)象。
圖4 2倍放大倍數(shù)下測試集1中圖像的主觀效果對比Fig.4 Comparison of subjective effects of images in test set one at two times magnification
圖5 3倍放大倍數(shù)下測試集2中圖像的主觀效果對比Fig.5 Comparison of subjective effects of images in test set two at three times magnification
圖6 4倍放大倍數(shù)下測試集3中圖像的主觀效果對比Fig.6 Comparison of subjective effects of images in test set 3 at four times magnification
本文提出了一種用于CT圖像超分辨率重建的網(wǎng)絡(luò)模型,用以解決現(xiàn)有模型網(wǎng)絡(luò)結(jié)構(gòu)單一以及實用性低等問題。借鑒殘差網(wǎng)絡(luò)思想,將全局殘差學(xué)習(xí)與多尺度卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合,構(gòu)造多尺度殘差塊,通過級聯(lián)多層殘差塊循環(huán)學(xué)習(xí)低分辨率圖像的殘差特征,最后融合輸入重建高分辨率圖像。由實驗數(shù)據(jù)分析可知,在3種放大因子下,該模型重建的CT圖像PSNR平均較VDSR算法提高了0.87,0.83,1.16 dB。由主觀評測可以看出本文模型能夠更清晰地恢復(fù)CT圖像中人體器官的細節(jié)紋理,同時支持多倍數(shù)的超分辨率重建,提升了算法的實用性。