高凈植,劉 祎,張 權(quán),桂志國
GAO Jingzhi,LIU Yi,ZHANG Quan,GUI Zhiguo
中北大學(xué) 生物醫(yī)學(xué)成像與影像大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室,太原 030051
Shanxi Provincial Key Laboratory for Biomedical Imaging and Big Data,North University of China,Taiyuan 030051,China
低劑量計(jì)算機(jī)斷層掃描在減少對患者的輻射劑量和對人體危害的同時(shí),也會(huì)使到達(dá)探測器的光子數(shù)減少,投影數(shù)據(jù)受到嚴(yán)重的噪聲污染,導(dǎo)致重建圖像質(zhì)量較差。近年來,在低劑量掃描條件下重建出低噪聲和高分辨率CT圖像的研究受到越來越多的關(guān)注[1]。
近些年,為提高低劑量CT圖像的重建質(zhì)量,基于非局部相似性理論[2-5]、稀疏表示和字典學(xué)習(xí)理論[6-8]、小波變換[9]及其他理論的各種算法[10-12]被提出。最初,Buades等[2]提出的非局部均值(Non-Local Means,NLM)算法應(yīng)用于自然圖像降噪,后來,各種改進(jìn)的非局部均值算法[3-4]被應(yīng)用在自然圖像和CT圖像降噪中,并取得了較好的效果,但有時(shí)噪聲不能被完全去除;Dabov等[5]提出的匹配三維濾波方法(Block-Matching and 3D Filtering,BM3D)在各種圖像去噪中都取得了較好的效果,是目前公認(rèn)降噪效果較好的方法之一,但在去除噪聲的同時(shí)容易造成圖像的過度模糊;Aharon等[6]提出的K-SVD算法是一種基于字典學(xué)習(xí)的稀疏表示方法,通過多次迭代尋找并建立一個(gè)全局最優(yōu)的過完備字典,使圖像可以用此過完備字典表示;Chen等[7-8]提出一種針對腦部低劑量CT圖像的字典學(xué)習(xí)算法和基于字典學(xué)習(xí)的去除噪聲和條形偽影的低劑量CT重建算法。Ke等[9]在分析低劑量CT圖像噪聲的基礎(chǔ)上,提出了一種基于小波系數(shù)的多尺度維納濾波方法,該算法能夠提高低劑量CT圖像的視覺質(zhì)量,但是由于圖像的過度模糊容易造成圖像細(xì)節(jié)信息的丟失。這些常規(guī)的CT圖像處理方法都存在使圖像過度模糊或去除噪聲不完全的缺點(diǎn),都難以在去除噪聲和保留圖像細(xì)節(jié)之間找到一個(gè)更好的平衡。而深度學(xué)習(xí)是模擬人腦進(jìn)行分析學(xué)習(xí)的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),它模擬人腦的機(jī)制來解釋數(shù)據(jù)。卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程是網(wǎng)絡(luò)參數(shù)不斷優(yōu)化的自適應(yīng)過程,基于其強(qiáng)大的特征提取能力,它更容易在去除噪聲的同時(shí)保留更多的圖像細(xì)節(jié)信息。
近年來,隨著卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展,及其在圖像、語音和文字識別方面均取得的突破性研究[13-14],將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像降噪已引起了廣大研究者的興趣。Xie等[15]和Agostinelli等[16]將堆疊稀疏去噪自動(dòng)編碼器應(yīng)用于圖像去噪,取得了較好的效果。Jain等[17]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于自然圖像去噪,將去噪過程看成神經(jīng)網(wǎng)絡(luò)的擬合過程,可以提高圖像的信噪比。Burger等[18]分析了卷積神經(jīng)網(wǎng)絡(luò)在圖像去噪中的性能,經(jīng)過與BM3D算法進(jìn)行對比,發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)在圖像去噪方面有很大發(fā)展?jié)摿?。近幾年,用卷積神經(jīng)網(wǎng)絡(luò)提高低劑量CT圖像質(zhì)量也引起了研究者的興趣。Hu等[19]提出將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于低劑量CT,可以提高圖像信噪比并保留圖像細(xì)節(jié)信息。Chen等[20]提出一種殘差編碼-解碼卷積神經(jīng)網(wǎng)絡(luò)用于低劑量CT圖像降噪,可以有效地抑制噪聲和偽影,并保留圖像的細(xì)節(jié)信息。這些基于卷積神經(jīng)網(wǎng)絡(luò)的圖像去噪方法都是基于淺層神經(jīng)網(wǎng)絡(luò),受到網(wǎng)絡(luò)層數(shù)的限制,不能充分發(fā)揮深層卷積神經(jīng)網(wǎng)絡(luò)在圖像特征提取方面的優(yōu)勢。
隨著深度學(xué)習(xí)的發(fā)展,尤其是線性整流單元(Rectified Linear Unit,ReLU)、最大池化、批量標(biāo)準(zhǔn)化(Batch Normalization,BN)等新網(wǎng)絡(luò)單元的出現(xiàn),深層卷積神經(jīng)網(wǎng)絡(luò)對比淺層網(wǎng)絡(luò)已經(jīng)在圖像識別、目標(biāo)檢測、圖像分割、目標(biāo)追蹤等領(lǐng)域取得了更好的成果[21-22]。
受深層卷積神經(jīng)網(wǎng)絡(luò)在圖像處理方面應(yīng)用的啟發(fā),本文提出了一種基于深度殘差卷積神經(jīng)網(wǎng)絡(luò)(Deep Residual Convolution Neural Network,DR-CNN)的低劑量CT圖像估計(jì)算法。本文將LDCT圖像作為DR-CNN模型的輸入,將與其對應(yīng)的LDCT圖像與NDCT圖像相減得到的殘差圖像作為標(biāo)簽,經(jīng)過模型訓(xùn)練,DR-CNN可以學(xué)習(xí)LDCT圖像和殘差圖像之間的映射關(guān)系,最后用訓(xùn)練得到的模型從LDCT圖像中預(yù)測NDCT圖像。此外,本文將殘差學(xué)習(xí)和旁路連接應(yīng)用于DR-CNN中,以提高網(wǎng)絡(luò)的收斂速度和估計(jì)圖像的質(zhì)量。實(shí)驗(yàn)表明,本文提出的DR-CNN可以從低劑量CT圖像中預(yù)測常規(guī)劑量CT圖像,且與其他公認(rèn)效果較好的降噪算法對比,本文算法的預(yù)測結(jié)果優(yōu)于其他算法。
近年來,隨著線性整流單元、參數(shù)初始化、梯度優(yōu)化算法、批量標(biāo)準(zhǔn)化以及殘差學(xué)習(xí)等各種深度學(xué)習(xí)方法的發(fā)展,深度卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在處理各種視覺任務(wù)方面取得了很大的成功。
CNN基本單元主要由輸入層、卷積層(Convolution,Conv)、激活函數(shù)和輸出層組成。圖像經(jīng)過輸入層后,由卷積層提取其特征圖,再經(jīng)過激活函數(shù)進(jìn)行非線性變換,然后從輸出層輸出,并進(jìn)入下一個(gè)神經(jīng)單元。經(jīng)典的激活函數(shù)包括tanh函數(shù)和sigmoid函數(shù),如下:
隨著網(wǎng)絡(luò)深度的增加,tanh函數(shù)和sigmoid函數(shù)在深層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中容易出現(xiàn)梯度消失現(xiàn)象。后來提出的線性整流單元可有效解決梯度消失問題,并且會(huì)大大提高網(wǎng)絡(luò)的收斂速度[23],其函數(shù)模型為:
由輸入層、卷積層、激活函數(shù)和輸出層組成的CNN基本單元可表達(dá)為:
其中,x是輸入;y是輸出;W是卷積矩陣;b是卷積偏置;f是ReLU函數(shù)。結(jié)構(gòu)示意圖如圖1所示。
圖1 CNN基本單元結(jié)構(gòu)圖
網(wǎng)絡(luò)訓(xùn)練過程中CNN內(nèi)部節(jié)點(diǎn)的分布變化稱為內(nèi)部協(xié)變量的轉(zhuǎn)移,通常認(rèn)為它是影響網(wǎng)絡(luò)訓(xùn)練速度的重要原因。為減少內(nèi)部協(xié)變量的轉(zhuǎn)移,后來提出了批量標(biāo)準(zhǔn)化(Batch Normalization,BN),它通過在每個(gè)非線性變換引入標(biāo)準(zhǔn)化和移位步驟,有效地解決了內(nèi)部協(xié)變量轉(zhuǎn)移的問題,從而大大加快了網(wǎng)絡(luò)的收斂速度[24],因此,批量標(biāo)準(zhǔn)化層也是組成CNN基本單元的一部分。在訓(xùn)練過程中,需要將訓(xùn)練數(shù)據(jù)分為基本數(shù)據(jù)單元,即mini-batch,然后進(jìn)行批量標(biāo)準(zhǔn)化。批量標(biāo)準(zhǔn)化的步驟及公式如下:
其中,m是批量大小,即batch size;γ和β是可學(xué)習(xí)的參數(shù)。包含批量標(biāo)準(zhǔn)化的CNN基本單元可表達(dá)為:
其中,x是輸入;y是輸出;W是卷積矩陣;f是ReLU函數(shù)。包含BN層的CNN基本單元如圖2所示。
圖2 包含BN層的CNN基本單元結(jié)構(gòu)圖
隨著網(wǎng)絡(luò)層數(shù)的加深,線性整流單元已經(jīng)不能完全解決梯度消失問題,而旁路連接也是解決梯度消失問題的有效方法之一。圖像在卷積過程中必然會(huì)存在信息丟失現(xiàn)象,隨著網(wǎng)絡(luò)層數(shù)的加深,信息丟失現(xiàn)象更為嚴(yán)重,而旁路連接可以將包含細(xì)節(jié)信息較多的特征圖與靠后的特征圖合并,從而將其攜帶的細(xì)節(jié)信息進(jìn)行傳遞,如圖3所示,有助于圖像細(xì)節(jié)的保護(hù)和圖像的恢復(fù)。
圖3 包含旁路連接的CNN基本單元結(jié)構(gòu)圖
殘差網(wǎng)絡(luò)最初是為了解決隨著網(wǎng)絡(luò)層數(shù)的加深網(wǎng)絡(luò)性能退化的問題。實(shí)驗(yàn)表明,殘差映射比原始映射更容易被學(xué)習(xí),因此殘差網(wǎng)絡(luò)是通過堆疊層學(xué)習(xí)殘差映射,而不是原始映射。當(dāng)網(wǎng)絡(luò)深度增加時(shí),它有助于避免訓(xùn)練過程中的梯度消失問題,因此采用殘差學(xué)習(xí)策略,很容易訓(xùn)練深度CNN網(wǎng)絡(luò),提高圖像分類和目標(biāo)檢測的準(zhǔn)確性。
本文任務(wù)對應(yīng)的直接映射是將LDCT圖像直接映射為NDCT圖像,殘差映射是將LDCT圖像映射為LDCT圖像與NDCT圖像相減得到的殘差圖像,即純噪聲圖像,考慮到殘差圖像對比NDCT圖像更為單一,其統(tǒng)計(jì)特性更容易被學(xué)習(xí),因此本文也引入殘差學(xué)習(xí)策略。由于本文用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行降噪任務(wù)的獨(dú)特性,本文的網(wǎng)絡(luò)模型不需要多個(gè)殘差單元,只采用一個(gè)殘差單元橫跨整個(gè)網(wǎng)絡(luò)結(jié)構(gòu),通過學(xué)習(xí)到的殘差映射即可間接得到直接映射。如圖4所示,假設(shè)X是輸入,Y是輸出,則原始映射可以表示為,而殘差映射可以表示為,其中F()X可以通過殘差卷積神經(jīng)網(wǎng)絡(luò)得到。因此原始映射可以表達(dá)為從而直接映射問題就可以轉(zhuǎn)化為殘差映射問題。
圖4 殘差學(xué)習(xí)結(jié)構(gòu)圖
噪聲是隨機(jī)信號,一般是不可預(yù)測的,通常采用統(tǒng)計(jì)學(xué)方法進(jìn)行分析,包括加性噪聲和乘性噪聲,而LDCT圖像中的偽影是在CT數(shù)據(jù)復(fù)雜的非線性采集過程中形成的非平穩(wěn)、非高斯噪聲,是一種復(fù)雜的噪聲模型。因此,本文將圖像的噪聲污染過程按照加性噪聲的模型進(jìn)行簡化。假設(shè)x是NDCT圖像,y是LDCT圖像,v是噪聲或殘差信息,它們之間的關(guān)系可以表示為:
因此,x=y-v,從而LDCT圖像去噪模型可以看成是尋找一個(gè)函數(shù)f滿足:
其中,f(y)≈v,并且f可以通過深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行監(jiān)督學(xué)習(xí)得到。
如圖5所示,本文的DR-CNN模型以LDCT圖像作為輸入,LDCT圖像與NDCT圖像相減得到的殘差圖像作為標(biāo)簽,學(xué)習(xí)輸入和標(biāo)簽之間的映射關(guān)系。通過采用殘差學(xué)習(xí)策略學(xué)習(xí)到的殘差映射,即可間接地得到直接映射,模型訓(xùn)練完成后,可以直接從低劑量CT圖像中預(yù)測常規(guī)劑量CT圖像。由于輸入和標(biāo)簽圖像的大小一般較大,為了提高網(wǎng)絡(luò)的擬合速度,輸入和標(biāo)簽都被剪切成50×50的小貼片。但是在測試階段,被測試圖像的大小不受限制。
圖5 網(wǎng)絡(luò)訓(xùn)練流程示意圖
DR-CNN模型是包含旁路連接和殘差學(xué)習(xí)的深層卷積神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)層數(shù)的多少直接關(guān)系到網(wǎng)絡(luò)性能的好壞,較少的卷積層提取圖像特征較少,不利于圖像的恢復(fù),網(wǎng)絡(luò)層數(shù)的加深雖有助于圖像特征的提取,但是過深的網(wǎng)絡(luò)會(huì)增加時(shí)間代價(jià)。VGGNet[25]是牛津大學(xué)計(jì)算機(jī)視覺組和GoogleDeepMind公司的研究員一起研發(fā)的深度卷積神經(jīng)網(wǎng)絡(luò),它探索了卷積神經(jīng)網(wǎng)絡(luò)的深度與其性能之間的關(guān)系,經(jīng)過實(shí)驗(yàn)對比,成功構(gòu)筑了16~19層深的卷積神經(jīng)網(wǎng)絡(luò)[25]。
本文的DR-CNN模型就是受VGGNet-19網(wǎng)絡(luò)模型的啟發(fā),其網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)與VGGNet-19中的16層卷積層相同,不同之處在于本文DR-CNN模型拋棄了VGG-19網(wǎng)絡(luò)中的全連接層和池化層。因?yàn)槿B接層主要用于分類識別,不適用于本文的任務(wù),而池化層會(huì)造成圖像信息的丟失,不利于圖像的恢復(fù)。而且去掉全連接層會(huì)使網(wǎng)絡(luò)參數(shù)大大減少,從而減少了網(wǎng)絡(luò)訓(xùn)練時(shí)間,使網(wǎng)絡(luò)更容易被訓(xùn)練。
如圖6所示,網(wǎng)絡(luò)中共有16個(gè)卷積層:第一個(gè)卷積層后連接了ReLU函數(shù),設(shè)置了128組3×3的卷積核,將1通道轉(zhuǎn)換為128通道,即對每一個(gè)輸入圖像提取128張?zhí)卣鲌D;最后一個(gè)卷積層中設(shè)置了1組3×3×128的卷積核,將128通道轉(zhuǎn)換為1通道,輸出預(yù)測的殘差圖像;其他卷積層都連接一個(gè)BN層和一個(gè)ReLU函數(shù),且都設(shè)置了128組3×3×128的卷積核。除此之外,網(wǎng)絡(luò)中需要設(shè)置旁路連接模塊,而過多的旁路連接模塊會(huì)增加網(wǎng)絡(luò)的復(fù)雜度,不利于網(wǎng)絡(luò)的訓(xùn)練,而且網(wǎng)絡(luò)中共有16個(gè)卷積層,因此共設(shè)置了4個(gè)旁路連接模塊,每個(gè)旁路連接模塊由3個(gè)卷積層和1個(gè)旁路連接組成,可以在防止梯度消失的同時(shí)加快網(wǎng)絡(luò)收斂速度,并且有助于圖像細(xì)節(jié)信息的保護(hù),提高預(yù)測圖像的質(zhì)量。
圖6 網(wǎng)絡(luò)結(jié)構(gòu)圖
卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程就是誤差函數(shù)的最小化過程,因此,本文的DR-CNN模型將預(yù)測圖像和標(biāo)簽圖像的均方誤差作為損失函數(shù):
其中,N是BN層的批量大??;W是參數(shù)集合;xi是批量中第i個(gè)輸入圖像,即第i個(gè)LDCT圖像;yi是與xi對應(yīng)的第i個(gè)NDCT圖像;f(W,xi)是預(yù)測的殘差圖像。
本文采用自適應(yīng)梯度下降法(Adam)最小化損失函數(shù)。模型中加入的BN層有助于網(wǎng)絡(luò)的收斂,其批量大小設(shè)置為128,即在輸入圖像中隨機(jī)選擇128個(gè)圖像和與之對應(yīng)的標(biāo)簽圖像作為一個(gè)批量進(jìn)行網(wǎng)絡(luò)訓(xùn)練。其次,本文用高斯隨機(jī)分布初始化卷積核權(quán)重。網(wǎng)絡(luò)共訓(xùn)練了40 epoch,前15 epoch學(xué)習(xí)率為10-3,最后15 epoch學(xué)習(xí)率為10-5,其他學(xué)習(xí)率設(shè)置為10-4。除此之外,本文模型在每個(gè)卷積層之前都對圖像進(jìn)行零填充,使圖像在經(jīng)過每個(gè)卷積層后大小不變,從而防止有效信息的丟失。網(wǎng)絡(luò)訓(xùn)練具體參數(shù)如表1所示。
表1 網(wǎng)絡(luò)訓(xùn)練具體參數(shù)
本文的DR-CNN模型是一種深層殘差卷積神經(jīng)網(wǎng)絡(luò)模型,實(shí)現(xiàn)從低劑量CT圖像預(yù)測常規(guī)劑量CT圖像,主要包括3個(gè)特點(diǎn):
(1)本文的DR-CNN模型共有16個(gè)卷積層,屬于深層卷積神經(jīng)網(wǎng)絡(luò),對比淺層卷積神經(jīng)網(wǎng)絡(luò),它能夠?qū)D像逐層進(jìn)行特征提取,更有利于圖像的恢復(fù)。
(2)本文的DR-CNN模型中設(shè)置了4個(gè)旁路連接模塊,可以幫助解決隨著網(wǎng)絡(luò)層數(shù)的加深而出現(xiàn)的梯度消失問題,而且旁路中攜帶的大量圖像細(xì)節(jié)信息有助于更好地去除噪聲和保留圖像細(xì)節(jié)。
(3)考慮到殘差映射比直接映射更容易被學(xué)習(xí),本文的DR-CNN模型采用殘差學(xué)習(xí)策略,通過學(xué)習(xí)殘差映射間接地得到LDCT圖像與NDCT圖像之間的映射關(guān)系,有利于提高網(wǎng)絡(luò)性能。
數(shù)據(jù)集中包括50張大小為512×512的常規(guī)劑量CT圖像,是通過對同一體模進(jìn)行胸腔和腹腔CT掃描得到的投影數(shù)據(jù)進(jìn)行濾波反投影重建得到的。但是由于與常規(guī)劑量CT圖像一一對應(yīng)的低劑量CT圖像很難得到,本文在NDCT圖像的投影域加入非平穩(wěn)噪聲模型模擬CT掃描過程中投影數(shù)據(jù)被噪聲污染的過程,再進(jìn)行濾波反投影重建得到LDCT圖像。非平穩(wěn)噪聲模型采用Wang等[26]提出的低劑量CT噪聲模型,認(rèn)為經(jīng)系統(tǒng)校準(zhǔn)和對數(shù)變換后的低劑量CT投影數(shù)據(jù)近似服從非平穩(wěn)高斯分布,其樣本均值和方差都具有非線性的解析關(guān)系[27]。此噪聲模型可以表示為:
其中,-和分別表示在探測器信道i處投影數(shù)據(jù)的均值和方差;η是尺度參數(shù),本文取22000;wi為適應(yīng)不同信道的參數(shù),本文取200。
如圖7所示,圖(a1)、圖(b1)和圖(c1)是數(shù)據(jù)集中的部分常規(guī)劑量CT圖像,與之對應(yīng)的低劑量CT圖像分別為圖(a2)、圖(b2)和圖(c2)。從圖7中可以看出,數(shù)據(jù)集取自同一體模不同部位的CT掃描圖像,因此數(shù)據(jù)集中各個(gè)圖像形狀不盡相同,可以更好地說明此模型處理不同部位不同形狀圖像的有效性。數(shù)據(jù)集中共有50對NDCT圖像和LDCT圖像,將其中的45對作為訓(xùn)練集,以步長10進(jìn)行剪切后,共產(chǎn)生近20萬張小圖片作為訓(xùn)練數(shù)據(jù);其他的作為測試集,即訓(xùn)練集和測試集中的圖像不重復(fù)。
圖7 數(shù)據(jù)集中的典型示例
為驗(yàn)證本文DR-CNN模型的有效性,選取如圖8所示的一張胸腔CT掃描圖像和一張腹腔CT掃描圖像進(jìn)行測試。將測試結(jié)果與其他降噪算法進(jìn)行對比,包括目前公認(rèn)效果較好的降噪算法中的NLM[2]算法、K-SVD[6]算法和BM3D[5]算法。
圖8 測試圖像
圖9是測試圖1的各種算法對比結(jié)果圖,圖(a)、圖(b)分別是NDCT圖像和LDCT圖像,圖(c)、圖(d)和圖(e)分別是NLM算法、K-SVD算法和BM3D算法處理后的結(jié)果圖,圖(f)是本文DR-CNN模型的預(yù)測結(jié)果圖。圖10給出了圖9(a)中紅色方框內(nèi)感興趣區(qū)域的局部放大圖。從視覺效果來看,NLM算法雖有效地保留了圖像的細(xì)節(jié)信息,但是對比圖10(c)和圖10(f)的紅色圓圈部分可以看出,一些噪聲和偽影沒有去除;對比圖10(d)和圖10(f)可以看出,K-SVD算法去除了大量的噪聲和偽影,但是從黃色圓圈內(nèi)的細(xì)節(jié)部分,發(fā)現(xiàn)K-SVD算法在去除噪聲的同時(shí)會(huì)引入其他斑塊噪聲;觀察10(e)可以看出,BM3D算法有效抑制了圖像中的噪聲和偽影,并且沒有引入其他噪聲,但是對比圖10(e)和圖10(f)中綠色圓圈內(nèi)的細(xì)節(jié)部分,發(fā)現(xiàn)BM3D算法處理后的圖像過度平滑,造成了邊緣和細(xì)節(jié)信息的丟失。從對比結(jié)果來看,本文的DR-CNN模型能有效地從LDCT圖像中預(yù)測NDCT圖像,不僅去除了噪聲和條形偽影,而且圖像邊緣和細(xì)節(jié)信息保留較好,預(yù)測結(jié)果與真實(shí)圖像最為接近。
圖9 測試圖1的各種算法結(jié)果圖
圖10 圖9中紅色方框內(nèi)感興趣區(qū)域的局部放大圖
圖11是測試圖2的各種算法處理結(jié)果圖,圖(a)、圖(b)分別是NDCT圖像和LDCT圖像,圖(c)、圖(d)、圖(e)和圖(f)分別是NLM算法、K-SVD算法、BM3D算法和本文DR-CNN模型處理后的結(jié)果圖。圖12是圖11中紅色方框選取的感興趣區(qū)域的局部放大圖。對比圖12(c)和圖12(f)中紅色圓圈內(nèi)部分可以看出,NLM處理結(jié)果中同樣殘留一些噪聲和偽影;對比圖12(d)和圖12(f)中黃色圓圈內(nèi)的細(xì)節(jié)部分可以看出,K-SVD算法在去除噪聲的同時(shí)會(huì)引入一些斑塊偽影;從圖12(e)可以看出,BM3D算法去除了噪聲和偽影,但是其處理后圖像由于過度平滑造成了邊緣和細(xì)節(jié)信息的丟失,尤其是綠色圓圈內(nèi)的骨骼部分經(jīng)BM3D算法處理后線條變得很模糊。而本文的DR-CNN模型在抑制噪聲和偽影的同時(shí)有效地保留了圖像細(xì)節(jié)信息,因此從視覺效果來看,本文DR-CNN模型處理結(jié)果最好。
圖11 測試圖2的各種算法結(jié)果圖
圖12 圖11中紅色方框內(nèi)感興趣區(qū)域的局部放大圖
為了更好地展現(xiàn)本文DR-CNN模型的優(yōu)越性,圖13描繪了測試圖1的各種算法處理結(jié)果的橫向側(cè)面輪廓圖(取第200行像素),圖14描繪了測試圖2的各種算法處理結(jié)果的縱向側(cè)面輪廓圖(取第251列像素)。從輪廓圖可以看出,相對于其他的降噪算法,本文DR-CNN模型的處理結(jié)果的側(cè)面輪廓無論在邊緣區(qū)域還是背景區(qū)域都更接近原始圖像的側(cè)面輪廓。
圖13 測試圖1各種算法處理結(jié)果的側(cè)面輪廓線
圖14 測試圖2各種算法處理結(jié)果的側(cè)面輪廓線
為了更加清楚地描述不同算法的處理結(jié)果,本文采用峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)、均方根誤差(Root Mean Square Error,RMSE)和結(jié)構(gòu)相似性(Structural Similarity Index Measurement,SSIM)等質(zhì)量參數(shù)對各算法進(jìn)行定量描述,其中PSNR、RMSE和SSIM的定義如下:
其中,M×N表示圖像的大小;x和y分別表示LDCT圖像和去噪后圖像。
其中,ux、uy分別表示圖像x和y的均值;σx、σy分別表示圖像x和y標(biāo)準(zhǔn)差;、分別表示圖像x和y的方差;σxy表示圖像x和y的協(xié)方差;C1、C2和C3分別是常數(shù);x和y分別表示LDCT圖像和去噪后圖像。
圖15是測試圖1和測試圖2各種算法處理結(jié)果的PSNR柱狀圖,PSNR反映了圖像的噪聲水平。從圖15中可以看出,本文算法處理結(jié)果的峰值信噪比略高于其他算法處理結(jié)果,表明本文算法的預(yù)測結(jié)果圖像噪聲較少,質(zhì)量優(yōu)于其他算法。圖16和圖17分別是各種算法處理結(jié)果的RMSE和SSIM柱狀圖。從圖中可知,本文DR-CNN模型處理結(jié)果的RMSE值比其他算法值小,SSIM值比其他算法值大,說明本文DR-CNN模型的預(yù)測結(jié)果與原圖偏差較小,結(jié)果與原圖更相似。因此,無論在視覺效果方面還是在定量評價(jià)方面,都表明本文DR-CNN模型在低劑量CT圖像預(yù)測方面優(yōu)于目前公認(rèn)效果較好的其他降噪算法。
圖15 不同算法處理結(jié)果的PSNR對比圖
圖16 不同算法處理結(jié)果的RMSE對比圖
圖17 不同算法處理結(jié)果的SSIM對比圖
本文提出的DR-CNN模型中設(shè)置了4個(gè)旁路連接模塊,旁路中攜帶的大量圖像細(xì)節(jié)信息有助于圖像的恢復(fù),并采用殘差學(xué)習(xí)機(jī)制加速網(wǎng)絡(luò)的收斂。為驗(yàn)證旁路連接和殘差學(xué)習(xí)對模型訓(xùn)練的作用,本文實(shí)驗(yàn)中分別訓(xùn)練了沒有旁路連接和不采用殘差學(xué)習(xí)機(jī)制的DR-CNN模型,并與本文提出的DR-CNN模型進(jìn)行對比,3種模型除旁路連接和殘差學(xué)習(xí)機(jī)制的不同外,都采用相同的數(shù)據(jù)集和訓(xùn)練參數(shù)進(jìn)行訓(xùn)練。
圖18 3種模型的PSNR變化曲線(以測試圖2為例)
圖18和圖19分別給出了以測試圖2為例的3種模型隨訓(xùn)練次數(shù)增加峰值信噪比和均方根誤差的變化過程。從圖中可以看出,包含旁路連接模塊和殘差學(xué)習(xí)機(jī)制的DR-CNN模型有較高的峰值信噪比和較低的均方根誤差,且隨著模型訓(xùn)練次數(shù)的增多兩者的波動(dòng)越來越小,最終趨于平穩(wěn),說明圖像恢復(fù)質(zhì)量較好,網(wǎng)絡(luò)收斂較快,且收斂效果較好。因此,本文提出的DR-CNN模型中設(shè)置的4個(gè)旁路連接模塊和采取的殘差學(xué)習(xí)機(jī)制確實(shí)有助于圖像的恢復(fù)和估計(jì)以及網(wǎng)絡(luò)的收斂。
圖19 3種模型的RMSE變化曲線(以測試圖2為例)
本文提出了一種改進(jìn)深度殘差卷積神經(jīng)網(wǎng)絡(luò)的低劑量CT圖像估計(jì)算法,將成對的低劑量CT圖像和常規(guī)劑量CT圖像作為數(shù)據(jù)集,進(jìn)行模型訓(xùn)練,從而可以直接從低劑量CT圖像估計(jì)常規(guī)劑量CT圖像。模型中設(shè)置了旁路連接模塊并采用殘差學(xué)習(xí)機(jī)制,可以提高網(wǎng)絡(luò)的收斂速度和圖像恢復(fù)的質(zhì)量。通過與目前效果較好的圖像降噪算法對比,本文DR-CNN模型的預(yù)測圖像不但有效抑制了圖像噪聲和條形偽影,而且保留了更多的圖像細(xì)節(jié)信息,更加接近原始圖像,而且DR-CNN模型預(yù)測圖像的均方根誤差比其他算法處理結(jié)果小,峰值信噪比略高于其他算法處理結(jié)果。因此,無論從主觀的視覺效果還是從客觀的質(zhì)量評價(jià)來看,本文DR-CNN模型的處理結(jié)果都優(yōu)于其他算法的處理結(jié)果,說明本文提出的DR-CNN模型在從低劑量CT圖像中估計(jì)常規(guī)劑量CT圖像方面是可行且有效的。