劉 紅 張世杰

(1、四川大學(xué)視覺合成圖形圖像技術(shù)國(guó)防重點(diǎn)學(xué)科實(shí)驗(yàn)室，四川 成都610064 2、江蘇一影醫(yī)療設(shè)備有限公司，上海200000)

CT(Computed Tomography)，即電子計(jì)算機(jī)斷層掃描，它是利用精確準(zhǔn)直的X 線束、γ 射線、超聲波等，與靈敏度極高的探測(cè)器一同圍繞人體的某一部位作一個(gè)接一個(gè)的斷面掃描，具有掃描時(shí)間快，圖像清晰等特點(diǎn)，可用于多種疾病的檢查[1]。然而，CT圖像在拍攝的過程中會(huì)產(chǎn)生高劑量的輻射，這會(huì)對(duì)病人的身體健康產(chǎn)生極大的威脅，因此目前通常會(huì)通過減少拍攝劑量來降低對(duì)病人身體的傷害。但研究發(fā)現(xiàn)采用低劑量拍攝到的CT 圖像通常都會(huì)有噪聲，噪聲的產(chǎn)生會(huì)影響到CT 圖像的質(zhì)量，這會(huì)嚴(yán)重影響到醫(yī)生對(duì)病人病情的診斷。因此低劑量CT 去噪就成為了目前重要的研究方向，而降低了拍攝劑量會(huì)導(dǎo)致CT 圖像帶有明顯的噪聲和偽影。目前，領(lǐng)域內(nèi)的研究者們針對(duì)出現(xiàn)的這些問題也提出了一些方法，主要包括投影域處理方法、迭代重建方法和后處理方法。

投影域處理方法，對(duì)探測(cè)器接收到的投影數(shù)據(jù)進(jìn)行去噪處理，然后通過濾波反投影進(jìn)行CT 圖像的重建。這種方法效率高，適合臨床應(yīng)用，但是同時(shí)又對(duì)設(shè)備的依賴性高。

迭代重建方法根據(jù)投影圖像的統(tǒng)計(jì)特性，利用函數(shù)關(guān)聯(lián)投影圖像和重建圖像，通過在目標(biāo)函數(shù)中融入先驗(yàn)信息，采用迭代的方式進(jìn)行圖像重建。迭代法圖像重建算法通過對(duì)此迭代計(jì)算獲得人體每個(gè)部位CT 值，獲得的圖像質(zhì)量較好。

后處理算法直接對(duì)設(shè)備拍攝得到低劑量CT 圖像進(jìn)行操作，去噪后可以得到標(biāo)準(zhǔn)劑量CT 圖像，所以它的目的主要是去除圖像中的偽影與噪聲。雖然通過處理后，CT 圖像的質(zhì)量能夠得到良好的改善，但是在圖像中仍然存在著過渡平滑和誤差的問題。由于CT 圖像的噪聲都是分布不均與的，所以這些問題還需要很好的解決。

近年來，深度學(xué)習(xí)在圖像處理領(lǐng)域取得了顯著成就，如人臉識(shí)別，圖像去噪等，這給低劑量CT 圖像去噪提供了很好的解題新思路。目前已有多種深度學(xué)習(xí)低劑量CT 去噪方法，如Hu Chen 等提出的RED-CNN[2]是一種基于殘差連接的編解碼網(wǎng)絡(luò)，對(duì)臨床數(shù)據(jù)和公開集數(shù)據(jù)均取得較好效果，Qingsong Yang 等提出WGAN-VGG[3]，利用生成對(duì)抗網(wǎng)絡(luò)（GAN[4]）WGAN[5]理念及VGG[6]作為感知損失進(jìn)一步提升低劑量CT 去噪效果。這些性能優(yōu)異的深度學(xué)習(xí)方法均需要利用對(duì)齊的低劑量CT 數(shù)據(jù)和標(biāo)準(zhǔn)劑量CT 數(shù)據(jù)進(jìn)行訓(xùn)練（成對(duì)的低劑量CT 數(shù)據(jù)和標(biāo)準(zhǔn)劑量CT數(shù)據(jù)必須具有除噪聲外完全相同的結(jié)構(gòu)，如圖1），對(duì)于頭部等剛性部位對(duì)齊數(shù)據(jù)相對(duì)容易獲取，而對(duì)于胸腹部，由于呼吸心跳的影響很難得到對(duì)齊的數(shù)據(jù)。

1 相關(guān)工作

目前幾種深度學(xué)習(xí)低劑量CT 去噪方法的提出證明了深度學(xué)習(xí)方法對(duì)低劑量CT 去噪的有效性，目前的方法大多只能采用對(duì)齊數(shù)據(jù)進(jìn)行訓(xùn)練，這大大限制了深度學(xué)習(xí)方法的應(yīng)用范圍，CycleGAN[7]是一種風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)，采用了兩組生成器和判別器，可以利用非對(duì)齊數(shù)據(jù)進(jìn)行訓(xùn)練。由于CT 數(shù)據(jù)是一種醫(yī)學(xué)高精度數(shù)據(jù)，原始的CycleGAN 無法完成低劑量CT 去噪。

圖1 (a) (b)為對(duì)齊數(shù)據(jù)和(c)(d)非對(duì)齊數(shù)據(jù)

本文提出了一種基于CycleGAN 深度學(xué)習(xí)生成對(duì)抗網(wǎng)絡(luò)的低劑量CT 去噪網(wǎng)絡(luò)，采用CycleGAN[7]架構(gòu)，通過設(shè)計(jì)選用更加高效的生成器、判別器、損失函數(shù)獲得新的深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了采用非對(duì)齊的低劑量CT 數(shù)據(jù)和標(biāo)準(zhǔn)劑量CT 數(shù)據(jù)進(jìn)行訓(xùn)練的目標(biāo)。

2 方法介紹

本研究通過收集臨床數(shù)據(jù)，設(shè)計(jì)深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)并提出新的損失函數(shù)，再利用收集到數(shù)據(jù)驗(yàn)證提出方法的有效性。

2.1 數(shù)據(jù)收集及處理

實(shí)驗(yàn)采用胸腹部數(shù)據(jù)對(duì)方案驗(yàn)證研究，胸腹部數(shù)據(jù)包括11個(gè)人胸腹部不同部位數(shù)據(jù)。其中低劑量CT 數(shù)據(jù)數(shù)量為658，標(biāo)準(zhǔn)劑量CT 數(shù)據(jù)數(shù)量為657，所有數(shù)據(jù)分辨率均為512×512，其它參數(shù)如Thickness 均為5，低劑量CT 數(shù)據(jù)的Kvp 為50，標(biāo)準(zhǔn)劑量CT 數(shù)據(jù)的Kvp 為240 等。訓(xùn)練隨機(jī)選取其中10 人作為訓(xùn)練集，剩余1 人作為測(cè)試集。

醫(yī)學(xué)圖像采用高精度的dcm 格式進(jìn)行保存，具有16 位65536 階灰度。為了保證圖像精度并適應(yīng)深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)需求，將數(shù)據(jù)歸一化并轉(zhuǎn)為16 位mat 格式。

由于CT 圖像集數(shù)量較小，通過對(duì)原始圖像從左到右，自上而下滑動(dòng)切割出尺寸為64*64 圖像作為訓(xùn)練集，為保證切割出圖像為有效人體部位而非黑色背景，切割時(shí)距離上下邊界均為64 像素的中間部位，滑動(dòng)間隔為32 像素。滑動(dòng)切割后得到99495 對(duì)低劑量CT 數(shù)據(jù)和標(biāo)準(zhǔn)劑量CT 數(shù)據(jù)并輸入網(wǎng)絡(luò)訓(xùn)練。

2.2 深度學(xué)習(xí)網(wǎng)絡(luò)

2.2.1 生成器

圖2 生成器結(jié)構(gòu)圖

生成器用于將低劑量CT 數(shù)據(jù)去噪重建生成標(biāo)準(zhǔn)劑量數(shù)據(jù)，生成器的性能直接決定了生成圖像的質(zhì)量。研究選用生成器采用8 層3*3*64，步長(zhǎng)為1，padding 為VALID 卷積層和8 層3*3*64，步長(zhǎng)為1，padding 為VALID 的反卷積層構(gòu)成，從每?jī)蓪泳矸e層與其對(duì)應(yīng)反卷積層進(jìn)行殘差連接。如圖2 所示。

2.2.2 判別器

圖3 判別器結(jié)構(gòu)圖

判別器用于判斷生成器生成的數(shù)據(jù)質(zhì)量好壞，并對(duì)生成器進(jìn)行反饋，生成器根據(jù)反饋實(shí)時(shí)調(diào)節(jié)生成方向。判別器與生成器相輔相成，如果判別器性能過于強(qiáng)大，對(duì)生成器生成的數(shù)據(jù)每次都評(píng)價(jià)很低，生成器可能會(huì)將正確的方向誤認(rèn)為錯(cuò)誤，無法正確生成數(shù)據(jù)；如果判別器性能太弱，對(duì)生成器生成的不好數(shù)據(jù)反饋也會(huì)很好，同樣不利于生成器生成圖像，選用適用于生成器的判別器可以提高網(wǎng)絡(luò)的新年，研究采用判別器網(wǎng)絡(luò)包括6 層卷積層和2 層全連接層。所有卷積層卷積核尺寸均為3×3，利用leakyReLU 函數(shù)進(jìn)行激活，卷積層前兩層CONV a 卷積核數(shù)為64，中間兩層CONV b 卷積核數(shù)為128，最后兩層CONV c 卷積核數(shù)為256。兩個(gè)全連接層輸出分別位1024 和1，網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

2.2.3 感知損失

感知損失由VGG 網(wǎng)絡(luò)改進(jìn)而來，由13 層卷積層以及緊隨其后的激活層和4 層最大值池化層構(gòu)成。所有卷積層和池化層padding 均為SAME。前兩層卷積層尺寸為3*3*64，然后采用relu 激活函數(shù)激活后通過一個(gè)步長(zhǎng)為2，尺寸為2*2*64 的最大池化層進(jìn)行池化。第三、四層卷積層尺寸為3*3*128，然后采用relu 激活函數(shù)激活后通過一個(gè)步長(zhǎng)為2，尺寸為2*2*128 的最大池化層進(jìn)行池化。第五、六、七層卷積層尺寸為3*3*256，然后采用relu 激活函數(shù)激活后通過一個(gè)步長(zhǎng)為2，尺寸為2*2*256 的最大池化層進(jìn)行池化。第八、九、十層卷積層尺寸為3*3*512，然后采用relu 激活函數(shù)激活后通過一個(gè)步長(zhǎng)為2，尺寸為2*2*256的最大池化層進(jìn)行池化。最后三層卷積層尺寸同樣為3*3*512，然后采用relu 激活函數(shù)激活。所有卷積層步長(zhǎng)均為1。

2.2.4 損失函數(shù)

整個(gè)網(wǎng)絡(luò)由兩個(gè)生成器和兩個(gè)判別器構(gòu)成，兩個(gè)生成器分別由G 和F 表示，G 代表將低劑量CT 數(shù)據(jù)生成標(biāo)準(zhǔn)劑量CT 數(shù)據(jù)的生成器，F(xiàn) 代表將標(biāo)準(zhǔn)劑量CT 數(shù)據(jù)生成低劑量CT 數(shù)據(jù)的生成器。兩個(gè)判別器分別由DX和DY表示，判別器DX用來判斷數(shù)據(jù)是否為低劑量CT 數(shù)據(jù)，DY用于判斷數(shù)據(jù)是否為標(biāo)準(zhǔn)劑量CT 數(shù)據(jù)，網(wǎng)絡(luò)的整體損失函數(shù)如下：

循環(huán)損失如下，將通過兩個(gè)生成器后的數(shù)據(jù)與原數(shù)據(jù)進(jìn)行比較來檢測(cè)兩個(gè)生成器性能，網(wǎng)絡(luò)添加感知損失進(jìn)一步加強(qiáng)循環(huán)損失。

3 結(jié)果

3.1 訓(xùn)練環(huán)境

訓(xùn)練主要硬件如下：

圖4 測(cè)試集效果(A)低劑量CT 數(shù)據(jù)（LDCT）(B)RED-CNN (C)WGAN-VGG (D)提出的網(wǎng)絡(luò) (E)標(biāo)準(zhǔn)劑量CT 數(shù)據(jù)（NDCT）

圖5 測(cè)試集效果局部效果(a)LDCT (b)RED-CNN (c)WGAN-VGG (d)提出的網(wǎng)絡(luò) (e)NDCT

3.2 效果

由于數(shù)據(jù)為非對(duì)齊數(shù)據(jù)，無法采用SSIM或PSNR 等傳統(tǒng)評(píng)測(cè)指標(biāo)對(duì)數(shù)據(jù)結(jié)果進(jìn)行評(píng)估。研究結(jié)果由兩名相關(guān)醫(yī)師進(jìn)行評(píng)估并獲得良好反饋。下面通過幾個(gè)不同部分展示深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的效果，并與RED-CNN 和WGAN-VGG 進(jìn)行對(duì)比，展現(xiàn)算法采用非對(duì)齊數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)的優(yōu)勢(shì)。

圖5 數(shù)據(jù)為圖4 數(shù)據(jù)中紅色矩形截取到數(shù)據(jù)，從圖中可以看出RED-CNN 生成數(shù)據(jù)較模糊無法達(dá)到理想的去噪效果；WGAN-VGG 仍有明顯噪聲，同樣無法完成去噪任務(wù)；提出的網(wǎng)絡(luò)生成的圖像噪聲明顯降低，并且與標(biāo)準(zhǔn)劑量CT 數(shù)據(jù)圖像質(zhì)量非常接近，達(dá)到了采用非對(duì)齊數(shù)據(jù)訓(xùn)練進(jìn)行低劑量CT 去噪的目的。

4 討論

CT 作為現(xiàn)代醫(yī)學(xué)診斷的有效手段，獲得了非常廣泛且成熟的應(yīng)用。由于CT 拍攝時(shí)產(chǎn)生的輻射對(duì)人體的傷害也是不可忽視的，并且降低拍攝劑量又帶來圖像質(zhì)量下降的問題，所以如何提高低劑量拍攝的CT 圖像質(zhì)量成為熱門研究。

隨著深度學(xué)習(xí)的發(fā)展及其在圖像方面表現(xiàn)出的優(yōu)異性能，研究人員采用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的方法對(duì)低劑量CT 去噪進(jìn)行了一系列研究。其中RED-CNN 和WGAN-VGG 的提出，獲得了良好的低劑量CT 去噪效果，證明了卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行低劑量CT 去噪的有效性。但是目前網(wǎng)絡(luò)仍有問題需要解決，必須采用大量對(duì)齊數(shù)據(jù)進(jìn)行訓(xùn)練，現(xiàn)實(shí)狀況下這種數(shù)據(jù)較難獲得。本文提出一種可以利用非對(duì)齊數(shù)據(jù)進(jìn)行訓(xùn)練的低劑量CT 去噪網(wǎng)絡(luò), 通過對(duì)收集到的臨床11 個(gè)人的數(shù)據(jù)進(jìn)行訓(xùn)練和測(cè)試，證明了提出的網(wǎng)絡(luò)的有效性。

由于提出的網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜，訓(xùn)練速度較慢，接下來將通過優(yōu)化網(wǎng)絡(luò)提高訓(xùn)練速度及對(duì)低劑量CT 圖像的去噪效果。