賀玉華，楊明明

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

光學(xué)相干斷層掃描（Optical Coherence Tomography，OCT）[1]是一種極有潛力的生物醫(yī)學(xué)光學(xué)成像技術(shù)，由于其具有無接觸、掃描速度快和超高分辨率的特點(diǎn)而被廣泛應(yīng)用于眼科。然而，OCT 圖像中含有大量的散斑噪聲，散斑噪聲會掩蓋細(xì)微并且很重要的圖像特征，最終影響臨床診斷。因此，去除OCT 圖像中的斑點(diǎn)噪聲對于提高圖像質(zhì)量和臨床診斷來說有很重要的意義。

近年來，為了有效地去除SD-OCT 中的斑點(diǎn)噪聲，基于塊匹配[2-4]、稀疏字典學(xué)習(xí)[5]、偏微分方程[6]，以及基于其他理論的多種算法相繼被提出。Buades 等人[2]提出的非局部均值濾波算法（Non-Local Means，NLM）應(yīng)用在自然圖像上去噪并取得了很好的效果，但對OCT圖像去噪來說并不適用，因此，研究者提出了很多改進(jìn)的非局部均值算法[3]，但這些方法往往會使圖像變模糊。在非局部均值算法的基礎(chǔ)上，Chong 等人[4]提出了塊匹配三維過濾（Block-Matching and 3D filtering，BM3D）算法，其原理是對匹配的相似塊進(jìn)行協(xié)同過濾來進(jìn)行去噪，但在抑制噪聲的同時可能會引起圖像邊緣的失真。Esmaeili 等人[5]提出了一種改進(jìn)的基于KSVD 的字典學(xué)習(xí)算法，其原理是學(xué)習(xí)含噪圖像數(shù)據(jù)和不含噪圖像數(shù)據(jù)之間的字典，并通過不斷更新字典使得去噪圖像逼近不含噪的圖像，但該算法對字典太過依賴。Puvanathasan 等人[6]提出了一種基于偏微分方程的各向異性擴(kuò)散方法，該方法雖然能夠在去除噪聲的同時保留圖像細(xì)節(jié)甚至增強(qiáng)邊緣，但其結(jié)果往往過于平滑。這些算法在OCT 去噪上都存在一些缺點(diǎn)：過度模糊或平滑圖像，噪聲的去除不夠徹底或者在去噪結(jié)果中引入了偽影?？傊?，這些算法在去噪和保留原圖細(xì)節(jié)之間很難達(dá)到平衡狀態(tài)。

目前，深度學(xué)習(xí)已經(jīng)在多種成像應(yīng)用中取得了巨大成就，從低級任務(wù)到高級任務(wù)，例如圖像去噪[7-8]，去模糊[9]和超分[10]到分割[11]，檢測和識別。它模仿了人類處理信息的方式，并通過分層網(wǎng)絡(luò)框架從像素?cái)?shù)據(jù)中提取高級特征[12]。Wei 等人[13]首次將聚類的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于OCT 圖像去噪。Song 等人[14]提出了一種基于ResNet 的方法，可以在提高信噪比的同時保留細(xì)節(jié)特征。Ma 等人[15]提出了一種基于wasserstein 生成對抗網(wǎng)絡(luò)（wGAN）的方法。

由于條件生成對抗網(wǎng)絡(luò)（cGAN）[16]在圖像生成和風(fēng)格遷移等圖像任務(wù)上有著良好表現(xiàn)，我們覺得也可以將圖像去噪問題視為圖像到圖像的轉(zhuǎn)換問題，并提出了一種基于條件生成對抗網(wǎng)絡(luò)（cGAN）的改進(jìn)方法來實(shí)現(xiàn)這一目標(biāo)。用有噪聲的圖像和無噪聲的圖像對進(jìn)行訓(xùn)練，并在生成器和鑒別器的相互競爭下，來實(shí)現(xiàn)去噪的目的。

1 cGAN模型簡介

1.1 cGAN原理

生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）的原理是：生成器負(fù)責(zé)學(xué)習(xí)從輸入到真實(shí)數(shù)據(jù)的映射，生成與之相似的數(shù)據(jù)；而判別器負(fù)責(zé)對生成數(shù)據(jù)進(jìn)行判斷，判斷其屬于還是不屬于真實(shí)數(shù)據(jù)；判別器再將其判斷結(jié)果反饋給生成器，進(jìn)而激勵生成器生成更加相似的數(shù)據(jù)，在這個過程中判別器也需要不斷提高自己的判別能力?？傊蓪咕W(wǎng)絡(luò)的原理是生成器和判別器通過相互競爭，最終到達(dá)一種平衡狀態(tài)。但是對于無條件的生成網(wǎng)絡(luò)來說，生成數(shù)據(jù)的模式無法被控制，為了解決這一問題，條件生成對抗網(wǎng)絡(luò)（con?ditional Generative Adversarial Network，cGAN）應(yīng)運(yùn)而生，其原理是向生成器和判別器中加入約束信息來指導(dǎo)數(shù)據(jù)生成過程，使得生成器生成的數(shù)據(jù)是我們所期望的數(shù)據(jù)而不是為了欺騙判別器而得到的數(shù)據(jù)。

1.2 損失函數(shù)

cGAN 通過輸入圖像x和隨機(jī)向量z學(xué)到目標(biāo)圖像y，即G:{x,z}→y，然后將生成的圖像和目標(biāo)圖像分別輸入到判別器進(jìn)行打分。對于生成器來說，希望生成更加真實(shí)的樣本可以騙過判別器，而對判別器來說，希望能夠盡可能地區(qū)分真實(shí)樣本和生成樣本，即判別器對真實(shí)樣本的打分盡可能高，而生成樣本打分盡可能低。對抗損失函數(shù)表達(dá)式如下：

其中，x 是輸入的含噪聲的圖像，y 是與x 對應(yīng)的不含噪聲的圖像，z 是隨機(jī)向量。

為了使生成的圖像與目標(biāo)域圖像盡可能相似，我們可以將生成圖像和目標(biāo)圖像之間的L1 或L2 距離加入到損失函數(shù)中。由于L2 距離會使圖像模糊，我們采用L1 距離來衡量真實(shí)的不含噪聲圖像和生成的去噪圖像之間的差異。其目標(biāo)函數(shù)如下：

2 網(wǎng)絡(luò)結(jié)構(gòu)

2.1 生成器結(jié)構(gòu)

本文使用的生成器基于文獻(xiàn)[17]提出的網(wǎng)絡(luò)架構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)在醫(yī)學(xué)CT 圖像去噪中展示了很好的性能，該網(wǎng)絡(luò)是基于Encoder-Decoder 的網(wǎng)絡(luò)結(jié)構(gòu)，在此基礎(chǔ)上，增加了三個快捷連接，將卷積層的特征圖和對應(yīng)的反卷積層的特征圖相加，其結(jié)果作為下一個反卷積層的輸入，其目的是使該網(wǎng)絡(luò)可以保留更多的圖像特征。生成器的網(wǎng)絡(luò)結(jié)構(gòu)共包含14 層，卷積層和反卷積層各七層，每一層之后都使用了ReLU 激活層。所有卷積層和反卷積層的卷積核大小均為3×3，步長均為1。除了輸入和輸出，中間層的特征圖個數(shù)均為64。該生成模型的輸入輸出均為單通道OCT 圖像，可以接受任意大小的圖片輸入。

2.2 判別器結(jié)構(gòu)

判別器采用PatchGAN 結(jié)構(gòu)[18]，其作用是判斷輸入圖像的真假。其網(wǎng)絡(luò)結(jié)構(gòu)一共有七層，其中奇數(shù)卷積層的步長為1，其余為2，所有卷積核大小都是4×4。根據(jù)從第一卷積層到最后一個卷積層的順序，其特征圖個數(shù)分別是64、64、128、128、256、256 和1。除了第一個和最后一個卷積層，每個卷積層后都使用了批處理歸一化（BN）層和斜率為0.2 的Leaky ReLU 激活層。由于將BN 層用于所有層會導(dǎo)致生成圖像結(jié)果振蕩和模型不穩(wěn)定，所以第一個卷積層后只使用leaky ReLU激活層。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

本文采用的OCT 數(shù)據(jù)集來自文獻(xiàn)[18]，其中包括28 對分辨率為450×900（高×寬）的合成圖像，該圖像對是通過從28 位受試者的28 只正?；虍惓Ｑ劬χ胁东@的高分辨率圖像進(jìn)行二次采樣而生成的。更具體地說，在每個圖像對中，含噪聲的圖像是由OCT 設(shè)備（Biopitgen）直接采集的（B-scan），無噪聲的圖像是通過配準(zhǔn)和平均在同一位置獲得的多個B-scan 圖像而得到的，也就是說無噪聲的圖像是由在同一位置采集的多張含噪聲圖像經(jīng)過配準(zhǔn)和平均所得。

在實(shí)驗(yàn)中，我們丟棄了兩對非常差的圖像，并使用剩余的26 對圖像進(jìn)行實(shí)驗(yàn)，其中隨機(jī)選擇了十對圖像用于訓(xùn)練模型，其余的用于測試。由于訓(xùn)練模型需要大量的數(shù)據(jù)，因此我們將這十對圖像進(jìn)行滑動剪裁，每隔8 個像素點(diǎn)裁剪一張分辨率為64×64 的圖像，最后數(shù)據(jù)量大約為一萬多張。

3.2 參數(shù)選擇

在實(shí)驗(yàn)中，軟件環(huán)境操作系統(tǒng)為Windows 10，深度學(xué)習(xí)軟件框架為TensorFlow 1.14，GPU 為NVIDIA GTX 1080，內(nèi)存為8 Gb。在訓(xùn)練時，我們的生成器和判別器都使用了Adam 算法進(jìn)行優(yōu)化，學(xué)習(xí)率為0.0002。加權(quán)參數(shù)a的值設(shè)為10。

3.3 實(shí)驗(yàn)分析

本實(shí)驗(yàn)分別采用K-SVD 模型、BM3D 模型、wGAN模型和本文模型在測試集上進(jìn)行測試。為了客觀說明本文模型的性能，對于BM3D 和K-SVD 模型，其參數(shù)按照取的最優(yōu)降噪效果去設(shè)定，對于其他模型，其參數(shù)與提出該方法的參考文獻(xiàn)中的參數(shù)保持一致。所有型的降噪結(jié)果如圖1 所示。由實(shí)驗(yàn)結(jié)果可見，本文模型對OCT 圖像的降噪效果在視覺上整體優(yōu)于其他模型。為了更清晰地展示各模型的降噪結(jié)果，圖1 對局部細(xì)節(jié)進(jìn)行了放大?？梢钥闯?，經(jīng)BM3D 和K-SVD 模型處理過的圖像在視網(wǎng)膜層內(nèi)部和邊界處存在條形偽影，視覺效果較差，其中，K-SVD 模型并未完全去除噪聲，BM3D 引入了塊狀偽影。wGAN 模型有效去除了斑點(diǎn)噪聲，增強(qiáng)了圖像的對比度，但是存在明顯的邊緣模糊和細(xì)節(jié)丟失的現(xiàn)象。采用本文模型去噪后的圖像，保留了更多的邊緣信息和細(xì)節(jié)信息，得到的結(jié)果與校準(zhǔn)無噪聲的OCT 圖像更加接近，并且具有更加理想的視覺效果。

為了更加客觀地進(jìn)行去噪效果對比，本文采用了三個評價指標(biāo)，分別是峰值信噪比（Peak Signal-To-Noise Ratio，PSNR）、結(jié)構(gòu)相似性（Structural Similarity Index，SSIM）和邊緣保持系數(shù)（Edge Preservation Index，EPI）。表1 所示為五種模型在測試集上得到的三種評價指標(biāo)的對比?？梢钥闯?，本文模型的去噪結(jié)果在PSNR 和SSIM 這兩個指標(biāo)均值上優(yōu)于其他四種模型，這與圖1 所示的視覺效果對比圖基本上是吻合的，說明本文模型降噪效果最優(yōu)，且是最接近其對應(yīng)的無噪聲的OCT 圖像。指標(biāo)EPI 計(jì)算的是去噪圖像與含噪圖像之間的邊緣信息保存能力，K-SVD 模型在該指標(biāo)上取得了最大值，其原因是它的去噪結(jié)果中仍然含有噪聲，而本文模型取得了最小值，其原因是它的結(jié)果中不含噪聲。

表1 四種模型在測試集上去噪結(jié)果的評價指標(biāo)

圖1 四種模型在測試集上的結(jié)果

其中前兩行為不同模型的測試結(jié)果，第三行中的圖對藍(lán)色區(qū)域進(jìn)行放大，第四行中的圖對紅色區(qū)域進(jìn)行放大

4 結(jié)語

本文提出了一種基于條件生成網(wǎng)絡(luò)（cGAN）的圖像去噪方法，通過學(xué)習(xí)有噪圖像到無噪圖像的映射來實(shí)現(xiàn)去噪過程。實(shí)驗(yàn)結(jié)果表明，本文提出的方法是最接近無噪圖像的，對于指標(biāo)PSNR 和SSIM，均優(yōu)于其他對比方法。但我們的結(jié)果中仍然存在少量的噪聲，通過改善模型賴去除這些噪聲將會是我們今后的研究方向。