關鍵詞：OCT 圖像；超分辨率；生成對抗網(wǎng)絡；遷移學習；金字塔注意力

中圖分類號：TP 391 文獻標志碼：A

引言

隨著光學相干斷層掃描（ optical coherencetomography，OCT）技術的進步，以及硬件系統(tǒng)的更迭，可捕獲到的視網(wǎng)膜圖像的視野范圍更為廣泛，但采集到的圖像中會不可避免地出現(xiàn)噪聲和偽影。如果要降低采集過程中的運動偽影，則需要更長的采集時間，這會導致患者不適。然而，提高采集系統(tǒng)的速度往往又會降低軸向分辨率[1]，使得采集到的視網(wǎng)膜圖像的細節(jié)信息損失加重。為了給臨床醫(yī)生提供清晰的OCT 視網(wǎng)膜圖像，減少誤診和漏診，有必要采用超分辨率的方法對圖像進行重建 [2]。近年來，圖像的超分辨率方法已經(jīng)得到了廣泛的研究。傳統(tǒng)的基于深度神經(jīng)網(wǎng)絡（convolutional neural networks，CNN）[3]的模型利用卷積運算代替?zhèn)鹘y(tǒng)的手動特征提取，但這些模型的網(wǎng)絡太小，并且在學習過程中使用的像素范圍太小，從而導致重建輸出的圖像過于平滑。Ledig 等[4] 提出了一種用于超分辨率的生成對抗網(wǎng)絡，即漸進式超分辨率生成對抗網(wǎng)絡（progressive super-resolution generative" adversarialnetwork，PSRGAN），并將其應用于醫(yī)學圖像來提高超分圖像質(zhì)量，恢復細節(jié)。

由于受到圖像數(shù)據(jù)集大小及醫(yī)學倫理的限制，深度網(wǎng)絡模型應用于醫(yī)學圖像時，其學習能力無法得到充分地訓練。解決訓練數(shù)據(jù)缺乏問題的主要方法是使用遷移學習[5]。根據(jù)遷移形式，遷移學習算法可分為4 種，分別為基于樣本、特征、模型或關系的知識遷移學習。為了解決加速MRI 深度網(wǎng)絡訓練中的數(shù)據(jù)稀缺問題，Dar等[6] 提出將遷移學習用于深度學習中，Lv等[7]探索了基于并行成像與GAN模型和遷移學習相結合的新應用，從而提高了重建性能。將遷移學習引入醫(yī)學圖像處理的過程中還需要對使用的數(shù)據(jù)集進行比較研究，以確定選擇的數(shù)據(jù)集類型對重建結果質(zhì)量的影響[8-9]。

作者提出了使用PSRGAN 和遷移學習來獲得高分辨率OCT 視網(wǎng)膜圖像的設想。結合了基于模型的遷移學習方法，利用來自不同領域的大型圖像數(shù)據(jù)在使用OCT 圖像數(shù)據(jù)訓練之前進行預訓練[10]。遷移訓練的主要目的是為了解決高質(zhì)量OCT 數(shù)據(jù)集樣本數(shù)不足的問題，借助另一個領域的大量圖像樣本執(zhí)行預訓練，并使用該預訓練獲得的權重作為實際訓練過程的初始權重[11-12]，這有助于模型在目標域內(nèi)更快地收斂。本文中的遷移學習方法是對整個模型，即所有的層進行了預訓練。為了使本文的超分網(wǎng)絡訓練收斂更快，在提出的PSRGAN 中添加了高效金字塔通道注意力（pyramid efficient channel attention" ，PECA）模塊，使模型更加輕量化。

1實驗方法與原理

OCT圖像超分辨率重建分為4 個步驟：（1）預處理圖像，對采集到的OCT圖像進行裁剪，裁剪OCT圖像的空白區(qū)域，填充邊緣空白區(qū)域；（2）劃分數(shù)據(jù)集，將通過預處理后的OCT圖像劃分為訓練集與測試集；（3）模型訓練，將預處理過后的OCT 圖像導入訓練模型中進行下采樣操作，訓練模型的特征提取能力；（4）超分辨率重建，最終利用訓練好的模型對測試集的圖像進行重建，測試模型的性能。

本研究中提出的超分辨率生成對抗模型PSRGAN是對SRGAN進行了改進。為了提高特征提取性能，獲得高分辨率OCT圖像，將本文提出的高效金字塔通道注意力PECA模塊引入到SRGAN網(wǎng)絡[13]。針對低分辨率OCT圖像感知質(zhì)量差的特點，在SRGAN生成器的第4和第5卷積塊之間插入PECA，使提取圖像具有更多的高頻特征，增強特征的表現(xiàn)力，有助于紋理細節(jié)的重建。

1.1改進的超分辨率重建網(wǎng)絡的構建

在PSRGAN 中， 首先把低分辨率（ lowresolution，LR）訓練圖像中采樣到的噪聲特征發(fā)送到生成器，以生成類似于輸入的高分辨率（ high resolution， HR） 圖像的假樣本。同時，HR 訓練樣本也作為真實樣本發(fā)送給判別器，并且讓判別器試圖區(qū)分假樣本和真實樣本的HR 之間的差異。生成器的目標是連續(xù)產(chǎn)生盡可能接近真實樣本的高分辨率圖像，直到所產(chǎn)生的超分辨率圖像能夠欺騙判別器。判別器和生成器最終在相互博弈中實現(xiàn)平衡，這時候的生成器就可以產(chǎn)生高質(zhì)量的重建圖像。其中，通過添加PECA模塊，PSRGAN 可以生成更接近于HR 圖像的紋理細節(jié)，圖像邊緣也更加清晰[14]。PSRGAN的結構如圖1所示。

1.2高效金字塔通道注意力模塊

本文提出使用PECA模塊來有效地建立多尺度特征提取通道，將其添加在生成對抗網(wǎng)絡的生成器中的第4 卷積塊和第5 卷積塊之間，可以更有效地處理多尺度的輸入特征圖的空間信息。在之前的工作中[16]，已經(jīng)提出將PECA模塊用于改進PSANet 網(wǎng)絡。較其他注意力機制，PECA模塊是將PSANet 中的SENet 替換成了高效通道注意力（efficient channel attention，ECA）模塊，更加輕量化且高效。ECA 模塊可以提取不同尺度特征圖的通道注意力，同時以極輕量的方式獲取跨通道的交互信息[17]。PECA模塊結構如圖3所示。

PECA模塊實現(xiàn)過程：首先使用分割和融合（split and concat，SPC）模塊將通道進行拆分，提取每個通道特征圖上的多尺度空間信息；然后用ECA 模塊替換原始PSANet 中的SENet模塊，更高效的計算不同尺度特征圖的通道注意力；再利用Softmax對多尺度通道注意力向量的特征進行標定，獲得新的多尺度通道交互之后的注意力權重；最后對新獲取的權重和對應的特征圖進行逐元素點乘操作，得到一個多尺度特征信息注意力加權的特征圖。

為了避免維度縮減，并降低模型的復雜度，在不同尺度上分別采用了ECA模塊。ECA模塊的實現(xiàn)如圖4所示。首先，對每個通道的特征圖進行全局平均池化；接著，快速通過大小為k的一維卷積層，其中k代表局部跨通道交互的覆蓋范圍，輸出經(jīng)過局部跨通道交互后的特征。ECA模塊可以自適應地確定k 近鄰通道來完成通道注意力的計算，其中k與C（C為通道數(shù)）成比例。

1.3 PSRGAN模型結合遷移學習方法

要在深度學習方法中取得良好的性能，合理的訓練數(shù)據(jù)量是必不可少的。然而，醫(yī)學領域中可用于處理和分析研究的OCT 視網(wǎng)膜圖像數(shù)量有限[18]。當面臨相對有限的訓練數(shù)據(jù)時，遷移學習是一種高效的學習方法。

相較于其他大多數(shù)學習模型，遷移學習是利用卷積神經(jīng)網(wǎng)絡學習已標記好的預訓練網(wǎng)絡系統(tǒng)[19]。該系統(tǒng)會識別預訓練系統(tǒng)中圖像的特點，再繼續(xù)導入含有第一層圖像相似參數(shù)和結構的網(wǎng)絡系統(tǒng)，最后構建出終極層。在本文的遷移學習系統(tǒng)中：第一層網(wǎng)絡就是學習的目標圖像；第二層網(wǎng)絡使用第一層網(wǎng)絡的圖像尋找相應的特征，通過前向傳播固定低層圖像中的權重，找到已經(jīng)學習的可辨別的結構特點，再提取更高層的權重，進行反復的自調(diào)整、反饋和傳遞，達到學習區(qū)分特定類型圖像的目的[20]。

在本研究中，OCT視網(wǎng)膜圖像超分辨率重建受到數(shù)據(jù)集大小的限制，提出遷移開源的X 光照片數(shù)據(jù)集和天然花卉數(shù)據(jù)集的訓練權重去促進深層神經(jīng)網(wǎng)絡PSRGAN快速學習和收斂。將X 射線數(shù)據(jù)集或花卉數(shù)據(jù)集與OCT視網(wǎng)膜數(shù)據(jù)集共同進行訓練，增加訓練的數(shù)據(jù)樣本，使計算機更好地學習訓練，繼而達到更精確的重建目標。本實驗評估了使用遷移學習方法對最終生成圖像的影響，比較了本文提出的方法與其他超分辨率方法重建OCT 視網(wǎng)膜圖像的性能參數(shù)。兩個預訓練數(shù)據(jù)集的選?。阂粋€屬于醫(yī)學領域X 射線數(shù)據(jù)集，呈現(xiàn)出與OCT 視網(wǎng)膜圖像相似的視覺特征；另一個數(shù)據(jù)集（花卉數(shù)據(jù)集）屬于完全不同的領域，與OCT 視網(wǎng)膜圖像幾乎沒有視覺上的相似性。目的是評估使用遷移學習方法是否能幫助重建出更好的圖像結果，以及在預訓練步驟中使用不合適的數(shù)據(jù)集是否會干擾模型的收斂。

2實驗結果和分析

本文實驗在上述3個數(shù)據(jù)集上進行，主要分為4個步驟：（1）圖像數(shù)據(jù)集采集和處理，對數(shù)據(jù)集中的圖像進行初步的圖像篩選與裁剪，將處理后的OCT 圖像劃分為訓練集與測試集；（ 2） 搭建模型， 生成3個PSRGAN模型， 第1 個是隨機初始化權重的PSRGAN模型，第2、3 個分別是通過遷移學習方法獲得預先用胸部X 光片和花卉數(shù)據(jù)集訓練的初始權值作為PSRGAN網(wǎng)絡訓練權值的PSRGAN–TL–X-ray模型和PSRGAN–TL–Flowers模型；（3）訓練模型并測試，使用OCT視網(wǎng)膜圖像訓練集來訓練搭好的3個PSRGAN模型，以及SRGAN模型和SRCNN模型，再用測試集測試的結果來評估這5 種模型的性能。

2.1 數(shù)據(jù)集和實驗設置

在本實驗中，運用PSRGAN網(wǎng)絡和遷移學習的方法對眼科的臨床數(shù)據(jù)進行圖像超分辨率重建處理，用到了3個數(shù)據(jù)集。第1個數(shù)據(jù)集是由溫州醫(yī)科大學利用醫(yī)用OCT 設備采集的眼科視網(wǎng)膜圖像的臨床數(shù)據(jù)，將其劃分為1000張圖像的訓練集和50張圖像的測試集進行實驗。為了比較遷移學習中采用的大型訓練數(shù)據(jù)集的類型對OCT圖像重建結果的影響，本文選擇了兩種類型的數(shù)據(jù)集。一個是醫(yī)學領域中公開的胸部X 光片數(shù)據(jù)集，包含5856張X 光片圖像（https：//data.mendeley.com/datasets/rscbjbr9sj/2），有肺炎/正常類別的子文件夾，將5000張用于訓練，856 張用于測試。胸部X 光片圖像的超分重建研究也十分廣泛[21]，與OCT圖像同樣屬于醫(yī)學灰度圖像，因此選擇它作為實驗中預訓練的數(shù)據(jù)集。另一個數(shù)據(jù)集選擇的是花卉數(shù)據(jù)集，其中含有102個花卉數(shù)據(jù)集（ https：//www.robots.ox.ac.uk/～vgg/data/flowers/102/），由3670張花卉圖像組成。由于花卉圖像細節(jié)豐富，邊緣感信息容易被提取，作為預訓練數(shù)據(jù)集可以幫助網(wǎng)絡學習重建豐富的特征信息。將花卉圖像周圍的黑色邊框移除，并劃分3000張用于訓練，670張用于測試。所有數(shù)據(jù)集的圖例見圖5。

實驗基于Nvidia Tesla P100顯卡，深度學習框架為Pytorch 的實驗平臺。受GPU內(nèi)存的限制，用于實驗的原始圖像都被裁剪成128×128（高×寬）大小。在訓練過程中，選取Adam作為優(yōu)化器，每批次訓練數(shù)量大小為4，優(yōu)化器初始學習率均設置為2×10^?4。5種模型訓練OCT圖像數(shù)據(jù)集的最大周期均為100，遷移學習過程中的PSRGAN模型的預訓練周期為1000。

式中：I為模型訓練獲得的高分辨率圖像；O為高分辨率真實圖像。

2.3實驗結果

在本實驗中，對比了PSRGAN模型使用和不使用PECA 模塊的效果，比較了深度學習方法SRCNN， SRGAN， PSRGAN， PPECA–SRGAN， PSRGAN–TL–X-ray 和PSRGAN–TL–Flowers 對OCT視網(wǎng)膜圖像超分辨率重建結果，使用了上節(jié)提到的3個圖像質(zhì)量評價指標來評估最終的測試結果。

表1是PSRGAN模型使用/不使用PECA注意力機制在測試集上的評價指標對比，可以看出，添加注意力模塊后PSNR，SSIM和EPI 等指標值都更高，這與圖6 展示的視覺效果圖相吻合。因此使用注意力機制有助于提升圖像細節(jié)和邊緣信息重建效果。

圖7是PSRGAN模型使用/不使用PECA注意力機制實驗結果對比展示。為了更加準確地對比重建圖像的細節(jié)信息，將圖像中標記為矩形的區(qū)域放大，其放大結果見圖7（b）?？梢钥闯鎏砑幼⒁饬δK后的結果在圖像邊緣和分層邊緣結構處變得更加清晰，從視覺效果來看，基本上消除了斑點噪聲，重建圖像在視覺上更加接近于無噪圖像。

總的來說，遷移學習訓練的PSRGAN 模型具有更好的指標平均值，通過遷移學習得到的PSRGAN 模型的優(yōu)越性是顯而易見的。因為花卉數(shù)據(jù)集的細節(jié)和邊緣信息的結構更清楚，網(wǎng)絡學習能力得到充分的訓練，使得PSRGAN–TL–Flowers 方法在所有評價指標上都取得最優(yōu)的效果。

圖7是從測試集中選擇的一張重建圖像（×4），為了進一步對比各方法的細節(jié)信息保留能力，在原始HR 圖像和SR 圖像之間，聚焦于相同的區(qū)域?qū)Ρ炔町?，將圖像中標記為白色矩形的區(qū)域放大。就整體視覺效果而言， 通過SRGAN 模型獲得的圖像的視覺質(zhì)量的提高程度是十分明顯的，而SRCNN模型在病變區(qū)域的細節(jié)上有一些模糊。所提出的PSRGAN方法優(yōu)于SRGAN和SRCNN，其生成圖像質(zhì)量更優(yōu)?？梢钥闯?，PSRGAN模型產(chǎn)生的圖像在視覺上與原始圖像非常相似，幾乎無明顯差異，而PSRGAN–TL–Flowers可以產(chǎn)生相對干凈和銳利的邊緣，并且能夠準確地重建圖像的紋理。

圖8是本實驗提出的遷移學習訓練后的PSRGAN模型（PSRGAN–TL–Flowers）進行訓練的過程中隨機選擇的一幅圖像展示。通過圖像可以看到：訓練50 epoch時，圖像噪點變少；訓練100 epoch時，圖像不僅噪點變少，邊緣細節(jié)更加清晰，也更加接近原始的HR真實圖像。PSNR、SSIM 和EPI值也隨周期的疊加而上升。因此，隨著訓練周期的增加，模型生成的圖像質(zhì)量更高并且更真實。

2.4重建圖像層次自動分割結果

OCT視網(wǎng)膜圖像的病理學結構信息對眼部疾病檢測診斷來說至關重要，層次分割有助于自動化OCT 圖像診斷。一般來說，LR圖像中存在的噪聲和偽影會導致圖像質(zhì)量低，細節(jié)和邊緣結構不清晰，層次分割結果不準確，從而影響臨床診斷的效率。超分辨率重建算法處理后的OCT視網(wǎng)膜圖像不僅要保留重要的細節(jié)信息，也應該讓層次分割更加清晰。為了驗證算法處理后的圖像質(zhì)量是有所提升的，從實驗的測試數(shù)據(jù)集中隨機選擇了兩張圖像，使用公開的針對視網(wǎng)膜OCT圖像進行層次分割的工具對圖像進行自動分割處理。截取放大各方法重建圖像的部分區(qū)域，分割結果如圖9 所示。在所有的分割結果中，原始LR 圖像和SRCNN方法中的分割線存在交錯和跨越情況，SRGAN、PSRGAN中的分割線均比較平緩，而本文所提的PSRGAN–TL–X-ray和PSRGAN–TL–Flowers方法所重建圖像中的分割結果相較而言更優(yōu)。

3結論

提出了使用改進的PSRGAN模型來改善OCT視網(wǎng)膜圖像，將PSRGAN模型在大型數(shù)據(jù)集上訓練的模型參數(shù)遷移到OCT視網(wǎng)膜圖像超分辨率重建訓練中，該網(wǎng)絡能有效減少OCT圖像中的斑點噪聲，捕捉更多邊緣細節(jié)和圖像特征。對比了5種超分辨率重建方法（包括使用和不使用遷移學習的方法），評估了遷移學習方法的使用效果，證明了改進的GAN網(wǎng)絡（PSRGAN）對花卉圖像進行逐像素特征重建的優(yōu)異性能，以及通過遷移學習適應OCT-B掃描圖像重建的潛力?？偟膩碚f，與傳統(tǒng)的超分辨率重建方法（ SRCNN， SRGAN）相比， 生成對抗網(wǎng)絡（PSRGAN）能得到較好的結果，但結合遷移學習的PSRGAN方法重建的超分圖像質(zhì)量更佳。在兩種結合遷移學習的方法中，使用高清花卉數(shù)據(jù)集進行遷移訓練得到的重建效果最優(yōu)?；诒疚慕o出的結果和分析，應用于遷移學習方法的預訓練數(shù)據(jù)集的類型會影響OCT 圖像的超分效果，數(shù)據(jù)集的選擇應該考慮圖像細節(jié)和層次的清晰度，而不僅僅是數(shù)據(jù)集的大小和領域。本文重點是提高OCT 視網(wǎng)膜圖像分辨率，增強視網(wǎng)膜層邊緣和細節(jié)，所以在本文預訓練中使用邊緣和細節(jié)模糊的圖像可能會對遷移學習產(chǎn)生負面影響。

本文提出的超分辨率重建算法有效地提高了OCT視網(wǎng)膜圖像的質(zhì)量，從而能更好地幫助臨床診斷，減少誤診和漏診，具有一定的價值和意義。