韓璐，畢曉君

（1.哈爾濱工程大學 信息與通信工程學院，黑龍江 哈爾濱 150001;2.中央民族大學 信息工程學院，北京 100081）

近年來，患有視網(wǎng)膜黃斑病變的患者數(shù)量明顯增加，并且隨著病情的加深，該病會對視力產(chǎn)生不可逆轉(zhuǎn)的影響，嚴重情況下會導致失明[1-3]。因此，黃斑病變的早期發(fā)現(xiàn)和臨床診斷至關(guān)重要，通過適當?shù)闹委熀投ㄆ诘暮Y查可以使黃斑病變引起的失明減少90%。

光學相干斷層掃描技術(shù)(optical coherence tomography，OCT)可以提供高分辨率的視網(wǎng)膜截面圖像，是目前用于檢驗視網(wǎng)膜疾病最為先進的技術(shù)手段，具有非接觸、無創(chuàng)、成像快等優(yōu)點[4-7]，醫(yī)生通過對視網(wǎng)膜OCT 圖像的分析對眼底疾病做出診斷。然而，利用OCT 技術(shù)對視網(wǎng)膜疾病進行人工診斷面臨以下問題：視網(wǎng)膜黃斑病變患者逐年增加，醫(yī)生面臨巨大的閱片任務，依靠專業(yè)醫(yī)生的診斷已經(jīng)無法滿足大量患者的診療需求；OCT 圖像為灰度圖像，個別病變特征不明顯，醫(yī)師診斷時有誤診和漏診情況發(fā)生；個別地區(qū)醫(yī)療水平較差，導致大量患者在患病初期沒有及時發(fā)現(xiàn)，造成疾病惡化[8-10]。

計算機輔助診斷技術(shù)[11-13](computer-aided diagnosis,CAD)是解決這一問題的有效方法。早期的CAD 技術(shù)使用基于手工特征的傳統(tǒng)機器學習分類方法，盡管在視網(wǎng)膜OCT 圖像的分類領域取得了一些成果，但是存在嚴重依賴于人工設計特征，特征級別低，在網(wǎng)絡訓練過程中存在計算代價高、處理流程復雜等問題。近年來，深度學習迅速發(fā)展，并在計算機視覺領域表現(xiàn)優(yōu)異。深度學習使用卷積神經(jīng)網(wǎng)絡在不同的層次上自動學習從低級到高級的圖像特征，彌補了傳統(tǒng)技術(shù)需要手工提取特征這一缺陷，成為解決視網(wǎng)膜OCT 圖像分類的主流算法。其中具有代表性的有2017 年，Karri等[14]提出了一種基于遷移學習的視網(wǎng)膜OCT 圖像分類方法。該方法通過微調(diào)預訓練后的GoolgeNet 網(wǎng)絡，減小網(wǎng)絡對大量數(shù)據(jù)的依賴，在訓練數(shù)據(jù)有限的情況下實現(xiàn)對DME[15-16]、AMD 和正常圖像的分類，分類精度分別為 86%、89%和99%。2020 年，張?zhí)砀５萚17]提出了一種輕量化OCT 圖像分類網(wǎng)絡。使用深度可分離卷積代替普通卷積層從而減小網(wǎng)絡的參數(shù)。同時使用全局平均池化代替全連接層，提高空間魯棒性，其網(wǎng)絡準確率可達97%。

以上研究對視網(wǎng)膜OCT 分類任務做出了突出貢獻，但是尚存以下兩點問題：1)視網(wǎng)膜OCT圖像存在大量冗余，在特征提取過程中，顯著病變特征容易被忽略，造成有用信息的丟失；2)玻璃疣(Drusen)病變位置小且形態(tài)模糊，導致Drusen這類疾病的分類難度大，目前該類別的準確率尚需提高。

針對以上問題，本文主要做了以下3個方面的工作：1) 設計了一種雙通道的多尺度融合網(wǎng)絡，有效利用包含了豐富語義信息的深層特征以及包含紋理信息的淺層特征；2)引入擴張卷積，通過在網(wǎng)絡中加入一系列并行的擴張卷積，實現(xiàn)在不降低特征圖分辨率的同時，增大感受野，按不同比例獲得上下文信息；3)引入門控注意力模塊，利用深層特征作為選通信號傳遞給淺層特征，在消除冗余特征的同時，獲得更細尺度的細節(jié)信息。

1 雙分支多尺度特征融合網(wǎng)絡

2014 年，牛津大學著名研究組Visual Geometry Group 提出VGG 網(wǎng)絡[18]，斬獲該年ImageNet 競賽定位任務第一名和Classification Task 分類任務第二名。該工作探索了卷積神經(jīng)網(wǎng)絡的深度對圖像分類任務性能的影響，在固定網(wǎng)絡架構(gòu)中其他參數(shù)的同時，通過增加卷積層來平穩(wěn)地增加網(wǎng)絡深度，分類準確率獲得顯著提升。

VGG 網(wǎng)絡由卷積層、最大池化下采樣層和全連接層組成。其中，卷積層均采用卷積核大小為3×3，步距為1，填充為1 的卷積操作。VGG16 相比于AlexNet，采用連續(xù)的幾個3×3 卷積核代替AlexNet 中的較大卷積核。兩個3×3 卷積的堆疊層具有5×5 的感受野，3個這樣結(jié)構(gòu)堆疊獲得的感受野是7×7。使用小卷積核堆疊代替大卷積核可以整合非線性映射層，使決策函數(shù)更加具有判別性；在擁有相同感受野的前提下能夠減少網(wǎng)絡所需參數(shù)；同時增加網(wǎng)絡非線性，讓網(wǎng)絡學習到更復雜、深層的特征。VGG 提出的網(wǎng)絡深度從11層到19 層不等，本文選擇VGG16 作為基線網(wǎng)絡。

本文提出了一種基于改進VGG16 的視網(wǎng)膜圖像分類網(wǎng)絡?雙分支多尺度特征融合網(wǎng)絡。主要改進點如下：

1)在VGG16 網(wǎng)絡中引入針對醫(yī)學圖像的門控注意力機制模塊，從而消除醫(yī)學圖像中的大量冗余，突出病變區(qū)域信息抑制圖像中的無關(guān)區(qū)域；

2)在VGG16 網(wǎng)絡中使用并行的擴張卷積在不減小特征圖大小的同時，獲得較大感受野，得到病變的細節(jié)信息，并與深度抽象特征融合，提高分類精度。

1.1 門控注意力機制

近年來，注意力機制作為一種可以即插即用在網(wǎng)絡模型中的模塊，在自然圖像處理領域取得了良好的效果。其中最具代表性的工作有2017 年HU 等[19]提出的通道注意力機制、2018 年Woo 等[20]提出的融合了通道注意力以及空間注意力的CBAM機制以及2020 年Wang 等[21]提出的改進通道注意力機制。這種機制在通道和空間兩個維度加權(quán)生成注意力圖，使網(wǎng)絡能夠關(guān)注重要的通道特征以及空間上的位置信息。

相比于自然圖像，醫(yī)學圖像具有目標區(qū)域局部化這一特性。尤其是本文使用的眼部OCT 圖像，其病變位置均占整張OCT 圖像很小的區(qū)域。鑒于醫(yī)學圖像這一特性，若將通道和空間注意力機制串聯(lián)至網(wǎng)絡中，會導致獲得的加權(quán)注意力圖譜單一。盡管這種機制串聯(lián)在網(wǎng)絡深處能夠取得良好效果，但是網(wǎng)絡的加深使特征圖減小，導致相關(guān)病變的細節(jié)信息丟失，因此基于深度學習的視網(wǎng)膜OCT 圖像分類技術(shù)中采用通道和空間注意力機制效果不佳。

本文引入了一種針對醫(yī)學圖像中目標局部化這一特性，重點關(guān)注醫(yī)學圖像中病變細節(jié)信息的門控注意力機制模塊(attention gate module，AG)，如圖1 所示。

圖1 門控注意力機模塊Fig.1 Attention gate module

深層的粗糙特征包含目標對象的位置信息，并在全局范圍內(nèi)建立它們之間的關(guān)系。圖1 中：g代表網(wǎng)絡中獲取到的深層特征；xl代表特征提取過程中任意某一層獲取的淺層特征，淺層特征中包含目標的細節(jié)信息，比如形狀、大小等。淺層特征中包含著嚴重影響分類任務準確性的細節(jié)信息。AG 模塊將深層特征和淺層特征融合并生成注意力圖譜，然后將該注意力圖普與淺層特征相乘，用深層信息消除xl中與任務無關(guān)的特征內(nèi)容，修剪冗余特征，突出顯著目標區(qū)域。其公式為

式中：σ1是RELU 非線性激活函數(shù)；σ2是歸一化sigmoid 函數(shù)，將門控系數(shù)范圍控制在[0,1]。因此，AG 可以由以下參數(shù)描述：線性變換Wx和Wg偏置bψ，這里的線性變換采用1×1×1卷積實現(xiàn)。；

本文在VGG16 網(wǎng)絡中采用AG 模塊，該網(wǎng)絡經(jīng)過5 次下采樣，得到大小為7×7×512 的特征圖，該特征圖即為選通信號g。由于影響分類準確率的淺層特征可能分布在網(wǎng)絡的不同層次，因此，AG 模塊將選通信號g提供的上下文全局信息分別與VGG16 中第9 層和第13 層的淺層特征融合，在消除淺層特征中冗余的同時，獲得更細尺度的病變抽象特征，進而融合多尺度特征。其中第9 層和第13 層的特征圖大小分別為28×28 和14×14。最終網(wǎng)絡得到14×14、28×28 以及7×7 等3 種尺度的特征圖，經(jīng)過全局平均池化以及展平處理后，將3 種尺度信息拼接起來，并通過分類層(softmax)進行分類。綜上，本文通過在VGG16中加入AG 模塊，可以有效解決OCT 圖像中病變局部化這一問題，突出病變區(qū)域同時抑制背景噪聲，讓網(wǎng)絡進一步挖掘到病變特征，提升分類準確率。

1.2 空洞空間金字塔模塊

視網(wǎng)膜病變具有局部性，且病變區(qū)域在OCT圖像中占據(jù)位置小。其中Drusen 的此特點最為明顯，其變位置小且模糊。此特點嚴重影響OCT圖像的分類效果，目前提出的相關(guān)分類方法中，Drusen 類別的分類準確率最高為92.5%，相比于視網(wǎng)膜OCT 圖像分類應用中其他3個類別的分類精度尚有待提高。

現(xiàn)階段的經(jīng)典分類網(wǎng)絡通過加深網(wǎng)絡深度，從而獲得更大的感受野以及豐富的上下文信息。但是針對醫(yī)學圖像的特性，在分辨率小的特征圖上進行分類將損失大量有用信息。為解決該問題，本文設計了雙分支網(wǎng)絡，在骨干網(wǎng)絡經(jīng)過3 次下采樣操作，加入并行擴張卷積空洞空間金字塔模塊，以不同比例捕捉全局上下文信息。

擴張卷積(dilated convolution)由Chen 等[22]于2016 年提出，與普通卷積相比，擴張卷積引入擴張率這一參數(shù)，在基礎卷積上加入間隔，卷積核各點間的間隔為擴張率減1，如圖2 所示。

圖2 普通卷積和擴張卷積Fig.2 Ordinary convolution and dilated convolution

擴張卷積對應的卷積核實際大小以及感受野大小均大于普通卷積，但實際參數(shù)不變，以圖2 中不同擴張率的3×3 卷積為例，它們均只有9個點有參數(shù)，與普通的3×3 卷積參數(shù)相同，其余擴張位置的參數(shù)均為0。擴張卷積對應的實際卷積核以及感受野大小計算公式為

式中：k為卷積核尺寸；s是步長，是上一層感受野大小。通過加入擴張卷積，能夠在不進行下采樣操作的前提下，同樣獲得更大的感受野。在大尺度特征圖上實現(xiàn)細節(jié)信息的保留以及豐富上下文信息的獲取。更好地保留了較小病變的形狀以及輪廓特征，有利于提升小目標分類精度。本文在VGG16 網(wǎng)絡中采用的空洞空間金字塔模塊(atrous spatial pyramid pooling,ASPP)如圖3 所示。

圖3 空洞空間金字塔模塊Fig.3 Atrous spatial pyramid pooling module

骨干網(wǎng)絡經(jīng)過3 次下采樣后的特征圖作為該模塊的輸入，分別經(jīng)過并行的1×1 卷積以及3個擴張率分別為6、12、18 的擴張卷積。為了融入全局上下文信息，該模塊采用了圖像級特征，通過對該模塊的輸入進行全局平均池操作，并將得到的圖像級特征輸入到1×1×256 的卷積核中，然后經(jīng)過雙線性插值將特征上采樣到所需的空間尺寸。最后將這4 部分特征拼接輸入到1×1 卷積進一步加強特征提取。

綜上，本文通過采用不同擴張率的空洞空間金字塔模塊，在不減小特征圖大小的同時，按不同比例捕捉上下文信息，同時擴大感受野。在特征提取過程中，不會因為過度下采樣而損失病變信息，同時又利用擴張卷積和圖像級特征融合了全局信息，較好地提升了網(wǎng)絡對小目標Drusen 病變的特征提取能力。

1.3 整體模塊設計以及網(wǎng)絡架構(gòu)

基于門控注意力機制和空洞空間金字塔模塊兩個創(chuàng)新點，本文提出了一種基于改進VGG16 的雙分支多尺度特征融合網(wǎng)絡，如圖4 所示。網(wǎng)絡經(jīng)過3 次下采樣后分成兩個分支，3 次下采樣后得到的大小為28×28×512 的特征圖作為接下來兩路分支的輸入。一路分支繼續(xù)下采樣，得到最深層的特征g作為選通信號，為第3 次、第4 次下采樣后的特征圖提供上下文信息，修剪淺層特征中的冗余信息，突出病變區(qū)域顯著特征。

圖4 本文方法演示圖Fig.4 Method demonstration diagram of this paper

另一路分支進入空間空洞金字塔模塊，分別進行不同擴張率的擴張卷積，輸出特征圖大小為28×28×512，尺度不變。在AG 模塊中，選通信號g和第3 次下采樣后特征圖融合得到的特征和空間空洞金字塔模塊的輸出大小維度均相同，將兩部分特征融合，進一步獲得融合了選通信息以及多尺度信息的特征。并且，該融合后的特征為大尺度特征，實現(xiàn)了讓網(wǎng)絡在分辨率大的特征圖上進行分類。為了讓小目標病變獲得良好的分類效果，需要網(wǎng)絡獲取豐富的病變區(qū)域信息，包括病變的形狀、大小特征等。這種特征通常蘊藏在淺層網(wǎng)絡中，但是由于病變區(qū)域過小，這些淺層特征會在特征提取過程中，損失大量病變區(qū)域的細節(jié)信息。本文提出的方法不僅融合了多尺度特征，還通過在大分辨率特征圖上進行分類避免了細節(jié)特征的丟失，有效解決了現(xiàn)有方法對小目標病變分類效果不佳這一問題。

2 實驗結(jié)果及分析

為驗證本文提出方法的有效性與先進性，實驗部分主要做了以下兩個方面的工作：1)消融實驗，本文提出的兩個創(chuàng)新點分別引入實驗以及最終的改進網(wǎng)絡與基線網(wǎng)絡的實驗效果對比實驗；2)與現(xiàn)有代表性算法的對比實驗。

2.1 實驗環(huán)境

本文使用的實驗環(huán)境如表1 所示。本實驗采用SGD 優(yōu)化算法，一共訓練150個epoch，初始學習率設置為0.001，學習率衰減采用指數(shù)衰減，衰減底數(shù)gamma 設置為0.98。

表1 實驗環(huán)境配置Table1 Experimental environment configuration

2.2 數(shù)據(jù)集

本文使用的數(shù)據(jù)集是 Kaggle 平臺提供的開源視網(wǎng)膜OCT 病變圖像，該數(shù)據(jù)集由加利福尼亞大學圣地亞哥分校（UCSD）于2017 年公開。該數(shù)據(jù)集包含4 種類別，分別是玻璃膜疣(Drusen)、脈絡膜新生血管（CNV）、糖尿病黃斑水腫（DME）和正常類別，如圖5 所示。數(shù)據(jù)集包含訓練集和測試集，訓練集中4 種類別分別包含8 616、37 205、11 348、26 315 張圖片。測試集由每類250 張圖片組成，共1 000 張OCT 圖像。本文按照8∶2 的比例將訓練集劃分為訓練集和驗證集。

圖5 視網(wǎng)膜OCT 圖像示例Fig.5 Retinal OCT image example

2.3 評價指標

本文使用準確率(Accuracy)、召回率(Recall)精確率(Precision)、特異性(Specifity)作為視網(wǎng)膜OCT 分類任務的評價指標，具體公式如式(4)～(7)所示。

式中：TP 是將正樣本正確分類的個數(shù)；TN 為將負樣本正確分類的個數(shù)；FP 為將正樣本分類錯誤的個數(shù)；FN 為將負樣本分類錯誤的個數(shù)。本文中的視網(wǎng)膜分類任務屬于多分類任務，這里的正樣本是指定的某一特定類別，例如玻璃疣，而此時的負樣本為除玻璃疣外的其他3 種類別。同時，本文繪制了4 種類別的混淆矩陣，可直觀看出各類別的分類情況以及與基線網(wǎng)絡分類情況的對比。

2.4 實驗分析

2.4.1 算法的有效性驗證

為了驗證本文提出方法的有效性，這里對改進后的網(wǎng)絡（引入AG 模塊和空間空洞金字塔模塊）與只加入AG 模塊以及基線網(wǎng)絡進行了消融實驗，實驗在同樣的數(shù)據(jù)集、實驗環(huán)境以及相同的網(wǎng)絡參數(shù)配置上進行，實驗結(jié)果如表2 所示。

由表2 可以看出，加入AG 模塊后，網(wǎng)絡的識別率較基線網(wǎng)絡提高了1.9%，由此看出通過引入AG 模塊，網(wǎng)絡更好地學習了病變區(qū)域特征，降低了大量背景冗余的影響。在此基礎之上，加入本文的第二個改進點，網(wǎng)絡的準確率進一步提高到97.9%，較基線網(wǎng)絡提高了3.7%。其中Drusen 病變有了明顯的提高，提高了1.5%。由該實驗結(jié)果可以看出，加入擴張卷積使網(wǎng)絡在大尺度特征圖上進行分類，讓小目標病變的細節(jié)信息不會隨特征提取過程的深入而損失，Drusen 的識別效果顯著地提升。

表2 算法有效性驗證實驗Table2 Algorithm validation experiment

為了進一步直觀地看出網(wǎng)絡對4個類別的分類效果，這里繪制了基線網(wǎng)絡以及加入AG 模塊和加入AG 模塊、空間空洞金字塔模塊的混淆矩陣，如圖6 所示。在混淆矩陣中，對角線上的數(shù)字代表每個類別正確分類的樣本個數(shù)，對角線上數(shù)值越大說明分類越準確。從圖6 可以看出，加入AG 模塊后，雖然各類別分類效果有所提高，但是由于Drusen 病變小而模糊，且與CNV 表現(xiàn)相似，對Drusen 的分類效果相比于其他3個類別差。再加入空間空洞金字塔模塊后，Drusen 的分類效果有了明顯的改善。

圖6 混淆矩陣Fig.6 Confusion matrix

2.4.2 算法的先進性驗證

為驗證本文方法的先進性，將本文提出算法與現(xiàn)階段具有代表性的基于深度學習的視網(wǎng)膜OCT 分類算法進行對比，對比結(jié)果如表3 所示。首先，從表3 可以看出，現(xiàn)有方法對Drusen 的分類準確率不高，該類別的最高準確率僅達92.5%，遠低于另外3 種類別的分類精度。這是因為現(xiàn)有方法針對小目標病變的特征提取能力不強，在特征提取過程中，Drusen 這一病變的細節(jié)信息損失嚴重。針對這一問題，本文通過加入門控注意力機制突出病變區(qū)域信息，以及加入空間空洞金子塔模塊減小網(wǎng)絡下采樣的次數(shù)，在大分辨率的特征圖上進行分類，從而保留小目標病變區(qū)域的細節(jié)特征，本文對Drusen 病變的分類準確率較現(xiàn)有文獻有了顯著提升，較文獻[17-24]分別提高了6.3%和9.8%。同時，本文方法在CNV、DME 兩種類別病變上也獲得了最好的分類效果。本文對Normal類別的分類準確率較文獻[17]低0.5%，但本文方法的整體分類準確率依然是現(xiàn)有視網(wǎng)膜OCT 圖像分類任務中最高的，相比于文獻[17]提出的輕量化視網(wǎng)膜OCT 圖像分類網(wǎng)絡，本文算法準確率提高了0.9%，較文獻[23]提出的多層次可選擇卷積分類方法準確率提高了2.51%，較文獻[24]提出的遷移學習方法準確率提高了1.4%，較文獻[25]提出的基于通道注意力機制的分類方法提升了0.4%，這充分驗證了本文改進網(wǎng)絡模型的先進性。

表3 算法先進性驗證實驗Table3 Algorithm advanced verification experiment %

3 結(jié)束語

本文提出了一種應用于視網(wǎng)膜OCT 圖像分類任務的雙分支多尺度特征融合網(wǎng)絡。通過加入門控注意力機制模塊，讓深層特征作為選通信號修剪淺層特征中的冗余信息，突出OCT 圖像中的病變區(qū)域，消除背景噪聲的影響。同時引入空洞空間金字塔模塊，利用并行擴張卷積代替下采樣過程，在不降低特征圖大小的前提下按不同比例捕捉上下文信息，獲得更大的感受野。本文提出的方法有效解決了現(xiàn)有方法中因Drusen 病變位置小、形態(tài)模糊導致的該類別分類難度大、精度低的問題，進一步提高了計算機輔助診斷的能力。針對目前視網(wǎng)膜黃斑病變患者多、醫(yī)生診斷壓力大以及醫(yī)療行業(yè)逐漸智能化的現(xiàn)狀，本文具有顯著的研究價值。利用深度學習技術(shù)特征提取能力強大、可處理大量數(shù)據(jù)的優(yōu)勢，對本課題進一步深入研究，可以讓計算機輔助診斷技術(shù)提升至人類專家水平，在實際應用中輔助人類醫(yī)師更加高效、準確地診斷疾病，同時可以挖掘大量醫(yī)療數(shù)據(jù)中的巨大價值，實現(xiàn)醫(yī)療系統(tǒng)智能化的轉(zhuǎn)變。