陳少濱，雷柏英，謝海，張國明，杜曰山一，趙欣予

1）深圳大學醫(yī)學部，廣東深圳 518071；2）深圳市眼科醫(yī)院，暨南大學附屬深圳眼科醫(yī)院，深圳市眼病防治研究所，廣東深圳 518040

早產兒視網膜病變（retinopathy of prematurity，ROP）［1-2］是低出生體重嬰兒常見的視網膜疾病，也是兒童失明的主要原因之一．據統(tǒng)計，全球范圍內ROP的發(fā)病率約為10%，約占兒童失明原因的19%［3-4］．根據國際早產兒視網膜病變分類法［5］提供的臨床指南，根據視網膜血管和非血管的外觀情況，可使用5個階段來表征ROP的程度，如圖1．急性進展性后極部早產兒視網膜病變（aggressive posterior retinopathy of prematurity，AP-ROP）發(fā)生在極低體重、弱小的高危早產兒中，表現(xiàn)為后極部視網膜動脈、靜脈迂曲、新生血管非尋?？焖侔l(fā)生與發(fā)展．AP-ROP的病程進展速度快于常規(guī)ROP，一旦未能進行及時診斷與治療，發(fā)展到5期病變，將會導致患兒失明，因此，及時診斷和治療可有效降低患兒因ROP導致的失明．

圖1 早產兒視網膜病變程度（a）正常；（b）ROP 1期；（c）ROP 2期；（d）ROP 3期；（e）ROP 4期；（f）ROP 5期；（g）AP-ROPFig.1(Color online)Degree of retinopathy of prematurity.(a)Normal,(b)stage 1 of ROP,(c)stage 2 of ROP,(d)stage 3 of ROP,(e)stage 4 of ROP,(f)stage 5 of ROP,and(g)AP-ROP.

由于深度卷積神經網絡具有強大的醫(yī)學圖像數據處理能力，已被用于ROP疾病相關的檢測和自動篩選中．例如，ZHANG等［6］將已標記的廣角視網膜圖像用遷移學習方法對3個候選深度神經網絡（deep neural networks，DNN）分 類 器（AlexNet［7］、VGG-16［8］和GoogLeNet）進行優(yōu)化，在ROP的二分類實驗中分類準確率達98.8%，表明DNN的準確性可與兒科眼科醫(yī)生媲美．WANG等［9］分別設計了IdNet和Gr-Net模型用于ROP的識別和分級任務，二分類任務的分類準確率可達95.55%，但對ROP嚴重程度的分級準確率僅為76.42%，表明一般的網絡針對輕度和重度ROP的自動檢測性能還比較弱．

近幾年，基于注意力機制的方法因其可解釋性和有效性，受到了學術界和工業(yè)界的歡迎．SENet模型［10］專注于圖像通道間的關系，通過顯式地對通道之間的相互依賴性進行建模來自適應地重新校準通道特征響應．WOO等［11］將通道注意力和空間注意力進行聯(lián)結，并對輸入的特征圖進行處理．最近，自注意力機制逐漸在視覺任務中流行起來．Transformer模型［12］基于自注意力的多頭自注意力模塊在自然語言處理中被廣泛使用．受Transformer模型在自然語言處理中成功應用的啟發(fā)，視覺Transformer（vision Transformer，ViT）模型［13］將圖像分割成小塊，并將這些塊的線性嵌入序列作為輸入，再以監(jiān)督方式訓練模型來對圖像分類．SRINIVAS等［14］通過在ResNet-50的最后3個塊組中用自注意力模塊替換空間卷積設計了BoTNet．受這些方法的啟發(fā)，本研究提出一個混合注意力網絡，將通道注意力、空間注意力和多頭自注意力等3個注意力集成到一起來增強模型的特征提取能力．

有標簽數據通常需要由具有足夠專業(yè)知識的專家耗費大量時間進行注釋，導致實際情況中有標注數據的往往不足．半監(jiān)督學習［15］通常使用未標記的數據來減輕對標記數據的依賴．因此，利用半監(jiān)督學習可以以最低成本實現(xiàn)ROP自動診斷．在最初的半監(jiān)督學習算法中，偽標簽（pseudo-label）通過挑選具有最大預測概率的類別作為未標記數據的偽標簽，并把它們當作真正的標簽去使用［16］．一致性正則化［17］在隨機修改輸入或模型函數后，使用模型的預測分布來獲得人工偽標簽．近年來，半監(jiān)督學習算法得到進一步發(fā)展．TARVAINEN等［18］提出的Mean teacher網絡，為已標記和未標記的數據分別創(chuàng)建2種隨機增強數據，再通過學生模型和教師模型分別預測這兩種不同增強數據的標簽分布，進而計得一致性損失．MIYATO等［19］基于對抗訓練［20］提出虛擬對抗訓練（virtual adversarial training，VAT）模型，通過生成器生成對抗樣本數據，并將這些數據作為模型的訓練數據，讓模型正視這些數據，從而達到一致性正則化的效果．Fixmatch模型［21］對現(xiàn)有半監(jiān)督學習方法進行了顯著簡化，先使用模型對弱增強的未標記圖像的預測生成偽標簽，對于給定的圖像，只有當模型產生高置信度預測時，偽標簽才被保留，然后訓練該模型，當輸入同一張圖像的強增強版本時，將前面獲得的偽標簽作為訓練標簽．

本研究提出的基于混合注意力網絡（mixed attention network，MANet）的半監(jiān)督學習的ROP自動檢測方法，能夠輔助臨床醫(yī)生進行ROP和AP-ROP的早期篩查，提高篩查效率，減輕醫(yī)生負擔，具有重要臨床意義．

1 混合注意力網絡

1.1 分類器模型設計

本研究設計的分類器網絡是在ResNet-50網絡的基礎上進行改進的．ResNet-50網絡主要包括4個塊組，為便于表述，分別記為group1、group2、group3和group4，對應的卷積核的步長為4、8、16和32，每個塊組中卷積組合的數量對應為3、4、6和3．本研究提出的分類器模型和ResNet-50網絡的結構差異如表2．由表2可見，ResNet-50的塊組group1和group2都嵌入了通道注意力和空間注意力模塊（channel attention and spatial attention，CASA）；ResNet-50的塊組group3和group4中的3×3卷積替換為多頭自注意力層（multi-head self attention，MASA）．下面重點討論通道和空間注意力以及多頭自注意力模塊．

表2 ResNet-50網絡和MANet分類器模塊的結構比較Table 2 Structure comparison of ResNet-50 network and MANent classifier module

1.2 通道和空間注意力模塊

通道注意力主要探索對輸入圖像更有意義的通道特征．每個通道的特征圖F∈RC×H×W可以當作是一個特征檢測器．其中，C、W和H分別為特征圖的通道數量、寬度和高度．基于不同通道特征之間的關系，生成通道注意圖Mc∈RC×1×1和通道特征圖Fc∈RC×H×W，分別為

其中，σ為sigmoid函數；?為哈達瑪積運算符；W1和W2分別為兩個共享的完全連接層的權重值；和分別為F經過全局平均池化和全局最大池化操作后得到的特征矩陣．

空間注意力是對通道注意力的補充，目的是解決“目標在哪里”的問題．本研究使用通道注意力模塊生成的通道特征圖Fc來探索空間特征之間的關系．定義生成的空間注意圖為Ms∈R1×H×W，空間特征圖Fs∈RC×H×W，表達式分別為

其中，f3×3為內核大小為3×3的卷積運算；和分別為Fc分別經過平均池化和最大池化操作后得到的特征矩陣．為確保式（1）—式（4）中矩陣乘法的維度在計算過程中保持一致，Mc沿空間方向進行廣播，Ms沿通道維度方向進行廣播．圖2為通道注意力和空間注意力模塊的網絡結構圖．

圖2 通道和空間注意力模塊的網絡結構Fig.2(Color online)Network structure of channels and spatial attention modules.

1.3 多頭自注意力

自注意是一種計算原語，通過基于內容的尋址機制實現(xiàn)成對實體之間的交互，從而在長序列中學習到層次豐富的關聯(lián)特征．它已成為Transformer塊形式的標準工具，并在自然語言中得到廣泛使用．在視覺任務中，已有研究用多頭自注意力層替換掉空間卷積層，以實現(xiàn)自注意力的應用．在本研究設計的分類器模塊中，使用多頭自注意力層替換了ResNet-50的塊組group3和group4中的3×3卷積．由于卷積層數量減少，從網絡中提取的圖像特征不足以預測最終的分類結果，因此，將通道注意力和空間注意力模塊集成到ResNet-50的塊組group1和group2中以提高分類器的性能．基于Transformer模型的體系架構通常使用位置編碼來使注意力集中在操作位置的感知上．SHAW等［22］研究證明，相對距離感應位置編碼更適合視覺任務，因為自注意力不僅考慮內容信息，而且考慮不同位置特征之間的相對距離．本研究設計的多頭自注意力層中也采用了相對距離感應位置編碼．自注意力模塊的網絡結構如圖3．

圖3 自注意力模塊結構（d、h、w、q、k、v和X分別表示特征圖的通道數、特征圖高度、特征圖寬度、查詢矩陣、鍵值矩陣、值矩陣和輸入特征圖；?符號為矩陣相乘；⊕符號為矩陣相加.）Fig.3 Self-attention module structure.d,h,w,q,k,v,and X represent the number of channels of the feature map,the height of the feature map,the width of the feature map,the query matrix,the key matrix,the value matrix,and the input feature map,respectivety.The?symbol represents matrix multiplication,and the⊕symbol is for matrix addition.

1.4 半監(jiān)督學習算法

本研究使用的半監(jiān)督學習框架主要集成了一致性正則化方法．監(jiān)督學習中一種常見的正則化技術為數據增強技術，它應用了對輸入圖像的類別語義信息沒有影響的轉換策略．在不影響圖像語義信息的前提下，對輸入圖像采取一系列變換策略進行隨機轉換，可在不改變圖像標簽的情況下顯著改變圖像的像素含量，從而實現(xiàn)數據增強的目的．在半監(jiān)督學習中，根據一致性正則化思想，將未標記數據使用不同的數據增強方法處理后得到的多個增強數據，分類器可為它們輸出相同的類別分布．本研究設計的半監(jiān)督學習框架如圖4．對于未標記樣本x，采用弱增強F和強增強I兩種數據增強方法．

針對多類別分類問題，記XL={(xi，yi)|i∈(1，2，…，K)}為K個 有 標 簽 數 據 對，XU={uj|j∈(1，2，…，αK)}為αK個無標簽訓練數據．其中，xi為訓練樣本；yi為對應訓練樣本的標簽，是獨熱編碼（one-hot編碼）；α為超參數，用于確定訓練過程中標記數據和未標記數據的數量比值．在網絡的訓練過程中，總損失函數LT包括有標簽數據的監(jiān)督損失LL和無標簽數據的無監(jiān)督損失LU兩項交叉熵損失函數，計算公式為

其中，λL和λU分別為有標簽數據的監(jiān)督損失和無標簽數據的無監(jiān)督損失的權重；L為交叉熵損失計算函數；fclassifier為分類器網絡的輸出函數．首先，將無標簽樣本數據經過弱增強器處理得到弱增強數據，再作為分類器的輸入得到不同類別對應的概率值組合pj=fclassifier(F(uj))．然后，將pj轉換為對應的偽標簽cj=argmax(pj)．在利用無標簽數據計算無監(jiān)督損失值前，為確保分類器網絡能夠為無標簽數據提供一個更穩(wěn)定的偽標簽，需利用pj計算出置信系數εj=T(max(pj)≥θ)．若之前獲得的pj中的最大值大于θ，則令εj=1；否則，令εj=0．可見，θ為標量超參數（圖4中的虛線），用于判別是否保留偽標簽．本研究實驗發(fā)現(xiàn)，該置信系數能夠有效地提升分類器的性能．

圖4 MANet半監(jiān)督網絡框架圖Fig.4(Color online)The semi-supervised network framework adopted by MANet.

1.6 數據增強方法

本研究使用低級數據增強器和高級數據增強器來實現(xiàn)多種數據增強方法．低級數據增強器采用標準翻轉和旋轉策略，即對每個無標簽的樣本數據，以隨機概率進行水平翻轉或旋轉操作．高級數據增強器是在弱增強器增強策略的基礎上增加調整圖像的亮度、對比度、銳度變化和色彩平衡的數據增強方法．

2 實驗及結果分析

2.1 實驗數據

本研究所用實驗數據源自中國深圳市眼科醫(yī)院2015—2019年使用數字視網膜照相機RetCam采集的早產兒眼底圖像．在患者每次檢查中，會采集嬰兒眼睛5個視角（以黃斑為中心、顳側、上方、鼻側和下方）的眼底圖像，以便反映整個視網膜不同視角的眼底情況．標注數據前先人工刪除臨床判定為質量不合格的圖像，再由3位不同資歷的兒科眼科醫(yī)生對所采集的圖像數據進行標注：一位是具有約20 a ROP篩查和治療臨床經驗的資深專家（主任醫(yī)師）；一位是具有約10 a臨床經驗的主治醫(yī)師；還有一位是有3 a臨床經驗的眼科醫(yī)生．篩選出3位眼科醫(yī)生標注一致的圖像后最終獲得14433幅視網膜眼底圖像，按照8∶1∶1的比例將圖像數據劃分為訓練集、驗證集和測試集，具體分布如表1．

表1 全監(jiān)督實驗數據集分布Table 1 The distribution of the dataset for surpervised experiments 幅

2.2 全監(jiān)督分類結果

為驗證所提分類器模型的有效性，將該分類器模型與3種常見的VGG-16、ResNet-50和ViT進行比較，分析采用4種分類器模型進行分類的準確率（Acc）、受試者工作特征曲線（receiver operating characteristic curve，ROC）下方面積大?。ˋuc）、精確度（Pre）、靈敏度（Sen）、特異度（Spec）、Kappa系數（Kappa）和F1分數（F1），結果如表3．

表3 不同分類器模型在全監(jiān)督實驗中的分類性能Table 3 Classification performance of different classifier models in supervised experiments

由表3可見，本研究提出的分類器模型在準確率、F1分數、Kappa系數和特異度等8個性能評估指標上都優(yōu)于其他常見的分類器模型，能夠有效提高早產兒視網膜病變的自動檢測性能．

2.3 半監(jiān)督分類結果

將本研究提出的半監(jiān)督分類模型與VAT、Mean teacher和Fixmatch半監(jiān)督學習算法進行比較，以探究本研究提出的分類器模型在半監(jiān)督學習算法中的分類性能．通過實驗，探究分別在使用5%、15%、25%和30%的訓練集數據作為有標簽數據，其他數據作為無標簽數據時，不同半監(jiān)督學習方法的性能表現(xiàn)，結果如表4．圖5為在使用30%的訓練集數據作為有標簽數據的條件下，不同方法的ROC．由表4和圖5可見，本研究提出的MANent半監(jiān)督學習算法針對正常、AP-ROP和ROP分類的AUC值都達到99%．隨著有標簽數據量的增加，4種半監(jiān)督方法的分類性能都逐漸增強，但本研究方法在各項評估指標上都優(yōu)于其他方法．在僅使用5%訓練集有標簽數據的情況下，分類準確率已達94.2%，在僅使用30%的有標簽數據情況下，分類性能已完全可與全監(jiān)督分類的性能相媲美．可見，本研究方法能夠在少量有標注數據條件下，充分捕捉無標簽數據的特征，實現(xiàn)比較優(yōu)異的分類性能．該方法有望大幅減輕醫(yī)生手工標注數據的負擔，提高早產兒視網膜病變的自動檢測性能．

表4 不同算法在半監(jiān)督實驗中的分類性能1）Table 4 Classification performance of different algorithms in semi-supervised experiments

圖5 不同半監(jiān)督學習算法針對（a）正常、（b）AP-ROP和（c）ROP分類的ROC曲線Fig.5 The ROC curves of different semi-supervised learning algorithms.(a)Normal,(b)AP-ROP,and(c)ROP.

Grad-CAM可以將與預測類的類別相關的學習特征進行可視化［23］，因此，本研究利用Grad-CAM定位病變結構．先從分類器中獲取其類別預測作為診斷結果，再為預測結果生成相應的Grad-CAM定位圖，最后利用圖像處理技術對這些關鍵區(qū)域進行定位，并通過矩形框標出面積最大的區(qū)域，該矩形區(qū)域就表明了疾病的病理結構的位置．因此，可用Grad-CAM定位圖來判斷本研究網絡的有效性．由圖6可見，本研究提出的方法可很好地定位到病變區(qū)域，從而精準地獲得分類結果．

圖6 混合注意力網絡對各類別關注區(qū)域的熱力圖（第1行為輸入的眼底圖像．第2行為用Grad-CAM產生的類別關注區(qū)域熱力圖．第3行為對熱力圖中關注區(qū)域用矩形框在輸入圖像中進行標注的結果．）Fig.6(Color online)The heat map of the network＇s attention area for each category.The first row represents the input fundus image.The second row represents the heat map of the category attention area generated by Grad-CAM.The third row represents the result of labeling the region of interest in the heatmap with a rectangular box in the input image.

3 討 論

本研究提出的分類器基于經典的ResNet-50分類網絡架構，融合了通道注意力、空間注意力和自注意力．通過通道注意力，可根據圖像不同通道特征之間的關系，探索對輸入圖像更有意義的通道特征．基于通道特征圖，繼續(xù)通過空間注意力來探究數據的病理結構在哪里．在分類器模型中加入自注意力模塊來捕獲上下文中基于內容和位置的交互信息．全監(jiān)督實驗結果證明，本研究提出的模型有效．進一步將該分類器模型與一致性正則化方法結合，探究本研究提出的方法在半監(jiān)督學習中的分類性能．結果表明，基于混合注意力的半監(jiān)督學習方法在少量標注數據的情況下能夠獲得與全監(jiān)督學習相媲美的性能．

結語

本研究提出了一種基于混合注意力的半監(jiān)督學習方法實現(xiàn)了對早產兒視網膜病變的自動診斷．在分類器的設計上，通過將自注意力、通道注意力和空間注意力模塊集成到ResNet-50網絡的塊組中，提升了模型的特征撮能力．在全監(jiān)督實驗中，與VGG-16、ResNet-50和ViT分類模型相比，本研究提出的方法能夠有效地提高分類器的性能．此外，在僅使用30%的訓練集有標簽數據的情況下，分類器的準確率就可以達到98.6%．本研究提出的方法能夠在少量的標注數據下實現(xiàn)比較優(yōu)異的分類性能，從而能夠減輕醫(yī)生標注數據的負擔．該方法有望成為一種對ROP和AP-ROP分級的輔助診斷手段，幫助醫(yī)生實現(xiàn)對ROP和AP-ROP的準確識別，大大降低臨床醫(yī)生的誤診率，具有很大的臨床價值．

不足的是，本研究僅實現(xiàn)了對AP-ROP和ROP的分類任務，還未實現(xiàn)對ROP不同分期的識別任務，在后續(xù)工作中，將會對其進行深入研究，形成更加完整的早產兒視網膜病變自動診斷系統(tǒng)．