梁宇辰，蔡 念，歐陽文生，謝依穎，王 平

（1.廣東工業(yè)大學(xué) 信息工程學(xué)院, 廣東 廣州 510006；2.廣州醫(yī)科大學(xué)附屬第一醫(yī)院 肝膽外科, 廣東 廣州 510120）

慢性阻塞性肺疾病(Chronic Obstructive Pulmonary Disease，COPD) 是一種常見的全球性呼吸疾病，已成為全球的第三大死因[1]。近些年，我國的COPD患病率也呈現(xiàn)不斷上升趨勢，且死亡率高于全球平均水平[2-3]。COPD患者通常會出現(xiàn)氣道嚴(yán)重阻塞現(xiàn)象，進一步導(dǎo)致呼吸困難，甚至存在肺心病、呼吸衰竭等風(fēng)險[4]。目前，主要采用CT圖像評估[5-6]鑒別COPD肺部異常，這需要醫(yī)生根據(jù)COPD患者的上百張CT序列圖片中的病灶氣泡占比情況進行主觀分析，耗費醫(yī)生大量精力和時間，也給醫(yī)生帶來視覺疲勞并影響主觀評估[7]。

近幾年，隨著深度學(xué)習(xí)尤其是卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)的高速發(fā)展，CNN已經(jīng)被廣泛應(yīng)用于CT圖像處理，以輔助肺部疾病診斷。Shah等[8]使用VGG-19對新型冠狀病毒肺炎(Corona Virus Disease 2019 ,COVID-19) 進行診斷。Polat等[9]在Inceptionv3模型上使用遷移學(xué)習(xí)，從患者的單張胸部CT圖像獲取病灶信息識別COPD的嚴(yán)重程度。雖然上述方法在肺部疾病輔助診斷上取得不錯的效果，但是這些方法只考慮了部分CT切片圖像內(nèi)的局部病變肺泡特征，沒有考慮CT切片圖像之間的關(guān)聯(lián)信息，這將不利于肺部病灶區(qū)病變肺泡識別[10]。

Xu等[11]從胸部CT序列中隨機選出8張CT圖像，采用AlexNet網(wǎng)絡(luò)對每張CT圖像進行特征提取，然后采用SVM進行分類實現(xiàn)COPD診斷。可是，該方法只對單張CT圖像進行單獨分析，雖然SVM對8張CT圖像進行了分類，但是本質(zhì)上仍未考慮這8張CT切片之間的關(guān)聯(lián)信息。Ahmed 等[12]將VoxResNet拓展到3D卷積結(jié)構(gòu)，通過多個殘差3D卷積結(jié)構(gòu)保留盡可能多的空間信息對CT序列圖像進行處理來診斷COPD。Varchagall等[13]使用3D ResNet提取CT圖像病灶空間特征并使用遷移學(xué)習(xí)進行肺癌診斷。Kienzle等[14]將ConvNeXt網(wǎng)絡(luò)拓展到3維結(jié)構(gòu)構(gòu)成3D ConvNeXt網(wǎng)絡(luò)對COVID-19進行診斷。這些網(wǎng)絡(luò)都是采用3D卷積方法對CT序列圖像進行處理，但是3D卷積難以提取病灶區(qū)細(xì)微肺泡特征，影響網(wǎng)絡(luò)的分類效果。Wu等[15]從CT序列圖像中提取氣管樹圖像和9張3D肺部圖像等其他模態(tài)信息作為ResNet26的網(wǎng)絡(luò)輸入，從而實現(xiàn)COPD輔助診斷?？墒牵摲椒ㄊ苤朴跉夤軜?D形態(tài)提取的精準(zhǔn)性，缺乏COPD輔助診斷的便捷性。Kollias等[16]使用CNN和RNN分別獲取局部病變肺泡的圖像特征和全局切片間的關(guān)聯(lián)信息，構(gòu)建了一種MIA-COVID-19網(wǎng)絡(luò)對COVID-19進行診斷。Humphries等[17]結(jié)合CNN與長短時記憶(Long-Short Term Memory, LSTM)對COPD進行診斷。上述兩個網(wǎng)絡(luò)可以同時學(xué)習(xí)病灶圖像局部特征和切片之間全局關(guān)聯(lián)信息。但是，它們直接對上百張CT切片圖像進行特征關(guān)聯(lián)信息提取，忽視了不同距離的CT切片圖像之間的關(guān)聯(lián)性是不同的。

本文提出一種基于CT切片圖像關(guān)聯(lián)信息的深度網(wǎng)絡(luò)，輔助診斷COPD。將COPD患者胸部CT切片序列分為若干組作為整個網(wǎng)絡(luò)的網(wǎng)絡(luò)分支的輸入，同時提取組內(nèi)切片之間的局部關(guān)聯(lián)信息和各切片內(nèi)的病灶圖像局部特征。為了提高各網(wǎng)絡(luò)分支的病灶圖像局部特征提取能力，融入ConvNeXt提出一種增強的多頭卷積注意力模塊。

1 方法

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

基于切片關(guān)聯(lián)信息的COPD診斷網(wǎng)絡(luò)輸入COPD患者的胸部CT圖像序列，輸出診斷結(jié)果。網(wǎng)絡(luò)由多個局部切片關(guān)聯(lián)信息提取分支和一個全局的切片關(guān)聯(lián)信息提取階段構(gòu)成。圖1展示了3個分支組成的網(wǎng)絡(luò)結(jié)構(gòu)示意圖。局部切片關(guān)聯(lián)信息提取分支由Conv STEM模塊、En-MHCA模塊、Down Sample模塊和Ef-Transformer模塊構(gòu)成，主要提取組內(nèi)CT切片之間的局部關(guān)聯(lián)信息和組內(nèi)CT切片病灶區(qū)的局部圖像特征。將每個分支的特征信息以N切片數(shù)的維度進行二次拼接組成局部特征序列輸入到全局切片關(guān)聯(lián)信息提取階段，該階段主要由BiLSTM[18]構(gòu)成，提取各分支之間的切片之間的全局關(guān)聯(lián)信息。最后，級聯(lián)一個多層感知器(Multi-Layer Perceptron，MLP)進行COPD診斷。

圖1 本文提出的深度網(wǎng)絡(luò)架構(gòu)Fig.1 The framework of the proposed deep network

1.2 局部切片關(guān)聯(lián)信息提取分支

肺部病變肺泡是COPD患者的典型病理特征，是COPD診斷重要依據(jù)。根據(jù)合作醫(yī)生提供的先驗知識[19]，COPD病變肺泡通常在3至4張CT切片中就能觀察到完整的病變肺泡結(jié)構(gòu)；在一些切片數(shù)量較多的情況中，病變肺泡可能分布在10張左右CT切片中。因此，本文提出對COPD患者胸部CT序列圖像進行合理分組，各分組可以提取組內(nèi)CT切片之間的局部關(guān)聯(lián)信息和組內(nèi)CT切片病灶區(qū)的局部圖像特征。

將COPD患者CT序列數(shù)據(jù)劃分為若干組，每組內(nèi)有N張切片，每張CT切片圖像維度為(C,W,H) ，其中C代表特征通道數(shù)，W代表圖像寬度，H代表圖像高度。本文中，N經(jīng)驗選擇為10，后續(xù)消融實驗將驗證此選擇。因此，分組后的序列圖像組數(shù)由患者CT序列的切片總數(shù)決定，如患者CT序列為400張CT切片，則分組數(shù)為40組。

將各組CT切片作為各局部切片關(guān)聯(lián)信息提取分支的輸入，其結(jié)構(gòu)如圖2所示。其中，Conv STEM模塊用于低維特征提取，2個En-MHCA模塊和2個Down Sample下采樣模塊用于提取高維局部病灶特征。提取到的高維特征按N切片數(shù)的維度拼接為特征序列輸入到Ef-Transformer模塊。圖2中僅展示了3張圖像的特征拼接情況。在Ef-Transformer模塊中，特征序列通過自注意力[20]獲取組內(nèi)切片之間的局部關(guān)聯(lián)信息和局部病灶圖像特征。

圖2 局部切片關(guān)聯(lián)信息提取分支的結(jié)構(gòu)Fig.2 The structure of the branch for local slice correlated information extraction

1.3 Conv STEM模塊

Conv STEM模塊的結(jié)構(gòu)如圖3所示，包含一組由Depth Wise卷積層和Point Wise卷積層構(gòu)成的深度可分離卷積層、Batch Normal歸一化層、Max Pool層和ReLU層，數(shù)學(xué)表示為

圖3 Conv STEM的結(jié)構(gòu)Fig.3 The structure of the Conv STEM

式中：x1為輸入特征，M代表Max Pool層，R代表ReLU激活函數(shù)層，BN代表Batch Normal歸一化層，PWC 代 表Point Wise卷積層, D WC代表Depth Wise卷積層。

1.4 Down Sample模塊

Down Sample模塊的結(jié)構(gòu)如圖4所示，主要由1個Convolution層和1個Max Pool層構(gòu)成，其數(shù)學(xué)表示為

圖4 下采樣模塊Fig.4 Down sampling module

式中：x2為該模塊的輸入，Conv() 代表卷積層操作。在圖4中，H、W和C分別為特征映射圖的高、寬和通道數(shù)，N為切片數(shù)。

1.5 En-MHCA模塊

受ConvNeXt[21]的啟發(fā)，提出了一個增強的多頭卷積注意力模塊(Enhanced Multi Head Convolutional Attention, En-MHCA) 。與傳統(tǒng)的多頭卷積注意力模塊(Multi Head Convolutional Attention, MHCA)[22]不同的是，En-MHCA融合ConvNeXt進行特征提取和非線性擬合，去除了只有非線性擬合能力的MLP結(jié)構(gòu)，因此En-MHCA本質(zhì)上是一個倒置的多頭卷積注意力結(jié)構(gòu)。傳統(tǒng)MHCA僅使用MHCA層進行特征學(xué)習(xí)，而且MLP結(jié)構(gòu)僅有非線性擬合能力。相比之下， En-MHCA包含了2個擁有特征學(xué)習(xí)能力的殘差結(jié)構(gòu)(即ConvNeXt和MHCA)，具有更強的特征提取能力。

如圖5所示，ConvNeXt由1個Depth Wise卷積層、2個Point Wise卷積層以及殘差結(jié)構(gòu)構(gòu)成。Depth Wise卷積層是一個大小為3、步長為1且分組數(shù)和通道數(shù)一致的卷積層。Point Wise卷積層是一個大小為1、步長為1的通道轉(zhuǎn)換卷積層。經(jīng)過1個Depth Wise卷積層、2個Point Wise卷積層后輸出的特征映射圖和ConvNeXt輸入特征映射圖進行一次殘差結(jié)構(gòu)相加。

圖5 增強的多頭卷積注意力模塊Fig.5 Enhanced multi-head convolutional attention module

ConvNeXt輸出的特征映射圖作為MHCA輸入。MHCA主要由1個3 ×3分組卷積層、1個1×1卷積層、1個Batch Normal層和1個ReLU層構(gòu)成，其數(shù)學(xué)表示為

式中：x3為 輸入特征映射圖，R1為ConvNeXt輸出特征映射圖，R2為MHCA輸出特征映射圖。

1.6 Ef-Transformer模塊

為了更好地獲取組內(nèi)切片間的局部關(guān)聯(lián)信息，在分支中采用Ef-Transformer 模塊[23]提取特征。如圖6所示，特征映射圖經(jīng)過1個Layer Norm層，再輸入到E-MHSA(Efficient Multi-head Self-attention)。EMHSA輸出的特征映射圖和Ef-Transformer輸入的初始特征映射圖通過一個殘差連接進行相加得到組內(nèi)切片間的關(guān)聯(lián)信息S1。 隨后，S1經(jīng)過1個Layer Norm層和1個MLP后，再與S1執(zhí)行一次殘差連接相加。Ef-Transformer模塊的計算過程可以數(shù)學(xué)表示為

圖6 Ef-Transformer模塊Fig.6 The Ef-Transformer module

式中：x4為輸入特征映射圖，EMHSA代表多頭自注意力模塊操作，LN代表LayerNorm正則化層操作，S1為 一次殘差連接的輸出特征，S2為第二次殘差連接的輸出特征。

1.7 BiLSTM模塊

因為不同COPD患者的CT切片數(shù)是不一致的，所以各患者CT切片序列的分組數(shù)也有所不同。故采用BiLSTM多單元模塊來提取各組之間的切片全局關(guān)聯(lián)信息。BiLSTM結(jié)構(gòu)如圖7所示，可以數(shù)學(xué)表示為

圖7 BiLSTM模塊Fig.7 The BiLSTM module

1.8 損失函數(shù)

采用交叉熵?fù)p失函數(shù)優(yōu)化提出的深度網(wǎng)絡(luò)參數(shù)，數(shù)學(xué)表達為

式中：yi為 COPD真實診斷標(biāo)簽，pi為模型根據(jù)數(shù)據(jù)診斷的結(jié)果，M表示訓(xùn)練集的樣本數(shù)，i表示當(dāng)前樣本序號。

2 實驗

2.1 數(shù)據(jù)集及訓(xùn)練環(huán)境配置

本文實驗數(shù)據(jù)均由廣州醫(yī)科大學(xué)第一附屬醫(yī)院提供，共收集了161例COPD患者CT序列，每例數(shù)據(jù)包含130到400之間的CT切片圖像。因此，數(shù)據(jù)集總共包含43 140張CT切片圖像。每張切片圖像的分辨率是512×512，像素平均間距為0.68 mm，切片平均厚度為1.143 mm。由于患者隱私等協(xié)議條款，本文不能公開這些影像數(shù)據(jù)。

訓(xùn)練集由110例共30 190張CT切片構(gòu)成，測試集由51例共12 950張CT切片構(gòu)成，數(shù)據(jù)標(biāo)注均由經(jīng)驗豐富的醫(yī)生完成。

本文實驗皆在一臺配置為NVIDIA RTX A6000 48 GB GPU和Inter Xeon(R) Gold 5218R 2.10GHz CPU的工作站上完成。模型訓(xùn)練和測試代碼都是基于PyTorch 1.6(python3.8)深度學(xué)習(xí)框架編程實現(xiàn)，其訓(xùn)練初始化參數(shù)如表1所示。

表1 模型訓(xùn)練初始化參數(shù)Table 1 The initialization parameters of the model in training

評估標(biāo)準(zhǔn)有準(zhǔn)確率(Accuracy, ACC)、靈敏度(Sensitivity, SEN)、特異性(Specificity, SPE)和受試者工作特征(Receiver Operating Characteristic, ROC)曲線下的面積值(Area Under Curve, AUC) 。其中，AUC的值由ROC曲線與坐標(biāo)圍成的區(qū)域面積所得。ACC、SEN、SPE的計算公式為

式中：TP表示真陽性，真實標(biāo)簽為COPD患者，模型預(yù)測為COPD患者；FP表示假陽性，真實標(biāo)簽為COPD患者，模型預(yù)測為非COPD患者；TN表示真陰性，真實標(biāo)簽為非COPD患者，模型預(yù)測為非COPD患者；FN表示假陰性，真實標(biāo)簽為非COPD患者，模型預(yù)測為COPD患者。

2.2 消融實驗

(1) 不同模塊對網(wǎng)絡(luò)性能的影響。本文通過相關(guān)模塊的消融實驗說明網(wǎng)絡(luò)中相關(guān)模塊對網(wǎng)絡(luò)診斷性能的影響，Ef-Transformer縮寫為Ef-Trans，數(shù)據(jù)如表2所示。

表2 不同特征提取模塊的對比Table 2 Comparisons of different feature extraction modules

從表2可以看到，當(dāng)只使用Ef-Trans時，網(wǎng)絡(luò)只獲取了組內(nèi)切片間的局部關(guān)聯(lián)信息，而忽視了組間切片的全局關(guān)聯(lián)信息，從而導(dǎo)致網(wǎng)絡(luò)診斷性能最差。而當(dāng)只采用BiLSTM時，網(wǎng)絡(luò)的診斷準(zhǔn)確率等性能要比只使用Ef-Trans有大幅度的提升，這說明組間的長程關(guān)聯(lián)性對COPD診斷具有重要指導(dǎo)價值。當(dāng)同時使用BiLSTM和Ef-Trans時，網(wǎng)絡(luò)性能相比于只使用BiLSTM時的網(wǎng)絡(luò)略微有所提升，這說明組間的切片全局關(guān)聯(lián)信息和組內(nèi)的切片局部關(guān)聯(lián)信息的有機融合能提升COPD患者的CT序列分類效果。從最后一行數(shù)據(jù)來看，提出的增強多頭卷積注意力模塊與普通的多頭卷積主力模塊相比，網(wǎng)絡(luò)的診斷準(zhǔn)確率等性能有所提升。

(2) 不同分組切片參數(shù)對網(wǎng)絡(luò)性能的影響。

為了探索不同的分組切片數(shù)對網(wǎng)絡(luò)性能的影響，本文做了對比實驗。如表3所示，當(dāng)分組切片數(shù)為10時，網(wǎng)絡(luò)的AUC指標(biāo)表現(xiàn)更好。這是因為過少的分組切片數(shù)會造成網(wǎng)絡(luò)無法獲取完整的結(jié)構(gòu)關(guān)聯(lián)信息，而過多的分組切片數(shù)提供了冗余的切片關(guān)聯(lián)信息。

表3 不同分組切片參數(shù)的對比實驗Table 3 Comparative experiments with different grouping of slicing parameters

2.3 對比實驗

為了驗證提出模型的效果，將其與現(xiàn)有的一些基于CT圖像的肺部疾病深度學(xué)習(xí)方法進行對比，這些方法分別是VGG-19[8]、3D VoxResNet[12]、DCT-MIL[11]、MIA-COV19D[16]、3D ResNet[13]、CNN+LSTM[17]和3D ConvNeXt[14]，結(jié)果如表4所示。

表4 不同深度學(xué)習(xí)方法的對比Table 4 Comparisons among different deep learning methods

從表4可以看出，VGG-19網(wǎng)絡(luò)在提取CT圖像特征過程中，網(wǎng)絡(luò)深度的增加導(dǎo)致病變肺泡特征信息丟失，且VGG-19網(wǎng)絡(luò)也未考慮切片之間的關(guān)聯(lián)信息，因此獲得非常差的COPD診斷性能。

3D ResNet和3D VoxResNet都通過殘差結(jié)構(gòu)緩解因網(wǎng)絡(luò)深度不斷加深而丟失特征的現(xiàn)象，因此獲得比VGG-19網(wǎng)絡(luò)更好的COPD診斷性能。3D ConvNeXt網(wǎng)絡(luò)使用的3D ConvNeXt模塊具有很強的空間提取能力，因此獲得了高達92.91%的AUC值。雖然這3種3D網(wǎng)絡(luò)都較好地實現(xiàn)了COPD輔助診斷，但是它們僅使用CT圖像內(nèi)的局部空間特征，忽視了切片間的關(guān)聯(lián)信息，因此難以獲取病變肺泡的整體形貌信息，不同程度地影響網(wǎng)絡(luò)診斷性能。MIACOV19D和CNN+LSTM采用CNN提取切片內(nèi)的局部細(xì)節(jié)信息，分別采用RNN和LSTM提取CT序列的全局關(guān)聯(lián)信息，因此分別獲得了87.37%和83.22%的AUC值。但是，這兩種方法在提取CT序列的全局關(guān)聯(lián)信息時未考慮不同距離切片之間的關(guān)聯(lián)程度。DCTMIL采用AlexNet遷移特征，并采用多實例實習(xí)策略分析隨機選取的8張連續(xù)CT切片圖像，并考慮了鄰近切片之間的關(guān)聯(lián)性，因此也獲得了82.53%AUC值。但是，DCT-MIL忽視了整個CT序列的長程關(guān)聯(lián)關(guān)系，導(dǎo)致其診斷性能仍然較低。本文所提出的深度網(wǎng)絡(luò)結(jié)合了組間切片的全局關(guān)聯(lián)信息和組內(nèi)切片的局部關(guān)聯(lián)信息，同時融合了切片圖像病灶區(qū)的局部圖像特征，因此獲得了最佳的COPD輔助診斷效果，準(zhǔn)確率達到92.15%，敏感度達到94.17%，特異性達到91.17%，AUC達到95.33%。圖8為不同深度學(xué)習(xí)方法的ROC曲線圖。如圖8所示，本文網(wǎng)絡(luò)的ROC曲線包裹面積最大。

圖8 ROC曲線圖Fig.8 The ROC curves

3 結(jié)論

本文提出一種基于切片關(guān)聯(lián)信息的深度網(wǎng)絡(luò)，應(yīng)用于COPD輔助診斷。采用分組方式，融合ConvNeXt和MHCA提出增強的多頭卷積注意力模塊(En-MHCA)，提取組內(nèi)CT切片間的局部關(guān)聯(lián)信息和CT切片病灶區(qū)的局部圖像特征。采用BiLSTM提取組間CT切片的全局關(guān)聯(lián)信息。實驗結(jié)果表明，提出的深度網(wǎng)絡(luò)比多個現(xiàn)有深度網(wǎng)絡(luò)具有更好的診斷性能，準(zhǔn)確率、敏感度、特異性和AUC分別達到92.15%、94.17%、91.17%和95.33%。