趙俊強， 李 驥， 王 昌， 劉華楠，李南艾， 吳星陽

(1. 新鄉(xiāng)醫(yī)學院，河南 新鄉(xiāng) 453003; 2. 新鄉(xiāng)市智能影像診斷工程技術研究中心，河南 新鄉(xiāng) 453003; 3. 新鄉(xiāng)市醫(yī)學VR（AR）與智能反饋重點實驗室，河南 新鄉(xiāng) 453003; 4. 臨床與生物醫(yī)學大數(shù)據(jù)融合技術河南省工程實驗室，河南 新鄉(xiāng) 453003; 5. 鄭州大學第一附屬醫(yī)院，河南 鄭州 450052)

0 引 言

肺癌是所有癌癥中的頭號殺手，對肺癌的早期癥狀做到精準的診斷是提高肺癌患者存活率的有效手段。近年來醫(yī)學影像[1-3]的飛速發(fā)展給肺癌的早期診斷帶來極大的便捷。但是爆炸式增長的影像數(shù)據(jù)帶給醫(yī)生高強度的工作。為了提高醫(yī)生的工作效率，降低工作強度，很多學者將神經(jīng)網(wǎng)絡引入計算機輔助診斷系統(tǒng)解決肺結(jié)節(jié)分割問題。

神經(jīng)網(wǎng)絡發(fā)展初期，Mukherjee[4]，Wang[5]，Keshani[6]以及Nithila[7]等人分別提出粗-精兩段分割網(wǎng)絡，多輸入分割網(wǎng)絡，檢測-分割兩段分割網(wǎng)絡和模糊C均值分割算法，這些方法相比傳統(tǒng)算法的分割效果好，但仍屬于神經(jīng)網(wǎng)絡的初級演變，即通過多種網(wǎng)絡組合的方式實現(xiàn)更優(yōu)的分割結(jié)果，但是仍無法解決全類型結(jié)節(jié)的精細分割?，F(xiàn)階段，Savic[8]等人提出了一種基于快速行進法的圖像分割算法，將圖像分割成具有相似特征的區(qū)域，然后結(jié)合k-means生長區(qū)域進行合并。Cha[9]等人在神經(jīng)網(wǎng)絡中加入帶符號距離的函數(shù)，用于學習肺結(jié)節(jié)的形狀特征，然后用光流法尋找肺結(jié)節(jié)在序列圖像中的局部運動進而實現(xiàn)肺結(jié)節(jié)的分割。Keetha[10]等人提出了一種資源效率模型架構(gòu)U-Det，在編碼器和解碼器之間集成了一個雙向特征網(wǎng)絡(Bi-FPN)，并利用Mish激活函數(shù)和蒙版的類別權(quán)重來提高分割效率，以一種端到端深度學習方法解決分割任務。Liu[11]等人提出一種金字塔擴張卷積塊(PDCB)，利用擴張卷積的優(yōu)勢，解決特征圖網(wǎng)格化問題，以更好地分割肺結(jié)節(jié)。這些方法雖然提高了肺結(jié)節(jié)分割精度，但仍存在不足之處。Savic和Cha等人的分割算法僅針對限定區(qū)域內(nèi)的肺結(jié)節(jié)，而不涵蓋整個肺部CT圖像，未能處理結(jié)節(jié)出現(xiàn)位置隨機這一問題。Keetha和Liu等人，雖然以端到端的方式實現(xiàn)肺結(jié)節(jié)分割，但是他們都忽略了肺結(jié)節(jié)分割當中一個重要的部分，即分割算法中的隱識別問題，僅關注對肺結(jié)節(jié)本身的分割效果，產(chǎn)生較高的假陽性。

針對上述存在問題，本文提出雙注意力生成對抗網(wǎng)絡(double-attention generative adversarial network，DA-GAN)，該網(wǎng)絡由自注意力生成器和結(jié)節(jié)注意力判別器兩個主要模塊構(gòu)成。生成器中的自注意力機制通過連接不同空間的位置特征，建立特征圖中任意位置的依賴關系，以實現(xiàn)捕捉遠程上下文信息、解決分割過程中的隱識別問題。判別器中的結(jié)節(jié)注意力機制通過3個獨立的判別器加強分割結(jié)果圖中結(jié)節(jié)的邊緣信息和中心位置信息，使得分割結(jié)果無限接近標簽圖像。此外，本文還在判別器中使用多尺度像素損失和結(jié)節(jié)保留損失來協(xié)助生成器輸出的肺結(jié)節(jié)分割圖保持真實結(jié)節(jié)的形態(tài)。生成器和判別器兩者在網(wǎng)絡訓練過程中進行動態(tài)的博弈，最終達到納什均衡點[12-13]。

1 方法介紹

本文將生成對抗的思想引入肺結(jié)節(jié)分割問題中，提出基于生成對抗網(wǎng)絡的雙注意力肺結(jié)節(jié)分割方法?？傮w流程如圖1 所示，對輸入的肺部圖像首先使用融入雙注意力機制的類U-Net生成網(wǎng)絡提取深度特征，得到結(jié)節(jié)的分割圖，然后將標簽圖和分割圖輸入對抗網(wǎng)絡進行學習以尋求兩者的平衡點，最終得到與標簽圖像更相近的分割結(jié)果圖。

圖1 網(wǎng)絡整體的流程

1.1 問題定義

令Pdata表示數(shù)據(jù)集，即包含肺結(jié)節(jié)的原始CT圖像和肺結(jié)節(jié)分割標簽圖像。{I f,I p}表示從Pdata中提取的圖像對，I f表示標簽圖像，I p表示標簽圖像對應的原始CT圖像。假設給定一張原始肺部CT圖像，理想的目標是訓練一個生成器能夠生成對應的肺結(jié)節(jié)分割圖像，即I?f=G(Ip)，并使得生成的分割圖像I?f無限接近于標簽圖像I f。為此，本文提出的DA-GAN有兩個主要部分，即自注意力生成器（self-attention generator, SA-G）和結(jié)節(jié)注意力判別器（nodule-attention discriminator, NA-D）。自注意力生成器能夠捕獲長距離的上下文信息，產(chǎn)生的特征既包含高分辨率層的關鍵信息又包含低分辨率層的特征，該特征能更好地表示原始圖像。結(jié)節(jié)注意力判別器包括3個獨立的判別模塊，每個模塊針對肺結(jié)節(jié)的不同區(qū)域，該設計有助于加強I f和I p的局部一致性。SA-G與NA-D兩者的結(jié)合使分割網(wǎng)絡生成的結(jié)果更接近真實的肺結(jié)節(jié)標簽圖像。

1.2 融入自注意力機制的生成器

U-Net網(wǎng)絡適用于醫(yī)學圖像的分割，且相較于同期其他網(wǎng)絡分割效果較好。因此，本文分割網(wǎng)絡的生成器（G）采用類似于U-Net[14-15]網(wǎng)絡的結(jié)構(gòu)，由編碼器和解碼器（encoder-decoder, E-D）組成，并在該結(jié)構(gòu)中加入跳級連接以進行多尺度特征融合。

卷積層中的每個節(jié)點是通過對前一卷積層中的一個小的局部鄰域計算得出的。想要得到圖像長距離上下文特征信息僅僅通過對繁多的卷積層進行計算是比較困難和低效的。自注意力模塊能夠?qū)⑻卣鲌D上單個位置的響應計算變?yōu)閬碜圆煌臻g位置的所有特征的加權(quán)和，使得分割網(wǎng)絡能夠建立特征圖中任意兩個位置的長期依賴關系以及非線性轉(zhuǎn)換關系。應用于肺結(jié)節(jié)分割中指：肺結(jié)節(jié)在胸腔內(nèi)存在的位置以及肺結(jié)節(jié)區(qū)域的明暗程度有較大的差異，在生成器中引入自注意力模塊，捕捉遠程上下文信息，進而獲得肺結(jié)節(jié)區(qū)域更好的特征表示。自注意力模塊如圖2所示。

圖2 自注意力模塊圖（self-attention，SA）

對于給定的輸入特征圖X∈RC×H×W。首先將該特征圖輸入到兩個不同的1×1卷積層，以生成兩個新的特征映射A,B∈RC×H×W。然后把這兩個新的特征映射A和B重塑成RC×N，N=H×W，分別記為A*和B*。然后再對(A*)T和B*進行矩陣乘法運算。最后，使用Softmax對權(quán)重進行歸一化處理即可得到自注意力圖譜Ma∈RN×N，如下：

式中：*——將三階張量重塑為二階張量操作；

σ——Softmax函數(shù)；

f(·)g(·)和——兩個不同的1 × 1卷積操作。

生成自注意力圖譜的同時，還需將原始的特征圖X輸入卷積層再將其重塑為RC×N，得到新特征圖X′。 然后特征圖X′乘 以自注意力圖譜Ma后再將結(jié)果重塑為 RC×H×W。最后，對M乘以一個標量參數(shù)并將其與原始特征圖X相加，得到自注意力特征圖X′′∈RC×H×W。計算過程如下：

式中：i，j——特征圖位置；

u——一個標量參數(shù)。

作為在教研工作中有著豐富經(jīng)驗的教師，王文娟不僅主動將山西的優(yōu)秀經(jīng)驗引入到團場學校的教研工作中去，同時還十分注重傳幫帶工作。在教研工作期間，她引入小組合作教學、探究式教學模式在學校進行推廣，還把山西長治市清華中學實施的“數(shù)學周周練、英語周周清”教學活動和初中的老師進行交流和傳授，加強教學過程中的效果檢查和落實，在教學成果上取得不錯成績。除了重點科目課程教研工作，王文娟老師還引入山西學校較為重視的新生入學教育、七年級轉(zhuǎn)折教育、中考前的心理疏導教育課程，自己首先示范，并逐步帶出一支由班主任組成的心理疏導隊伍。

將其初始化為0，并在訓練的過程中進行更新。自注意力特征圖X′′包含空間上下文信息，能夠突出肺結(jié)節(jié)特征區(qū)域，提高分割精度，有效解決了隱識別問題。

1.3 融入結(jié)節(jié)注意力機制的判別器

為了得到更加精確的肺結(jié)節(jié)分割圖像，分割網(wǎng)絡的生成器除了強調(diào)肺結(jié)節(jié)所處的局部特征之外，還必須突出肺結(jié)節(jié)的中心位置和邊緣細節(jié)。為此，提出了一種新的結(jié)節(jié)注意力機制，即額外采用兩個與Df判別器協(xié)同作用的“分割指引判別器”，這兩個分割指引判別器分別關注肺結(jié)節(jié)的不同局部區(qū)域。即將肺結(jié)節(jié)的中心和邊緣指定為兩個局部區(qū)域，并對每個區(qū)域分配一個區(qū)域判別器（Dc和Db）。各區(qū)域的判別器在各自區(qū)域內(nèi)發(fā)揮作用，以提高最后的分割結(jié)果。融入結(jié)節(jié)注意力機制的判別網(wǎng)絡損失函數(shù)構(gòu)成圖如圖3所示。

圖3 辨別網(wǎng)絡損失函數(shù)構(gòu)成圖

受文獻[16]啟發(fā)，將肺結(jié)節(jié)分解為兩個預定義區(qū)域。首先使用預先訓練的模型作為現(xiàn)成的肺結(jié)節(jié)解析器fp，生成兩個研磨圖像。然后將研磨圖像應用于肺結(jié)節(jié)原始圖像，創(chuàng)建區(qū)域圖像，其中低頻區(qū)域Ic（即肺結(jié)節(jié)中心區(qū)域），高頻區(qū)域Ib（即肺結(jié)節(jié)輪廓區(qū)域）。數(shù)學公式說明如下：

式中：Mc,Mb——肺結(jié)節(jié)的中心區(qū)域和輪廓區(qū)域；

⊙——兩個向量按元素逐個相乘；

，——肺結(jié)節(jié)中心和輪廓的區(qū)域圖像。

3個判別器（Df,Dc,Db）分別判別3種肺結(jié)節(jié)分割標簽視圖（If,Ic,Ib）和與之對應的區(qū)域視圖（，，）。所有這些判別器都與生成器進行對抗性地訓練。因此，本文提出的肺結(jié)節(jié)注意力機制由3個獨立判別器的3個對抗性損失組成，如下：

1.4 生成器目標函數(shù)

1）肺結(jié)節(jié)保留損失。評價肺結(jié)節(jié)分割效果的一個關鍵方面是指生成分割圖中肺結(jié)節(jié)形狀完整性的保留能力。利用預先訓練的肺結(jié)節(jié)識別網(wǎng)絡提取關鍵性的特征表示，提高生成器保留肺結(jié)節(jié)區(qū)域的能力。在訓練過程中肺結(jié)節(jié)識別網(wǎng)絡采用AlexNet+MSPP網(wǎng)絡架構(gòu)[17]與其固定的權(quán)重，得到肺結(jié)節(jié)區(qū)域特征。肺結(jié)節(jié)保留損失定義為生成器生成的肺結(jié)節(jié)區(qū)域與真實的肺結(jié)節(jié)區(qū)域在倒數(shù)第二個全連接層的特征級差，如下：

式中：pi(·)(i∈1,2)——AlexNet+MSPP倒數(shù)第二個全連接層的輸出特征；

|| . ||2——L2范數(shù)。

2）多尺度像素損失。采用多尺度像素損失來約束內(nèi)容一致性。在生成器中，多尺度合成圖像由不同層次的解碼器輸出，第i個樣本的損失是多尺度合成圖像與真實肺結(jié)節(jié)標簽的絕對平均差，對應的數(shù)學表示如下：

式中：S——尺度的數(shù)量；

Ws和Hs——對應尺度S的寬度和高度。

3）總損失。目標函數(shù)是上述損失的加權(quán)總和：

其中，λ1，λ2是控制損失項權(quán)衡的超參數(shù)，在實驗中分別設為5和0.5。

2 結(jié)果分析

2.1 實驗數(shù)據(jù)及細節(jié)

本文的實驗數(shù)據(jù)包括兩個部分，第一部分是LIDC[18]中的數(shù)據(jù)集，第二部分是河南某合作醫(yī)院的數(shù)據(jù)集。實驗數(shù)據(jù)的LIDC（Lung Imaging Database Consortium）數(shù)據(jù)部分，排除了切片厚度大于2.5 mm的CT掃描圖像，將剩余的888例肺部圖像作為數(shù)據(jù)集，這888例CT圖像中共包含1 186個結(jié)節(jié)，其直徑范圍在3.170 mm至27.442 mm之間。CT圖像采集參數(shù)為150 mA、140 kV，平均層厚1.3 mm。河南某醫(yī)院CT數(shù)據(jù)含有200個肺部疾病患者，150例被確診為肺結(jié)節(jié)，每個患者平均含有150張CT片，因為可能出現(xiàn)多個切片屬于同一結(jié)節(jié)的情況（表示不同方位的結(jié)節(jié)），所以，在 150×150 CT 圖像中大概有3 060個結(jié)節(jié)。這些結(jié)節(jié)的直徑范圍為：1.3～25 mm，平均最大直徑為 6.1 mm。醫(yī)學專家對這些結(jié)節(jié)進行了診斷并確認，其中包含1 730個惡性結(jié)節(jié)和1 330個良性結(jié)節(jié)。將合作醫(yī)院的數(shù)據(jù)和LIDC數(shù)據(jù)打亂，訓練數(shù)據(jù)與測試數(shù)據(jù)分別為830例與208例，這208例測試數(shù)據(jù)（其中包含孤立型肺結(jié)節(jié)320組，包含胸膜牽拉型肺結(jié)節(jié)220組，包含磨玻璃型肺結(jié)節(jié)和血管粘連型結(jié)節(jié)大約各500組，以及其他類型結(jié)節(jié)30組）CT序列圖像共31 200張，單張CT圖像的大小為512×512。

在訓練過程中，DA-GAN以原始CT圖像作為輸入數(shù)據(jù)，使用MSRA[19]方法隨機初始化權(quán)值，在標準反向傳播更新中，學習速率初始化為0.1，每完成2次迭代衰減0.5%，將每個批次的大小設置為32，初始動量值設為0.87。采取交叉驗證策略評估本文分割網(wǎng)絡的效果，在訓練和測試數(shù)據(jù)集中采用相近的數(shù)據(jù)分布情況，以避免由于數(shù)據(jù)不均衡而引起對肺結(jié)節(jié)的過分割和欠分割。

DA-GAN網(wǎng)絡搭建實驗平臺是Ubuntu 19.0，處理器為Intel(R) Core(M) i7-8770，主頻3.40 GHz，內(nèi)存16 GB，包括一張NVIDIA GeForce RTX3060顯卡其顯存為16 GB。

2.2 實驗結(jié)果

2.2.1 定性分析

圖4是本文提出的DA-GAN肺結(jié)節(jié)分割網(wǎng)絡對孤立型結(jié)節(jié)、胸膜牽拉型結(jié)節(jié)、血管粘連型肺結(jié)節(jié)及磨玻璃型結(jié)節(jié)的分割結(jié)果。其中第一行為原始CT圖像，第二行為醫(yī)生手動標記的結(jié)果，第七行為本文方法分割結(jié)果。因為磨玻璃結(jié)節(jié)具有顏色較淡、形狀多變的特性，使得較難分清血管和結(jié)節(jié)；血管粘連型結(jié)節(jié)由于血管的復雜性，很可能出現(xiàn)將小血管誤認為結(jié)節(jié)的情況；所以對這兩種結(jié)節(jié)進行分割時，結(jié)果大多不太理想。但是，從結(jié)果圖來看，本文方法不論是對孤立型結(jié)節(jié)還是較難分割的血管粘連型結(jié)節(jié)和磨玻璃結(jié)節(jié)，得出的分割結(jié)果都有完整且清晰的邊緣，并且與醫(yī)生標注的分割結(jié)果相符。

圖4 各類型分割結(jié)果圖

2.2.2 定量分析

像素準確率（pixel accuracy，PA），類別平均像素準確率（mean pixel accuracy，MPA）,平均交并比（mean intersection over union, MIoU）[20]是三種常用的語義分割標準。通過這三個標準對本文方法進行評估。具體的計算方法如下所示：

由于肺結(jié)節(jié)分割屬于一類語義分割問題（即只需從背景中分割得到肺結(jié)節(jié)），因此我們設k=1。pij表示在標簽中本歸為i類但被預測為j類的像素數(shù)量。pii與pji以同理解釋。

表1數(shù)據(jù)展示了不同算法在不同類型肺結(jié)節(jié)上的表現(xiàn)。從表格中可以看出所有方法對孤立型肺結(jié)節(jié)均有較好表現(xiàn)，分割精度都很高，但是對于其他三類肺結(jié)節(jié)，表現(xiàn)差異較大。文獻[8-11]這四種方法，對于血管粘連型肺結(jié)節(jié)和磨玻璃型肺結(jié)節(jié)過分割，說明這兩種算法沒能解決好“隱識別”問題，就會出現(xiàn)將非結(jié)節(jié)部分歸為到結(jié)節(jié)的現(xiàn)象。相反，本文方法使用融入結(jié)節(jié)注意力機制的判別器，對肺結(jié)節(jié)先識別再分割，不僅強調(diào)肺結(jié)節(jié)所處的局部特征，還突出肺結(jié)節(jié)的中心位置和邊緣細節(jié)，在一定程度上避免過分割的情況，從而解決“隱識別”問題。

綜合分割結(jié)果圖4和分割結(jié)果數(shù)據(jù)表1得出，相比較目前成熟的四種分割算法，本文方法對血管粘連型肺結(jié)節(jié)和磨玻璃型肺結(jié)節(jié)的分割結(jié)果最好，從表1得出，本文方法有最高的像素準確率、類別像素準確率和平均交叉比值，分別達到91.22%、91.4%、91.27%。不論是哪種類型的結(jié)節(jié)，本文算法的分割結(jié)果都接近于標簽，邊緣完整。

表1 各類型結(jié)節(jié)的結(jié)果值

3 結(jié)束語

本文設計的DA-GAN網(wǎng)絡的主要創(chuàng)新之處和貢獻：1）將自注意力機制引入以類Unet為主框架的生成器中，使特征圖的每個位置融入長距離的相互依賴關系進而得到更具有辨識性的深度特征。2）設計了結(jié)節(jié)保留損失函數(shù)以及多尺度特征損失函數(shù)，改進肺結(jié)節(jié)分割過程中的隱識別問題。3）把肺結(jié)節(jié)分為中心局部區(qū)域和邊緣局部區(qū)域，使用不同的判別器對這兩個局部區(qū)域進行指引，最終使各個類型結(jié)節(jié)的分割結(jié)果具有明確的中心和清晰的邊緣。經(jīng)過對河南某醫(yī)院數(shù)據(jù)和LIDC數(shù)據(jù)的測試，本文方法獲得91.27%的準確率。

之后的研究計劃是對分割出的各類型結(jié)節(jié)進行良惡性的判斷，對良性結(jié)節(jié)的突出特征進行研究，分析其生長情況，掌握整個肺結(jié)節(jié)的生長速度和標志性特征，為阻止肺結(jié)節(jié)衍生為肺癌做早期的精準診斷和預防。