吳優(yōu)，張睿，張文強(qiáng)

復(fù)旦大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，上海 200011

根據(jù)世界衛(wèi)生組織發(fā)表的GLOBOCAN2018癌癥報(bào)告顯示[1]，肺部癌癥是全球性發(fā)病率最高且死亡人數(shù)最多的一種疾病，肺癌的發(fā)病率和死亡率分別為11.6%和18.4%，并且呈現(xiàn)出不斷增長的趨勢(shì)。研究表明，早期診斷肺部疾病并及時(shí)治療能提高至少30% 的肺癌生存率。由于肺部疾病的初期癥狀并不明顯，患者很容易錯(cuò)過最佳治療時(shí)間，所以在CT 掃描影像中提取病灶特征并進(jìn)行檢測(cè)是一項(xiàng)重要任務(wù)。眾多研究者在利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力在CT 圖像領(lǐng)域幫助醫(yī)生輔助診斷進(jìn)行了大量研究，并且取得了一定成果。但由于肺部疾病常常伴隨著多種并發(fā)癥同時(shí)出現(xiàn)，如氣管炎、淋巴系統(tǒng)疾病、心臟疾病等，目前在肺部單影像特征的臨床實(shí)踐中，計(jì)算機(jī)輔助系統(tǒng)已經(jīng)取得了非常好的發(fā)展，但對(duì)肺部多病種的研究卻鮮有涉及，下一步的重點(diǎn)是對(duì)肺部多種疾病進(jìn)行智能綜合診治。

傳統(tǒng)的肺部疾病檢測(cè)需要有臨床經(jīng)驗(yàn)的醫(yī)生采取人工特征識(shí)別的方式來鑒別，人工特征包含查看形狀、紋理以及上下文空間信息等[2]，醫(yī)生需要反復(fù)翻看CT 圖片來確定病人是否患有某種疾病，并且多個(gè)醫(yī)生由于經(jīng)驗(yàn)的不同可能會(huì)對(duì)相同CT 影像產(chǎn)生截然相反的檢測(cè)結(jié)果。所以人工檢測(cè)過程復(fù)雜、耗時(shí)耗力、還可能因?yàn)槿斯て诘纫蛩卦斐烧`檢漏檢。

從20 世紀(jì)90 年代開始，計(jì)算機(jī)輔助診斷（computer aided diagnosis，CAD）在臨床醫(yī)療研究中被廣泛應(yīng)用.眾多國內(nèi)外學(xué)者發(fā)現(xiàn)，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）能自主學(xué)習(xí)肺部CT 影像中的高級(jí)特征，無需經(jīng)過人工檢驗(yàn)的繁瑣步驟，直接學(xué)習(xí)肺部疾病的特征來進(jìn)行檢測(cè)[3-4]。以肺結(jié)節(jié)檢測(cè)為例，Chen 等[5]使用聚類分水嶺算法來提取候選結(jié)節(jié)檢測(cè)區(qū)域，并使用支持向量機(jī)來進(jìn)行分類，結(jié)節(jié)檢測(cè)準(zhǔn)確率為79%。Setio 等[6]提出一種多視圖2D CNN 方法，以2D 圖像作為輸入進(jìn)行肺結(jié)節(jié)的檢測(cè)，檢測(cè)結(jié)果比傳統(tǒng)人工識(shí)別方式精度高出15% 左右。Dou 等[7]提出3D 卷積神經(jīng)網(wǎng)絡(luò)能更好的學(xué)習(xí)到CT 影像中的空間信息，并提出以候選位置坐標(biāo)為中心切割3 個(gè)不同大小的立方體并送入網(wǎng)絡(luò)，分別訓(xùn)練3 個(gè)包含不同層次上下文信息的三維卷積網(wǎng)絡(luò)，將這些網(wǎng)絡(luò)的后驗(yàn)預(yù)測(cè)融合在一起，得到最終的分類結(jié)果，但該網(wǎng)絡(luò)結(jié)構(gòu)存在需要手動(dòng)控制每個(gè)尺度權(quán)重的問題，所以如何選取網(wǎng)絡(luò)能更快更準(zhǔn)確的檢測(cè)出肺部疾病是目前存在的問題。

一般來說，肺部病種檢測(cè)分為2 個(gè)階段[8-10]：找到候選患病區(qū)域，剔除假陽性病灶。本文提出的基于2D 網(wǎng)絡(luò)分割和3D 網(wǎng)絡(luò)假陽性判別及分類的肺部CT 圖像多病種自動(dòng)檢測(cè)和分類方法不僅能檢測(cè)出肺結(jié)節(jié)、索條、動(dòng)脈硬化或鈣化3 種疾病，還能達(dá)到速度快，準(zhǔn)確率高的優(yōu)點(diǎn)。

本文針對(duì)設(shè)備有限的現(xiàn)實(shí)場(chǎng)景下，對(duì)多病種檢測(cè)任務(wù)使用融合2D 分割網(wǎng)絡(luò)和3D 分類網(wǎng)絡(luò)的自動(dòng)檢測(cè)方法進(jìn)行快速且準(zhǔn)確地檢測(cè)。

1 肺部CT 圖像多病種自動(dòng)檢測(cè)及分類

本文將重點(diǎn)從分割網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)等方面展開闡述。首先將數(shù)據(jù)集進(jìn)行預(yù)處理，再使用2D U-Net 分割網(wǎng)絡(luò)找到疑似病灶區(qū)域，并用優(yōu)化后的3D MGI-CNN 網(wǎng)絡(luò)對(duì)疑似病灶區(qū)域進(jìn)行去除假陽性操作.

1.1 數(shù)據(jù)預(yù)處理

本文所使用的數(shù)據(jù)集為LUNA16 和天池?cái)?shù)據(jù)集，其中LUNA16 數(shù)據(jù)集是從LIDC-IDRI[11]數(shù)據(jù)集中選取的一部分，LUNA16 全稱為Lung Nodule Analysis 16，是2016 年推出的一個(gè)數(shù)據(jù)量大、質(zhì)量高的肺結(jié)節(jié)CT 數(shù)據(jù)集，包含885 個(gè)患者的CT 圖像，共計(jì)1 186 個(gè)結(jié)節(jié)，數(shù)據(jù)由4 位臨床經(jīng)驗(yàn)豐富的胸部放射科醫(yī)師對(duì)患者CT 圖像進(jìn)行兩次圖像標(biāo)注得到。天池?cái)?shù)據(jù)集包含1 470 個(gè)患者的CT 圖像，3 種病灶數(shù)量共計(jì)11 078 個(gè)，其中肺結(jié)節(jié)、索條、動(dòng)脈硬化或鈣化3種病灶的數(shù)量分別為3 264，3 613和4 201，數(shù)據(jù)預(yù)處理方法如下。

1）坐標(biāo)轉(zhuǎn)化。首先根據(jù)LUNA16 數(shù)據(jù)集標(biāo)注文件和天池?cái)?shù)據(jù)集標(biāo)注文件讀取病灶區(qū)域坐標(biāo)以及半徑，式(1)給出了世界坐標(biāo)C1到體像素坐標(biāo)C2之間的轉(zhuǎn)換公式：

式中原點(diǎn)坐標(biāo)O和像素間距信息S是使用Python 中的SimpleITK 庫提取.raw 文件得到的內(nèi)容，圖像信息是提取.mhd 文件并可視化的內(nèi)容。

2）圖片標(biāo)準(zhǔn)化。根據(jù)得到的轉(zhuǎn)換坐標(biāo)讀取MHD 文件中Z軸上的2D 圖片，式(2) 進(jìn)行標(biāo)準(zhǔn)化操作，將原圖中每個(gè)像素值P1標(biāo)準(zhǔn)化為0～1 的數(shù)值并縮放到320×320 大小，轉(zhuǎn)換后的CT 像素值P2標(biāo)記為

式中Pmin和Pmax分別為像素點(diǎn)最小值和最大值。通過轉(zhuǎn)換后的坐標(biāo)及半徑信息，就能確定一個(gè)病灶區(qū)域的中心點(diǎn)和長寬，我們以此來生成mask 圖，病灶區(qū)域內(nèi)像素值為1，病灶區(qū)域外像素值為0。圖1 為3 種病灶數(shù)據(jù)集和對(duì)應(yīng)mask 可視化圖。

圖1 3 種疾病可視化圖

1.2 分割網(wǎng)絡(luò)構(gòu)建

本文采用U-Net 神經(jīng)網(wǎng)絡(luò)[12-13]作為分割模型來預(yù)測(cè)肺部多種疾病分割圖像，具體包含如下步驟。

1）圖像增強(qiáng)。使用的數(shù)據(jù)增強(qiáng)方法包括旋轉(zhuǎn)、彈性變換、改變圖片顏色和改變對(duì)比度等，數(shù)據(jù)集在送入網(wǎng)絡(luò)之前要進(jìn)行數(shù)據(jù)類型轉(zhuǎn)換，即將圖片像素值轉(zhuǎn)換成float 類型并進(jìn)行通道歸一化。

2）網(wǎng)絡(luò)構(gòu)建。U-Net 由2 個(gè)部分組成：一個(gè)是收縮路徑，一個(gè)是擴(kuò)展路徑。收縮路徑主要是用來捕捉醫(yī)學(xué)影像中的上下文方面的信息，擴(kuò)展路徑的目的是將圖片中分割出來的部分進(jìn)行精確定位。為了達(dá)到精確定位的作用，收縮路徑提取出來的高像素特征會(huì)在上采樣過程中與新的特征圖進(jìn)行結(jié)合，此操作可以最大程度地保留前面模型在下采樣過程中的一些重要信息，圖2 為分割網(wǎng)絡(luò)的模型。

圖2 分割模型

對(duì)于真值mask 圖和得到的mask 圖，我們將兩者得到的圖像矩陣展開為ytrue和ypred，Dice Loss 函數(shù)是一種集合相似度度量函數(shù)，通常用于計(jì)算2 個(gè)樣本的相似度，構(gòu)建損失函數(shù)為

式中：K為平滑數(shù)，實(shí)驗(yàn)中設(shè)置為1 來避免L分母為0 的情況。

1.3 假陽性檢測(cè)和分類網(wǎng)絡(luò)構(gòu)建

本文采用三維多尺度融合神經(jīng)網(wǎng)絡(luò)MGICNN 來預(yù)測(cè)多種病灶的真假陽性概率[14]，去除假陽性病灶并在網(wǎng)絡(luò)結(jié)構(gòu)中增加分類部分使得能對(duì)病灶區(qū)域區(qū)分病種，圖3 為優(yōu)化后的分類網(wǎng)絡(luò)。

圖3 分類模型

優(yōu)化過程具體步驟如下。

1）數(shù)據(jù)準(zhǔn)備。使用本文1.2 節(jié)分割模型得到候選病灶區(qū)域mask 圖后，根據(jù)預(yù)測(cè)的mask 圖找到中心坐標(biāo)，將影像ID、病灶坐標(biāo)x、病灶坐標(biāo)y和病灶坐標(biāo)z進(jìn)行標(biāo)記存儲(chǔ)，并在原MHD 格式的CT 圖中裁剪出3 個(gè)不同大小的三維圖像塊送入模型中。

2）網(wǎng)絡(luò)構(gòu)建。通過得到的病灶區(qū)域中心點(diǎn)位置得到40×40×26，30×30×10，20×20×6 這3 個(gè)不同大小的立方體如圖4 所示，我們稱之為S1，S2和S3。

圖4 3D 立方體提取

調(diào)整三者的大小為20×20×6 的相同尺寸，將3 個(gè)不同尺度的信息進(jìn)行融合，按照S1+S2+S3 的方法和S3+S2+S1 的拼接方法得到9×9×192 大小的Zoom-in 信息和Zoom-out 信息如圖5 所示。

將Zoom-in 特征和Zoom-out 特征先通過卷積層調(diào)整到9×9×256 大小的特征并融合，訓(xùn)練結(jié)束能得到病種分類和假陽性檢測(cè)信息2 種信息。

3）模型訓(xùn)練。將3 個(gè)病種得到的立方體及對(duì)應(yīng)標(biāo)簽作為訓(xùn)練集，根據(jù)步驟2）構(gòu)建的三維多尺度融合3D 神經(jīng)網(wǎng)絡(luò)來得到分類信息以及假陽性信息。網(wǎng)絡(luò)訓(xùn)練基于隨機(jī)梯度下降算法，并采用五折交叉驗(yàn)證方式，假陽性部分損失函數(shù)采用sigmoid 交叉熵?fù)p失函數(shù)：

式中：N為樣本數(shù)，yi為第i個(gè)樣本的標(biāo)簽，pi為第i個(gè)樣本的預(yù)測(cè)值；w為待訓(xùn)練權(quán)重。

分類損失函數(shù)為多分類交叉熵?fù)p失函數(shù)，并且使用Adam 優(yōu)化器：

式中：N為樣本數(shù)；M為類別數(shù)，本文中的值M為4，包含健康、患肺結(jié)節(jié)、患肺部索條和患動(dòng)脈硬化或鈣化4 類；yi值若為1 表示該類別與樣本的類別相同，否則就是0；pi即觀測(cè)樣本i屬于類別j的概率。

最后假陽性檢測(cè)及病灶分類部分網(wǎng)絡(luò)的損失函數(shù)為上述兩類損失函數(shù)之和，即

這部分指標(biāo)使用曲線下面積(area under curve，AUC)曲線衡量?？梢灾?，AUC 曲線被定義為ROC 曲線下與坐標(biāo)軸圍成的面積，顯然這個(gè)面積數(shù)值不會(huì)大于1，又由于y=x這條直線圍成的AUC 面積為0.5，等于隨機(jī)概率，沒有應(yīng)用價(jià)值，所以常見的ROC 曲線一般都處于y=x直線上方，取值范圍在0.5～1.0，AUC 值越接近1.0 表明檢測(cè)方法準(zhǔn)確性越高。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)過程

本文實(shí)驗(yàn)基于keras 深度學(xué)習(xí)框架，所采用的LUNA16 數(shù)據(jù)集共計(jì)1 186 個(gè)結(jié)節(jié)，天池?cái)?shù)據(jù)集中肺結(jié)節(jié)有3 264 個(gè)，索條數(shù)量有3 613 個(gè)，動(dòng)脈硬化或鈣化數(shù)量共計(jì)4 201 個(gè)。因?yàn)榉谓Y(jié)節(jié)訓(xùn)練集數(shù)量明顯多于其他病種數(shù)據(jù)集數(shù)量，故將LUNA16數(shù)據(jù)集得到的訓(xùn)練集用于預(yù)訓(xùn)練模型，預(yù)訓(xùn)練結(jié)束時(shí)U-Net 對(duì)肺結(jié)節(jié)的預(yù)測(cè)查全率為95.1%。將天池?cái)?shù)據(jù)集3 種病灶區(qū)域及mask 圖均以PNG 格式存儲(chǔ)，訓(xùn)練集、驗(yàn)證集和測(cè)試集占比分別為70%、15%和15%，兩階段網(wǎng)絡(luò)使用的訓(xùn)練集、驗(yàn)證集和測(cè)試集數(shù)量比例均對(duì)應(yīng)。

2.2 實(shí)驗(yàn)結(jié)果

使用U-Net 網(wǎng)絡(luò)作為分割模型得到候選病灶區(qū)域階段，設(shè)置batch_size 為64，epoch 為150。實(shí)驗(yàn)表明每個(gè)epoch 平均運(yùn)行時(shí)間為160 s，由于網(wǎng)絡(luò)預(yù)先使用LUNA16 數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，在肺結(jié)節(jié)單病種上該預(yù)訓(xùn)練網(wǎng)絡(luò)能到達(dá)95.1% 的查全率，加載權(quán)重開始訓(xùn)練多病種時(shí)，前5 次查全率達(dá)到76.08%；epoch為50后，查全率趨于平穩(wěn)，為93.6%，實(shí)驗(yàn)結(jié)果如圖6 所示。

圖6 階段-準(zhǔn)確性曲線

查全率表明在實(shí)際患病的病人中，成功預(yù)測(cè)患病的病人百分比。U-Net 分割階段目的是盡量找到所有患病區(qū)域，高查全率是這一階段的目標(biāo)。在93.6% 查全率的情況下，查準(zhǔn)率卻只有20.6%，所以在第二階段剔除假陽性病灶并對(duì)患病區(qū)域進(jìn)行分類階段，要以高查準(zhǔn)率為目標(biāo)，即所有預(yù)測(cè)患病的病人中，實(shí)際患病的病人百分比。

使用分類網(wǎng)絡(luò)剔除假陽性病灶并對(duì)真實(shí)患病區(qū)域進(jìn)行分類時(shí)，因?yàn)閿?shù)據(jù)量較大，該階段的batch_size 設(shè)置為32，epoch 為100，使用AUC 作為衡量指標(biāo)，AUC 越接近1.0 表明檢測(cè)方法準(zhǔn)確性越高。優(yōu)化后的MGI-CNN 網(wǎng)絡(luò)查準(zhǔn)率為0.955，實(shí)驗(yàn)結(jié)果如圖7 所示。

圖7 第二階段AUC 曲線

Ding 等[15]于2017 年提出的3D DCNN 網(wǎng)絡(luò)其輸入為患者的肺部CT 圖像中相鄰3 張，其基礎(chǔ)架構(gòu)為Faster R-CNN[4]。Liao 等[16]于2019 年提出的C-Net 網(wǎng)絡(luò)準(zhǔn)確率達(dá)91.23%，該網(wǎng)絡(luò)是通過一個(gè)2 部分的檢測(cè)網(wǎng)絡(luò)來進(jìn)行肺部檢測(cè)。Zhu 等[17]于2018 年提出的DeepLung 結(jié)構(gòu)準(zhǔn)確率達(dá)90.05%，采用多路徑網(wǎng)絡(luò)來學(xué)習(xí)特征。Joseph Redmon 等[18]設(shè)計(jì)的YOLOv3 網(wǎng)絡(luò)采用二維卷積神經(jīng)網(wǎng)絡(luò)和anchor box 進(jìn)行病灶區(qū)域定位，表1 為本文實(shí)現(xiàn)的準(zhǔn)確率、召回率和在單張CT 影像上運(yùn)行的速度對(duì)比結(jié)果。

在多病種檢測(cè)任務(wù)中，測(cè)試集選取切片張數(shù)（slice）在100～230 的CT 影像，可以發(fā)現(xiàn)，本文模型計(jì)算速度略小于二維模型YOLOv3[18]，但是準(zhǔn)確性比二維YOLOv3[18]高，計(jì)算速度遠(yuǎn)快于三維模型3D DCNN[15]、C-Net[16]和DeepLung[17]，但是檢測(cè)準(zhǔn)確性略低于三維模型C-Net[16]、DeepLung[17]，本文模型能在保證準(zhǔn)確性的情況下滿足醫(yī)院等使用場(chǎng)景設(shè)備條件并快速進(jìn)行診斷。

圖8 為成功檢測(cè)出肺結(jié)節(jié)和索條多病種的示例圖，其中用紅線框出病灶區(qū)域，如圖中左肺成功檢測(cè)出肺結(jié)節(jié)，右肺成功檢測(cè)出索條。

圖8 結(jié)果可視化圖

在本文的應(yīng)用背景下，先將不同的神經(jīng)網(wǎng)絡(luò)用于天池?cái)?shù)據(jù)集，檢測(cè)結(jié)果如表1 所示。

表1 不同模型性能對(duì)比

3 結(jié)論

中國肺部疾病患者較多，醫(yī)生人工診斷費(fèi)時(shí)費(fèi)力，還可能導(dǎo)致錯(cuò)檢、漏檢，本文在對(duì)設(shè)備要求不高的情況下對(duì)肺部多病種檢測(cè)方法展開研究。本文采用卷積神經(jīng)網(wǎng)絡(luò)的方法訓(xùn)練兩階段模型，工作總結(jié)如下：

1）針對(duì)復(fù)雜的醫(yī)學(xué)影像預(yù)處理操作，本文設(shè)計(jì)的肺部影像數(shù)據(jù)預(yù)處理流程能讓原始影像數(shù)據(jù)保留更多的特征供模型學(xué)習(xí)。

2）針對(duì)醫(yī)學(xué)影像數(shù)據(jù)龐大且病灶位置分散，傳統(tǒng)單病種研究使用的2D 模型無法學(xué)習(xí)空間信息、檢測(cè)準(zhǔn)確性低；3D 模型學(xué)習(xí)參數(shù)過多、檢測(cè)速度慢且對(duì)設(shè)備性能要求高等問題，本文提出一種融合2D 和3D 神經(jīng)網(wǎng)絡(luò)的anchor-free 雙階段模型。用2D 模型初篩數(shù)據(jù)提取疑似病灶區(qū)域，用3D 模型精篩數(shù)據(jù)去除假陽性。實(shí)驗(yàn)結(jié)果表明，本文方法能成功檢測(cè)出肺部多種疾病，并且檢測(cè)速度較快，對(duì)設(shè)備性能要求低，適用于醫(yī)院等設(shè)備性能無法滿足要求的現(xiàn)實(shí)場(chǎng)景，相比于其他2D 和3D 檢測(cè)方法，本文提出的模型具有節(jié)省資源且用時(shí)少的優(yōu)點(diǎn)，具有更高的實(shí)用性和可拓展性。